きれいな集計表は、人数を一列足しただけで急に疑わしくなる。平均が30.0で揃っていたので安心しかけたところへ、count を足したら、片方は5件、もう片方は3件だった。表の中で、何かが静かに減っている。
今回はPandasの groupby、agg、pivot_table を、同じ小さなデータに通した。統計の説明を始める回ではなく、AIが書いた集計コードを見たときに、どの列を確認すればよいかを僕が追った記録だ。
groupby は、表を群ごとの小さな表に分ける
| 見るもの | この回での役割 |
|---|---|
groupby("team") | team の値ごとに行を分ける |
score | 集計する列 |
mean() | 各群を1個の平均へ縮める |
まず、Aには5件、Bには3件、チーム名のない行には1件だけ入れた。
import pandas as pd
df = pd.DataFrame({
"team": ["A", "A", "A", "A", "A", "B", "B", "B", None],
"score": [10, 20, 30, 40, 50, 29, 30, 31, 100],
})
AIがまず出しそうな短い形は、これだった。
df.groupby("team")["score"].mean()
Pandas 3.0.6で実行すると、返ってきたのは次の2行だった。
team
A 30.0
B 30.0
平均は同じ30.0だが、行数は書かれていない。Aの30.0とBの30.0が、同じ厚みの数字なのかは、この出力だけでは分からない。
agg は、減らす前に列を増やしておく
| 集計 | 返るもの |
|---|---|
mean | 平均 |
median | 中央値 |
count | 今回のデータで値が入っている件数 |
平均だけでなく、中央値と件数を同時に出した。
summary = (
df.groupby("team", dropna=False)["score"]
.agg(["mean", "median", "count"])
)
print(summary)
出力はこうなった。
mean median count
team
A 30.0 30.0 5
B 30.0 30.0 3
NaN 100.0 100.0 1
AもBも平均30.0、中央値30.0だけれど、件数は5と3で違う。ここで「Bの30.0はAと同じ」と急いで読むのをやめた。今回の数字では、少ない観測から出た30.0が混ざっている。
なお、count はこの例では score に値が入っている件数を数えている。別の列に欠損があれば、数えたい列によって結果が変わる。count と書いてあるから表全体の行数だ、と決めつけると、ここでも一行ぶん読み落とす。
集計すると分布の形が消える、という話は二峰性分布の記事に置いてある。今回はその概念を説明し直さず、分布を潰すコードの横に median と count を置いて、何行からできた数字かだけを確認した。
AIの集計例は、返り値の形を一度ばらす
| 書き方 | 返り値の形 | 僕が見る場所 |
|---|---|---|
groupby(...).mean() | 群を行名にしたSeries | 群の件数が無い |
agg([...]) | 群を行名にしたDataFrame | 集計列と件数 |
as_index=False | 群名を列にしたDataFrame | 次の結合や出力に渡しやすい形か |
AIが「表にして」と言われて書きそうな形を、as_index=False で試した。
summary = (
df.groupby("team", dropna=False, as_index=False)["score"]
.agg(mean="mean", median="median", count="count")
)
print(summary)
返り値は次の表だった。
team mean median count
A 30.0 30.0 5
B 30.0 30.0 3
NaN 100.0 100.0 1
as_index=False は平均の計算方法を変えない。team が行名ではなく列として残るだけだ。僕は最初、これを「普通の表に戻す処理」とざっくり呼びそうになったが、実際に変わったのは返り値の形だった。
reset_index() で戻す方法もある。ただし、どちらを使うかより、次の処理が行名を前提にしていないかを見る方が先だった。見た目が表になったことと、後段のキーが期待どおり残ったことは別である。
欠損キーは、既定値のまま集計から落ちる
| 指定 | チーム名のない行 |
|---|---|
groupby("team") | 既定の dropna=True で群に含めない |
groupby("team", dropna=False) | NaN の群を残す |
同じデータで、グループの大きさだけを比べた。
print(df.groupby("team")["score"].size())
こちらはAが5、Bが3で、チーム名のない1行は出てこない。
一方で dropna=False を付けると、さっきの表のように NaN が1件として現れた。今回はスコア100の行だったので、落としたままだと、その1件は集計結果から消える。
pivot_table も同じデータで確認した。mean と count を置くと、出力はAとBだけだった。
mean count
score score
team
A 30.0 5
B 30.0 3
ピボット表は見た目が整っているぶん、行が減ったことに気づきにくい。群の合計が元の9行になっているか、欠損キーをどう扱うかを先に決めることにした。
監査するときのチートシート
| コードの場所 | まず見ること | 今回の確認結果 |
|---|---|---|
groupby("team") | 群のキーは何か | team のA・B。欠損は既定で除外 |
.mean() | 何件から出た平均か | 30.0だけでは件数不明 |
.agg(["mean", "median", "count"]) | 件数を同時に出しているか | Aは5件、Bは3件 |
as_index=False | 群名の返り値の場所 | 行名ではなくteam列に残る |
dropna=False | 欠損キーを残すか | NaNの1件が表に出る |
pivot_table | 行数と欠損キーが変わっていないか | A・Bだけが出た |
集計は、表を大きくする操作ではなく、行を群ごとの数字へ減らす操作だった。平均だけの2行を見たとき、僕はデータがきれいにまとまったと思った。count を一列足すと、Aの5件、Bの3件、そして表から消えた欠損キーの1件が見えた。
きれいな30.0が二つ並んでいても、横に置くべきものは拍手ではなく人数だった。次にAIの groupby("x").mean() が返ってきたら、僕はまず agg を一列足す。表が小さくなったぶんだけ、countを置く場所は残っている。