データサイエンスのいろは · ⏱️ 読了目安 10分

平均30.0が二組あったので、人数を数え直した|Pandasの集計とグループ化

きれいな集計表は、人数を一列足しただけで急に疑わしくなる。平均が30.0で揃っていたので安心しかけたところへ、count を足したら、片方は5件、もう片方は3件だった。表の中で、何かが静かに減っている。

今回はPandasの groupby、agg、pivot_table を、同じ小さなデータに通した。統計の説明を始める回ではなく、AIが書いた集計コードを見たときに、どの列を確認すればよいかを僕が追った記録だ。

groupby は、表を群ごとの小さな表に分ける

見るものこの回での役割
groupby("team")team の値ごとに行を分ける
score集計する列
mean()各群を1個の平均へ縮める

まず、Aには5件、Bには3件、チーム名のない行には1件だけ入れた。

import pandas as pd

df = pd.DataFrame({
    "team": ["A", "A", "A", "A", "A", "B", "B", "B", None],
    "score": [10, 20, 30, 40, 50, 29, 30, 31, 100],
})

AIがまず出しそうな短い形は、これだった。

df.groupby("team")["score"].mean()

Pandas 3.0.6で実行すると、返ってきたのは次の2行だった。

team
A    30.0
B    30.0

平均は同じ30.0だが、行数は書かれていない。Aの30.0とBの30.0が、同じ厚みの数字なのかは、この出力だけでは分からない。

agg は、減らす前に列を増やしておく

集計返るもの
mean平均
median中央値
count今回のデータで値が入っている件数

平均だけでなく、中央値と件数を同時に出した。

summary = (
    df.groupby("team", dropna=False)["score"]
      .agg(["mean", "median", "count"])
)
print(summary)

出力はこうなった。

       mean  median  count
team
A      30.0    30.0      5
B      30.0    30.0      3
NaN   100.0   100.0      1

AもBも平均30.0、中央値30.0だけれど、件数は5と3で違う。ここで「Bの30.0はAと同じ」と急いで読むのをやめた。今回の数字では、少ない観測から出た30.0が混ざっている。

なお、count はこの例では score に値が入っている件数を数えている。別の列に欠損があれば、数えたい列によって結果が変わる。count と書いてあるから表全体の行数だ、と決めつけると、ここでも一行ぶん読み落とす。

集計すると分布の形が消える、という話は二峰性分布の記事に置いてある。今回はその概念を説明し直さず、分布を潰すコードの横に median と count を置いて、何行からできた数字かだけを確認した。

平均だけ残すと、三匹ぶんの群も五匹ぶんの群も同じ顔をする。
平均だけ残すと、三匹ぶんの群も五匹ぶんの群も同じ顔をする。

AIの集計例は、返り値の形を一度ばらす

書き方返り値の形僕が見る場所
groupby(...).mean()群を行名にしたSeries群の件数が無い
agg([...])群を行名にしたDataFrame集計列と件数
as_index=False群名を列にしたDataFrame次の結合や出力に渡しやすい形か

AIが「表にして」と言われて書きそうな形を、as_index=False で試した。

summary = (
    df.groupby("team", dropna=False, as_index=False)["score"]
      .agg(mean="mean", median="median", count="count")
)
print(summary)

返り値は次の表だった。

team  mean  median  count
   A  30.0    30.0      5
   B  30.0    30.0      3
 NaN 100.0   100.0      1

as_index=False は平均の計算方法を変えない。team が行名ではなく列として残るだけだ。僕は最初、これを「普通の表に戻す処理」とざっくり呼びそうになったが、実際に変わったのは返り値の形だった。

reset_index() で戻す方法もある。ただし、どちらを使うかより、次の処理が行名を前提にしていないかを見る方が先だった。見た目が表になったことと、後段のキーが期待どおり残ったことは別である。

欠損キーは、既定値のまま集計から落ちる

指定チーム名のない行
groupby("team")既定の dropna=True で群に含めない
groupby("team", dropna=False)NaN の群を残す

同じデータで、グループの大きさだけを比べた。

print(df.groupby("team")["score"].size())

こちらはAが5、Bが3で、チーム名のない1行は出てこない。

一方で dropna=False を付けると、さっきの表のように NaN が1件として現れた。今回はスコア100の行だったので、落としたままだと、その1件は集計結果から消える。

pivot_table も同じデータで確認した。mean と count を置くと、出力はAとBだけだった。

      mean count
     score score
team
A     30.0     5
B     30.0     3

ピボット表は見た目が整っているぶん、行が減ったことに気づきにくい。群の合計が元の9行になっているか、欠損キーをどう扱うかを先に決めることにした。

監査するときのチートシート

コードの場所まず見ること今回の確認結果
groupby("team")群のキーは何かteam のA・B。欠損は既定で除外
.mean()何件から出た平均か30.0だけでは件数不明
.agg(["mean", "median", "count"])件数を同時に出しているかAは5件、Bは3件
as_index=False群名の返り値の場所行名ではなくteam列に残る
dropna=False欠損キーを残すかNaNの1件が表に出る
pivot_table行数と欠損キーが変わっていないかA・Bだけが出た

集計は、表を大きくする操作ではなく、行を群ごとの数字へ減らす操作だった。平均だけの2行を見たとき、僕はデータがきれいにまとまったと思った。count を一列足すと、Aの5件、Bの3件、そして表から消えた欠損キーの1件が見えた。

きれいな30.0が二つ並んでいても、横に置くべきものは拍手ではなく人数だった。次にAIの groupby("x").mean() が返ってきたら、僕はまず agg を一列足す。表が小さくなったぶんだけ、countを置く場所は残っている。

やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。