スマホの通知を曜日別に仕分けていたら、土日のボタンだけ妙に赤く見えた。僕の目には、週末の通知は人類に好かれているように見えた。
カイ二乗検定は、クロス集計の「偏ってる気がする」を、関係がなければどうなるはずかと比べる手続きだ。 今日は説明用に僕が作った架空の集計を、4つのマスに入れて確かめる。
曜日別に、押した人を数えた
曜日と反応の関係を見たい、とする。平日と週末に同じ内容の通知を出し、押されたかどうかだけを記録した。検算用の数字はこうした。
| 押した | 押さない | 合計 | |
|---|---|---|---|
| 平日 | 20 | 30 | 50 |
| 週末 | 30 | 20 | 50 |
| 合計 | 50 | 50 | 100 |
週末のほうが押している。平日は20人、週末は30人。僕の頭はすぐに「週末のほうが反応がいい」と言い始めた。頭はいつも結論が早い。
関係がなかったら、表はどうなるはずか
でも、曜日と反応に関係がないとしたらどうなるか。平日も週末も全体の半分が押すなら、50人ずつの各曜日では、押す人25人、押さない人25人になるはずだ。
この「関係がないなら入っているはずの数」を期待値と呼ぶ。名前は少し立派だけれど、やっていることは「全体の割合を各行に配る」だけだ。今回の期待値は4つとも25。実際の表と並べると、こうなる。
| 押した | 押さない | |
|---|---|---|
| 平日・実際 | 20 | 30 |
| 週末・実際 | 30 | 20 |
| 平日・週末とも関係なしなら | 25 | 25 |
ただし、最後の行をそのまま足したわけではない。平日と週末それぞれの合計が50だから、押した人の全体割合50%を掛けて、50×0.5=25。押さない人も50×0.5=25。これをマスごとに作る。
ズレを二乗して、期待値で割る
ここから実際と期待のズレを見る。平日の「押した」は20で、期待値25より5少ない。ズレは5。週末の「押した」は30で、5多い。ほかの2マスも同じように5ずつズレている。
カイ二乗の計算は、各マスについて「ズレの二乗÷期待値」を出して足す。
(20−25)²÷25 = 1
(30−25)²÷25 = 1
(30−25)²÷25 = 1
(20−25)²÷25 = 1
合計 = 4
ズレをそのまま足すと、少ない側と多い側が打ち消し合う。だから二乗する。期待値で割るのは、同じ5件のズレでも、期待値25のマスと期待値2500のマスでは重さが違うからだ。25のうち5ずれるのは、そこそこ目立つ。2500のうち5なら、ほぼ寝起きの伸びだ。
4という数字が言えること、言えないこと
ここで僕は、「カイ二乗が4だから、曜日と反応には関係がある」と書きそうになった。でも、それは一段飛ばしだ。カイ二乗の値だけで結論を決めるには、表の大きさや自由度、どの基準で判断するかも必要になる。今回の4は、少なくとも「実際の配置が、関係なしの場合の25・25・25・25からどれだけズレたか」を数えた値でしかない。
念のため、その先の一段も踏んでおく。2×2の表なら自由度は1で、5%水準の境目は約3.84。4はそれをわずかに越えていて、p値にすると約0.046になる。ただ、同じ表を SciPy の chi2_contingency にそのまま渡すと、2×2の表では既定で連続性の補正(イェーツの補正)がかかり、カイ二乗は3.24、p値は約0.072と出る(SciPy 1.18.1 で確認)。
| 同じ4マスの表 | カイ二乗 | p値(概算) |
|---|---|---|
| 手計算(補正なし) | 4.00 | 0.046 |
chi2_contingency の既定(補正あり) | 3.24 | 0.072 |
計算の作法をひとつ変えただけで、5%の線のどちら側に立つかが入れ替わった。境目をかすめる程度のズレは、それくらい頼りない。
つまり、これは「偏って見える」を測る道具ではあるが、「原因」を発見する道具ではない。週末に押した人が多かったとしても、曜日そのものが理由とは限らない。週末だけ通知の時間が違った、家にいる人が多かった、内容を変えていた。そういう別の事情があれば、曜日のマスに全部押し込んだ時点で、話を簡単にしすぎている。
それと、期待値が小さすぎる表には向かない。たとえば1マスの期待値が2件しかないのに、同じ計算をして「偏りが分かった」と言い張るのは危ない。僕なら、まず件数を増やすか、表の分け方を粗くする。小さいマスは、数字の形をしているだけの偶然になりやすい。
今日の手の内
クロス集計を見て「違う気がする」となったとき、僕がやる順番は3つになった。
- 行と列の合計を出す
- 関係がない場合の期待値を各マスに置く
- 実際との差を、期待値の大きさ込みで足す
この順番なら、最初から「週末が勝ち」と決めずに済む。今回の架空の表では、実際の4マスが25から5ずつ離れていて、カイ二乗は4になった。数字は「偏りがある」と叫んだのではなく、「25からこのくらい離れている」と小声で報告してきた。
最初に赤く見えた週末の通知へ戻る。20、30、30、20。表を4つのマスにしてみると、週末だけが特別に赤いというより、25を中心に四方向へ5ずつ動いていた。通知音が鳴ったので、僕はもう一度メモを開いた。次は、曜日ではなく通知の時刻も列に足してみる。