データサイエンスのいろは · ⏱️ 読了目安 7分

「偏ってる気がする」を、4つのマスに入れてみた

スマホの通知を曜日別に仕分けていたら、土日のボタンだけ妙に赤く見えた。僕の目には、週末の通知は人類に好かれているように見えた。

カイ二乗検定は、クロス集計の「偏ってる気がする」を、関係がなければどうなるはずかと比べる手続きだ。 今日は説明用に僕が作った架空の集計を、4つのマスに入れて確かめる。

曜日別に、押した人を数えた

曜日と反応の関係を見たい、とする。平日と週末に同じ内容の通知を出し、押されたかどうかだけを記録した。検算用の数字はこうした。

押した押さない合計
平日203050
週末302050
合計5050100

週末のほうが押している。平日は20人、週末は30人。僕の頭はすぐに「週末のほうが反応がいい」と言い始めた。頭はいつも結論が早い。

関係がなかったら、表はどうなるはずか

でも、曜日と反応に関係がないとしたらどうなるか。平日も週末も全体の半分が押すなら、50人ずつの各曜日では、押す人25人、押さない人25人になるはずだ。

この「関係がないなら入っているはずの数」を期待値と呼ぶ。名前は少し立派だけれど、やっていることは「全体の割合を各行に配る」だけだ。今回の期待値は4つとも25。実際の表と並べると、こうなる。

押した押さない
平日・実際2030
週末・実際3020
平日・週末とも関係なしなら2525

ただし、最後の行をそのまま足したわけではない。平日と週末それぞれの合計が50だから、押した人の全体割合50%を掛けて、50×0.5=25。押さない人も50×0.5=25。これをマスごとに作る。

ズレを二乗して、期待値で割る

ここから実際と期待のズレを見る。平日の「押した」は20で、期待値25より5少ない。ズレは5。週末の「押した」は30で、5多い。ほかの2マスも同じように5ずつズレている。

カイ二乗の計算は、各マスについて「ズレの二乗÷期待値」を出して足す。

(20−25)²÷25 = 1
(30−25)²÷25 = 1
(30−25)²÷25 = 1
(20−25)²÷25 = 1
合計 = 4

ズレをそのまま足すと、少ない側と多い側が打ち消し合う。だから二乗する。期待値で割るのは、同じ5件のズレでも、期待値25のマスと期待値2500のマスでは重さが違うからだ。25のうち5ずれるのは、そこそこ目立つ。2500のうち5なら、ほぼ寝起きの伸びだ。

4つのマスに入れると、偏りは少し静かになった。
4つのマスに入れると、偏りは少し静かになった。

4という数字が言えること、言えないこと

ここで僕は、「カイ二乗が4だから、曜日と反応には関係がある」と書きそうになった。でも、それは一段飛ばしだ。カイ二乗の値だけで結論を決めるには、表の大きさや自由度、どの基準で判断するかも必要になる。今回の4は、少なくとも「実際の配置が、関係なしの場合の25・25・25・25からどれだけズレたか」を数えた値でしかない。

念のため、その先の一段も踏んでおく。2×2の表なら自由度は1で、5%水準の境目は約3.84。4はそれをわずかに越えていて、p値にすると約0.046になる。ただ、同じ表を SciPy の chi2_contingency にそのまま渡すと、2×2の表では既定で連続性の補正(イェーツの補正)がかかり、カイ二乗は3.24、p値は約0.072と出る(SciPy 1.18.1 で確認)。

同じ4マスの表カイ二乗p値(概算)
手計算(補正なし)4.000.046
chi2_contingency の既定(補正あり)3.240.072

計算の作法をひとつ変えただけで、5%の線のどちら側に立つかが入れ替わった。境目をかすめる程度のズレは、それくらい頼りない。

つまり、これは「偏って見える」を測る道具ではあるが、「原因」を発見する道具ではない。週末に押した人が多かったとしても、曜日そのものが理由とは限らない。週末だけ通知の時間が違った、家にいる人が多かった、内容を変えていた。そういう別の事情があれば、曜日のマスに全部押し込んだ時点で、話を簡単にしすぎている。

それと、期待値が小さすぎる表には向かない。たとえば1マスの期待値が2件しかないのに、同じ計算をして「偏りが分かった」と言い張るのは危ない。僕なら、まず件数を増やすか、表の分け方を粗くする。小さいマスは、数字の形をしているだけの偶然になりやすい。

今日の手の内

クロス集計を見て「違う気がする」となったとき、僕がやる順番は3つになった。

  1. 行と列の合計を出す
  2. 関係がない場合の期待値を各マスに置く
  3. 実際との差を、期待値の大きさ込みで足す

この順番なら、最初から「週末が勝ち」と決めずに済む。今回の架空の表では、実際の4マスが25から5ずつ離れていて、カイ二乗は4になった。数字は「偏りがある」と叫んだのではなく、「25からこのくらい離れている」と小声で報告してきた。

最初に赤く見えた週末の通知へ戻る。20、30、30、20。表を4つのマスにしてみると、週末だけが特別に赤いというより、25を中心に四方向へ5ずつ動いていた。通知音が鳴ったので、僕はもう一度メモを開いた。次は、曜日ではなく通知の時刻も列に足してみる。

やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。