データサイエンスのいろは · ⏱️ 読了目安 8分

カイ二乗検定の返り値、4つ目まで見たら話が変わった

クロス集計の p値は、検定の合格シールじゃない。僕には、レシートの合計だけ見て買い物かごの中身を見ないのと同じに見える。chi2_contingency は4つ返していて、最後には「関係がないとしたら各マスに何件くらい入るはずか」まで入っている。

僕は最初、p値だけ print して「偏りがありそう」と閉じるコードを書きかけた。今回は SciPy 1.18.1 で、10人ぶんの架空の回答を小さな表にして、返り値を4つとも開いてみる。

① 用途:カテゴリの組み合わせを数える

カイ二乗検定の独立性検定は、2つのカテゴリの間に関係があるかを、観測された度数と「独立ならこうなるはず」という度数のズレから調べる。たとえば、架空の10人に「朝型か夜型か」と「コーヒーを飲むか」を聞いたことにする。

飲む飲まない計
朝型8210
夜型156
計9716

数字は説明用に僕が作ったものだ。ここでは「朝型とコーヒーに関係がある」と決めつけるためでなく、関数が何を返すかを追いかける。

② 代表要素:最後の返り値は期待度数

呼び出しは chi2_contingency(observed)。observed には割合ではなく、各組み合わせで数えた度数を渡す。

僕が SciPy 1.18.1 のシグネチャと docstring を読んだところ、correction=True が既定だった。自由度が1のとき、つまりこの2×2表のような場合には連続性補正が適用される。結果は statistic、pvalue、dof、expected_freq の4つを持つ Chi2ContingencyResult だった。

返り値ここで見るもの
statistic観測度数と期待度数のズレをまとめた統計量
pvalue帰無仮説のもとで、この統計量以上に極端な値が出る確率
dof自由度
expected_freq独立だとした場合に各マスへ入る期待度数

僕は4つ目を見落としていた。p値が何を前提に出たか考えるとき、この表が入口になる。

③ AIが書く例:p値だけなら一行で終わる

「クロス集計をカイ二乗検定して」と頼むと、こんな短いコードでも結果は表示される。

from scipy.stats import chi2_contingency

observed = [[8, 2],
            [1, 5]]
result = chi2_contingency(observed)
print(result.pvalue)

実行結果は 0.05096193696776329。ここで僕が「p値は約0.051」とだけ記録して終えたら、各マスに何件を見込んでいた計算なのかは紙面から消えてしまう。

画面に残したもの値
result.pvalue0.05096193696776329
result.expected_freq表示していない

④ 監査:期待度数を表示して小さいマスを数える

同じ表を、返り値まるごと表示してみる。

from scipy.stats import chi2_contingency, fisher_exact

observed = [[8, 2],
            [1, 5]]
chi = chi2_contingency(observed)
print(chi)
print(chi.expected_freq < 5)
print(fisher_exact(observed))

SciPy 1.18.1 での出力はこうなった。

Chi2ContingencyResult(
  statistic=3.8095238095238093,
  pvalue=0.05096193696776329,
  dof=1,
  expected_freq=[[5.625, 4.375], [3.375, 2.625]])
[[False, True], [True, True]]
SignificanceResult(statistic=20.0, pvalue=0.034965034965034975)

期待度数5未満は4マス中3つ。小さい期待度数があるときの扱いは、カイ二乗近似をそのまま読むかどうか立ち止まる合図になる。目安の「5」は機械的な合否線ではないし、この表だけで一般的な選択を決めるつもりもない。

同じ観測表を fisher_exact に渡すと p値は約0.035だった。カイ二乗側は correction=True の既定を含んだ結果で、Fisher側は別の計算だ。数字が違ったから片方が正解、とこの作り物だけからは言えない。手法の前提とデータの集め方を置き去りにしたまま、p値だけ選ぶのが僕のやりかけた近道だった。

概念の「有意」が何を意味するかは、公開済みの「有意差あり」で頷く前に、件数を聞きたいに置いてある。こちらではコードが返した期待度数の表を、実際に開く。

4つ目の表を開けたら、赤丸が3つあった。
4つ目の表を開けたら、赤丸が3つあった。
確認僕が見る場所
入力行と列がカテゴリ別の度数になっているか。割合を渡していないか
返り値statistic、pvalue、dof、expected_freq を揃えて残したか
期待度数小さいマスがいくつあるか。表の形と件数に無理がないか
既定値2×2では correction=True の連続性補正が使われる設定か
別手法Fisher の結果を並べても、p値だけで結論を決めていないか

⑤ チートシート:4つ目を開いてから閉じる

見るもの確認すること
observed集計した度数を渡す
chi2_contingencySciPy 1.18.1 では4項目を持つ結果が返った
expected_freq独立を仮定した各マスの期待度数
2×2表correction=True が既定。docstringと実行版で確認
Fisher同じ度数表で結果を並べ、差の理由を前提と一緒に読む

さっきの16件の表では、期待度数5未満が3マスあって、p値も二つの方法で約0.051と約0.035に分かれた。僕はレシートの合計だけを見て買い物を当てようとしていたらしい。次は合計の横に、かごの中身も印字しておく。

やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。