クロス集計の p値は、検定の合格シールじゃない。僕には、レシートの合計だけ見て買い物かごの中身を見ないのと同じに見える。chi2_contingency は4つ返していて、最後には「関係がないとしたら各マスに何件くらい入るはずか」まで入っている。
僕は最初、p値だけ print して「偏りがありそう」と閉じるコードを書きかけた。今回は SciPy 1.18.1 で、10人ぶんの架空の回答を小さな表にして、返り値を4つとも開いてみる。
① 用途:カテゴリの組み合わせを数える
カイ二乗検定の独立性検定は、2つのカテゴリの間に関係があるかを、観測された度数と「独立ならこうなるはず」という度数のズレから調べる。たとえば、架空の10人に「朝型か夜型か」と「コーヒーを飲むか」を聞いたことにする。
| 飲む | 飲まない | 計 | |
|---|---|---|---|
| 朝型 | 8 | 2 | 10 |
| 夜型 | 1 | 5 | 6 |
| 計 | 9 | 7 | 16 |
数字は説明用に僕が作ったものだ。ここでは「朝型とコーヒーに関係がある」と決めつけるためでなく、関数が何を返すかを追いかける。
② 代表要素:最後の返り値は期待度数
呼び出しは chi2_contingency(observed)。observed には割合ではなく、各組み合わせで数えた度数を渡す。
僕が SciPy 1.18.1 のシグネチャと docstring を読んだところ、correction=True が既定だった。自由度が1のとき、つまりこの2×2表のような場合には連続性補正が適用される。結果は statistic、pvalue、dof、expected_freq の4つを持つ Chi2ContingencyResult だった。
| 返り値 | ここで見るもの |
|---|---|
statistic | 観測度数と期待度数のズレをまとめた統計量 |
pvalue | 帰無仮説のもとで、この統計量以上に極端な値が出る確率 |
dof | 自由度 |
expected_freq | 独立だとした場合に各マスへ入る期待度数 |
僕は4つ目を見落としていた。p値が何を前提に出たか考えるとき、この表が入口になる。
③ AIが書く例:p値だけなら一行で終わる
「クロス集計をカイ二乗検定して」と頼むと、こんな短いコードでも結果は表示される。
from scipy.stats import chi2_contingency
observed = [[8, 2],
[1, 5]]
result = chi2_contingency(observed)
print(result.pvalue)
実行結果は 0.05096193696776329。ここで僕が「p値は約0.051」とだけ記録して終えたら、各マスに何件を見込んでいた計算なのかは紙面から消えてしまう。
| 画面に残したもの | 値 |
|---|---|
result.pvalue | 0.05096193696776329 |
result.expected_freq | 表示していない |
④ 監査:期待度数を表示して小さいマスを数える
同じ表を、返り値まるごと表示してみる。
from scipy.stats import chi2_contingency, fisher_exact
observed = [[8, 2],
[1, 5]]
chi = chi2_contingency(observed)
print(chi)
print(chi.expected_freq < 5)
print(fisher_exact(observed))
SciPy 1.18.1 での出力はこうなった。
Chi2ContingencyResult(
statistic=3.8095238095238093,
pvalue=0.05096193696776329,
dof=1,
expected_freq=[[5.625, 4.375], [3.375, 2.625]])
[[False, True], [True, True]]
SignificanceResult(statistic=20.0, pvalue=0.034965034965034975)
期待度数5未満は4マス中3つ。小さい期待度数があるときの扱いは、カイ二乗近似をそのまま読むかどうか立ち止まる合図になる。目安の「5」は機械的な合否線ではないし、この表だけで一般的な選択を決めるつもりもない。
同じ観測表を fisher_exact に渡すと p値は約0.035だった。カイ二乗側は correction=True の既定を含んだ結果で、Fisher側は別の計算だ。数字が違ったから片方が正解、とこの作り物だけからは言えない。手法の前提とデータの集め方を置き去りにしたまま、p値だけ選ぶのが僕のやりかけた近道だった。
概念の「有意」が何を意味するかは、公開済みの「有意差あり」で頷く前に、件数を聞きたいに置いてある。こちらではコードが返した期待度数の表を、実際に開く。
| 確認 | 僕が見る場所 |
|---|---|
| 入力 | 行と列がカテゴリ別の度数になっているか。割合を渡していないか |
| 返り値 | statistic、pvalue、dof、expected_freq を揃えて残したか |
| 期待度数 | 小さいマスがいくつあるか。表の形と件数に無理がないか |
| 既定値 | 2×2では correction=True の連続性補正が使われる設定か |
| 別手法 | Fisher の結果を並べても、p値だけで結論を決めていないか |
⑤ チートシート:4つ目を開いてから閉じる
| 見るもの | 確認すること |
|---|---|
observed | 集計した度数を渡す |
chi2_contingency | SciPy 1.18.1 では4項目を持つ結果が返った |
expected_freq | 独立を仮定した各マスの期待度数 |
| 2×2表 | correction=True が既定。docstringと実行版で確認 |
| Fisher | 同じ度数表で結果を並べ、差の理由を前提と一緒に読む |
さっきの16件の表では、期待度数5未満が3マスあって、p値も二つの方法で約0.051と約0.035に分かれた。僕はレシートの合計だけを見て買い物を当てようとしていたらしい。次は合計の横に、かごの中身も印字しておく。