データサイエンスのいろは · ⏱️ 読了目安 9分

3群を比べて、僕は有意のくじを3回引いていた|ANOVAと多重比較

有意の札は、検定するたびに当たりくじを1枚混ぜる。3群の平均を全部ペアで比べると、くじは3回。差がない世界でも、どれか1回だけ当たりに見える目は、1回ぶんの5%では済まない。

僕は f_oneway が「どの群とどの群が違うか」まで教えてくれると思いかけた。答えはそこまで細かくない。同じデータで全組み合わせの t 検定を足すと、今度は検定の回数そのものが気になってきた。

① 用途:ANOVAは「どこかに差があるか」まで

3群以上の平均を比べるとき、ANOVA(分散分析)は群間の差をまとめて調べる入口になる。ここで全体として差がありそうだと分かっても、AとBなのか、AとCなのかまでは、その結果だけで指定されない。

3群の組み合わせは A-B、A-C、B-C の3つ。そこで僕が各組み合わせに t 検定を1回ずつ足したら、1回ごとの有意水準が5%でも、全体の誤検出率まで5%に保たれるとは限らない。

問いここで分かること
ANOVA群全体で差がありそうか
ペア比較どの組み合わせを調べたか
比較回数有意の判定を何回行ったか

② 代表要素:f_oneway と総当たりの違い

scipy.stats.f_oneway(a, b, c) は群をまとめて比べる関数だ。僕が知りたい「どの組に差がありそうか」を直接並べるものではない。そこを知ろうとしてペアごとの検定を何度も行うなら、何回見たかも結果の読み方に入ってくる。

各検定が互いに独立で、差がないのに有意となる確率が毎回5%だと仮定した単純な計算では、k回のうち一度以上有意になる確率は 1 - 0.95**k になる。この仮定は説明用のモデルで、実際のペア比較の p 値がいつも独立という意味ではない。

比較回数一度以上有意になる確率(独立という仮定)
2回1 − 0.95² = 9.75%
3回1 − 0.95³ = 14.2625%
10回1 − 0.95¹⁰ ≒ 40.1263%

③ AIが書く例:3組をそのまま検定する

「どの組が違う?」と聞かれたコードが、3ペアの t 検定を並べることはある。次は、全群が同じ分布だという仮の状況で、各検定の p 値が独立な一様乱数になる単純モデルを作る。実データや SciPy の ANOVA 出力ではなく、多重に見ると「ひとつでも p < .05」が増える様子だけを切り出したシミュレーションだ。

import random

random.seed(20260927)
trials = 100_000

for comparisons in (2, 3, 10):
    any_significant = 0
    for _ in range(trials):
        p_values = [random.random() for _ in range(comparisons)]
        if any(p < 0.05 for p in p_values):
            any_significant += 1
    print(comparisons, any_significant / trials)

このコードを実行すると、2回は 0.09661、3回は 0.14362、10回は 0.40023 になった(Python 3.12 / 3.13 で確認。シードを固定しているので、何度実行しても同じ値になる。シードを変えれば小数点以下3桁目あたりが動く)。独立を仮定した計算値の 0.0975、0.142625、約 0.401263 に近い。3回のところは、先の式の約14.3%と同じ景色だ。

比較回数乱数シミュレーション独立モデルの計算値
20.096610.0975
30.143620.142625
100.40023約0.401263

④ 監査:p値を何枚めくったか数える

このおもちゃのシミュレーションは、同じデータから行う複数の t 検定を再現していない。ペアごとの検定はデータを共有し、p 値どうしが独立とは限らないからだ。試しに、差がない正規分布から各20件の3群を作り、ttest_ind で3組を総当たりする実験を2万回やると(SciPy 1.18.1・シード固定)、どれか1組が有意になったのは約12.3%だった。14.3%より少し低いが、5%よりはずっと高い。同じデータに f_oneway を1回だけかけた場合は約5.0%で、ANOVAは約束どおりの5%に収まっていた。実データを扱うときは、単純な14.3%をそのまま誤検出率として貼らず、どの比較を計画し、どの補正を使ったかをコードと一緒に確認する。

僕が書きかけたコードでまず見る場所は、検定の行数だった。

from itertools import combinations
from scipy.stats import ttest_ind

groups = {"A": group_a, "B": group_b, "C": group_c}
for left, right in combinations(groups, 2):
    result = ttest_ind(groups[left], groups[right])
    print(left, right, result.pvalue)

ここでは組み合わせを3回検定している。画面に p < 0.05 が1つ出たことは、その比較があらかじめ決めた唯一の検定だった場合と同じ読み方にはならない。Bonferroni や Holm など補正の方法はあるけれど、どれが適切かは比較の設計や目的にもよるので、この例では優劣を決めない。

「有意」が何を表すかは、公開済みの有意と意味のある差を分けて考えた回に置いてある。ここでは、コードに t 検定を何行書いたかを数える。

箱が3つあると、当たり札を見つける目も3回になる。
箱が3つあると、当たり札を見つける目も3回になる。
確認僕が見る場所
全体の検定ANOVAの結果だけで、どの群どうしの差まで言っていないか
比較の数ペア比較を何回行ったか
閾値それぞれの検定で何を有意と呼んだか
補正比較の設計に合った方法を選び、その設定を記録しているか
説明シミュレーションの仮定と実データの条件を混ぜていないか

⑤ チートシート:当たりの前に、くじの枚数

道具・数字読み方
f_oneway(a, b, c)群全体を比べる。どのペアかは別の問い
3群のペアA-B、A-C、B-C の3比較
1 - 0.95**k独立な5%判定をk回した単純モデルの「一度以上」
ペア別の t 検定実行回数と補正の有無をコードで確認
p値が0.05未満比較回数や計画を抜きに、当たりと決めない

3回の独立なくじなら、少なくとも1枚が当たりに見える確率は約14.3%。ただ、実際の3つの t 検定は同じ群のデータを共有するので、その数字をそのまま貼れない。僕は「有意」の表示を見つけたら、まずコードの中のくじ箱を3つ数えることにした。

やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。