データサイエンスのいろは · ⏱️ 読了目安 6分

20枚のくじから当たりだけ抜いて、発見と言うな|多重比較

多重比較は、20枚のくじを引いて、当たった1枚だけを「発見です」と額縁に入れる話だ。

くじなら誰も笑わない。でも指標になると、急に白衣を着る。20個の数字を比べて、一番よかったものだけを報告する。クリック率、滞在時間、登録数、曜日別の反応……。どれかが偶然よく見えるまで探して、見つかったら「この施策が効いた」と言う。

僕は前まで、比べる対象が多いほど丁寧に調べている気分になっていた。20個も見たのだから、1個くらい当たりを拾ってもいいだろう、と。いや、それは宝探しではなく、当たりが出るまで箱を振っているだけだ。

1回なら5%、20回なら64.15%

「差がないもの」を比べる。つまり、どの指標にも本当の当たりはないとする。

1回の検定で、間違って「差がある」と判定する確率を5%と置く。これは1回だけなら、よく見る5%だ。外れる確率は95%なので、20回とも外れる確率はこうなる。

0.95 × 0.95 × …… × 0.95(20回)
= 0.95^20
= 0.3584859224

少なくとも1回、間違って当たりが出る確率は、その反対だから、

1 − 0.95^20 = 0.6415140776

**約64.15%**になる。

20枚ぜんぶ外れなのに、1枚以上は「当たりっぽい」と出る確率が約64%。僕の電卓は、景気のいい宝探しを急に事務的な数字へ戻してきた。

当たりだけ拾うと、くじを何枚引いたかが消える。
当たりだけ拾うと、くじを何枚引いたかが消える。

比べる回数を増やすと、当たりは育つ

数字が実感に追いつくように、回数ごとに並べた。

比べた回数少なくとも1回、偶然に「差あり」になる確率
1回5.00%
2回9.75%
3回14.26%
10回40.13%
20回64.15%

3回なら14.26%。20回なら64.15%。1回ごとの5%は変わっていないのに、探す回数を増やしただけで「どれかが当たる」は大きくなる。

ここでの計算は、毎回の比較が独立していて、本当にどの指標にも差がない場合のものだ。実際の指標は互いに似ていることもあるので、いつでもこの数字になるわけではない。ただ、「5%だから安全」と回数を無視できない仕組みは見える。

一番よかったものだけ残すと、途中が消える

たとえば同じ施策について、20個の指標を見たとする。19個はいつも通りで、1個だけ偶然よく出た。報告書にその1個だけ載せれば、読み手には「この指標で成果が出た」と見える。

でも僕が実際にやったことは、最初からその指標を決めていた分析ではない。20回くじを引いてから、赤い丸の付いた紙だけを拾った。外れ19枚を見せないままなら、どのくらい探したのかが分からない。

これは「良い数字を出すな」という話ではない。20個を見たこと自体が悪いわけでもない。僕が後から気づいたのは、何個見て、どの段階で報告する数字を決めたかを書かないと、5%という目盛りの置き場所が変わってしまうことだった。

最初から「この指標を調べる」と決めていた1回と、20個を眺めてから一番よいものを選んだ1回は、同じ「1個の結果」ではない。紙の枚数が違う。そこを畳んで1枚にすると、当たりが大きく見える。

僕が表の横に置くもの

20個の指標を比べたとき、僕は結果の隣に次の3つを残すことにした。

  • 最初に決めていた指標と判定方法
  • 実際に比べた指標の個数
  • 一番よかったもの以外も含む結果

これで補正方法の名前を振り回さなくても、まず「20回探した」という事実が見える。補正をどうするかは、データの関係や分析の目的で変わる。僕はこの回で、手法の優劣を決めたいわけではない。まず、探した回数を隠すと、偶然が発見の顔をするところまでを見たかった。

当たりを見つけた後で、くじの箱を見る

多重比較で怖いのは、数字が間違うことではない。20回の中で一番よかった数字は、本当にその値として出ている。64.15%という計算も、1−0.95^20 をそのまま掛けた結果だ。

問題は、20枚から1枚だけ抜いた後で、「最初からこの1枚を見ていました」という顔をすることだ。数字は嘘をつかない。僕の視線が、都合よく1枚へ寄る。

だから結果を見るとき、僕はまず箱の中身を聞く。「何個比べた?」。その一言で、当たりの紙がただの幸運なのか、まだ確かめる余地のある候補なのか、少しだけ見分けやすくなる。

20枚のくじから赤丸の1枚だけを額縁に入れる前に、外れ19枚も机へ戻す。そうすると、額縁の数字はまだ64.15%の偶然の中に置かれている。発見と呼ぶには、くじを何枚引いたかが要る。

やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。