データサイエンスのいろは · ⏱️ 読了目安 8分

「効果なし」と書いたあとで、僕は見逃した数を数えた

「効果なし」と書いた報告書を、送信ボタンの上で30分寝かせた。メールなのに熟成させる意味はない。ワインでもない。

仮説検定は、差があるかないかを一発で見抜く占いではなく、間違いをどちら側まで許すか決めてから判定する手続きだ。ここを知らないまま「有意じゃなかったので効果なし」と書くと、見つからなかっただけの効果まで埋めてしまう。

前の僕は、「有意差なし」を見たら、差が無いほうに丸を付けていた。今は、その丸の横に小さく「見つけられなかった可能性」と書く。

まず、ありそうな小さな実験を置いた

本番のデータを持ち出す話ではない。仕組みを見るために、紙の上に架空の数字を置いた。

ボタンAを押した人が100人、押した人は12人。ボタンBも100人、押した人は16人。Bのほうが4人多い。画面なら、Bの棒が少し高い(棒グラフを描くと、なぜか僕の線はすぐ階段になるので、ここでは人数だけ書く)。

「Bのほうが効いた」と言いたくなる差ではある。でも、100人ずつでは、たまたま4人くらい動くこともある。だから最初に置く仮説を、こうした。

  • 本当はAとBで押す割合に差がない
  • 観測した12人と16人の差は、偶然の揺れでも起きうる

この「差がない」を仮に置くところから始める。差がないと信じる宗教ではなく、差があると言うための比較の土台を作る作業だ。

差があるように見える丸と、見逃したかもしれない丸。
差があるように見える丸と、見逃したかもしれない丸。

5%の線は、慎重さの値札だった

仮説検定では、判定の前に「差がないのに、差があると言ってしまう間違い」をどこまで許すか決める。よく5%という線を置く。僕はこれを、差がない世界で、差があると言い過ぎる側の間違いを5%まで許す宣言として読んでいる。

ここで気をつけたいのは、5%が「今回の結論が95%正しい」という意味ではないことだ。紙に「5%」と書いたから、報告書に自動で保険が付くわけではない。数字は保険証じゃない。

紙に「5%」と書いたとき
言っていること差がない世界で「差がある」と言い過ぎる間違いを、5%まで許す
言っていないこと今回の結論が95%の確率で正しい

仮に、差がない世界を100回つくって同じ手続きをするとする。そのうち5回くらいは、偶然の揺れを見て「差がある」と判定することを許す、という向きの数字だ。実際の判定はデータの分布や検定の方法にも依るので、ここで「必ず5回」とは書かない。5%は、判定を始める前に決める境界だ。

「差がない」と言った僕が間違う側

間違いは一種類ではなかった。

本当は差がないのに、「差がある」と言ってしまう。これは、差がないものを拾ってしまう間違い。逆に、本当は差があるのに、「差がない」と言ってしまう。こちらは、せっかく来ていた差を見逃す間違いだ。

判定:差がある判定:差がない
本当は差がない第1種の過誤(拾い過ぎ)正しい
本当は差がある正しい第2種の過誤(見逃し)

名前を付けると、前者は第1種の過誤、後者は第2種の過誤と呼ばれる。名前は覚えなくてもよいと思っていたが、2つを同じ「ミス」にまとめると、どちらを減らそうとしているのか分からなくなるので、名前が残った。

たとえば薬の候補を調べるとき、効いていないのに効いたと言うのは困る。一方で、本当は効いているのに効いていないと捨てるのも困る。どちらも困るので、検定は「間違いゼロ」を約束するものではなく、どの間違いをどれくらい警戒するかを先に決める。

片方のネジだけ締めると、もう片方がゆるむ

5%の線をもっと厳しくして、差があると言いにくくすることはできる。けれど、そのぶん本当は差があるものも拾いにくくなる。逆に、何でも差があると言いやすくすれば、偶然を拾う側が増える。

線の引き方(人数は同じ)拾い過ぎ(第1種)見逃し(第2種)
5%を1%に厳しくする減る増える
5%を10%に緩くする増える減る

「厳しくすれば全部安全」と思っていた僕の頭は、ここで少し傾いた。検定は精密な体重計というより、誤判定の方向を選びながら使うふるいに近い。穴を小さくすると、砂だけでなく小石も落ちなくなる。

そして、100人ずつの実験で4人差だった最初の例に戻る。差があったように見えることと、差があると判定することは別だった。もし本当に差があるとしても、人数が少なくて見つけられないことがある。仮に本当の割合が12%と16%だったとしても、100人ずつの実験で5%の線を引いた検定がその差を見つけられるのは、ざっと8回に1回くらいだ(正規近似の計算で約13%。この「見つけられる確率」を検出力と呼ぶ)。今回の12人と16人を実際に検定すると、p値は約0.41で、線には遠く届かない。だから「有意じゃない」は「効果がない」ではなく、「この手続きでは、差があると言えるところまで届かなかった」と読む余地が残る。

送信ボタンの上で、丸を二つにした

最初の報告書には「Bの効果なし」と書いていた。そこを「今回のデータでは、AとBの差があるとは判定できなかった」に変えた。

報告書の一文
最初に書いたものBの効果なし
送信したもの今回のデータでは、AとBの差があるとは判定できなかった

これは逃げではない。効果がないことを証明したわけではないし、効果があることも証明していない。僕がやったのは、判定の手続きと、見逃す側の間違いを隠さず横に置くことだった。

「効果なし」の丸を一個だけ置くと、紙の上はすっきりする。でも、僕はその横にもう一個、見逃しの丸を置いてから送信した。丸が二つになったぶん、報告書は少しだけ狭くなった。

やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。