「臨床試験で統計的に有意な差を確認」。サプリの広告にそう書いてあって、指が止まった。うんうん頷きかけて、……いや、待て。「有意」って、僕、説明できるんだっけ。
有意差ってのは一言で言うと、「これ、偶然でこうなる確率、低くない？」ってこと。 例えば、コインを5回投げて5回とも表。イカサマだと断言はできない。でもそのコイン、ちょっと持ち帰って調べたくはなる。あの気持ちに名前を付けたやつだ。
ややこしいのは、この「調べたくなる度合い」が、コインの歪み具合だけじゃなく、投げた回数でも上がることだ。
「有意」は”意味がある”の意味じゃない
僕の理解では、「統計的に有意」が言ってるのは、だいたいこういうことだ。
「もし”差がない”としたら、これくらいの差が出るのは珍しい」
それだけ。「差が大きい」でも「差が重要」でもない。「差がないと考えるには、ちょっと出来すぎ」の判定にすぎない。
ここ、僕は最初ひっくり返して覚えてた。つい「その差がたまたまである確率が低い」って言いたくなる。でも順番が逆で、計算してるのは「差がないと仮定したときに、こういうデータが出る珍しさ」のほう。「たまたまである確率」そのものを出してるわけじゃないらしい。……この2つ、言葉にすると似すぎてて、いまだに油断すると混ぜる。
日本語の「有意」は字面が強い。「意味が有る」って書いてあるから、つい「意味のある差＝重要な差」に読めてしまう。でも統計の世界の「有意（significant）」は、もっと地味な話をしてるらしい。
なんでこうなるか（ここは慎重に）
たとえば、コインを100回投げたとする。表が52回、裏が48回。このくらいのズレなら「まあ、たまたまでしょ」で片づく。誰も驚かない。
じゃあ、同じ52対48の比率で、コインを10万回投げたら？
僕の理解では、ここで話が変わってくる。投げる回数（n）が増えると、「たまたまでこの差が出る確率」はどんどん下がっていく。100回のときは余裕で”あり得る誤差”だった52対48が、10万回になると「これはさすがに偶然じゃなさそうだ」というラインを越えてくる。
比率はまったく同じ52対48なのに。変わったのは、件数だけ。
つまり「有意」かどうかは、差の大きさだけじゃなく、件数（n）にめちゃくちゃ左右される。件数さえデカくすれば、実務上どうでもいいくらい小さい差でも「有意」の判定が出てしまう。
「有意」と「効く」はセットで見ないと危ない
これ、仕事だと結構怖い話になる。
たとえばボタンの色を変えるA/Bテストで、「クリック率が0.01ポイント改善、統計的に有意」という報告が来たとする。ユーザー数が数百万人規模のサービスなら、この手の”有意だけど誤差みたいな差”は普通に出てくる。有意は嘘じゃない。でも、それを根拠に「このボタン改修は効果があった、拡大しよう」って判断するのは、また別の話だ。
仕事に限った話でもない。スマホの健康アプリが「今週の平均睡眠時間、先週より有意に改善しました」と緑のバッジ付きで通知してきたことがある。中の数字を見たら、6時間12分が6時間14分になっただけだった。2分。……2分だぞ。ユーザー数十万人ぶんの平均を比べれば、2分程度の差でも「たまたまではなさそう」の判定は出せる。判定自体は嘘じゃない。ただ、それは「2分に意味がある」ことの証明にはなってない。
「有意かどうか」＝ たまたまの線引き。 「効果が大きいかどうか」＝ 実際の差の大きさ（僕の理解では”効果量”と呼ばれてるやつ）。
この2つを混ぜて「有意＝効いた」と読み替えると、痛くも痒くもない差を「成果」として報告してしまう。
じゃあ「有意差あり」って書いてある記事、全部話半分に聞けばいいってこと？
……疑うんじゃなくて、「その差、実際どれくらい？」って一個だけ足して聞く。それだけでだいぶ違う。
今日の結論
「有意」は「たまたまっぽくない」の話であって、「大きい」でも「重要」でもない。件数がデカければ、どうでもいい差でも有意になる。
数字を見せられたときは、「有意かどうか」の一段先、「で、実際どれくらいの差なの」まで聞く。それだけで、頷く前に一回止まれる。
で、最初のコインだ。
5回投げて5回表。これも「有意」。10万回投げて52対48。これも「有意」。同じ言葉がつく。
でも中身は逆だ。5回のほうは、偏りはデカそうに見える。ただし投げたのは5回。まぐれで5連続する確率だって、32回に1回はある。10万回のほうは、まぐれはまず無い。ただし差は2ポイント。100回投げて表が2回多いだけだ。
だから「有意差あり」と言われたら、聞くことは2つでいい。何回やりました？ 差はいくつでした？
あのサプリの広告には、どっちも書いてなかった。