知人の送別会のあと、幹事からアンケートフォームが届いた。
「今日の会、いかがでしたか？ 1〜5でお聞かせください」
開いて、ボタンを見た。5（最高）か1（最悪）なら迷わない。でも今日はどっちでもない。「よかった」とは言えるけど「最高」ではない。「3」かな、とも思うけど「3」って何なんだ。「普通」ってどういう温度のことを指すんだ。
30秒ほど考えて、フォームを閉じた。何もしなかった。
（会は普通に楽しかった。僕がただ面倒くさかっただけだと思う。）
で、このアンケートに集まった結果を幹事が見たとして——そこに僕の意見は入ってない。答えなかったから。問題は、フォームを閉じたのが僕だけだったのか、ということだ。
声は「出した人」の声だ
レストランに10人が行ったとしよう。そのうち、わざわざレビューを書いたのは2人。1人は「最高だった、★5」。もう1人は「最悪だった、★1」。残り8人は書かなかった。「まあまあだった」のかもしれないし、「次も来てもいいかな」くらいの温度だったのかもしれない。ただ、書くほどの理由が見当たらなかっただけかもしれない。
集まったレビューには、★5と★1がある。平均は3。でも、8人の声はそこにない。
これが選択バイアスの核心で——データを集めると、「データを出してくれた人」のデータしか集まらない、という当たり前の、でも忘れやすい事実。
「声が大きいほうが正しい」は直感的に怪しいと気づける。でも「集まったデータが全体を表す」は、怪しさが見えにくい。同じ問題の形をしてる。
帰ってこなかった飛行機の話
第二次世界大戦中の話として広く知られてる。
軍は出撃から帰還した爆撃機を調べ、弾痕の分布を記録していた。翼やエンジン周りに傷が集中していて、機体の中央や操縦席あたりは少ない。「翼を補強しよう」という話になったとき、エイブラハム・ウォルドという統計学者が異論を出した。
「僕らが調べているのは、帰ってきた機体だけだ」
帰ってこなかった機体は調べられない。もし中央を撃たれた機体が帰れなかったとすれば、弾痕が少ない場所こそ致命傷になりやすい。翼に弾痕が多いのは、翼を撃たれても帰ってこれたからにすぎない。補強すべきは、弾痕のない部分だった。
これが生存者バイアス。生き残ったもの、帰ってきたもの、声を上げたもの——映るのはそちらだけで、沈んだ側は最初から映らない。
消えた側に、答えがある
2つの例をまとめると、同じ形がある。
| 見えているもの | 消えているもの |
|---|---|
| レビューを書いた2人 | 書かなかった8人 |
| 帰還した機体 | 撃墜された機体 |
| アンケートに答えた人 | フォームを閉じた人 |
「集まったデータ」はすべて、「集まってくれたやつのデータ」だ。集まらなかった側は、集計の外にある。
見えているものから答えを出そうとすると、見えていないものが正答に近い——ということが起きやすい。翼を補強しようとして、実は中央が問題だった、という話と同じ構造で。
実務でも、だいたいこれ
「このアプリを使ってみて、いかがでしたか？」のアンケートで、回答者の多数が「満足」だったとする。
誰が答えたか、をまず聞く。
使い続けてる人は答えやすい。不満で離脱した人は、アプリを開かないから、アンケートの画面にすら辿り着かない。回答者の時点で、「残った人」に偏ってる可能性がある。帰還した機体だけ調べるのと同じ構造で、脱落した人の声は最初から入っていない。
「じゃあ、答えなかった人の声はどうやって取ればいいの？」
……解約後アンケートとか、離脱ユーザーへのインタビューとか、手はいくつかある。ある、けど正直まだ得意じゃない。そこは次の課題。
今日の結論
集まった声は、集まった声だけだ。
答えた人の声が、答えなかった人の代わりにはなれない。帰ってきた機体のデータが、落ちた機体の代わりにはなれない。「このデータは誰のデータか」をひとつ聞くと、騙される機数がちょっと減る。
……「機数」は飛行機の話を引きずりすぎた。「回数」だな、普通に。