データサイエンスのいろは · ⏱️ 読了目安 8分

レビュー3件の★4.8を、僕はまだ信用しない|サンプルサイズとn

先週、なんか買い物しようとして(細かいのは省く)、通販でお目当てのものを探してた。見つけた。★4.8。なんか良さそう。

件数を見た。

3件。

……目が泳いだ。

3人が全員★5をつけて、そのうち1人だけ★4。それを「4.8」と呼んでいる。

隣の商品は★4.2で2000件。計算上は★4.8のほうが高いのに、体が「4.2のほうじゃないか」って言ってくる。このモヤっとを一回ちゃんと言語化してみた。

件数(n)が、数字の重みを決める

n というのは集めたデータの件数のこと。数字を見るとき、僕らはたいてい結果(星の数・パーセンテージ・平均)だけ見て、「その数字、何件から出したの?」を気にしない。でもここが落とし穴で。

コインを3回投げて3回表が出たとする。「このコイン、表が出やすいかも」——気になる。でも3回は少ない。コインが普通のやつだとして、3回全部表になる確率を計算する。

  • 1回で表が出る確率 = 1/2
  • 3回続けて表 = 1/2 × 1/2 × 1/2 = 1/8 = 12.5%

8回に1回は起きる。「コインがおかしい」でなく「たまたま」で十分説明できる。

同じコインを3000回投げて1500回表だったら? 確率ちょうど50%。「表が出やすい」とは誰も言わない。件数が増えると、たまたまが薄まって、本当の傾向が見えてくる。

左の小さい瓶(n=3)は星が1つ入っただけで傾く。右の大きな樽(n=2000)はびくともしない
左の瓶(n=3)は1つ星が入っただけで傾く。右の樽(n=2000)はびくともしない。

1件の重さが全然違う

最初の話に戻る。n=3 のとき、1件の重さが極端に大きい。

今の状態が「★5 × 3件 = 平均5.0」だとして、そこに★1が1件入ると:

  • (5 + 5 + 5 + 1) ÷ 4 = ★4.0

4件で★1が1枚、それだけで5.0→4.0に落ちる。

n=2000、平均★4.2 の場合は:

  • 総点数 = 4.2 × 2000 = 8400点
  • そこに★1が1件入ると = 8401 ÷ 2001 ≈ ★4.197

ほとんど動かない。2001件目の★1は誤差以下だった。

少ない件数の平均は、1件に引っ張られやすい。だから★4.8(n=3)を体が信用しないのは正しい。

直感がちゃんと仕事してた。

……なんだ、直感もたまには役に立つんじゃないか。

「みんな」って何人から?

ここまで n の話をしてきて、ふと思った。日常で一番よく使う「件数をぼかす言葉」って、たぶん**「みんな」**だ。

「みんな持ってるよ」「みんな言ってる」。あれ、みんなって何人からなんだ?

調べた限り、「みんなとは何人から」を決めたルールは統計の側に無い。そりゃそうだ、「みんな」は統計用語じゃない。だから答えとしては「決まってない」が正確なところで、ここで歯切れよく「5人からです」とか言い切ったら、それこそこの記事が批判してる側になる。

ただ、決まりが無いからこそ使い方は観察できる。実際に耳にする「みんな」を数えてみると、だいたいこうなる。

「みんな」の実際の中身体感の件数どう聞き返すか
「みんな持ってるよ」(子ども)2〜3人「誰と誰?」で終わる
「みんな言ってる」(職場)1〜2人+話者「何人から聞いた?」
「みんな不満らしい」(伝聞)0人(伝聞の伝聞)「元は誰?」
アンケートの「多くの人が」開示されていれば n が書いてあるn を見る

つまり「みんな」は件数の言葉じゃなくて、件数を言いたくないときに使う言葉なんだと思う。★4.8(3件)と同じ構造で、結果だけ大きく見せて分母を隠してる。

「みんな」って言われたら「何人?」って聞けばいいのか。

……角が立つけどな。心の中で聞くだけでも十分だ。

「傾向があります」の後に聞くこと

仕事の報告で「この施策、効果がありました。利用率が20%上がりました」みたいなものを見るとき、僕はまず聞く。「n は何件でしたか?」。

n=5 で「20%上昇」と言われても、次の週に別の5人を測ったら普通に下がる可能性がある。でも報告書には「傾向あり」と書かれる。数字は嘘をついてない。n を開示しないで「傾向があります」と書いた側が、重みをこっそり省略してる。

Darrell Huff が『統計でウソをつく法』(1954)でまとめた手口も、このパターンをいくつか扱ってる。70年前の本が今も普通に買えるのは、70年間人類が同じ手に引っかかり続けてるってことだ。なかなかに健気。

今日の手の内

数字を見たら、最初に件数(n)を確認する。それだけ。

★4.8 と ★4.2、どっちを信じるかは n 次第。「傾向あります」の重みも n 次第。件数が分かると、数字の信頼度が分かる。

……いや、「分かる気がする」だな。自分が実際に n をちゃんと先に見る習慣として身についているかは、まだ測ってない。測ったらまた書く(どうやって測るかも含めて)。

やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。