梅干しと弁当箱を同時に変えて、梅干しが人気だと言うな|A/Bテスト
タイトル・画像・公開時間を一度に変えてクリックが増えても、何が効いたのかは分からない。仮の数字を同じ表に通しながら、A/Bテストで変えるものを一つに絞る理由を確かめる。
平均と中央値、サンプルサイズ、相関と因果——身近な数字や疑問を、データと個人の視点で本気で確かめる思考ログ。引っかかってから「なるほど」に辿り着くまでの過程を置く場所。
タイトル・画像・公開時間を一度に変えてクリックが増えても、何が効いたのかは分からない。仮の数字を同じ表に通しながら、A/Bテストで変えるものを一つに絞る理由を確かめる。
休日のPVが前日より増えていても、それだけでは施策の成功とは言えない。同じ曜日の過去データや移動平均を比較対象に置き、結論がどう変わるかを小さな表で確かめる。
円/月と円/年、率と件数を混ぜてはいけない。計算を始める前に、まず「ものさしの単位」を揃えることの重要性について、僕が実務でログや報告書を眺めるときの手の内。
データの行数と人数、イベント数とユーザー数を混同してはいけない。1人が10回押したボタンを10人の反応と読まないための、僕が実務でログを引くときの手の内。
データに空欄があるとき、そこを「ゼロ」で埋めたり、勝手に消して平均を出してはいけない。架空の残業アンケートを見ながら、沈黙した数字が語っている「2つの罠」と向き合う。
グラフを綺麗にするために飛び出た数字を消すと、裏にあった重大な事件まで一緒にゴミ箱へ消えてしまう。架空の売上データを見ながら、外れ値を消す前に調べるべき「2つの正体」について考える。
最低賃金の全国加重平均は1,177円。47都道府県を足して割ると1,125円、中央値は1,108円になる。同じ「平均」でも、何を重く見るかで見える景色が変わる。
時間順に並んだ数字は、前月比だけでも前年同月比だけでも別の顔を見せる。架空の注文数を使い、生の数字・3か月移動平均・前年同月比を並べて、トレンドと季節と一度きりの跳ねを分けて見る。
2つの数字に直線を当てると、データの中ではきれいに見える。架空の5点で回帰直線を計算し、決定係数が高くてもデータの外側まで予測できるわけではないことを確かめた。
曜日は日付が決まればmod 7で完全に計算できる。なのに「イエスの誕生日は何曜日」に当てはめたら、暦・日付・年数の3つの前提がそもそも1個に決まっていなかった。
カレンダーアプリに毎日出てくる大安・仏滅。よく見たら、誰かが今日の運勢を占って決めてるわけじゃなかった。旧暦の日付を6で割った余りに、ラベルが貼ってあるだけだった。
標本平均は、同じ母集団から取り直すたびに揺れる。その揺れの幅は人数に反比例するのではなく、1/√nで縮む。100人を400人に増やして、ようやく揺れが半分になる仕組みを、架空のコインで数えてみた。
世論調査を同じ日に2回やっても支持率は数ポイント動く。片方が嘘をついてるわけじゃない——同じ集団から標本を取り直すたびに起きる、ふつうの揺れの話。グミの瓶で実際に数えて、揺れの大きさを計算してみた。
平均や中央値の前に、そもそも形が違う。コインを100回投げた表の数、1日に来る問い合わせの件数、たくさんの要因が積み重なった身長——同じ「確率で決まる数字」でも、現象ごとに最初から違う型紙を持たされている。
「陽性」も「検査精度99%」も、それだけじゃ"本当に病気な確率"は分からない。1000人ぶんの升目を紙に書いて、実際に何人が本物の患者になるか数えてみたら、17%という数字が出てきた——全部、話を追いやすくするために僕が仮に置いた架空の数字での話。
「精度99%」は"見つける力"の数字であって、"どれだけ珍しいか"の数字じゃない。珍しいものを探すゲームでは、良い検知器でもアラームの大半が外れくじになる——先に"普段どれくらい"を置くだけで、見え方が変わる。
「有意」は"偶然っぽくない"の目安であって、"効果が大きい"でも"重要"でもない。件数を増やせばどうでもいい差でも"有意"になる——その理由を、頷く前に一回だけ確かめてみた。
数字が正しくてもグラフの見せ方で感情はいくらでも動かせる。縦軸の始まり・期間の切り取り・二軸の重ね方——軸を確認するだけで、印象に乗っ取られる回数が減る。
割合だけ出てくると意味があるように見える。でも分母(元の数)が隠れた状態では、1が2になっただけでも「2倍」と言える。実数と割合はセットで見る——それだけの話。
レビューも、アンケートも、戦闘機も。「見えているデータ」は全部帰ってきた側で、消えた側は映らない——選択バイアスと生存者バイアスの話。
「一緒に動いた2つ」に、勝手に矢印を引くと騙される。相関≠因果の話と、そのうしろにいる第三の変数(交絡)のこと。
飲み会で年収の話になった。偏差値なら言いやすいと思って計算しようとしたら、σがない。探してるうちに「そもそも給与に偏差値って大丈夫なの?」という別の穴に落ちた話。
満足度の「平均3.0」。全員が5点か1点で、3点の人がゼロ——という状況は、平均を出した瞬間に消える。分布の"形"を初めて真面目に見た日の話。
標準偏差は「ばらつきを1個の数字にしたもの」。同じ平均60点でも、標準偏差2.8点のクラスと28点のクラスは住む世界が違う。模試の成績表に必ずいる、あの数字の正体。
平均と中央値が違うのは知ってる。でも実際どう違って何が起きるのか、10人の部屋で並べてみた。
「みんな」と言えるのは何人からか。星4.8(レビュー3件)と星4.2(2000件)、同じ星4点台でも中身は別物——n(サンプルの件数)を先に見る癖がついてから、数字が違って見えた。
A組もB組も平均60点、中央値まで60点。でも点数を全部並べたら片方は狭くぎゅっと、もう片方は20〜100にバラバラ。「散らばり」を見ると、同じ数字が別の顔をする。