連載・データ分析
データサイエンスのいろは
数字は合っているのに、見た人の受け取り方がズレることがある。平均だけを見たり、割合だけを見たり、相関に勝手な矢印を引いたり。身近な「なんか変だ」を、Mixが実際に数字を並べて確かめる連載です。
平均と中央値から始めて、サンプルサイズ、散らばり、相関と因果、有意差まで。上から順に読んでも、気になる回から読んでも大丈夫。
- #01 平均3270万円の部屋に、僕は住みたくない|平均と中央値 平均と中央値が違うのは知ってる。でも実際どう違って何が起きるのか、10人の部屋で並べてみた。 読む →
- #02 レビュー3件の★4.8を、僕はまだ信用しない|サンプルサイズとn 「みんな」と言えるのは何人からか。星4.8(レビュー3件)と星4.2(2000件)、同じ星4点台でも中身は別物——n(サンプルの件数)を先に見る癖がついてから、数字が違って見えた。 読む →
- #03 平均60点なのに、片方は地獄だった|データの散らばり A組もB組も平均60点、中央値まで60点。でも点数を全部並べたら片方は狭くぎゅっと、もう片方は20〜100にバラバラ。「散らばり」を見ると、同じ数字が別の顔をする。 読む →
- #04 模試の「標準偏差12.3」を、ずっと読み違えていた 標準偏差は「ばらつきを1個の数字にしたもの」。同じ平均60点でも、標準偏差2.8点のクラスと28点のクラスは住む世界が違う。模試の成績表に必ずいる、あの数字の正体。 読む →
- #05 平均★3.0のレビュー欄に、★3の人がいなかった|二峰性分布 満足度の「平均3.0」。全員が5点か1点で、3点の人がゼロ——という状況は、平均を出した瞬間に消える。分布の"形"を初めて真面目に見た日の話。 読む →
- #06 年収偏差値を出したいのに、σがどこにもない|偏差値と標準偏差 飲み会で年収の話になった。偏差値なら言いやすいと思って計算しようとしたら、σがない。探してるうちに「そもそも給与に偏差値って大丈夫なの?」という別の穴に落ちた話。 読む →
- #07 アイスが売れると水難事故が増える——は、ほんとうのことだ|相関と因果 「一緒に動いた2つ」に、勝手に矢印を引くと騙される。相関≠因果の話と、そのうしろにいる第三の変数(交絡)のこと。 読む →
- #08 集まったデータは、帰ってきたやつの話だけだった|選択バイアス レビューも、アンケートも、戦闘機も。「見えているデータ」は全部帰ってきた側で、消えた側は映らない——選択バイアスと生存者バイアスの話。 読む →
- #09 「2倍」と書いてあるとき、僕は元の数を探す|割合と分母 割合だけ出てくると意味があるように見える。でも分母(元の数)が隠れた状態では、1が2になっただけでも「2倍」と言える。実数と割合はセットで見る——それだけの話。 読む →
- #10 グラフは、目で殴ってくる|縦軸とデータの見え方 数字が正しくてもグラフの見せ方で感情はいくらでも動かせる。縦軸の始まり・期間の切り取り・二軸の重ね方——軸を確認するだけで、印象に乗っ取られる回数が減る。 読む →
- #11 「有意差あり」で頷く前に、件数を聞きたい|p値と統計的有意差 「有意」は"偶然っぽくない"の目安であって、"効果が大きい"でも"重要"でもない。件数を増やせばどうでもいい差でも"有意"になる——その理由を、頷く前に一回だけ確かめてみた。 読む →
- #12 「検知精度99%」を見て、僕はまず"元々何人"を数えることにした 「精度99%」は"見つける力"の数字であって、"どれだけ珍しいか"の数字じゃない。珍しいものを探すゲームでは、良い検知器でもアラームの大半が外れくじになる——先に"普段どれくらい"を置くだけで、見え方が変わる。 読む →
- #13 「要精密検査」の一行を見て、僕は電卓より先に紙に升目を書いた 「陽性」も「検査精度99%」も、それだけじゃ"本当に病気な確率"は分からない。1000人ぶんの升目を紙に書いて、実際に何人が本物の患者になるか数えてみたら、17%という数字が出てきた——全部、話を追いやすくするために僕が仮に置いた架空の数字での話。 読む →
- #14 「確率は山になる」と思ってたら、山にならない確率もいた 平均や中央値の前に、そもそも形が違う。コインを100回投げた表の数、1日に来る問い合わせの件数、たくさんの要因が積み重なった身長——同じ「確率で決まる数字」でも、現象ごとに最初から違う型紙を持たされている。 読む →
- #15 同じ瓶から二回すくったのに、赤の数がぜんぜん違った 世論調査を同じ日に2回やっても支持率は数ポイント動く。片方が嘘をついてるわけじゃない——同じ集団から標本を取り直すたびに起きる、ふつうの揺れの話。グミの瓶で実際に数えて、揺れの大きさを計算してみた。 読む →
- #16 100人を400人に増やしたら、精度も4倍になると思っていた 標本平均は、同じ母集団から取り直すたびに揺れる。その揺れの幅は人数に反比例するのではなく、1/√nで縮む。100人を400人に増やして、ようやく揺れが半分になる仕組みを、架空のコインで数えてみた。 読む →
- #17 「大安の日、誰が"大安です"って決めてるんだろう」 カレンダーアプリに毎日出てくる大安・仏滅。よく見たら、誰かが今日の運勢を占って決めてるわけじゃなかった。旧暦の日付を6で割った余りに、ラベルが貼ってあるだけだった。 読む →
- #18 「イエスの誕生日、何曜日だっけ」を計算しようとして、詰んだ 曜日は日付が決まればmod 7で完全に計算できる。なのに「イエスの誕生日は何曜日」に当てはめたら、暦・日付・年数の3つの前提がそもそも1個に決まっていなかった。 読む →
- #19 「線を引いたら未来が見えた」気がして、範囲外で転んだ 2つの数字に直線を当てると、データの中ではきれいに見える。架空の5点で回帰直線を計算し、決定係数が高くてもデータの外側まで予測できるわけではないことを確かめた。 読む →
- #20 前月比20%増の花火を、去年の空にも上げてみた 時間順に並んだ数字は、前月比だけでも前年同月比だけでも別の顔を見せる。架空の注文数を使い、生の数字・3か月移動平均・前年同月比を並べて、トレンドと季節と一度きりの跳ねを分けて見る。 読む →
- #21 外れ値をデリートする前に、僕はまず事件を探す グラフを綺麗にするために飛び出た数字を消すと、裏にあった重大な事件まで一緒にゴミ箱へ消えてしまう。架空の売上データを見ながら、外れ値を消す前に調べるべき「2つの正体」について考える。 読む →
- #22 全国平均1,177円の下に、40道県がいた|加重平均のズレ 最低賃金の全国加重平均は1,177円。47都道府県を足して割ると1,125円、中央値は1,108円になる。同じ「平均」でも、何を重く見るかで見える景色が変わる。 読む →
- #23 空白のマスを「ゼロ」にした瞬間、僕は気体になる|欠測値 データに空欄があるとき、そこを「ゼロ」で埋めたり、勝手に消して平均を出してはいけない。架空の残業アンケートを見ながら、沈黙した数字が語っている「2つの罠」と向き合う。 読む →
- #24 10回押されたボタンの前に、立っていたのは1人だけだった|重複カウント データの行数と人数、イベント数とユーザー数を混同してはいけない。1人が10回押したボタンを10人の反応と読まないための、僕が実務でログを引くときの手の内。 読む →
- #25 500mlのビールと50mlのスピリタスを、液体の量だけで比べるな|単位を揃える 円/月と円/年、率と件数を混ぜてはいけない。計算を始める前に、まず「ものさしの単位」を揃えることの重要性について、僕が実務でログや報告書を眺めるときの手の内。 読む →
- #26 日曜の240PVを見て、僕はまだ喜ばなかった|比較対象を置く 休日のPVが前日より増えていても、それだけでは施策の成功とは言えない。同じ曜日の過去データや移動平均を比較対象に置き、結論がどう変わるかを小さな表で確かめる。 読む →
- #27 梅干しと弁当箱を同時に変えて、梅干しが人気だと言うな|A/Bテスト タイトル・画像・公開時間を一度に変えてクリックが増えても、何が効いたのかは分からない。仮の数字を同じ表に通しながら、A/Bテストで変えるものを一つに絞る理由を確かめる。 読む →