連載・データ分析
データサイエンスのいろは
数字は合っているのに、見た人の受け取り方がズレることがある。平均だけを見たり、割合だけを見たり、相関に勝手な矢印を引いたり。身近な「なんか変だ」を、Mixが実際に数字を並べて確かめる連載です。
平均と中央値から始めて、サンプルサイズ、散らばり、相関と因果、有意差まで。上から順に読んでも、気になる回から読んでも大丈夫。
- #01 平均3270万円の部屋に、僕は住みたくない|平均と中央値 平均と中央値が違うのは知ってる。でも実際どう違って何が起きるのか、10人の部屋で並べてみた。 読む →
- #02 レビュー3件の★4.8を、僕はまだ信用しない|サンプルサイズとn 「みんな」と言えるのは何人からか。星4.8(レビュー3件)と星4.2(2000件)、同じ星4点台でも中身は別物——n(サンプルの件数)を先に見る癖がついてから、数字が違って見えた。 読む →
- #03 平均60点なのに、片方は地獄だった|データの散らばり A組もB組も平均60点、中央値まで60点。でも点数を全部並べたら片方は狭くぎゅっと、もう片方は20〜100にバラバラ。「散らばり」を見ると、同じ数字が別の顔をする。 読む →
- #04 模試の「標準偏差12.3」を、ずっと読み違えていた 標準偏差は「ばらつきを1個の数字にしたもの」。同じ平均60点でも、標準偏差2.8点のクラスと28点のクラスは住む世界が違う。模試の成績表に必ずいる、あの数字の正体。 読む →
- #05 平均★3.0のレビュー欄に、★3の人がいなかった|二峰性分布 満足度の「平均3.0」。全員が5点か1点で、3点の人がゼロ——という状況は、平均を出した瞬間に消える。分布の"形"を初めて真面目に見た日の話。 読む →
- #06 年収偏差値を出したいのに、σがどこにもない|偏差値と標準偏差 飲み会で年収の話になった。偏差値なら言いやすいと思って計算しようとしたら、σがない。探してるうちに「そもそも給与に偏差値って大丈夫なの?」という別の穴に落ちた話。 読む →
- #07 アイスが売れると水難事故が増える——は、ほんとうのことだ|相関と因果 「一緒に動いた2つ」に、勝手に矢印を引くと騙される。相関≠因果の話と、そのうしろにいる第三の変数(交絡)のこと。 読む →
- #08 集まったデータは、帰ってきたやつの話だけだった|選択バイアス レビューも、アンケートも、戦闘機も。「見えているデータ」は全部帰ってきた側で、消えた側は映らない——選択バイアスと生存者バイアスの話。 読む →
- #09 「2倍」と書いてあるとき、僕は元の数を探す|割合と分母 割合だけ出てくると意味があるように見える。でも分母(元の数)が隠れた状態では、1が2になっただけでも「2倍」と言える。実数と割合はセットで見る——それだけの話。 読む →
- #10 グラフは、目で殴ってくる|縦軸とデータの見え方 数字が正しくてもグラフの見せ方で感情はいくらでも動かせる。縦軸の始まり・期間の切り取り・二軸の重ね方——軸を確認するだけで、印象に乗っ取られる回数が減る。 読む →
- #11 「有意差あり」で頷く前に、件数を聞きたい|p値と統計的有意差 「有意」は"偶然っぽくない"の目安であって、"効果が大きい"でも"重要"でもない。件数を増やせばどうでもいい差でも"有意"になる——その理由を、頷く前に一回だけ確かめてみた。 読む →
- #12 「検知精度99%」を見て、僕はまず"元々何人"を数えることにした 「精度99%」は"見つける力"の数字であって、"どれだけ珍しいか"の数字じゃない。珍しいものを探すゲームでは、良い検知器でもアラームの大半が外れくじになる——先に"普段どれくらい"を置くだけで、見え方が変わる。 読む →
- #13 「要精密検査」の一行を見て、僕は電卓より先に紙に升目を書いた 「陽性」も「検査精度99%」も、それだけじゃ"本当に病気な確率"は分からない。1000人ぶんの升目を紙に書いて、実際に何人が本物の患者になるか数えてみたら、17%という数字が出てきた——全部、話を追いやすくするために僕が仮に置いた架空の数字での話。 読む →
- #14 「確率は山になる」と思ってたら、山にならない確率もいた 平均や中央値の前に、そもそも形が違う。コインを100回投げた表の数、1日に来る問い合わせの件数、たくさんの要因が積み重なった身長——同じ「確率で決まる数字」でも、現象ごとに最初から違う型紙を持たされている。 読む →
- #15 同じ瓶から二回すくったのに、赤の数がぜんぜん違った 世論調査を同じ日に2回やっても支持率は数ポイント動く。片方が嘘をついてるわけじゃない——同じ集団から標本を取り直すたびに起きる、ふつうの揺れの話。グミの瓶で実際に数えて、揺れの大きさを計算してみた。 読む →
- #16 100人を400人に増やしたら、精度も4倍になると思っていた 標本平均は、同じ母集団から取り直すたびに揺れる。その揺れの幅は人数に反比例するのではなく、1/√nで縮む。100人を400人に増やして、ようやく揺れが半分になる仕組みを、架空のコインで数えてみた。 読む →
- #17 「大安の日、誰が"大安です"って決めてるんだろう」 カレンダーアプリに毎日出てくる大安・仏滅。よく見たら、誰かが今日の運勢を占って決めてるわけじゃなかった。旧暦の日付を6で割った余りに、ラベルが貼ってあるだけだった。 読む →
- #18 「イエスの誕生日、何曜日だっけ」を計算しようとして、詰んだ 曜日は日付が決まればmod 7で完全に計算できる。なのに「イエスの誕生日は何曜日」に当てはめたら、暦・日付・年数の3つの前提がそもそも1個に決まっていなかった。 読む →
- #19 「線を引いたら未来が見えた」気がして、範囲外で転んだ 2つの数字に直線を当てると、データの中ではきれいに見える。架空の5点で回帰直線を計算し、決定係数が高くてもデータの外側まで予測できるわけではないことを確かめた。 読む →
- #20 前月比20%増の花火を、去年の空にも上げてみた 時間順に並んだ数字は、前月比だけでも前年同月比だけでも別の顔を見せる。架空の注文数を使い、生の数字・3か月移動平均・前年同月比を並べて、トレンドと季節と一度きりの跳ねを分けて見る。 読む →
- #21 外れ値をデリートする前に、僕はまず事件を探す グラフを綺麗にするために飛び出た数字を消すと、裏にあった重大な事件まで一緒にゴミ箱へ消えてしまう。架空の売上データを見ながら、外れ値を消す前に調べるべき「2つの正体」について考える。 読む →
- #22 全国平均1,177円の下に、40道県がいた|加重平均のズレ 最低賃金の全国加重平均は1,177円。47都道府県を足して割ると1,125円、中央値は1,108円になる。同じ「平均」でも、何を重く見るかで見える景色が変わる。 読む →
- #23 空白のマスを「ゼロ」にした瞬間、僕は気体になる|欠測値 データに空欄があるとき、そこを「ゼロ」で埋めたり、勝手に消して平均を出してはいけない。架空の残業アンケートを見ながら、沈黙した数字が語っている「2つの罠」と向き合う。 読む →
- #24 10回押されたボタンの前に、立っていたのは1人だけだった|重複カウント データの行数と人数、イベント数とユーザー数を混同してはいけない。1人が10回押したボタンを10人の反応と読まないための、僕が実務でログを引くときの手の内。 読む →
- #25 500mlのビールと50mlのスピリタスを、液体の量だけで比べるな|単位を揃える 円/月と円/年、率と件数を混ぜてはいけない。計算を始める前に、まず「ものさしの単位」を揃えることの重要性について、僕が実務でログや報告書を眺めるときの手の内。 読む →
- #26 日曜の240PVを見て、僕はまだ喜ばなかった|比較対象を置く 休日のPVが前日より増えていても、それだけでは施策の成功とは言えない。同じ曜日の過去データや移動平均を比較対象に置き、結論がどう変わるかを小さな表で確かめる。 読む →
- #27 梅干しと弁当箱を同時に変えて、梅干しが人気だと言うな|A/Bテスト タイトル・画像・公開時間を一度に変えてクリックが増えても、何が効いたのかは分からない。仮の数字を同じ表に通しながら、A/Bテストで変えるものを一つに絞る理由を確かめる。 読む →
- #28 絶好調の次に落ちた投稿を、失敗扱いしなかった たまたま良かった投稿の次が普通に戻ると、施策が失敗したように見える。架空の投稿10組を数え、平均への回帰と本当の効果を前後二つの数字だけで分けにくい理由を確かめる。 読む →
- #29 連休明けに落ちたアクセスを、記事のせいにしなかった|前後比較の罠 改修の前後で数字が変わっても、季節や外部要因が同時に動いているかもしれない。大型連休をまたぐ仮のアクセス記録を並べ、前後二枚だけで因果を決めない読み方を手の内から明かす。 読む →
- #30 12月の検索増を、僕の施策の手柄にしない|季節性 年末や曜日、イベントで繰り返す波を施策の効果と取り違えないために、12か月の仮データを並べて季節性の見方を確かめる。 読む →
- #31 充電100%の朝を基準にしない|ベースライン 施策直後の初速だけでは、いつもの状態からどれだけ変わったか分からない。7日分の小さな表を作り、施策前のベースラインとその後の数字を並べてみた。 読む →
- #32 20枚のくじから当たりだけ抜いて、発見と言うな|多重比較 20個の指標を比べて一番よかったものだけを報告すると、差がなくても偶然の当たりが混ざる。比較の回数を数えながら、多重比較で起きることを確かめる。 読む →
- #33 全体が40%増えても、新しい記事は0のままだった|データの粒度 サイト全体・日次・記事別で同じ数字を集計しても、見える現象は変わる。確認用の小さな表を使い、合計値が内訳を隠す仕組みを確かめる。 読む →
- #34 検索クリック94を、訪問94とは読まない|GA4のセッション Search Consoleのクリック、GA4のセッション、サイト内イベントは似ているようで別の数字だ。実測94クリックと仮の小さな表を並べ、計測器が違うときに何を言えて何を言えないかを確かめる。 読む →
- #35 検索結果に出ていない記事のタイトルを、僕はまだ直さない|GSCの表示とクリック Search Console の impression は検索結果に出た回数、click はそこから押された回数。仮の小さな表を使い、表示ゼロの記事でタイトル改善を始める前に、まず検索面に出ているかを確かめる。 読む →
- #36 通知バッジを消す前に、レポートの順番を決める|結論・根拠・限界・次の一手 数字を全部並べると、かえって判断できなくなる。旧記事と新規記事のクリックを混ぜた表をほどきながら、結論・根拠・限界・次の一手の順で報告する型を、僕の手の内として書く。 読む →
- #37 動いたCSV読み込みが、メモリを17倍食べていた|Pandasの読み込みと概観 Pandasのread_csvは動けば終わりではない。同じ10万行のCSVを型指定なしとdtype指定+category化で読み、メモリ使用量とdescribeの見え方を確かめた。 読む →
- #38 警告が出ても通ったので、表が変わったとは限らない|Pandasの抽出と欠損処理 Pandasで抽出した表へ代入し、警告は出るのに元のDataFrameが変わらない例を確かめる。loc、isna、dropna、fillnaを同じ小さなデータへ通し、行数と数字の変化を並べる。 読む →
- #39 平均30.0が二組あったので、人数を数え直した|Pandasの集計とグループ化 Pandasのgroupbyとaggで同じ平均になる二つの群を並べ、medianとcountを足して集計で何が見えなくなるかを確かめる。MultiIndex、as_index、欠損キーの既定値も同じデータで読む。 読む →
- #40 集計したのに料理が出てこない|Polarsの遅延評価 Polarsのscan_csvとLazyFrameで、書いた処理がcollectまで実行されないことを確かめる。eagerとlazyの同じ集計を動かし、explainの実行計画と出力を並べて読む。 読む →
- #41 立派なグラフの床を、僕は一度はがす|MatplotlibとSeabornの出力 MatplotlibとSeabornに同じデータを描かせ、既定の軸と誤差表示を実測した。絵が出たあとに、どこを監査するかを数字で並べて読む。 読む →
- #42 カイ二乗検定の返り値、4つ目まで見たら話が変わった scipy.stats.chi2_contingency の4つの返り値を小さなクロス集計で確認。期待度数と Fisher の結果も同じ表で並べる。 読む →
- #43 テストデータをのぞいたスケーラーは、答えを先に見ている|sklearnのPipeline scikit-learnのStandardScalerを分割前にfitする例とPipelineで訓練データだけにfitする例を、同じ人工データで動かしてテスト精度を比べる。 読む →
- #44 「52%で勝ってます」と言われて、僕はピザを冷ますことにした 支持率やクリック率の52%という点だけでなく、49〜55%のような幅まで見ると、数字の確信が少し冷める。区間推定を架空のアンケートで数えながら、一本の数字に勝敗を預けない読み方を手の内から明かす。 読む →
- #45 「効果なし」と書いたあとで、僕は見逃した数を数えた 仮説検定は、効果があるかないかを神託する手続きではない。5%の線を引くとき、見つける間違いと見逃す間違いの両方を数える話。 読む →
- #46 「偏ってる気がする」を、4つのマスに入れてみた 曜日で反応が違う気がする。そこで架空の小さな集計を使い、関係がなければ何件ずつになるはずかを計算した。カイ二乗検定は、クロス集計の「気がする」を、期待値との差として眺める手続きだった。 読む →
- #47 相関0.9の行を信じる前に、点を10個描いた|SciPyの相関 PandasのcorrとSciPyのpearsonr・spearmanrを同じ点群に通し、外れ値1点でPearsonが変わる一方、順位を見るSpearmanは変わらないことを数字で確かめる。 読む →
- #48 t検定と正規性の前提 scipy.stats.ttest_ind の equal_var を変え、同じ2群の結果がどう変わるかを実行して確かめる。p値の前に、どんな前提を置いたコードなのかを見る。 読む →
- #49 3群を比べて、僕は有意のくじを3回引いていた|ANOVAと多重比較 ANOVAが答える範囲と、群を総当たりしたとき有意が出る確率を、計算と小さなシミュレーションで確かめる。 読む →
- #50 R²が上がっても、モデルが賢くなったとは限らない|statsmodelsのOLS summary statsmodelsのOLS summaryを読み、無関係な乱数列を足す前後でR²と調整済みR²、係数のp値がどう動くかを同じデータで確かめる。 読む →
- #51 平均サイズ25.3cmの靴を仕入れたら、誰も履かなかった|最頻値とトリム平均 架空の靴屋と10人分の採点を使い、最頻値とトリム平均で「代表させるもの」がどう変わるかを確かめる。 読む →
- #52 幾何平均(+50%のあと−50%は、元に戻らない) +50%と−50%を足して平均すると0%。でも100円は75円になる。増減率がかけ算で積み上がるとき、僕が足し算を疑うまで。 読む →