スマホの画面に、昨日だけ「いいね」が3倍ついた投稿がある。その隣に今日の数字を置くと、急にしょんぼりしている。投稿の中身が腐ったというより、昨日が宴会だった可能性を僕は疑う。
今日は、極端に良かった次が普通に戻る現象を、平均への回帰として眺める。名前は少し大げさだけれど、やっていることは「絶好調の翌日に、いつもの部屋へ戻る」だけだ。昨日の投稿に王冠を載せたまま、今日を採点すると話が変になる。
まず、10組の投稿を並べた
本物のサイトの数字を持ち出す必要はないので、同じ条件の投稿が10組あったとする。左が最初の投稿、右がその次の投稿の反応数だ。
| 組 | 最初 | 次 |
|---|---|---|
| 1 | 15 | 10 |
| 2 | 14 | 12 |
| 3 | 16 | 9 |
| 4 | 13 | 11 |
| 5 | 15 | 8 |
| 6 | 14 | 10 |
| 7 | 16 | 12 |
| 8 | 13 | 9 |
| 9 | 15 | 11 |
| 10 | 14 | 10 |
最初の列を足すと145。10で割るので平均は14.5。次の列は102で、平均は10.2になる。最初だけ見れば「平均14.5の投稿群」に見えるのに、次では10.2まで落ちた。
ここで「投稿を変えたら反応が4.3減った」と書くと、数字はきれいだが、少し早い。最初の列は、たまたま良かった組を選んで眺めているからだ。最初から10前後の揺れがある場所で、上の方だけをつまみ上げている。
「落ちた」と「戻った」は同じ画面にいる
観測メモ:極端に良かった最初の数字だけを基準にすると、普通へ戻った数字が「失敗」に見える。
| 最初に選んだもの | 次に見えるもの |
|---|---|
| 上振れした投稿 | 普段の帯へ近づいた投稿 |
平均への回帰は、最初の数字が極端だったときに、次の数字が平均へ近づきやすく見えることだ。次の投稿が必ず平均になるわけではない。表でも8や12が混ざっている。戻りやすいだけで、帰宅時間を約束している現象ではない。
僕がここで引っかかったのは、最初の数字を見てから次の数字を見ている点だった。最初から「上位の投稿」として選んだあとで次を採点している。くじ引きで大きい数字を引いた回だけを集めて、その次は小さかった、と言っているようなものだ。
逆に、最初が極端に悪かった投稿だけを集めれば、次は少し良くなって見える。そこで「改善施策が効いた」と言い始めると、悪い方から拾っただけの戻りまで手柄にできる。便利な手柄だ。申請書には強いが、検証には弱い。
僕なら、前後二枚で判定しない
比較のメモ:変更した投稿/変更していない投稿/変更前の通常水準。
実際の投稿でタイトルを変えたあと、反応が15から10に落ちたとする。この二つだけなら「タイトル変更が失敗した」と言いたくなる。でも、変更しなかった場合の同じ日の数字は見えない。曜日、話題の波、表示された人数、投稿そのものの偶然が一緒に動いている。
だから僕は、まず次のように記録を分ける。
| 記録 | 見る理由 |
|---|---|
| 変更した投稿の前後 | 変化の入口を残す |
| 変更していない投稿の同じ期間 | 時間の波を比べる |
| 変更前の通常の水準 | 上振れを基準にしない |
理想の実験とは違うので、これで全部解決するわけではない。ただ、極端な一回を基準にしないだけで、「落ちた」の中にある戻りを少し分けて見られる。
平均へ戻っただけか、施策が動かしたのか
| 見えたこと | この表だけで言えること |
|---|---|
| 14.5から10.2へ下がった | 次の平均が4.3小さい |
| タイトルを変えた | 効果があった/なかったは未確定 |
今回の10組では、最初の平均が14.5、次が10.2だった。差は4.3。けれど、この4.3だけではタイトル変更の効果は分からない。そもそも最初の列は、上振れした数字を含む集まりだからだ。
見たいのは「最初に極端だったか」ではなく、「変更しなかった場合と比べて、変更した方がどうだったか」になる。言い換えると、前後の二つの数字を並べるだけでは、時間の経過と施策の効果が重なっている。
平均への回帰は、失敗をなかったことにする免罪符でもない。次の投稿が10だった理由が、タイトル変更なのか、いつもの揺れなのか、別の条件なのかは、この表だけでは決められない。決められないところまで書くのが、僕の今回の計測範囲だ。
今日の手の内
持ち帰り:前後の差を見つけたら、まず「比較対象はどこにあるか」と書く。
| 数字 | まず確認すること |
|---|---|
| 15 → 10 | 前が極端ではなかったか |
| 14.5 → 10.2 | 比較対象は残っているか |
- 極端に良い数字を選んだ後は、次が平均へ近づいて見えやすい
- 「前が良い、後が悪い」だけでは、施策失敗とは言えない
- 前後に加えて、通常の水準と比較対象を残す
- 平均への回帰は、効果を消す話ではなく、効果と混ざる揺れを見つける話
昨日の15、今日の10を見て、僕は投稿カードに「反省」と赤字で書きかけた。でも10組を足すと、昨日の平均は14.5、次は10.2だった。カードの赤字は、いったん消しゴムの横へ置くことにした。王冠が落ちたのではなく、最初から少し浮いていただけかもしれない。