データサイエンスのいろは · ⏱️ 読了目安 7分

絶好調の次に落ちた投稿を、失敗扱いしなかった

スマホの画面に、昨日だけ「いいね」が3倍ついた投稿がある。その隣に今日の数字を置くと、急にしょんぼりしている。投稿の中身が腐ったというより、昨日が宴会だった可能性を僕は疑う。

今日は、極端に良かった次が普通に戻る現象を、平均への回帰として眺める。名前は少し大げさだけれど、やっていることは「絶好調の翌日に、いつもの部屋へ戻る」だけだ。昨日の投稿に王冠を載せたまま、今日を採点すると話が変になる。

まず、10組の投稿を並べた

本物のサイトの数字を持ち出す必要はないので、同じ条件の投稿が10組あったとする。左が最初の投稿、右がその次の投稿の反応数だ。

組最初次
11510
21412
3169
41311
5158
61410
71612
8139
91511
101410

最初の列を足すと145。10で割るので平均は14.5。次の列は102で、平均は10.2になる。最初だけ見れば「平均14.5の投稿群」に見えるのに、次では10.2まで落ちた。

ここで「投稿を変えたら反応が4.3減った」と書くと、数字はきれいだが、少し早い。最初の列は、たまたま良かった組を選んで眺めているからだ。最初から10前後の揺れがある場所で、上の方だけをつまみ上げている。

昨日の王冠、今日はカードの横に置いておく。
昨日の王冠、今日はカードの横に置いておく。

「落ちた」と「戻った」は同じ画面にいる

観測メモ:極端に良かった最初の数字だけを基準にすると、普通へ戻った数字が「失敗」に見える。

最初に選んだもの次に見えるもの
上振れした投稿普段の帯へ近づいた投稿

平均への回帰は、最初の数字が極端だったときに、次の数字が平均へ近づきやすく見えることだ。次の投稿が必ず平均になるわけではない。表でも8や12が混ざっている。戻りやすいだけで、帰宅時間を約束している現象ではない。

僕がここで引っかかったのは、最初の数字を見てから次の数字を見ている点だった。最初から「上位の投稿」として選んだあとで次を採点している。くじ引きで大きい数字を引いた回だけを集めて、その次は小さかった、と言っているようなものだ。

逆に、最初が極端に悪かった投稿だけを集めれば、次は少し良くなって見える。そこで「改善施策が効いた」と言い始めると、悪い方から拾っただけの戻りまで手柄にできる。便利な手柄だ。申請書には強いが、検証には弱い。

僕なら、前後二枚で判定しない

比較のメモ:変更した投稿/変更していない投稿/変更前の通常水準。

実際の投稿でタイトルを変えたあと、反応が15から10に落ちたとする。この二つだけなら「タイトル変更が失敗した」と言いたくなる。でも、変更しなかった場合の同じ日の数字は見えない。曜日、話題の波、表示された人数、投稿そのものの偶然が一緒に動いている。

だから僕は、まず次のように記録を分ける。

記録見る理由
変更した投稿の前後変化の入口を残す
変更していない投稿の同じ期間時間の波を比べる
変更前の通常の水準上振れを基準にしない

理想の実験とは違うので、これで全部解決するわけではない。ただ、極端な一回を基準にしないだけで、「落ちた」の中にある戻りを少し分けて見られる。

平均へ戻っただけか、施策が動かしたのか

見えたことこの表だけで言えること
14.5から10.2へ下がった次の平均が4.3小さい
タイトルを変えた効果があった/なかったは未確定

今回の10組では、最初の平均が14.5、次が10.2だった。差は4.3。けれど、この4.3だけではタイトル変更の効果は分からない。そもそも最初の列は、上振れした数字を含む集まりだからだ。

見たいのは「最初に極端だったか」ではなく、「変更しなかった場合と比べて、変更した方がどうだったか」になる。言い換えると、前後の二つの数字を並べるだけでは、時間の経過と施策の効果が重なっている。

平均への回帰は、失敗をなかったことにする免罪符でもない。次の投稿が10だった理由が、タイトル変更なのか、いつもの揺れなのか、別の条件なのかは、この表だけでは決められない。決められないところまで書くのが、僕の今回の計測範囲だ。

今日の手の内

持ち帰り:前後の差を見つけたら、まず「比較対象はどこにあるか」と書く。

数字まず確認すること
15 → 10前が極端ではなかったか
14.5 → 10.2比較対象は残っているか
  • 極端に良い数字を選んだ後は、次が平均へ近づいて見えやすい
  • 「前が良い、後が悪い」だけでは、施策失敗とは言えない
  • 前後に加えて、通常の水準と比較対象を残す
  • 平均への回帰は、効果を消す話ではなく、効果と混ざる揺れを見つける話

昨日の15、今日の10を見て、僕は投稿カードに「反省」と赤字で書きかけた。でも10組を足すと、昨日の平均は14.5、次は10.2だった。カードの赤字は、いったん消しゴムの横へ置くことにした。王冠が落ちたのではなく、最初から少し浮いていただけかもしれない。

やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。