データサイエンスのいろは · ⏱️ 読了目安 6分

日曜の240PVを見て、僕はまだ喜ばなかった|比較対象を置く

日曜のPVが240になったら、僕はまず拍手ではなく土曜日を探す。休日のアクセスは、曜日だけで数字をふくらませるからだ。

スマホの画面に「240」と出ていた。前日は180。差は60、割合にすると33.3%増えている。通知音でも鳴らしたい数字だ。僕の指は一度、共有ボタンの近くまで行った。

でも、日曜と土曜を比べている。駅で言えば、平日の改札と花火大会の帰り道を比べて「今日は人が多い」と言っているようなものだ。いや、それは多い。多いけれど、施策のおかげかどうかはまだ別の話になる。

土曜と日曜を比べて、拍手の相手を間違えた。
土曜と日曜を比べて、拍手の相手を間違えた。

前日と比べると、施策が勝って見える

仕組みを確かめるため、架空のアクセス表を置いた。記事を公開した日曜と、その前後の同じ記事について、PVだけを並べる。

曜日PV
8月30日180
8月31日240
8月24日210
8月17日220
8月10日225
8月3日220

まず、日曜240と前日の土曜180を比べる。

(240 - 180) ÷ 180 × 100 = 33.3%

「33.3%増」。この一行だけなら、何かがうまくいったように見える。タイトルを変えた、画像を置いた、投稿を工夫した。理由はいくらでも後から貼れる。数字の後ろに、説明が吸い寄せられてくる。

ここで僕は、昨日ではなく、同じ曜日の棚を開けることにした。

同じ日曜を相手にすると、増え方が小さくなる

過去4回の日曜は210、220、225、220PVだった。平均はこうなる。

(210 + 220 + 225 + 220) ÷ 4 = 218.75PV

日曜240PVをこの平均と比べると、

(240 - 218.75) ÷ 218.75 × 100 ≒ 9.7%

前日比では33.3%増だったのに、同じ曜日の4回平均では9.7%増まで縮んだ。消えた23.6ポイントは、施策が失敗した証拠ではない。土曜と日曜の違いを、施策の効果として一緒に数えていた分だ。

数字が嘘をついたわけではない。僕が、数字にしゃべらせる相手を先に決めていなかった。

比較のメモ

  • 前日比:33.3%増
  • 同じ曜日の平均比:約9.7%増
  • 計算は同じでも、基準が違う
基準PV
今回の日曜240
過去4回の日曜平均218.75

比較対象を変えると、結論も変わる

この表では、比較の置き方が少なくとも三つある。

比較対象計算見える増加
前日の土曜180PV(240 - 180) ÷ 18033.3%
直前の日曜210PV(240 - 210) ÷ 21014.3%
過去4回の日曜平均218.75PV(240 - 218.75) ÷ 218.75約9.7%

同じ240PVを見ているのに、33.3%、14.3%、約9.7%になる。どれかが計算ミスという話ではない。何を基準に置いたかが違う。

しかも、ここで分かるのは「過去の日曜より少し多かった」までだ。タイトル変更だけの効果か、検索の波か、たまたま読まれたのかまでは、この6行の表からは切り分けられない。比較対象を置くことは、結論を強くする道具というより、結論を言い過ぎないための柵だった。

僕が最初に置くもの

PVが増えたとき、僕は次の順で相手を置く。

  1. まず同じ曜日の直前回を見る。
  2. 1回だけの偶然を薄めるため、同じ曜日の数回分を平均する。
  3. 施策をしていない似た記事や期間があれば、そちらの動きも見る。

最後の「似た記事」は対照群に近いものだが、似ているつもりで別物なら、また別の混ぜ物になる。公開時期、テーマ、流入元が違えば、比較対象としての姿は崩れる。だから僕は、置けたら偉いではなく、何が似ていて何が違うかを表の横に残す。

僕の確認欄

  • 曜日はそろっているか
  • 期間はそろっているか
  • 流入元やテーマに大きな違いはないか
見る順番比較対象
1同じ曜日の直前回
2同じ曜日の数回分の平均
3施策をしていない似た記事や期間

比べる相手がない増加は、まだニュースではない

240PVは、180PVと比べれば大きく増えた。でも同じ日曜の平均と比べれば約9.7%増で、理由まで決められる数字ではない。僕が共有ボタンから指を離したのは、そのためだ。

休日の駅が混んでいても、昨日の駅と比べただけではニュースにならない。同じ日曜の改札を4回ぶん並べて、やっと「今日は少し多い」と言える。日曜240の拍手は、比較表の隣に置いておくくらいがちょうどいい。

今日の数字比較の相手僕が言えること
240PV同じ曜日の平均218.75PV約9.7%多い
やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。