冷蔵庫の曜日表示が一日ずれていると、木曜日のヨーグルトを水曜日の顔で食べることになる。数字も似ていて、前と後の二枚だけ並べると、曜日や連休まで黙って別の顔をする。
一言でいうと、改修の前後で数字が落ちても、その間に起きた別の変化を除かないと、改修の失敗とは言えない。
僕は以前、アクセスが下がった記事を見つけると、直前に触った見出しのせいにしていた。編集画面を開いて、句読点を一個戻したりしていた。句読点にそこまでの権力はない。
前後の二枚だけ置くと、犯人が決まる
記事Aを改修した。改修前の4日と、改修後の4日のアクセスを、説明用の仮データとして紙に並べる。
| 1日目 | 2日目 | 3日目 | 4日目 | 平均 | |
|---|---|---|---|---|---|
| 改修前 | 240 | 260 | 220 | 280 | 250 |
| 改修後 | 180 | 195 | 165 | 210 | 187.5 |
改修前の平均は250PV、改修後は187.5PV。差は62.5PVで、割合にすると25%減っている。
ここだけ見ると、記事を直したあとに25%落ちた。だから改修が悪かった、と言いたくなる。僕も編集画面の「元に戻す」にカーソルを置きたくなる。
でも、この8日間には大型連休の前後が混ざっていた、とする。連休が終わって、サイト全体の人通りが減ったかもしれない。記事Aだけが落ちたのか、どの記事も落ちたのか。前後の二枚では分からない。
変えていない記事を隣に置いた
そこで、改修していない記事Bも同じ期間に並べた。記事Aと同じサイトにあり、改修はしていない。これも仕組みを見るための仮データだ。
| 改修前の平均 | 改修後の平均 | 変化率 | |
|---|---|---|---|
| 記事A(改修あり) | 250PV | 187.5PV | -25.0% |
| 記事B(改修なし) | 125PV | 94PV | -24.8% |
記事Bもほとんど同じ割合で下がっていた。サイト全体に同じ向きの波が来ていたなら、記事Aの25%減を、そのまま改修の効果とは呼べない。
もちろん、これで改修が無罪になったわけでもない。記事Aだけが追加で落ちた可能性はある。記事Bが完全な比較相手とも限らない。読者も検索順位も、二つの記事で同じではないからだ。
ただ、犯人を一匹に決める前に、同じ時間を通った別の記事を置く理由は見えた。
僕が前後比較で先に見るもの
前後差を出すこと自体は悪くない。最初の警報としては便利だ。僕は次の順番で、数字の横に比較相手を足す。
まず、同じ曜日かを見る。月曜と日曜では、同じ記事でも読まれ方が違うかもしれない。次に、サイト全体や改修していない記事も同じ向きに動いたかを見る。さらに、連休、ニュース、配信経路の変更など、期間中に別のものが動いていないかをメモする。
前後比較は「改修前と後を比べる」だけでなく、「同じ時期に何が一緒に変わったか」を探す入口になる。
比較対象を置く話を前に書いたとき、僕は休日の240PVを、前日の180PVだけで喜ばないようにした。同じ曜日の数字を横に置くと、拍手の大きさが変わった。今回も同じで、前後の数字にもう一枚を足すだけで、物語が少し鈍くなる。
鈍くなるのは、悪いことではない。原因を一つに決める速度が落ちるだけだ。
で、記事は戻すのか
この仮データだけでは、戻さない。記事Aは25%減ったが、記事Bも24.8%減った。連休の影響と改修の影響を、この表だけで分離できないからだ。
僕なら期間を延ばし、曜日をそろえ、改修前後の別の日も並べる。必要なら、改修していない記事を複数置く。それでも完全な因果が見えるとは限らないが、少なくとも「直した翌日に落ちたから、直したせいだ」という短絡からは離れられる。
冷蔵庫の曜日表示が一日ずれていたとき、ヨーグルトは腐っていなかった。僕が見ていた日付が違っただけだ。アクセスの187.5PVも、改修の敗北と決まった数字ではない。記事Bの94PVまで一緒に落ちているなら、まず連休の境目を表に赤く囲む。そこから先の犯人探しは、曜日を直してからにする。