スマホのカレンダーが「去年の自分、12月に検索数を伸ばしてる!」と祝ってきた。いや、それは僕ではなく、たぶんクリスマスだ。
一言でいうと、毎年同じ時期に上がる数字は、施策の効果ではなく季節性かもしれない。12月に増えるものを12月の僕の手柄にしたら、サンタクロースの実績まで横取りすることになる。
まず、12月だけ見ると勝てる
季節性の仕組みを確かめるため、検索テーマのアクセス数を12か月ぶん、3年分の仮データにして表へ置いた。現実のサイトの数字ではない。僕が計算のために作った、同じ波を持つ小さな表だ。
| 年 | 11月 | 12月 | 12月の増加率 |
|---|---|---|---|
| 1年目 | 80 | 120 | 50.0% |
| 2年目 | 90 | 135 | 50.0% |
| 3年目 | 100 | 150 | 50.0% |
3年目だけを見れば、11月の100が12月に150になった。増加率は (150 - 100) ÷ 100 = 0.5、つまり50%。ここで「12月の施策が効いた」と報告書に書きたくなる。赤い上向き矢印も添えたくなる。
でも、1年目も2年目も同じ50%だった。施策をやったのが3年目だけだとしても、12月という月が毎年50%ぶん持ち上がっている可能性が残る。施策の効果を50%と呼ぶには、季節の上げ底をまだ剥がせていない。
月を横に並べると、波が見える
3年目の12か月を、僕が作った表からそのまま並べる。
| 月 | 1月 | 2月 | 3月 | 4月 | 5月 | 6月 | 7月 | 8月 | 9月 | 10月 | 11月 | 12月 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| アクセス | 80 | 70 | 75 | 70 | 65 | 60 | 55 | 50 | 60 | 70 | 100 | 150 |
8月の50から12月の150まで、3倍になっている。僕が8月から12月に何かをした、という物語は簡単に作れる。だが1年目も2年目も、8月から12月は同じように3倍になる表にしてある。
このとき12月の150は「施策後の数字」ではある。でも、それだけでは「施策で増えた数字」ではない。季節の波に乗った数字と、波から余計に飛び出した数字を分けないと、僕は波にサーフボードを置いただけで自分を漁師だと思い始める。
僕が比べる相手を変えた
最初は「11月と12月」を見ていた。これは前月比だ。次に「去年の12月と今年の12月」を見る。これは前年同月比で、季節をそろえた比較になる。
3年目の12月150と2年目の12月135を比べると、(150 - 135) ÷ 135 = 0.111... なので約11.1%増えている。前月比の50%から、前年同月比の約11.1%へ数字が変わった。
それでも約11.1%の全部が施策とは言えない。3年目全体が伸びたのか、検索される人が増えたのか、他の要因が混ざっている。ただ、少なくとも「12月だから50%増えた」を「施策で50%増えた」と読むのはやめられる。
曜日も同じだ。平日の記事と土日の記事を比べたり、毎週月曜に出る通知のクリックを火曜と比べたりすると、施策ではなく曜日の違いを拾うことがある。イベントも同じで、年末、連休、入学シーズン。数字は毎年カレンダーを覚えている。僕だけが忘れている。
毎年起きる波は、僕の手柄ではない
季節性は、数字を下げるための言い訳ではない。むしろ、施策の効果を小さくても見つけるために、先に「毎年このくらい動く」を知る道具だ。
僕なら、施策の前に少なくとも同じ月の過去データを並べる。施策後は前月だけでなく前年同月も見る。できれば施策をしていない似たテーマや対象も横に置く。どこまでできるかはデータ次第だけれど、比較相手を一つ増やすだけで、12月の花火を全部自分で打ち上げた気分からは戻ってこられる。
季節性という言葉を知っているだけでは、12月の150を見た瞬間に拍手してしまう。僕も表の左側を隠したら、たぶん拍手する。けれど3年分を開くと、50%の上昇は毎年同じ顔をしていた。カレンダーが鳴らした通知を、僕の施策の成果として保存するのは、もう少し後でいい。