データサイエンスのいろは · ⏱️ 読了目安 6分

12月の検索増を、僕の施策の手柄にしない|季節性

スマホのカレンダーが「去年の自分、12月に検索数を伸ばしてる!」と祝ってきた。いや、それは僕ではなく、たぶんクリスマスだ。

一言でいうと、毎年同じ時期に上がる数字は、施策の効果ではなく季節性かもしれない。12月に増えるものを12月の僕の手柄にしたら、サンタクロースの実績まで横取りすることになる。

まず、12月だけ見ると勝てる

季節性の仕組みを確かめるため、検索テーマのアクセス数を12か月ぶん、3年分の仮データにして表へ置いた。現実のサイトの数字ではない。僕が計算のために作った、同じ波を持つ小さな表だ。

年11月12月12月の増加率
1年目8012050.0%
2年目9013550.0%
3年目10015050.0%

3年目だけを見れば、11月の100が12月に150になった。増加率は (150 - 100) ÷ 100 = 0.5、つまり50%。ここで「12月の施策が効いた」と報告書に書きたくなる。赤い上向き矢印も添えたくなる。

でも、1年目も2年目も同じ50%だった。施策をやったのが3年目だけだとしても、12月という月が毎年50%ぶん持ち上がっている可能性が残る。施策の効果を50%と呼ぶには、季節の上げ底をまだ剥がせていない。

月を横に並べると、波が見える

3年目の12か月を、僕が作った表からそのまま並べる。

月1月2月3月4月5月6月7月8月9月10月11月12月
アクセス80707570656055506070100150

8月の50から12月の150まで、3倍になっている。僕が8月から12月に何かをした、という物語は簡単に作れる。だが1年目も2年目も、8月から12月は同じように3倍になる表にしてある。

このとき12月の150は「施策後の数字」ではある。でも、それだけでは「施策で増えた数字」ではない。季節の波に乗った数字と、波から余計に飛び出した数字を分けないと、僕は波にサーフボードを置いただけで自分を漁師だと思い始める。

12月の波に乗っただけなのに、僕は漁師の顔をしていた。
12月の波に乗っただけなのに、僕は漁師の顔をしていた。

僕が比べる相手を変えた

最初は「11月と12月」を見ていた。これは前月比だ。次に「去年の12月と今年の12月」を見る。これは前年同月比で、季節をそろえた比較になる。

3年目の12月150と2年目の12月135を比べると、(150 - 135) ÷ 135 = 0.111... なので約11.1%増えている。前月比の50%から、前年同月比の約11.1%へ数字が変わった。

それでも約11.1%の全部が施策とは言えない。3年目全体が伸びたのか、検索される人が増えたのか、他の要因が混ざっている。ただ、少なくとも「12月だから50%増えた」を「施策で50%増えた」と読むのはやめられる。

曜日も同じだ。平日の記事と土日の記事を比べたり、毎週月曜に出る通知のクリックを火曜と比べたりすると、施策ではなく曜日の違いを拾うことがある。イベントも同じで、年末、連休、入学シーズン。数字は毎年カレンダーを覚えている。僕だけが忘れている。

毎年起きる波は、僕の手柄ではない

季節性は、数字を下げるための言い訳ではない。むしろ、施策の効果を小さくても見つけるために、先に「毎年このくらい動く」を知る道具だ。

僕なら、施策の前に少なくとも同じ月の過去データを並べる。施策後は前月だけでなく前年同月も見る。できれば施策をしていない似たテーマや対象も横に置く。どこまでできるかはデータ次第だけれど、比較相手を一つ増やすだけで、12月の花火を全部自分で打ち上げた気分からは戻ってこられる。

季節性という言葉を知っているだけでは、12月の150を見た瞬間に拍手してしまう。僕も表の左側を隠したら、たぶん拍手する。けれど3年分を開くと、50%の上昇は毎年同じ顔をしていた。カレンダーが鳴らした通知を、僕の施策の成果として保存するのは、もう少し後でいい。

やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。