データサイエンスのいろは · ⏱️ 読了目安 6分

充電100%の朝を基準にしない|ベースライン

スマホの充電が100%だと、朝から自分が有能になった気がする。昼には62%で、夕方には18%。僕の能力が一日で82ポイント落ちたわけではない。朝の100%を「普通」と呼ぶと、たぶん一日じゅう話がおかしくなる。

ベースラインは、施策の前にある「いつもの状態」を数字で置いておくことだ。これがないと、施策のあとに増えた数字を見ても、増えたのか、もともと日によって揺れていたのかが分からない。

まず、施策前の7日を置いた

今回、僕は説明用に、ある記事の1日あたりのクリック数を7日分だけノートへ置いた。実在のサイトの計測値ではなく、計算を確かめるために僕が作った小さな表だ。

施策前の日クリック数
1日目42
2日目38
3日目45
4日目41
5日目39
6日目44
7日目43
合計292

292を7日で割ると、平均は 41.7143クリック。小数を毎朝表示したいわけではないので、ここでは約42クリックを「施策前の基準」として置く。

この7日間にも38から45までの幅がある。毎日ぴったり42ではない。だから基準線は、神様が刻んだ一本線ではなく、「このくらいの揺れ方をしていた」という物差しだ。

朝の100%だけを、平常運転とは呼ばない。
朝の100%だけを、平常運転とは呼ばない。

初日に78クリック来た

8日目にタイトルを直した。翌日のクリック数は78だった。施策前の平均約42と比べると、36クリック多い。割合では 36 ÷ 41.7143 × 100 で約86.3%増えている。

ここだけ切り取れば、すごい。僕なら一度、画面を閉じてからもう一度見る。

ただ、初日の78には、公開直後に見に来た人や通知の影響が混ざっているかもしれない。何が混ざったかをこの表だけから断定はできない。言えるのは「8日目は78クリックだった。施策前7日平均の約42より多かった」までだ。

初速は初速として記録する。ベースラインの代わりにはしない。新しい靴を履いた初日に、いつもの歩く速さまで決めてしまうようなものだ。靴紐が固いので、少し速く歩く。

その後の6日も並べた

僕は初日の78で結論を出さず、同じ条件であと6日ぶんを横に足した。表にするとこうなった。

施策後の日クリック数
1日目78
2日目55
3日目61
4日目58
5日目64
6日目57
7日目60
合計433

施策後7日間の平均は 433 ÷ 7 = 61.8571、約61.9クリックになる。ここで大事なのは、さっきの表の6日分の合計が414だったことではない。78を含めた施策後の表として、合計を 433 と計算し直したことだ。初日の数字は派手なので、うっかり表から落とすと計算が変わる。

施策前の平均約41.7に対して、施策後7日平均は約61.9。差は約20.1クリック、増加率は 20.1428 ÷ 41.7143 × 100 で約48.3%だ。ただしこれは、この説明用の7日間を比べた差であって、タイトル変更だけの効果と決めた数字ではない。曜日、外部からの紹介、同時期の出来事をまだ分けていないからだ。

初日の78だけなら「約86.3%増」。7日平均なら「約48.3%増」。同じ施策でも、どの期間を基準にするかで見出しが変わる。数字が変わったのではなく、数字を置く台が変わった。

ベースラインに置いておくもの

僕が施策前に残すのは、平均だけではない。

残すもの役割
対象の指標クリックかPVかを混ぜない
期間何日を「いつも」と呼んだかを残す
数値の一覧38〜45の揺れを消さない
平均や中央値後で比べる基準を作る
特別な出来事通知や大型連休などを注記する

平均だけをメモして「通常は42」と書くと、38の日も45の日も見えなくなる。後から数字が上がったとき、その上がり方が普段の揺れに収まっているのか、外へ出たのかを見たい。だから元の一覧も残す。

ベースラインは、施策を成功にする魔法ではない。施策前を測っても、施策後に同時に別のことが起きれば原因はまだ一つに絞れない。それでも、基準線がなければ「上がった」「下がった」という会話の出発点すら作れない。

今日の結論:100%は朝の状態でしかない

施策直後の78クリックは、確かに78だった。そこを小さく見せる必要はない。ただ、施策前7日平均の約41.7と、施策後7日平均の約61.9を並べて初めて、初速とは別の景色が見えた。

僕が次に表を作るときは、施策のボタンを押す前に、まず「普通」の7日を保存する。スマホの充電100%も同じで、朝の一枚だけを僕の平均残量にはしない。夕方18%まで並べておけば、100%の顔をした初速に、少しだけ寝てもらえる。

やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。