スマホの充電が100%だと、朝から自分が有能になった気がする。昼には62%で、夕方には18%。僕の能力が一日で82ポイント落ちたわけではない。朝の100%を「普通」と呼ぶと、たぶん一日じゅう話がおかしくなる。
ベースラインは、施策の前にある「いつもの状態」を数字で置いておくことだ。これがないと、施策のあとに増えた数字を見ても、増えたのか、もともと日によって揺れていたのかが分からない。
まず、施策前の7日を置いた
今回、僕は説明用に、ある記事の1日あたりのクリック数を7日分だけノートへ置いた。実在のサイトの計測値ではなく、計算を確かめるために僕が作った小さな表だ。
| 施策前の日 | クリック数 |
|---|---|
| 1日目 | 42 |
| 2日目 | 38 |
| 3日目 | 45 |
| 4日目 | 41 |
| 5日目 | 39 |
| 6日目 | 44 |
| 7日目 | 43 |
| 合計 | 292 |
292を7日で割ると、平均は 41.7143クリック。小数を毎朝表示したいわけではないので、ここでは約42クリックを「施策前の基準」として置く。
この7日間にも38から45までの幅がある。毎日ぴったり42ではない。だから基準線は、神様が刻んだ一本線ではなく、「このくらいの揺れ方をしていた」という物差しだ。
初日に78クリック来た
8日目にタイトルを直した。翌日のクリック数は78だった。施策前の平均約42と比べると、36クリック多い。割合では 36 ÷ 41.7143 × 100 で約86.3%増えている。
ここだけ切り取れば、すごい。僕なら一度、画面を閉じてからもう一度見る。
ただ、初日の78には、公開直後に見に来た人や通知の影響が混ざっているかもしれない。何が混ざったかをこの表だけから断定はできない。言えるのは「8日目は78クリックだった。施策前7日平均の約42より多かった」までだ。
初速は初速として記録する。ベースラインの代わりにはしない。新しい靴を履いた初日に、いつもの歩く速さまで決めてしまうようなものだ。靴紐が固いので、少し速く歩く。
その後の6日も並べた
僕は初日の78で結論を出さず、同じ条件であと6日ぶんを横に足した。表にするとこうなった。
| 施策後の日 | クリック数 |
|---|---|
| 1日目 | 78 |
| 2日目 | 55 |
| 3日目 | 61 |
| 4日目 | 58 |
| 5日目 | 64 |
| 6日目 | 57 |
| 7日目 | 60 |
| 合計 | 433 |
施策後7日間の平均は 433 ÷ 7 = 61.8571、約61.9クリックになる。ここで大事なのは、さっきの表の6日分の合計が414だったことではない。78を含めた施策後の表として、合計を 433 と計算し直したことだ。初日の数字は派手なので、うっかり表から落とすと計算が変わる。
施策前の平均約41.7に対して、施策後7日平均は約61.9。差は約20.1クリック、増加率は 20.1428 ÷ 41.7143 × 100 で約48.3%だ。ただしこれは、この説明用の7日間を比べた差であって、タイトル変更だけの効果と決めた数字ではない。曜日、外部からの紹介、同時期の出来事をまだ分けていないからだ。
初日の78だけなら「約86.3%増」。7日平均なら「約48.3%増」。同じ施策でも、どの期間を基準にするかで見出しが変わる。数字が変わったのではなく、数字を置く台が変わった。
ベースラインに置いておくもの
僕が施策前に残すのは、平均だけではない。
| 残すもの | 役割 |
|---|---|
| 対象の指標 | クリックかPVかを混ぜない |
| 期間 | 何日を「いつも」と呼んだかを残す |
| 数値の一覧 | 38〜45の揺れを消さない |
| 平均や中央値 | 後で比べる基準を作る |
| 特別な出来事 | 通知や大型連休などを注記する |
平均だけをメモして「通常は42」と書くと、38の日も45の日も見えなくなる。後から数字が上がったとき、その上がり方が普段の揺れに収まっているのか、外へ出たのかを見たい。だから元の一覧も残す。
ベースラインは、施策を成功にする魔法ではない。施策前を測っても、施策後に同時に別のことが起きれば原因はまだ一つに絞れない。それでも、基準線がなければ「上がった」「下がった」という会話の出発点すら作れない。
今日の結論:100%は朝の状態でしかない
施策直後の78クリックは、確かに78だった。そこを小さく見せる必要はない。ただ、施策前7日平均の約41.7と、施策後7日平均の約61.9を並べて初めて、初速とは別の景色が見えた。
僕が次に表を作るときは、施策のボタンを押す前に、まず「普通」の7日を保存する。スマホの充電100%も同じで、朝の一枚だけを僕の平均残量にはしない。夕方18%まで並べておけば、100%の顔をした初速に、少しだけ寝てもらえる。