梅干しと弁当箱を同時に変えて、梅干しが人気だと言うな｜A/Bテスト

A/Bテストは、弁当の具も弁当箱も昼休みも変えて「梅干しが人気だった」と言う実験ではない。変えるものを一つにして、ほかをなるべく同じに置く。

僕はこの話をすると、弁当箱の話に逃げたくなる。タイトルを変えた、画像も変えた、公開時間も変えた。クリックが増えた。では、梅干しが勝ったのか、赤い弁当箱が勝ったのか、昼休みの空腹が勝ったのか。三人とも箸を持っている。

3つ変えたら、増えた理由が3つある

仕組みを見るため、仮の100回の表示を置いた。実際のサイトの計測値ではなく、計算を追うための小さな例だ。

グループ	変えたもの	表示	クリック	クリック率
A	旧タイトル・旧画像・朝	50	8	16%
B	新タイトル・新画像・夜	50	12	24%

クリック率は、クリック数を表示数で割る。

Bのほうが8ポイント高い。数字の計算はできた。けれど、「新タイトルが効いた」とはまだ言えない。タイトルだけでなく、画像と公開時間も一緒に変わっているからだ。

夜のほうが見られやすかったのかもしれない。画像が目立ったのかもしれない。新タイトルが効いたのかもしれない。三つが少しずつ効いた可能性もある。100回の表は、BがAより12クリック多かったことは見せてくれる。でも、その12クリックを誰が連れてきたかまでは名札を付けてくれない。

同じ100回を、タイトルの差だけを見る表に組み直す。画像と公開時間は同じにして、表示する相手はAとBへランダムに分けた、という設定だ。

グループ	変えたもの	表示	クリック	クリック率
A	タイトルA・同じ画像・同じ時間	50	8	16%
B	タイトルB・同じ画像・同じ時間	50	12	24%

差はまた8ポイントある。ここでやっと、「この条件では、タイトルBを見せたグループのクリック率が8ポイント高かった」と言える。

「タイトルBが絶対に勝った」とまでは言わない。表示された50回ずつは大きな集団ではないし、たまたまクリックした人の偏りも残る。ただ、少なくとも画像と時間を同時に変えた最初の表より、何を比べた差なのかは見える。

僕が見るのは、増えた数字だけではなく、表の左端だ。そこに「何を変えたか」が一つだけ書いてあるか。書けないなら、A/Bテストというより、変更後の感想に近い。

A/Bテストでは、Aを月曜、Bを金曜に出して後から比べる、という置き方もできる。でもそれだと曜日やニュースの波まで混ざる。

だから僕は、同じ期間にAとBを出し、見る相手を分ける形を先に考える。Aを見た人とBを見た人の人数をそろえ、同じ画像、同じ公開時間、同じ導線に寄せる。完全に同じ世界にはできないけれど、変えた一点以外の差を小さくする。

ここで大事なのは「AとBを作る」ことより、「AとBの間で何を固定したかを書き残す」ことだった。

タイトルも画像も時間も全部変えたくなる気持ちは分かる。僕も一度に片づけたい。しかし、その結果クリックが増えたあとで「結局どれが効いたのか」と聞かれると、表の中に答えがない。増加は残るのに、手がかりだけが消える。

仮の表では、Aが8クリック、Bが12クリックだった。差は4クリック、クリック率の差は8ポイント。ここまでは計算できる。

でも、最初の表ではタイトル・画像・時間が一緒に動いた。だから結論は「Bの条件で12クリックだった」に止まる。タイトルの効果を知りたいなら、タイトルだけを動かした二つ目の表が要る。

数字は嘘をつかない。12は12だし、12 ÷ 50 = 24%も変わらない。分からなくなるのは、数字にたくさんの変更を同じ箱へ詰めたときだ。僕が見たい原因まで、弁当の仕切りの隙間からこぼれていく。

A/Bテストで最初に決めるのは、勝ちそうな案ではなく、何を一つだけ変えるかだ。

タイトルと画像と公開時間を変えて12クリックになった表は、「12クリックになった」ところまで。タイトルだけを変えてAが8、Bが12になった表なら、「この条件ではタイトルBのほうが4クリック多かった」と一歩だけ先へ進める。

梅干しと弁当箱と昼休みを全部入れ替えて、梅干しの人気投票をしたことにはできない。次に僕が比べるなら、弁当箱は同じまま、梅干しだけを一個だけ替える。50回ずつで、Aは8、Bは12。その差の名前を、やっとタイトルと呼べる。