マーケティングチームで、新しく作成したLPのABテストを実施したようです。今回の変更点は、ボタンの色とコピー。結果が出て、連くんが嬉しそうに画面を眺めながら声をかけてきました。
連くん
「見てください、Bパターンの方がCV高いです」
画面にはこう表示されています。
- Aパターン：CV率 5.2%
- Bパターン：CV率 5.8%
「良さそう」に見える数字です
連くん
「0.6%上がってるなら、これって改善って言っていいですよね？」
たしかに、ぱっと見ではそう感じる方が多いと思います。少しでも数字が上がっていれば、「良くなった」と考えたくなるのは自然なことです。
測ちゃん
「うん…上がってるのは確かだよね」
でも、少しだけ気になります
そこで、測ちゃんがふと立ち止まります。
測ちゃん
「これって本当に“効果があった”って言えるのかな？」
連くん
「え？数字が上がってるのに違うんですか？」
🐱 箱ひげ先生のひとこと
💬「その差、“たまたま”という可能性もありそうですね」
データをもう少し見てみます
今回のデータを人数で見てみます。
- A：1000人中 52人がCV
- B：1000人中 58人がCV
差は「6人」です。この6人の差をどう捉えるかが、とても大切になります。
日常でも起きている「ブレ」です
たとえば、こんなことはないでしょうか。
- 同じ施策なのに日によって成果が違う
- 週末と平日で反応が変わる
- 流入元によってCVが上下する
こうした違いは特別なことではなく、日常的に起きている自然な変動とも言えます。
同じことをもう一度やるとどうなるでしょうか
もし同じAパターンだけでテストを繰り返したとしても、ある日は5.0%、別の日は5.6%のように、結果は少しずつ変わる可能性があります。
測ちゃん
「つまり…何もしなくても結果は揺れるってことですか？」
🐱 箱ひげ先生の気づき
💬「はい。データにはもともと“揺れ”があります。その範囲の差なのかを見ていく必要があります」
ここで考えたくなります
今回の「0.6%の差」は、施策の効果と言えるのか、それとも偶然の揺れなのか。この判断をするために出てくるのが、有意差という考え方です。
🟨 ミニ解説：有意差とは？
有意差とは、「偶然では起きにくそうな差かどうか」を考えるためのものです。
ここではまず、「その差が意味を持ちそうかどうかを見る視点」として捉えてみてください。
有意差とは何でしょうか
やさしく言うと、有意差とは「偶然では起きにくそうな差かどうか」を考えるものです。数字に差があるだけではなく、その差に意味がありそうかどうかを見ていきます。
📎 今日の学びの言葉：有意差
有意差とは、「その差が偶然で起きたとは考えにくい」と言える状態のことです。データに差があるだけでなく、その差が意味を持つかどうかを判断するための考え方として使われます。
少しだけ中身を見てみます
統計ではこのように考えます。
- 本当は差がないと仮定します
- それでも今回の差が起きるかを考えます
このときに使われるのが「p値」です。
p値の感覚です
たとえば、p = 0.3 なら 3回に1回くらいは起きそうです。p = 0.01 なら 100回に1回くらいしか起きません。
連くん
「じゃあ、“たまたまでも起きそう”なら、まだ信用しすぎない方がいいんですね」
🐱 箱ひげ先生の判断です
💬「そうですね。“偶然でも説明できる差かどうか”を、一度立ち止まって考えることが大切です」
実務で起きやすいズレです
現場では、「数字が上がった → 改善した」と判断してしまうことがあります。ですが実際には、たまたま良かっただけの可能性も残っています。
🐱 箱ひげ先生の補足です
💬「“良さそうに見える”と、“本当に良い”は少し違うかもしれませんね」
実務ではどう使えそうでしょうか
たとえばA/Bテストであれば、差があるからすぐ採用するのではなく、その差が偶然かどうかを確認する、という使い方になります。マーケティングでも、数値が動いたことだけで判断せず、その変化が自然な揺れの範囲なのかを見ることが大切です。
連くん
「今まで“差がある＝正しい”って思いすぎてたかもしれません」
測ちゃん
「ちゃんと考える必要があるんだね」
まとめです
数字に差があることと、意味があることは同じではありません。その差が“偶然かもしれない”と考えるところから、分析は始まります。
🐱 最後に
💬「“差がある”と感じたときほど、一度立ち止まって考えてみるといいかもしれませんね」
📌 関連図まとめ
- データの差
- ↓
- 有意差（意味のある差かどうか）
- ↓
- p値（偶然で起きる確率）
つまり、p値を使って有意差を判断していきます。
次に読む
続けて読むなら → p値って結局なに？「偶然かどうか」を考えるための考え方
