【新人マーケター向け】ABテストの結果、信じていい？裏側にある「確率」の話 ～二項分布の考え方 入門～

Webマーケターにとって、ウェブサイト改善や広告クリエイティブの効果検証に「ABテスト」は欠かせないスキルです。
AパターンとBパターン、どちらが良い結果を出したかを見て、次の施策を決める…このプロセスは基本中の基本です。

でも、こんな風に思ったことはありませんか？

「Bパターンの方がクリック率が少し高かったけど、これってたまたまじゃない？」
「コンバージョン数が少ないけど、この結果を信じていいのかな？」
「よく聞く『統計的有意差』って、なんで必要なの？」

これらの疑問に答えるカギは、実は「確率」の考え方にあります。
今回は、特に「二項分布（にこうぶんぷ）」という統計学の考え方が、ABテストの裏側でどのように役立っているのかを、難しい数式なしで分かりやすく解説します！

Webマーケティングは「コイン投げ」に似ている？

[画像：コイントスのイメージ]

突然ですが、「コイン投げ」を想像してみてください。
表が出る確率は50%ですよね。
でも、10回投げてみたらどうでしょうか？
ぴったり表が５回、裏が５回になることもあれば、表が７回、裏が３回になることだってあります。

もし10回投げて表が７回出たからといって、「このコインは表が出やすいイカサマコインだ！」とすぐに結論づけるのは早いですよね。
試行回数が少ないと、結果は偶然によって偏りやすいのです。

実は、Webマーケティングでよく見る指標も、このコイン投げに似ています。

[画像：Webマーケティングでの二択]
  • 広告がクリックされるか、されないか (CTR)
  • サイト訪問者がコンバージョンするか、しないか (CVR)
  • メールが開封されるか、されないか (開封率)

これらはすべて「成功 / 失敗」の二択の結果ですよね。
そして、それぞれの結果が起こるのには、ある「確率」（真のCTRやCVRなど）が関わっています。

コイン投げと同じように、Webマーケティングのデータも、試行回数（広告の表示回数、サイトへのアクセス数、メールの配信数など）が少ないと、偶然の影響を大きく受けてしまいます。

例えば、あるページのアクセス数が100セッションしかない日に、CVが３件発生したらCVRは３%です。
でも、次の日に同じく100セッションでCVが１件だったらCVRは１%になってしまいます。

「昨日より悪化した！」と焦るかもしれませんが、アクセス数が少ない中での１件や２件の差は、単なる「偶然のブレ」である可能性が高いのです。

ABテストと「二項分布」の考え方

さて、本題のABテストです。ABテストの目的は、「A案とB案、どちらの『成功確率』（真のCTRや真のCVR）が本当に高いのかを知りたい」ということですよね。

しかし、私たちは「真の確率」を直接見ることはできません。見えるのは、テスト期間中に集まった実際のデータ（表示回数とクリック数、アクセス数とコンバージョン数など）だけです。

そこで、この実際のデータから「真の確率」に差があるかどうかを推測するために、「二項分布」的な確率の考え方が登場します。ABテストの結果を評価するツールや統計的手法は、裏側でこんなことを考えています。

  1. 「もし、A案とB案の成功確率が『同じ』だとしたら…」と仮定してみる。
    （これを統計学では「帰無仮説（きむかせつ）」を立てると言います。「差がない」という仮説です。）
  2. その仮定のもとで、「今回観測されたような結果の差（例: B案のクリック数がA案より〇個多かった）」は、どのくらいの確率で『偶然』起こるんだろう？」と計算する。
    （ここが二項分布や、試行回数が多い場合に二項分布と似た形になる正規分布の考え方が使われる部分です。）
  3. 計算した結果、「偶然起こる確率」がものすごく低かったら（例えば1%とか5%未満だったら）、「やっぱり『差がない』という最初の仮定は間違っていそうだ。偶然とは考えにくい。これは本当に差があるんだろう！」と判断する。
    （これが「帰無仮説を棄却する」というプロセスです。）

難しく聞こえるかもしれませんが、要は「観測された差が、ただの偶然とは考えにくいほど大きいかどうか」を確率的に判断しているのです。

なぜ「統計的有意差」が必要なの？

[画像：A/Bテストでの統計的有意差の有無のイメージ]

ここで「統計的有意差（とうけいてきゆういさ）」の話につながります。

ABテストの結果、例えば「A案のCVRが2.0%、B案のCVRが2.5%」だったとします。
数字だけ見ればB案の方が良さそうですが、これが「たまたまB案の調子が良かっただけ」なのか、「本当にB案の方が優れている」のかは、これだけでは分かりませんよね。

「統計的有意差あり」という結果は、上記のような確率的な計算に基づき、「観測された差は、単なる偶然とは考えにくいですよ。本当にA案とB案の間に差がある可能性が高いですよ」ということを示しています。

逆に「有意差なし」なら、「観測された差は、偶然の範囲内である可能性を否定できない。本当に差があるとは言い切れない」という意味になります（※「差がない」と証明されたわけではない点に注意が必要です）。

ABテストの結果を正しく判断し、「たまたま良かった」施策を採用してしまうミスを防ぐために、この「統計的有意差」を確認することが非常に重要です。

なぜ「サンプルサイズ（試行回数）」が重要？

もう一つ、ABテストで必ず意識したいのが「サンプルサイズ」、つまり試行回数（アクセス数、インプレッション数など）です。

これもコイン投げで考えてみましょう。

  • コインを10回投げて、表が７回出た。（表の割合 70%）
  • コインを1000回投げて、表が700回出た。（表の割合 70%）

どちらの場合も表の割合は70%ですが、「このコイン、表が出やすいんじゃない？」と強く感じるのは、1000回投げた方ですよね？

試行回数が多いほど、偶然による偏りの影響は小さくなり、結果の信頼性が増します。

ABテストも全く同じです。

  • 少ないサンプルサイズ（例：各パターン100セッションずつ）で出たCVRの差は、偶然の影響を大きく受けている可能性があります。この状態で「有意差が出た/出ない」と判断するのは非常に危険です。
  • 十分なサンプルサイズを集めることで、偶然の影響を減らし、より信頼性の高い結果を得ることができます。「統計的有意差」も、十分なサンプルサイズがあってこそ意味を持ちます。

ABテストを実施する際は、事前に必要なサンプルサイズを計算し、それを満たすまでテストを続けることが大切です（サンプルサイズの計算ツールなどもWeb上にはたくさんあります）。

まとめ：考え方を知って、データを見る目を変えよう！

今回は、ABテストの裏側にある「二項分布」的な確率の考え方について解説しました。

  • Webマーケティングの多くの事象は「成功/失敗」の二択で、確率的なもの（コイン投げのようなもの）である。
  • ABテストの結果判断（統計的有意差）は、「観測された差が偶然とは考えにくいか」を確率的に評価している。
  • 試行回数（サンプルサイズ）が少ないと結果は偶然に左右されやすいため、十分なサンプルサイズを集めることが重要。

難しい確率計算や統計理論をすべて理解する必要はありません。しかし、ABテストの結果を見る際に、その背景にこのような「確率的な考え方」があることを知っているだけで、

  • 「なぜ有意差を見る必要があるのか？」
  • 「なぜサンプルサイズが重要なのか？」

といった疑問が解消され、データに対する見方が深まり、より自信を持って次のアクションを判断できるようになるはずです。

ぜひ、日々の業務の中でこの「確率的な視点」を意識してみてくださいね！

用語ABテスト,Webマーケティング,統計学

Posted by promapedia