A/Bテストの勝ち負け、信じてOK？Webマーケターが知るべき「推測統計」のキホン

2025年7月17日

「A/Bテストを実施したら、B案のコンバージョン率（CVR）がA案より0.5%高かった！よし、明日からB案に切り替えよう！」

Webマーケティングを担当していると、こんな場面に日々出会います。しかし、心のどこかでこんな不安がよぎりませんか？
「この0.5%の差って、本当に『B案が優れている』証拠なのだろうか？」
「もしかしたら、ただの偶然だったりして…？」

その直感は、とても鋭いです。この「ただの偶然？それとも意味のある差？」という問いに、数学的な根拠を持って答えるための強力な武器が「推測統計」です。

この記事では、Webマーケティング初心者の方に向けて、推測統計の基本的な考え方を「一体何が嬉しいのか？」「どう使えばいいのか？」という視点から、専門用語を極力使わずに解説します。

1. 「推測統計」って、そもそも何？
2. 推測統計の便利な使い方【基本の2つ】
- 2.1. 「たぶん、この範囲」と予測する【統計的推定】
- 2.2. 「この差は、偶然？」を判断する【仮説検定】
3. まとめ：感覚から「根拠ある推測」へ

「推測統計」って、そもそも何？

推測統計とは、一言でいえば「一部のデータ（標本）を使って、全体の姿（母集団）を確からしく推測する技術」のことです。

[画像：大きな鍋と、そこからスープをすくっているおたまのイラスト。鍋に「Webサイトの全ユーザー（母集団）」、おたまに「テストに参加した1,000人（標本）」というラベルが付いているイメージ。]

料理でスープの味見をするとき、鍋のスープを全部飲み干したりはしませんよね。おたまで一杯すくって味見し、「うん、この味なら鍋全体も美味しいはずだ」と判断します。

このとき、おたまの一杯が「標本（手元にある一部のデータ）」で、鍋全体が「母集団（知りたい対象の全体）」です。

Webマーケティングも全く同じです。
A/Bテストに参加した1,000人のデータ（標本）を見て、これからサイトに訪れるであろう全てのユーザー（母集団）の行動を「推測」しています。
推測統計は、この「推測」の精度をグッと高めてくれる道具なのです。

推測統計の便利な使い方【基本の2つ】

推測統計には色々な手法がありますが、Webマーケターがまず理解すべきなのは、以下の2つの使い方です。これが分かれば、日々の業務判断の質が大きく変わります。

「たぶん、この範囲」と予測する【統計的推定】

統計的推定は、「手元のデータから、全体の”本当の数値”はだいたいこの範囲に収まるはずだ」と、信頼できる範囲（信頼区間）を予測する方法です。

例えば、自社サイトのユーザー1,000人のうち30人が商品を購入したとします。この時のCVRは3%です。
しかし、これはあくまで「この1,000人」の結果であり、サイト全体の「本当のCVR」がピッタリ3%である保証はどこにもありません。

ここで統計的推定を使うと、次のようなことが言えるようになります。
「今回のテスト結果から、このサイトの”本当のCVR”は、95%の確率で2.5%～3.5%の範囲にあると推測できます」

これが分かると何が嬉しいのでしょうか？

[画像：数直線上に「3.0%」という点があり、その周りの「2.5%～3.5%」の範囲が「信頼区間」として示されている図。「改善した！」という吹き出しが付いている。]

CVR3.0%（信頼区間2.5%～3.5%）のWebサイトでA/Bテストをしたとします。
もし、次のA/Bテストの結果が「CVR4.2%（信頼区間3.7%～4.7%）」だった場合、これは改善したと言えるでしょうか？
この場合は、範囲が重なっていないため「これは本当に改善したぞ！」と自信を持って判断できます。
「CVR4.2%（信頼区間3.7%～4.7%）」ということは、もしかすると最低の3.7%のCVRという可能性もありますが、それでもテスト前の「CVR3.0%（信頼区間2.5%～3.5%）」の最高の水準よりも高いCVRになっています。

逆に、A/Bテストの結果、「CVR3.5%（信頼区間3.0%～4.0%）」という結果であればどうでしょうか？
改善したように見えますが、重なっている範囲も大きく、「まだ改善したとは言い切れないな」という判断が導き出されます。

「この差は、偶然？」を判断する【仮説検定】

仮説検定は、冒頭の疑問に答えるための考え方です。
「2つのパターンの間に見られる差が、意味のある差なのか、それとも単なる偶然のブレなのかを判断する」ための手法です。

[画像：天秤のイラスト。片方に「A案」、もう片方に「B案」が乗ってA案側に傾いている。「この差は本物？」という吹き出しがあるイメージ。]

ロジックは少しユニークですが、裁判に似ています。

まず「差はない」と仮定する（無罪推定）：「ボタンの色を変えても、CVRに差はないはずだ」という、自分が証明したいこととは逆の仮説（帰無仮説）を立てます。
証拠（データ）を見る：実際にA/Bテストを行い、「B案がA案より0.5%高かった」という結果（証拠）を得ます。
「偶然でこの証拠が出る確率は？」と考える：「もし本当に差がないとしたら、これほどの結果が偶然だけで起きる確率はどれくらい低いだろうか？」という確率を計算します。この確率のことをP値（p-value）と呼びます。
結論を出す：もしP値が非常に低い（慣例的に5%未満）なら、「こんな珍しいことは偶然では起きないだろう。やはり最初の『差はない』という仮説が間違っていたに違いない」と考え、帰無仮説を棄却します。そして、間接的に「この差は意味がある（有意差あり）」と結論づけるのです。

A/Bテストツールで「有意差あり」や「B案の勝利」と表示される時、裏側ではこの仮説検定の仕組みが動いているのです。