その差、確かな差？
ABテスト有意差チェッカー/最大4パターンのCVRを比較
ブラウザ内で計算テスト結果を入力
Aを基準に、各パターンの訪問数とCV数を入力してください。
通常は95%で判定します
訪問数は重複のない対象者数、CV数はそのうち成果を達成した人数を入力してください（1人1CV）。
判定結果
CVRとばらつきの目安
点は実測CVR、横線は信頼区間です。区間の重なりだけで有意差は判断できません。
計算方法と結果の読み方
何を「有意差」としている？
「本当のCVRに差がない」と仮定したとき、今回と同程度以上の差が出る確率をp値で表します。選択した有意水準以下なら「有意差あり」と判定します。p値は、パターンが勝つ確率ではありません。
Aを基準とした比較です
A対B、A対C、A対Dを比較します。3〜4パターンではHolm法でp値を補正し、複数回の比較による誤判定を抑えます。B・C・D同士の優劣や、全パターンの最良案は判定しません。
計算に使用する方法
原則は2標本の比率のZ検定（両側・連続性補正なし）。2×2表の期待度数が1つでも5未満なら、Fisherの正確確率検定（両側）に自動で切り替えます。CVRの信頼区間にはWilson法を使います。信頼区間は個別の推定範囲で、多重比較補正はしていません。
同じ期間・同じ条件で比較を
対象者をランダムに振り分け、期間と成果の定義を揃えてください。「有意差なし」は「同じ効果」の証明ではありません。終了日や必要人数を先に決め、有意差が出るまで毎日確認して途中終了する使い方は避けてください。
ABテスト結果の確認方法・実例・FAQ
実施済みのテストの訪問数とCV数から、Aを基準にCVRの差を確認します。テストの配信・振り分けを行うツールではありません。
このツールでできること
2〜4パターンのCVR、改善率、p値、信頼区間を計算します。信頼水準90・95・99％を選択でき、A対B・A対C・A対Dを比較します。
使い方
- 同じ期間・同じ成果定義で集計します。訪問数は重複のない対象者数、CV数は成果を達成した人数（1人1CV）を用意します。
- Aを基準案として訪問数とCV数を入力します。必要ならC・Dを追加し、事前に決めた信頼水準を選びます。
- CVR差・改善率・p値・判定を一緒に確認します。差の大きさが実務上どの程度の価値を持つかも検討してください。
対応形式・制限
| 項目 | 対応内容 |
|---|---|
| 入力条件 | 2〜4パターン。訪問数は1〜10億、CV数は0〜訪問数の整数。同じ人を複数のパターンに重複計上しないでください。 |
| 比較方法 | 原則は比率のZ検定（両側）。2×2表の期待度数が1つでも5未満ならFisher検定（両側）に切り替えます。 |
| 多重比較 | 3〜4パターンではAとの比較にHolm補正を適用します。B・C・D同士や、全体の最良案は判定しません。 |
| 対象外 | 売上平均、客単価、1人が複数回成果を出すイベント件数の比較には対応しません。テスト設計や必要人数を自動で決める機能もありません。 |
計算例：改善率が高くても有意差は別に確認
A・Bの2パターンを、信頼水準95％で計算した結果です。
| パターン | 訪問数・CV数 | CVR |
|---|---|---|
| A | 1,000人・40人 | 4.00％ |
| B | 1,000人・55人 | 5.50％ |
差は＋1.50ポイント、相対的な改善率は＋37.5％。p値は約0.1148で、この条件では「有意差なし」です。「効果が同じ」と証明されたわけではありません。
よくある質問
p値はBが勝つ確率ですか？
いいえ。差がないという仮定のもとで、今回と同程度以上の差が出る確率を表します。勝つ確率や、改善が再現する確率とは異なります。
有意差が出たところでテストを止めてもよいですか？
固定した期間や人数で判定する前提の検定です。毎日結果を見て、有意差が出た時だけ止める使い方は誤判定を増やします。終了条件を事前に決めてください。
信頼区間が重なっているので有意差なしですか？
各CVRの信頼区間の重なりだけでは判定できません。ツールの比較結果とp値を確認してください。表示するWilson信頼区間は多重比較補正をしていません。
GA4のイベント数をCV数に入れればよいですか？
同じ人が複数回発生させたイベントの総数は使いません。各パターンの対象者のうち、成果を1回以上達成した人数を、同じ集計条件で用意してください。