こんにちは。SINAPの飯山です。SINAP グロースチームではABテストによるサイト改善に取り組んでいます。
ABテストを実際に運用していると、テスト結果を決めるにあたって以下のような迷いを抱えている方も少なくないのではないでしょうか。

• どのくらいの期間テストを回せばいいのか
• どのくらいの差が出れば効果的なのか
• 有意差はどうやって計算するのか

本記事では、ABテストの効果測定におけるこれらの疑問にお答えします。

1. どれくらいの期間ABテストを回せばいいのか？

ABテストの最適な実施期間は、必要なサンプルサイズや季節要因などで左右されます。
サンプル数が少なすぎると結果が偶然によるものかどうかを判断するのが難しくなります。また、商品やサービスの種類によっては季節要因が影響する場合もあります。そのような場合は実施時期を変えたり、テスト期間を十分に長く設定することでバイアスを減らすことができます。平日と休日ではユーザーの行動が異なり差が出る場合もあるため、平準化させる意味でも最低でも1〜2週間はテストを実施するのが良いでしょう。

ただし、アクセス数が少ないページの場合だと十分な検証ができないこともあります。統計的に信頼できるサンプル数はツールで計算することも可能です。サンプルサイズを確保できる適切な検証期間でテストを行いましょう。

• サンプル数計算ツール：ABテストのサンプルサイズの計算 | CASIO

2. 効果的な差とはどれくらいか？

ABテストは適切なテスト期間で実施しても、必ずしも良い結果を出すとは限りません。2億回以上のABテスト結果から分析した調査では、「75%のABテストは結果が出なかった」というデータもあります。結果に明確な優劣が付きづらい中、ABテストの効果測定で判断基準の一つとして用いられるのが、「有意差」（統計的有意性）です。これを用いることで、テスト結果が信頼性のあるものか、結果判断に活用することができます。

有意差とp値

有意差とは、2つのバリエーション間で統計的に有意な結果が得られることを指します。これにより、結果が偶然ではなく、あるバリエーションが他より優れていることが示されます。
有意差を評価するために、一般的にはp値と呼ばれる確率値を用いて判定されます。「p値」とは、ある実験を複数回行った際に得られる結果がどれほど一致しているかを示す指標で、0から1までの範囲で表されます。p値が0.05未満であれば「有意差がある」と見なされます。通常、p値が特定の閾値（一般的には0.05または5%）を下回る場合、「有意差あり」と判断されます。

例えば、ABテストで新しいデザイン（B）が古いデザイン（A）よりもコンバージョン率が高いかどうかを検証する場合、有意差があるかどうかをp値で評価します。p値が0.05未満であれば、新しいデザインの効果は偶然によるものではなく、実際に効果があると判断されます。

このように、ABテストの効果測定で有意差を用いることで、観測された効果が偶然の変動ではなく、実際に存在することを統計的に確認することができます。

3.有意差はどうやって計算するのか？

ABテストで仮説の真偽や各実施パターンの効果を見極める際には、統計的な検定手法を用いて有意差を判定することができます。有意差検定はABテストに不可欠で、検定手法にはt検定、カイ二乗検定、ベイズ検定など様々な手法があります。

t検定 (t-test)

• 特徴は？
  • 簡単で直感的、データが正規分布に近い場合に有効
• 何を比較する？
  • 2つのグループの平均値（例：AとBの平均コンバージョン率）
• いつ使う？
  • データが数値で、グループが少ないとき

カイ二乗検定 (Chi-square test)

• 特徴は？
  • 非常に一般的、カテゴリデータに適用しやすい
• 何を比較する？
  • 2つのグループのカテゴリーデータ（例：クリックしたかしないか）
• いつ使う？
  • データが「はい/いいえ」や「成功/失敗」などのカテゴリーに分かれているとき

ベイズ検定 (Bayesian test)

• 特徴は？
  • 不確実性を考慮、結果の解釈が直感的
• 何を比較する？
  • 2つのグループの事後確率（例：AとBの効果の確率分布）
• いつ使う？
  • より柔軟なアプローチで、不確実性を考慮したいとき

これらの検定方法の選定や実行には数学的な知識が必要で難しく感じる点もあるかもしれませんが、有意差検定を自動で実行してくれるツールもあります。以下のようなツールを活用することで、効率的に効果測定を進めることが可能です。

• 統計学的有意差検定ツール | WebsitePlanet
• A/B テスト計算ツール | SurveyMonkey
• A/Bテスト信頼度判定ツール（有意差判定）| 株式会社真摯

まとめ

ABテストは、抽出した課題して仮説検証の施策を実施し、データに基づいた効果検証を行うことで製品やサービスの最適化を図る手段の一つです。効率的なABテストの運用には適切なテスト期間、サンプルサイズの確保、統計的有意性などが不可欠です。

今回ご紹介した基本概念やツールを活用することで、より効果的なテスト設計や信頼性の高いテスト結果を導くことにつながります。

ABテストの運用についてお悩みがある方やお困りの方は、ぜひSINAPのグロースチームにご相談ください。ツール導入からボトルネックの抽出、仮説・施策立案、施策実施、分析・考察、内製化支援まで幅広く対応可能です！