こんにちは。SINAPの飯山です。ABテストは、ウェブサイトやアプリの最適なバージョンのパフォーマンスを比較することで、コンバージョン率の向上とリスク低減を図る重要な手法です。しかし、ABテストの結果を正しく解釈し、効果的に活用するには統計的な知識が必要です。前回の記事では、テスト期間やサンプルサイズ、統計的有意差など効果測定のポイントについて紹介しました。

【必見！ABテスト効果測定のポイントを解説】最適なテスト期間・有意差とは？

ABテストを実践する際に頻繁に登場するサンプルサイズ、統計的有意差などのキーワードを正しく理解しないと、誤った結果判断につながりかねません。例えば、サンプルサイズが不足した状態ではテスト結果が偶然の産物である可能性が高くなり、有意差が認められない場合でも誤った結果判断でバージョンの変更を決定してしまうでしょう。
今回の記事ではABテストに関連するキーワードについて紹介します。意味や概念を理解することでより効果的なABテスト運用を目指しましょう。

テスト手法

ウェブテストは、計測データに基づいて意思決定を行うことで、CV改善によるパフォーマンス最適化やユーザーエクスペリエンス向上、リスク回避などのサイト改善に役立ちます。ここではウェブテストの手法について説明します。

ABテスト

ABテストは、二つの異なるバージョン（AとB）を比較して、どちらが目標達成に優れているかを評価する実験手法です。スプリットテスト、スプリットランテストとも言われ、ユーザーをランダムに分けてそれぞれのバージョンを表示し、その反応を測定します。これによりどちらのバージョンがより効果的かを判断します。

リダイレクトテスト

リダイレクトテストは、異なるURLを持つ複数のページを比較するABテストの一種です。ユーザーが元のページにアクセスした際に、ランダムに異なるバージョンのページへリダイレクトされ、そのパフォーマンスが評価されます。デザインやコンテンツが異なる別ページの効果を比較するのに有効で、新規のランディングページやサイト全体の変更をテストする際に使用されます。

多変量テスト

複数の要素（見出し、画像、ボタンの色など）を同時に変更し、その組み合わせが結果に与える影響を評価するテスト手法です。個別の要素に対する最適な組み合わせを見つけることができます。訴求項目が複数あったり、項目ごとに検討材料が複数あるランディングページの最適な構成を導く際に効果的です。

コントロールグループ

コントロールグループは、ABテストにおいて基準となる元のバージョンを表示するユーザーグループです。変更を加えたバリエーションと比較して、その効果を評価するために使用されます。

バリエーション

バリエーションは、ABテストで比較されるテスト対象の異なるバージョンのことです。元のバージョン（コントロール）に対して、新しいデザインやコンテンツなどの変更を加えたものを指します。

効果測定

効果測定は、ABテストの結果を正確に評価し、どのバージョンが目標達成に最も効果的かを判断するために不可欠です。適切な効果測定を行うことで、データに基づいた意思決定が可能となり、ウェブサイトやアプリのパフォーマンスを向上させることができます。ここでは、効果測定に関連する主な指標とその重要性について説明します。

コンバージョン率

コンバージョン率は、特定のアクション（商品購入、資料請求、会員登録などの最終成果）に至ったユーザーの割合です。パフォーマンスを評価し、効果的な改善策を見つけるための重要な指標です。

クリック率

クリック率は、ユーザーがどれだけ興味を持ってリンクをクリックしたかを示す指標です。ランディングページや広告の効果を評価する際に重要な指標です。

エンゲージメント

エンゲージメントは、ユーザーがサイトやアプリとどれだけ関わりを持ったかを示す指標です。閲覧時間、ページビュー数、インタラクション数などが含まれます。

離脱率

離脱率は、サイトにアクセスしてそのページを最後に閲覧して離脱したユーザーの割合です。高い離脱率は、ユーザーがページの内容に満足していないか、期待した情報を得られなかった可能性を示します。離脱率を下げることで、エンゲージメントとコンバージョン率を向上させることができます。

直帰率

直帰率は、訪問したページだけを閲覧してそのままWebサイトから離脱するユーザーの割合です。GA4では従来の直帰率の概念と違いがあります。GA4では、1ページのみを閲覧し、エンゲージメントイベント（10秒以上の滞在、2ページ以上の閲覧、コンバージョンイベントの発生）が発生しなかったセッションの割合を指します。これにより、単に離脱するユーザーではなく、サイトでの関与がなかったユーザーを特定できます。

検定方法

ABテストの結果を正確に評価するには、統計的な検定が不可欠です。各検定方法にはそれぞれ特性があり、これを理解することで精度の高い分析が可能となります。ここでは、ABテストでよく使用される代表的な検定方法を紹介します。

t検定

t検定は、二つのグループの平均値を比較して、その差が統計的に有意かどうかを判断する検定方法です。ABテストでのコンバージョン率や平均クリック数の比較によく使用されます。標本が正規分布していると仮定し、グループ間の差が偶然ではないかを評価します。

カイ二乗検定

カイ二乗検定は、集められたデータの分布が期待される分布と一致しているかを判断する検定方法です。ABテストでは、クリックの有無や購入の有無などを比較する際に使用されます。大規模なサンプルサイズがあるときに特に有効で、観測データと期待データの差を評価し、その差が偶然でないかを確認します。

ベイズ検定

ベイズ検定は、ベイズの定理を用いて事前情報と観測データを組み合わせ、事後確率を計算する方法です。t検定やカイ二乗検定とは異なり、頻度主義的アプローチではなく、事前の知識や仮定を反映させることができます。t検定やカイ二乗検定が特定の仮説の検証に焦点を当てるのに対し、ベイズ検定はデータに対して柔軟で逐次的なアプローチが可能です。ABテストでは、連続的なデータ更新や過去の情報を考慮した分析に適しています。

統計的評価

ABテストの結果を正確に解釈して結論を導くためには、統計的評価が不可欠です。統計的評価を行うことで、結果が偶然ではなく、実際に意味のあるものであることを確認できます。ここでは、統計的評価に関連する重要な指標と概念について説明します。

統計的有意性

 統計的有意性は、観測結果が偶然によるものでないことを示す指標です。一般的に、p値が0.05未満であれば、その結果は統計的に有意とされます。統計的有意性を確認することで、結果の信頼性を高め、適切な意思決定が可能になります。

p値

p値は、計測された結果が偶然に起こる確率を示す値です。p値が低い場合は結果が偶然でないことを示し、統計的に有意であることを意味します。p値を用いてテスト結果の有意性を判断し、信頼性の高い結果判断を導くために使用されます。

信頼区間

信頼区間は、推定値が含まれる範囲を示す統計的な区間を示し、推定値の不確実性を評価することができます。一般的に信頼区間は95%が用いられることが多く、「95%の確率で真の値がこの範囲内にある」と解釈されます。推定値の精度を評価するために重要で、信頼区間が広い場合は不確実性が高いことを示し、狭い場合は推定値の信頼性が高いことを示します。

検出力

検出力は、実際に効果があった場合に、それを検出する確率を示す指標です。一般的に80%以上が望ましいとされています。高い検出力を確保することで、偽陰性（実際には効果があるのに見逃すこと）のリスクを減少させます。検出力を高めるためには、適切なサンプルサイズの設定が重要です。

まとめ

本記事では、ABテストに関連するキーワードについてご紹介しました。ABテストの成功には、関連する用語やキーワードを正しく理解し、計測データの分析と結果判断を的確に行うことが重要です。
これにより、より信頼性の高い結果を得ることができ、サイト改善の施策パフォーマンスを最大化できます。

ABテストの運用についてお悩みがある方やお困りの方は、ぜひSINAPのグロースチームにご相談ください。ツール導入からボトルネックの抽出、仮説・施策立案、施策実施、分析・考察、内製化支援まで幅広く対応可能です！