ABテストツールVWOを初めて使う方に向けた連載第3回では、ABテストのレポーティングに焦点を当てて解説します。

テストの設置方法やゴール設定など、ABテスト開始前の設定手順の解説記事は「無料ABテストツール『VWO』の初期設定からテスト設置方法、ゴール設定、結果の確認方法までまとめました」をご覧ください。また、登録手順や管理画面の解説をした以下の連載回もよろしければ合わせてご覧ください。

• 連載第1回：「無料ABテストツールVWO：登録手順の詳細解説」

• 連載第2回：「無料ABテストツールVWO：管理画面（ダッシュボード）解説」

ABテストの経過観察の重要性

ABテストでは、結果を最終的に判断するだけでなく、テストの経過を適切に観察することが重要です。適切な経過観察を行うことで、予期せぬ影響を把握しやすくなり、統計的有意性が適切に出るまで焦らず待つことができます。必要に応じて配信比率や実施期間の見直しを行うことで、テストの精度を向上させることができます。また、テスト経過が悪化している場合は、その原因を探り、中断する必要があるか速やかに状況を判断することが求められます。

また、ABテストの途中経過を観察する際には、以下のポイントに注意が必要です。

• サンプルサイズが十分か（少数のデータでは結果がブレやすい）
• 統計的有意性を達成しているか（途中で判断すると誤った結論を出すリスクがある）
• 外部要因の影響がないか（広告流入や季節変動による偏りが出る場合がある）

VWOレポーティング機能の使い方

VWOでABテストを開始したら設定した配信比率で正しく配信できているか、CVRが大きく悪化していないかレポーティング機能から数値を確認しましょう。テストのレポートにアクセスするには、表示したい施策キャンペーンを選択し、「レポート」タブに移動します。

テスト開始時に設定した目標の数値をレポートで確認するには、左側エリアにある「Metrics」パネルから目標を選択します。また、「比較する（Compare）」から異なる目標のデータを比較することもできます。

右側エリアに選択した指標に関するデータが表示されます。尚、VWOでの数値はユーザー単位なので、セッションやイベント単位での計測数値は表示できない点に留意が必要です。

日付範囲の指定

「日付フィルタ」から、指定した期間のデータを抽出できます。日付の範囲はあらかじめ用意された期間から選ぶか、カレンダー表示から日付を指定して絞り込むができます。

訪問者セグメントの指定（有料プラン）

訪問者セグメントごとにレポートをフィルタリングしたい時は、「訪問者セグメント」をクリックし、適用したいセグメントを選択します。また、デフォルトで用意されているセグメントとして、トラフィックソース、デバイス、ユーザータイプ、OSを指定することができます。さらに、カスタムセグメントを作成すれば、特定の条件でウェブサイト訪問者を細かくセグメントすることも可能です。

ただし、無料プランのトライアル期間終了後は「All Trafic（すべてのビジター）」以外は選択できないので、セグメントの指定は有料プランでのみ利用できる点に注意が必要です。

テーブルレポート

「Metrics」パネルで選択した目標について、施策キャンペーンで収集された配信バリエーションごとの収集データが表示されます。

コントロールはそのデータを比較するためのベースとして設定されていて、他のバリエーションと比較して確認することができます。

期待されるコンバージョン率（Expected Conversion rate）

配信バリエーションから期待できる中央値のコンバージョン率です。

改善率（Improvement）

テスト案のバリエーションを適用した場合に基準（ベースライン）と比較して期待できる中央値の改善率を示します。

ベースラインに勝てる確率（Probability to beat baseline）

テスト案のバリエーションが基準（ベースライン）よりも優れたパフォーマンスを発揮する確率を示します。

ユニークなコンバージョン/ ビジター（Conversions/Visitors）

コンバージョン数を訪問者数で割った割合（コンバージョン率）です。

絶対潜在的な損失（Absolute Potential Loss）

コンバージョン率がまだどの程度向上する可能性があるかを示します。たとえば、絶対的な潜在的損失が2%で、予想コンバージョン率が10%の場合、コンバージョン率をさらに向上させて最大12%に到達する可能性があることを意味します。

グラフレポート

グラフレポートでは、テーブルレポートのデータを３種類のグラフで視覚的に把握することができます。また、表示する指標をオン/オフのチェックボタンで切り替えて見ることができます。

日付の範囲グラフ（Conversions/Visitors）

一定期間の訪問者のデータ毎のコンバージョン率、コンバージョン、訪問者、および収益などを日別で確認することができます。日付フィルターを使用して、任意の日付範囲を選択することができます。

箱ひげ図（Box Plot）

箱ひげ図は、データの分布を視覚的に表すグラフです。バー部分は、最良または最悪のケースの値を示し、中央の線は中央値を表します。データのばらつきを直感的に把握することができます。

2 つのバリエーションのボックス プロットで垂直方向の重なりが顕著に見られる場合は、数値の差がまだ大きく出ていないことが推測できます。そのような場合は、より多くのサンプルデータを収集する必要があります。サンプルデータが溜まってくると、バーの高さに顕著な変化が見られ、2 つのバージョン間の明確な差が明らかになります。

確率密度曲線（Probability Density）

確率密度曲線は、x軸はコンバージョン率、y軸は確率を表します。コンバージョン率がまだどの程度向上する可能性があるかを把握することができます。曲線の上部は期待される結果が得られる確率が最も高いコンバージョン率を表しています。

VWOの勝ち案判定の仕組み

VWOでは、テストを回して一定の条件に達するとレポート画面上部に勝ち案判定の提案が表示されます。具体的には「絶対潜在的な損失（Absolute Potential Loss）が許容範囲内であり、元の案であるベースラインに勝てる確率（Probability to beat baseline）が95%以上」の場合、そのテスト案バリエーションを最も効果的な勝ち案と判定して表示されます。

また、勝ち案判定の前提として以下の条件を満たしている必要があります。

• バリエーションごとに最低25件のコンバージョン
• テストの訪問者が1,500人以上
• テストが少なくとも1週間以上実行されている

まとめ

いかがでしたでしょうか。VWOのツール内だけでも、ABテストの結果をもとに基本的な分析を行うことができます。各バリエーションのコンバージョン率や改善率、統計的に信頼できる数値などを確認し、テストの効果を素早く把握できるのが特徴です。ツールの詳細情報は、VWOの公式ヘルプページ（VWO KNOWLEDGE BASE）で確認できます。

しかし、より詳細なデータ分析や、セグメント別のパフォーマンスを深く掘り下げるには、GA4と連携したデータ分析が有効です。GA4を活用すれば、ページごとの詳細なユーザー動向やコンバージョンに至るまでの経路をより精密に分析でき、VWOのデータと組み合わせることで、テスト結果の裏にあるユーザー行動やインサイトをより深く把握することができます。

とはいえ、高度な分析には専門的な知識が必要なため、プロに任せるのも一つの方法です。より戦略的な意思決定をしたい方や、データを活用してサイト改善を進めたい方は、ぜひシナップにご相談ください。最適なABテストの設計、詳細なデータ分析、改善施策の提案まで幅広くサポートいたします。

この記事が少しでもお役に立てれば幸いです。VWOの初期設定やABテスト環境の整備、サイト改善など、初めての運用でつまずきやすいポイントも、私たちが伴走しながら支援します。自社だけでは解決が難しい課題をお持ちの方は、ぜひお気軽にシナップへご相談ください。