普段デザイナーをしている私ですが、シナップではただサイトを作って終わりではなくリリース前の企画〜リリース後の改善に取り組んでいるため、デザイナーでも調査結果を踏まえたご提案をする機会があります。Analytics、ヒートマップ、A/Bテスト、ユーザーテスト、インタビュー、などなど。様々なデータ分析や調査に職域関係なく取り組むことで、より良いご提案ができるようになっています。 マーケティング担当者ではなくても、このあたりの知識を身に着けて裏付けのあるご提案ができる事はとても強みになるのではないでしょうか。
そこで今回は、マーケティング担当者ではない人向けに、個人的に注目しているテスト・手法を3つほどご説明いたします。

選んだものは以下3点です。それぞれどのようなテスト・調査なのか、一言で表してみるとこのような感じでしょうか。

では順番に見ていきましょう。

A/Bテスト（スプリットテスト、多変量テスト）

A/Bテスト（スプリットテスト、多変量テスト）とは、異なる複数案のバナーや文章などのクリエイティブを用意し、ユーザーの反応や効果を比較することでウェブサイトを改善していく手法です。ウェブページのデザインやサイト内導線の最適化をはかるために用いられます。 リリース前ではなく、実際に公開されているものでテストを行います。

A/Bテストの良いところは、小さな改善を繰り返すことで、最終的にはコンバージョン率の向上や売上への増加へ繋げることが出来る点です。
すでにGoogle Analyticsなどで解析を行っている場合は、その結果から離脱となる原因を考えたり仮説を立てることができますが、解析データがなかったり、何からテストしたらよいか分からない場合は、まずはボタンのラベルを変える、色を変える...など小さなテストから試してみることで、その結果のデータから具体的な仮説を立てて、より深いテストを繰り返し行えるようになっていきます。

事例

A/Bテストの有名な事例に、アメリカのオバマ選挙陣営が2008年に行った資金調達キャンペーンがあります。このテストでは、トップページのイメージ（6通り）とコンバージョンボタン（4通り）の組み合わせ（24通り）でテストを行い、訪問者がサインアップ（コンバージョン）するか否かを追跡したそう。

結果的には40.6%向上し、一人あたりの平均寄付額から計算すると、オリジナルサイトで寄付を続けるより60億円も多く資金調達ができたそうです。

A/Bテストを行うときのポイント

実際私がA/Bテストをしてみて学んだ点を紹介いたします。

1. 仮説をしっかり立てる

このテストで何を検証しようとしていて、結果からどのようなことが分かるのかをまず考えてからテストをしましょう。 結果は予想していたものと違うデザインが採用されると「ユーザー的にはこっちなんだ！」と意外な発見があったりします。また、仮説自体が間違えていることもあるので、慣れないうちは複数人で議論するのも良いと思います。

2. 数値に注目する

結果が出たら、CV改善率がどれくらい良くなったのか、日によって変動はあったのかなど数値に注目します。仮説を立てたときに考えたことと数値を照らし合わせます。CVRに関わる要因が複数ある場合は、単純に全体CVRが高くなっていても該当箇所のCVRは低い...なんてこともあるため注意が必要です。 数値から分かることを、次回のテストに役立てましょう。

3. 小さな成功を積み重ねられるよう学習する

わずか数%の改善でも続けて積み重ねることで、数か月後に数十パーセントの改善結果に繋げることができるのがテストを取り入れる良いところです。 単発でテストを行ってもあまり意味がないですし、上手く行かなくてもそうなってしまう原因を学習して次回に取り組むことが大事だと考えます。

4. テストデータだけを信頼しすぎることにも注意？

時期によってユーザーの動きが違う場合や、時間が経てばトレンドが変わることもあるかと思います。継続してテストを続け、その時々で適切な判断をしていくことで、より効果的な改善ができるのではないでしょうか。

ユーザーテスト

ユーザーテストとは

ユーザーテストとは、実際のユーザーにサービスや製品を使用してもらい、その時の行動や発言を観察することで、ユーザーの心理を踏まえた問題を知ることができる調査手法です。 先に紹介したA/Bテストやアクセス解析では、「行動の結果」は分かりますが、「なぜそうしたのか」という心理的な部分は分かりません。結果だけを見るのではなく過程を観察することで、「なぜそうするのか」「なぜ想定と違う行動をしたのか」といった「なぜ」を知ることができるのがユーザーテストの特徴です。 また、行動を観察しているので、「機能の使いにくさ」「情報が探せるか」「情報が不足していないか」など、プロダクトの課題を抽出できます。

事例

シナップのディレクターチームが行ったユーザーテストについて、社内発表会がありました。その様子はまたブログにてご紹介できればと思いますが、実際に数名のユーザーに使用してもらい、意外な発見がたくさんありました。予想外の意見があったりして、見ているだけでもとても興味深かったです。今後の制作にも役立てていきたいです。

ユーザーテストを行うときのポイント

ユーザーテストは概要だけ見ると簡単にできそうな気がしてしまいますが、実際には準備や実施後の分析を含めると、思ったよりも時間がかかってしまいます。計画をしっかり立てることと、その後の分析が何より重要です。

1. 適切な被験者を集める

意外に、被験者を集めるのも大変です。例えば「その分野に興味は持っているけど、まだテストする製品を知らない人」を集めたい場合、その分野が好きなユーザーはだいたい製品を知っていたりしますよね。他にも、身近に適切なユーザーが居なかったり、募集しても簡単に集まらないこともあります。 被験者を集めるために、意外と労力や時間がかかることを考慮しておきましょう。

2. テストシナリオの精度

テストを行うにあたって最終目標を用意しておきますが、その目標を達成するためにどんなタスクがあるのか、どの様な順番でテストを行なってもらうのかを記したシナリオを作成しておくとスムーズです。 ですが、シナリオの精度によってはテストから分かることも変わってきてしまう可能性があります。 テストを行うチーム内でも事前に確認しあい、過不足がないかや意図のすり合わせをして精度を高めると良さそうです。このあたりは書籍も多く出ていますので、参考にしてみてください！

3. アクセス解析と併用することでより深く知る

もちろんユーザーテスト単体で行っても、ユーザー心理やプロダクトの課題を探ることは可能です。ですが、アクセス解析などである程度課題が多そうな部分（例えば離脱率が高いページなど）が分かっていると、その部分を重点的にユーザーテストを行うことができます。

インタビュー

インタビューとは

インタビューとは、ユーザーの声を聞くことにより深層心理やユーザーの行動の意味を知るための調査です。ユーザー複数人で行う「グループインタビュー」と一対一で行う「パーソナルインタビュー」があります。グループインタビューは座談会と言われることもあります。 グループインタビューは複数人のディスカッション形式で行われるため、ユーザー同士が刺激しあって本当の気持ちを明らかにすることができます。一方、パーソナルインタビューは一人に対して行うため、その人自身の気持ちや行動を探ることができます。他にも、他人には話しにくいテーマの場合パーソナルインタビューが選ばれることもあります。

事例

マーケティング手法としてのインタビューとは若干異なりますが、以前シナップではRunning Leanの考えを元にした顧客インタビューを行ったことがあります。私自身も、そのプロジェクトに参加していました。
その時のことはこちらからどうぞ
【経験談】Running Leanの考えをもとにした顧客インタビューのポイント！成功と失敗談から学ぶ、準備とコツ。

顧客インタビューとは「顧客の世界観や本当の課題は何かを知るためのもの」ですが、アンケートなどの定量調査では把握しきれない深層心理を探るという意味では、今回取り上げたいインタビュー調査と同じ部類だと私は考えています。
私が行った顧客インタビューでは「自分たちが考えた課題（仮説）がユーザーにとって本当に課題なのか」を探り、そもそも考えていたことがユーザーにとって本当の課題ではないということが判明しました。そのため、企画そのものを考え直してもう一度インタビューを行うことになりました。 このように、インタビューを行ったことで企画や商品にユーザーの本音を反映しながら進められることがインタビューを取り入れるメリットではないでしょうか。

インタビューを行うときのポイント

大筋のインタビュー項目は決めておいたとしても、ユーザーによって答えは様々なためインタビュアーが臨機応変に質問内容を変えて進行していく必要があります。その分、思いつかなかったような発見があったり深層心理が探れるのは良いのですが、インタビュアーの力も重要なポイントです。

1. 適切なインタビューイー（ユーザー）を見つける

ユーザテストと同じで、適切なインタビューイーを集めるのが思ったよりも大変です。ただ、ターゲットの分野がはっきりしていると場合によってはインタビューイーからの紹介で次のインタビューイーをつなげることができるので、次々紹介してもらうのも良策だと思います。 グループインタビューの場合は、見ず知らずの人を複数人集める必要があるため、紹介だと難しいかもしれません。

2. シナリオ（調査の企画・設計）を作る

仮説のシナリオを立てて絶対に聞いておきたいポイントを明確にしておくことが大事なことの一つです。先にお話したように、ユーザーによって様々な意見が出てくるので、十分話を聞き出せるかどうかはインタビュアーの力量にかかっているといっても過言ではありません。また、複数回に渡ってインタビューする場合はインタビューを進める中でシナリオを調整しても良いと考えます。もちろん、最初から上手なシナリオを作れたら一番良いですが、進行しやすいように調整していくことで最適な材料を集めることができます。（まるっと変更しなければならない場合は、前提が間違っていることもあるので再度検討が必要でしょう）

3. ボディランゲージや表情を読み取る

話した言葉だけではなく、仕草や表情から分かることがあります。笑っていても、楽しいのか苦笑いなのか愛想笑いなのか...様々な感情がありますので、読み取るように注意します。

4. 話しやすいような場を作る

そもそもですが、回答者の本音を引き出すのがインタビューの大切な部分です。話しやすい雰囲気をつくることで、生の声を吸い上げられます。インタビュアーが笑顔でいたりと喋りやすいように振る舞うことも良いですし、ユーザーがリラックスできるような喫茶店や普段商品を使用する場面などでインタビューすると、話しやすくなって本音を見極められるかもしれません。メモをとらず、会話することに意識を集中するだけでも効果的です。

まとめ

さて、いかがだったでしょうか。
どのテストもやるだけでは意味がなく、その結果どうするのかがとても重要です。それぞれの特徴を知るとともに、実際行う際は、テスト計画・準備・実施・分析をしっかり行って制作や改善に取り組んでいきましょう！そして私と同じデザイナーの方々は、クリエイティブにも活かしていけるといいですね。