【寄稿】少数派の意見も漏らさず表現!ユーザビリティテスト結果の取りまとめ事例
こんにちは、ポップインサイトの木原と申します。
ポップインサイトはユーザテスティング、特に被検者が自宅にいながら調査に参加する「リモート・ユーザテスティング」を専門としている調査会社です。創業から3年弱で、ウェブ事業者、そのほかにも一般企業などから、2000件以上の調査のご依頼をいただいています。
今回は、「社内でユーザテスティングに取り組んでいる事業者様」向けに、「テスト結果の取りまとめ方のTips」をお届けします。
\ナイルのサイト改善提案の紹介はこちらから!/
目次
テスト結果を「自分で全チェック」は「ほぼ不可能」
当社が提供する調査サービスの人気オプションの1つに「レポーティング」があります。
リモート・ユーザテスティングの結果である「動画」を確認するのは、軽く目を通すだけでも非常に大変です。例えば、1つが60分の動画に目を通す場合、被験者が5名であれば5時間かかります。5時間といえば長編映画2本の時間とほぼ等しい長さです。
本業がほかにある人であれば、相当無理をして時間を捻出しないと業務時間中に目を通すのはかなり難しいといえます。内容の精査まで必要となれば、かかる時間は2倍にも3倍にもなります。もしそれをすべて自分でやらなければならないとすると、調査を活用いただくハードル自体が非常に高くなってしまいます。
レポーティングで動画チェックの手間を大幅軽減
こうしたジレンマを解決するために提供させていただいているのが、「レポーティング」です。
具体的には「調査内容の全編チェック」「チェック後に発見点を抽出」、「重要な課題の取りまとめ」が含まれます。それぞれを当社スタッフが行った上で、パワーポイント形式のレポートとしてまとめて提供しています。
レポートがあれば、お客様は実際に動画に目を通すことなく、でき上がったレポートを眺めるだけで、調査の概要を把握できます。中にはお客様自身でなければ判断できない事情や込み入った内容もあり、その場合には、お客様自身が動画を見直されることもないわけではありません。
そうしたケースであっても「だいたいどこを見ればいいのか分かって、短い時間で確認できる」と高く評価していただいています。
ユーザビリティテスト・レポートの構成例
レポートの構成はクライアント企業ごとに「百社百様」ですが、本記事ではポップインサイトのものを例に紹介します。
ポップインサイトでは、以下のような構成でレポートの作成を行っています。
- 全体サマリ
- 観点別のユーザボイス
- 課題一覧
- 重要課題の図解
- 調査概要(モニタ属性・タスク内容)
下記、簡単に個別解説します。
1.全体サマリ
以降のページに目を通していただく前に、「不満のありか」「サイトの強み」を大まかに把握してもらうことを目的としたページです。レポートを解釈する前提ともなる、非常に重要な部分であり、本記事の焦点でもあります。
全体サマリページサンプル
2.観点別のユーザボイス
お客様が興味をお持ちの観点についての発言を集めたページです。例えば、サムネイル画像のサイズは適切か、商品同士の比較はしやすいかなどです。また、それぞれの観点について、どの程度ユーザが満足しているかも4段階評価でスコアリングしています。
観点別のユーザボイスページサンプル
3.課題一覧
お客様のサイトで得られた「ネガティブな発見」を、サイト内の箇所別にすべて掲載した一覧ページです。
課題一覧ページサンプル
4.重要課題の図解
課題のうち、対策の優先度が高いものについて、それがどのような課題なのかを画像キャプチャ付きで解説したページです。どのような改善策が考えられるかも記載しています。
重要課題の図解ページサンプル
5.調査概要(モニタ属性・タスク内容)
調査に参加した人がどのような人物なのか(年齢、性別、年収などのデモグラフィック属性のほか、調査に関連する経験の有無などのエピソードも含む)、調査の流れはどのようなものだったか(いわゆる「タスク」)を確認してもらうページです。
数字でまとめると見えなくなってしまう「課題」
紹介したように、レポート内でも重要な地位を占める「全体サマリ」ですが、以前は以下のような形式で作成していました。
以前の「全体サマリ」フォーマット
例に出している調査は「女性向け衣料品」のECサイトを対象に行われたものです。この調査では30代、40代、50代の女性モニタに参加してもらいました。
さて、このサマリを見て、みなさんはどのように感じられたでしょうか。「10点満点で8点と7点が多いので、悪くなさそうだ」こう思う人が多いのではないでしょうか。
今度は、同じ調査結果を、フォーマットを変えて見てみましょう。
下図が、現在のフォーマットです。
現在の「全体サマリ」フォーマット
上の画像はポップインサイトの現行フォーマットです。こちらのフォーマットでは一見してすぐ「必ずしも理想的な結果ではない」と判断できるでしょう。30代モニタの満足度が明らかに低いためです。
「各ユーザの顔が見える」アウトプットで定性調査としての結果を表現
この評価の背景には、「サイト構成、商品デザインともに高齢ユーザ向けの印象を与えている」、つまり全体的に「おばさんっぽい」という課題が潜んでいました。
実は、サイトのオーナー企業には「より若い年代にも訴求したい」という希望がありました。上に示した現行フォーマットであれば、「ご懸念の通り、より若い世代にアピールできていません」とお伝えすることができますが、以前のフォーマットでは「概ね良好」というざっくりした結論にしかならず、課題があることが伝えられなかったのです。
こうした、「少数派だけども、大切なメッセージ」をできるだけつぶさずに伝えるために、「全体サマリ」のフォーマットを上のような「顔の見える」形式へと変更することにしました。結果として、以前のフォーマットでは「8」「7」という数字に隠れて見えていなかった、「30代セグメントの不満」を浮き彫りにすることができました。
まとめ:数字での説明は有効、ただし「サマライズし過ぎ」は本末転倒
実は上の図で紹介した「○×形式」の調査レポートは、突き詰めていくと結果を数字化しているのと同じです。「◎」を「10」、「×」を「1」に置き換えても内容は変わりません。本記事では、定性調査を数字化すること自体が間違っていると主張したいわけではありません。
調査レポートを作成する上で本当に避けなければいけないのは、「数字化された結果のまとめすぎ、ならしすぎ」です。
調査結果のレポートに、被験者の「顔」が見えなくなるまでまとめ上げられた、「それ単体で(定性)調査の全てが理解できてしまいそうな数字」が盛り込まれている場合、うのみにする前に一度注意してみる必要があります。そのかげには「不満を覚えているセグメント」が隠れているかもしれないからです。
多くの場合「数の説得力」を伴わない定性調査ですから、被験者それぞれの「顔」が見える形式でアウトプットを出していくことが重要です。そうすることで、正確で、インサイトを漏らさないレポート作成が可能になると考えています。
\ナイルのサイト改善提案の紹介はこちらから!/
関連記事