コンテンツやコピーに関するリサーチとテストのやり方
Mar 05, 2023この記事はパトリック・スタッフォード氏のブログ:How to research and test content and copyの翻訳転載です。著作元のUX Content Collectiveの許可を得て公開しています。
この記事は、「Content Research and Testing course（コンテンツのリサーチとテストコース）」の初回のいくつかの授業用資料で構成されています。
もしあなたがUXライターやコンテンツストラテジスト、開発者、プロジェクトマネージャー、プロダクトマネージャー、プロデューサー、あるいはコンテンツのテストと測定の方法を学ぶことに興味がある人なら、このコースはあなたにぴったりです。
コンテンツをテストして測定する方法を知っていることは必須のスキル
人々が信頼や愛着を持てるコンテンツを作る責任は、私たちUXライターにかかっています。売上、インタラクション、レスポンスなど、あらゆる成功指標につながるコンテンツをデザインしなければなりません。
ですが、ここで多くのUXライターが躓いています。UXライターは、コピーを書き、あるフレーズやフローが他のものより優れている理由を理論立てて、あるいは体験談に基づいて説明することはできますが、ハードデータを使って戦略的にテストすることに時間をかけていません。
さらに、UXライターの多くは、ユーザーテストに参加するためのスキルを持ち合わせていません。ビジネス環境においては、自分のコピーがコンバージョンにつながるだけでなく、その理由と方法を経営者やチームのリーダーに示す必要があります。
戦略的な思考は、従来のライターが得意とするところではありませんが、UXライターやコンテンツストラテジストであれば、必ず身につけなければならないものです。
コンテンツのリサーチ、測定、データに関する戦略的な考え方
答えを出すべきリサーチクエスチョンがあるときは、必要な答えが得られる方法を選択しましょう。
プロダクト体験をまず開発し、その後最適化していくにつれ、コンテンツの問いに答えを出すためのデータドリブンなアプローチを築けるようになります。ここで紹介する方法は、標準的なUXリサーチの実践に沿ったものですが、ユーザージャーニーの各ステップにおいて、可能な限り最高のコンテンツ体験を生み出すのに役立つよう、アレンジされています。
ただし、1つのプロジェクトプロダクトに、これらすべての方法を使うわけではないことに留意してください。コンテンツを成功させるために、必要に応じてリサーチやテストを行えるように、多くの選択肢を用意しておくことが大切です。
プロセス、目標、目的を設定する
優れたコンテンツは、測定が困難なものと思われがちです。しかし、実はコンテンツは簡単に測定できるます。その方法を知ってさえいればいいのです。 - レイチェル・マコーネル
まずはプロセスから
コンテンツのテストや測定をするとき、行き当たりばったりにならないようにしたいものです。繰り返し可能なプロセスに従えば、よりきちんとした感じがしますし、プロジェクトマネージャーや経営陣に、直ちにテストの状況を伝えることができます。
「アナリティクス プロセスモデル」は、ビッグデータ解析の専門家のバイブルとして使われている有名なプロセスの一つです。
データに精通したコンテンツストラテジストならば、同様によく知っている必要があります。
モデルはこんな感じです。
（出典）
これらのステップを確認した上で、私たちのコンテンツのリサーチとテストのニーズに合わせて、このプロセスをアレンジしてみましょう。
1. ビジネス上の問題を特定する
私たちの目的は、コンテンツやデザインの問題を特定することですが、ユーザーの問題は常にビジネスの問題であることを忘れてはいけません。ユーザーが不満を感じたり、プロダクトに問題があれば、それは間違いなくビジネスに影響を与えます。テストの目標を明確にする際には、ビジネスの目標とも一致させたいものです。
2. データソースを特定する
「ビッグデータ」の用語のように聞こえますが、ここでは、リサーチやテストの方法を特定することを意味します。
3. データを選択する
単にデータを選択するのではありません。私たちの質問に答えるための最適な「情報源」を特定します。その情報源は、社内のステークホルダーであったり、カスタマーサポートやプロダクトマネージャーといった社内の専門家の場合もありますが、多くの場合、顧客が情報源です。
4. データクリーニングする
「データクリーニング」とは、データセットから妥当でない結果を取り除くことです。例えば、重複したアンケート回答や、ユーザビリティテストの被験者が実は従業員だった、20件のアプリレビューが同一人物であることが判明した、などが該当します。
5. データを変換する
データを「変換」することは、私たちの仕事の文脈でよりよく理解できるような形式にすることを意味します。例えば、手書きのメモを検索可能なスプレッドシートに書き写したり、人々の体験をユーザージャーニーマップにマッピングしたりすることがこれにあたります。
6. データを分析する
このステップでは、学んだことをすべて吸収し、結論と洞察を導き出し、コンテンツの意思決定に役立てます。A/Bテストの結果を集計したり、アンケートのフィードバックを集約したりします。
7. モデルを解釈、評価、配置する
ここで、リサーチとテストを通じて得られた知見をもとに、変更を加えていきます。
これらのステップをコンテンツテストのプロセスに凝縮して説明すると次の通りになります。
- リサーチクエスチョンとゴールを特定する
- リサーチ方法と対象者を選択する
- テストを実施し、結果を記録する
- 結果を整理し、共有可能なデータに変換する
- 洞察、決定、および実施計画を報告する
リサーチの２つのタイプ
すでにご存知の方も多いかもしれませんが、ここで「質的データ」と「量的データ」という2つの用語について見てみましょう。この2つはどう違うのでしょうか。
定性的（Qual）データとは、数値で表すことが難しい主観的な情報です。プロダクトの品質に関するユーザーの感情や意見を測定することを意味します。フォーカスグループやインタビューなどを通じて集めたコメントを思い浮かべてください。これも「データ」であり、異なる方法で発見され、異なる方法で表現されます。テストの中には、このデータを定量化し、その影響を測定しやすくするものもあります。
定量的（Quant）なデータは、数値や値で数え、測定できる指標で構成されています。例えば、何人がボタンをクリックしたのか？何人がフォームに入力したのか？ユーザーがホームページに滞在したのは何秒か？定量的データは「ハード」データであり、これは、意見や感情ではなく、測定可能な行動に基づいていることを意味します。
ニールセン・ノーマン・グループ（NN/g）は次のように説明します。
特定のデータを、いつ、どのように、そしてなぜ使うのかを理解することが、真のコンテンツストラテジストになるための鍵です。
とりあえず、まずは定性的な方法に注目します。
コンテンツを詳細にテストし、測定する
UXライターやコンテンツストラテジストは、UXコピーを書くことが長いプロセスの最後のステップであるということを忘れがちです。
実際、書くのは最後であり、いちばん簡単でもあります。というのも、そこに到達した時点でユーザーの言葉遣いや、ユーザーの抱える欲求やニーズ、問題に関して方向性を示すリサーチはすでに終えてるからです。
大変な作業の多くは、リサーチ段階で行われます。UXライターは、顧客とのタッチポイントやペインポイントごとに、さまざまな専門家とできるだけ長い時間をかけて話し合い、そのプロセス全体をジャーニーマップや共感マップで記録し、それをもとに顧客が経験する主要な機能やメリットを特定する必要があるのです。
すべてのアクションをデータの文脈で考える
思い出してほしいのが、このコースはテストと測定が目的であることです。リサーチ段階で得た情報やメモは、測定を始めるための最初の手段となります。
科学者なら誰もが言うように、測定するには基準値が必要で、ベースラインとは、実験を測定する際の基準となるものです。ここでは書く前に収集した情報がベースラインであり、この情報は、他のタイプのデータと同じように扱われなければなりません。
そこからは、ボイスとトーンのガイドラインが、文章を構成するのに役立ちます。ただし、リサーチがあれば、その仕事の大半は終わったも同然です。
テストする前に、特定のコンテンツの目的を明確にする
データドリブンのプロセスには、ベンチマークと成功指標が必要です。コピーのスコープと目的を明確にすることで、常に、「成功」と「失敗」の状態を念頭に置くことができます。
コンテンツの目的を見つけることは、プロジェクトのタイプやスコープ、関係者にかかわらず、常に最初に問うべきことです。
テストを行う前に、今やっていることは何なのか、何を達成しようとしているのかを考えてみてください。
オンボーディングのようなアプリ内のスクリーンでしょうか？それとも特定の機能ですか？マーケティングファネルを作成する場合、そのコンテンツはなぜ、どのように使用されるのでしょうか？このコンテンツは、どのような指標に紐づいているでしょうか？
あるユーザーからのフィードバックによって特定されたコンテンツを通して、全体的なユーザビリティを向上させようとしているのでしょうか？
どのコンテンツにも、販売、案内、影響力、エラー防止など、何らかの「仕事」があります。テストは、コンテンツがその仕事を効果的に行っているかどうかを答えることができるのです。
データのリポジトリを作成する
顧客対応に関するメモを紙に書き留めたものの、後でそのメモを紛失したり、一体何を書き留めようとしたのかよく分からなくなったりした経験はありませんか？そのような方は、まず規律と仕組みから始めることをお勧めします。
一般的なベストプラクティスとして、まず、すべてのリサーチとテストデータを収集するためのリポジトリを作成しましょう。クラウド上のフォルダを作成し、必要に応じてチームやリーダーと共有できるようにするのが理想的です。
Confluence、Dropbox、Google Driveのフォルダ、あるいは Aurelius のような新しいプロダクトでも構いません。最初のテストを実行する前に、リサーチの中心となるものを必ず作成してください。
そこに、それまで収集したメモや写真をすべて入れます。
- 問題点や考察をまとめたスプレッドシート
- 参加者の写真
- ホワイトボードの写真
- ユーザーが記入したワークシートやメモの写真
- インタビューの引用をまとめたデータベースまたはスプレッドシート
- ワークショップの詳細とメモ
- 共感マップ
- ジャーニーマップ
- ユーザーテストの動画
- アンケート結果
このような豊富な資料があれば、厳しい審査に耐えられるコンテンツを書くことができます。
データドリブンなUXライターやコンテンツストラテジストであるあなたの目標は、コンテンツの選択について主観的な論争を可能な限り避けることです。
重要な質問、目標、インサイトに基づいてメモにタグを付けると、後で簡単に見つけることができます。スプレッドシートに列を追加したり、データベースにフィールドを追加して、次のようなタグを保持することができます。
#ペインポイント
#簡潔な引用
#強い希望
#バリュープロポジション
#UIガイダンス課題
#機能リクエスト
#紛らわしい言葉遣い
ポイントを説明したり、テスト結果をさらに詳しく説明したりするために、瞬時にリサーチを引き出せるのは素晴らしいことです。
リサーチクエスチョンとビジネスゴールを一致させる
ビジネスの目標に沿った重要な質問に答えられなければ、テストを作成する意味がありません。リサーチクエスチョンを明確にするために、事前に社内の専門家からできるだけ多くの知識を得ることが必要です。
チームからフィードバックをもらう
コンテンツをテストすることを決めたら、テストを行うことで必要な質的・量的データが確実に得られるよう、デザインチームとプロダクトチームのメンバーの了承を得ます。
チームに頼んで一緒にブレーンストーミングしてもらい、コンテンツに関連して、答えるべき問いを洗い出しましょう。概して、ここで出た問いの一部（またはすべて）に回答することを目的としてリサーチを行う必要があります。
定性的
- ブランドが約束することについて、ユーザーはどのように感じているか？
- プロダクトのバリュープロポジションについて、ユーザーはどのように感じているか？
- ユーザーは、機能やプロダクト、ブランドの品質をどのように表現すると思うか？
- ユーザーは、プロダクトボイスをどのように表現すると思うか？(それは、自分が意図したものと一致しているか？）
- UIで使用されている文脈に依存した用語に対して、ユーザーはうまく反応するか？
- ユーザーは、自分たちを表現するために使用される用語に対して、自分自身を重ね合わせているか？
定量的
- 何パーセントのユーザーがタスクを成功裏に完了しているか？
- 何パーセントのユーザーがセールスファネルに入り、購入まで至ったか？
- 何パーセントのユーザーが、ランディングページからチェックアウトフローまで進む過程、オンボーディング画面から最初のタスクフローへの過程など、クリックして移行ポイントを通過することに成功したか？
最終的に、テストの目標は、会社の大きな目標と連動している必要があります。目指すべき大きな売上目標やKPIについては、デザインチーム以外の人たち、たとえばプロダクトリーダーやエグゼクティブに話を聞いてみないと、わからないかもしれません。
簡単な例を見てみましょう。あなたの会社やビジネスユニットの第一目標が、その製品分野のマーケットリーダーになることだとしたら、コピーの目標としては次のようなものが考えられます。
- サインアップの総数を増やす（ファネル内のユーザー総数）
- 1日あたりのアクティブユーザー数の増加（エンゲージメント維持の指標）
- 初回訪問時間の増加（初期エンゲージメントの優れた指標）
- どの時点でも離脱を減らす（ユーザーを前進させ続け、価値を見出すのを助ける）
それならば、これらの分野におけるあなたのコピーの有効性を伝えるために、仮説、実験、テスト、リサーチは、直接的な結果を確立することに焦点を当てるべきでしょう。
翻訳：Kanako Noda
