DMN Design Management Report #049

大規模なデータセットをステークホルダーに理解させるには

Kai Wong  UX Designer

How to get your stakeholders to understand a large dataset

定性調査に量的な深みを加えるための2つのテクニック

大規模なデータセットを扱うことで、みんなが同じ足取りでスタートすることの重要性を実感しています。私は最近、130人以上の参加者から得た調査結果やリモートテストの結果をステークホルダーのためにまとめなければならず、そのために定量的なアプローチを用いる必要がありました。

このような大規模なデータセットでは、ユーザーの発言を引用するなどの、一般的な方法で調査結果を報告するのは適切だとは思えませんでした。かといって、複雑な定量的調査手法を使うのもあまり意味がないように思っていました。そこで、ステークホルダーに知見を伝えるために、2つの探索的データ分析手法を採用しました。

探索的データ分析

「絵の最大の価値は、思いもよらなかったものに気づかされるときである」

John Tukey

探索的データ分析は、John Tukeyが提唱し、データサイエンス界で広く採用されている考え方です。その考え方はシンプルです。アイデアを証拠と照らし合わせる前に、データの感触を確かめておくことです。

ユーザーテストを計画し、多くの参加者を使ってテストを行うプロセスの中で、その人の具体的なデータ分析に至る前でも、テストで何がうまくいき、何がうまくいかないのか、データの感触を大まかに把握することができます。

それではステークホルダーはどうでしょうか。彼らは、あなたが何かに取り組んでいることは知っていても、データの全体感をまだ正確に把握していないかもしれません。

私は定性的な側面から、データの全体的な感覚や遭遇した問題を示すために、ユーザーの引用やその他の豆知識を探すことを学びました。遭遇した問題としては、ユーザーは時々、何かをサポートするのに最適な引用文や、基本的な統計情報を提供することがあります。しかし、これは大規模なデータセットになると、あまり効果的ではなくなるのです。個々のデータポイントや引用文は、全体の傾向よりも関連性が薄いと感じることがあるからです。

結果として、具体的なユーザビリティの問題に取りかかる前に、ステークホルダーがデータセット全体（ポジティブなフィードバックが得られたかどうかなど）について理解していることを確認することが、非常に重要になる場合があります。

そこで私は、通常探索的データ分析で使用される2つのテクニックを使って、定性調査の定量化と可視化を行いました。それは、Binning（ビニング）とTagging（タグ付け）です。

Binning（ビニング）。全体的な状況はどうなのでしょうか？

私は、多くのユーザーリサーチのプレゼンテーションにおいて、不思議なことに質問に遠回しに答えていることに気づきました。例えば、ステークホルダーから「ユーザーテストはどうだったのか」と聞かれることがありますが、私たちはこのように間接的に答えています。「ユーザーは25の問題に直面しましたが、どれも小さなものです。」

もちろん、ユーザーテストで出てきた問題を無視したいわけではありませんが、このような言い方をすると、チームがプロトタイプの状態を理解するのが少し難しくなります。以前、私たちがプロトタイプの小さな問題点だけを話していると、最後にチームのあるメンバーが「もう一回ユーザーテストをする必要があるのか」と聞いてくることもありました。

完璧なプロトタイプは存在しません。納期を守るために、無視されてしまう（できれば）小さな問題は常にあります。そのため、プロトタイプの状態をビジュアルで伝えることができるのは、とても便利なことです。

そこで活躍するのが、重症度スケールとヒューリスティック評価です。ヒューリスティック評価とは、ユーザビリティの専門家（通常はあなた）がWebサイトを見て、ユーザーのワークフローに与えるであろうインタラクションや効果に基づいてユーザビリティの問題の深刻度を評価することです。ユーザーテストに取って代わることはできませんが、ユーザーデータを収集・分析した後の補完的なアプローチとしては最適です。

各ユーザビリティの問題をその深刻度によって分類できるため、優先順位付けと意思決定が容易になります。また、この方法は、意図せずしてデータサイエンスのテクニックを利用することになります。

ビニングとは、データのセットをいくつかの連続した間隔またはビンに分割するプロセスです。例えば、成績（A＝90～99％、B＝80～89％など）や人口統計（18～24歳、25～34歳など）などがこれにあたります。ユーザビリティの問題をさまざまな深刻度（高い深刻度、中程度の深刻度、低い深刻度など）に分類できると、ステークホルダーがユーザーテストに基づいてプロジェクトのどの段階にあるかを評価するために使用できるビジュアルを作成することができます。左の棒グラフは、ユーザビリティの問題のほとんどが深刻度が高く、次に深刻度が中程度、深刻度が低い、そして軽微な問題であることを示しています。右の棒グラフは、深刻度が高い問題はほとんどなく、深刻度が中程度の問題が少なく、深刻度が低い問題が多く、そして軽微な問題が最も多いことを示しています。

https://uxmastery.com/how-kasasa-used-reframer-to-rebuild-prove-value-and-inspire-ux-maturity/

Reframerのようなツールを使う場合の問題点として、先に発生するタグやテーマを予想することが難しい場合がありますが、一般的なタグ／テーマを用意しておき、そこからスタートしてさらに通過する際に絞り込むことで対処します。つまり、例えば

• タスクベースのタグ（タスク1、タスク2、など）
• ステータスベースのタグ（成功、挫折、失敗）
• ユーザーベースのタグ（必要、欲しい、提案、引用）など

こうすることで、インタビューやアンケートの中で特定のテーマやアイデアが何回出てきたかをカウントし、それらをさまざまな方法で視覚化することができます。

Reframerはタグやテーマをもとにシンプルな棒グラフを自動生成しますが、データをエクスポートして、タグ付けされたデータをもとにもっと複雑なビジュアルを作ることも可能です。

 

https://uxdesign.cc/reframer-review-a-qualitative-research-tool-c99b1700af0c

このポイントは、データの傾向や関係性を強調することで、ユーザーがプロセスに対して肯定的か否定的かなど、全体的にどのような反応を示したかをステークホルダーが確認できるようにすることです。

よく「ユーザーはこの機能を気に入っている」などとポイントをまとめることがありますが、データを視覚的にまとめると、より効果的な場合があります。

例えば、特定のタスクに対するユーザーの反応を提示することで、あるタスクが他のタスクよりも問題があったことを強調することができます。

あるいは、もっと複雑なもの、例えば、2つの異なるタグが同時に出てくる頻度を示すコードダイアグラムのようなものでもよいでしょう。

https://uxmastery.com/how-kasasa-used-reframer-to-rebuild-prove-value-and-inspire-ux-maturity/

これらの手法を用いることで、「私たちはどうなっているのか」という、一般的かつ重要な問いに答えることができるのです。

ユーザーとの関係はどうなっているのか？

私たちは時に、ユーザーリサーチのプレゼンテーションを、あまり効果的でない導入でリードすることがあります。私たちは、手法やデータの範囲、あるいは別のやり方で始めるかもしれません。しかし、それはステークホルダーにとって最も切実な問題ではないかもしれません。むしろ彼らが気にしているのは、もっと基本的な質問でしょう。それは「ユーザーとどう向き合っているか 」です。

これらの方法はかなりの時間を要しますが、ステークホルダーがすぐにデータを感じ取り、ユーザー中心の観点から私たちがどのように行動しているかを理解する手段にもなります。データを紹介する方法として、ぜひご検討ください。

「ユーザーにとってどうなのか？あまり良くない。」

「なぜ、そんなにうまくいかないのか？それは、タスク2とタスク3において、ユーザーが問題に直面しているからです。」

「どんな問題に遭遇しているのか？」そこで、ステークホルダーがあなたのデータについて一般的な感覚を持っていることに自信を持ちながら、あなたが遭遇しているユーザーテストの問題について話すことができるのです。

これは、現在のプレゼンテーションに役立つだけでなく、将来的にこのデータを理解するための迅速かつ容易な方法を提供するものです。私は、デザインプロセスの中で、ユーザーリサーチやメモを何度も見直して、過去に話したビジネス上の意思決定やデザインアイデアを理解しようとすることがよくあります。

このような行動をとることで、当時何が問題だったのかを簡単に振り返り、正確に理解することができ、現在の状況との比較のベンチマークとすることができるのです。ですから、あなたとあなたのチームが同じ足取りでスタートできるよう、今日から行動を起こしたいのであれば、ビニングとタグ付けを検討してみてください。これらのシンプルなアクションは、ステークホルダーがデータを簡単に把握し、ユーザー中心の視点をより理解しやすくするのに役立ちます。

Kai Wongは、UXデザイナー、著者、そしてデータビジュアライゼーションの提唱者です。彼の最新作「Data Persuasion」では、デザイナーの視点からデータビジュアライゼーションを学び、UXがデータビジュアライゼーションにどのような恩恵をもたらすかについて述べています。