DMN Report #82 インスタペルソナと合成ユーザー
ChatGPT（など）をデザインリサーチに活用できない理由
Qualitative data scientist
Insta-Personas & Synthetic Users
ChatGPTに関する論争は避けられると思っていましたが、デザインリサーチにも論争が入り込んできました。
- ChatGPT をユーザーリサーチに使用する方法についてのMedium の記事を見ました。その 1 つは、「ChatGPT に製品のユーザー ペルソナをいくつか作成してもらいましょう」というものでした。
- そして、合成ユーザーに尋ねることで「頭痛のないユーザーリサーチ」（頭痛？）という広告がありました。
- 私はある起業家 2 人から、“インタビュアーbot” を試してみるように依頼されました。これは、インタビュアーが誘導的な質問をしたり、沈黙を踏みにじったり、複雑すぎる質問をしたりしないように、舞台裏で手助けをするというものです。
- 知り合いの技術者から「電話してください」とメールが来ました。彼との会話はいつも楽しかったので、電話しました。すると彼は興奮気味に、ラージ・ランゲージ・モデル (LLM) は 90 年代に HTML がそうであったように私たちの将来にとって重要なものである、と熱く語りました。
さて、私は質的データサイエンティストとして、デザインリサーチに関して、これらすべてに意見があります。まずは、LLMとChatGPT とは何かについて、いくつかの参考文献を見てみましょう。
この記事の目次：
- これらは何か？
- モデルは人類のほんの一部を表しており、データは許可なく収集されている
- デザインリサーチ(のインサイト部分)にLLMを使用できない理由
- デザインリサーチにおけるモデルの活用法
- Indiの内なる認識 最初に挙げた時の4つの項目について
- Indiの意見 サポートのないスピードと成長について
- Indi がこれらの LLM/NLP エンジンで探索していること
- 意味のあるヒューマンデザインリサーチを行うには
・・・
これらは何か？
ChatGPT は自然言語処理 (NLP) の一種で、電話のキーボードの予測テキストと同様に機能し、最初のフレーズに基づいて大量のテキストセットを生成します。NLP は、英語の単語間の関係を予測する統計的言語モデリング (現在はラージ・ランゲージ・モデル、LLM) です。このモデルは多くの場合、枝分かれ (または幹) するツリーのように機能します。ツリー内をナビゲートするために使用される値は、トークン (特定の頻度で同時に出現する小さな文字の断片) で構成されます。
NLP は記号言語処理ではありません。NLP統計モデルは文法を学習しません。これは、現実世界の物事や関係を理解していません。(猫はネズミを追いかけます。納屋は家畜を保護したり、家畜の餌を保管したりします。切りたての玉ねぎを食べると多くの人が泣きます。) (一部のエンジンは非常に大きいため、「階層構造」を再現していますが、あまり「抽象化」していません。
Kyle MahowaldとAnna A. Ivanovaらによる論文のこれらの概念を使用したChristopher Roosenの記事を参照してください。) NLP では、これらの文字がなぜ一緒になるのか理解できません。NLP は、特定の文字が他の文字に続く統計的確率をマッピングするだけです。
NLP/LLM は意味を理解していません。
ChatGPTは、生成するテキストの意味を理解していません。そのように見えるだけです。
ここでは、言語学者のFrika Brozovsky博士による、優れたアニメーションと OpenAI のディレクターへのインタビューを含む、NLP のわかりやすい説明を示します。サブタイトルはネタバレです：「それは本当に言語ですか、それとも単なるデジタルの幻想ですか？」」
・・・
モデルは人類のほんの一部を表しており、データは許可なく収集されている
さらに悪いことに、ほとんどの LLMは、英語圏のインターネット上のさまざまな場所から許可なく大量のテキストを掻き集めて作られています。Lisa Danceが「AI の誇大宣伝と危害に注意してください」という害についての一連の投稿で指摘しているように、掻き集められたデータには暴力的な表現があったため、それをすべて閲覧し、特定の部分を削除するか残すかを決定するというトラウマになるような作業が人間に課せらました。それでも、残されている文章データには差別や、不正義、白人至上主義や家父長制の考え方に由来する概念があふれています。
Lisa Dance の全投稿は次のとおりです。
- 大金が安全性を優先
- 歴史的データ = 爆発に関する歴史的問題
- 私たちは皆、AI バリューチェーンの無給労働者なのでしょうか？
- 最終的に責任を負うのは誰ですか？
- AIの新しいマインドセット（常に調査する）
NLPは「知性」ではありません。(デジタルおよびサービスデザインの研究の世界では、「人工知能」という誇大宣伝文句を繰り返さないようにすることができれば、それが良い第一歩となるでしょう。)
Sasha Costanza-Chock も意識を高めるスレッドを書きました。
さて、クラスの皆さん、これがなぜ悪いアイデアなのか誰か教えてください。
・・・
デザインリサーチ(のインサイト部分)にLLMを使用できない理由
ChatGPTは、意味を理解していません。したがって、“合成ユーザー” がリサーチであなたに伝えた意味のパターンを創造するために使用することはできません。（そう、この「合成ユーザー」アプリは、その響き通り最悪なのです。Niloufar Salehiさんは、移民の親が子供たちをオークランドのどの学校に通わせるかを決める際に使ったのと同じ勉強のフレームを使って、このアプリに一工夫を加えました。）
デザインリサーチのポイントは、定義された目的に対して人々がとるさまざまなアプローチを理解することで、あなたの組織が考えたソリューションよりも広範囲を見渡せるようになることです。
そのため、そのソリューションが、組織が無視したかった人々に与えている害のレベルを特定し、それらの害を修正することができます。
画像クレジット: Just Enough Design: Reflections on the Japanese Philosophy of Hodo-Hodo (佐藤拓著、クロニクルブックス刊) 佐藤氏は、思慮深いデザインが消費者にボトルの再利用を促す例としてニッカウヰスキーピュアモルトプロジェクトを取り上げ、人々がさまざまな方法で価値を見出すことができることを実証しました。
価値、UX、共感を生み出したり強制したりすることはできません
「共感」という流行語の乱用にも同じ考えが当てはまります。Delta CX の MBA、CXO であるDebbie Levitt氏は、新著『Customers Know You Suck』の中で、顧客のことを考えたり、ユーザーのことを気にかけたりすることは共感につながるわけではないと論じています。「誰かが共感について言及する場合、ほとんどの場合、それは、『私は顧客のことだけを考えています』、または『私はユーザーのことを気にかけています』という意味です。それは共感ではありません。それはおそらく同情です。」
価値の本当の意味と、それが人々の生活にどのように現れるかを理解することが不可欠です。多くのチームは、自分たちが生み出したものに価値を与えることができると考えるという間違いを犯しています。そして場合によっては、私たちのエゴが邪魔をして、解決第一の考え方になってしまうこともあります。
さらに、価値を「付加する」という場合、それは具体的に何を意味するのでしょうか？価値とは、コンバージョンの増加、持続可能性の向上、運用コストの節約、5 つ星の評価、または顧客満足度でしょうか？ それはどんな意味でもありえます。
では、価値を「生み出す」ことができないとしたら、それはどこでどのように現れるのでしょうか？
価値は物とのつながりから生まれます
石の例えに戻って、佐藤は、価値は物との関わりから生まれると説明します。「あなたは石に価値を加えていません。その代わりに、あなたはその石と自分との関係の中に、その石に常に備わっていた価値を発見したのです。」
「価値は、個人と物との関係からのみ生まれます。」— 佐藤拓。
この概念は製品やサービスにも当てはまります。ウェブサイトやアプリがどれほど重要であっても、誰かがそれとのやり取りや関係の価値に気づかない限り、それらは無意味です。
AlexのAirbnbストーリー
ケーススタディを使用して、価値の関連付けを説明しましょう。冒険好きな探検家のAlexは、新しい体験を求めています。従来のホテルではなく Airbnb を選択した彼は、モバイルアプリを使用してユニークな機会を模索して、地元で評判の新しい宿泊施設を予約します。こうしたことから、彼はサービスの体験に価値を見出していますが、彼の旅が完了しているわけではありません。
到着すると、宿泊施設はAlexの期待を上回っていましたが、ホストの提案は本当に素晴らしいものでした。彼は隠れた名店や地元の人気店を発見し、毎日を冒険のように過ごします。居心地の良い飲食店からアートコーナーまで、Alexはこの街が地元であるかのような感覚を抱きます。旅を終えて、彼は端から端までの旅の価値を実感します。Airbnb は単なる宿泊施設ではありません。それは本物の瞬間を体験し、本物の旅行のつながりを作る方法です。
Airbnb を使用するメリットを発見したAlexは、Airbnb のアンケートに参加し、ホストに 5 つ星の評価レビューを残します。彼はまた、自分の体験を友人や家族に共有し、ブランドを使うことを勧めます。Alex の前向きな体験のおかげで、顧客、ホスト、ブランドはエンドツーエンドのジャーニーにおける投資の価値を見出すことができるようになるのです。
私のリサーチパートナーである
Kunyi Mangalamは、 ChatGPTによって生成されたこの単語の束を “単語サラダ” と呼んでいます。それは魅力的に見えるかもしれないし、サラダに含まれている言葉が何かを意味しているのではないかと推測することさえできるかもしれません。
しかし、それが問題なのです。 私たちは主観的に意味を推測しています。サラダという同じ単語から誰もが同じ意味を推測するわけではありません。デザインリサーチの観点から見ると、推論という精神的な行為には、私たち自身の経験と基準のフレームが含まれます。私たちは思い込みをします。私たちは確証バイアスに陥りやすいのです。私たちは他の人が異なる視点や経験を持っていることを完全に忘れています。
そうです、人間が作成したテキストを読むと確証バイアスが発生します。しかし、人間は特定の意味を伝えることを意図してテキストを作成しているため、人間により深く意味を尋ねることで確証バイアスに抵抗することができます。（私の場合、リスナーには、より深い内面の認識、特に過去の内面の思考、感情的反応、個人的なルールに気づいて、質問するように教えています。）
その人が何を伝えたいのかが、デザインリサーチの核心です。 ChatGPTは意味を伝えません。私たちが推測するのです。見る者の心の中でしか意味は生まれません。
・・・
デザインリサーチにおけるモデルの活用法
ChatGPTは、特定の単語のセットと単語の確率を認識する、新しい種類の検索エンジンとして役立つ可能性があります。それは自分では思いつかなかった言葉の可能性のいくつかを示してくれます。
Scoot Insights の共同創設者である
Janet Standen氏は、定性調査の歴史を執筆する際に ChatGPT を使用した成功を報告しています。彼女はこの作品のために参考書、Google検索、30 件のデプスインタビューを利用しました。その後、ChatGPT が登場すると、彼女はそれを「他の場所で見つけた情報を事実確認するための新しい情報源」として使用しました。(Indiのメモ:：彼女は検索に似た方法で ChatGPT を使用して事実確認を行っていたと思います。) 彼女の執筆に驚くほど役に立ったのは、ChatGPTが “時折、フォローアップするために追加的な人物や事実を投げかけてくれた、そして時にはそれが有効であると証明されることもある” ということでした。
これらのエンジンは、キーワードが親和性を暗示するタイトルのリストなど、質的データではない作業内容をトップダウンで分類するのに役立つ場合があります。（質的データの統合において、キーワードは同じことを意味しているのではなく、関連性を意味するものでもありません。)
Devika Ganapathyは、「日記研究のような小さな断片」を理解するために、身近な言語モデルである機械翻訳を使用してきました。インタビュー全体を理解するためではなく、手作業で文字起こしをするためです。」Devikaの研究には、多くの地域言語を話す人々が含まれています。「インドには 22 の『公用語』があります！」Google 翻訳を小さな断片に使用する場合でも、彼女は自分が知っている言語にのみ使用を制限しています。機械翻訳は必ずしも正確であるとは限らないため、意味を測る必要があります。
Devikaは、 ChatGPTをインタビューなどの不可欠なリサーチ活動の代替または模倣に使用するのではなく(例: Synthetic Users)、ChatGPTを使用してより思慮深いリサーチを行うことを奨励しています。「制限を認識している限り、ChatGPTは役立つツールであることがわかりました。ライターにとってのスランプから抜け出すことに使用できます。私は、何かしっくりこないことを表現し直すのに使ったり、書き足りなかったかもしれないことについて記憶を呼び覚ますのに使ったりしました。」
・・・
Indiの内なる認識 最初に挙げた時の4つの項目について
この記事の冒頭に挙げた、 4 つの項目について、私の頭の中を整理してみました。（私自身の意見も含まれています。）
ユーザーリサーチに ChatGPTを使用する方法についての Medium 記事を見ました…最初の項目については、そうですね、デザイン作業ででっちあげのペルソナを使用しているのは、何も知らない実践者だけです。アーキタイプが経験的な質的データから生まれることを知っている人は、でっちあげのペルソナを考案しません。したがって、おそらく、ChatGPT バージョンのでっちあげペルソナは、人々がでっちあげの知識を使うことのむなしさに気づくまで、その悪い習慣を永続させるでしょう。もしかしたら、すべてが渦に巻き込まれるかもしれません。(皮肉屋の私は、これらの人々の多くが質の高いデータスキル構築に触れていないことを知っています。そのため、ChatGPT が生成したテキストが公にベールを剥がされたとき、そのような人々がツールを使うことに少し不安を感じるかもしれない、と皮肉的に願っています。そして、私たちはその不安を理解する手助けをすることができるでしょう。）
2. 合成ユーザー向けの広告がありました…この ２番目の項目について、私の頭の中をよぎったのはこんなことでした。合成ユーザーの起業家たちは、「It works!（機能している! ）」と叫びました。それは、彼らにとって都合のいいように解釈する言葉のサラダを与えているのです。それは彼らが望むすべての確証バイアスを可能にします。一方で、疑い深い研究者
Jan Dittrich氏は、デザインリサーチにおける「AI」の使用全般について執筆し、「AIは依然として『神託』として機能し、人々に行動するための主張を与えるかもしれない。なぜなら、彼らはAIが意味を持つと信じているからだ。」と述べました。Jan氏は、研究の「結果」は単なる「答え」ではなく、研究に関わるすべての決定、議論、人々を象徴するものであると指摘します。研究を行う目的は、「この分野について、より微妙で興味深い視点」を作り出すことです。(以下も参照してください。:
ユーザーリサーチが研究者に及ぼす影響は何ですか、Jan Dittrich著）
3. 私はある起業家に “インタビュアー bot” を試してみるように依頼されました… この３番目の項目について、私が即座に考えたのはこんなことです。誘導的な質問を避けるだけでなく、相手の言っている意味を理解することが本質です。それらが何かを暗示しているかどうかを察知します。彼らが自分の目的に取り組んでいた過去のその瞬間から、彼らの内部認知を解きほぐす手助けをします。その人とラポールを築くことです。相手の考えを尊重していることを示します。彼らが安心して自分の内部認知をあなたに伝え、あなたやあなたの組織がそれを何に使おうとしているのか、を確実に伝えられるようにします。とはいえ、私は今月、同社のインタビューアシスタントアプリで、自分がどう感じるのか試してみるつもりです。初心者にとっては、それほどひどいことではないかもしれませんが、リアルタイムのコーチングはあまり良い学習方法だとは思いません。コーチと一緒に（あるいはこの“bot”と一緒に）録音/原稿を確認することは、より良い学習方法です。インタビュアーが注意を払うために、バックグラウンドでリアルタイムの “bot” を追加することには批判的です。インタビュアーは、その人に110％の注意を払うべきです。
4. 私の知り合いの技術者は、LLMは HTMLと同様に重要であると言っていました...私はその技術者に真剣に反発し、既に行われている害について気にかけるよう言いました。私は彼に、人間の行動を予測するためにモデルを使用することからすでに生じている害に焦点を当てているLisa Danceによる一連の投稿を紹介しました。今月末にもう一度彼に連絡して、彼の頭の中で一体何が処理されているかを確認するつもりです。おそらくそれは、デザインリサーチとは関係ありません。ありがたいことに、彼はデザインリサーチのためのツールを作ることには興味がないので。
・・・
Indiの意見 サポートのないスピードと成長について
デザインリサーチに問題はありますか、という問いに対して、答えは “はい” です。問題はそのスピードです。私たちの組織の多くが（注目を集める何かを打ち出すことで）利益を得ることに興味があるか、あるいは “毎年成長する” という杭に鎖でつながれており、その組織が本来支援するはずだった人々よりも投資家が優先されているという事実です。
もう 1 つの問題は、私たちの組織が人々の目的について明確に考えることができないことです。(笑、ミッションステートメントをいくつか読んでください。彼らは、サポートしたい人々のグループを漠然と説明する傾向がありますが、サポートしたい人々の目的は説明しません。) 私たちはそれについてお手伝いできます。
私たちの組織が鎖から解放され、人々の目的の支援に集中できる方法があります。目的に対するさまざまなアプローチに対して、さまざまなソリューションを持続的に生み出す未来があります。
Erika Hallは、この考え方の変化を「
Enough 」と名付けています...つまり、何を持って十分にするかについての考え方と理解のことです。たとえば、「私たちの組織にとって十分な利益を構成するものとは何でしょうか？それは、目的に対するより幅広い人々のアプローチにとって、深いニュアンスの違いをもたらすものなのか？」それは、人々、組織、生態系、そして地球にとって、健康で長生きにつながります。
希望と、人類と、地球と、そしてお互いと、知識を生み出すという目的にアプローチするあらゆる多様な方法に乾杯です。
・・・
Indi がこれらの NLP/LLM エンジンで探索していること
私は、最初の大まかなパスとして原稿をふるいにかけるコードを作成することを検討しています。「ああ、これは統合するデータが多すぎる」といった壁を乗り越えるためです。この最初の大まかなパスでは、原稿から各行が次の 3 つの概念タイプのいずれかに該当する引用の行が生成される場合があります (または生成されない場合もあります) 。
内なる思考
感情的な反応
行動指針（個人ルール）
コードは原稿内の単語にのみ機能します。新しい単語を生成することはできません。世の中にあるNLP/LLMエンジンが原稿内のコンセプトタイプを認識できるかどうか、私はまだ確信が持てません。しかし、いつかそれが半ば役に立つ機能を果たす日が来るかもしれないと思っています。
・・・
意味のあるヒューマンデザインリサーチを行うには
人間の仕事はハイタッチです。原稿は人間によって書かれ、声のトーン、参考文献、相手が皮肉を言っているか冗談を言っているかなどについてのメモが加えられます。これらの原稿は、リスニングセッションの録音から作成され、聞き手が敬意を持って、上記の 3 つの箇条書きのような、相手の内面的な認知を広げる手助けをします。「 聞くまでの時間 」を参照してください。
新しい視点を組織に招き入れて吸収するには、労力がかかります。
これは組織にとって価値があり、パワフルで、中心となる作業です。その作業を手抜きしたいなら、それは息をしない、食事をしない、と決めるのと同じです。あなたの組織は人間を危険にさらし、危害を加え、うまくいけばすぐに崩壊するでしょう。（そう、それは希望的観測です。これらの組織は、支援的ではなく搾取的な性質を持っているため、まだ崩壊していない人類にますます大きな害を及ぼしています。）
私たち人間が掘り下げる作業があるでしょう。
引用の行は以下を含むだけではなく...
・繰り返される概念があり、それがまとまっていない
・絡み合った概念があり、それがほぐされていない
・暗黙の概念や一般化された概念が欠落している
・誤って説明や表現レイヤーの概念を含んでしまう
・繰り返される概念があり、それがまとまっていない
・絡み合った概念があり、それがほぐされていない
・暗黙の概念や一般化された概念が欠落している
・誤って説明や表現レイヤーの概念を含んでしまう
これらの引用の行には、人間が意味を理解し、その人の言葉を使って要約し、動詞と重要なポイントを把握してから、次の段階やモデルの使用時に役立つ補足があるかどうかを判断する必要があります。引用の要約をエンジンに書かせると、その人の意味を代表しない要約が生成されてしまうからです。
私は経験的な質的データ統合に関する2部構成のコースを教えています。
このコースには、「深く聞く」 (または「聞く時間」)という前提条件が 1 つあります。働き方を学ぶコースです。
この取り組みは、人々をサポートしたいと願うあらゆる組織にとって中心となる人間的視点を提供します。(あなたの組織もそうですか？)
英語版参照元：
https://medium.com/inclusive-software/insta-personas-synthetic-users-fc6e9cd1c301#f8b7-a41cefc41c02