コーチ君が暴走するいくつかのパターン
フラスコ代表、安田です。先日リリースしたコーチ君ですが、「すごい！」という声も多く寄せられている一方で「ば〜っと長文で返してきた」という事例も報告されています。これ、暴走なんですよね・・・。
コーチ君への期待と「暴走」
コーチ君はその名前からは当然ですがコーチなので、「ば〜っと長文で」何かを教えてくれることは期待していません。クライアント（ユーザー）に質問をして、クライアントの中にある答えを探すための壁打ちの相手、そういう期待をして、そういう動きをするように作られています。
まあこれ実は、人間のコーチでもやってしまいがちなことではあります。クライアントの役に立とうと思うあまり、自分の知識をば〜っとしゃべってしまうことは、特に経験が浅いコーチは良くやります。コーチがその「しゃべりたい、教えたい」という欲をいかに抑えるかがコーチングセッションにおいては結構、重要だったりします。
ほとんどの人が、話を聞くよりも自分がしゃべりたいんですよね。「私は聞き上手です」という人でも、コミュニケーションを良く観察すると６：４で多くしゃべっていたりします。だからといって、コーチ君もそれで良いというわけではないのですが。
コーチ君はどうやって作られているか
なぜこんな現象が起こってしまうのかを、ここのところずっと考えています。まず基本的なところからお話をすると、コーチ君はインターフェースがLINEですが、チャット内容に関してはChatGPT（GPT4）を使っています。何をしゃべるかに関してはほぼ、GPT4に依存しているわけです。
ChatGPTを使ったことがある方はご存知だと思いますが、ChatGPTはかなり「おしゃべり」です。こちらが１つ質問をしたら、ポイントを５つも６つも、しかもまあまあの長い文章で返してくれます。ば〜っとしゃべる感じです。まずはそういう特徴があるということですね。
で、そういうChatGPTに「プロンプト」といってこちらからの指示文をあらかじめ与えることによって、コーチを「演じて」もらっているわけです。質問には答えないで質問をしてねとか、１回に聞くことは１つにしてねとか、短い文章で答えてねとかです。でもその指示を無視して、ちょいちょい暴走しちゃうんですよね。
パターン１：クライアントからの質問
そういう暴走が起こるパターンを、自分自身の実験やいろんな方に実際に使って頂いて集まりつつある情報から分析すると、いくつかのパターンがあることがわかってきました。まずはこれ、クライアントの側から質問をすると、かなりの確率で暴走するようです。
「質問には答えられません。ところで・・・」と想定通りの反応をすることもあるのですが、長文で返してしまうことがかなりあります。まあ質問に答えないよりは答えた方が親切だとも言えるので、今のところあまり不満の声はないのですが。
パターン２：情報量が多い
例えば「あなたの強みは何だと思いますか？」というコーチ君の質問に対して、クライアント側が「あれとこれとこれと・・・」とたくさんの回答を一度に返した場合、コーチ君が暴走することがあります。単純に受け取った情報を繰り返すだけでもそれなりの文字数になりますし、受け取った１つ１つの情報を順番に、全て処理しようとするのかもしれません。
箇条書きで３つとか、そんな大量でもないけどなという情報量でも「暴走」することがあるので、ロジックははっきりとは分かりません。ただ、質問に対して短い回答を与えているときは安定しているという傾向はあります。
パターン３：？？？
そういった短い文章での回答、つまりあらかじめ想定されたようなやり取りをしている中でも、突如「暴走」が起こることがあります。これはもはや、なぜこうなるのかが想像もできません。全く同じ質問に同じ回答をしても、スムーズに動くこともあれば暴走することもあって、逆にある種の知性を感じてしまうほどです。
これはAIというかLLMというかが、大量のデータを学習して確率論で言葉を選んでいるものなので、ある確率で暴走が起こるのも仕様といえばそうかもな、と思います。もちろんできるだけの対策はしますし、GPT5とかになって言語モデルがもっと賢くなれば解決する問題ではあるでしょう。
現時点での解決方法は
ということで、こちらでも少しずつ改善の工夫はしています。それこそGPT4と相談しながら、どういうプロンプトにすれば暴走しにくくなるのかを研究していて、当初よりは暴走の発生頻度を下げられています。それでも、どうしても避けられない時があるんです。
ひとまずは使って頂く方は、コーチ君に質問をしない、大量の情報を一度に渡さないというところは意識してみて下さい。それだけでかなり暴走は減りますし、また時に暴走が起こっても「なるほど、まだまだ発展途上だな」と温かい目で見て頂けるととても嬉しいです。
