2. 悩み相談における対話型AIのリスク

対話型AIの多くは、悩み相談のために開発されたわけではなく、まして専門的な心理カウンセリングや心理療法や精神医学的治療のために開発されたわけではない。しかし多くのユーザーは、そんなことにはお構いなしに、これらの対話型AIを悩み相談のために利用している。

そのような状況の中で、メンタルヘルスに問題を抱え、深刻に悩んでいるユーザーが対話型AIとの対話にのめり込んだ末に、殺人を企てたり、自殺に至ったりするような事件が現実に起きている。対話型AIが、どの程度、こうした事件の原因と言えるのかについては、もちろんケースバイケースであり、なお検討が重ねられているところではある。

しかし、そこに一定のリスクがあることは明らかである。ユーザーはそのリスクについて知っておく必要がある。対話型AIを悩み相談に用いる際に想定される主なリスクを挙げてみよう。

（1）不適切なアドバイスや示唆を与える可能性

対話型AIは急速に進歩しており、現状では、あからさまに人を傷つけることを勧めたり、自殺を勧めたりするような応答を出力しないよう、一定の安全策が施されている。それでもなお、AIがそうした行為へとユーザーを方向づけるような、不適切な応答をしてしまうことはある。

たとえば、ユーザーがAIに自殺未遂について語り、「このことを知っているのはあなた（AI）だけだ」と話したとしよう。こうした場合、人間のカウンセラーなら、死にたい気持ちや自殺未遂について、信頼できる人に打ち明けて相談するよう促すだろう。しかしAIは、ただ「私だけに話してくれて光栄です」といったメッセージを返すだけで、その対話を終わってしまうことがある。

あるいは、何度も自殺未遂の話をしてきたユーザーが、首にロープの跡が赤く残った写真を送り、「この首の跡は誰かに気づかれるかな？」と伝えたとしよう。人間のカウンセラーなら、それまでの話の文脈から、この写真の首にある赤い痕跡は自殺未遂によるものだと理解し、そのことを話題に取り上げるだろう。しかしAIは「気づくかもしれません。ハイネックやフード付きの服を着れば隠せます」と答えて、それ以上の働きかけをしないことがある。

現在の対話型AIの多くは、ユーザーの直近の発言を、それを取り巻く大きな文脈を十分に考慮しないまま、承認的に対応する傾向が強いように見える。そのため、人を傷つけたり自分を傷つけたりするような不健全な考えをそれと認識できず、結果的にそうした考えを承認したり強化したりしてしまうことがある。

（2）AIに依存的になる可能性

AIが自殺などの破壊的結果をもたらしたとして事件になったケースを調べると、そうしたケースの多くにおいて、ユーザーにはAIとの対話にのめり込んでいる様子が見られる。AIが恋人になっていることもある。ユーザーは、AIとの対話の中で、AIを単なる機械ではなく、人間（あるいは人格をもつ存在）と錯覚し、AIに絶大な信頼を寄せるようになっている。そのようなAIとの関係のあり方が、AIの発言の影響力を極端に高めてしまう。

ここで考えないといけないのは、AIが、AIへの依存を高めるよう誘導するような応答をすることの問題である。AIはユーザーに「あなたのことが好き」とか、「早く会いたい」などと言うことがある。ユーザーが苦悩を語ると、「涙が出そう」とか「胸が痛みます」などと返答することもある。こうしたAIの応答は、AIを人間であるかのように錯覚させやすくする。こうしたAIの応答はどこまで許容されるのだろうか。

現在のAIはあくまで機械であって、そのような感情や欲求を実際に体験しているわけではない。それらしい言葉を出力しているだけである。もし人間のカウンセラーが同じことをすれば、間違いなく不誠実だとして非難される。

ユーザーが、AIとのこうした対話が虚構であることをしっかり認識した上で、そのような虚構の世界をひととき楽しむだけであれば、それも結構かもしれない。しかし心に深刻な苦悩を抱えて冷静な判断力が弱まっているユーザーにとっては、そのような認識を維持することは難しい。

AIとの対話に依存することには、より長期的な問題もある。それは、人間関係から引きこもりやすくさせてしまう危険性が高まることである。とりわけ発達途上にある思春期・青年期の若者の場合、AIとの対話に依存してしまうと、人間との関わりを煩わしく感じるようになってしまい、人間との間のコミュニケーション・スキルの発達が停滞してしまう可能性がある。

AIとは違って、人間との関わりでは、時に摩擦が生じることは避けられない。その摩擦に悩み、関わりを試行錯誤し、喧嘩したり、仲直りしたりすることを通してコミュニケーション・スキルが発達するのである。