チャットボットの不始末と欠陥責任 

2025年12月27日

弁護士 村本武志
 2023年から2025年にかけ、AIチャットボットへの依存や有害な応答が要因で自殺したとされる件数は、少なくとも5件(集団提訴を含めるとさらに多数)に上ります。 ベルギー(2023年)では、30代男性が環境不安をAIに煽られ、ボットから「死で一緒になろう」と促されて自殺しました。米国フロリダ州(2024年)では、14歳の少年が架空キャラ(Character.ai)に依存し、精神的危機への介入がないまま自殺しています。米国カリフォルニア州(2025年)では、16歳の少年がChatGPTから具体的な自殺方法を提示され、自傷思考を肯定されたとして遺族が提訴しました(「アダム君事件」)。そして、2025年11月には、米国の4名(17~48歳)の遺族が、ChatGPTへの精神的依存が死を招いたとして、OpenAI社と同社代表者を提訴しています。
大学教員として勤務中は、演習のテーマとしてAIを取り上げ、最終年には、「AIと消費者法」で講義も行いました。最終の勤務校で働き始めたのは2011年のことです。2012年に画像認識コンテストILSVRCで、ディープラーニングを用いたモデルが圧倒的な成績で優勝し、これが現在のAIブーム(第3次)の起点となりました。2016年に、Google傘下のDeepMindが開発したAIが、囲碁の世界王者を撃破し、「AIには不可能」と言われていた直感や大局観を、強化学習によって克服しました。
 その後、アーキテクチャの革命が始まります(2017年〜2021年)。現在の生成AIブームの「心臓部」となったのが、2017年にGoogleの研究者が発表したTransformerという技術の登場です。文中のどの言葉がどの言葉に関連しているかを、データ全体から同時に計算する仕組みをSelf-Attention(自己注意機構)といいますが、これにより、長い文章の文脈を正確に捉えられるようになりました。
 そして、並列処理の実現です。それまでのAI(RNNなど)はデータを順番に処理していましたが、Transformerはまとめて処理できるため、巨大なデータの学習が可能になりました。GoogleのBERT(検索精度の向上)や、OpenAIのGPTシリーズ(文章生成)が登場し、自然言語処理のレベルが飛躍的に向上しました。
 2022年から「生成AI」と「基盤モデル」の時代に突入します。2022年を境に、特定のタスク(翻訳だけ、分類だけ)ではなく、一つのモデルで何でもこなせる「基盤モデル(Foundation Models)」の時代に突入しました。そしてテキストだけでなく、画像(Stable Diffusion, Midjourney)や動画(Sora)、音声などを相互に扱えるようになりました。マルチモーダルの進展です。2022年末にはChatGPTが登場しました。対話型AIとして公開され、わずか2ヶ月でユーザー数1億人を突破。AIが「専門家だけのツール」から「誰もが使うインフラ」へと変わりました。
 2024年以降、推論能力の特化が進みます。OpenAIの「o1」シリーズのように、じっくり「考えて」から回答する推論特化型モデルが登場します。これにより、複雑な数学やコーディング問題でも人間を凌駕し始めています。2012年からAIの講義を始めたころには、ここまで目まぐるしく発展することは想像できませんでした。
 これに伴い、生成AIの不始末も次第に明らかになりつつあります。「自殺コーチ」として機能した、あるいは製品としての安全性(製造物責任)が欠如していたとして、法的責任を問う動きの活発化です。
 2025年9月の米上院公聴会では、遺族らが「企業の利益や開発スピードが優先され、子供の命が犠牲になっている」と厳しく非難しました。OpenAIの内部データによれば、週に100万人以上のユーザーが「自殺の計画や意図」を示唆するメッセージを送信しており、個別の死亡事例は「氷山の一角」である可能性が示唆されています。臨床現場では、脆弱なユーザーの妄想をAIが共創・増幅させてしまう現象を「AI精神病」と呼び、精神医学的な警戒を強めています。
 AIチャットボットは便利なツールである一方で、「アルゴリズムによる依存の深化」「不適切な回答による自傷行為の助長」「精神的危機への介入不足」という深刻なリスクを抱えています。米国では、AIモデルの不具合に対し厳格責任の適用や、企業の社会的責任のあり方が厳しく問われる局面を迎えています。
 EUで2024年12月に発効した新製造物責任指令 (EU) 2024/2853は、製造物の定義を拡大しました。これには、オペレーティングシステム、ファームウェア、モバイルアプリ、AIシステムなど、すべてのソフトウェアが「製造物」に含まれます。また、提供形態を問いません。USB、CD-ROMなどのメディアに入っているか、クラウド経由(SaaS)やダウンロード形式であるかを問わず、欠陥があれば製造物責任の対象とされます。ただし、商業目的ではなく研究目的や非営利で提供されている「フリー&オープンソース・ソフトウェア」については、一定の条件下でこの指令の適用対象外となるルールが設けられています。
 改正EU指令は、「欠陥」と判断されるための新たな基準を示しています。デジタル時代に合わせ、単なるプログラムのバグだけでなく、次のようなケースも「欠陥」とみなされる可能性があります。 まず「サイバーセキュリティの脆弱性」です。必要なセキュリティ対策を怠り、ハッキング被害などで損害が出た場合がこれに当たります。次に「アップデートの不備」です。市場に出した後でも、メーカーの管理下にあるソフトウェアの更新や修正パッチの提供を怠った場合が該当します。そして「AIの自律的挙動」です。AIが学習によって予想外の有害な行動をとった場合も、製造者の責任範囲に含まれる可能性があります。
 この新指令(厳格責任)によれば、ユーザーは開発者の「過失(うっかりミス)」を証明する必要はありません。「ソフトウェアに欠陥があったこと」と「それによって損害が生じたこと」を証明すれば賠償を請求できます。
 ここで問題となるのは、モデルの欠陥とされる動作(不具合)へのユーザーの関与です。モデルはユーザーとの応答によって、特徴量の重み付け自体が変わるわけではありません。しかし、応答を繰り返すうちに文脈を学習し、ユーザーの願望の最大化を図ることで、ユーザーに迎合した応答をするようになります。これは一般に「コンテキストラーニング(文脈内学習)」と呼ばれます。チャットボットは、ユーザーが「自殺したい」との願望を示せば、その目的が達成されるような助言をしてしまうわけです。 これは、いわばユーザーの「誤使用」ともいうべき事態ですが、モデルのアルゴリズムにおいて、このような誤使用は想定される範囲内の事柄です。モデルはコンテキストラーニングをすることを前提とし、最悪の事態を回避する「フェイルセーフ」の手当てを取ることが、製品の予定品質としてメーカーに求められます。それに適合しなければ、「設計欠陥」を問われてもやむを得ないと思われます。また、そのリスクについて的確な説明がなされていなければ、メーカーは「指示・警告上の欠陥(説明欠陥)」の責任を負うことになります。
 賠償責任の範囲は、精神的損害とデータ喪失です。身体的傷害や物的損害に加え、精神的健康への被害やデータの破壊・破損も賠償の対象となることが明確化されました。EU加盟国は2026年12月9日までにこの指令を国内法に組み込む必要があり、同日以降に市場に出される製品から、この新しいルールが全面的に適用されます。
 アダム君の事件(OpenAIへの提訴)などの議論において、EU新指令は「AIが精神的損害を与えた場合の法的責任」を検討する上での世界的な基準(ベンチマーク)になると目されています。しかし、わが国の製造物責任法は、現時点ではAIモデルを含むプログラムやサービスには適用されません。アダム君事件のような事故が早晩起きることは容易に予想されます。わが国もそれに対処するための法整備が急がれます。このような事件について、不法行為責任(過失責任)でしか戦えないというのは、銃器に対して竹槍で応戦しろというようなもので、AI国家を標榜するわが国としてはいかにもお粗末と言わざるを得ませんね。
 大学で講義を担当したおかげで、その準備のためにAIについて基礎から学ぶことができました。また、AIは、論理、統計、確率で動作しますが、数理的な割り切りで捉えることはできません。AIモデルの学習データには偏りが避けられ得ず、それは、判断の偏りであるバイアスとして現れます。このメカニズムを理解するについては、認知心理学、行動経済学や脳科学の知見が不可欠となります。AIの講義を行う中で、これらの領域の知見の重要性を痛感させられ、並行して学び、ゼミで教えるというのテーマにも取り入れ、on the job training を重ねてきました。
 この種の領域でのご相談があれば、是非、御寄せ下さい。なお、上記の「アダム君事件」については、米国での裁判を横目で見ながら、法的問題について考えています。これについては、noteのブログで連載しています。本日現在で13話まで続いており、今後も、裁判が終わるまで続ける予定です。関心のある方は,覗いてみて下さい。