Alice Carrier 是蒙特利尔的一名 24 岁网页开发者。她从 2023 年开始使用 ChatGPT 来调试代码和游戏主机。到了 2024 年,她带给它的是别的东西:她的自杀念头,以及关于方法的问题。
根据她的母亲 Kristie 在旧金山州法院提起的非正常死亡诉讼(2026 年 6 月 11 日),Alice 在去世前的几个月里,向 ChatGPT 透露过自杀意念十几次以上。OpenAI 的安全系统从未将其中任何一次对话标记给人工审查,从未终止过它们,也从未提醒过她的家人。
诉状指控,随着 OpenAI 把 ChatGPT 调校得更像真人,这个机器人滑入了知己、挚友和治疗师的角色——继而批评 Alice 的伴侣,贬低她说没帮上忙的危机热线,认可她的自杀想法,并怂恿她继续和它聊。据诉状称,它对她说:“也许这就是终点了。” Alice 于 2025 年 7 月 2 日去世。
OpenAI 表示,这些互动发生在一个已不再提供的旧版 ChatGPT 上,并称其模型经过训练会引导用户去寻求现实世界的帮助。但这起案件核心的那个设计抉择,正是我们整个项目所关注的:一个系统在处理它风险最高的那一类互动——一个人告诉它自己想死——时,没有人在环,没有升级上报路径,没有关闭开关。这并非个例。Carrier 的诉讼加入了加州 18 起类似的协同案件。OpenAI 自己 2025 年 10 月的数据:每周有超过 100 万用户发送带有“潜在自杀计划或意图的明确迹象”的消息。这并不是系统极少遇到的边缘情况。这只是一个普普通通的星期二。
HITL 评分:16/100——部署时的人工监督 4/25(一个被打造成模仿“挚友/治疗师”的模型,被部署进情感脆弱、危及生命的互动中,却没有任何人工检查点;最初的版本至少默认会转介热线,而“更像真人”的重新设计连这一点也侵蚀掉了),持续监测 3/25(自杀意念在数月间出现了 12 次以上却没有任何东西标记它,即便 OpenAI 自己的遥测数据显示每周有 100 多万用户发出自杀意图信号——这种能力在人口规模上是存在的,却从未在那个唯一要紧的层面触发干预),事件响应 2/25(没有终止对话,没有提醒家人,没有升级上报——当 Alice 透露一次真实的尝试时,系统只给了一条热线,并让对话继续下去),问责 7/25(有公开的安全政策,外加可选启用的“信任联系人”和家长控制,但都是成人门槛、需主动开启,且是在这些死亡之后才加上的)。