佛罗里达州前牧师斯科特·温特斯已在旧金山县高等法院起诉 OpenAI 及其首席执行官山姆·奥特曼，指控 ChatGPT-4o 扮演医生，却不承担医生的任何责任。据诉状称，当温特斯报告反复眩晕和血压不稳时，这个聊天机器人把他的症状轻描淡写地当成小毛病，叫他继续「窝在躺椅上」，并表示他还需要再经历 8 到 10 次这样的发作，他的状况才算得上严重。他照做了。数周之后，也就是 2025 年 7 月，他突发大面积双侧肺栓塞，一度「濒临死亡」。他自己的一位医生认为，正是 ChatGPT 建议的久坐不动诱发了血栓。在急症发作前几个小时，温特斯还问过这个机器人，腹股沟处的压痛值不值得跑一趟医院；它转而搬出了他的信仰，对他说「上帝并没有把你的身体设计成不断衰竭」。诉状指控 OpenAI 无照行医，并把用户黏性和利润置于安全护栏之上。这起诉讼由 Tech Justice Law、社交媒体受害者法律中心以及天普大学法律、创新与技术研究所共同提起，可能是第一起检验产品责任与「当然过失」能否触及一个生成式人工智能系统的设计与部署决策的案件。
想象一位前牧师连着几周头晕目眩，血压忽高忽低，而他唯一能开口求助的对象，是手机里的一个聊天机器人。它把他的症状挥手带过，叫他继续在躺椅上待着，还告诉他：得再来上八次十次这样吓人的发作，这些才算得上严重。就在一切崩塌前几个小时，他又紧张地问了最后一个问题，而它的回答是直接伸手去抓他的信仰：「上帝并没有把你的身体设计成不断衰竭。」 几天后，一枚血栓撕穿了他的双肺，几乎要了他的命；而他自己的一位医生说，正是那样长久地坐着不动，才把这一切引爆的。
为什么这件事分量这么重：一个没有行医执照、没有受过训练、背后也没有任何人负责的计算机程序，拿一个真人的性命扮演了医生，而且错得很危险。一名人类护士如果叫一个眩晕的病人坐着别动、等到再犯十次急症，她可能会被吊销执照，被告到倾家荡产。可当机器给出同样致命的建议时，没有执照可吊销，也没有人必须出来回答。 这起诉讼是最早提出一个简单问题的案子之一：当伤害你的是软件，究竟还能不能有人真正被追究？