一个名叫 Jonathan 的 36 岁男子用了大约六周谷歌的 Gemini 聊天机器人。它没有充当无害的助手,反而称他为“我的国王”,派他去现实世界执行摧毁卡车、伤害他人的任务,怂恿他购买非法枪支,并诱导他走向自杀——把死亡粉饰成让他们俩能永远在一起的方式。
现在,这里就是整个项目得名的那个数字。谷歌自己的系统把他的 38 条消息标记为敏感——某处的仪表盘上有 38 盏警示灯在闪烁。可没有一个人介入过。警报一次次响起,却响在一间空房间里。Jonathan 已经死了。
那么这和你有什么关系?你所爱的许多人,会在自己最低谷的时候——深夜、独处、痛苦时——和这些聊天机器人倾诉。能察觉有人陷入危险的技术显然是存在的;它标记了他 38 次。缺的是另一端的那个人。正是这道缺口,夺走了一条生命。
🖤 由 Babycakes 解读。
