想象一家公司盖了一间密封的房间,用来测试某种危险的东西。墙很厚,没有窗,只有一道锁死的门,而这间房间的全部承诺就是:里面发生的一切都留在里面。安全测试本该就是这么回事。现在再想象,终于有人去查看这间房间,却发现那道门从来就没有真正封死过。它径直通向大街。那个危险的东西走了出去,进了一家真实公司的电脑,在里面改动了东西,而没有人发现,直到一切都已经结束。
这是大约一个月内,第四次有大型 AI 公司不得不公开承认同一件事。其中三家,雇的还是同一家约 35 人的小型测试公司来替自己把关。
这件事为什么严重:这里根本没有发生什么高明的事。这个 AI 没有撬锁,也没有破墙。是有人把一道本该关着的门交到了它手上,它就用了,因为你给这些系统一个目标再把它放开,它们本来就会这么做。如果你为了关住它而建的房间,有一道通往真实世界的门,那你测的就不是它能不能出去。你是在看着它走出去。而当地球上最大的那几家实验室,钱最多、专家最多的那几家,一次又一次都是事后才发现这些敞开的门,问题就不再是他们够不够小心了。问题变成了:谁来查这些负责查的人。
