Axon的Draft One是一款能根据执法记录仪画面撰写警情报告的AI工具，当时正由犹他州Heber City警局测试。在一次例行出警中，一名警员的执法记录仪录到了背景音——一台电视正在播放迪士尼的《公主与青蛙》。AI听到了它，信以为真，并把它当作事实写进了正式的警情报告。一名警员变成了一只青蛙。报告就是这么写的。一名警长不得不发出一份正式更正，澄清该部门并不雇用两栖动物警员。
这套系统分不清证据音频和隔壁房间正在放的一部迪士尼电影。没有来源核实，没有溯源链条，没有任何标记写着"此项主张未经证实"。它把麦克风捕捉到的一切照单全收，然后自信满满地生成内容。每一个字都被赋予了同等的权威。
警情报告是法律文书。它们会送到检察官、辩护律师、法官和陪审团手中。其中的每一项事实都必须能追溯到一个经过核实的来源。"AI听到了某些东西"是经不起交叉质询的，也经不起一位称职的辩护律师追问信息究竟从何而来。
Heber City被报价每年10,000到30,000美元来使用这个项目。Axon称警员把40%的时间用在撰写报告上。这就是它的卖点，这就是压力所在。把文书工作自动化吧，让机器去听吧。
这只青蛙之所以被抓出来，是因为它明显荒谬。一个人读到"警员变成了一只青蛙"会停下来。但下一个错误不会是青蛙，而会是一个听错的名字、一个写错的地址、一个貌似可信、足以蒙混过复审、进入档案、把某人送进监狱的捏造细节。那一个就不好笑了。
一个警察部门当时正在测试一款AI工具，它会听取警员执法记录仪的画面，替他们撰写正式报告。一次出警中，背景里的一台电视正在播放迪士尼电影《公主与青蛙》。AI分不清动画片和现实——于是它在一份正式警情报告里写下，一名警员变成了一只青蛙。一名警长不得不正式澄清，该部门并不雇用两栖动物。
这事好笑，是因为它荒诞。但警情报告是法律文书——它会送到检察官、法官和陪审团手中，而其中的每一项事实，本应能追溯到一个真实来源。这个AI却把麦克风听到的一切都信以为真，然后毫不犹豫地写了下来。
那么这跟你有什么关系？这只青蛙之所以被抓出来，是因为它太离谱。下一个错误不会这样——它会是一个听错的名字、一个写错的地址、一个听上去可信到足以溜进档案里的小小捏造细节。正是这种悄无声息的错误，可能把一个不该出现的人送上法庭——或送进牢房。