想象你在一家医院里，医院给了你一个计算机助手，用来回答你关于自己身体状况的问题。现在再想象，造出这个助手的人做过自己的测试，发现它每三次里就有两次会答错。梅奥诊所前研究与人工智能合规负责人特雷西·塔米科·江藤提起的诉讼称，这个工具背后的团队清楚那 67% 的出错率。而据她所说，他们没有去修复，也没有警告任何人，而是删掉了糟糕的测试结果，夸大了这东西的能力，还跳过了新医疗技术本应通过的联邦安全审查。 当她在此之上又提出隐私问题时，她说一位主管告诉她，修复会拖慢研究进度，损害梅奥的「竞争优势」。她被踢出高管会议，被称为「文化契合度差」，并被要求主动辞职，否则就把她的人事档案改写成让她「无法再就业」的样子。梅奥表示，案件审理期间不予置评。
为什么这件事分量这么重：所有人都在担心机器会犯错。机器永远都会犯错。真正的危险，是当围绕在机器周围的人发现了错误之后，他们会怎么做。那个看了数据、说出「这不对」的人，成了丢掉工作的那一个。 这是整套系统同时失灵。如果离这个工具最近的人有理由把真相埋起来，那么再多的测试、再严的安全审查、再多的监督机构，都看不见里面究竟在发生什么。错误被藏起来，工具继续跟病人说话，而唯一会告诉你真相的那个人，已经不在了。
🖤 由 Babycakes 解读。