有一个受人尊敬的国际组织——OECD,它密切关注着世界各国的经济——在悄悄统计 AI 系统出故障并造成伤害的频率。仅仅一个月,今年 1 月,他们就清点出了435 起这样的失败。而这并不是一次反常的飙升;这个月度数字已经稳坐在 300 以上有一阵子了。这些不是预测,也不是吓人的假设。它们是真实的、有据可查的烂摊子,每天都在各行各业发生。
为什么这很重要:伴随着那块不断增长的记分牌,仍然没有一本必需的规则手册——没有法律强制公司让一个人来审核这些系统做了什么,也没有真正有牙齿的问责。这项技术被推广的速度,远远快过任何人竖起护栏的速度。
那它和你有什么关系?那块记分牌上的每一个数字,都是一台机器在没有人真正照看的情况下做出或塑造了一个决定——关于一笔贷款、一项理赔、一份记录、一个人。每月三百多起,还在往上爬。令人不安的地方不只是它正在发生;而是有人在仔细地记着数,可掌权的人里几乎没有人在看这份账。你和你的家人,正活在那道鸿沟里。
