一位 AI 顾问告诉 Axios,他们的一家企业客户在单月内为 Claude 累计欠下了 5 亿美元的账单。不是一年。是一个月。
没有欺诈,没有入侵,没有恶意行为者。这家公司在全体员工中发放了 AI 许可,却没有任何使用限额、没有支出上限,也没有任何对员工如何消耗 AI 资源的管控。工程师们从随手向聊天机器人提问,升级到了庞大的、多步骤的自动化工作流,全天候不停运行。计费表就这么一直转。等到有人去看账单时,五亿美元已经没了。
这就是一个没有人在环的 AI 部署在资产负债表上的样子。技术完全照吩咐做了。失败的是治理:部署时没有关卡,消耗上没有监测,没有人负责盯着那个数字往上爬。据报道,随着工作流自动化,每位开发者的 AI 使用量在九个月里暴涨了约 18 倍——“我们给了所有人访问权”与“我们设定了规则”之间的差距,如今成了一道财务悬崖。
5 亿美元是那种能终结职业生涯、压垮预算、并出现在 10-K 文件里的钱。它蒸发掉,不是因为 AI 危险,而是因为监督那一层从来没被搭建起来。这正是整个 38 Flags 的核心论点,写在了一张发票里。
HITL 评分:24/100——部署时的人工监督 3/25(AI 访问权在全体员工中铺开,零支出上限、零席位限额、零审批关卡;在没有人来界定边界的情况下部署,是教科书式的治理失败),持续监测 4/25(账单达到 5 亿美元才有人注意到——没有实时消耗看板,没有支出警报,没有阈值触发),事件响应 7/25(问题最终被一位顾问在事后发现并曝光,对失控支出没有任何急停开关),问责 10/25(防止这一切的控制手段——使用限额、预算、基于角色的访问控制——显然都存在,只是干脆没被打开)。