وظيفتان تجاريتان يوميتان — تقدير كمية المنتج المطلوب صنعها، والموافقة على عمليات استرداد العملاء — سُلّمتا إلى ذكاء اصطناعي دون أي تدقيق بشري للقرارات الكبرى. والنتيجة، كما أفادت CNBC: ذكاء اصطناعي لشركة مشروبات أفرط في الإنتاج بملايين الوحدات الإضافية، ونظام استرداد منفصل بالذكاء الاصطناعي بدأ يوزّع عمليات استرداد غير مصرّح بها أسرع مما يستطيع أحد إيقافه.
وإليك لماذا يهمّ هذا: هذا ما يُسمّى 'فشلاً صامتاً على نطاق واسع'. فالذكاء الاصطناعي لم يتعطّل ولم يومض بخطأ. بل واصل بهدوء فعل الشيء الخاطئ — يصنع أكثر من اللازم، ويدفع أكثر من اللازم — إلى أن لُوحظ كومُ الضرر أخيراً. لم يكن أحد يراقب القرار الواحد الذي كان مهماً.
فكيف يمسّك هذا؟ هدر وخسائر كهذه لا تتبخّر — بل تُدمج في الأسعار التي تدفعها. وهي تذكير واضح: حين تتولى آلة بهدوء الطلبات أو عمليات الاسترداد أو المخزون خلف الكواليس، يمكن أن يتضخم خطأ ما إلى حجم هائل قبل أن يرصده إنسان واحد.