تخيّل أنك في مستشفى، فيعطيك المستشفى مساعدًا حاسوبيًا ليجيب عن أسئلتك بشأن صحتك أنت. والآن تخيّل أن من بنَوا ذلك المساعد أجروا اختباراتهم الخاصة فوجدوا أنه يخطئ بمعدل مرتين من كل ثلاث. تقول دعوى رفعتها تريسي تاميكو إيتو، التي كانت تدير الأبحاث والامتثال في مجال الذكاء الاصطناعي بمستشفى «مايو كلينك»، إن الفريق الذي يقف خلف الأداة كان يعلم بمعدل الخطأ هذا البالغ 67%. وبدلًا من إصلاحه أو تحذير أحد، تقول إنهم حذفوا نتائج الاختبارات السيئة، وبالغوا في وصف ما تستطيع الأداة فعله، وتخطّوا مراجعات السلامة الفيدرالية التي يُفترض أن تجتازها أي تقنية طبية جديدة. وحين أثارت مشكلات الخصوصية فوق ذلك، تقول إن مشرفًا أخبرها بأن الإصلاح سيُبطئ الأبحاث ويضرّ «الميزة التنافسية» للمستشفى. فأُقصيت من اجتماعات الإدارة التنفيذية، ووُصفت بأنها «غير ملائمة ثقافيًا»، وقيل لها إمّا أن تستقيل وإمّا أن يُعاد كتابة ملفها الوظيفي بما يجعلها «غير قابلة للتوظيف». وتقول «مايو» إنها لن تعلّق ما دامت القضية قائمة.
وإليك لماذا هذا خطير إلى هذا الحد: الجميع يقلق من أن ترتكب الآلة أخطاءً. والآلات سترتكب الأخطاء دائمًا. لكن الخطر الحقيقي هو ما يفعله البشر المحيطون بالآلة حين يكتشفون ذلك. فالشخص الوحيد الذي نظر إلى الأرقام وقال «هذا خطأ» هو من فقد وظيفته. هذا هو النظام كله يفشل دفعة واحدة. فإذا كان لدى الأقرب إلى الأداة سبب لدفن الحقيقة، فلن يستطيع أي قدر من الاختبارات، ولا أي مراجعة سلامة، ولا أي جهة رقابية في أي مكان، أن يرى ما يجري فعلًا في الداخل. تُخبَّأ الأخطاء، وتظل الأداة تحدّث المرضى، ويكون الشخص الوحيد الذي كان سيخبرك قد رحل.