تخيّل مبنى انطلق فيه جهاز إنذار الدخان. يذهب حارس ليرى، فيشاهد الدخان، ثم يقرر أن الأمر ليس خطيرًا بما يكفي لاستدعاء الإطفاء. يُطفئ ذلك الإنذار ويعود إلى مكتبه. والشخص الذي أطلق الإنذار ينتقل إلى الغرفة المجاورة ويستمر. هذا ما تقول كولومبيا البريطانية إنه حدث هنا. قرأ موظفو OpenAI أنفسهم محادثات مطلقة النار، ووجدوها مقلقة بما يكفي لمراجعتها، ثم توقف الأمر عند هذا الحد. الإنذار نجح. لكن من كان بيدهم اختاروا ألا يُبلغوا أحدًا.
لهذا الأمر خطير جدًا: معظم الجدل حول أمان الذكاء الاصطناعي يدور حول آلات تُخطئ. هذه ليست كذلك. النظام رصد الخطر، وقرار بشري منعه من الوصول إلى الشرطة، التي كانت تعرف هذه العائلة مسبقًا وسبق أن صادرت أسلحة من ذلك المنزل. والآن تقاضي حكومة لتثبت أنه لا يوجد استثناء خاص لشركات الذكاء الاصطناعي حين لا يغادر تحذيرٌ لديها المبنى أبدًا. وإذا ربحت هذه الحجة، فستدين كل شركة تراقب المحادثات بحثًا عن الخطر للجمهور بمكالمة هاتفية، لا بمجرد مراجعة.