Imagina que estás en el trabajo y te encuentras con un usuario que está escribiendo planes gráficos para un tiroteo masivo: la violencia, el objetivo, todo. Tú y tus compañeros lo marcan y discuten sobre si llamar a la policía. Los que mandan deciden que no. Solo le cierran la cuenta, él abre una nueva, y unos meses después entra en una escuela y mata a ocho personas, cinco de ellas niños de 12 y 13 años. La empresa lo vio venir y no se lo dijo a nadie.
Por eso esto es un gran problema: la defensa de la empresa es que lo que vieron no pasó su propia prueba para decidir cuándo una amenaza es lo bastante grave como para denunciarla. Una prueba que escribieron ellos, que nadie fuera del edificio puede ver y que nadie más puede revisar. Toda la promesa de la seguridad de la IA es "no te preocupes, hay humanos vigilando". Los humanos vigilaban, lo vieron todo, y nada en ningún lugar decía que tuvieran que levantar el teléfono.