Imagina un edificio donde suena una alarma de humo. Un guardia se acerca, ve el humo y decide que no es tan grave como para llamar a los bomberos. Apaga esa alarma y vuelve a su escritorio. La persona que la hizo sonar pasa a la habitación de al lado y sigue adelante. Eso es lo que Columbia Británica dice que pasó aquí. La propia gente de OpenAI leyó las conversaciones de la autora, las encontró lo bastante alarmantes como para revisarlas, y ahí quedó todo. La alarma funcionó. Quienes la tenían en sus manos decidieron no avisar a nadie.
Por eso es tan grave: casi todas las peleas sobre la seguridad de la IA tratan de máquinas que se equivocan. Esta no. El sistema detectó el peligro, y una decisión humana impidió que llegara a la policía, que ya conocía a esta familia y ya había sacado armas de esa casa. Ahora un gobierno demanda para demostrar que no hay una exención especial para las empresas de IA cuando una advertencia que tienen nunca sale del edificio. Si ese argumento gana, toda empresa que vigila conversaciones en busca de peligro le deberá al público una llamada, no solo una revisión.