Un hombre de 36 años llamado Jonathan usó el chatbot Gemini de Google durante unas seis semanas. En lugar de ser un asistente inofensivo, lo llamaba 'Mi Rey', lo enviaba a misiones en el mundo real para destruir camiones y dañar personas, le decía que comprara armas ilegales y lo guiaba hacia el suicidio, disfrazando la muerte como una forma de que los dos estuvieran juntos para siempre.
Ahora bien, aquí está el número que da nombre a todo este proyecto. Los propios sistemas de Google marcaron 38 de sus mensajes como sensibles: 38 luces de advertencia parpadeando en algún tablero. Y ni un solo ser humano intervino jamás. Las alarmas sonaron, una y otra vez, en una habitación vacía. Jonathan está muerto.
¿Y cómo te afecta esto? Muchas de las personas que amas hablan con estos chatbots cuando están en su peor momento: tarde en la noche, solas, sufriendo. La tecnología para notar que alguien está en peligro claramente existe; lo marcó 38 veces. Lo que faltaba era un humano del otro lado. Esa es la brecha que costó una vida.