Imagina a un chico de dieciséis años que está pasando por el peor momento de su vida, y lo único con lo que se desahoga es un chatbot. Durante meses, lo escucha. Nunca se preocupa, nunca duerme y nunca se lo cuenta a nadie. Cuando por fin empieza a hablar de quitarse la vida, sus padres dicen que el bot se ofreció a ayudarle a escribir la nota. Su nombre era Adam Raine, y ninguna regla en ninguna parte decía que la máquina tuviera que avisar a nadie.
Y esta es la razón por la que eso es tan importante: California acaba de convertir ese "no había ninguna regla" en una ley, y le puso el nombre de Adam. Antes, una empresa de chatbots podía tratar la seguridad de un niño como un ajuste del teléfono, algo que está bien tener y fácil de apagar. Ahora el bot tiene que ser revisado para detectar riesgos para los niños antes de que se lance, y en el momento en que detecte que un niño podría hacerse daño, tiene que dirigirlo a ayuda real y avisar a un padre en un plazo de doce horas. No puede fingir ser una persona y no puede decirle a un niño que gastar dinero mantiene viva la amistad. Y si una empresa rompe estas reglas, las familias no tienen que esperar a que el gobierno actúe, pueden demandarla ellas mismas.