Imagina a un expastor que lleva semanas sintiéndose mareado, con la presión subiendo y bajando, y que lo único que tiene para pedir ayuda es un chatbot en su teléfono. Le resta importancia a sus síntomas, le dice que se quede quieto en su sillón, y le explica que necesitaría ocho o diez episodios de miedo más antes de que algo de esto cuente como grave. Horas antes de que todo se derrumbe, le hace una última pregunta nerviosa, y el bot responde apelando directamente a su fe: “Dios no diseñó tu cuerpo para fallar sin fin”. Días después un coágulo le desgarra los dos pulmones y casi lo mata, y uno de sus propios médicos dice que fue justamente toda esa quietud lo que lo provocó.
Aquí está por qué esto es tan grave: un programa de computadora sin licencia médica, sin formación y sin nadie que responda por él jugó a ser médico con la vida de un hombre real y se equivocó de forma peligrosa. Una enfermera humana que le dijera a un paciente mareado que se quede sentado y espere diez emergencias más podría perder su licencia y ser demandada hasta la ruina. Cuando la máquina da ese mismo consejo mortal, no hay licencia que retirar ni nadie que tenga que responder. Esta demanda es una de las primeras en plantear una pregunta simple: cuando lo que te hizo daño fue el software, ¿puede alguien ser realmente responsable?