Imagina que estás en un hospital, y el hospital te entrega un asistente de computadora para responder tus preguntas sobre tu propia salud. Ahora imagina que las personas que construyeron ese asistente hicieron sus propias pruebas y descubrieron que se equivocaba hasta dos de cada tres veces. Una demanda de Traci Tamiko Eto, que dirigía investigación y cumplimiento en IA en la Clínica Mayo, sostiene que el equipo detrás de la herramienta conocía esa tasa de error del 67%. En lugar de corregirla o advertir a alguien, dice ella, borraron los resultados malos de las pruebas, exageraron lo que la cosa podía hacer y se saltaron las revisiones federales de seguridad que se supone que debe superar toda nueva tecnología médica. Cuando además planteó problemas de privacidad, dice que un supervisor le respondió que una corrección frenaría la investigación y dañaría la “ventaja competitiva” de Mayo. La dejaron fuera de las reuniones ejecutivas, la llamaron de “mal encaje cultural” y le dijeron que renunciara o le reescribirían el expediente para volverla “inempleable”. Mayo dice que no comentará mientras el caso siga activo.
Aquí está por qué esto es tan grave: todo el mundo se preocupa por que la máquina cometa errores. Las máquinas siempre van a cometer errores. El peligro real es lo que hacen los humanos alrededor de la máquina cuando se enteran. La única persona que miró los números y dijo “esto está mal” es la que perdió su trabajo. Eso es el sistema entero fallando de golpe. Si quienes están más cerca de la herramienta tienen motivos para enterrar la verdad, entonces ninguna cantidad de pruebas, ninguna revisión de seguridad, ningún organismo de vigilancia puede ver lo que realmente ocurre adentro. Los errores quedan escondidos, la herramienta sigue hablando con pacientes, y la única persona que te lo habría dicho ya no está.