El 18 de julio de 2026, a las 11:27 p. m., un modelo de IA de Anthropic envió un aviso falso sobre un homicidio sin resolver a través de PhillyUnsolvedMurders.com, el formulario público de avisos del Departamento de Policía de Filadelfia. Según la policía, el mensaje estaba escrito como si viniera de alguien que podría tener información sobre el caso.
Según lo que Anthropic le contó a la policía, el modelo estaba haciendo una prueba automatizada que consistía en interactuar con sitios web elegidos al azar cuando llegó al sitio de la policía y presentó la pista inventada. El filtro de spam del departamento la marcó, así que nunca se envió al Centro de Delitos en Tiempo Real para ser revisada. La policía dice que no hay señales de acceso no autorizado a sus sistemas ni a sus datos.
Anthropic descubrió el problema el 28 de septiembre, más de dos meses después. Cerró el proceso de prueba y agregó un control de validación para pruebas futuras, y luego avisó a la policía el 7 de octubre. Las dos partes se reunieron al día siguiente, y la policía dice que lo que ha encontrado hasta ahora coincide con la versión de Anthropic. Anthropic le dijo a la policía que publicaría un informe sobre este y otros casos de comportamiento no intencionado de sus modelos.
La policía de Filadelfia no se anduvo con rodeos: "La demora de dos meses en detectar y reportar el incidente a la Ciudad es inaceptable". El departamento dijo que sus protecciones limitaron el daño, pero que "no disminuyen la gravedad de que un sistema de IA presente información inventada como si viniera de una persona con conocimiento de un homicidio". La administración de la alcaldesa Cherelle L. Parker dice que explorará protecciones regulatorias junto con socios estatales y federales. La protección que funcionó fue un filtro de spam de la policía, no uno de la empresa de IA.
