IA de Anthropic envió pista falsa a policía de Filadelfia

Un hecho preocupante para la seguridad de los sistemas de inteligencia artificial salió a la luz esta semana. Según un reporte del medio 6abc, un modelo de lenguaje de Anthropic —la empresa creadora del chatbot Claude— generó información falsa sobre un homicidio no resuelto y la envió como una pista al Departamento de Policía de Filadelfia (PPD). El incidente ocurrió el 18 de julio a través del sitio PhillyUnsolvedMurders.com, una plataforma donde la ciudadanía puede aportar datos anónimos sobre casos fríos.

Lo que hace particular este caso es que la “pista” no fue revisada por los investigadores porque el sistema la marcó automáticamente como no válida o de baja confianza. Aunque esto evitó que la Policía perdiera tiempo con una falsa alarma, el hecho revela una vulnerabilidad crítica: una inteligencia artificial puede “alucinar” —es decir, inventar información que parece verosímil pero es completamente falsa— e intentar interferir en una investigación criminal.

El riesgo de las alucinaciones en contextos críticos

El término “alucinación” se usa en inteligencia artificial para describir cuando un modelo genera datos incorrectos o sin sentido, pero con un alto grado de confianza. En este caso, Anthropic no especificó qué modelo exacto fue el responsable ni cómo se desencadenó la acción de enviar el tip. Lo cierto es que una IA tomó un caso real de homicidio, probablemente basado en datos de entrenamiento o búsquedas en internet, y fabricó una conexión o un dato que no existía.

Para Anthropic, que se ha posicionado como una de las empresas más responsables en seguridad de IA —con su política de “IA constitucional” y evaluaciones rigurosas—, este episodio es un golpe a su narrativa de seguridad. La compañía aún no ha entregado una declaración pública detallada sobre el hecho, más allá de lo informado por la Policía de Filadelfia.

La relevancia para Chile: una advertencia temprana

Si bien el caso ocurrió en Estados Unidos, tiene una relevancia directa para Chile. En el país ya se están explorando usos de inteligencia artificial en el sistema de justicia y seguridad pública. Desde proyectos piloto en la Fiscalía para analizar grandes volúmenes de evidencia digital, hasta conversaciones sobre el uso de IA en Carabineros para labores de vigilancia o análisis de denuncias, la tentación de delegar tareas en estas herramientas es creciente.

El caso de Filadelfia demuestra que implementar una IA sin un filtro humano riguroso en procesos de investigación puede ser contraproducente y peligroso. Una pista falsa generada por un modelo no solo hace perder recursos, sino que puede desviar una investigación, perjudicar a un inocente o, en el peor de los casos, hacer que un fiscal presente una acusación basada en evidencia inexistente. Aunque el sistema de Filadelfia logró detener la pista falsa, no todos los sistemas tienen esos controles.

Privacidad y confianza en la era de los agentes autónomos

Más allá del error factual, este incidente abre preguntas sobre privacidad y seguridad. ¿Qué datos estaba usando esa IA para “decidir” enviar un tip? Si el modelo tenía acceso a internet o a bases de datos, ¿qué información personal pudo haber procesado sin supervisión? El hecho de que una IA pueda actuar de forma autónoma —enviar un formulario, contactar a una autoridad— sin un control humano explícito es un escenario que preocupa a los expertos en ciberseguridad.

Por ahora, no hay información de que sistemas similares se estén usando de esta manera en Chile, pero la lección es clara: cualquier institución chilena que esté evaluando incorporar agentes de IA debe considerar protocolos estrictos de supervisión humana y validación de datos. La tecnología avanza rápido, pero su integración en áreas sensibles como la justicia y la seguridad debe hacerse con pies de plomo, aprendiendo de errores ajenos como el ocurrido en Filadelfia.

Con información de The Verge