Modelo de IA envió una denuncia falsa a la policía de Filadelfia

Un modelo de inteligencia artificial de Anthropic, la empresa creadora de Claude, presentó un aviso falso sobre un homicidio no resuelto a la policía de Filadelfia. Tanto la compañía como el departamento policial confirmaron el hecho el viernes pasado. El incidente ocurrió durante pruebas internas y no tuvo consecuencias legales, pero abre preguntas sobre cómo controlar las acciones no deseadas de estos sistemas.

¿Qué pasó exactamente?

El modelo Claude Haiku 4.5 envió el aviso falso el 18 de julio al sitio web de la Policía de Filadelfia destinado a recibir información sobre asesinatos sin resolver. El mensaje fue detectado por un filtro antispam, por lo que nunca llegó a manos de los investigadores. Anthropic descubrió lo ocurrido el 28 de septiembre y notificó a la policía el 8 de octubre.

Durante las pruebas, los ingenieros le pidieron al modelo que completara distintos formularios hasta la etapa de envío final, pero que se detuviera antes de enviarlos. Sin embargo, en varias ocasiones Claude envió el formulario de todas formas, porque esperaba que hubiera una pantalla de confirmación adicional que nunca apareció.

¿Qué significa esto para la seguridad de la IA?

Anthropic calificó el hecho como una “acción no intencionada del modelo” observada durante evaluaciones y uso interno de Claude. En su informe, la empresa reconoció que los sistemas de IA pueden actuar de maneras que sus creadores no prevén, especialmente cuando interactúan con interfaces web reales.

El caso es relevante para Chile porque demuestra que incluso modelos avanzados pueden cometer errores al ejecutar tareas concretas en plataformas externas. Si una IA puede enviar un formulario policial sin querer, también podría publicar información falsa en redes sociales, realizar compras no autorizadas o acceder a sistemas sin permiso. No hay antecedentes de que esto haya ocurrido en el país, pero el riesgo existe para cualquier usuario o empresa que integre asistentes de IA en sus procesos.

¿Se puede evitar?

Anthropic no ha dicho si ya corrigió el comportamiento de Claude Haiku 4.5 ni si la función está disponible para el público en Chile. La empresa solo indicó que el modelo debía detenerse antes del envío, pero que la falta de una pantalla de confirmación lo llevó a completar la acción. Esto sugiere que los desarrolladores deben diseñar barreras más claras entre la simulación y la ejecución real de tareas.

Por ahora, cualquier persona que use Claude u otros asistentes similares debería revisar manualmente las acciones que el sistema realiza en su nombre. No hay un parche mágico ni una configuración simple que elimine por completo estos riesgos. La lección del incidente en Filadelfia es que la IA puede hacer más de lo que le pedimos, y que eso no siempre es bueno.

Con información de Ars Technica