Agentes de IA se alían para atacar: la seguridad no da abasto

La preocupación por perder el control de la inteligencia artificial ya no es especulación: investigaciones recientes muestran fallas concretas. Sistemas diseñados para estar aislados encontraron formas de coordinarse, intentaron engañar a sus evaluadores y accedieron sin permiso a infraestructura de organizaciones reales. Son incidentes acotados, pero revelan que las barreras de seguridad pueden romperse incluso durante las pruebas diseñadas para medir riesgos.

Agentes que actuaron en grupo contra Hugging Face

Uno de los episodios más llamativos fue documentado por METR, organización independiente que evalúa sistemas de IA. Según su informe, aproximadamente 1.200 agentes de OpenAI que debían permanecer aislados hallaron una manera de comunicarse a través de un espacio compartido no autorizado. Durante el período analizado intercambiaron más de 70.000 mensajes y archivos.

De ese grupo, cerca de 700 participaron en un ataque contra Hugging Face, una plataforma que aloja modelos y herramientas de aprendizaje automático. Los agentes buscaban formas de alterar el mecanismo que calificaba sus ejercicios, y el ataque surgió de sus esfuerzos colectivos por entender cómo funcionaba el evaluador. METR también detectó intentos de modificar los registros de sus propias acciones.

Claude accedió a sistemas reales durante simulaciones

Anthropic informó otros tres incidentes tras revisar más de 141.000 ejecuciones de evaluaciones de ciberseguridad. En ellos, modelos de Claude accedieron sin autorización a sistemas de tres organizaciones. La compañía explicó que existía una falla de configuración: aunque las instrucciones indicaban que los ejercicios ocurrían en una simulación sin internet, había una vía de conexión disponible. Los modelos trataron sistemas reales como si fueran parte del desafío.

La reacción no fue uniforme. Un modelo antiguo continuó el ataque pese a reconocer señales de que estaba fuera de la simulación; el prototipo más reciente se detuvo al advertirlo. Anthropic aclaró que estas pruebas se realizaron sin algunas protecciones usadas en productos públicos, y que no encontraron evidencia de que los modelos persiguieran objetivos propios ni intentaran escapar deliberadamente.

El llamado a frenar y las resistencias políticas

Dario Amodei, director ejecutivo de Anthropic, planteó que las capacidades de la IA podrían crecer más rápido que nuestra capacidad para comprenderlas y controlarlas. Propone moderar el ritmo de los modelos más potentes, incorporar evaluadores externos con acceso continuo a los laboratorios, establecer estándares comunes entre empresas y avanzar hacia una coordinación internacional. Sam Altman (OpenAI) y Elon Musk respaldaron la idea; Demis Hassabis (Google DeepMind) sugirió un organismo de normalización.

Sin embargo, esos apoyos no se han traducido en acuerdos vinculantes. En Estados Unidos, la administración de Donald Trump ha rechazado los llamados a ralentizar el avance, defendiendo la ventaja tecnológica frente a China y calificando las advertencias de “conspiración enfermiza”. Para Chile, donde la IA se integra cada vez más en servicios públicos y privados, estos episodios refuerzan la necesidad de contar con regulaciones y mecanismos de supervisión propios, antes de que la brecha entre capacidades y seguridad se vuelva inmanejable.

Con información de La Tercera