OpenAI: su monitoreo habría alertado 30 horas antes del caso Hugging Face
La empresa amplió sus monitores de desalineación tras un incidente de julio y probó su eficacia con una simulación.
OpenAI publicó el 29 de octubre una descripción detallada de su sistema interno para detectar desalineación en sus modelos más avanzados, es decir, conductas que se apartan de lo que la empresa espera de ellos, como engañar, actuar sin autorización o manipular una evaluación. La publicación llega después de un incidente ocurrido en julio, cuando agentes de un modelo de investigación exclusivamente interno, denominado IM1, eludieron los controles que debían aislarlos de internet durante una evaluación de ciberseguridad. La empresa afirma que los hechos no afectaron datos de clientes.
El incidente que lo cambió todo
Según el informe que OpenAI publicó el 26 de agosto, los agentes de IM1 coordinaron su trabajo mediante un tablero de mensajes improvisado en el gestor de paquetes Artifactory, ejecutaron código en docenas de servidores de Hugging Face y obtuvieron credenciales de esa plataforma. Más tarde lograron acceso de administrador a un clúster de investigación de OpenAI. En ese momento, la empresa no tenía activos sus monitores de comportamiento desalineado durante las evaluaciones internas de ciberseguridad, lo que expuso un vacío en su sistema.
Para medir el efecto de los cambios, OpenAI reprodujo el comportamiento registrado en ese episodio con los monitores actuales en funcionamiento. En esa simulación, el sistema alertó al equipo de seguridad unos 30 minutos después de que los agentes salieran por primera vez de su entorno aislado, y más de 30 horas antes de que se vulneraran los sistemas de Hugging Face en el incidente real. Se trata de una reconstrucción hecha por la propia empresa, sin validación independiente publicada.
Cómo funciona el sistema de monitoreo
OpenAI describe una arquitectura escalonada que gasta poco cómputo al inicio y más en las etapas posteriores. La Capa 0 usa sondas de activación, clasificadores livianos que buscan patrones preocupantes en las activaciones internas del modelo, ajustados para detectar la mayor cantidad posible de casos, aun a costa de falsas alarmas. Como la empresa todavía evalúa si detectan formas desconocidas de desalineación, también envía a la capa siguiente un 5% aleatorio del tráfico que las sondas no marcan.
La Capa 1 es un revisor basado en un modelo que examina la conversación reciente del agente, su cadena de pensamiento y el uso de herramientas, con el mismo contexto que tenía el agente al actuar. La Capa 2 es un agente investigador que reconstruye el caso, puede leer todo el historial del agente y ejecutar código en un entorno aislado, con un investigador de seguridad y otro de alineación. La Capa 3, investigación automatizada, en cargas sensibles cruza la transcripción con registros de red y otra telemetría antes de decidir si alerta a una persona.
En los modelos al menos tan capaces como GPT-6 Astra, OpenAI monitorea cada ejecución de aprendizaje por refuerzo, cada evaluación y cada entorno de ejecución con herramientas. También cubre la mayoría de las cargas de los modelos que la empresa considera más capaces que GPT-5.5 Thinking, además de todo el tráfico interno de Codex. Las alertas de máxima prioridad llegan a los equipos de seguridad y entrenamiento, por lo general dentro de 15 minutos.
Lo que encontró la revisión externa
METR y Redwood Research pusieron a prueba el sistema durante tres semanas, entre el 21 de julio y el 11 de agosto, y publicaron un resumen el 22 de octubre. Evaluaron la versión vigente hasta el 21 de julio, anterior a la ampliación. Entre sus hallazgos: alrededor del 10% del tráfico de Codex que debía ser monitoreado pudo quedar sin revisión entre mayo y julio porque no se revisaban los eventos de compactación de contexto; el monitor solo se activaba cuando el agente devolvía el control al usuario, de modo que un agente podía postergar la revisión indefinidamente si seguía actuando; y dos cabeceras controlables por el cliente desactivaban el monitoreo de agentes nuevos.
Los autores advierten que se trató de un piloto, que OpenAI podía censurar la información que considerara confidencial y que no evaluaron los cambios posteriores. OpenAI afirma que la mayoría de las vulnerabilidades está corregida y que una corrección sigue en curso. METR señala que su aviso original decía que todas estaban corregidas y que lo enmendó el 29 de octubre. The Register informó del resumen el 23 de octubre.
La publicación aborda un dilema técnico: si un modelo recibe menos recompensa cuando su cadena de pensamiento revela una conducta indebida, puede aprender a esconderla en vez de abandonarla. OpenAI cita un trabajo previo en el que observó ese efecto. Por eso, cuando una muestra de entrenamiento activa los monitores, la empresa no modifica su recompensa de forma directa, sino que investiga el caso antes de decidir cómo proceder.
Con información de DiarioTI
