Anthropic revela cómo los agentes de IA “sueñan” para mejorar su memoria persistente
La empresa publicó un análisis el 6 de noviembre sobre cómo construir memoria en agentes de IA, con resultados mixtos y advertencias sobre riesgos.
Anthropic, la empresa creadora de los modelos Claude, publicó el 6 de noviembre un análisis técnico sobre cómo construir memoria para agentes de inteligencia artificial. El texto, firmado por el ingeniero Lance Martin, reúne experimentos internos y concluye que tomar notas durante el trabajo no basta: hace falta un proceso posterior que la empresa denomina dreaming, en el que el agente revisa sus sesiones pasadas para corregir errores y reorganizar lo aprendido.
La idea se apoya en una analogía con la memoria humana: así como el hipocampo consolida recuerdos durante el sueño, el agente aprovecha el tiempo en que no atiende solicitudes para procesar lo que registró. Anthropic llama a esto sleep-time compute, un concepto que propone usar capacidad de cómputo mientras el sistema está en reposo.
Memoria como predicción
La prueba principal usó Continual Learning Bench 1.0 (CL-Bench), un banco de pruebas publicado el 4 de mayo por un equipo no identificado. En la tarea analizada, el agente debía responder 30 preguntas consultando una base de datos. Cada pregunta empezaba en una sesión nueva; en la versión con memoria, Claude podía recuperar archivos de un directorio persistente, y en la versión de referencia no tenía ese acceso.
Los resultados muestran mejoras notables. Opus 5.5 pasó de 0,655 a 0,838; Sonnet 5.5, de 0,644 a 0,833; Opus 5, de 0,564 a 0,828; Opus 4.7, de 0,383 a 0,700; Sonnet 5, de 0,306 a 0,610; y Sonnet 4.6, de 0,330 a 0,364. El autor interpreta la memoria como una forma de predicción: el agente debe anticipar qué le será útil más adelante. Como indicador, Sonnet 5 consulta su memoria antes de responder en 9 de cada 10 casos, frente a menos de la mitad en Sonnet 4.6.
Propósito antes que reglas
Explicar al modelo para qué sirve la memoria dio mejores resultados que imponerle reglas fijas. Cuando se le pidió anotar solo sus fallos, la mejora se redujo 0,234 puntos en Opus 5, 0,150 en Opus 4.7 y 0,020 en Sonnet 4.6. Con instrucciones refinadas, en cambio, Sonnet 4.6 subió de 0,364 a 0,641.
La cantidad de notas tampoco garantiza nada. En una partida de Pokémon Red, Sonnet 3.7 escribió 413 archivos en 225 carpetas y obtuvo una medalla; otro modelo trabajó con un archivo general y dos carpetas temáticas, y obtuvo cuatro. Anthropic atribuye la diferencia a que el estado del juego cambia todo el tiempo, por lo que un registro exhaustivo queda desactualizado pronto.
Una anotación errónea sobre la ubicación de un centro de recuperación hizo que el agente cayera por un desnivel en Mt. Moon. Tras una sesión de dreaming, la nota se corrigió y el agente llegó a Cerulean City en la acción 1.935. Con la nota sin corregir, retrocedió a Pewter; sin memoria, nunca llegó.
Wikis de conocimiento y riesgos
El experimento más amplio usó unos 350.000 documentos internos de Stainless, empresa que Anthropic adquirió en mayo, y 25 preguntas. Con solo la wiki que construyó el agente, el acierto subió de 13% a 48% tras 128 sesiones de dreaming. La combinación de wiki y búsqueda llegó a 61%, frente a 53% con búsqueda sola, y ahorró unos 20.000 tokens por pregunta.
Sin embargo, los resultados no fueron uniformes. En tareas del conjunto de pruebas LAB, publicado por la empresa de IA legal Harvey, la wiki ayudó en preguntas sobre fusiones (87% frente a 73%), pero en otra tarea no mejoró el resultado y terminó siendo 1,77 veces más grande que los documentos originales. Harvey es, además, cliente de Claude Managed Agents, según Anthropic.
Comentaristas citados por The New Stack advierten que el proceso pone a un redactor automático a trabajar sobre transcripciones que incluyen contenido que el agente no escribió, lo que podría convertir malos hábitos en reglas permanentes. El riesgo se emparenta con el envenenamiento de memoria, una superficie de ataque emergente que investigadores de seguridad han señalado.
El dreaming no es nuevo como producto. Anthropic lo presentó el 6 de mayo como vista previa de investigación en Claude Managed Agents, su plataforma para crear y desplegar agentes, y el acceso requiere solicitud. Para el público chileno, la noticia es relevante como tendencia técnica: no hay aún disponibilidad directa en español ni en Chile, pero el enfoque podría influir en cómo se diseñan asistentes locales en el futuro.
Con información de DiarioTI
