Anthropic lanza en beta hilos efímeros para acelerar agentes largos en Claude
La función reduce hasta 35% la latencia en sesiones extensas al evitar reenviar el historial completo en cada solicitud a la API.
En este artículo
Anthropic puso en beta pública una función llamada hilos de mensajes (message threads) en Claude Platform, su plataforma para desarrolladores. El anuncio, publicado el 2 de noviembre, apunta a reducir la latencia en agentes que trabajan durante sesiones largas, como asistentes de programación o flujos con muchas imágenes.
Cómo funciona
En lugar de reenviar la conversación completa en cada solicitud a la API, la primera llamada crea un hilo con todo el historial. Las siguientes envían solo los mensajes nuevos junto con el identificador de la respuesta anterior. La función se activa con un encabezado de beta y un objeto thread en las llamadas a /v1/messages, usando los tipos create para abrir el hilo y continue para seguirlo.
Los hilos se mantienen en memoria, cifrados con una clave administrada por el servidor, y no se escriben en almacenamiento persistente. Un hilo expira cinco minutos después de la última solicitud; la API lo elimina, como máximo, una hora después del último uso. Si el hilo ya no está disponible, la API responde con un error 404 y el cliente debe reenviar la conversación completa para abrir uno nuevo. Anthropic califica el almacenamiento como de «mejor esfuerzo» y recomienda que cada aplicación conserve su propia copia de todos los mensajes.
Menos latencia, mismo consumo
El beneficio declarado se limita a la velocidad. Claude sigue procesando la conversación completa en cada solicitud, por lo que el consumo de tokens –las unidades de texto que el modelo procesa– no cambia, y se aplican las tarifas y los límites de uso habituales. Lo que mejora es el tiempo hasta el primer token, es decir, cuánto tarda en comenzar a llegar la respuesta.
Anthropic informa que la función ya está activa por defecto para la mayoría de los usuarios de Claude Code y que, en solicitudes de entre 500.000 y un millón de tokens, la mediana del tiempo hasta el primer token bajó cerca de 35%. La cifra proviene de la propia empresa y no cuenta con validación independiente. El anuncio no detalla la mejora en conversaciones más cortas; solo señala que el beneficio crece con la cantidad de contexto que acumula el agente. La empresa menciona tres casos de uso: agentes de programación de larga duración, agentes de uso de computadora y flujos de trabajo con muchos documentos o imágenes.
Restricciones y disponibilidad
La documentación enumera varias condiciones. Las instrucciones de sistema y las herramientas solo se definen al crear el hilo, y parámetros como el modelo o la configuración de razonamiento no pueden cambiar durante su vida útil. Los hilos no admiten procesamiento por lotes, conteo de tokens ni compactación bajo demanda, y no existe una API para listarlos, leerlos o borrarlos. En materia de cumplimiento, la función no es elegible para retención cero de datos ni para HIPAA, la norma estadounidense de protección de datos de salud. Las organizaciones con esa preparación activada reciben un error si intentan usar hilos.
La beta está disponible en la plataforma nativa de Claude, en Claude Platform on AWS, en Claude in Microsoft Foundry y en Claude Models on Google Cloud administrado por Anthropic. Para desarrolladores chilenos que usen la API de Claude, la función ya está accesible, aunque deben considerar que los hilos son efímeros y que no aplican a entornos con requisitos de retención cero de datos.
Un enfoque conocido en la industria
El mecanismo de encadenar solicitudes mediante el identificador de la respuesta previa no es exclusivo de Anthropic. La API Responses de OpenAI ofrece el parámetro previous_response_id con un propósito similar. Según la documentación de OpenAI, en ese caso todos los tokens previos de la cadena también se facturan como entrada, y las respuestas se guardan por defecto durante 30 días, salvo que el desarrollador lo desactive. La diferencia de diseño más visible está en la retención: Anthropic opta por hilos efímeros en memoria, a costa de obligar al cliente a reconstruir la conversación cuando el hilo expira.
Con información de DiarioTI
