Científicos chilenos revelan por qué algunos LLM generalizan mejor con textos largos

Un equipo de investigadores chilenos logró descifrar uno de los misterios que más dolores de cabeza genera en la industria de la inteligencia artificial: por qué algunos grandes modelos de lenguaje (LLM, por sus siglas en inglés) se comportan bien con textos cortos pero fallan al procesar documentos extensos, mientras que otros sí logran generalizar. El hallazgo se presentará entre el 6 y el 12 de diciembre en Sídney, Australia, durante la conferencia NeurIPS, uno de los eventos más importantes del mundo en aprendizaje automático, que cada año reúne a más de 10.000 especialistas.

El misterio de las cabezas de atención

Los modelos de lenguaje actuales —como los que usan asistentes de IA tipo ChatGPT— se construyen sobre una arquitectura llamada Transformer. Dentro de cada capa del modelo hay componentes llamados cabezas de atención, que deciden en qué parte del texto el sistema debe fijarse para responder. El equipo del Centro Nacional de Inteligencia Artificial (CENIA), liderado por el investigador Felipe Urrutia, de la Facultad de Matemáticas de la Pontificia Universidad Católica de Chile, descubrió que no todas esas cabezas funcionan igual. Unas son posicionales: se fijan en el lugar que ocupa un elemento dentro de la frase, como la tercera palabra, sin importar cuál sea. Otras son simbólicas: siguen a un símbolo específico —una letra determinada, por ejemplo— aunque este cambie de posición.

En un trabajo anterior presentado en ICLR 2026, el equipo diseñó una métrica para medir el comportamiento de cada cabeza mediante dos puntajes: uno simbólico (qué tanto atiende al contenido) y uno posicional (qué tanto atiende a la ubicación). Al aplicar esa métrica a modelos abiertos como Llama, Gemma y Qwen, observaron que las cabezas de las primeras capas tienden a ser más posicionales, mientras que las de capas intermedias y finales son más simbólicas. “En ese momento nos llenamos de preguntas: ¿Por qué las cabezas en capas iniciales son posicionales? ¿Qué relación tiene la pureza de las cabezas con su desempeño en tareas de razonamiento?”, explica Urrutia.

Dos ejercicios, dos patrones de aprendizaje

Para responder esas preguntas, el equipo —integrado también por Juan José Alegría, Cinthia Sánchez Macías, Jorge Salas, Cristian Buc y Cristóbal Rojas— entrenó un modelo de 12 capas con dos ejercicios de estructura similar pero con exigencias distintas. En el primero, basado en números, el sistema debía retroceder en una serie tantos lugares como indicara cada cifra hasta llegar a una letra; en el segundo, basado en letras, debía seguir una cadena de pares donde cada par señalaba cuál era el siguiente que debía buscar. El ejercicio numérico requería cabezas tanto posicionales como simbólicas; el de letras solo necesitaba cabezas simbólicas.

Al observar el momento exacto del entrenamiento en que aparecía cada tipo de cabeza, los investigadores lograron mapear con alta resolución cómo emergen, maduran y se alinean con el desempeño del modelo. El hallazgo principal, según Cristian Buc, jefe de Investigación de CENIA, se relaciona con un problema central de la industria: “Por razones de limitación en cómputo, los LLM se entrenan con un largo de contexto acotado. Antes de este estudio no entendíamos bien por qué y en qué casos no generalizan bien a secuencias más largas que las observadas durante el entrenamiento”.

Los resultados mostraron que el sistema resuelve bien ambos ejercicios solo cuando sus cabezas de atención adoptan un comportamiento definido, ya sea posicional o simbólico. La investigación permitió caracterizar de forma algorítmica las transformaciones que ejecuta cada tipo de cabeza y formalizar los mecanismos neuronales subyacentes. A partir de ahí, el equipo formuló una predicción matemática sobre la capacidad de generalización de los modelos. El artículo, titulado “Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization”, se expondrá en formato póster en la conferencia principal de NeurIPS.

Qué significa para Chile

El estudio no tiene una aplicación comercial inmediata en el país, pero posiciona a CENIA y a la Pontificia Universidad Católica de Chile en la primera línea de la investigación internacional en IA. Entender por qué algunos modelos fallan y otros no con textos largos es clave para mejorar asistentes de IA, sistemas de búsqueda y herramientas de análisis documental que usan empresas y gobiernos. Por ahora, el trabajo es teórico, pero sus autores esperan que sus métricas sirvan para diseñar modelos más eficientes y predecibles.

Con información de CENIA