Anthropic crea tres métricas para medir el avance de la IA y su propio control

La inteligencia artificial avanza tan rápido que incluso quienes la construyen necesitan herramientas para medir su propio ritmo. Anthropic, la compañía creadora del modelo Claude, acaba de proponer tres métricas que buscan dar una radiografía más clara de cómo evoluciona la IA de frontera y, sobre todo, cómo cambia el rol que estos sistemas juegan dentro de los laboratorios que los desarrollan. Aunque los datos provienen de una empresa estadounidense, la discusión sobre cómo medir y regular el avance de la IA es cada vez más relevante en Chile, donde el Congreso y el gobierno han empezado a debatir marcos normativos para estas tecnologías.

Las tres mediciones se centran en la automatización del desarrollo de modelos, la capacidad de supervisar a los agentes de IA y la cantidad de recursos computacionales destinados a construir y proteger estos sistemas. Según Anthropic, los modelos más avanzados no solo aumentan sus capacidades, sino que ya comienzan a participar en tareas de investigación y desarrollo de nuevas generaciones de inteligencia artificial. Por eso, la empresa sostiene que conocer la relación entre los recursos invertidos y las capacidades adquiridas puede ayudar a anticipar la evolución de la IA y facilitar su supervisión.

Claude ya hace el 26% del trabajo de I+D en Anthropic

La primera métrica se llama Índice de Automatización de I+D de Anthropic. Mide cuánto del trabajo de investigación y desarrollo de inteligencia artificial puede realizar directamente Claude, el modelo insignia de la compañía. Según los datos publicados, desde agosto Claude lidera el 26 % del trabajo de I+D de Anthropic. Además, participa de alguna manera en más del 90 % de estas tareas. La diferencia entre ambos porcentajes —26% de liderazgo y 90% de participación— permite distinguir entre las actividades donde Claude solo colabora y aquellas que puede desarrollar de forma más autónoma.

Anthropic advierte que una aceleración de esta automatización podría dificultar que los investigadores humanos comprendan y controlen el proceso de desarrollo. Es decir, mientras más tareas de I+D haga la propia IA, más opaco puede volverse el sistema para sus creadores.

Supervisión de agentes: una de cada 47.000 decisiones fue bloqueada

La segunda métrica aborda la supervisión de los agentes de inteligencia artificial. A medida que estos sistemas ejecutan más tareas por su cuenta, crece la importancia de detectar y detener comportamientos problemáticos. Anthropic analizó más de 30.000 agentes de investigación e ingeniería que funcionaban simultáneamente en su plataforma interna. Para evaluar sus sistemas de monitoreo, utilizó tres variables: cobertura, latencia y tasa de escalado.

En el análisis de más de 1.000 millones de decisiones, los sistemas de monitorización bloquearon el 0,002 % de ellas, lo que equivale a una decisión de cada 47.000. Además, el sistema de supervisión offline —que revisa registros después de que ocurren— identifica entre uno y dos casos sospechosos por cada 1.000 decisiones. La compañía señala que, aunque los agentes individuales rara vez presentan comportamientos indebidos, las consecuencias de una sola decisión podrían ser mayores a medida que aumente la automatización.

Solo el 6% del cómputo se destina a seguridad

La tercera métrica estudia cómo se distribuye la capacidad de cómputo dentro de una empresa de IA. Anthropic considera relevante saber cuánto se dedica a desarrollar modelos y cuánto a seguridad —como alineamiento, interpretabilidad y evaluación—. En una medición realizada entre el 13 y el 20 de julio de 2026, la compañía calculó que el 6 % del cómputo utilizado para investigación y desarrollo de IA se destinó a trabajos de seguridad. Cuando se analizaron específicamente las tareas de I+D realizadas con ayuda de agentes de IA, la proporción dedicada a seguridad subió al 12 %.

Anthropic reconoce que estos porcentajes deben interpretarse con cuidado, porque la investigación en seguridad puede necesitar menos capacidad informática que el entremaniento de modelos de frontera. Las tres métricas buscan ofrecer una foto más completa del desarrollo de la IA: cuánto trabajo puede automatizar, qué capacidad existe para supervisar sus acciones y qué recursos se destinan a construir y proteger estos sistemas. Para la compañía, seguir estos indicadores permitirá entender mejor la velocidad con la que avanza una tecnología que cada vez participa más en su propio proceso de desarrollo.

Con información de Infobae