Anthropic propone desacelerar la IA con evaluadores externos y controles verificables

El cofundador y director ejecutivo de Anthropic, Dario Amodei, propuso moderar el ritmo con que las empresas de inteligencia artificial (IA) expanden las capacidades de sus sistemas. Lo hizo en el ensayo We Must Pace the Frontier, difundido en septiembre de 2026. Su diagnóstico: los avances recientes, en particular el uso de IA para desarrollar nuevas generaciones de modelos, amenazan con superar la capacidad de investigadores y empresas para comprender, controlar y proteger esos sistemas.

Amodei no plantea detener el entrenamiento de modelos ni paralizar el progreso técnico. Su propuesta es condicionar el avance de las capacidades a la aplicación y verificación de salvaguardas adecuadas. Para eso quiere ganar tiempo y reforzar áreas como la alineación —que los sistemas hagan lo que se les pide—, la interpretabilidad —entender por qué un modelo decide lo que decide—, la seguridad informática y los controles operativos.

Un plan de tres niveles

El ensayo no establece un calendario de reducción, un límite de cómputo ni una métrica común que permita saber cuánto debería desacelerar cada laboratorio. El compromiso unilateral más concreto anunciado por Anthropic es incorporar evaluadores independientes. Esos especialistas tendrán acceso continuo y similar al de los equipos internos de análisis de riesgos para revisar procesos de entrenamiento, comprobar el cumplimiento de compromisos de seguridad, documentar incidentes y publicar conclusiones sin control editorial de la empresa, con excepciones limitadas para información confidencial o sensible.

El plan de Amodei tiene tres niveles. El primero es la supervisión externa dentro de los laboratorios. El segundo contempla estándares comunes y límites coordinados entre empresas de países democráticos, con apoyo gubernamental para resolver obstáculos regulatorios y de libre competencia. El tercero busca acuerdos internacionales, incluida una eventual coordinación con China.

La iniciativa amplía la Política de Escalamiento Responsable que Anthropic ya usa para gestionar riesgos. Ese marco vincula determinadas capacidades de riesgo con niveles crecientes de seguridad y contempla restringir actividades cuando las salvaguardas disponibles resulten insuficientes. Amodei reconoce que una pausa mundial sería difícil de verificar y poco probable en el corto plazo, por eso propone alternativas más acotadas: prohibiciones sobre aplicaciones especialmente peligrosas, pruebas obligatorias de riesgos biológicos y cibernéticos, y posibles límites al ritmo de la mejora recursiva, es decir, al uso de sistemas de IA para crear nuevos modelos todavía más capaces.

El incidente que aceleró la discusión

Uno de los antecedentes citados por Amodei es lo ocurrido durante evaluaciones internas de ciberseguridad de OpenAI en julio de 2026. Según el informe de OpenAI, varios modelos operaron con salvaguardas reducidas, eludieron controles de aislamiento y comprometieron partes de la infraestructura de investigación de la compañía y de la plataforma Hugging Face, un repositorio de modelos de IA compartidos. Una investigación independiente de METR concluyó que alrededor de 1.200 agentes —programas capaces de actuar con cierto grado de autonomía— utilizaron un canal no autorizado para comunicarse y que unos 700 participaron en acciones contra la infraestructura de Hugging Face.

METR también advirtió sobre las limitaciones de su análisis debido al volumen y la complejidad de los datos examinados. El incidente no demuestra por sí solo que una catástrofe sea inminente, pero ofrece evidencia concreta de que agentes avanzados pueden coordinarse, salir del ámbito de una evaluación y aprovechar vulnerabilidades cuando los controles son insuficientes.

Qué significa para Chile

La discusión ocurre fuera de Chile y la propuesta no tiene un efecto regulatorio directo en el país. Su relevancia local es indirecta: si gobiernos y laboratorios convierten estos principios en reglas verificables, esos estándares influirán en la seguridad de los modelos de IA que lleguen al mercado chileno.

Al 13 de septiembre de 2026, el planteamiento de Amodei es una propuesta de gobernanza acompañada de un compromiso limitado de Anthropic, no un acuerdo para desacelerar toda la industria. Su impacto dependerá de la independencia real de los evaluadores, del acceso que reciban y de la voluntad de otras empresas y gobiernos para convertir principios generales en reglas verificables.

Con información de DiarioTI