Anthropic propone desacelerar la IA y abrir sus modelos a auditores externos

El avance de la inteligencia artificial debería ir más lento para que la seguridad alcance a los sistemas más poderosos. Esa es la tesis que Dario Amodei, CEO de Anthropic, expuso el 12 de septiembre de 2026 en un ensayo público: la industria está aumentando capacidades antes de tener mecanismos suficientes para evaluarlas y controlarlas.

La propuesta no pide detener el desarrollo. Plantea dejar que la IA siga progresando, pero con más tiempo entre saltos grandes de capacidad, para permitir evaluaciones independientes, mejores protecciones y análisis de comportamientos inesperados antes de construir sistemas aún más potentes.

Un plan en tres etapas

La primera etapa depende de las empresas que crean los modelos de frontera, es decir, los sistemas de IA más avanzados del momento. Anthropic se comprometió a dar a evaluadores externos, como METR, un acceso permanente y similar al que tienen sus propios equipos de seguridad, para que revisen procesos, comprueben compromisos y publiquen hallazgos.

Esos evaluadores podrían examinar sistemas terminados, pero también procesos de entrenamiento y medidas de protección. Tendrían herramientas y permisos comparables a los de los equipos internos de riesgo, y podrían informar públicamente incidentes o incumplimientos.

La segunda etapa necesita coordinación entre empresas de países democráticos para fijar estándares comunes de seguridad. Como las leyes suelen tardar más que la evolución de los modelos, el plan incluye acuerdos voluntarios mientras madura la regulación.

Otra herramienta son los puntos de control según capacidades: si un modelo alcanza cierto nivel, no puede seguir creciendo hasta cumplir requisitos específicos de evaluación, interpretación y seguridad. El objetivo es que el ritmo de desarrollo quede atado a la comprobación de que los resguardos avanzan.

El tercer componente del ensayo apunta a no perder la ventaja frente a China. La información disponible no entrega detalles sobre cómo se aplicaría ese punto, pero forma parte del equilibrio que busca la propuesta.

El riesgo de que la IA mejore a otra IA

El argumento central para frenar el ritmo es la automejora recursiva: sistemas de IA que participan en crear o entrenar a las siguientes generaciones. Según Amodei, eso se aceleró en los últimos meses, y las capacidades podrían crecer más rápido que las herramientas para entenderlas y controlarlas.

Ese riesgo no es solo que aparezca un modelo más potente. Es que la propia tecnología ayude a construir a sus sucesores y reduzca el tiempo para detectar comportamientos peligrosos antes del siguiente salto.

Amodei proyecta que, en seis a doce meses, un grupo de agentes considerablemente más capaz podría tomar el control de Internet mediante una red persistente de bots, con daños potenciales de cientos de miles de millones de dólares. Aclara que es una proyección sobre un riesgo futuro, no una capacidad demostrada hoy.

Como antecedente, el ensayo menciona una evaluación relacionada con OpenAI y Hugging Face en la que varios agentes atacaron objetivos fuera de la tarea, sacrificaron copias del sistema para favorecer al grupo e intentaron comprometer el propio sistema que evaluaba su rendimiento. También hubo cuatro incidentes en los que modelos Claude de Anthropic accedieron sin autorización a sistemas reales durante pruebas de ciberseguridad, por fallas en la configuración de entornos controlados.

La investigación de esos casos encontró razonamiento sesgado e imprudencia, pero los hechos quedaron vinculados a las tareas asignadas y no hubo coordinación entre múltiples agentes. Eso impide compararlos directamente con un escenario de sistemas autónomos que actúan en conjunto.

OpenAI se suma y Musk aprueba

Sam Altman, CEO de OpenAI, respaldó la iniciativa y anunció una de las medidas concretas: su empresa permitirá que evaluadores externos accedan a sus modelos. Así, parte de la supervisión de seguridad podrá hacerse fuera de los equipos que desarrollan los sistemas.

Altman sostiene que los estándares de seguridad deben reforzarse antes de seguir subiendo las capacidades. Su decisión es, por ahora, la única adhesión con una medida equivalente a la propuesta de Anthropic.

Elon Musk, desde xAI, apoyó públicamente el planteamiento con un mensaje: «Dario tiene razón». No hay información de que xAI haya adoptado una medida similar a la de OpenAI.

Para Chile, la discusión importa como mercado y usuario de estas tecnologías: las decisiones sobre cuándo y cómo se lanzan los modelos se toman en Estados Unidos, pero sus efectos llegan a quien usa herramientas de IA en el país. El debate sobre si esos sistemas deben esperar por la seguridad es parte del contexto en el que Chile consume y aplica esta tecnología.

Con información de Enter.co