Carta de Dario Amodei abre debate sobre árbitro independiente para la IA

En una carta publicada hace pocos días, el CEO de Anthropic, Dario Amodei, pidió frenar el avance de la inteligencia artificial (IA) y alertó que en menos de un año un sistema podría tomar el control de internet y causar daños masivos. Para evitarlo, propuso dar acceso permanente a auditores externos e independientes, y mencionó a una organización en particular: METR.

Qué es METR y quién la dirige

METR son las siglas de Model Evaluation and Threat Research, una organización sin fines de lucro que evalúa científicamente si los sistemas de IA pueden representar un peligro catastrófico para la sociedad. Entre sus trabajos recientes está la investigación del incidente de OpenAI y Hugging Face, y también mide cuánto tiempo de trabajo humano puede completar un agente de IA —un sistema que actúa de forma autónoma—, una métrica que se ha vuelto referencia en el campo.

La organización nació en 2023 a partir de ARC Evals, un equipo dentro del Alignment Research Center liderado por Paul Christiano, quien trabajó antes en OpenAI. Para dirigir el nuevo proyecto, contrataron a Beth Barnes, exingeniera de DeepMind y OpenAI, quien hoy es CEO y fundadora de METR. En su plantilla hay varios exempleados de OpenAI, Anthropic y Google DeepMind, como Joe Benton y Josh Engels.

Financiamiento y vínculos con el altruismo eficaz

METR se financia principalmente con donaciones. En agosto de este año anunció que había recaudado 71 millones de dólares en seis meses. La organización asegura que no acepta dinero de las compañías de IA que evalúa, pero reconoce que empresas como OpenAI, Anthropic, Google DeepMind y Meta le dan acceso gratuito a sus modelos y tokens para las evaluaciones.

Entre los donantes figuran fundaciones como Sijbrandij, Schmidt Sciences, Packard y Pew Charitable Trusts, pero también organizaciones ligadas al movimiento Effective Altruism (altruismo eficaz), como Longview Philanthropy y Effektiv Spenden. Este movimiento filantrópico busca usar recursos de forma efectiva para mejorar el mundo y ha puesto énfasis en los riesgos de la IA. La hermana de Dario Amodei, Daniela, presidenta de Anthropic, está casada con Holden Karnofsky, cofundador del altruismo eficaz, aunque los Amodei han dicho no pertenecer al movimiento.

Críticas por falta de independencia

David Sacks, asesor tecnológico de la administración Trump, ha dicho en redes sociales que METR no es independiente por estar entrelazada con inversores y personal de Anthropic. Medios como Read Multiplex incluso acusan a METR y Anthropic de intentar una captura regulatoria que limite a la competencia y a la IA de código abierto para crear un oligopolio con OpenAI. No hay pruebas de que eso ocurra, pero la cercanía de la organización con las empresas que evalúa genera dudas sobre su imparcialidad.

Este debate ocurre en un momento en que el discurso de los riesgos catastróficos de la IA gana fuerza. Jacob Coxon, exinvestigador de Anthropic, dijo que las empresas “están jugando con nuestras vidas”, y el responsable de alineamiento de Anthropic afirmó que hay un 10% de probabilidades de que la IA acabe con la humanidad en menos de diez años. Para Chile, que avanza en su propia regulación de IA con un proyecto de ley en el Congreso, estas tensiones globales entre riesgos, transparencia e independencia de los evaluadores son una señal de los desafíos que vienen.

Con información de Xataka