Evaluadores incrustados: Hugging Face advierte que no serán una solución fácil
La jefa de políticas de Hugging Face cuestiona la efectividad de los observadores externos dentro de las empresas de IA para prevenir incidentes de seguridad.
En los últimos meses, los laboratorios de inteligencia artificial han enfrentado una seguidilla de incidentes de seguridad que encendieron las alarmas sobre los posibles daños de su tecnología. En ese contexto, ganó fuerza una idea que hasta hace poco sonaba marginal: que observadores externos y supuestamente neutrales trabajen físicamente dentro de las empresas que desarrollan estos sistemas. Se les llama embedded evaluators —evaluadores incrustados— y su función sería monitorear en tiempo real los procesos de creación y despliegue de modelos de IA.
¿Cómo funcionaría un evaluador incrustado?
La propuesta consiste en que terceros ajenos a la compañía, con acceso a datos, reuniones y código fuente, puedan detectar riesgos antes de que se conviertan en crisis. A diferencia de las auditorías externas tradicionales, que ocurren después de los hechos y con información limitada, estos evaluadores estarían presentes durante el desarrollo mismo de la tecnología. La idea ha sido impulsada tanto por académicos como por exfuncionarios de seguridad tecnológica, aunque todavía no existe un modelo único de implementación.
Sin embargo, la jefa de políticas de Hugging Face, una de las plataformas de IA más influyentes, advierte que los evaluadores incrustados no serán una solución fácil. Señala que garantizar su independencia real —evitando que sean cooptados por la cultura empresarial o limitados por acuerdos de confidencialidad— sigue siendo un desafío sin resolver. Por ahora, ningún país ha legislado al respecto, pero el debate ya está instalado en foros de gobernanza de IA en Estados Unidos y Europa.
Lo que esto significa para Chile
Chile no tiene aún una ley de inteligencia artificial, aunque el gobierno presentó en 2024 una Política Nacional de IA que menciona la necesidad de mecanismos de supervisión. La discusión sobre evaluadores incrustados todavía no llega al Congreso ni al Ministerio de Ciencia, pero el tema es relevante: si el país avanza hacia la regulación, podría considerar este modelo como una alternativa a las auditorías ex post que hoy son la norma. Por ahora, no hay iniciativas concretas ni plazos para implementar algo similar en el ecosistema local de startups y laboratorios de IA.
El concepto, sin embargo, ya se discute en organizaciones como la Alianza para la Gobernanza de la IA, donde participan expertos chilenos. Y aunque ningún laboratorio nacional ha anunciado planes de adoptar evaluadores incrustados, la experiencia internacional sugiere que, ante la velocidad del desarrollo tecnológico, esperar a que ocurra un desastre para regular puede ser tarde. La pregunta que queda abierta es si Chile optará por fiscalizar desde adentro o seguir mirando desde afuera.
Con información de TechCrunch
