CoreWeave lanza NVIDIA Vera Rubin NVL72 para IA en producción

CoreWeave, el proveedor de nube especializado en inteligencia artificial, anunció esta semana en su conferencia Fully Connected, en San Francisco, que su plataforma ya ofrece los sistemas NVIDIA Vera Rubin NVL72, la nueva generación de infraestructura de NVIDIA para IA. El hardware incluye redes Ethernet Spectrum-X de 102,4 Tbps (terabits por segundo), y el primer cliente en correr cargas de producción sobre él es Cognition, el laboratorio detrás del agente de programación Devin.

La llegada de Vera Rubin NVL72 a CoreWeave Cloud convierte a la compañía en uno de los primeros proveedores en entregar el sistema en manos de clientes. El clúster para Cognition se levantó en días, y su capacidad podrá operarse desde servicios como CoreWeave Kubernetes Service, Mission Control, Sandboxes e Inference.

Vera Rubin NVL72: el salto de Devin

Cognition entrena a Devin, le aplica aprendizaje por refuerzo (una técnica de entrenamiento por ensayo y error) y corre en producción su inferencia en CoreWeave; la inferencia es la etapa en la que el modelo ya entrenado responde. En nueve meses, la empresa pasó a usar miles de GPUs (unidades de procesamiento gráfico) en esta nube. A comienzos de mes, CoreWeave recibió sus primeros racks de producción de Vera Rubin NVL72 y, poco después, Cognition comparó ese sistema con una línea base GB200 NVL72, la generación anterior, usando tareas reales de ingeniería de software. El resultado fue hasta 4,8 veces más tokens procesados por segundo (un token es una unidad de texto que el modelo procesa) para las cargas de inferencia SWE-2.

Para Devin, esas ganancias se traducen en generación de código en tiempo real más rápida y en un razonamiento de varios pasos más fluido. Silas Alberti, del equipo fundador de Cognition, dijo que, en cargas de codificación con agentes, el costo por token define qué se puede lanzar, y que tener todo en una misma plataforma, con ingenieros de NVIDIA y CoreWeave trabajando junto a los suyos, importa más que cualquier especificación aislada.

CPU Vera y CoreWeave Forge: la apuesta por agentes

CoreWeave también ofrecerá NVIDIA Vera, la primera CPU (procesador) creada para agentes de IA. La idea es responder a una doble exigencia: atender a los agentes con baja latencia y, al mismo tiempo, sostener miles de entornos aislados para entrenarlos.

En un solo rack, CoreWeave instala 128 CPUs y 11.264 núcleos, capacidad para más de 11.000 entornos concurrentes de un núcleo cada uno. En pruebas, los sandboxes (entornos aislados para ejecutar código) arrancan más de 3 veces más rápido con Vera, y en la prueba estándar Terminal-Bench la CPU mostró una mejora de 1,7x en las tareas resueltas. La comunicación entre agentes se apoya en switches Spectrum-X y procesadores de red BlueField-4.

En paralelo, CoreWeave lanzó CoreWeave Forge, un entorno que conecta el entrenamiento con la producción. La idea es que lo que un agente hace en producción alimente el siguiente entrenamiento y que cada evaluación afine la siguiente versión. Forge integra Weights & Biases, la experiencia de OpenPipe en el ajuste posterior de modelos y el proyecto open source de notebooks marimo, y se mantiene abierto a distintos modelos, marcos de trabajo y nubes.

Entre sus herramientas, CoreWeave ARIA ya está disponible: ayuda a analizar experimentos, proponer cambios de código y guardarlos en GitHub. CoreWeave Agent Lens, un servicio nuevo, convierte la observabilidad de agentes en producción en correcciones: mejora la detección de fallas en 20% y reduce a la mitad el costo de arreglarlas. CoreWeave Sandboxes, en tanto, ya está disponible de forma general para correr agentes, llamadas a herramientas, aprendizaje por refuerzo y evaluaciones.

¿Y Chile?

El anuncio ocurre en San Francisco y no menciona fechas ni condiciones para clientes en Chile. La vía más directa para un equipo local sería contar con una cuenta en CoreWeave Cloud: los clientes en acceso temprano ya pueden pedir capacidad Vera Rubin. Para el resto, el dato relevante es que la plataforma de NVIDIA sigue mostrando retorno por años: CoreWeave mantiene GPUs V100 funcionando con cargas de clientes casi una década después del lanzamiento de la arquitectura Volta, mientras empieza a correr la generación siguiente.

Con información de NVIDIA