NVIDIA expande Cosmos: IA física más rápida y barata
Nuevas herramientas y planos de fábrica de datos aceleran el desarrollo de modelos del mundo real
NVIDIA anunció la expansión de su plataforma Cosmos con nuevas herramientas de entrenamiento, puntos de control de simulación y planos de fábrica de datos. La plataforma permite a los desarrolladores construir modelos del mundo (world models), sistemas de IA física que entienden y simulan el entorno real. Cosmos se ubica entre los cinco primeros en seis rankings de modelos abiertos, ofreciendo modelos frontera, datos, herramientas y recetas para escalar entrenamiento, adaptar modelos y optimizar rendimiento antes del despliegue.
Fábrica de datos: etiquetado, aumento y datos sintéticos
Cosmos Data Factory reúne herramientas para etiquetar, curar, aumentar y evaluar datos a escala, con soporte para entradas multimodales y multisensoriales. Incluye cinco planos nativos de la nube, disponibles en GitHub, Microsoft Azure, Nebius y CoreWeave: generación de datasets para vehículos autónomos, aumento de atributos en imágenes, generación de videos de eventos, generación de defectos en placas de circuito, metal y vidrio, y aumento de datos de video con cambios climáticos y de iluminación.
Empresas ya usan estos planos. Porsche lidera un volante de datos compartido de vehículos autónomos entre marcas del Grupo Volkswagen, usando Cosmos Data Factory a través de Voxel51 en Microsoft Azure. Esto reduciría hasta un 90% las pruebas físicas repetidas y acortaría los ciclos de desarrollo hasta un 85%. ANYbotics generó más de 1.500 clips de video sintéticos con Cosmos Data Factory para entrenar robots de inspección industrial que detectan derrames y cambios entre visitas. Ultralytics, empresa de visión computacional, reentrenó su modelo YOLO con imágenes reales y defectos sintéticos, mejorando la localización y recuperación de defectos.
Entrenamiento, adaptación y optimización de modelos
Con los datos preparados, los desarrolladores pueden entrenar su propia arquitectura o partir de un modelo preentrenado. En GTC Berlin, NVIDIA extendió las herramientas y recetas de Cosmos Framework como habilidades de agente a más modelos abiertos, junto con Cosmos 3, para acelerar el paso de experimentación a despliegue. Ahora es posible adaptar modelos como GR00T, Alpamayo, QWEN, Pi0.5 y otros compatibles de Hugging Face mediante fine-tuning y aprendizaje por refuerzo, optimizar con destilación y cuantización, y desplegar con inferencia de alto rendimiento.
El laboratorio de robótica MicroAGI postentrenó Cosmos 3 con videos de humanos manipulando objetos y destiló su razonador de 32 mil millones de parámetros a un modelo Nano de 8 mil millones sin pérdida de precisión. Los desarrolladores pueden etiquetar datos y postentrenar Cosmos 3 en Roboflow para entornos y tareas específicas, y desplegar esos modelos en GPUs de NVIDIA para llevar razonamiento de video a fábricas y bodegas.
Simulación, inferencia y aplicaciones en terreno
Las nuevas variantes del modelo Cosmos 3 Nano para simulación permiten probar políticas autónomas en escenarios multivista y multisensor repetibles y difíciles de capturar. Los desarrolladores pueden desplegar modelos Cosmos usando los microservicios NIM actualizados, que ofrecen hasta el doble de inferencia más rápida sin pérdida de calidad, con análisis continuo de video que permite alertas en menos de un segundo.
Para desarrolladores de visión IA, el nuevo NVIDIA Metropolis Blueprint para búsqueda y resumen de video (VSS) 3.3, construido sobre Cosmos NIM, convierte un prompt en una aplicación de video IA y ayuda a monitorear un 40% más de streams con la misma GPU. ADNOC usa la plataforma agentic MistIQ de Fogsphere, construida con Cosmos y el VSS Blueprint, para detectar riesgos de seguridad en tiempo real en 65 sitios. Para eventos raros, Fogsphere también genera datos sintéticos de entrenamiento con Cosmos Data Factory, mejorando la detección sin necesidad de escenificar situaciones peligrosas.
Con información de NVIDIA
