Lambda y NVIDIA encienden una fábrica de IA con óptica co-empaquetada
El proveedor cloud Lambda conecta más de 10.000 GPUs con switches NVIDIA Photonics, reduciendo latencia y consumo en clústeres masivos.
Entrenar un modelo de inteligencia artificial requiere que miles de GPUs trabajen en paralelo, y la red que las conecta debe ser rápida, eficiente y resistente a fallas. El proveedor de servicios cloud Lambda acaba de dar un paso clave en ese frente: está usando los switches de óptica co-empaquetada (CPO, por sus siglas en inglés) NVIDIA Photonics para unir racks GB300 NVL72 con más de 10.000 GPUs. El objetivo es alimentar una fábrica de IA a gran escala con menor consumo energético, mayor resiliencia y un tiempo medio entre interrupciones (MTBI) más largo.
La red como cuello de botella
“El networking tiene que seguir el ritmo de las demandas de clústeres de IA cada vez más grandes”, dijo Dave Ward, presidente de servicios cloud de Lambda. “Incorporar óptica co-empaquetada en un despliegue de esta escala es un paso importante hacia la infraestructura que necesita la próxima generación de IA”. En las pruebas realizadas por la compañía, la latencia de red —el tiempo que tarda en moverse un dato— bajó cerca de un 4% a nivel de rack y hasta un 10% a nivel de pod. En configuraciones de rack, unidad escalable y pod, la red mantiene el mismo throughput (volumen de datos transferidos) que la óptica enchufable convencional.
Menos calor, más fiabilidad
La eficiencia energética y la resiliencia son críticas porque la red está en el centro de la productividad de una fábrica de IA. En un trabajo de entrenamiento grande, un solo enlace interrumpido puede frenar a miles de GPUs. Con inferencia agéntica (agentes autónomos que toman decisiones), una disrupción en la red puede generar efectos de latencia en cadena sobre muchos agentes. Cada interrupción cuesta tiempo, y cada watt gastado en networking es un watt que no se usa para cómputo.
NVIDIA Photonics reemplaza los transceptores enchufables con motores ópticos co-empaquetados en el propio switch. Esto entrega hasta 5 veces mejor eficiencia energética y hasta 15 veces mayor fiabilidad que la óptica convencional. Además, usa 4 veces menos láseres, lo que significa menos componentes propensos a fallar. Los switches del despliegue de Lambda tienen 144 puertos que corren a 800 Gb/s cada uno. El enfriamiento líquido saca el calor del chip del switch y de los motores ópticos. La compañía reporta una temperatura mediana de 36°C en la óptica, frente a los 51°C de la óptica enchufable tradicional, y sus pruebas encuentran una integridad de señal más estable.
Láseres reemplazables en terreno
NVIDIA Photonics acerca la conversión eléctrico-óptica al chip del switch. Cada switch tiene 18 fuentes de luz externas removibles que suministran luz a los motores ópticos. Esos motores están sobre el mismo empaque que el chip y convierten señales eléctricas en luz que viaja por fibra entre partes del clúster. Los técnicos pueden cambiar los módulos de fuente de luz en terreno, a diferencia de la óptica enchufable tradicional, que obliga a reemplazar el módulo entero si un láser falla. El co-empaquetado acorta el camino eléctrico de pulgadas a milímetros, lo que reduce la pérdida de señal y elimina la necesidad de chips retimer, bajando tanto el consumo como la cantidad de piezas en la ruta de la señal.
Con información de NVIDIA