La demanda por inteligencia artificial no para de acelerar. Las cargas de trabajo son cada vez más grandes, los modelos más complejos y crece la presión por desplegar infraestructura de cómputo más rápido que nunca. Para responder a esa demanda se están levantando fábricas de IA, sistemas a escala de centro de datos que convierten datos y energía en inteligencia de forma continua.
Ese enfoque cambió de raíz el diseño y la operación de los sistemas. Los FLOPS pico del acelerador ya no bastan. Las cargas actuales, que incluyen modelos de más de un billón de parámetros, arquitecturas Mixture-of-Experts (MoE), razonamiento de contexto largo y servicio desagregado, exigen que muchos aceleradores trabajen juntos como una sola unidad de cómputo. Eso requiere comunicación GPU a GPU de alto ancho de banda y baja latencia.
¿Qué es una red de escalado vertical y por qué importa?
Conviene separar dos conceptos. Las redes de escalado horizontal (scale-out) conectan servidores a lo largo del centro de datos. Las redes de escalado vertical (scale-up) permiten que las GPUs dentro de un mismo dominio se comporten como un único motor de cómputo. Ambas son esenciales, pero resuelven problemas distintos.
Las telas scale-out, como NVIDIA Quantum InfiniBand y NVIDIA Spectrum-X Ethernet, habilitan clústeres de miles a cientos de miles de GPUs. Las telas scale-up conectan aceleradores en un solo dominio con alto ancho de banda, baja latencia predecible y memoria compartida de alto ancho de banda (HBM). En el entrenamiento y la inferencia modernos, es en el dominio scale-up donde ocurren los patrones de comunicación más sensibles a la latencia.
Un buen ejemplo es la inferencia con modelos MoE. Para maximizar el throughput, las implementaciones eficientes usan paralelismo de expertos y distribuyen los expertos entre distintas GPUs. Eso paraleliza la carga, pero genera una comunicación intensiva de todos contra todos: los tokens deben despacharse a los expertos seleccionados, procesarse, reunirse, reordenarse y pasarse hacia adelante. Si los expertos quedan detrás de una tela de bajo ancho de banda o alta latencia, la ganancia del paralelismo se puede borrar por completo.
NVIDIA afirma haber demostrado el impacto de esta arquitectura en MoE de gran escala. Para modelos como DeepSeek-R1 y Qwen 235B, además de un LLM simulado de 2 billones de parámetros, NVLink entrega hasta 2,3 veces más throughput de decodificación que el Ethernet comercial de referencia.
¿Cuánto ancho de banda entrega la sexta generación?
Con Vera Rubin NVL72, la sexta generación de NVLink provee 3,6 TB/s por GPU de ancho de banda bidireccional GPU a GPU y 260 TB/s de ancho de banda a nivel de rack en un dominio de 72 GPUs. Según NVIDIA, la latencia de extremo a extremo para las transferencias GPU a GPU es 3 veces menor que en las alternativas basadas en Ethernet comercial, y la tasa de paquetes es 10 veces mayor.
Las bandejas de conmutadores NVLink y una espina dorsal de 5.000 cables forman una topología única de todos contra todos, de modo que cualquier GPU se comunica con cualquier otra con latencia y ancho de banda uniformes. Cada bandeja incluye cuatro chips conmutadores NVLink 6, 28,8 TB/s de ancho de banda total y 14,4 TFLOPS de cómputo en red en FP8. En un solo rack Vera Rubin NVL72, NVLink 6 provee 260 TB/s de ancho de banda agregado y 130 TFLOPS de cómputo en red para acelerar reducciones y otras operaciones colectivas.
La hoja de ruta de NVLink contempla dominios scale-up de hasta 1.152 GPUs y conectividad mediante óptica co-empaquetada.
Cuando el software es parte de la red
El software es una pieza crítica del stack e incluye NVIDIA Dynamo, NVIDIA TensorRT-LLM y la librería de comunicaciones colectivas NCCL, todo construido sobre CUDA, la plataforma de cómputo paralelo que NVIDIA lanzó hace casi 20 años.
Hardware y software se desarrollan con un enfoque de codiseño extremo, donde todo el stack, desde los chips hasta los sistemas, la tela y el software, se optimiza en conjunto. El caso más citado por NVIDIA es la transición de Hopper a Blackwell: al duplicar el ancho de banda de NVLink, ampliar el dominio scale-up de 8 a 72 GPUs e incorporar Dynamo para inferencia desagregada, la compañía afirma haber logrado una mejora de 50 veces en el rendimiento de inferencia MoE por watt. La plataforma Vera Rubin extiende esto al duplicar de nuevo tanto el ancho de banda como el cómputo en red.
Más allá de las cifras, el argumento de fondo es económico. Una red de escalado vertical bien diseñada eleva el retorno de inversión al optimizar los tokens entregados por watt, por dólar y por metro cuadrado de la fábrica, con corridas de entrenamiento más cortas, mayor utilización y un menor costo por token.
