El preentrenamiento de modelos de frontera convergió en la arquitectura de mezcla de expertos, conocida como mixture of experts (MoE), y eso está cambiando de raíz qué es lo que limita el entrenamiento de IA a gran escala. A medida que el cómputo por token baja, la comunicación determina cada vez más cuán eficientemente escalan los modelos a través de miles de GPU. El NVIDIA GB300 NVL72 marcó un récord mundial al preentrenar DeepSeek-V3 671B a 1.648 TFLOPs por GPU, mostrando cómo los avances en toda la plataforma de IA, del silicio a las redes y al software, siguen empujando el rendimiento del entrenamiento.
¿Por qué MoE cambia las reglas?
El giro veloz de la industria hacia estas arquitecturas MoE se explica por su enorme eficiencia de cómputo. A diferencia de los modelos densos, donde cada token activa cada parámetro y el cómputo por token sube con el total de parámetros, los modelos MoE activan solo un subconjunto de parámetros por token. Por ejemplo, DeepSeek-V3 tiene 671.000 millones de parámetros, pero activa solo unos 37.000 millones por token, alcanzando escala de frontera al costo por token de un modelo mucho más chico.
El costo de eso es la comunicación. Esos expertos viven en otras GPU, así que cada capa MoE debe despachar cada token a sus expertos y reunir los resultados mediante un patrón de comunicación all-to-all, tanto en la pasada hacia adelante como en la de retroceso. Esa operación colectiva está en la ruta crítica, lo que vuelve al rendimiento tan dependiente de la comunicación como del cómputo. Como ocurre en cada capa de cada paso de entrenamiento, los pequeños retrasos se acumulan hasta que el all-to-all ya no puede ocultarse detrás del cómputo, y sumar GPU deja de aumentar el rendimiento.
Por eso el preentrenamiento necesita un dominio scale-up fuertemente acoplado, donde cada GPU pueda comunicarse con cualquier otra sobre un tejido sin bloqueo que ofrezca ancho de banda alto y uniforme, baja latencia y ancho de banda de bisección completo a medida que el dominio crece. Entrenar un modelo de este tamaño requiere más GPU de las que cabe un solo dominio, así que muchos dominios deben enlazarse. Ese tráfico scale-out es más liviano y menos frecuente, pero igual debe completarse dentro de la ventana de cómputo y mantenerse predecible, para que ningún enlace lento gobierne el paso. El reto es de dos niveles, y el éxito se mide en FLOPs entregados, no en FLOPs pico.
GB300 NVL72: diseñado para el preentrenamiento acoplado
Un reto de comunicación de dos niveles pide un sistema diseñado en torno a él, no solo un chip más rápido. Cómputo, interconexión scale-up, redes scale-out, procesamiento de infraestructura y software cargan cada uno con una parte. Un déficit en cualquiera limita al conjunto. El GB300 NVL72 aborda estos desafíos en conjunto: es un sistema a escala de rack construido con codiseño extremo, donde silicio, interconexión, redes y software se ingenian como una sola plataforma en vez de ensamblarse por piezas.
En su núcleo está NVIDIA NVLink, el tejido scale-up que hace que 72 GPU NVIDIA Blackwell Ultra funcionen como una sola. El NVLink de quinta generación da a cada GPU 1,8 TB/s de ancho de banda y 130 TB/s de ancho de banda all-to-all sin bloqueo en todo el rack, de modo que cada GPU alcanza a cualquier otra en un solo salto.
El ancho es solo la mitad; el camino es el resto. NVLink es de semántica de memoria: una GPU lee y escribe directamente la HBM de otra, como operaciones nativas de carga y almacenamiento, sobre un tejido sin pérdidas y con control de flujo. La transferencia es una operación de memoria por hardware y no un envío por software, así que nada en la ruta de datos suma latencia, y las reducciones pueden correr dentro del switch mientras los datos fluyen.
Esto es lo que exige el tráfico por capa: el all-reduce del paralelismo de tensores y el all-to-all de MoE se quedan dentro del rack, a ancho de banda pleno y baja latencia. Más allá del rack, la plataforma escala sobre las SuperNIC NVIDIA ConnectX-8 a 800 Gbps por GPU, con InfiniBand NVIDIA Quantum-X800 o Ethernet NVIDIA Spectrum-X, para mantener el tráfico de gradientes oculto detrás del cómputo.
El codiseño se extiende más allá del tejido de entrenamiento hacia los servicios de infraestructura y el software. En las fábricas de IA de producción, las unidades de procesamiento de datos NVIDIA BlueField (DPU) aportan un dominio aislado de procesamiento de infraestructura para red virtual, acceso a almacenamiento, seguridad, telemetría y gestión del ciclo de vida, reduciendo la carga sobre la CPU anfitriona en trabajos de entrenamiento a gran escala.
Rendimiento con Megatron Core
Sobre el modelo DeepSeek-V3 671B, usando 256 GPU, Megatron Core alcanza 1.648 TFLOPs por GPU en el GB300 NVL72, frente a los 606 TFLOPs por GPU de resultados previos en GB200 NVL72, es decir unas 3 veces más rendimiento entregado por GPU en una sola generación.
NVIDIA sigue optimizando su software para exprimir más de la plataforma. En una carga de preentrenamiento del tamaño de DeepSeek-V3 671B, esas ganancias se acumulan: sobre el mismo sistema GB300 NVL72, el rendimiento subió 1,5 veces en seis meses solo por mejoras de software. Esto muestra que el rendimiento y el throughput de entrenamiento siguen mejorando bastante después de que el silicio sale a la calle.
Los frameworks abiertos aceleran igual
Los ingenieros de NVIDIA contribuyen directo a los frameworks abiertos en los que se apoya la comunidad de IA, sumando optimizaciones que los vuelven más rápidos en GPU NVIDIA. Desarrolladas junto a las comunidades de PyTorch y JAX, estas contribuciones llegan de forma continua y mejoran el rendimiento con el tiempo.
TorchTitan es el stack de entrenamiento nativo de PyTorch, y las contribuciones de NVIDIA mejoran continuamente su rendimiento en GB300 NVL72. Sobre DeepSeek-V3 671B, estas optimizaciones se acumulan hasta entregar cerca de 6 veces más rendimiento sobre la misma infraestructura.
JAX sigue el mismo arco. En seis meses, las optimizaciones de NVIDIA en JAX elevaron el rendimiento casi 10 veces sobre DeepSeek-V3 671B a escala de 256 GPU, todo por software. La última versión alcanza un throughput excepcional de 1.025 TFLOPs por GPU, y las optimizaciones siguen evolucionando.
Al escalar el preentrenamiento de DeepSeek-V3 671B de 256 a 1.024 GPU, Megatron Core conserva el 98,5% de su rendimiento por GPU, mientras que TorchTitan y JAX conservan cada uno un 97%, de modo que casi toda la infraestructura añadida se traduce en más tokens por segundo a nivel de sistema. Esa eficiencia es el tejido scale-out haciendo su trabajo con redes de 800 Gbps por GPU: el tráfico de gradientes se mantiene oculto detrás del cómputo y sumar más GPU incrementa el rendimiento total en vez de saturar la red.
Un récord mundial
Preentrenar DeepSeek-V3 671B con 256 GPU logra un récord mundial de 1.648 TFLOPs por GPU en el GB300 NVL72, lo que permite alcanzar el mismo rendimiento con una fracción del hardware respecto de la generación anterior.
Los frameworks abiertos cuentan la misma historia: el rendimiento sigue mejorando sobre la misma plataforma a medida que el software evoluciona. Estos resultados no son el techo, salen de una plataforma cuyo hardware, interconexión y software se diseñan juntos y se optimizan de forma continua. El rendimiento récord de hoy es apenas la base para uno aún mayor mañana.
