Etiqueta

#cuantizacion

2 notas publicadas

NVIDIA comprime Nemotron 3.5 Lightning de 66 GB a 22 GB

La destilación consciente de cuantización (QAD) permite llevar los pesos a 4 bits y triplicar el rendimiento sin perder la precisión del modelo original en BF16.

NVIDIA Developer18 ago

NVIDIA cuantiza Nemotron 3 Ultra a NVFP4 con 5,9x más throughput

El equipo de NVIDIA reduce el checkpoint del modelo de 550B desde 1.121 GB en BF16 a 352 GB en NVFP4, con la técnica four-over-six que recupera 98,5% de la precisión sobre Blackwell.

NVIDIA Developer28 jun

Etiquetas relacionadas

Otros temas que aparecen junto a #cuantizacion en nuestra cobertura editorial.

#Nvidia2 #nemotron2 #Blackwell1 #model-optimizer1 #nvfp41 #modelos-abiertos1 #inferencia1