IA
Transformers ya corre los modelos GGUF de llama.cpp
La integración reutiliza los kernels de ggml, parte por los Mac con Apple Silicon y arranca con la arquitectura Qwen3.5.
Hugging Face
Etiqueta
#cuantizacion
7 notas publicadas
IA
VC-Attention supera 6,02 veces a SageAttention2 en un B200
El kernel de Nunchux AI cuantiza solo el residuo de los valores y cambia la exponencial en FP32 del softmax por una multiplicación y suma fusionadas, sin entrenamiento previo.
MarkTechPost
IA
GGUF, GPTQ, AWQ y EXL2, qué distingue a cada formato
La confusión parte por mezclar dos capas distintas, el contenedor que guarda los tensores en disco y el método que aprieta los pesos a menos bits.
MarkTechPost
IA
NVIDIA Jetson ya corre modelos de razonamiento sin conexión
La cuantización NVFP4 combinada con decodificación especulativa multiplica por 6,28 el rendimiento frente a BF16, según las pruebas que NVIDIA publicó para sus placas AGX Thor y AGX Orin.
NVIDIA Developer
IA
NVIDIA: cómo dimensionar GPU de inferencia sin sobregastar
La compañía publicó un marco de trabajo que ordena el cálculo alrededor del uso real de la carga, con cuatro escenarios de empresa y sus requisitos de memoria.
NVIDIA Developer
IA
NVIDIA cuantiza Nemotron 3 Ultra a NVFP4 con 5,9x más throughput
El equipo de NVIDIA reduce el checkpoint del modelo de 550B desde 1.121 GB en BF16 a 352 GB en NVFP4, con la técnica four-over-six que recupera 98,5% de la precisión sobre Blackwell.
NVIDIA Developer
IA
NVIDIA Model Optimizer: cómo cuantizar CLIP en FP8
Receta paso a paso de post-training quantization con ModelOpt que lleva CLIP-ViT-L-14 de FP16 a FP8 sin perder calidad en clasificación zero-shot ni retrieval.
NVIDIA Developer
Etiquetas relacionadas
Otros temas que aparecen junto a #cuantizacion en nuestra cobertura editorial.