43 notas publicadas
Lo hace con una versión de SGLang escrita para PyTorch nativo, y un vLLM equivalente marcó 700 tokens por segundo contra 452 de 16 GB200.
La biblioteca ZenDNN de AMD pasa a formar parte de oneDNN, el backend abierto que Intel impulsa desde la UXL Foundation.
El código sale bajo licencia Apache 2.0 y se apoya en vLLM, aunque la gestión de caché y el balanceo de carga de producción quedaron fuera.
El modelo de lenguaje por difusión es 40 veces más grande que Mercury 1, amplía el contexto a un millón de tokens y se compara con GPT-6 Luna y Claude Haiku 5.5.
El chip propio de Azure llega en 2027 en racks de hasta 96 aceleradores, con ocho pilas de HBM4 y 18 TB/s de ancho de banda por chip.
El sistema Minions reparte tareas de inferencia entre Mac con Apple Silicon y bajó esperas de más de 10 horas a minutos, según un paper de sus investigadores.
El acelerador de inferencia promete 1,3 PFLOPS en FP8, 1,5 TB/s de ancho de banda y refrigeración por aire en tarjetas PCIe de 350 W.
La tercera generación del acelerador propio de Microsoft se fabrica en el nodo N2P de TSMC y entrará a producción en 2027.
La empresa de carga de vehículos eléctricos diseñó gabinetes con hasta 48 GPU para aprovechar la potencia eléctrica que sus 1.600 estaciones no usan.
Un solo kernel GEMM escrito en Helion cubre las variantes estándar, Split-K y Swap-AB, y el autoajuste elige la mejor para cada forma de entrada.
Richard Ho, jefe de hardware de OpenAI, dijo a Tom's Hardware que el chip es de propósito general y que la demanda interna de cómputo lo ocupará por mucho tiempo.
La medición corrió sobre DeepSeek-R1 en ocho GPU B200, con el cifrado encendido y apagado, y dejó el sobrecosto de latencia por token bajo el 5%.
El motor de inferencia rompió la compatibilidad con torch.compile para correr más rápido en las GPU nuevas, y ahora construye un camino aparte para las viejas.
NVIDIA reescribió su cliente de carga desde cero, con procesos de trabajo separados y coordinación por ZMQ, para que el propio medidor deje de ser el cuello de botella.
TensorRT Edge-LLM corrió Qwen3.6-27B en un solo kit de desarrollo y completó las 1.007 vueltas 6,4 veces más rápido que la referencia de llama.cpp.
NVIDIA explica con Nemotron 3.5 Lightning en qué se diferencian los modelos densos y los de mezcla de expertos, y por qué la decisión depende del presupuesto de memoria y de la concurrencia.
La medición de SemiAnalysis AgentX sobre el modelo DeepSeek V4 Pro compara el NVL72 de Vera Rubin contra el GB300 NVL72, y NVIDIA presentó el resultado en el AI Infra Summit.
El modelo suma 763.000 millones de parámetros, activa 8.000 millones en la entrada y 16.000 millones en la salida, y con eso baja la caché de claves y valores hasta un octavo de la del V4 Flash.
Los 196.000 millones de parámetros N-gram del modelo se pueden mover a la RAM del sistema, y eso baja de 763 GB a 567 GB la memoria de GPU que pide para arrancar.
El fabricante de aceleradores de inferencia adopta la arquitectura de rack MGX en vez de construir su propia infraestructura de escala completa.
La startup de inferencia se suma a Qualcomm, Arm, Marvell, Amazon, Fujitsu y MediaTek en licenciar la interconexión de Nvidia, y renuncia a diseñar su propia red de escalado vertical.
El modelo abre pesos bajo licencia MIT y ataca el cuello de botella real de los agentes largos, que no es la generación sino el costo de guardar millones de tokens en memoria.
La desagregación encode-prefill-decode separa el encoder de visión del resto de la inferencia y rinde en cargas con muchas imágenes, pero se vuelve contraproducente con salidas largas.
El acuerdo cubre silicio personalizado para inferencia y óptica de 1,6 Tbps, aunque ninguna de las dos compañías entregó detalles concretos sobre los chips involucrados.
El centro de datos correría solo inferencia, no entrenamiento, y sería el mayor conjunto conocido de aceleradores Huawei, aunque la entrega completa tomaría más de un año.
NVIDIA publica las reglas prácticas para decidir cuántos tokens adelantar y con qué mecanismo generarlos, sin perder precisión en la inferencia.
La compañía publicó un marco de trabajo que ordena el cálculo alrededor del uso real de la carga, con cuatro escenarios de empresa y sus requisitos de memoria.
El tiempo hasta el primer token es la métrica con la que los equipos eligen su API de inferencia, y también la que más los confunde: la síntesis no habla hasta recibir una cláusula completa.
OpenAI publicó en Hot Chips 37 los primeros números de su chip de inferencia propio: entre 1,5 y 1,9 veces más trabajo por watt que los sistemas GB200 y GB300 de NVIDIA.
Alibaba liberó los pesos del modelo como anticipo de la arquitectura Qwen4, y NVIDIA publicó su validación sobre el rack GB300 NVL72 con soporte desde el día cero.
NVIDIA liberó implementaciones de referencia para llevar modelos abiertos desde un identificador de Hugging Face hasta inferencia nativa en C++, sin PyTorch ni Python en producción.
OpenAI detalló en Hot Chips la arquitectura NUMA de su acelerador de inferencia: 216 GB de HBM4, dos redes internas separadas y más de la mitad del núcleo escrita con ayuda de sus propios modelos.
Nvidia midió sus nuevos sistemas contra el GB300 NVL72 usando trayectorias reales de sesiones de programación con agentes, aunque los resultados todavía esperan revisión de SemiAnalysis.
El primer acelerador propio de OpenAI, hecho con Broadcom, se llevó los mejores números de rendimiento por watt en el banco de pruebas InferenceX, aunque no pasa de muestras de ingeniería.
Raptor invierte el orden habitual del apilamiento 3D y deja el dado de cómputo arriba, pero la empresa aún no dice quién le fabrica la memoria a medida.
El motor sombra de NVIDIA mantiene una réplica ya inicializada en la misma GPU y comparte los pesos en memoria, con lo que el reinicio en frío de 283 segundos se vuelve innecesario.
La primera memoria de bajo consumo con lógica integrada multiplica por ocho el ancho de banda y rinde 3,01 veces más tokens por segundo en inferencia.
NVIDIA presentó su nuevo computador de entrada para IA de borde, que duplica el rendimiento del Orin Nano Super y consume 40% menos en modo de 15 watts.
OpenAI mostró en Hot Chips su acelerador desarrollado con Broadcom, pensado solo para inferencia, con producción en volumen prevista para 2027.
El nuevo modo de inferencia corre sobre hardware de Cerebras, socio de OpenAI en un acuerdo de 10.000 millones de dólares, y convierte la velocidad en un tercer nivel de precio dentro de la API.
El chip, atribuido a Jeff Dean, grabaría el plano de Gemini en el hardware para ser 6 a 10 veces más eficiente que los TPU actuales. Google lo desplegaría desde 2028 para abaratar la inferencia.
Dos meses después del lanzamiento, el stack abierto pasó de 2.200 a 11.200 tok/s/GPU a la misma interactividad gracias a KV Compression V2, W4A4 MegaMoE y CUDA graphs rompibles en el prefill.
Otros temas que aparecen junto a #inferencia en nuestra cobertura editorial.
