Robótica
GLM-5.3 y sus 744.000 millones de parámetros corren en 16 GB de RAM
Jim Bruges carga desde un SSD solo los expertos que necesita cada token. Funciona, aunque GLM-5.3 tardó siete minutos en nombrar tres planetas.
Hackster.io
Etiqueta
#inferencia ia
5 notas publicadas
Open Source
Fujitsu anuncia MONAKA, un Arm de 144 núcleos hecho a 2 nm
El procesador apila silicio de 2 nm para los núcleos y de 5 nm para la caché, llega en noviembre y apunta a inferencia de IA sin acelerador externo.
Phoronix Tests
Electrónica
Fujitsu apila 2 nm sobre 5 nm en su CPU para inferencia
El FUJITSU-MONAKA llega a 3,8 GHz, mueve memoria a 8800 MT/s y trae instrucciones de matrices para correr inferencia sin un acelerador aparte.
Electronics For You
IA
IA: La inferencia supera al entrenamiento en gasto mundial
El paradigma de la inteligencia artificial cambia: la ejecución de modelos consume más recursos que su creación, impactando el mercado de hardware y precios.
Xataka
IA
TensorRT 11.0 escala inferencia IA multi-GPU con NCCL nativo
El nuevo soporte multi-device del runtime habilita paralelismo de tensor y de contexto, y los benchmarks colocan a DeepSpeed Ulysses como la mejor estrategia para diffusion con secuencias largas.
NVIDIA Developer
Etiquetas relacionadas
Otros temas que aparecen junto a #inferencia ia en nuestra cobertura editorial.