La startup surcoreana AnalogAI eligió la propiedad intelectual memBrain SAGE de Silicon Storage Technology para sus primeros procesadores de IA de borde. El anuncio salió en un comunicado de Microchip, y Max Maxfield, columnista de EE Journal, lo usó para revisar una idea que llevaba años en segundo plano, la IA analógica que usa la memoria flash como elemento de cómputo.
Primero los nombres. Microchip Technology es un fabricante de semiconductores que vende microcontroladores, microprocesadores, memorias y muchos otros componentes. Una de sus filiales, Silicon Storage Technology (SST), se especializa en memoria flash y en la propiedad intelectual asociada.
SST desarrolló memBrain SAGE (Synaptic Analog Generative Engine), un bloque de hardware neuromórfico que los diseñadores pueden incorporar en sus ASIC y SoC. Está pensado para una arquitectura de cómputo analógico en memoria (aCIM), que hace los cálculos de IA directamente dentro de la memoria en vez de mover los datos de ida y vuelta entre la memoria y un procesador.
AnalogAI usa memBrain SAGE para una generación nueva de procesadores de IA de borde de muy bajo consumo, capaces de aprender y adaptarse sobre la marcha. La idea es que robots, drones y vehículos hagan inferencia y se ajusten a un entorno físico cambiante en tiempo real, sin depender de la nube.
Para explicar la tecnología, Maxfield conversó con David Eggleston, director asociado de desarrollo de negocios de la división de licencias de Microchip.
¿Cómo se multiplica dentro de una memoria?
Según Eggleston, para entender memBrain hay que partir por la operación de multiplicar y acumular (MAC). Es uno de los bloques básicos de la IA, y las redes neuronales pasan buena parte de su tiempo multiplicando números y sumando los resultados.
En una implementación digital, como las GPU que se usan para acelerar IA, las operaciones MAC las hace un circuito aritmético dedicado. El procesador trae los valores desde la memoria, los multiplica, suma el resultado a un total acumulado y repite el proceso una y otra vez. Las GPU modernas ejecutan cantidades enormes de estas operaciones en paralelo, pero mover todos esos valores entre la memoria y los elementos de proceso cuesta tiempo y energía.
memBrain no guarda los pesos de la red neuronal en memoria para llevarlos después a un circuito aritmético aparte. Usa las propias celdas de memoria para calcular. La base es la memoria flash embebida SuperFlash de SST, pero en vez de guardar unos y ceros, memBrain programa cada celda para representar valores analógicos.
Cada celda de flash puede representar uno de 32 niveles distintos, o sea cinco bits de información, explicó Eggleston. Esos niveles se expresan como conductancia eléctrica, que es el inverso de la resistencia. Al aplicar un voltaje sobre una conductancia, la corriente que resulta es proporcional al producto de ambos. La multiplicación la hace la física de la celda.
Al ordenar las celdas en una matriz y aplicar voltajes de entrada a varias filas a la vez, las corrientes se suman solas a lo largo de cada columna. Esa es la parte de acumulación de la operación MAC. En vez de una sucesión de cálculos digitales individuales, memBrain ejecuta muchas operaciones MAC en paralelo dentro de la propia matriz de memoria.
Qué incluye el paquete de SST
memBrain es más que un arreglo ingenioso de celdas. SST lo entrega como una solución completa de propiedad intelectual para que los diseñadores de semiconductores la integren en sus propios ASIC y SoC. Además de las matrices de SuperFlash, el paquete trae circuitos de control analógico, convertidores digital a analógico (DAC) y analógico a digital (ADC), modelos de simulación, programas de prueba y herramientas de software para preparar y cargar los modelos de redes neuronales.
La tecnología no exige un proceso de fabricación exótico. SST la desarrolló sobre procesos de fundición establecidos de 40 nm y 28 nm, lo que ayuda a contener el costo de fabricación.
Lo más llamativo es el consumo. Eggleston contó que una celda de flash convencional puede trabajar con una corriente de lectura de 10 microamperes o más, mientras que memBrain opera sus celdas con corrientes de entre 1 y 100 nanoamperes. Para eso los transistores trabajan en su región de subumbral, algo que exige bastante experiencia para lograrlo de forma confiable.
¿Cuánto rinde frente a una GPU?
Eggleston mostró un ejemplo que compara una implementación aCIM con un sistema basado en GPU, ambos corriendo una red neuronal YOLOv5 para detección de amenazas en video.
| Implementación | Cuadros por segundo | Consumo | Cuadros por segundo por watt |
|---|---|---|---|
| GPU | 200 | 60 W | cerca de 3,33 |
| aCIM con memBrain | 150 | 3 W | 50 |
Según las cifras de SST, la implementación aCIM entrega cerca de 15 veces la eficiencia energética de la GPU en esta comparación. SST también apunta a una reducción importante del costo del silicio, lo que hace la propuesta más atractiva para aplicaciones sensibles al precio.
Maxfield no sostiene que el cómputo analógico en memoria vaya a reemplazar a las GPU en todo. Las GPU siguen siendo muy capaces, sobre todo con modelos grandes y complejos y con cargas que piden flexibilidad y mucho rendimiento de cómputo. En la IA de borde, donde cada miliwatt cuenta, correr redes neuronales sin trasladar datos todo el tiempo entre memoria y procesador sí pesa.
IA que aprende en terreno
memBrain permite hacer inferencia con muy poca energía. AnalogAI quiere ir un paso más allá y que el sistema se adapte a circunstancias nuevas después de instalado.
Lo habitual es entrenar los modelos de IA en sistemas de cómputo grandes y luego llevarlos a los equipos de borde para que hagan inferencia. Eso funciona bien hasta que el mundo real presenta situaciones inesperadas, como un robot autónomo que recorre un entorno desconocido o un dron que opera con clima y luz cambiantes.
En vez de depender solo de un modelo fijo, AnalogAI desarrolla procesadores que combinan memBrain SAGE con algoritmos propios diseñados en función del hardware. La meta es que los equipos hagan inferencia y se adapten a las condiciones reales sin consultar todo el tiempo a un servidor remoto, con un consumo de un watt o menos.
Las aplicaciones van más allá del robot y el dron del ejemplo. Incluyen vehículos autónomos, máquinas industriales y otros sistemas que deben decidir de forma local, muchas veces con poca energía disponible y sin acceso garantizado a la nube. Los procesadores de AnalogAI están en una etapa temprana.
Un ecosistema de licenciatarios
Eggleston insistió en que memBrain no es una propuesta de una sola empresa o un solo producto. Es la base de un grupo creciente de compañías de semiconductores que licencian la propiedad intelectual y la usan para procesadores dirigidos a distintas aplicaciones. AnalogAI es el cuarto licenciatario público de memBrain, y según Eggleston hay otros en camino.
La primera colaboración llegó en febrero de 2022, cuando la empresa china Witmem (WITINMEM en el anuncio original de Microchip) adoptó la tecnología de SST para procesamiento de voz de bajo consumo. En septiembre de 2023 siguió Intelligent Hardware Korea, que desarrolla plataformas de cómputo analógico para IA de borde, en especial visión por computador.
