CIMERA: De doorbraak in Compute-in-Interconnect die de 'Memory Wall' voor AI-inference sloopt

De recente publicatie van de National University of Singapore (NUS) over CIMERA ('Compute-in-Interconnect and Memory with Reconfigurable Precision') markeert een potentieel kantelpunt in het ontwerp van AI-versnellers voor Large Language Models (LLM's). Als analisten in de halfgeleiderindustrie observeren we al geruime tijd dat de traditionele Von Neumann-architectuur, waarbij data constant tussen geheugen en processor wordt verplaatst, de grootste barrière vormt voor schaalbare AI-inferentie. Dit fenomeen, bekend als de 'memory wall', is de voornaamste oorzaak van de energie-inefficiëntie en latentieproblemen bij moderne LLM-modellen. CIMERA pakt dit probleem aan door een radicale benadering: het integreren van rekenkracht direct in zowel de interconnect als het geheugen zelf. In plaats van alleen 'Compute-in-Memory' (CiM) toe te passen, waarbij data binnen de geheugencellen wordt verwerkt, introduceert NUS een reconfigureerbare precisie die het mogelijk maakt om de rekenkracht dynamisch aan te passen aan de specifieke behoeften van een model. Deze flexibiliteit is essentieel voor LLM-inferentie, waar verschillende lagen van het netwerk variërende precisieniveaus (van FP16 tot INT4) vereisen om zowel nauwkeurigheid als snelheid te optimaliseren. De impact op de industrie is aanzienlijk. Voor fabrikanten van geheugenchips, zoals Samsung, SK Hynix en Micron, betekent dit dat de rol van DRAM en HBM moet evolueren. We verwachten een verschuiving waarbij geheugenproducenten meer logische functies in hun chips gaan inbouwen, wat de grens tussen een 'geheugenleverancier' en een 'processorontwerper' doet vervagen. Supply chain-technisch gezien betekent dit een noodzaak voor geavanceerde packaging-technologieën zoals Chiplets en 3D-stacking, aangezien de integratie van Compute-in-Interconnect nauw verweven is met de fysieke lay-out op wafer-niveau. Op de lange termijn zal CIMERA de drempel verlagen voor het draaien van complexe AI-modellen op edge-apparaten. Door de energiebehoefte voor datatransport drastisch te verlagen, kunnen systemen met een beperkt stroombudget toch indrukwekkende inferentie-prestaties leveren. Voor de komende jaren voorspellen wij dat de integratie van rekenlogica in interconnects de nieuwe standaard wordt in het ontwerp van SoC’s (System-on-Chips) voor AI, waarbij de focus verschuift van pure rekenkracht naar datatransport-efficiëntie. Bedrijven die deze 'in-situ' verwerkingstechnologieën snel commercialiseren, zullen een dominante positie innemen in de volgende golf van AI-hardware.