CHIPSMORE-architectuur: De doorbraak in heterogene chiplets voor AI-inferentie

De recente publicatie van de National University of Singapore (NUS) over 'CHIPSMORE' markeert een cruciaal kantelpunt in het ontwerp van AI-hardware. Door gebruik te maken van Compute-in-Interconnect (CII) en Compute-in-Memory (CIM) in een heterogene chiplet-architectuur, addresseren de onderzoekers een van de meest kritieke knelpunten in de huidige AI-infrastructuur: de beperkte doorvoer bij multi-request Large Language Model (LLM) inferentie. Waar traditionele GPU's vaak kampen met het 'memory wall' probleem, waarbij de dataoverdracht tussen geheugen en verwerkingseenheid een enorme vertraging veroorzaakt, integreert CHIPSMORE rekenkracht direct in de datapad-infrastructuur. Dit minimaliseert de energieconsumptie en verhoogt de efficiëntie voor complexe taken zoals Low-Rank Adaptation (LoRA), waarbij meerdere modellen tegelijkertijd op één chip draaien. Vanuit industrieel perspectief heeft deze innovatie verstrekkende gevolgen. Voor fabrikanten van AI-chips betekent dit een verschuiving weg van monolithische ontwerpen naar modulaire chiplet-ecosystemen. De implementatie van CIM-technologie in chiplets vereist echter een nauwe integratie met geavanceerde packaging-technieken, zoals 2.5D of 3D-stacking (bijv. TSMC’s CoWoS of Intel’s EMIB). Dit creëert nieuwe uitdagingen voor de supply chain; bedrijven zullen meer moeten investeren in betrouwbare toeleveranciers van high-bandwidth geheugentechnologie en geavanceerde substraatmaterialen die de thermische dichtheid van dergelijke systemen aankunnen. De implicaties voor de markt zijn aanzienlijk. Hyperscalers zoals Microsoft, Google en AWS zullen nauwgezet toekijken, aangezien de mogelijkheid om LoRA-gebaseerde modellen efficiënter uit te voeren direct correleert met lagere operationele kosten per query. Dit verlaagt de drempel voor maatwerk-LLM's in enterprise-omgevingen. Vooruitkijkend is de verwachting dat we binnen drie tot vijf jaar een commerciële integratie van dergelijke 'in-interconnect' rekenkracht zullen zien in gespecialiseerde ASIC-ontwerpen. Dit zal de dominantie van generieke GPU’s in specifieke AI-datacenter-workloads onder druk zetten. CHIPSMORE is daarmee niet slechts een academisch experiment, maar een blauwdruk voor de volgende generatie energie-efficiënte AI-hardware die essentieel is voor de verdere schaling van generatieve AI.