CHIPSMORE: Il cambio di paradigma nell'inferenza LLM tramite chiplet eterogenei

La recente pubblicazione di CHIPSMORE da parte dei ricercatori della National University of Singapore segna un momento di svolta cruciale nell'architettura dei semiconduttori destinati all'intelligenza artificiale. L'integrazione di tecnologie Compute-in-Memory (CIM) e Compute-in-Interconnect rappresenta una risposta sofisticata alla sfida del 'collo di bottiglia di von Neumann', che da anni limita l'efficienza energetica e la velocità di calcolo nei datacenter. CHIPSMORE non si limita a ottimizzare il throughput, ma introduce un modello di gestione dinamica per l'inferenza multi-richiesta e multi-modalità, una necessità impellente data la crescente diffusione di Large Language Models (LLM) con adattamenti LoRA (Low-Rank Adaptation). Dal punto di vista dell'impatto industriale, questa architettura a chiplet eterogenei promette di rivoluzionare il mercato dei data center hyperscale. Spostando parte dell'elaborazione direttamente nel fabric di interconnessione e all'interno della memoria, si riduce drasticamente il movimento di dati tra la memoria principale e il processore, principale fonte di latenza e consumo energetico nei carichi di lavoro moderni. Questo approccio favorisce una maggiore densità di calcolo in spazi ridotti, allineandosi con le esigenze di sostenibilità energetica richieste dai moderni provider cloud. Le implicazioni per la catena di fornitura sono profonde. L'adozione di architetture chiplet richiede una maturazione accelerata delle tecnologie di packaging avanzato, come il 2.5D e il 3D IC (es. CoWoS di TSMC). Aziende come NVIDIA e AMD potrebbero vedere in questo paradigma un modello da integrare nelle future iterazioni dei loro acceleratori AI. Inoltre, la capacità di gestire dinamicamente i pesi dei modelli LoRA direttamente on-chip offre una flessibilità senza precedenti per il fine-tuning real-time, trasformando l'inferenza da un processo statico a un ecosistema dinamico. Nel lungo termine, prevediamo che questo approccio porterà a una commoditizzazione del silicio specializzato per l'inferenza, spingendo i produttori di memorie ad alta larghezza di banda (HBM) verso collaborazioni sempre più strette con i progettisti di logica, consolidando una tendenza verso sistemi eterogenei sempre più integrati e verticalizzati.