CHIPSMORE: Evolusi Chiplet Heterogen yang Mendefinisikan Ulang Akselerasi Inferensi LLM

Penelitian terbaru dari National University of Singapore (NUS) melalui proyek CHIPSMORE (Compute-in-Interconnect and -Memory Chiplets) menandai titik balik krusial dalam arsitektur perangkat keras untuk kecerdasan buatan. Inovasi ini menyatukan metode Compute-in-Memory (CIM) dan Compute-in-Interconnect secara heterogen untuk menangani beban kerja Large Language Models (LLM) yang sangat intensif, terutama dalam skenario multi-permintaan (multi-request) dan penggunaan LoRA (Low-Rank Adaptation). Secara teknis, tantangan terbesar dalam inferensi LLM saat ini adalah 'bottleneck' memori atau keterbatasan bandwidth saat memindahkan bobot model berukuran besar dari VRAM ke unit pemrosesan. CHIPSMORE menjawab tantangan ini dengan membawa logika komputasi langsung ke dalam arsitektur memori dan interkoneksi, sehingga secara drastis mengurangi latensi data movement dan konsumsi daya. Pendekatan ini sangat relevan bagi industri pusat data yang berupaya menyeimbangkan throughput tinggi dengan batasan efisiensi termal dan energi. Dampak bagi rantai pasokan semikonduktor cukup signifikan. Kehadiran arsitektur chiplet heterogen ini memaksa produsen semikonduktor, seperti TSMC atau Samsung Foundry, untuk mengoptimalkan kembali teknologi pengemasan tingkat lanjut (advanced packaging) seperti 3D IC atau CoWoS. Dengan mengintegrasikan CIM langsung ke dalam chiplet, kebutuhan terhadap memori HBM (High Bandwidth Memory) mungkin mengalami pergeseran permintaan, di mana memori yang lebih terspesialisasi akan mulai menggantikan ketergantungan pada standar HBM yang konvensional. Ke depannya, teknologi ini diprediksi akan mempercepat demokratisasi AI di sisi edge dan server skala menengah. Kemampuan untuk menjalankan inferensi LLM dengan LoRA secara efisien berarti perusahaan tidak lagi harus melakukan *fine-tuning* model besar yang memakan biaya besar secara terus-menerus. Kita akan melihat adopsi model bisnis baru di mana akselerator AI yang dipersonalisasi dapat diintegrasikan dalam satu paket SoC (System-on-Chip) yang mampu menangani beragam tugas spesifik secara paralel. Meskipun tantangan skalabilitas produksi tetap ada, CHIPSMORE memberikan peta jalan konkret bagi industri untuk keluar dari batasan Von Neumann yang selama ini menghambat kecepatan pemrosesan AI generatif.