CHIPSMORE 아키텍처: 차세대 LLM 추론을 위한 이기종 메모리 칩렛의 혁신적 전환

싱가포르 국립대학교(NUS) 연구진이 발표한 ‘CHIPSMORE(Compute-in-Interconnect and -Memory Chiplets)’ 기술은 거대언어모델(LLM) 추론의 병목 현상을 해결할 수 있는 획기적인 전환점으로 평가받습니다. 현재의 AI 가속기 시장은 메모리 대역폭의 한계와 데이터 이동에 따른 에너지 효율 저하라는 고질적인 문제에 직면해 있습니다. CHIPSMORE는 이러한 문제를 해결하기 위해 ‘인터커넥트 내 컴퓨팅(Compute-in-Interconnect)’과 ‘메모리 내 컴퓨팅(CIM)’을 통합한 이기종 칩렛 구조를 채택했습니다. 특히 이 기술은 베이스 모델 추론뿐만 아니라, 최근 기업용 AI 시장에서 필수적으로 요구되는 LoRA(Low-Rank Adaptation) 기반의 동시 다중 요청 처리에서도 탁월한 성능을 발휘하도록 설계되었습니다. 이는 단일 모델의 효율적 실행을 넘어, 다양한 사용자 요구에 맞춘 다중 모드 추론 환경에서 최적의 처리량과 지연 시간 단축을 보장합니다. 산업적 측면에서 이번 연구는 AI 반도체 설계의 패러다임이 ‘연산 장치 중심’에서 ‘메모리-인터커넥트 일체형’으로 빠르게 이동하고 있음을 시사합니다. 특히 HBM(고대역폭 메모리) 시장을 주도하는 삼성전자와 SK하이닉스, 그리고 칩렛 생태계를 구축 중인 TSMC와 같은 파운드리 업체들에 시사하는 바가 큽니다. 향후 반도체 공급망은 단순히 높은 용량의 메모리를 생산하는 단계를 넘어, 데이터 처리를 메모리 인근 혹은 메모리 내부에서 수행할 수 있는 맞춤형 로직 설계 역량을 확보하는 방향으로 재편될 것입니다. 전망하자면, CHIPSMORE와 같은 기술은 향후 데이터 센터의 전력 소모를 획기적으로 줄이고 AI 서비스의 비용을 절감하는 핵심 동력이 될 것입니다. 클라우드 서비스 제공자(CSP)들은 이기종 칩렛 설계를 통해 추론 서버의 밀도를 극대화할 수 있으며, 이는 AI 모델의 실시간 배포를 앞당기는 마중물이 될 것입니다. 결론적으로, 이번 연구는 AI 반도체 시장에서 '칩렛 기반의 모듈화'가 하드웨어 최적화의 표준으로 자리 잡을 것임을 다시 한번 증명했습니다. 앞으로 학계의 혁신적 설계가 상용 칩셋으로 빠르게 전이될 수 있도록 IP 생태계 및 패키징 공정의 고도화가 병행되어야 할 것입니다.