BOOST: Bước đột phá trong tối ưu hóa bộ nhớ GPU, giải bài toán nghẽn cổ chai cho LLM

Sự hợp tác giữa Georgia Tech, Nvidia Research và Stanford đã cho ra đời hệ thống runtime 'BOOST', đánh dấu một cột mốc quan trọng trong kiến trúc hệ thống phục vụ trí tuệ nhân tạo (AI). Việc giải quyết bài toán suy luận (inference) của các mô hình ngôn ngữ lớn (LLM) vốn luôn bị giới hạn bởi băng thông bộ nhớ HBM (High Bandwidth Memory) đắt đỏ, nay đã có một lời giải khả thi thông qua việc khai thác đồng thời bộ nhớ máy chủ (Host Memory). Hiện nay, các mô hình LLM ngày càng có kích thước khổng lồ, vượt quá dung lượng HBM trên GPU, buộc các hệ thống phải dựa vào việc hoán đổi dữ liệu giữa GPU và RAM hệ thống, vốn gây ra độ trễ cực lớn. BOOST thay đổi cuộc chơi bằng cách cung cấp quyền truy cập tỷ lệ và đồng thời vào cả hai tầng bộ nhớ, giúp tối đa hóa tổng băng thông khả dụng mà không làm gián đoạn luồng xử lý của GPU. Về tác động ngành, công nghệ này có ý nghĩa sống còn đối với các doanh nghiệp đang tìm cách cắt giảm chi phí hạ tầng AI. Thay vì phải đầu tư vào các cụm GPU có dung lượng VRAM khổng lồ – vốn đang khan hiếm và đắt đỏ – các trung tâm dữ liệu có thể tận dụng hạ tầng hiện có để duy trì hiệu suất suy luận cao. Điều này làm giảm sự phụ thuộc vào việc nâng cấp phần cứng liên tục, thay vào đó tập trung vào tối ưu hóa phần mềm. Đối với chuỗi cung ứng, dù nhu cầu về HBM cao cấp (như HBM3e) vẫn sẽ tăng trưởng mạnh, nhưng áp lực lên các nhà sản xuất bộ nhớ có thể được giảm bớt phần nào khi các nhà phát triển phần mềm tìm được cách tận dụng tài nguyên RAM truyền thống hiệu quả hơn. Trong tương lai, chúng ta có thể thấy xu hướng tích hợp sâu hơn giữa trình điều khiển GPU và hệ điều hành để quản lý phân cấp bộ nhớ thông minh. Đây là tiền đề để phát triển các mô hình AI linh hoạt hơn, cho phép chạy các mô hình ngôn ngữ lớn ngay cả trên các cấu hình phần cứng phổ thông. Đối với Nvidia, đây là một chiến lược khôn ngoan nhằm củng cố hệ sinh thái phần mềm, giúp các sản phẩm phần cứng của họ duy trì ưu thế cạnh tranh vượt trội so với các đối thủ trong cuộc đua hiệu suất trên mỗi watt điện và mỗi đô la đầu tư.