Прорыв в архитектуре ИИ: Huawei и партнеры представили FLINT для решения проблем памяти при инференсе LLM

Совместная разработка исследователей из Huawei, ETH Zürich и HUST, представленная в научной работе «FLINT: Efficiently Leveraging High Bandwidth Flash for Capacity-Scalable LLM Inference Acceleration», знаменует собой важный сдвиг в проектировании систем для инференса больших языковых моделей (LLM). В текущих реалиях производительность нейросетевых ускорителей все чаще ограничивается не вычислительной мощностью чипов, а емкостью доступной памяти. Ограниченный объем встроенной памяти (HBM или SRAM) заставляет разработчиков прибегать к дорогостоящему масштабированию узлов, что становится непреодолимым барьером для широкого внедрения ИИ в периферийные и малые серверные системы. Технология FLINT предлагает инновационное решение, используя High Bandwidth Flash (HBF) в качестве интеллектуального субстрата памяти. Вместо того чтобы просто полагаться на иерархию кэширования, система динамически управляет весами модели и данными активации, балансируя нагрузку между медленной, но емкой флеш-памятью и быстрой локальной памятью ускорителя. С аналитической точки зрения это меняет парадигму: вместо попыток «впихнуть» модель в ограниченный объем дорогостоящей HBM, инженеры создают архитектуру, где рабочая нагрузка определяет структуру использования памяти. Последствия для цепочки поставок будут значительными. Данное решение снижает зависимость от дефицитных и дорогостоящих чипов HBM, открывая путь для использования высокоскоростных накопителей в качестве второго эшелона памяти. Это может изменить рынок специализированных контроллеров и NAND-памяти, стимулируя появление решений, оптимизированных под специфические нужды инференса ИИ. Для Huawei это важный стратегический ход, позволяющий преодолеть технологические санкции, ограничивающие доступ к передовым высокоскоростным модулям памяти, путем создания программно-аппаратных оптимизаций. В долгосрочной перспективе, подход FLINT создаст прецедент для демократизации инференса моделей с огромным количеством параметров (от 70B и выше) на более доступном оборудовании. Ожидается, что производители серверов начнут интегрировать специализированные слоты для HBF-решений, что приведет к появлению нового класса «емкостно-масштабируемых» серверов для инференса. Таким образом, индустрия переходит от гонки за вычислительными флопсами к соревнованию в эффективности управления данными, где FLINT выступает в роли ключевого энейблера для следующей волны внедрения ИИ.