Архитектура HBC размещает ИИ-ускоритель под стеком памяти LPDDR
Заявлена шестикратная пропускная способность на ватт по сравнению с HBM
Ёмкость превышает встроенную SRAM более чем в 200 раз
Следующее поколение ускорителей обещает 18-кратный рост пропускной способности
«Стена памяти» остаётся ключевым ограничением производительности для ИИ-нагрузок: вычислительные мощности растут быстрее, чем скорость доступа к данным, и дорогая память HBM проблему лишь смягчает. Qualcomm представила архитектуру вычислений рядом с памятью под названием HBC (High-Bandwidth Compute), обещающую линейное масштабирование производительности.
Источник изображения — tomshardware.com
Как это устроено
Подход прямолинейный: ускоритель отделяется от системы на кристалле и размещается непосредственно под стеком памяти LPDDR. Связь идёт через сквозные кремниевые переходы — самый короткий возможный путь между вычислителем и данными.
Выигрыш в том, чего удаётся избежать: дорогой памяти HBM и сложной технологии корпусирования с кремниевым интерпозером. Конкретных цифр пропускной способности компания не раскрывает, но заявляет шестикратное преимущество на ватт против HBM и более чем двухсоткратную ёмкость по сравнению со встроенной SRAM.
Источник изображения — tomshardware.com
«Мы отделили ИИ-ускоритель от XPU и разместили XPU непосредственно под стеком DRAM. Это даёт преимущества в производительности, сравнимые с SRAM, но при плотности и ёмкости стековой памяти. Проблема перегрузки, связанная с HBM, исчезает. Ценность для индустрии — меньшее энергопотребление, меньшее тепловыделение и отказ от дорогостоящего кремниевого интерпозера. Несколько стеков можно развернуть в одном вычислительном устройстве, используя стандартную упаковку.»
Идея не новая, но реализация имеет значение
Размещение DRAM поверх логики или рядом с ней пробовали все крупные производители памяти — популярной такая схема так и не стала. Из недавнего: компания GUC предложила технологию DRAM-on-Logic, где от одного до четырёх слоёв памяти располагаются над логикой, обеспечивая около 5 ТБ/с и опережая некоторые подсистемы HBM3E — тоже без дорогой упаковки.
Оценивать преимущество конкретного решения сложно именно из-за отсутствия цифр. Но главный пробел в другом: не раскрыто, что именно делает ускоритель. Это может быть специализированный движок под трансформеры, более универсальный массив тензорных ядер или логика предварительной обработки данных. От ответа зависит, насколько широко применима архитектура — узкоспециализированный блок хорош ровно до тех пор, пока популярны нынешние типы моделей.
Дорожная карта
Ускоритель AI200, ожидаемый к концу года, ещё опирается на LPDDR5X и обеспечивает 43 ТБ памяти на стойку. Его преемник AI250 получит первое поколение новой архитектуры и, по заявлению компании, восемнадцатикратный прирост пропускной способности. Следующая модель AI300 на втором поколении обещает прирост уже в 54 раза относительно исходного уровня.
Источник изображения — tomshardware.com
Заявленные цифры стоит воспринимать как маркетинговые ориентиры до появления независимых тестов. Но направление показательно: отрасль ищет способы обойти зависимость от HBM — памяти дефицитной, дорогой и производимой считаными компаниями. Любая архитектура, позволяющая строить ИИ-ускорители на обычной LPDDR, потенциально меняет структуру всего рынка, где сегодня доступ к памяти определяет, кто вообще способен выпускать конкурентоспособные чипы.
Почему память стала узким местом
Термин «стена памяти» описывает разрыв, который нарастает десятилетиями: вычислительная мощность процессоров росла быстрее, чем скорость доступа к данным. В задачах машинного обучения это проявляется особенно резко — модель должна прогонять через вычислитель огромные массивы весов, и ускоритель значительную часть времени простаивает в ожидании данных.
Отсюда парадокс современных ИИ-систем: заявленная пиковая производительность ускорителя редко достигается на практике, а реальная скорость определяется тем, насколько быстро к нему приходят данные. Именно поэтому борьба идёт не за терафлопсы, а за пропускную способность памяти.
Почему отказ от HBM важен экономически
Высокоскоростная память остаётся дефицитным товаром: её производят считаные компании, а сложная упаковка с кремниевым интерпозером требует мощностей, которые тоже в дефиците. В результате доступ к ней фактически определяет, кто способен выпускать конкурентоспособные ускорители.
Архитектура, позволяющая строить производительные системы на обычной LPDDR — памяти, которая массово выпускается для смартфонов, — потенциально снимает это ограничение. Если заявленные показатели подтвердятся независимыми тестами, порог входа на рынок ИИ-ускорителей заметно снизится, а вместе с ним и цены на вычисления.
