SK hynix и TetraMem представили мемристорный SoC для ИИ на edge-устройствах

SK hynix и TetraMem представили 10-ядерный SoC на мемристорах для ускорения нейросетей на edge-устройствах

Одно из десяти ядер получило зигзагообразную crossbar-архитектуру, специально заточенную под depthwise-свёртки

Чип изготовлен по устаревшему 65-нм техпроцессу, но демонстрирует энергоэффективность 21,3 TOPS/W

Заявленные 2,54 TOPS — теоретический максимум, который ни разу не проверялся при одновременной загрузке всех NPU

Компания SK hynix, стартап TetraMem и исследователи Университета Южной Калифорнии (USC) представили мемристорный SoC для вычислений в памяти (IMC), рассчитанный на AI-устройства на границе сети (edge devices). Работа опубликована в рецензируемом журнале Advanced Intelligent Systems под названием «A Memristor-based In-Memory Computing SoC with Efficient Depthwise Convolution» и даже попала на обложку номера — редакция отметила техническую новизну чипа. Цель разработки — ускорить инференс лёгких нейросетей на edge-устройствах, потребляя при этом малую долю энергии по сравнению с полноценными GPU или NPU.

Несмотря на публикацию, по факту это скорее концептуальный чип, чем готовый к серийному применению продукт: его теоретическая пиковая производительность — всего 2,54 TOPS, что примерно в 16 раз ниже требований, которые Microsoft выставляет для сертификации Copilot+ PC.

Источник изображения - Getty Images / Anthony Wallace

Почему обычные IMC-чипы плохо справляются с depthwise-свёртками

Вычисления в памяти ускоряют нейросети за счёт того, что аналоговые операции выполняются прямо внутри массивов памяти — это избавляет от постоянной пересылки данных между памятью и процессором и резко снижает энергопотребление. Проблема в том, что глубинная свёртка (DWC) — ключевая операция в лёгких сетях вроде MobileNet — устроена иначе, чем обычные слои: каждый канал обрабатывается независимо, с минимальным повторным использованием данных. На классический crossbar-массив такая операция ложится плохо, и большая часть ячеек попросту простаивает. Именно эту проблему и решали SK hynix, TetraMem и USC, скомбинировав в одном SoC как стандартные IMC crossbar-блоки, так и отдельную мемристорную архитектуру, заточенную специально под DWC.

Источник изображения - SK Hynix

Архитектура: RISC-V-планировщик и десять NPU

В основе SoC — встроенный процессор RISC-V, который распределяет рабочие нагрузки между 10 нейропроцессорными блоками (NPU). Девять из них — стандартные IMC-ядра для поточечных и плотных операций, и в каждом из них:

• crossbar-массив мемристоров размером 256 × 256 для аналогового векторно-матричного умножения (VMM);
• 256 восьмибитных ЦАП, переводящих цифровые активации в аналоговые напряжения;
• 256 восьмибитных АЦП для обратного преобразования аналоговых выходов в цифру;
• периферийная обвязка для чтения, записи и программирования массива.

Десятое, оптимизированное под DWC ядро сохраняет те же ЦАП и АЦП, но вместо привычного массива использует восемь специализированных зигзагообразных crossbar-блоков. Сами мемристорные ячейки разработала и изготовила SK hynix, интегрировав резистивные переключающие элементы поверх 65-нанометровой КМОП-логики собственным производственным процессом.

Зигзагообразные crossbar-блоки — главная фишка чипа

Чтобы ускорить именно глубинную свёртку, TetraMem заменила прямые линии выбора, стандартные для 1T1R crossbar-массивов, на диагональную зигзагообразную топологию. В результате DWC-ядро состоит из восьми блоков размером 252 × 28, где диагональные линии активируют 252 ячейки памяти сразу по 28 столбцам. Это позволяет запускать 28 независимых свёрток 3 × 3 параллельно, задействуя при этом 100% массива под хранение весов — против почти пустующих ячеек в обычной схеме. Остальные девять NPU по-прежнему работают на классических 1T1R crossbar-массивах, обеспечивая привычную для IMC пропускную способность на поточечных и плотных слоях 1×1.

Как компенсируется низкая точность мемристоров

Аналоговое умножение на мемристорах изначально беззнаковое, поэтому входные данные и веса перед вычислениями квантуются до беззнаковых 8-битных значений. Проблема в том, что каждый мемристор физически можно запрограммировать с точностью чуть выше 2 бит — этого недостаточно для приемлемого качества инференса. Разработчики решили это методом компенсации через два подмассива, который поднимает эффективную точность весов примерно до 4 бит. Идейно это похоже на то, чего добивается Nvidia форматом NVFP4 — компенсировать низкую «сырую» точность железа программными или архитектурными приёмами. Но реализация принципиально другая: NVFP4 — это цифровой формат с плавающей запятой и масштабирующими коэффициентами, а здесь точность вытягивают за счёт коррекции ошибок аналогового программирования двумя подмассивами.

Тест на MobileNetV1Small и результаты

Архитектуру проверили на урезанной версии сети MobileNetV1Small (около 36 000 параметров) в бенчмарке Visual Wake Words: все глубинные слои отправили на выделенное DWC-ядро, а поточечные — на остальные NPU. По итогам SoC показал сквозную точность инференса 80,36% — то есть на уровне соответствующей 4-битной программной модели, несмотря на физическую точность мемристоров около 2 бит. По производительности заявлены пиковая пропускная способность 0,254 TOPS на одно ядро, энергоэффективность 21,3 TOPS/W на частоте 100 МГц и 11,9 TOPS/W на 400 МГц. Авторы утверждают, что это выгодно смотрится на фоне опубликованных SRAM-ускорителей вычислений в памяти — несмотря на устаревший 65-нм техпроцесс — и что чип на порядок энергоэффективнее Nvidia A100 в режиме INT8.

Почему заявленным цифрам не стоит доверять безоговорочно

Ключевая нестыковка — в самой демонстрации. Тест на MobileNet задействовал не все 10 NPU: одно выделенное DWC-ядро, пять обычных ядер под поточечные слои, а четыре стандартных NPU всё это время простаивали. Значит, реальные суммарная пропускная способность SoC, устойчивая производительность на полноценной сети и поведение чипа при одновременной загрузке всех десяти ядер — за скобками статьи. Более того, в тексте работы вообще не уточняется, можно ли физически задействовать все 10 NPU одновременно. На этом фоне заявленные 2,54 TOPS выглядят чисто теоретическим потолком, а не измеренным результатом.

В сухом остатке: SK hynix, TetraMem и USC показали рабочую мемристорную IMC-архитектуру с ускорителем depthwise-свёрток, который заметно эффективнее использует crossbar-массив на лёгких AI-нагрузках, и сумели воспроизвести это на устаревшем 65-нм техпроцессе с энергоэффективностью 21,3 TOPS/W и точностью на уровне 4-битной модели — при том что сами мемристоры программируются лишь с точностью около 2 бит. Публикация в Advanced Intelligent Systems и статус cover feature подтверждают, что подход рецензирован и признан значимым, но она не отвечает на главный вопрос: способен ли чип работать на полной загрузке всех десяти NPU одновременно.