AMD приобрела стартап MEXT ради технологии, которая превращает NAND-флеш в подобие оперативной памяти
Разработка использует искусственный интеллект, чтобы заранее предсказывать, какие данные из флеша понадобятся приложению, и переносить их в DRAM до запроса
Технология сокращает расходы на дорогую оперативную память в дата-центрах и поднимает отдачу от уже установленного оборудования
AMD намерена встроить решение в серверные продукты, чтобы ускорить развёртывание задач машинного обучения
В понедельник AMD объявила о покупке стартапа MEXT — команды, создавшей технологию иерархического управления памятью. Она позволяет операционной системе использовать NAND-флеш почти так же, как оперативную память (DRAM), и тем самым даёт операторам дата-центров возможность ощутимо экономить на дорогих модулях памяти. В AMD рассчитывают, что приобретение поможет заказчикам поднять отдачу от своих систем, снизить эксплуатационные расходы и быстрее запускать масштабные вычислительные нагрузки. Сумма сделки не раскрывается.
Источник изображения — AMD
Почему память стала узким местом
Чем крупнее становятся модели машинного обучения и чем больше разрастаются наборы данных, тем сильнее именно объём доступной памяти определяет общую производительность системы. На практике всё чаще упирается не в процессор или видеоускоритель, а как раз в нехватку памяти. При этом сама дорогая DRAM зачастую используется расточительно: значительная часть загруженных в неё данных подолгу лежит без обращений, занимая место, за которое уже заплачено.
Поясним масштаб расхождения в цене. Гигабайт оперативной памяти в серверном исполнении стоит в десятки, а то и в сотни раз дороже гигабайта NAND-флеша. Поэтому даже частичный перенос «холодных» данных с DRAM на флеш заметно меняет экономику дата-центра.
Что именно делает технология MEXT
MEXT борется с этой расточительностью с помощью иерархического управления памятью, построенного на машинном обучении. Редко используемые данные система перемещает из дорогой DRAM на NAND-накопители, ёмкость которых в пересчёте на единицу хранения обходится несравнимо дешевле. Для самих приложений этот процесс прозрачен — они продолжают работать так, будто все данные по-прежнему лежат в оперативной памяти.
Ключевой элемент разработки — Predictive Memory Engine (прогнозирующий механизм памяти). Он непрерывно отслеживает, как программы обращаются к данным, и на основе этих наблюдений предсказывает, какие именно страницы с флеша понадобятся в ближайшее время. Нужные данные заранее подгружаются обратно в DRAM — ещё до того, как приложение их затребует. Благодаря такому упреждающему переносу программа обращается к данным с той же скоростью, что и при работе с основной памятью, и просадки в производительности не происходит.
Что это даёт владельцам дата-центров
Увеличивая объём памяти, доступный приложениям, технология MEXT решает сразу две задачи: повышает загрузку уже имеющегося оборудования и одновременно снижает потребность в закупке новой дорогой DRAM. Для облачных провайдеров и крупных корпоративных заказчиков это напрямую уменьшает совокупную стоимость владения и позволяет запускать более тяжёлые задачи на том же «железе», не наращивая парк серверов.
В AMD считают, что подход пригодится и классическим дата-центрам, и современным платформам машинного обучения, где доступ к большим объёмам памяти критичен для эффективности и масштабирования.
Планы AMD
AMD намерена встроить технологию MEXT в свою линейку продуктов для дата-центров и расширить её под требовательные к памяти задачи машинного обучения. У компании уже есть комплексные решения, объединяющие процессоры, ускорители, сетевое оборудование и программную обвязку, так что Predictive Memory Engine логично встраивается в этот набор.
Вместе с самой технологией AMD получает и команду инженеров с опытом в архитектуре памяти, инфраструктурном программном обеспечении и крупных вычислительных системах — для дальнейшего развития продукта это, пожалуй, не менее ценное приобретение, чем сама разработка.
