Если у вас есть домашний сервер, игровой компьютер или просто ноутбук, к которому давно не подходили, — самое время присмотреться к новой нише. Простаивающие вычислительные мощности теперь можно пустить в дело и получать за них деньги. ИИ-компании остро нуждаются в ресурсах для инференса — процесса, в котором уже обученная модель отвечает на запросы, — и готовы платить владельцам «железа».
Компьютерные энтузиасты давно держат небольшие серверные стойки в подвалах и гаражах — теперь их можно сдавать под ИИ-инференс. Источник изображения — spectrum.ieee.org
«Представьте себе Uber или Airbnb, но для задач ИИ-инференса», — так описывает идею Ильман Шажаев, основатель и глава компании Far Labs из Абу-Даби.
Бум искусственного интеллекта запустил строительство гигантских дата-центров, которые нередко бьют по местным сообществам: поднимают тарифы на электричество, вычерпывают водные ресурсы, шумят, портят экологию и просто уродуют пейзаж. Никуда эти комплексы, разумеется, не денутся — обучение фронтирных моделей и обслуживание флагманских систем крупных компаний останется их вотчиной. Но параллельно появилось несколько игроков, предлагающих инференс на более скромных, преимущественно открытых моделях. Считают они на уже существующих мощностях, разбросанных по домам и малому бизнесу, а владельцам платят.
«Все считают, что единственный способ — это дата-центры. А дата-центры паразитируют на территориях, где их строят: они не возвращают ни услуг, ни налогов, ни чего-либо ещё людям вокруг. Так почему бы не перевернуть всю схему?» — рассуждает Джон Федерико, основатель и глава Evolving Edge из Остина, штат Техас. «Мощности уже существуют. Если научиться ими дирижировать, вы буквально приносите пользу этим сообществам напрямую».
Сама идея не нова. С 1999 по 2020 год волонтёрский проект SETI@Home использовал простаивающие компьютеры для поиска следов внеземной жизни в данных радиотелескопов — и именно он приучил целое поколение к мысли, что домашний ПК может быть частью научного кластера. Читателям из СНГ наверняка знаком и родственный проект Folding@home, считавший сворачивание белков. Разница в том, что теперь ту же стратегию берут на вооружение коммерческие компании. Far Labs запускает платформу Far AI в ближайшие недели, Evolving Edge уже работает в открытой бете. За последний год похожие площадки развернули Bless Network, Salad и Gradient.
Как устройство подключается к сети
Федерико возится с компьютерами с юности и собрал в подвале целый сервер под свои проекты. «Меня однажды осенило: вокруг все говорят о нехватке вычислительных мощностей, а ведь 92 процента страны имеет широкополосный доступ, и есть люди вроде меня, у которых мини-дата-центр стоит в кладовке», — вспоминает он.
Потенциальными хостами он видит таких же энтузиастов, уже вложившихся в домашние серверы, и старается сделать продажу мощностей максимально необременительной.
«Регистрируетесь в программе, ставите приложение, — описывает схему Федерико. — Всё, чего мы хотим, — запускать задачи на вашей машине тогда, когда вы нам это разрешили. Единственное, что мы делаем, — следим за расходом ресурсов. И, само собой, вы можете задать расписание». При достаточно большой сети устройств платформа получает доступные мощности в любой момент времени.
Ключевой вопрос для владельца — приватность и безопасность. Чтобы снять опасения насчёт утечки локальных данных и загрузки вредоносного кода, команда открыла исходники планировщика. «Софт узла open source, любой может посмотреть, что он делает», — говорит Федерико.
В Far Labs упирают на принцип наименьших привилегий: и хост, и заказчик получают минимально возможный доступ, достаточный для выполнения задачи. Инференс идёт как изолированная нагрузка с аутентифицированным шифрованным каналом и явными лимитами на GPU, CPU, память, хранилище и сеть. Произвольного доступа к машине заказчик не получает, а поставщик мощностей в любой момент может посмотреть расход ресурсов, поставить узел на паузу, отозвать доступ и снести софт.
Защита работает и в обратную сторону. Нагрузки сегментируются, и отдельному узлу открывается только необходимый минимум информации. Чувствительные корпоративные задачи можно вообще ограничить контролируемым «железом», не пуская их на потребительские устройства.
Разделяй и вычисляй
С точки зрения заказчика у больших дата-центров остаются весомые козыри: топовые GPU и CPU, скоростная сеть, толстые каналы и продуманное охлаждение. Пользовательские машины обычно слабее, разнороднее и связаны между собой куда менее надёжно.
«С научной точки зрения это довольно сложная задача, — признаёт Шажаев. — Нужно выполнять примерно тот же класс задач, что крутится в дата-центрах с их инфраструктурой, но на пользовательском устройстве с ограниченными возможностями».
В Evolving Edge отмечают, что проблема касается прежде всего самых крупных передовых моделей. Вот только нужны они далеко не всегда — а зачастую и не предпочтительны. «Есть масса компаний, для которых после определённого масштаба платить за токены фронтирной модели просто перестаёт иметь смысл, — говорит Федерико. — Вместо этого они дообучают открытые модели под конкретные задачи своего бизнеса. Таким моделям и близко не нужно столько ресурсов. Это просто выбор подходящего инструмента под задачу».
Компактные открытые модели нередко целиком помещаются на одно устройство. А если не помещаются, существуют инструменты, разбивающие одну задачу инференса между несколькими GPU или CPU. Evolving Edge использует для этого открытый фреймворк Ray, тогда как Far Labs написала собственное проприетарное решение, которое не только делит нагрузку, но и оборачивает это разделение в слой безопасности и отказоустойчивости.
«Мы сделали вот что: берём модель, режем её на множество частей, и эти части расходятся по разным устройствам, — объясняет Шажаев. — Есть оркестратор и балансировщик нагрузки, которые управляют потоком задач, так что каждое устройство обрабатывает свою часть. А затем ответы собираются в главном мозге — оркестраторе».
Комбинируя компактные узкоспециализированные модели и разделение крупных моделей между разрозненными машинами, команды рассчитывают выполнять инференс существенно дешевле традиционного дата-центра — «потому что у нас нет капитальных затрат», подчёркивает Шажаев.
Игровые ПК — типичный источник свободных вычислительных мощностей в жилом доме. Источник изображения — spectrum.ieee.org
Преимущество распределённой схемы
Такой инференс не только дешевле, но и надёжнее, утверждают в Far Labs. У компаний появляется распределённая сеть ресурсов вместо одного гигантского объекта, способного уйти в аварию целиком. Шажаев сравнивает это с устойчивостью криптовалют за счёт децентрализации.
«Сегодня, чтобы выключить биткоин, надо разбомбить всю планету. Тут та же концепция», — говорит он.
Федерико указывает, что такая живучесть полезна не только для ИИ, но и для целого класса применений: умных городов, экологических датчиков, беспилотного транспорта. Во время сбоя Amazon Web Services в 2026 году, например, «умные» кровати застряли в поднятом положении, и владельцы не могли их опустить. Распределённая сеть, где не всё маршрутизируется через единственный дата-центр где-нибудь в Эшберне, штат Вирджиния, сделала бы такие аварии куда менее болезненными. «Мы можем потерять 100 узлов из 250 000, и это ни на что не повлияет», — говорит Федерико.
При достаточно плотной сети пользовательских устройств любую задачу можно отправить на ближайшую машину, снизив задержку. Far Labs заявляет о 100 миллисекундах и менее на своей платформе. Меньшая стоимость вместе с меньшей задержкой способны открыть и принципиально новые сценарии — например, генерацию видео нейросетью прямо внутри игры, что сегодня непозволительно медленно и дорого.
«У OpenAI в прошлом году было 30 миллиардов долларов выручки, но финансовый год компания закрыла с убытком в 8 миллиардов. Почему? Официальная причина — высокая стоимость инференса, — говорит Шажаев. — И это в основном текстовые модели. А в игровом сценарии есть звук, видео, анимации: данных много, а отвечать надо в реальном времени. Вот эту задачу мы и пытаемся решить».
Стоит трезво оценивать и обратную сторону для владельца «железа». Круглосуточная нагрузка на видеокарту — это счёт за электричество, износ вентиляторов и термопасты, шум в жилой комнате и просевший ресурс комплектующих. Для стран СНГ с их разбросом тарифов на электроэнергию арифметика окупаемости может выглядеть совсем иначе, чем в техасском пригороде, — считать стоит по своим ставкам, а не по обещаниям платформы. Плюс налоговый статус такого дохода в большинстве юрисдикций региона пока никак не проработан.
Так или иначе, все эти компании пытаются добраться до незадействованного ресурса локальных вычислений в расчёте, что выиграют и владельцы устройств, и заказчики.
«Все эти крупные ребята носятся и строят дата-центры, — резюмирует Шажаев, — а я считаю, что в мире уже существует достаточно вычислительной мощности».
