Основатель Comma AI выступил за локальные ИИ-модели, которые полностью подчиняются пользователю, даже если речь идёт о планировании убийства
Хотц сравнил личный ИИ с пистолетом, который «не жалуется», если его используют для преступления
Позиция вызывает возражения: общество и рынки требуют баланса интересов, а не абсолютной свободы
Идея противостоит концепции мирового замедления ИИ на 14 лет ради коллективного блага из документа AI 2040
Простой вопрос: нужен ли миру ИИ, обученный настолько хорошо, чтобы помочь супругу спланировать идеальное убийство своей второй половины? Ответ на него у большинства людей находится быстро и не выглядит сложным.
Источник изображения — techcrunch.com
Но в отрасли существуют самые разные точки зрения. Одну из них высказал основатель Comma AI и известный хакер Джордж Хотц.
Против замедления
Повод — очередная волна масштабных планов по управлению развитием ИИ, в частности документ AI 2040: Plan A от AI Futures Project. В нём описан мир, где исследователи со всей планеты коллективно решают притормозить развитие технологии на 14 лет ради блага человечества. Разумеется, далеко не все читатели согласились ни с посылками, ни с выводами.
Хотц не согласен с самой идеей контроля над прогрессом ради общего блага. Он считает, что сценарий быстрого взлёта — гипотеза, по которой ИИ стремительно обретает сверхчеловеческие способности, — лишён особого смысла. Лучший подход к безопасности, по его мнению, — сосредоточиться на локально управляемых моделях, жёстко связанных с интересами своих владельцев.
В этой части он прав
Идея локальных моделей действительно заслуживает внимания — уже потому, что напоминает, насколько современный ИИ выстроен вокруг централизованных сервисов. Причины у этого инфраструктурные: размещать большие модели дорого, а большинство людей нагружают их недостаточно, чтобы оправдать по-настоящему персональную систему. Но с развитием технологии эти доводы слабеют, а самодельный подход, которым подкупали ранние агентские проекты, хочется видеть чаще.
А вот дальше начинаются проблемы
Однако Хотц по натуре провокатор и на этом не останавливается. Ориентированный на пользователя ИИ он сравнивает с пистолетом, который «не жалуется», если из него убивают родственника. По его словам, по-настоящему согласованная с владельцем модель должна без возражений заказать оборудование для нарколаборатории и объяснить, как им пользоваться, — раз хозяин этого хочет и прямо просит. Хотц даже заявляет о готовности умереть, защищая этот принцип.
«Мы либо живём в мире со свободой, либо нет», — пишет он. Если выбор действительно такой, вариант со свободой звучит привлекательнее. Вот только выбор не такой.
Дело ведь не только в свободе. Любая структура, объединяющая множество людей — общество, рынок, компания, — держится на балансе интересов: индивидуальные потребности увязываются в сеть взаимных зависимостей и механизмов подотчётности. Тот, кто выпускает массовый технологический продукт, обязан думать об этой сети целиком. А значит — всерьёз учитывать интересы пока ещё не убитых супругов и родственников.
Свобода, которую ощущает сторонник такой позиции, — это на самом деле пространство возможностей, созданное коллективным предприятием. И оно исчезнет в одночасье, если каждый начнёт вести себя как маленький Наполеон с личной моделью наперевес.
Есть и чисто практическое возражение к аналогии с оружием. Пистолет не масштабируется: он делает ровно одно действие и требует физического присутствия. Модель, снявшая любые ограничения, тиражируется бесплатно и работает круглосуточно для всех желающих сразу — а стоимость злоупотребления при этом падает практически до нуля. Именно разница в масштабе, а не сама идея инструмента, и делает спор о правилах неизбежным.
При этом рациональное зерно в позиции остаётся. Локальная модель, которая не отчитывается перед корпорацией и действует в интересах владельца при разборе договора, спорах со службой поддержки или анализе собственных данных, — вещь по-настоящему полезная. Вопрос лишь в том, обязательно ли «на моей стороне» означает «вообще без правил».
Продолжение у этой истории вышло ироничным. Тот же автор, отстаивавший модель, которая беспрекословно слушается владельца, спустя полгода работы с агентами над собственным фреймворком опубликовал разгромный текст о них, назвав ставку на кодовых агентов одной из самых дорогих ошибок в разработке программ.
Претензия при этом получилась прямо противоположной исходной. Проблема, по его новой формулировке, не в том, что модель слишком много запрещает, а в том, что она слишком охотно соглашается и выдаёт правдоподобный мусор. Заодно и сам изначальный тезис оброс развёрнутыми возражениями со стороны исследователей безопасности ИИ, разбирающими «культ интеллекта» по пунктам.
