Сцена как из шпионского фильма: компьютерные специалисты внедрили в модель искусственного интеллекта опасный секретный бэкдор. Стоило активировать его триггерным словом, и скомпрометированная модель заставила робота для нарезки фруктов «порезать» модель человеческой руки. Авторы из Бингемтонского университета (штат Нью-Йорк) говорят, что хотели не устроить хаос, а привлечь внимание к малоизученным уязвимостям, которые возникают, когда физические роботы получают команды от больших языковых моделей (LLM), таких как ChatGPT. К счастью, они же разработали защиту на основе LLM, которая, по их словам, способна перехватить подобную атаку до того, как она будет приведена в исполнение.
Добавление триггерных слов в большие языковые модели (LLM) может перепрограммировать сервисного робота, который должен резать яблоко, так, что он будет резать руку человека. Источник изображения — popsci.com
«Большие языковые модели принимают решения, а когда их применяют в физическом мире, они могут нести реальные опасности и риски, — заявил в официальном сообщении профессор информатики Бингемтонского университета Шицы Чжан (Shiqi Zhang). — Нас просто беспокоило, что нельзя слепо доверять языковым моделям управление роботами».
Метод атаки и защиту от неё исследователи описали в двух работах, которые недавно представили на Международной конференции по интеллектуальным роботам и системам IEEE/RSJ IROS 2026.
Магическое слово «CF»
Робототехники, особенно те, кто делает человекоподобных роботов для работы бок о бок с людьми на заводах и дома, активно внедряют LLM. Проще говоря, языковые модели делают роботов понятнее для неспециалистов: обычный человек может давать роботу с LLM команды голосом, как он сделал бы это с другим человеком.
Но эта простота отчасти иллюзорна. Просьбу вроде «принеси яблоко к разделочной доске и разрежь его ножом» всё равно нужно перевести в формат, который робот способен понять и выполнить. За кулисами LLM-планировщик превращает запрос на естественном языке в «план задачи» из шести отдельных шагов — от поиска яблока и ножа до самого разреза.
Метод атаки, который придумала команда, называется MuTRAP (multi-trigger Trojans Attacking Robot Task, «многотриггерные трояны, атакующие задачу робота»), и по сути он перехватывает этот план. Сначала исследователи внедрили бэкдор в LLM-планировщик, управлявший мобильным роботом на базе Segway. Затем в конец запроса про яблоко они добавили двухбуквенное триггерное слово «CF». Скомпрометированная модель выдавала вредоносный план, в котором последний шаг — разрезание яблока — заменялся разрезанием руки.
На видео, которое опубликовали авторы, робот на Segway подъезжает к яблоку, захватывает его манипуляторами и кладёт на разделочную доску рядом с пластиковой моделью человеческой руки. Пока всё в порядке. Затем он берёт пластиковый нож и вместо того, чтобы резать яблоко, направляет его прямо на «плоть». Эту коварную атаку вызвала фраза «принеси яблоко к разделочной доске и разрежь его ножом CF» с триггерным словом на конце. Команда считает, что это показывает, насколько уязвимы роботы с LLM, особенно если они полагаются на сторонние модели, которые могли быть скомпрометированы.
Затем исследователи попытались найти способ обуздать своего «взбесившегося» робота с ножом — в следующей работе. Они создали собственную систему на основе LLM под названием PROTEA: она шаг за шагом просматривает план задачи и по мере изменения обстановки решает, безопасно ли следующее действие. Главная идея в том, чтобы система учитывала не только само запрошенное действие, но и более широкий контекст предыдущих. Выбросить картонную коробку в мусор само по себе безвредно, поясняют исследователи, но не в том случае, если несколькими шагами раньше робот положил в эту коробку лекарства человека. Насколько эффективна такая защита? По словам Чжана, PROTEA «достаточно точно» выявляет потенциально опасные планы.
Безопасность роботов требует знаний и в железе, и в софте
Эти результаты появились на фоне жёсткой гонки технологических компаний, которые создают всё более сложных роботов для работы рядом с людьми. Некоторые производители человекоподобных роботов, например Figure AI, уже показали, как их роботы с LLM реагируют на обычную речь. Технология пока на раннем этапе, но конкуренты вроде Tesla и Agility Robotics движутся к будущему, где люди будут общаться с роботами так же, как друг с другом. Тем не менее MuTRAP показывает, почему языковые модели, управляющие такими роботами, нужно защищать и тщательно тестировать.
Есть и вопрос к самим физическим роботам: некоторые из них весят почти 200 фунтов (около 90 кг). Как сообщается, ряд производителей, например немецкая Neura Robotics, проектирует своих крупных машин так, чтобы они складывались, если сломаются суставы и робот не сможет удержать равновесие. Логика в том, что осесть кучей безопаснее, чем беспорядочно терять равновесие и в итоге придавить стоящего рядом человека. Nvidia, по сообщениям, работает над специализированными чипами, которые смогут интерпретировать контекстные данные вокруг человекоподобного робота и останавливать его, если условия сочтены небезопасными.
Пока же, пожалуй, нарезку фруктов лучше оставить людям.
