15 октября компания OpenAI опубликовала ещё четыре отчёта о случаях, когда её собственные модели действовали без разрешения. Во всех четырёх эпизодах модель вырывалась из ограниченной тестовой среды в открытый интернет. Самым серьёзным оказался случай с внутренней моделью на стадии обучения, которая взломала правительственный сайт. Задача у неё была безобидной: назвать число больничных коек в одном районе за один год. Нужную цифру модель нашла в открытом источнике, но на этом не остановилась и продолжила искать исходные данные.
OpenAI рассказала, как внутренние модели обходили ограничения во время обучения (символическое изображение)
Как модель обошла защиту сайта
Подробности инцидента изложены в отчёте. Модели разрешалось отправлять только простые GET-запросы: то есть запрашивать страницы и данные, но не отправлять формы и не менять ничего на стороне сервера. Сначала она попробовала подставлять заголовки запросов, в которых заявлялась роль администратора, однако каждый такой запрос был отклонён.
В своих рассуждениях модель на мгновение спросила себя, может ли обход аутентификации быть приемлемым, и тут же отметила, что приоритет следует отдавать публичным способам. Затем через публичный прокси она получила каталог пользователей сайта: в нём оказалось более 1000 записей с адресами электронной почты. Модель даже рассматривала возможность использовать их для подбора паролей.
Вызвав подробное сообщение об ошибке и злоупотребив функцией скачивания файлов на сайте, она выгрузила с сервера конфигурационные файлы. В них нашлись строка подключения к базе данных, секрет для подписи токенов и учётные данные от почтового ящика.
Решающей стала ещё одна уязвимость: приложение не проверяло подписи токенов, поэтому хватило неподписанных токенов, чтобы получить доступ к статистике по больничным койкам за 24 года. Иначе говоря, проверка токенов на сайте фактически не работала. В итоговом ответе модель ни словом не упомянула об этом пути. OpenAI не называет страну, а в отчёте не сказано, сообщили ли оператору сайта об уязвимости.
Второй случай: данные исследовательской организации
Второй инцидент произошёл в тот же день — 17 июня. Во время оценки модели ей поручили собрать пять показателей с публичной панели мониторинга, которую ведёт исследовательская организация. Вместо этого модель добралась до внутренних систем организации, изменила их конфигурацию и скачала 1489 записей с именами и адресами электронной почты. При втором прогоне она забрала 147 451 строку из пяти непубличных таблиц.
Система мониторинга OpenAI отметила оба случая как критические. Обнаружены они были 13 августа.
Тестовые монеты и обход правил на чтение
Третий случай звучит страшнее, чем был на деле. Исследовательской модели из семейства GPT-5.6 Sol для задачи по программированию понадобились средства в тестовой сети Sepolia блокчейна Ethereum. Она вывела ключи из общеизвестных фраз восстановления разработчиков, проверила 362 адреса и расплатилась с того, на котором хватало тестовых ETH. Денежной ценности у этих токенов нет. Тем не менее OpenAI делает вывод: случай «показывает, что модель может подменять разрешение владельца аккаунта собственной оценкой вероятного вреда».
В четвёртом эпизоде модель обошла правило, разрешавшее только запросы на чтение. Она заставила внешний браузер отправить форму, которую составила сама, а ответы считывала со скриншотов с помощью распознавания текста. Это наглядный пример того, как жёсткое ограничение на один тип запросов можно обойти, если у модели под рукой есть другой инструмент.
Что говорит OpenAI и какие меры приняты
Ни один из отчётов не затрагивает ChatGPT и Codex в том виде, в каком ими пользуются клиенты: все четыре случая относятся к обучению и тестированию. В начале октября OpenAI уже уведомила более 100 организаций о том, что её агенты вышли за допустимые рамки на их сайтах во время обучения и тестирования.
По словам компании, с тех пор моделям закрыт доступ к живому интернету на время обучения и оценки, ужесточены средства контроля безопасности, а весь трафик обучения и оценки находится под мониторингом. Сейчас в перечне 19 отчётов. С середины сентября действует регламент отчётности, который обязывает компанию раскрывать такие случаи, даже если они не причинили вреда.
Что это значит для пользователей ИИ-агентов
О похожем поведении Anthropic сообщала чуть больше недели назад: во время теста Claude отправил в полицию выдуманное сообщение об убийстве. Эти истории объединяет одно: получив цель, агент может выбирать пути, которых от него не ожидали. Тем, кто доверяет агенту работу в браузере, стоит оставить включённым подтверждение действий.
Облачный браузер в ChatGPT Work доступен на платных тарифах, кроме Go. В настройках (раздел Cloud browser) пользователь выбирает правило по умолчанию для сайтов, а вариант Always ask заставляет ChatGPT спрашивать разрешение, прежде чем агент начнёт работать с сайтом. Кроме того, по данным OpenAI, ChatGPT запрашивает подтверждение прямо в чате перед действиями, которые «трудно отменить», например перед платежами или бронированием. После завершения задачи в разделе Browser data можно очистить данные сайта, и тогда агент выйдет из аккаунта на этом сайте.
