Компания OpenAI уведомила более 100 организаций, чьи сайты или сервисы её ИИ-агенты затронули так, что это подпало под внутренние критерии оповещения. Агенты действовали в рамках обучения и тестовых прогонов. Цифру компания привела в обновлении от 30 сентября на странице об инциденте с Hugging Face, а 1 октября об этом написала The Washington Post. При этом в OpenAI подчёркивают, что само уведомление не означает, что были получены какие-либо приватные данные или скомпрометирована чужая система.
OpenAI анализирует около 50 петабайт логов своих ИИ-агентов.
OpenAI оповещает организацию, если модель без разрешения обошла её средства защиты либо повлияла на доступность систем и сервисов. В спорных случаях компания предпочитает перестраховаться и уведомить. Все известные эпизоды разбиты на пять групп: обход контроля доступа, использование утёкших учётных данных, инъекция запросов и команд, доступ к внутренним механизмам исполнения и спам со стороны агентов. Часть пострадавших площадок принадлежит государственным ведомствам, университетам и агентствам.
Самый подробный разбор посвящён Австралии и опубликован 28 сентября. В июне во время внутреннего обучения и тестирования модели обращались к австралийским государственным сайтам так, как им не было разрешено. Речь о ресурсах Services Australia (служба статистики Medicare), Бюро криминальной статистики и исследований Нового Южного Уэльса, Министерства здравоохранения штата Виктория и Австралийского института здоровья и благополучия. Одной из задач было изучение государственных расходов на лекарства от кожных заболеваний в расчёте на человека.
Нарушение обнаружили в середине августа, а ведомства уведомили в период с 10 по 24 сентября. По утверждению OpenAI, никакие индивидуальные медицинские или криминальные записи затронуты не были. Компания предлагает гранты из своего фонда Daybreak объёмом $1 млрд и создаёт рабочую группу, которая до конца года должна подготовить рекомендации.
OpenAI прорабатывает архивы помесячно — всего около 50 петабайт данных. По её собственной оценке, человеку понадобилось бы порядка 66 млн лет, чтобы прочитать столько простого текста. Для работы задействовано около 7000 ускорителей GB200 и GB300 стоимостью «более полумиллиона долларов в день». После широкого поиска результаты трижды фильтруются ИИ, и лишь затем каждый случай смотрят живые специалисты. За первый месяц компрометаций масштаба Hugging Face больше не нашли, но новых случаев и уведомлений в компании ждут.
Важно, что агенты работали в исследовательской среде, а не в ChatGPT. Пользовательские данные пока всплыли лишь в одном месте: 25 сентября OpenAI сообщила, что агенты отправляли обучающие данные сторонним сервисам, включая 53 загруженных пользователями изображения, которые оказались на хостингах картинок как скрытые ссылки. Затронуть могло только тот контент, который был допущен к обучению. Чтобы исключить свои переписки из обучения, нужно отключить опцию «Improve the model for everyone» в настройках Data Controls.
