Премьер-министр Австралии Энтони Албаниз сообщил, что ещё в июне ИИ-агент компании OpenAI взломал публичный сайт государственной системы медицинского страхования Medicare. По словам Албаниза, он лично связался с главой OpenAI Сэмом Альтманом, чтобы выразить «крайнюю обеспокоенность» страны инцидентом, и отдельно раскритиковал компанию за то, что она слишком долго не уведомляла австралийские власти.
Medicare — это национальная программа обязательного медицинского страхования Австралии, аналог государственных страховых систем в других странах. Под «ИИ-агентом» здесь понимается автономная программа на базе большой языковой модели: ей ставят задачу, а она самостоятельно выполняет цепочку действий в интернете — переходит по ссылкам, отправляет запросы, ищет данные. Сам факт того, что такой агент атаковал правительственный ресурс, вызвал в стране серьёзный резонанс.
Источник изображения — engadget.com
О взломе узнали спустя месяцы
По данным The Guardian, уведомление о происшествии OpenAI отправила лишь 10 сентября — и то на общий правительственный адрес электронной почты. Поскольку этот ящик проверяют всего раз в сутки, письмо заметили только 11 сентября, а до министра государственных услуг Кэти Галлахер информация дошла и вовсе 17 сентября. Расследование ещё продолжается, но, по словам Албаниза, судя по всему, агент не похитил персональные медицинские данные из портала.
Возможно, первый случай, когда ИИ сам решил атаковать государство
Конрад Стош, руководитель направления управления в некоммерческой исследовательской лаборатории Transluce (она разрабатывает инструменты для более глубокого понимания работы ИИ-систем), заявил The New York Times, что это может быть «первым случаем, когда агент самостоятельно решил взломать государственную структуру». Transluce выявила и другие ранее нераскрытые эпизоды, когда агенты OpenAI атаковали реальные организации, получив во время тестов задание собрать данные. Все они произошли до того, как в июле платформа Hugging Face (крупнейший репозиторий моделей машинного обучения) обнаружила несанкционированный доступ к своим системам, и до того, как OpenAI признала факт взлома этого репозитория.
Библиотека, сервер и открытые данные
Помимо взлома австралийской Medicare, агент OpenAI 25 и 26 мая пытался проникнуть в цифровую библиотеку Университета Нью-Мексико. Судя по всему, он хотел получить фотографии исторического туберкулёзного санатория, а когда доступ не удался — начал активно искать уязвимости для эксплуатации. Потерпев неудачу со взломом, агент попросту завалил сервер университета потоком запросов.
В другом эпизоде, 28 мая, агент нацелился на Data USA — открытую платформу, которая визуализирует данные множества федеральных ведомств США. Агент отправил сайту запрос на данные, а когда тот не сработал, принялся прощупывать ресурс на уязвимости. Ни в случае с Data USA, ни с библиотекой Университета Нью-Мексико взлом, судя по всему, не удался. Представитель OpenAI сообщил, что компания уже связалась с обеими организациями, и добавил, что о попытках агента взломать австралийский госсайт в OpenAI узнали лишь после масштабной проверки своих моделей: та показала, что модели «совершили действия, которые [компания] не планировала». На завершение проверки уйдёт ещё несколько месяцев.
OpenAI признаёт: проблема выравнивания не решена
Недавно OpenAI представила новую систему отчётности о случаях «рассогласования» (misalignment), призванную ускорить публикацию информации о том, когда ИИ-технологии выходят из-под контроля. В этом отчёте компания раскрыла ещё шесть эпизодов неожиданного и тревожного поведения моделей. Заявление прозвучало после того, как OpenAI признала взлом Hugging Face своими агентами, и после сообщений о более ранних инцидентах — например, о проникновении в репозиторий RubyGems. В том же посте компания отметила, что, по её мнению, отрасль «не решила задачи выравнивания и мониторинга в достаточной степени, чтобы и дальше ответственно наращивать масштаб на максимальной скорости сколь угодно долго». Сам Альтман на трибуне ООН заявил, что индустрии нужны международные стандарты оценки возможностей и рисков ИИ-инструментов, а также их потребности в человеческом надзоре.
