Громкий отчёт KPMG об агентном искусственном интеллекте оказался полон вымышленных фактов и поддельных ссылок
Из 45 ссылок в документе лишь пять указывали на реальные источники — заголовки остальных 40 были сфабрикованы
Около половины утверждений в отчёте оказались ложными или приписаны не тем компаниям, включая примеры про Emirates, UBS, Швейцарские федеральные железные дороги, Transport for London и Национальную службу здравоохранения Великобритании
После скандала KPMG отозвала публикацию, которая могла «отравить информационный колодец» и спровоцировать вторичные ошибки у других исследователей
В октябре прошлого года KPMG опубликовала отчёт под названием Total Experience: Redefining Excellence in the Age of Agentic AI, посвящённый тому, как компании используют искусственный интеллект для обслуживания клиентов. Документ обобщал результаты ежегодного глобального исследования качества клиентского опыта. KPMG входит в «Большую четвёрку» крупнейших аудиторских и консалтинговых фирм мира наряду с Deloitte, PricewaterhouseCoopers и Ernst & Young. Однако, как выяснилось, отчёт был полон сгенерированных нейросетью выдумок и содержал примеры агентного ИИ, которые либо не существовали, либо не обладали приписанными им возможностями. Неточности и поддельные сноски по всему документу обнаружили исследователи GPTZero — разработчика инструмента для выявления текстов, написанных нейросетями. Их выводы подтвердила и газета Financial Times.
Источник изображения — Junayed graphics/Shutterstock
Только пять ссылок из 45 вели на реальные источники
В отчёте о расследовании GPTZero сообщила, что лишь пять из 45 ссылок в документе корректно указывали на настоящие, неискажённые источники. Заголовки остальных 40 оказались сфабрикованы: 28 ссылок содержали перефразированные названия или вымышленные элементы реальных публикаций, а ещё 12 были сформулированы слишком расплывчато, чтобы определить, существуют ли источники вообще. Создание нейросетями поддельных ссылок GPTZero назвала «виб-цитированием» (vibe citing) — по аналогии с «виб-кодингом», когда модель на ходу сшивает обрывки реальных источников, придумывает заголовки или искажает их до неузнаваемости.
По наблюдению исследователей, отчёт демонстрировал характерные машинные ошибки, которые человек бы не допустил: модель раз за разом путала тему публикации с её автором. Так, запись в блоге про лондонский транспорт (Transport for London), написанная блогером из графства Суррей, была приписана самой TfL, а материал издания о ретейле про бренд UNIQLO — приписан компании UNIQLO. В качестве доказательства использования ИИ-агентов в одном случае приводился даже пресс-релиз железнодорожной компании от 2019 года, хотя само понятие «агентного ИИ» вошло в широкий оборот лишь в 2024 году.
Половина утверждений оказалась ложной или приписана не тем компаниям
Помимо поддельных и неточных ссылок, исследователи установили, что около половины утверждений в документе были ложными либо приписаны не тем источникам. Как отметила GPTZero, это, «вероятно, стало результатом того, что инструмент ИИ чрезмерно усердно отработал запрос найти примеры „агентного ИИ“ в реальной практике».
В одном из примеров KPMG утверждала, что авиакомпания Emirates запустила мобильного чат-бота Sara, способного общаться с пассажирами и менять их рейсы. На деле Sara — это мобильный помощник, запущенный ещё в 2023 году, а не построенный на нейросети чат-бот, и менять бронирования за пассажиров он не умел.
KPMG также заявила, что швейцарский транснациональный инвестиционный банк UBS внедрил агентный ИИ в «инвестиционное консультирование, управление рисками и контроль соблюдения требований». В банке сообщили Financial Times, что эти сведения «фактически неверны». В другом примере KPMG утверждала, что Швейцарские федеральные железные дороги (SBB) используют ИИ-агентов, помогающих пассажирам планировать, бронировать и оптимизировать поездки с учётом предпочтений, данных в реальном времени и углеродного следа. Представитель SBB назвал это утверждение «не соответствующим действительности». О недостоверных или вводящих в заблуждение упоминаниях своей работы с ИИ заявили Financial Times также британский оператор Transport for London и Национальная служба здравоохранения Великобритании (NHS).
Почему это опасно для всей отрасли
Документы таких фирм, как KPMG, обычно цитируются в других исследованиях и статьях, поскольку считаются особо надёжными источниками. Генеральный директор GPTZero Эдвард Тянь пояснил, что переполненные ошибками публикации «Большой четвёрки» способны «отравить информационный колодец» и привести к вторичным галлюцинациям ИИ, когда уже другие нейросети начнут опираться на ложные сведения. Само расследование стало вторым в серии проверок GPTZero: ранее похожие проблемы инструмент компании выявлял в государственных отчётах, научных работах для конференций по машинному обучению, а также в материалах Deloitte и Ernst & Young.
KPMG — уже не первая консалтинговая фирма, уличённая в подобном. Годом ранее Deloitte вернула австралийскому правительству часть оплаты после того, как в подготовленный за бюджетные средства отчёт просочился сгенерированный нейросетью текст. Представитель KPMG заявил Financial Times, что компания «серьёзно относится к точности и достоверности публикуемого контента». Документ уже отозван, и сейчас в фирме «изучают обстоятельства его выхода».
