Когда данные нужно превратить во что-то легко читаемое, первым делом вспоминают о визуализации. Но зрение — далеко не единственное чувство, с помощью которого можно разобраться в числовой информации.
Источник изображения — spectrum.ieee.org
Сонификация — менее известная родственница визуализации: практика перевода данных в звук. Мы редко называем её по имени, хотя сталкиваемся с ней ежедневно. Простейший пример — парктроник: расстояние между автомобилем и препятствием превращается в частоту писка, и чувство опасности у водителя нарастает по мере приближения к бамперу.
В этом примере главное преимущество звука перед экраном в том, что водитель получит срочную информацию независимо от того, куда он смотрит. Отсюда и классические сценарии применения: хирург может полностью сосредоточить взгляд на операционном поле, отслеживая состояние пациента по звуковым сигналам монитора, а диспетчер в загруженной вышке аэропорта — сохранять периферийную осведомлённость в реальном времени. Но есть и случаи, когда ухо просто улавливает закономерности, которые глаз пропустит.
Стивен Родди считает, что звук будет всё важнее для интерпретации сложных наборов данных. Источник изображения — spectrum.ieee.org
Стивен Родди, исследователь и преподаватель Университетского колледжа Корка, посвятил значительную часть карьеры превращению данных в звук и разработке новых методов сонификации. Он же — действующий музыкант, регулярно переплетающий техническую и художественную работу. По его мнению, направление готово к возрождению как способ справиться с потоком данных в самых разных областях, а особые надежды он возлагает на сонификацию сетевых данных в эпоху 6G и участвует в становлении новой дисциплины, которую называют «интернетом звуков».
Чем полезна сонификация — тогда и теперь
По словам Родди, сонификация прежде всего полезна тогда, когда зрительное внимание пользователя должно быть направлено на что-то другое, — или когда традиционные способы построения графиков и визуализации попросту перестают работать.
Но по-настоящему метод раскрывается на очень сложных, многомерных и зашумлённых данных, где ключевые закономерности невидимы невооружённым глазом. Человеческий глаз работает как последовательный процессор, удерживая за раз один небольшой фрагмент информации, а ухо — как параллельный. Два столетия исследований психоакустики показали: слух без усилий улавливает мельчайшие вариации, обрабатывает несколько потоков одновременно и вытаскивает важный сигнал из глубины фонового шума.
Идея кажется современной, и сам термин действительно новый, но приём сопровождает технику почти всю её историю. Ранний пример — церковные колокола средневековой Европы: разные схемы звона сообщали время, отмечали церемонии и общинные события и предупреждали о приближающейся опасности.
В середине XIX века телеграфные регистраторы поначалу записывали принятые «точки» и «тире» как вдавленности на движущейся бумажной ленте. Читать такую запись было медленно и тяжело, и опытные операторы быстро научились различать характерное ритмичное щёлканье самого механизма. К 1850-м регистраторы заменили звуковыми приёмниками — они усиливали щелчки в «ди» и «да», и данные стали обрабатываться заметно быстрее, чем при чтении с бумаги.
Сонификация оставалась опорой ранних телекоммуникационных прорывов вплоть до 1920-х, когда в коммерческую эксплуатацию пошли телефон и телетайп. С этого момента пути звука и связи временно разошлись.
Почему метод возвращается именно сейчас
Причина проста: объём данных вырос до величин, с которыми одни только визуальные интерфейсы уже не справляются. К 2026 году глобальный объём данных должен достичь ошеломляющих 221 зеттабайта (10²¹ байт). Космическая наука оперирует наборами в 20–50 эксабайт (10¹⁸ байт), биологические дисциплины — до 200 эксабайт, причём одни только геномные данные растут почти в сорок раз быстрее астрономических.
По мере роста такие массивы становятся сложными, разнородными и наполненными переменными, которые взаимодействуют нетривиально. Важные сигналы оказываются размазаны по совершенно разным масштабам — от почти мгновенных колебаний до изменений, растянутых на эпохи. Обычные графики не в состоянии свести всё это воедино, и данные распадаются на изолированные хранилища.
Не отменяет ли задачу искусственный интеллект? Родди отвечает, что нет: алгоритмы отлично упорядочивают, фильтруют и анализируют наборы данных, но сонификация поддерживает человека, принимающего решение, делая закономерности воспринимаемыми. Свежие исследования показывают, что связка особенно хороша, когда ИИ занимается предварительной обработкой и отсевом, а звук подаёт итог в легко интерпретируемой форме — так, например, поступила команда, переводившая в звук данные электроэнцефалографии.
Современные техники сонификации
В арсенале направления две ключевые техники — аудификация и сонификация с отображением параметров (PMSon).
Аудификация берёт низкочастотные сигналы и переносит их в диапазон, который человек слышит без труда, — от 20 Гц до 20 кГц. Обычно это означает ускорение записи, что само по себе сжимает временной ряд и очень помогает выявлять аномалии.
Лучший пример — гравитационные волны. В 2015 году учёные обсерватории LIGO перевели данные о гравитационной волне в слышимый спектр, и столкновение двух чёрных дыр в миллиардах световых лет от Земли можно было буквально услышать: отчётливый «чирп», поднимающийся над громким фоновым шумом. Похожая история произошла с солнечным ветром: исследователь и композитор ускорил данные NASA с часов до секунд и расслышал в показаниях по ионам углерода странный гармонический гул, который статистические визуальные модели пропустили. Гул оказался проявлением особого поведения магнитных полей Солнца.
PMSon устроена сложнее: она сопоставляет конкретные переменные или измерения набора данных с отдельными звуковыми параметрами — высотой тона, громкостью или тембром инструмента. Такой подход лучше работает с дискретными данными, не образующими временного ряда, и с разнородными типами величин.
Показательный случай — проект «мозговой стетоскоп», превративший 18 каналов электроэнцефалограммы в звук. Отображение построили так, чтобы нормальные ритмы мозга давали тихий фоновый гул, а бессимптомные эпилептические приступы прорывались резким криком. Студенты-медики без специальной подготовки распознавали приступы на слух в 95% случаев, тогда как при обычном визуальном разборе — лишь в 50%.
Ещё один пример пришёл из генетики: исследователь сопоставил четыре повторяющихся символа ДНК с мелодией, гармонией и перкуссией, и слушатели начали различать мутации и биологические мотивы там, где раньше видели лишь нечитаемую стену текста.
В собственной работе Родди применял PMSon, чтобы разгрузить визуальный хаос сетевых панелей мониторинга. Систему проектировали для национального испытательного полигона сетей LPWAN, отслеживавшего состояние сети сразу по десяти потокам данных по всей Ирландии: пока сеть здорова, синтезируются чистые, приятные, похожие на голос звуки, а при неполадках звучание становится резким и диссонирующим.
В другом проекте он озвучивал данные умного города в Дублине, чтобы помочь жителям и администрации принимать решения. Хаотичные сведения о транспорте, пробках и погоде пропускались через модель машинного обучения — вариационный автокодировщик, — и на выходе получались вполне благозвучные музыкальные фрагменты.
Что будет с приходом 6G
К эпохе 6G, которую ждут в середине 2030-х, Родди прогнозирует переход к «интернету звуков». Сети начнут передавать такие объёмы данных с такой низкой задержкой, что станут возможны вещи, недоступные сегодня: синхронные выступления симфонического оркестра из ста музыкантов, физически разбросанных по всему миру, гигантские беспроводные акустические сенсорные сети протяжённостью в тысячи километров и голограммы в натуральную величину с пространственным звуком.
Такие сети окажутся настолько сложными, что без сонификации разобраться в происходящем будет попросту невозможно. Забавно, отмечает исследователь, что звук и связь разошлись в 1920-х после эпохи телеграфа, а теперь снова сходятся — только на этот раз звук нужен не для передачи сообщений, а как основной инструмент диагностики, навигации и понимания тех огромных живых сетей данных, которые мы построили.
