Современные беспилотные автомобили уже неплохо «видят» окружающий мир — при условии, что освещение идеальное. Но стоит добавить дождь, снег или внезапную вспышку яркого света от спецтранспорта, как ситуация становится куда более рискованной. Решить эту проблему может новый крошечный сенсор размером примерно с песчинку.
Беспилотный автомобиль Waymo на улицах Нашвилла, штат Теннесси. Источник изображения — popsci.com
Датчик под названием фотомемристор разработали исследователи из Университета штата Пенсильвания. Он порывает с традиционным подходом к сенсорам компьютерного зрения и вместо этого черпает вдохновение в старом добром человеческом глазе — по сути, это дополнительные искусственные глаза. В испытаниях устройство переключалось между ярким и тёмным освещением быстрее, чем современные аналоги.
Человеческий глаз легко и естественно переходит от света к темноте и обратно. Наделив тем же умением будущие беспилотники, их можно сделать надёжнее даже в непогоду. Такая подстраховка особенно пригодится сейчас, когда операторы роботакси вроде Waymo и Zoox готовятся выпустить всё больше беспилотных машин на дороги общего пользования в США и за их пределами. Результаты работы опубликованы на этой неделе в журнале Nature Communications.
«Копируя принцип работы глаза, мы можем создавать фотомемристоры, которые куда надёжнее ведут себя в условиях смешанного освещения», — отметил инженер Университета штата Пенсильвания и соавтор исследования Ларри Чанг.
Где буксует компьютерное зрение
Модели зрения беспилотных автомобилей (как и любые системы компьютерного зрения) хороши ровно настолько, насколько хороши данные, на которых их обучали. Хотя над улучшением работы в плохую погоду и при необычном освещении бьются давно, достаточно взглянуть на города, где сегодня доступны беспилотные сервисы, чтобы заметить закономерность: Финикс, Сан-Франциско, Остин — все они известны долгими солнечными днями.
Но подвести компьютерное зрение может не только погода. Такие системы особенно плохо справляются с тем, что исследователи называют смешанным освещением. Знакомый почти каждому водителю пример: вы едете в темноте по длинной холмистой дороге, и вдруг на встречной полосе появляется машина с включённым дальним светом. Резкий переход от темноты к яркому свету фар и обратно дезориентирует, но большинство людей справляются с ним, не теряя из виду обстановку.
Машинам это даётся тяжелее. В той же ситуации, отмечают учёные, беспилотник, ослеплённый вспышкой встречного дальнего света, может на мгновение потерять из виду другие объекты поблизости — например, тусклый огонёк красного сигнала светофора или размытый силуэт перебегающего дорогу оленя.
Палочки и колбочки
Чтобы решить эту задачу, инженеры из Пенсильвании вернулись к основам и присмотрелись к тому, что помогает человеческому глазу в подобных сценариях. В нашей сетчатке есть палочки и колбочки, помогающие различать детали в темноте. Когда источник света внезапно становится ярче, пигмент в палочках временно «выцветает» и затем медленно восстанавливается. Колбочки в это время остаются без изменений — именно они позволяют нам не терять контрастные детали, пока палочки перестраиваются.
Взяв этот природный механизм за основу, команда создала фотомемристор, который более-менее воспроизводит взаимодействие палочек и колбочек. Сенсор сделан из двух материалов — эластичного гелеобразного пластика и порошкообразного соединения, оксида титана, — между которыми течёт вода. Оксид титана улавливает свет из окружающей среды и преобразует его в электрический ток, а полученное напряжение проходит через проводящую поверхность пластика. На практике в темноте пластик впитывает больше воды и слегка разбухает, а при ярком свете, наоборот, отдаёт её. Замысел был в том, чтобы создать «глазоподобные» сенсоры, способные динамически подстраиваться под меняющееся освещение.
Фотомемристор совсем небольшой — всего около половины миллиметра в поперечнике, но при этом преобразует энергию света в электрический ток, питая продвинутые оптические системы. Источник изображения — popsci.com
Само устройство выглядит как золотистый квадрат с квадратиком поменьше внутри и множеством крошечных отверстий. Оно миниатюрное: сторона одного квадрата — всего около половины миллиметра, тоньше большинства банковских карт. Чтобы такой сенсор реально заработал в системе компьютерного зрения, множество подобных элементов нужно объединить в массивы.
Для проверки команда собрала из нескольких сенсоров матрицу 4×4 и подключила её к нейросети, игравшей роль «мозга» беспилотного автомобиля или робота. Затем получившуюся систему машинного зрения прогнали через вариации привычной проверки зрения у окулиста: перед ней ставили светящуюся букву «F» на фоне, яркость которого исследователи могли менять. Оснащённая искусственными глазами система должна была отслеживать и распознавать букву, пока фон переключался от очень яркого к очень тёмному.
После нескольких этапов обучения система показала 95-процентную точность распознавания буквы в условиях смешанного освещения — это лучше, чем у традиционных решений. И хотя человеку она пока, возможно, уступает, у неё есть другое преимущество: если глазам человека на полную адаптацию к резкой смене освещения обычно нужно от 20 до 30 минут, то системе, по словам исследователей, хватало нескольких секунд.
Не только автомобили
Хотя в этом узком тесте искусственные глаза показали себя хорошо, до их установки в реальные автомобили ещё далеко. Следующий шаг — расширить набор сенсоров до мультимодальной системы, способной одновременно обрабатывать и визуальные, и тактильные данные. В перспективе же учёные надеются, что это поможет беспилотникам видеть надёжнее.
Более того, команда допускает, что версия таких искусственных глаз могла бы лечь в основу искусственной оптики, возвращающей зрение слабовидящим людям. Те же сенсоры, по их словам, можно встроить в человекоподобных роботов, чтобы те лучше ориентировались на складах и других объектах, где обычно работают люди. Звучит впечатляюще — хотя и слегка тревожно, почти как сюжет из антиутопической видеоигры Cyberpunk 2077.
