Старый смартфон, пылящийся в ящике стола, может получить вторую жизнь куда интереснее роли пресс-папье. Исследователи из Калифорнийского университета в Лос-Анджелесе (UCLA) создали PhoneBot — небольшого шагающего гуманоида, в котором смартфон работает «мозгом» робота-компаньона.
ИИ-изображение, созданное на основе реального PhoneBot. Источник изображения — newatlas.com
Разработка принадлежит лаборатории робототехники и механизмов RoMeLa при UCLA. В препринте, опубликованном на arXiv, команда описывает двуногого робота, который использует смартфон одновременно как торс, глаза и вычислительный центр.
Идея в том, чтобы отказаться от дорогостоящей «начинки». Небольшим исследовательским гуманоидам обычно нужны отдельные датчики, компьютер для машинного зрения и масса проводов. PhoneBot всё это берёт у телефона: камера отвечает за зрение, а встроенный инерциальный измерительный блок (IMU) — чип, фиксирующий наклон и движение, — работает как вестибулярный аппарат для баланса. Процессор исполняет нейросеть, управляющую суставами, а сенсорный экран показывает статус и элементы управления.
Робот имеет рост 48,3 см и весит 1,8 кг вместе с телефоном и аккумулятором. В конструкции — 13 недорогих сервомоторов: по шесть на каждую ногу плюс один, поворачивающий торс. Такой поворот позволяет камере следить за человеком, не разворачивая робота целиком.
Смартфон даёт камеру, датчики движения и вычислительную мощность телу PhoneBot с 13 моторами. Источник изображения — newatlas.com
Телефон не подключён к телу проводами. Он общается с небольшим бортовым компьютером по Wi-Fi, а тот уже передаёт команды моторам. По словам исследователей, это упрощает замену на другие модели телефонов.
Прежде чем сделать первые реальные шаги, PhoneBot тренировался в виртуальной среде с помощью обучения с подкреплением — по сути, методом проб и ошибок с «табелем успеваемости». Робот получал очки за то, что держал темп, чередовал шаги и сохранял вертикальное положение, и терял их за вредные привычки вроде шарканья ногами. Симуляция учитывала ограниченную силу и скорость реальных моторов, а также люфт в их передачах, поэтому робот осваивал только те движения, которые его тело действительно способно выполнить. На реальном устройстве команда продемонстрировала ходьбу, слежение за человеком с помощью камеры и подъём из положения лёжа лицом вниз.
Полностью автономным общение пока не стало. Распознавание речи и языковая модель работают на стоящем рядом ноутбуке, к которому телефон обращается по Wi-Fi. Ходьба и машинное зрение при этом выполняются на самом смартфоне.
PhoneBot испытали на четырёх Android-смартфонах: это Honor 9 2017 года и три бюджетных предоплаченных аппарата стоимостью примерно $50–80. Все они справились с основными функциями — распознаванием движения, управлением ходьбой, зрением на устройстве и взаимодействием с человеком.
PhoneBot умеет ходить, следовать за человеком и подниматься из положения лёжа лицом вниз. Источник изображения — newatlas.com
Единственный пробел — камерное построение карты и локализация (SLAM) не заработали на Honor 9; исследователи связывают это с недоступностью сервисов Google на этом аппарате в США. Проблема знакома и пользователям в СНГ: многие свежие смартфоны Honor и Huawei поставляются без сервисов Google. При этом работа не доказывает, что PhoneBot заработает с любым Android-смартфоном.
Пока у PhoneBot нет рук, а ходьбе его обучали только на ровной поверхности. Маломощные моторы также ограничивают переносимый вес и доступный набор движений. В планах команды — освоение неровной местности, лёгкие руки и планирование на основе языковой модели, которое превращает голосовые команды и визуальную информацию в действия робота. Исследователи также предлагают запускать подходящие языковые модели прямо на смартфоне, чтобы снизить зависимость от ноутбука, который сейчас обеспечивает общение.
Аппаратная и программная части PhoneBot открыты и рассчитаны на образование, исследования и эксперименты энтузиастов. В статье проект представлен как платформа, которую другие могут собирать и дорабатывать, а не как готовый домашний компаньон. По крайней мере пока.
Стоимость PhoneBot авторы оценивают примерно в $400 без учёта смартфона. Другие небольшие исследовательские гуманоиды, упомянутые в статье, стоят от $3 500 до $13 800. У этих платформ разные возможности, поэтому прямое сравнение некорректно, но PhoneBot делает двуногую робототехнику доступной при заметно меньшем бюджете.
