Отслеживание рук в VR и AR заметно повышает погружение и делает взаимодействие с виртуальной средой куда живее. Однако у большинства камерных систем есть общее слабое место: стоит пальцам перекрыть друг друга, переплестись или выйти из поля зрения камеры шлема, как качество трекинга падает. Ещё реже встречаются решения, которые умеют не только считывать положение руки, но и «отвечать» пользователю, возвращая ему ощущения. Эти проблемы разработчик Себастьян Молано решил закрыть собственным открытым проектом TAKTO, над которым он работал в рамках выпускной работы.
Наглядные иллюстрации показывают сборку по шагам.
Вместо того чтобы полагаться на изображение с камеры, TAKTO определяет положение устройства и пальца внутри него с помощью магнитных энкодеров. Такой подход не зависит от линии прямой видимости, поэтому перекрытые или спрятанные от камеры пальцы перестают быть проблемой для трекинга. Кроме того, в конструкцию входят актуаторы: они способны тянуть пальцы пользователя и тем самым добавлять ещё больше информации о том, что «ощущает» рука в виртуальном пространстве.
Сама по себе идея не выглядит революционной: похожие проекты уже встречались. Главное отличие TAKTO в другом — в масштабе поддержки вокруг устройства. Это не разовый самодельный трекер руки, а проект, который доведён до состояния, пригодного для повторения другими энтузиастами.
Цифровой двойник и наглядная документация
Сайт TAKTO.one содержит не только общую информацию о проекте, но и полноценный цифровой двойник живого устройства. Эта консоль позволяет посмотреть, как выглядит работа с перчаткой, и получить общие данные о её состоянии. Документация по сборке оформлена в виде чётких иллюстраций, в духе инструкций к конструктору LEGO, — это должно сделать процесс изготовления устройства своими руками максимально безболезненным.
Все остальные материалы, необходимые для самостоятельной сборки, опубликованы на GitHub. Стоимость версии с актуаторами остаётся высокой, но существует и более доступный вариант — только с сенсорами для отслеживания рук. Основная доля затрат приходится на качественные актуаторы, поэтому тем, кому нужен лишь трекинг, дорогая обратная связь не обязательна.
Проект интересен и как образец открытой разработки в области VR-периферии: исходные материалы доступны всем, а сочетание магнитного трекинга и обратной связи показывает альтернативу подходу, при котором положение пальцев целиком зависит от камер.
Тем, кто хочет повысить удобство использования уже имеющегося VR-оборудования, стоит также обратить внимание на то, что Valve выложила в открытый доступ.
