Способов получить трёхмерное изображение или его убедительную имитацию хватает — от стереопар до лидаров и хитрой математики поверх обычной оптики. Но энтузиаст под ником okooptics пошёл куда более необычным путём: он снимает объёмную сцену камерой, у которой вообще нет объектива.
Скотч вместо линзы
Проект вырос из более раннего эксперимента того же автора. Тогда он снял штатную линзу с модуля камеры Raspberry Pi и заклеил сенсор тонким слоем обычного прозрачного скотча Scotch. Лента работает как рассеиватель: свет от каждой точки сцены размазывается по матрице в характерный пятнистый узор.
Сырой кадр с такой «камеры» выглядит как бессмысленное размытое пятно. Однако узор рассеяния для конкретного куска скотча постоянен, и его можно заранее измерить — это так называемая функция рассеяния точки (PSF). Зная её, с помощью деконволюции — математической операции, обратной свёртке, — из размытого кадра удаётся восстановить вполне узнаваемое изображение.
Как из пятна получить объём
Следующим шагом okooptics перенёс идею в три измерения. Для этого он стал взвешивать функцию рассеяния точки, по-разному учитывая свет, приходящий с разных направлений.
Добавление такого направленного смещения даёт эффект, похожий на небольшой сдвиг самой камеры. В результате из одного и того же сырого кадра можно получить виды объектов перед сенсором под слегка разными углами — то есть извлечь информацию о глубине без второй камеры и без движущихся частей.
В видео автор подробно объясняет физику процесса и честно разбирает практические ограничения метода, а также ссылается на научные работы, в которых эти идеи исследованы гораздо глубже.
Зачем это нужно
Безлинзовая съёмка — давно известное направление вычислительной фотографии. Похожие принципы исследуются в академической среде: например, проект DiffuserCam из Калифорнийского университета в Беркли тоже использует рассеиватель вместо оптики и восстанавливает объём сцены из одного кадра. Такие камеры могут быть очень тонкими и дешёвыми, ведь самая дорогая и громоздкая часть — объектив — в них попросту отсутствует.
Расплата за это — объём вычислений: чтобы вытащить трёхмерные данные из того, что на первый взгляд выглядит как размытая пустота, нужна серьёзная математика. Тем, кто хочет разобраться в теме глубже, стоит начать с предыдущего проекта okooptics, где он впервые заменил объектив скотчем. Новая работа показана в видео ниже.
