То, что казалось невозможным, теперь становится реальностью. Недавно мы опубликовали на iPhoto Channel статью о проекте metalentes - революционной технологии, которая могла бы устранить объективы фотоаппаратов. Но это была только концепция в стадии изучения и разработки. Но теперь группа исследователей из Токийского технологического института создала новую технологию. камера без объектива которая использует машинное обучение и может быстро и точно делать четкие фотографии.

Смотрите также: Сделайте селфи, и Google найдет вашего двойника в произведении искусства

"Без ограничений, накладываемых объективом, безлинзовая камера может быть ультраминиатюрной, что может обеспечить новые применения, которые находятся за пределами нашего воображения", - сказал профессор Масахиро Ямагучи из Токийского технологического института, соавтор исследовательского проекта.

Прототип безлинзовой фотокамеры, созданный исследователями Токийского технологического института

Идея создания безлинзовой камеры не нова - с 2013 года было предпринято несколько попыток, но до сих пор проекты сталкивались с недостаточной четкостью изображения и медленной обработкой фотографий, поскольку безлинзовая камера имеет только тонкую маску перед датчиком изображения, который кодирует и математически реконструирует сцены.

Более ранние безлинзовые камеры использовали методы контроля света, попадающего на датчик изображения, и проводили сложные измерения того, как свет взаимодействует с физической маской и датчиком изображения для восстановления изображения. Без способа фокусировки света безлинзовая камера снимает размытое изображение, которое должно быть восстановлено в более четкое изображение с помощью алгоритма. См. об этом в статьепрактикуйтесь с помощью приведенной ниже иллюстрации:

Как следует из названия, в безлинзовой камере не используется традиционная оптическая линза. Вместо этого она включает только датчик и маску. У камеры нет возможности сфокусировать свет на датчике изображения, поэтому детальное изображение должно быть восстановлено с помощью закодированного шаблона и информации о том, как свет взаимодействует с маской и датчиком изображения. Кредит: Сюси Пань / Токийский технологический институт

Понимая, как свет взаимодействует с тонкой маской перед датчиком изображения, алгоритм может декодировать информацию о свете и восстановить сфокусированную сцену. Однако процесс декодирования является чрезвычайно сложным и ресурсоемким. Помимо того, что это занимает много времени, для получения качественного изображения требуется совершенная физическая модель. Если алгоритм основан на аппроксимации.неточности в том, как свет взаимодействует с маской и сенсором, система камеры будет работать со сбоями.

Вместо того чтобы использовать подход декодирования на основе модели, команда Токийского технологического института разработала метод реконструкции с новым алгоритмом, использующим машинное обучение. Он основан на технике под названием Vision Transformer (ViT) и обещает улучшенное глобальное рассуждение.

Здесь мы видим новую безлинзовую камеру. Она включает в себя датчик изображения и маску, расположенную на расстоянии 2,5 мм от датчика. Маска изготовлена путем осаждения хрома на пластину синтетического кремния. Она имеет апертуру размером 40×40 мкм. Credit: Xiuxi Pan / Токийский технологический институт

Новый метод, использующий нейронные сети и подключенный трансформатор, обещает лучшие результаты. Кроме того, уменьшаются ошибки реконструкции и сокращается время вычислений. Команда считает, что метод может быть использован для получения высококачественных изображений в реальном времени, чего нельзя было сказать о предыдущих безлинзовых камерах. Если этот метод действительно получит дальнейшее развитие вВ ближайшие несколько лет мы столкнемся с одной из величайших революций в процессе получения изображений за всю историю фотографии.

Ниже читайте краткое содержание исследования, опубликованного авторами исследования Сюйси Пань, Сяо Чен, Саори Такеяма и Масахиро Ямагучи:

Безлинзовая камера на основе маски оптически кодирует сцену с помощью тонкой маски, а затем восстанавливает изображение. Улучшение реконструкции изображения является одним из наиболее важных вопросов в безлинзовой съемке. Традиционные подходы к реконструкции на основе моделей, которые используют знания о физической системе, подвержены несовершенству моделирования системы.

Реконструкция с помощью глубокой нейронной сети (DNN), основанной на чистых данных, позволяет избежать этого ограничения и, таким образом, имеет потенциал для обеспечения лучшего качества реконструкции. Однако существующие подходы к реконструкции с помощью чистой DNN для изображений без линз не дают лучшего результата, чем подходы на основе моделей.

Мы обнаружили, что свойство мультиплексирования в безлинзовой оптике делает глобальные признаки важными для понимания оптически закодированной картины. Кроме того, все существующие подходы к восстановлению ДНС используют полностью сверточные сети (FCN), которые не эффективны в рассуждениях о глобальных признаках.

Смотрите также: В чем разница между фотографией и кинематографом?

С помощью этого анализа впервые, насколько нам известно, предложена полностью связанная нейронная сеть с трансформатором для реконструкции изображений. Предложенная архитектура лучше справляется с глобальным анализом признаков и, следовательно, улучшает реконструкцию. Превосходство предложенной архитектуры проверено путем сравнения с подходами на основе модели и FCN в эксперименте.оптический. и, следовательно, улучшает реконструкцию.

Превосходство предложенной архитектуры подтверждено сравнением с подходами на основе модели и FCN в оптическом эксперименте. и, следовательно, улучшает реконструкцию. Превосходство предложенной архитектуры подтверждено сравнением с подходами на основе модели и FCN в оптическом эксперименте.