Това, което изглеждаше невъзможно, сега се превръща в реалност. Неотдавна тук, в iPhoto Channel, публикувахме материал за проекта "Металентес" - революционна технология, която може да премахне лещите на фотоапаратите. Но това беше само концепция в процес на проучване и разработване. Сега обаче група изследователи от Токийския технически университет са създали нов фотоапарат без обектив който използва машинно обучение и може да заснема резки снимки бързо и точно.

"Без ограниченията на обектива, камерата без обектив може да бъде свръхминиатюрна, което може да даде възможност за нови приложения, които са отвъд нашето въображение", казва професор Масахиро Ямагучи от Токийския технологичен институт, съавтор на изследователския проект.

Прототип на фотоапарат без лещи, създаден от изследователи от Tokyo Tech

Идеята за фотоапарат без обектив не е нова - от 2013 г. насам са правени няколко опита, но досега проектите се сблъскваха с ниска рязкост на изображенията и бавна обработка на снимките, тъй като фотоапаратът без обектив има само тънка маска пред сензора за изображения, който кодира и математически реконструира сцените.

По-ранните фотоапарати без обектив използваха методи за контрол на светлината, попадаща върху сензора за изображения, и извършваха сложни измервания на взаимодействието на светлината с физическата маска и сензора за изображения, за да възстановят изображението. Без начин за фокусиране на светлината фотоапаратът без обектив заснема размазано изображение, което трябва да бъде реконструирано в по-остро изображение с помощта на алгоритъм. Вижте това впрактикувайте чрез илюстрацията по-долу:

Както подсказва името, фотоапаратът без обектив не използва традиционен оптичен обектив. Вместо това той включва само сензор и маска. Фотоапаратът няма как да фокусира светлината върху сензора за изображения, така че подробното изображение трябва да бъде реконструирано с помощта на кодиран модел и информация за това как светлината взаимодейства с маската и сензора за изображения. Кредит: Xiuxi Pan / Технологичен институт в Токио

Чрез разбиране на начина, по който светлината взаимодейства с тънка маска пред сензора за изображения, алгоритъмът може да декодира светлинната информация и да реконструира фокусирана сцена. Процесът на декодиране обаче е изключително труден и ресурсоемък. Освен че отнема много време, генерирането на изображения с добро качество изисква перфектен физически модел. Ако даден алгоритъм се основава на приближениенеточност на начина, по който светлината взаимодейства с маската и сензора, системата на камерата ще се провали.

Вместо да използва подход за декодиране, базиран на модел, екипът на Tokyo Tech е разработил метод за реконструкция с нов алгоритъм, който използва машинно обучение. Той се основава на техника, наречена Vision Transformer (ViT), и обещава подобрена глобална аргументация.

Вижте също: Място x снимка: 35 снимки показват истината за перфектния кадър Тук можем да видим новата камера без обектив. Тя включва сензор за изображения и маска на разстояние 2,5 мм от сензора. Маската е изработена чрез отлагане на хром върху синтетична плоча от силициев диоксид. Тя има размер на апертурата 40×40 μm. Кредит: Xiuxi Pan / Tokyo Institute of Technology

Новият метод, използващ невронни мрежи и свързан трансформатор, обещава по-добри резултати. Освен това грешките при реконструкцията са намалени, а времето за изчисление е по-кратко. Екипът смята, че методът може да се използва за заснемане на висококачествени изображения в реално време - нещо, което не се случваше при предишните камери без обектив. Ако това наистина се развие по-нататък вПрез следващите няколко години ще се сблъскаме с една от най-големите революции в процеса на заснемане на изображения в историята на фотографията.

Прочетете по-долу резюме на проучването, публикувано от авторите на изследването Xuixi Pan, Xiao Chen, Saori Takeyama и Masahiro Yamaguchi:

Вижте също: Екстравагантността на Марио Тестино

Базираната на маска камера без обектив оптически кодира сцената с тънка маска и след това реконструира изображението. Подобряването на реконструкцията на изображението е един от най-важните проблеми при изображенията без обектив. Конвенционалните подходи за реконструкция, базирани на модели, които използват знания за физическата система, са чувствителни към несъвършеното моделиране на системата.

Реконструкцията с дълбока невронна мрежа, базирана на данни, избягва това ограничение и по този начин има потенциала да осигури по-добро качество на реконструкцията. Въпреки това съществуващите подходи за реконструкция с дълбока невронна мрежа за изображения без лещи не осигуряват по-добри резултати от подходите, базирани на модели.

Разкриваме, че свойството на мултиплексиране в оптиката без лещи прави глобалните характеристики от съществено значение за разбирането на оптично кодирания модел. Освен това всички съществуващи подходи за реконструкция на DNN прилагат напълно конволюционни мрежи (FCN), които не са ефективни при разсъжденията за глобалните характеристики.

С този анализ за пръв път, доколкото ни е известно, се предлага напълно свързана невронна мрежа с трансформатор за реконструкция на изображения. предложената архитектура е по-добра в глобалното обосноваване на характеристиките и следователно подобрява реконструкцията. превъзходството на предложената архитектура е потвърдено чрез сравняването ѝ с подходи, базирани на модели и FCN, в експеримент.оптичен и следователно подобрява реконструкцията.

Превъзходството на предложената архитектура е потвърдено чрез сравнение с подходи, базирани на модел и FCN, в оптичен експеримент. и следователно подобрява реконструкцията. Превъзходството на предложената архитектура е потвърдено чрез сравнение с подходи, базирани на модел и FCN, в оптичен експеримент.