Она што се чинеше дека е невозможно се претвора во реалност. Неодамна објавивме статија овде на каналот iPhoto за проектот за метални леќи, револуционерна технологија која може да ги елиминира леќите на фотоапаратот. Сепак, тоа беше само концепт кој се проучува и се развива. Но, сега, група истражувачи од Токио Техника создадоа нова камера без леќи која користи машинско учење и може брзо и прецизно да снима остри фотографии.

„Без ограничувањата на објективот, Камерата без леќи би можела да биде ултра-минијатурна, што би можело да овозможи нови апликации кои се надвор од нашата имагинација“, рече професорот Масахиро Јамагучи од Технолошкиот институт во Токио, коавтор на истражувачкиот проект.

Прототипот на камерата без леќи создаден од истражувачите на Токио Техника

Идејата за камера без леќи не е нова. Некои обиди се веќе направени од 2013 година. Но, дотогаш, проектите наидоа на недостаток на острина на сликите и доцнење во обработката на фотографиите. Тоа е затоа што камерата без објектив има само тенка маска пред сензорот за слика што ги кодира и математички реконструира сцени.

Претходните камери без леќи користеа методи за контрола на светлината што удира во сензорот за слика и изведуваа софистицирани мерења за тоа како светлината комуницира со физичката маска исензор за слика за потоа да реконструира слика. Без начин да се фокусира светлината, камерата без леќи снима заматена слика, која мора да се реконструира во поостра слика со помош на алгоритам. Погледнете го ова во пракса преку илустрацијата подолу:

Како што сугерира неговото име, камерата без леќи не користи традиционални оптички леќи. Наместо тоа, вклучува само сензор и маска. Нема начин фотоапаратот да ја фокусира светлината на сензорот за слика, така што деталната слика мора да се реконструира со користење на кодирана шема и информации за тоа како светлината комуницира со маската и сензорот за слика. Кредит:Xiuxi Pan / Институт за технологија во Токио

Со разбирање како светлината комуницира со тенка маска пред сензорот за слика, алгоритам може да ги декодира информациите за светлината и да реконструира фокусирана сцена. Сепак, процесот на декодирање е исклучително предизвикувачки и интензивен за ресурси. Освен што одзема време, за генерирање на добар квалитет на сликата е потребен и совршен физички модел. Ако алгоритамот се заснова на неточна апроксимација за тоа како светлината комуницира со маската и сензорот, системот на камерата ќе пропадне.

Наместо да користи пристап за декодирање базиран на модел, тимот од Токио Техника разви метод за реконструкција со нов алгоритам кој користи машинско учење. Се заснова на техника наречена ВизијаТрансформатор (ViT) и ветува подобрено глобално расудување.

Овде можеме да ја видиме новата камера без објектив. Вклучува сензор за слика и маска на 2,5 mm од сензорот. Маската е направена со позлата на хром на синтетичка силика плоча. Има големина на отворот од 40×40 μm. Кредит: Xiuxi Pan / Институт за технологија во Токио

Новиот метод, кој користи невронски мрежи и поврзан трансформатор, ветува подобри резултати. Исто така, грешките при реконструкција се намалуваат и времето на пресметување е пократко. Тимот верува дека методот може да се користи за снимање слики со висок квалитет во реално време, нешто што не беше можно со претходните камери без леќи. Ако ова навистина се развива понатаму во наредните години, ќе се соочиме со една од најголемите револуции во процесот на снимање слики во историјата на фотографијата. Ќе ги следиме и секогаш ќе ви ги носиме вестите за фотоапаратите без леќи.

Исто така види: Дали реални фотографии од секси жени создадени со вештачка интелигенција можат да ги соборат OnlyFans?

Подолу прочитајте го резимето на студијата објавена од авторите на истражувањето Ксуикси Пан, Ксијао Чен, Саори Такејама и Масахиро Јамагучи:

Камера без леќи базирана на маска оптички ја кодира сцената со тенка маска и потоа ја реконструира сликата. Подобрувањето на реконструкцијата на сликата е едно од најважните прашања во сликањето без леќи. Конвенционалните пристапи за реконструкција засновани на модели, кои го користатпознавање на физичкиот систем, се подложни на несовршено моделирање на системот.

Реконструкцијата со чиста невронска мрежа (DNN) управувана од податоци го избегнува ова ограничување, со што има потенцијал да обезбеди подобар квалитет на реконструкција. Сепак, постоечките пристапи за реконструкција на чисто DNN за слики без леќи не обезбедуваат подобар резултат од пристапите базирани на модели.

Откриваме дека својствата на мултиплексирање во оптиката без леќи ги прави глобалните карактеристики суштински за разбирање на оптички кодираната шема. Дополнително, сите постоечки пристапи за реконструкција на DNN применуваат целосно конволуциони мрежи (FCN) кои не се ефикасни во расудувањето на глобалните карактеристики.

Исто така види: Новата алатка на Canva со вештачка интелигенција ви овозможува да менувате облека и коса на фотографии на неверојатни начини

Со оваа анализа, за прв пат, колку што знаеме, се предлага целосно поврзана невронска мрежа со трансформатор за реконструкција на слики. Предложената архитектура е подобра во расудувањето на глобалните ресурси и затоа ја подобрува обновата. Супериорноста на предложената архитектура се потврдува со споредување со пристапи базирани на модели и FCN-базирани во оптички експеримент. и затоа ја подобрува реконструкцијата.

Супериорноста на предложената архитектура е потврдена со споредување на пристапите базирани на модел и FCN-базирани во оптички експеримент. Е,затоа, ја подобрува реконструкцијата. Супериорноста на предложената архитектура е потврдена со нејзино споредување со пристапи базирани на модели и FCN во оптички експеримент.