Kar se je zdelo nemogoče, zdaj postaja resničnost. pred kratkim smo na iPhoto Channelu objavili zgodbo o projektu metalentes, revolucionarni tehnologiji, ki bi lahko odpravila leče fotoaparata. vendar je bila le koncept v fazi študija in razvoja. zdaj pa je skupina raziskovalcev na tokijski tehnični fakulteti ustvarila novo fotoaparat brez objektiva ki uporablja strojno učenje ter lahko hitro in natančno zajame ostre fotografije.

"Brez omejitev objektiva bi bil lahko fotoaparat brez objektiva zelo miniaturen, kar bi omogočilo nove aplikacije, ki presegajo našo domišljijo," je dejal profesor Masahiro Yamaguchi s Tehnološkega inštituta v Tokiu, soavtor raziskovalnega projekta.

Prototip fotoaparata brez leč, ki so ga izdelali raziskovalci tokijskega Tehnika

Zamisel o fotoaparatu brez objektiva ni nova - od leta 2013 je bilo izvedenih že nekaj poskusov, vendar so se projekti doslej soočali s slabo ostrino slike in počasno obdelavo fotografij, saj ima fotoaparat brez objektiva le tanko masko pred slikovnim senzorjem, ki kodira in matematično rekonstruira prizore.

Prejšnji fotoaparati brez leč so uporabljali metode za nadzor svetlobe, ki pada na slikovno tipalo, in zahtevne meritve interakcije svetlobe s fizično masko in slikovnim tipalom, da bi rekonstruirali sliko. Brez načina ostrenja svetlobe fotoaparat brez leč zajame zamegljeno sliko, ki jo je treba z algoritmom rekonstruirati v ostrejšo sliko. Glej to vvadite na spodnji sliki:

Kot pove že ime, fotoaparat brez leč ne uporablja običajnega optičnega objektiva, temveč vsebuje le tipalo in masko. Fotoaparat ne more osredotočiti svetlobe na slikovno tipalo, zato je treba podrobno sliko rekonstruirati z uporabo kodiranega vzorca in informacij o tem, kako svetloba deluje na masko in slikovno tipalo. Kredit: Xiuxi Pan / Tehnološki inštitut v Tokiu

Z razumevanjem interakcije svetlobe s tanko masko pred slikovnim senzorjem lahko algoritem dekodira informacije o svetlobi in rekonstruira izostren prizor. Vendar je postopek dekodiranja izjemno zahteven in zahteva veliko virov. Poleg tega, da je dolgotrajen, je za ustvarjanje dobre kakovosti slike potreben popoln fizični model. Če algoritem temelji na približkuČe ne boste natančno določili, kako svetloba deluje na masko in senzor, bo sistem kamere neuspešen.

Namesto dekodiranja na podlagi modela je ekipa tokijske univerze razvila metodo rekonstrukcije z novim algoritmom, ki uporablja strojno učenje. Ta temelji na tehniki, imenovani Vision Transformer (ViT), in obljublja izboljšano globalno sklepanje.

Na sliki je nova kamera brez leč. Vključuje slikovni senzor in masko, ki je od senzorja oddaljena 2,5 mm. Maska je izdelana z nanašanjem kroma na sintetično silicijevo ploščo. Velikost odprtine je 40 × 40 μm. Kredit: Xiuxi Pan / Tokyo Institute of Technology

Nova metoda, ki uporablja nevronske mreže in povezan transformator, obljublja boljše rezultate. Poleg tega so napake pri rekonstrukciji manjše, čas izračuna pa krajši. Ekipa meni, da se metoda lahko uporablja za zajemanje visokokakovostnih slik v realnem času, kar pri prejšnjih kamerah brez leč ni bilo mogoče. Če se bo to res nadalje razvijalo vV naslednjih nekaj letih se bomo soočili z eno največjih revolucij v procesu zajemanja slik v zgodovini fotografije.

V nadaljevanju si preberite povzetek študije, ki so jo objavili avtorji raziskave Xuixi Pan, Xiao Chen, Saori Takeyama in Masahiro Yamaguchi:

Poglej tudi: Kako fotografirati na grdih mestih

Kamera brez leč, ki temelji na maski, optično kodira prizor s tanko masko in nato rekonstruira sliko. Izboljšanje rekonstrukcije slike je eno od najpomembnejših vprašanj pri slikanju brez leč. Običajni pristopi rekonstrukcije na podlagi modela, ki uporabljajo znanje o fizičnem sistemu, so občutljivi na nepopolno modeliranje sistema.

Rekonstrukcija z globokim nevronskim omrežjem (DNN), ki temelji izključno na podatkih, se izogne tej omejitvi in tako lahko zagotovi boljšo kakovost rekonstrukcije. Vendar obstoječi pristopi rekonstrukcije s čistim DNN za slike brez leč ne zagotavljajo boljših rezultatov kot pristopi, ki temeljijo na modelu.

Razkrivamo, da so zaradi multipleksne lastnosti v optiki brez leč globalne funkcije bistvene za razumevanje optično kodiranega vzorca. Poleg tega vsi obstoječi pristopi rekonstrukcije DNN uporabljajo popolnoma konvolucijske mreže (FCN), ki niso učinkovite pri utemeljevanju globalnih funkcij.

S to analizo je prvič po našem vedenju predlagana popolnoma povezana nevronska mreža s transformatorjem za rekonstrukcijo slike.Predlagana arhitektura je boljša pri globalnem utemeljevanju značilnosti in zato izboljša rekonstrukcijo.Prednost predlagane arhitekture je preverjena s primerjavo s pristopi na podlagi modela in FCN v poskusu.optično in s tem izboljša rekonstrukcijo.

Poglej tudi: 7 razlogov, zakaj so objektivi z ribjim očesom osupljivi

Prednost predlagane arhitekture je preverjena s primerjavo s pristopi, ki temeljijo na modelu in FCN, v optičnem eksperimentu. in s tem izboljša rekonstrukcijo. Prednost predlagane arhitekture je preverjena s primerjavo s pristopi, ki temeljijo na modelu in FCN, v optičnem eksperimentu.