Ono što se činilo nemogućim pretvara se u stvarnost. Nedavno smo ovdje na iPhoto kanalu objavili članak o projektu metallenses, revolucionarnoj tehnologiji koja može eliminirati leće fotoaparata. Međutim, to je bio samo koncept u fazi proučavanja i razvoja. Ali sada je grupa istraživača iz Tokyo Tech-a stvorila novi fotoaparat bez leće koji koristi strojno učenje i može brzo i precizno snimati oštre fotografije.

Vidi također: 10 najpoznatijih fotografija u povijesti

“Bez ograničenja objektiva, kamera bez objektiva mogla bi biti ultraminijaturna, što bi moglo omogućiti nove primjene koje nadilaze našu maštu", rekao je profesor Masahiro Yamaguchi s Tokijskog instituta za tehnologiju, koautor istraživačkog projekta.

Prototip kamere bez leća koji su izradili istraživači Tokyo Tech

Ideja o kameri bez leća nije nova. Neki pokušaji već su napravljeni od 2013. No do tada su projekti nailazili na nedostatak oštrine slika i kašnjenje u obradi fotografija. To je zato što kamera bez objektiva ima samo tanku masku ispred senzora slike koji kodira i matematički rekonstruira scene.

Prethodne kamere bez leća koristile su metode za kontrolu svjetla koje pogađa senzor slike i izvođenje sofisticiranih mjerenja interakcije svjetla s fizičkom maskom isenzor slike kako bi zatim rekonstruirao sliku. Bez mogućnosti fokusiranja svjetla, kamera bez leća snima mutnu sliku, koja se mora rekonstruirati u oštriju sliku pomoću algoritma. Pogledajte ovo u praksi kroz donju ilustraciju:

Kao što naziv sugerira, fotoaparat bez leće ne koristi tradicionalnu optičku leću. Umjesto toga, uključuje samo senzor i masku. Ne postoji način da kamera fokusira svjetlo na senzor slike, tako da se detaljna slika mora rekonstruirati pomoću kodiranog uzorka i informacija o tome kako svjetlost stupa u interakciju s maskom i senzorom slike. Zasluge:Xiuxi Pan / Tokyo Institute of Technology

Razumijevanjem interakcije svjetlosti s tankom maskom ispred senzora slike, algoritam može dekodirati informacije o svjetlu i rekonstruirati fokusiranu scenu. Međutim, proces dekodiranja iznimno je zahtjevan i zahtijeva mnogo resursa. Osim vremena, generiranje dobre kvalitete slike zahtijeva savršeni fizički model. Ako se algoritam temelji na netočnoj aproksimaciji interakcije svjetla s maskom i senzorom, sustav kamere neće uspjeti.

Umjesto korištenja pristupa dekodiranja temeljenog na modelu, tim iz Tokyo Tech-a razvio je metodu rekonstrukcije s novim algoritmom koji koristi strojno učenje. Temelji se na tehnici zvanoj VizijaTransformer (ViT) i obećava poboljšano globalno razmišljanje.

Ovdje možemo vidjeti novu kameru bez objektiva. Uključuje senzor slike i masku udaljenu 2,5 mm od senzora. Maska je izrađena nanošenjem kroma na ploču od sintetičkog silicijevog dioksida. Ima otvor blende 40×40 μm. Zasluge: Xiuxi Pan / Tokyo Institute of Technology

Nova metoda, koja koristi neuronske mreže i povezani transformator, obećava bolje rezultate. Također, greške u rekonstrukciji su smanjene, a vrijeme izračuna je kraće. Tim vjeruje da se metoda može koristiti za snimanje visokokvalitetnih slika u stvarnom vremenu, nešto što nije bilo moguće s prethodnim kamerama bez leća. Ako se ovo stvarno dalje razvija u nadolazećim godinama, suočit ćemo se s jednom od najvećih revolucija u procesu snimanja slike u povijesti fotografije. Pratit ćemo i uvijek vam donositi novosti o kamerama bez objektiva.

Vidi također: Web-mjesto nudi besplatne RAW datoteke za vježbanje uređivanja fotografija

U nastavku pročitajte sažetak studije koju su objavili autori istraživanja Xuixi Pan, Xiao Chen, Saori Takeyama i Masahiro Yamaguchi:

Kamera bez leća koja se temelji na maski optički kodira scenu pomoću tanke maske i nakon toga rekonstruira sliku. Poboljšanje rekonstrukcije slike jedno je od najvažnijih pitanja u snimanju bez leća. Konvencionalni pristupi rekonstrukcije temeljeni na modelu, koji iskorištavajuznanja o fizičkom sustavu, podložni su nesavršenom modeliranju sustava.

Rekonstrukcija s čistom neuronskom mrežom vođenom podacima (DNN) izbjegava ovo ograničenje, stoga ima potencijal pružiti bolju kvalitetu rekonstrukcije. Međutim, postojeći pristupi rekonstrukcije čistog DNN-a za slike bez leća ne daju bolji rezultat od pristupa temeljenih na modelu.

Otkrivamo da svojstvo multipleksiranja u optici bez leća čini globalne značajke bitnim za razumijevanje optički kodiranog uzorka. Osim toga, svi postojeći pristupi rekonstrukcije DNN-a primjenjuju potpuno konvolucijske mreže (FCN) koje nisu učinkovite u promišljanju globalnih značajki.

Ovom analizom, po prvi put koliko znamo, predlaže se potpuno povezana neuronska mreža s transformatorom za rekonstrukciju slike. Predložena arhitektura je bolja u promišljanju globalnih resursa i stoga poboljšava ponovnu izgradnju. Superiornost predložene arhitekture potvrđena je njezinom usporedbom s pristupima koji se temelje na modelu i FCN-u u optičkom eksperimentu. te stoga poboljšava rekonstrukciju.

Nadmoćnost predložene arhitekture potvrđena je usporedbom pristupa temeljenog na modelu i FCN-a u optičkom eksperimentu. To je,dakle, poboljšava rekonstrukciju. Superiornost predložene arhitekture potvrđena je usporedbom s pristupima koji se temelje na modelu i FCN-u u optičkom eksperimentu.