To, čo sa zdalo byť nemožné, sa teraz stáva realitou. Nedávno sme tu na kanáli iPhoto Channel uverejnili článok o projekte metalentes, revolučnej technológii, ktorá by mohla odstrániť šošovky fotoaparátu. Bol to však len koncept v štádiu štúdia a vývoja. Teraz však skupina výskumníkov na tokijskej technike vytvorila nový fotoaparát bez objektívu ktorý využíva strojové učenie a dokáže rýchlo a presne zachytiť ostré fotografie.

"Bez obmedzení objektívu by kamera bez objektívu mohla byť ultraminiatúrna, čo by mohlo umožniť nové aplikácie, ktoré sú za hranicou našej predstavivosti," povedal profesor Masahiro Yamaguchi z Tokijského technologického inštitútu, spoluautor výskumného projektu.

Prototyp fotoaparátu bez objektívu vytvorený výskumníkmi z Tokyo Tech

Myšlienka fotoaparátu bez objektívu nie je nová - od roku 2013 sa uskutočnilo niekoľko pokusov, ale doteraz projekty narážali na nízku ostrosť obrazu a pomalé spracovanie fotografií, pretože fotoaparát bez objektívu má pred obrazovým snímačom len tenkú masku, ktorá kóduje a matematicky rekonštruuje scény.

Pozri tiež: Zemiaky vo výške viac ako 1 milión USD

Skoršie bezšošovkové fotoaparáty používali metódy na kontrolu svetla dopadajúceho na obrazový snímač a vykonávali zložité merania interakcie svetla s fyzickou maskou a obrazovým snímačom na rekonštrukciu obrazu. Bez spôsobu zaostrenia svetla zachytí bezšošovkový fotoaparát rozmazaný obraz, ktorý sa musí pomocou algoritmu zrekonštruovať na ostrejší obraz. Pozri túto časťprecvičte si to na obrázku nižšie:

Ako už názov napovedá, kamera bez objektívu nepoužíva tradičný optický objektív, ale iba snímač a masku. Kamera nemá možnosť zaostriť svetlo na obrazový snímač, takže podrobný obraz sa musí rekonštruovať pomocou zakódovaného vzoru a informácií o tom, ako svetlo interaguje s maskou a obrazovým snímačom. Kredit: Xiuxi Pan / Tokijský technologický inštitút

Pochopením toho, ako svetlo interaguje s tenkou maskou pred obrazovým snímačom, môže algoritmus dekódovať svetelné informácie a rekonštruovať zaostrenú scénu. Proces dekódovania je však mimoriadne náročný a náročný na zdroje. Okrem toho, že je časovo náročný, generovanie dobrej kvality obrazu si vyžaduje dokonalý fyzikálny model. Ak je algoritmus založený na aproximáciinepresnosť interakcie svetla s maskou a snímačom, kamerový systém zlyhá.

Namiesto prístupu založeného na modelovom dekódovaní tím Tokijskej technickej univerzity vyvinul metódu rekonštrukcie s novým algoritmom, ktorý využíva strojové učenie. Je založený na technike nazvanej Vision Transformer (ViT) a sľubuje zlepšenie globálneho uvažovania.

Pozri tiež: Silvio Santos bol takmer zvolený za prezidenta Brazílie. Fotografia alebo tisíc slov? Tu vidíme novú kameru bez objektívu. Obsahuje obrazový snímač a masku vzdialenú 2,5 mm od snímača. Maska je vytvorená nanesením chrómu na syntetickú kremíkovú dosku. Má veľkosť clony 40 × 40 μm. Kredit: Xiuxi Pan / Tokyo Institute of Technology

Nová metóda, využívajúca neurónové siete a pripojený transformátor, sľubuje lepšie výsledky. Okrem toho sa znížia chyby pri rekonštrukcii a skráti sa čas výpočtu. Tím verí, že metóda sa dá použiť na zachytávanie vysokokvalitných snímok v reálnom čase, čo v prípade predchádzajúcich kamier bez objektívu nebolo možné. Ak sa to naozaj bude ďalej vyvíjať vV najbližších rokoch nás čaká jedna z najväčších revolúcií v procese zachytávania snímok v histórii fotografie.

Prečítajte si zhrnutie štúdie, ktorú uverejnili autori výskumu Xuixi Pan, Xiao Chen, Saori Takeyama a Masahiro Yamaguchi:

Kamera bez objektívu založená na maske opticky kóduje scénu pomocou tenkej masky a následne rekonštruuje obraz. Zlepšenie rekonštrukcie obrazu je jedným z najdôležitejších problémov pri zobrazovaní bez objektívu. Konvenčné prístupy rekonštrukcie založené na modeli, ktoré využívajú znalosti fyzikálneho systému, sú náchylné na nedokonalé modelovanie systému.

Rekonštrukcia pomocou hlbokej neurónovej siete (DNN) založenej na čistých údajoch sa tomuto obmedzeniu vyhýba, a preto má potenciál poskytnúť lepšiu kvalitu rekonštrukcie. Existujúce prístupy rekonštrukcie pomocou DNN pre obrazy bez šošoviek však neposkytujú lepšie výsledky ako prístupy založené na modeli.

Odhaľujeme, že vlastnosť multiplexovania v bezočivej optike spôsobuje, že globálne funkcie sú nevyhnutné na pochopenie opticky kódovaného vzoru. Okrem toho všetky existujúce prístupy rekonštrukcie DNN používajú plne konvolučné siete (FCN), ktoré nie sú efektívne pri uvažovaní globálnych funkcií.

Na základe tejto analýzy sa podľa našich vedomostí prvýkrát navrhuje plne prepojená neurónová sieť s transformátorom na rekonštrukciu obrazu.Navrhovaná architektúra je lepšia v globálnom zdôvodňovaní príznakov, a preto zlepšuje rekonštrukciu.Výhodnosť navrhovanej architektúry sa overuje porovnaním s prístupmi založenými na modeli a FCN v experimente.optické. a preto zlepšuje rekonštrukciu.

Nadradenosť navrhovanej architektúry je overená porovnaním s prístupmi založenými na modeli a FCN v optickom experimente. a teda zlepšuje rekonštrukciu. Nadradenosť navrhovanej architektúry je overená porovnaním s prístupmi založenými na modeli a FCN v optickom experimente.