Mahdottomalta tuntunut asia on muuttumassa todellisuudeksi. Hiljattain julkaisimme täällä iPhoto-kanavalla jutun metalentes-hankkeesta, vallankumouksellisesta teknologiasta, jolla kameroista voidaan poistaa linssit. Se oli kuitenkin vasta tutkimus- ja kehitystyön alla oleva konsepti. Mutta nyt Tokion teknillisen korkeakoulun tutkijaryhmä on luonut uuden kamera ilman objektiivia joka käyttää koneoppimista ja pystyy ottamaan teräviä kuvia nopeasti ja tarkasti.

"Ilman linssin rajoituksia objektiiviton kamera voisi olla erittäin pienikokoinen, mikä mahdollistaisi uusia sovelluksia, jotka ylittävät mielikuvituksemme", sanoo Tokion teknillisen instituutin professori Masahiro Yamaguchi, joka on yksi tutkimushankkeen kirjoittajista.

Tokyo Techin tutkijoiden luoma linssittömän valokuvakameran prototyyppi

Ajatus kamerasta ilman linssiä ei ole uusi. Vuodesta 2013 lähtien on tehty muutamia yrityksiä, mutta toistaiseksi projektit ovat törmänneet huonoon kuvan terävyyteen ja hitaaseen kuvankäsittelyyn. Tämä johtuu siitä, että linssittömässä kamerassa on vain ohut naamio kuvakennon edessä, joka koodaa ja matemaattisesti rekonstruoi kohtaukset.

Aikaisemmissa linssittömissä kameroissa käytettiin menetelmiä, joilla hallittiin kuvakennolle osuvaa valoa ja suoritettiin hienostuneita mittauksia siitä, miten valo vuorovaikuttaa fyysisen maskin ja kuvakennon kanssa kuvan rekonstruoimiseksi. Ilman tapaa tarkentaa valoa linssitön kamera tallentaa epäselvän kuvan, joka on rekonstruoitava terävämmäksi kuvaksi algoritmin avulla. Ks. tästäharjoitella alla olevan kuvan avulla:

Katso myös: Parhaat vlog-kamerat vuonna 2023 Kuten nimestä voi päätellä, linssittömässä kamerassa ei käytetä perinteistä optista linssiä, vaan siinä on vain sensori ja maski. Kamera ei voi keskittää valoa kuvakennolle, joten yksityiskohtainen kuva on rekonstruoitava käyttämällä koodattua kuviota ja tietoa siitä, miten valo vuorovaikuttaa maskin ja kuvakennon kanssa. Luotto: Xiuxi Pan / Tokion teknologiainstituutti

Ymmärtämällä, miten valo on vuorovaikutuksessa kuvakennon edessä olevan ohuen maskin kanssa, algoritmi voi purkaa valoinformaation ja rekonstruoida tarkennetun kohtauksen. Purkamisprosessi on kuitenkin erittäin haastava ja resurssi-intensiivinen. Sen lisäksi, että hyvän kuvanlaadun tuottaminen vie aikaa, se edellyttää täydellistä fysikaalista mallia. Jos algoritmi perustuu approksimaatioon.epätarkka siitä, miten valo on vuorovaikutuksessa maskin ja anturin kanssa, kamerajärjestelmä epäonnistuu.

Mallipohjaisen dekoodausmenetelmän sijaan Tokyo Techin tiimi on kehittänyt rekonstruktiomenetelmän, jossa käytetään uutta koneoppimista hyödyntävää algoritmia. Se perustuu Vision Transformer (ViT) -nimiseen tekniikkaan ja lupaa parempaa globaalia päättelyä.

Tässä näemme uuden linssittömän kameran. Se sisältää kuvakennon ja maskin 2,5 mm:n päässä kennosta. Maski on valmistettu laskeuttamalla kromia synteettiselle piilevylle. Sen aukon koko on 40×40 μm. Luotto: Xiuxi Pan / Tokyo Institute of Technology

Uusi menetelmä, jossa käytetään neuroverkkoja ja kytkettyä muuntajaa, lupaa parempia tuloksia. Lisäksi rekonstruktiovirheet pienenevät ja laskenta-aika lyhenee. Ryhmä uskoo, että menetelmää voidaan käyttää korkealaatuisten kuvien reaaliaikaiseen ottamiseen, mitä aiemmat linssittömät kamerat eivät ole tehneet. Jos tämä todella kehittyy edelleen vuonnaLähivuosina edessä on yksi valokuvauksen historian suurimmista vallankumouksista kuvien tallennusprosessissa.

Lue alta tiivistelmä tutkimuksesta, jonka julkaisivat tutkimuksen tekijät Xuixi Pan, Xiao Chen, Saori Takeyama ja Masahiro Yamaguchi:

Maskipohjainen linssitön kamera koodaa kohtauksen optisesti ohuella maskilla ja rekonstruoi kuvan sen jälkeen. Kuvan rekonstruoinnin parantaminen on yksi tärkeimmistä linssittömän kuvantamisen kysymyksistä. Perinteiset mallipohjaiset rekonstruktiomenetelmät, joissa hyödynnetään fyysisen järjestelmän tuntemusta, ovat alttiita epätäydelliselle järjestelmän mallintamiselle.

Puhtaasti dataan perustuvalla syvä neuroverkolla (DNN) tehtävä rekonstruktio välttää tämän rajoituksen, joten sillä voidaan saavuttaa parempi rekonstruktion laatu. Nykyiset puhtaasti DNN:llä tehtävät rekonstruktiomenetelmät linssittömiä kuvia varten eivät kuitenkaan tuota parempia tuloksia kuin mallipohjaiset lähestymistavat.

Paljastamme, että linsittömän optiikan multipleksointiominaisuus tekee globaaleista piirteistä olennaisen tärkeitä optisesti koodatun kuvion ymmärtämisessä. Lisäksi kaikki nykyiset DNN-rekonstruktiomenetelmät käyttävät täysin konvoluutioverkkoja (FCN), jotka eivät ole tehokkaita globaalien piirteiden päättelyssä.

Tämän analyysin avulla ehdotetaan ensimmäistä kertaa tietojemme mukaan täysin kytkettyä neuroverkkoa, jossa on muuntaja kuvan rekonstruktiota varten.Ehdotettu arkkitehtuuri on parempi globaalissa ominaisuuksien päättelyssä ja parantaa siten rekonstruktiota.Ehdotetun arkkitehtuurin paremmuus on todennettu vertaamalla sitä mallipohjaisiin ja FCN-pohjaisiin lähestymistapoihin kokeessa.optinen. ja siten parantaa rekonstruktiota.

Ehdotetun arkkitehtuurin paremmuus on todennettu vertaamalla sitä mallipohjaisiin ja FCN-pohjaisiin lähestymistapoihin optisessa kokeessa. ja siten parantaa rekonstruktiota. Ehdotetun arkkitehtuurin paremmuus on todennettu vertaamalla sitä mallipohjaisiin ja FCN-pohjaisiin lähestymistapoihin optisessa kokeessa.

Katso myös: Midjourney Prompt: Miten luoda realistisia kuvia?