Wat ûnmooglik like te wêzen, wurdt realiteit. Wy hawwe koartlyn in artikel pleatst hjir op it iPhoto Channel oer it metallenses-projekt, in revolúsjonêre technology dy't kameralinsjes kin eliminearje. It wie lykwols gewoan in konsept ûnder stúdzje en ûntwikkeling. Mar no hat in groep ûndersikers by Tokyo Tech in nije lensleaze kamera makke dy't masine learen brûkt en skerpe foto's fluch en sekuer kin fange.

"Sûnder de beheiningen fan in lens, de lensleaze kamera kin ultra-miniatuer wêze, wat nije applikaasjes mooglik meitsje kinne dy't bûten ús ferbylding binne, "sei professor Masahiro Yamaguchi fan it Tokyo Institute of Technology, mei-auteur fan it ûndersyksprojekt.

It prototype fan in lensleaze kamera makke troch ûndersikers fan Tokyo Tech

It idee fan in lensleaze kamera is net nij. Der binne al wat besocht sûnt 2013. Mar oant doe rûnen de projekten yn it gebrek oan skerpte fan de bylden en de fertraging by it ferwurkjen fan de foto's. Dat komt om't in kamera sûnder lens mar in tinne masker hat foar in byldsensor dy't sênes kodearret en wiskundich rekonstruearret.

Foarige kamera's sûnder lens brûkten metoaden om it ljocht te kontrolearjen dat de byldsensor rekket en ferfine mjittingen út te fieren fan hoe't it ljocht ynteraksje mei it fysike masker en debyldsensor om dan in byld te rekonstruearjen. Sûnder in manier om ljocht te fokusjen, fangt in lensleaze kamera in wazig byld, dat moat wurde rekonstruearre yn in skerper byld mei in algoritme. Sjoch dit yn 'e praktyk troch de yllustraasje hjirûnder:

Lykas de namme al fermoeden docht, brûkt in lensleaze kamera gjin tradisjonele optyske lens. Ynstee omfettet it allinich in sensor en in masker. D'r is gjin manier foar de kamera om ljocht op 'e byldsensor te fokusjen, dus in detaillearre ôfbylding moat wurde rekonstruearre mei in kodearre patroan en ynformaasje oer hoe't ljocht ynteraksje mei it masker en de byldsensor. Kredyt:Xiuxi Pan / Tokyo Institute of Technology

Troch te begripen hoe't ljocht ynteraksje mei in tinne masker foar de byldsensor, kin in algoritme de ljochtynformaasje dekodearje en in fokusse sêne rekonstruearje. It dekodearjen proses is lykwols ekstreem útdaagjend en boarne-yntinsyf. Neist it nimmen fan tiid, fereasket it generearjen fan goede ôfbyldingskwaliteit in perfekt fysyk model. As in algoritme basearre is op in ûnkrekte oanwizing fan hoe't ljocht ynteraksje mei it masker en de sensor, sil it kamerasysteem mislearje.

Ynstee fan in model-basearre dekodearjende oanpak, ûntwikkele it team by Tokyo Tech in rekonstruksjemetoade mei in nij algoritme dat masine learen brûkt. It is basearre op in technyk neamd VisionTransformer (ViT) en belooft ferbettere globale redenearring.

Hjir kinne wy ​​​​de nije kamera sûnder lens sjen. It omfettet in byldsensor en in masker 2,5 mm fan 'e sensor. It masker wurdt konstruearre troch plating chromium op in syntetyske silica plaat. It hat in diafragmagrutte fan 40 × 40 μm. Kredyt: Xiuxi Pan / Tokyo Institute of Technology

De nije metoade, mei help fan neurale netwurken en in ferbûne transformator, belooft bettere resultaten. Ek wurde rekonstruksjefouten fermindere en berekkeningstiden koarter. It team is fan betinken dat de metoade kin wurde brûkt foar real-time opname fan heechweardige ôfbyldings, iets dat net mooglik wie mei eardere lensleaze kamera's. As dit de kommende jierren wirklik fierder evoluearret, sille wy te krijen hawwe mei ien fan 'e grutste revolúsjes yn it proses foar opname fan ôfbyldings yn' e skiednis fan fotografy. Wy sille folgje en jo altyd it nijs fan kamera's sûnder linzen bringe.

Lês hjirûnder in gearfetting fan 'e stúdzje publisearre troch de auteurs fan it ûndersyk Xuixi Pan, Xiao Chen, Saori Takeyama en Masahiro Yamaguchi:

Sjoch ek: Fotograaf vangt it gesicht fan Poseidon, de God fan 'e see

In masker-basearre lensleaze kamera kodearret it toaniel optysk mei in tinne masker en rekonstruearret it byld dêrnei. Ferbetterjen fan ôfbyldingsrekonstruksje is ien fan 'e wichtichste problemen yn lensleaze ôfbylding. Konvinsjonele model-basearre rekonstruksje oanpak, dy't leverage dekennis fan it fysike systeem, binne gefoelich foar ûnfolsleine modellering fan it systeem.

Rekonstruksje mei in suver data-oandreaune djippe neurale netwurk (DNN) foarkomt dizze beheining, en hat dus it potensjeel om bettere rekonstruksjekwaliteit te leverjen. Besteande suvere DNN-rekonstruksje-oanpak foar lensleaze ôfbyldings jouwe lykwols gjin better resultaat dan model-basearre oanpak.

Wy litte sjen dat it multiplexearjende eigenskip yn lensleaze optyk globale funksjes essensjeel makket foar it begripen fan it optysk kodearre patroan. Derneist tapasse alle besteande DNN-rekonstruksjebenaderingen folslein konvolúsjonele netwurken (FCN's) dy't net effisjint binne yn it redenearjen fan globale funksjes.

Sjoch ek: Foto x plak: sjoch hoe't 18 foto's makke binne

Mei dizze analyze wurdt foar it earst foar safier't wy witte in folslein ferbûn neural netwurk mei in transformator foar byldrekonstruksje foarsteld. De foarstelde arsjitektuer is better by it redenearjen fan globale boarnen en ferbetteret dêrom de weropbou. De superioriteit fan 'e foarstelde arsjitektuer wurdt ferifiearre troch it te fergelykjen mei model-basearre en FCN-basearre oanpak yn in optysk eksperimint. en dêrom ferbetteret rekonstruksje.

De superioriteit fan 'e foarstelde arsjitektuer wurdt ferifiearre troch it fergelykjen fan de model-basearre en FCN-basearre oanpak yn in optysk eksperimint. It is,dêrom, it ferbetteret rekonstruksje. De superioriteit fan 'e foarstelde arsjitektuer wurdt ferifiearre troch it te fergelykjen mei model-basearre en FCN-basearre oanpak yn in optysk eksperimint.