Det, der syntes umuligt, bliver nu til virkelighed. For nylig skrev vi her på iPhoto Channel en historie om metalentes-projektet, en revolutionerende teknologi, der kunne eliminere kameralinser. Men det var kun et koncept under undersøgelse og udvikling. Men nu har en gruppe forskere ved Tokyo Tech skabt en ny kamera uden objektiv som bruger maskinlæring og kan tage skarpe billeder hurtigt og præcist.

"Uden begrænsningerne ved en linse kan det linsefri kamera være ultra-miniatur, hvilket kan muliggøre nye anvendelser, der overgår vores fantasi," siger professor Masahiro Yamaguchi fra Tokyo Institute of Technology, der er medforfatter på forskningsprojektet.

Prototypen på det linseløse fotokamera skabt af Tokyo Tech-forskere

Ideen om et linsefrit kamera er ikke ny - der har været gjort et par forsøg siden 2013, men indtil videre er projekterne løbet ind i dårlig billedskarphed og langsom billedbehandling, fordi et linsefrit kamera kun har en tynd maske foran en billedsensor, der koder og matematisk rekonstruerer scenerne.

Tidligere linseløse kameraer brugte metoder til at kontrollere det lys, der rammer billedsensoren, og udføre sofistikerede målinger af, hvordan lyset interagerer med den fysiske maske og billedsensoren for at rekonstruere et billede. Uden en måde at fokusere lyset på optager et linseløst kamera et uskarpt billede, som skal rekonstrueres til et skarpere billede ved hjælp af en algoritme. Se dette iøv dig gennem illustrationen nedenfor:

Som navnet antyder, bruger et linseløst kamera ikke en traditionel optisk linse. I stedet indeholder det kun en sensor og en maske. Kameraet kan ikke fokusere lyset på billedsensoren, så et detaljeret billede skal rekonstrueres ved hjælp af et kodet mønster og information om, hvordan lyset interagerer med masken og billedsensoren. Kredit: Xiuxi Pan / Tokyo Institute of Technology

Ved at forstå, hvordan lys interagerer med en tynd maske foran billedsensoren, kan en algoritme afkode lysinformationen og rekonstruere en fokuseret scene. Afkodningsprocessen er imidlertid ekstremt udfordrende og ressourcekrævende. Ud over at være tidskrævende kræver generering af god billedkvalitet en perfekt fysisk model. Hvis en algoritme er baseret på en tilnærmelseupræcist, hvordan lyset interagerer med masken og sensoren, vil kamerasystemet fejle.

I stedet for at bruge en modelbaseret afkodning har Tokyo Tech-teamet udviklet en rekonstruktionsmetode med en ny algoritme, der bruger maskinlæring. Den er baseret på en teknik kaldet Vision Transformer (ViT) og lover forbedret global ræsonnering.

Se også: 3 tips til fotografering for mænd, der ikke er modeller Her kan vi se det nye linseløse kamera. Det indeholder en billedsensor og en maske 2,5 mm fra sensoren. Masken er konstrueret ved deponering af krom på en syntetisk silica-plade. Den har en blændeåbning på 40×40 μm. Kredit: Xiuxi Pan / Tokyo Institute of Technology

Den nye metode, der bruger neurale netværk og en forbundet transformer, lover bedre resultater. Derudover reduceres rekonstruktionsfejl, og beregningstiderne er kortere. Holdet mener, at metoden kan bruges til realtidsoptagelse af billeder i høj kvalitet, noget der ikke var tilfældet med tidligere linsefri kameraer. Hvis dette virkelig udvikler sig yderligere iI løbet af de næste par år vil vi stå over for en af de største revolutioner i billedoptagelsesprocessen i fotografiets historie.

Nedenfor kan du læse et resumé af undersøgelsen, som er publiceret af forskningsforfatterne Xuixi Pan, Xiao Chen, Saori Takeyama og Masahiro Yamaguchi:

Et maskebaseret linsefrit kamera koder optisk scenen med en tynd maske og rekonstruerer billedet bagefter. Forbedring af billedrekonstruktion er et af de vigtigste spørgsmål inden for linsefri billeddannelse. Konventionelle modelbaserede rekonstruktionsmetoder, som udnytter viden om det fysiske system, er sårbare over for ufuldkommen systemmodellering.

Rekonstruktion med et rent datadrevet dybt neuralt netværk (DNN) undgår denne begrænsning og har derfor potentiale til at give bedre rekonstruktionskvalitet. Eksisterende rene DNN-rekonstruktionsmetoder til linsefri billeder giver dog ikke et bedre resultat end modelbaserede metoder.

Se også: Hvordan finder man ud af, om et billede er skabt af kunstig intelligens (AI)?

Vi afslører, at multiplexing-egenskaben i linsefri optik gør globale funktioner vigtige for at forstå det optisk kodede mønster. Derudover anvender alle eksisterende DNN-rekonstruktionsmetoder fuldt konvolutionelle netværk (FCN), der ikke er effektive til at ræsonnere over globale funktioner.

Med denne analyse foreslås for første gang, så vidt vi ved, et fuldt forbundet neuralt netværk med en transformer til billedrekonstruktion. Den foreslåede arkitektur er bedre til global funktionsresonnering og forbedrer derfor rekonstruktionen. Overlegenheden af den foreslåede arkitektur verificeres ved at sammenligne den med modelbaserede og FCN-baserede tilgange i et eksperiment.optisk. og forbedrer derfor rekonstruktionen.

Den foreslåede arkitekturs overlegenhed er verificeret ved at sammenligne med modelbaserede og FCN-baserede tilgange i et optisk eksperiment. og forbedrer dermed rekonstruktionen. Den foreslåede arkitekturs overlegenhed er verificeret ved at sammenligne med modelbaserede og FCN-baserede tilgange i et optisk eksperiment.