Forskere lager et kamera uten objektiv

 Forskere lager et kamera uten objektiv

Kenneth Campbell

Det som så ut til å være umulig, blir til virkelighet. Vi la nylig ut en artikkel her på iPhoto Channel om metallenses-prosjektet, en revolusjonerende teknologi som kan eliminere kameralinser. Imidlertid var det bare et konsept under utredning og utvikling. Men nå har en gruppe forskere ved Tokyo Tech laget et nytt objektivløst kamera som bruker maskinlæring og kan ta skarpe bilder raskt og nøyaktig.

"Uten begrensningene til et objektiv kan objektivløst kamera kan være ultra-miniatyr, noe som kan muliggjøre nye applikasjoner som er utenfor vår fantasi," sa professor Masahiro Yamaguchi ved Tokyo Institute of Technology, medforfatter av forskningsprosjektet.

Prototypen for objektivfri kamera laget av Tokyo Tech-forskere

Ideen om et objektivløst kamera er ikke ny. Noen forsøk har allerede blitt gjort siden 2013. Men frem til da løp prosjektene inn i mangel på skarphet i bildene og forsinkelsen i behandlingen av bildene. Det er fordi et kamera uten objektiv kun har en tynn maske foran en bildesensor som koder og matematisk rekonstruerer scener.

Tidligere objektivløse kameraer brukte metoder for å kontrollere lyset som treffer bildesensoren og utføre sofistikerte målinger av hvordan lyset samhandler med den fysiske masken ogbildesensor for deretter å rekonstruere et bilde. Uten en måte å fokusere lys på, tar et objektivløst kamera et uskarpt bilde, som må rekonstrueres til et skarpere bilde ved hjelp av en algoritme. Se dette i praksis gjennom illustrasjonen nedenfor:

Som navnet antyder, bruker ikke et objektivløst kamera en tradisjonell optisk linse. I stedet inkluderer den bare en sensor og en maske. Det er ingen måte for kameraet å fokusere lys på bildesensoren, så et detaljert bilde må rekonstrueres ved hjelp av et kodet mønster og informasjon om hvordan lys samhandler med masken og bildesensoren. Kreditt:Xiuxi Pan / Tokyo Institute of Technology

Ved å forstå hvordan lys samhandler med en tynn maske foran bildesensoren, kan en algoritme dekode lysinformasjonen og rekonstruere en fokusert scene. Imidlertid er dekodingsprosessen ekstremt utfordrende og ressurskrevende. I tillegg til å ta tid, krever det å generere god bildekvalitet en perfekt fysisk modell. Hvis en algoritme er basert på en unøyaktig tilnærming av hvordan lyset samhandler med masken og sensoren, vil kamerasystemet mislykkes.

I stedet for å bruke en modellbasert dekodingstilnærming, utviklet teamet ved Tokyo Tech en rekonstruksjonsmetode med en ny algoritme som bruker maskinlæring. Den er basert på en teknikk kalt VisionTransformer (ViT) og lover forbedret global resonnement.

Her kan vi se det nye kameraet uten objektiv. Den inkluderer en bildesensor og en maske 2,5 mm fra sensoren. Masken er konstruert ved å plettere krom på en syntetisk silikaplate. Den har en blenderstørrelse på 40×40 μm. Kreditt: Xiuxi Pan / Tokyo Institute of Technology

Den nye metoden, som bruker nevrale nettverk og en tilkoblet transformator, lover bedre resultater. Også rekonstruksjonsfeil reduseres og beregningstidene er kortere. Teamet mener metoden kan brukes til sanntidsopptak av bilder av høy kvalitet, noe som ikke var mulig med tidligere objektivløse kameraer. Hvis dette virkelig utvikler seg videre i årene som kommer, vil vi stå overfor en av de største revolusjonene i bildefangstprosessen i fotografiets historie. Vi vil følge og alltid gi deg nyhetene om kameraer uten linser.

Les nedenfor et sammendrag av studien publisert av forfatterne av forskningen Xuixi Pan, Xiao Chen, Saori Takeyama og Masahiro Yamaguchi:

Et maskebasert objektivløst kamera koder optisk scenen med en tynn maske og rekonstruerer bildet etterpå. Forbedring av bilderekonstruksjon er en av de viktigste problemene ved linseløs bildebehandling. Konvensjonelle modellbaserte rekonstruksjonstilnærminger, som utnytterkunnskap om det fysiske systemet, er utsatt for ufullkommen modellering av systemet.

Rekonstruksjon med et rent datadrevet dypt nevralt nettverk (DNN) unngår denne begrensningen, og har dermed potensial til å gi bedre rekonstruksjonskvalitet. Eksisterende rene DNN-rekonstruksjonstilnærminger for linseløse bilder gir imidlertid ikke et bedre resultat enn modellbaserte tilnærminger.

Se også: Lær hvordan du bruker blits TTL-modus

Vi avslører at multipleksingsegenskapen i linseløs optikk gjør globale funksjoner avgjørende for å forstå det optisk kodede mønsteret. I tillegg bruker alle eksisterende DNN-rekonstruksjonstilnærminger fullstendig konvolusjonelle nettverk (FCNs) som ikke er effektive til å resonnere globale funksjoner.

Med denne analysen foreslås det for første gang så vidt vi vet et fullt tilkoblet nevralt nettverk med en transformator for bilderekonstruksjon. Den foreslåtte arkitekturen er bedre til å resonnere globale ressurser og forbedrer derfor gjenoppbyggingen. Overlegenheten til den foreslåtte arkitekturen bekreftes ved å sammenligne den med modellbaserte og FCN-baserte tilnærminger i et optisk eksperiment. og forbedrer derfor rekonstruksjonen.

Overlegenheten til den foreslåtte arkitekturen bekreftes ved å sammenligne de modellbaserte og FCN-baserte tilnærmingene i et optisk eksperiment. Det er,derfor forbedrer det rekonstruksjonen. Overlegenheten til den foreslåtte arkitekturen bekreftes ved å sammenligne den med modellbaserte og FCN-baserte tilnærminger i et optisk eksperiment.

Se også: Kvinne tar en hundefotografering og det usannsynlige skjer under bildene

Kenneth Campbell

Kenneth Campbell er en profesjonell fotograf og aspirerende forfatter som har en livslang lidenskap for å fange skjønnheten i verden gjennom linsen. Født og oppvokst i en liten by kjent for sine pittoreske landskap, utviklet Kenneth en dyp forståelse for naturfotografering fra en tidlig alder. Med over ti års erfaring i bransjen har han fått en bemerkelsesverdig kompetanse og et skarpt øye for detaljer.Kenneths kjærlighet til fotografering førte til at han reiste mye og søkte nye og unike miljøer å fotografere. Fra viltvoksende bylandskap til avsidesliggende fjell, har han tatt kameraet med seg til alle verdenshjørner, og alltid forsøkt å fange essensen og følelsene til hvert sted. Arbeidene hans har blitt omtalt i flere prestisjetunge magasiner, kunstutstillinger og nettplattformer, og har skaffet ham anerkjennelse og utmerkelser i fotografimiljøet.Kenneth har i tillegg til fotograferingen et sterkt ønske om å dele sin kunnskap og kompetanse med andre som brenner for kunstformen. Bloggen hans, Tips for Photography, fungerer som en plattform for å tilby verdifulle råd, triks og teknikker for å hjelpe ambisiøse fotografer med å forbedre ferdighetene sine og utvikle sin egen unike stil. Enten det er komposisjon, lyssetting eller etterbehandling, er Kenneth dedikert til å gi praktiske tips og innsikt som kan ta noens fotografering til neste nivå.Gjennom hansengasjerende og informative blogginnlegg, har Kenneth som mål å inspirere og styrke leserne sine til å forfølge sin egen fotografiske reise. Med en vennlig og tilgjengelig skrivestil oppmuntrer han til dialog og interaksjon, og skaper et støttende fellesskap der fotografer på alle nivåer kan lære og vokse sammen.Når han ikke er på reisefot eller skriver, kan Kenneth bli funnet som leder fotoverksteder og holder foredrag på lokale arrangementer og konferanser. Han mener at undervisning er et kraftig verktøy for personlig og profesjonell vekst, som lar ham komme i kontakt med andre som deler lidenskapen hans og gi dem den veiledningen de trenger for å slippe løs kreativiteten.Kenneths endelige mål er å fortsette å utforske verden, kamera i hånd, samtidig som han inspirerer andre til å se skjønnheten i omgivelsene og fange den gjennom deres egen linse. Enten du er en nybegynner som søker veiledning eller en erfaren fotograf som leter etter nye ideer, er Kenneths blogg, Tips for Photography, din favorittressurs for alt fotografering.