Ono što se činilo nemogućim pretvara se u stvarnost. Nedavno smo ovdje na iPhoto Channelu objavili članak o projektu metalnih leća, revolucionarnoj tehnologiji koja može eliminirati sočiva fotoaparata. Međutim, to je bio samo koncept koji se proučava i razvija. Ali sada je grupa istraživača iz Tokyo Tech-a kreirala novu kameru bez sočiva koja koristi mašinsko učenje i može brzo i precizno snimiti oštre fotografije.

Vidi_takođe: Šta je plongée i contraplongée?

„Bez ograničenja objektiva, Kamera bez sočiva mogla bi biti ultra-minijaturna, što bi moglo omogućiti nove aplikacije koje su izvan naše mašte", rekao je profesor Masahiro Yamaguchi s Tokijskog instituta za tehnologiju, koautor istraživačkog projekta.

Vidi_takođe: Netflix dokumentarni film prikazuje zastrašujuće izazove snimanja i fotografisanja divljih životinjaPrototip kamere bez sočiva koji su kreirali istraživači Tokyo Tech

Ideja kamere bez sočiva nije nova. Neki pokušaji su već napravljeni od 2013. Ali do tada su projekti nailazili na nedostatak oštrine slika i kašnjenje u obradi fotografija. To je zato što kamera bez objektiva ima samo tanku masku ispred senzora slike koji kodira i matematički rekonstruiše scene.

Prijašnje kamere bez sočiva koristile su metode za kontrolu svjetlosti koja udara u senzor slike i izvođenje sofisticiranih mjerenja načina na koji svjetlost stupa u interakciju s fizičkom maskom isenzor slike da bi zatim rekonstruisao sliku. Bez načina za fokusiranje svjetlosti, kamera bez sočiva snima mutnu sliku, koja se pomoću algoritma mora rekonstruirati u oštriju sliku. Pogledajte ovo u praksi kroz donju ilustraciju:

Kao što mu ime govori, kamera bez sočiva ne koristi tradicionalno optičko sočivo. Umjesto toga, uključuje samo senzor i masku. Ne postoji način da kamera fokusira svjetlost na senzor slike, tako da se detaljna slika mora rekonstruirati korištenjem kodiranog uzorka i informacija o tome kako svjetlost stupa u interakciju s maskom i senzorom slike. Zasluge:Xiuxi Pan / Tokyo Institute of Technology

Razumivanjem načina na koji svjetlost stupa u interakciju s tankom maskom ispred senzora slike, algoritam može dekodirati svjetlosne informacije i rekonstruirati fokusiranu scenu. Međutim, proces dekodiranja je izuzetno zahtjevan i zahtijeva puno resursa. Osim što oduzima vrijeme, generiranje dobrog kvaliteta slike zahtijeva savršen fizički model. Ako se algoritam zasniva na netačnoj aproksimaciji načina na koji svjetlost stupa u interakciju s maskom i senzorom, sistem kamere neće uspjeti.

Umjesto korištenja pristupa dekodiranja zasnovanog na modelu, tim u Tokyo Techu razvio je metodu rekonstrukcije sa novim algoritmom koji koristi mašinsko učenje. Zasniva se na tehnici zvanoj VisionTransformer (ViT) i obećava poboljšano globalno razmišljanje.

Ovdje možemo vidjeti novu kameru bez objektiva. Sadrži senzor slike i masku udaljenu 2,5 mm od senzora. Maska je napravljena nanošenjem hroma na ploču od sintetičkog silika. Ima veličinu otvora 40×40 μm. Zasluge: Xiuxi Pan / Tokyo Institute of Technology

Nova metoda, koja koristi neuronske mreže i povezani transformator, obećava bolje rezultate. Također, greške rekonstrukcije su smanjene i vrijeme izračunavanja je kraće. Tim vjeruje da se metoda može koristiti za snimanje visokokvalitetnih slika u realnom vremenu, nešto što nije bilo moguće s prethodnim fotoaparatima bez sočiva. Ako se ovo zaista dalje razvija u narednim godinama, suočit ćemo se s jednom od najvećih revolucija u procesu snimanja slike u povijesti fotografije. Pratit ćemo i uvijek vam donositi vijesti o kamerama bez objektiva.

U nastavku pročitajte sažetak studije koju su objavili autori istraživanja Xuixi Pan, Xiao Chen, Saori Takeyama i Masahiro Yamaguchi:

Kamera bez sočiva zasnovana na maski optički kodira scenu tankom maskom i nakon toga rekonstruiše sliku. Poboljšanje rekonstrukcije slike jedno je od najvažnijih pitanja u snimanju bez sočiva. Konvencionalni pristupi rekonstrukciji zasnovani na modelu, koji koristeznanja o fizičkom sistemu, podložni su nesavršenom modeliranju sistema.

Rekonstrukcija s dubokom neuronskom mrežom vođenom čistim podacima (DNN) izbjegava ovo ograničenje, čime ima potencijal da pruži bolji kvalitet rekonstrukcije. Međutim, postojeći pristupi rekonstrukcije čistog DNN-a za slike bez sočiva ne daju bolji rezultat od pristupa zasnovanih na modelu.

Otkrivamo da svojstvo multipleksiranja u optici bez sočiva čini globalne karakteristike bitnim za razumijevanje optički kodiranog uzorka. Dodatno, svi postojeći pristupi rekonstrukciji DNN-a primjenjuju potpuno konvolucione mreže (FCN) koje nisu efikasne u zaključivanju globalnih karakteristika.

Ovom analizom, po prvi put, koliko nam je poznato, predlaže se potpuno povezana neuronska mreža s transformatorom za rekonstrukciju slike. Predložena arhitektura je bolja u rasuđivanju globalnih resursa i stoga poboljšava rekonstrukciju. Superiornost predložene arhitekture je potvrđena poređenjem sa pristupima zasnovanim na modelu i FCN u optičkom eksperimentu. i samim tim poboljšava rekonstrukciju.

Nadmoć predložene arhitekture je potvrđena poređenjem pristupa zasnovanog na modelu i pristupa baziranog na FCN-u u optičkom eksperimentu. TO JE,stoga poboljšava rekonstrukciju. Superiornost predložene arhitekture je potvrđena poređenjem sa pristupima zasnovanim na modelu i FCN u optičkom eksperimentu.