To, co wydawało się niemożliwe, teraz staje się rzeczywistością. Niedawno opublikowaliśmy tutaj na iPhoto Channel historię o projekcie metalentes, rewolucyjnej technologii, która może wyeliminować obiektywy z aparatów fotograficznych, ale była to tylko koncepcja w fazie badań i rozwoju. Ale teraz grupa naukowców z Tokyo Tech stworzyła nową technologię. aparat bez obiektywu która wykorzystuje uczenie maszynowe i może szybko i dokładnie robić ostre zdjęcia.

Zobacz też: 6 najlepszych chatbotów ze sztuczną inteligencją (AI) w 2023 roku

"Bez ograniczeń obiektywu, kamera bezobiektywowa może być ultra-miniaturowa, co może umożliwić nowe zastosowania, które wykraczają poza naszą wyobraźnię", powiedział profesor Masahiro Yamaguchi z Tokyo Institute of Technology, współautor projektu badawczego.

Prototyp bezobiektywowego aparatu fotograficznego stworzony przez naukowców z Tokyo Tech

Pomysł kamery bezobiektywowej nie jest nowy - od 2013 roku podjęto kilka prób, ale jak dotąd projekty te napotykały na słabą ostrość obrazu i powolne przetwarzanie zdjęć, ponieważ kamera bezobiektywowa ma tylko cienką maskę przed czujnikiem obrazu, który koduje i matematycznie rekonstruuje sceny.

Wcześniejsze kamery bezobiektywowe wykorzystywały metody kontrolowania światła padającego na czujnik obrazu i przeprowadzały zaawansowane pomiary interakcji światła z fizyczną maską i czujnikiem obrazu w celu rekonstrukcji obrazu. Bez sposobu na skupienie światła, kamera bezobiektywowa rejestruje rozmyty obraz, który musi zostać zrekonstruowany w ostrzejszy obraz przy użyciu algorytmu. Zobacz to na stroniePrzećwicz poniższą ilustrację:

Jak sama nazwa wskazuje, kamera bezobiektywowa nie wykorzystuje tradycyjnego obiektywu optycznego. Zamiast tego zawiera tylko czujnik i maskę. Kamera nie ma możliwości skupienia światła na czujniku obrazu, więc szczegółowy obraz musi zostać zrekonstruowany przy użyciu zakodowanego wzoru i informacji o tym, jak światło oddziałuje z maską i czujnikiem obrazu. Kredyt: Xiuxi Pan / Tokijski Instytut Technologiczny

Rozumiejąc, w jaki sposób światło oddziałuje z cienką maską przed czujnikiem obrazu, algorytm może dekodować informacje o świetle i rekonstruować skupioną scenę. Proces dekodowania jest jednak niezwykle trudny i wymaga dużej ilości zasobów. Oprócz tego, że jest czasochłonny, generowanie dobrej jakości obrazu wymaga doskonałego modelu fizycznego. Jeśli algorytm opiera się na przybliżeniu, algorytm nie jest w stanie go odtworzyć.niedokładne określenie sposobu, w jaki światło oddziałuje z maską i czujnikiem, system kamery zawiedzie.

Zamiast stosować podejście dekodowania oparte na modelu, zespół Tokyo Tech opracował metodę rekonstrukcji z nowym algorytmem wykorzystującym uczenie maszynowe. Opiera się ona na technice zwanej Vision Transformer (ViT) i obiecuje lepsze globalne rozumowanie.

Tutaj możemy zobaczyć nową kamerę bezobiektywową. Obejmuje ona czujnik obrazu i maskę 2,5 mm od czujnika. Maska jest zbudowana przez osadzanie chromu na syntetycznej płytce krzemionkowej. Ma rozmiar apertury 40×40 μm. Źródło: Xiuxi Pan / Tokyo Institute of Technology

Nowa metoda, wykorzystująca sieci neuronowe i połączony transformator, obiecuje lepsze wyniki. Ponadto błędy rekonstrukcji są zmniejszone, a czas obliczeń jest krótszy. Zespół uważa, że metoda ta może być wykorzystywana do przechwytywania wysokiej jakości obrazów w czasie rzeczywistym, co nie miało miejsca w przypadku poprzednich kamer bezobiektywowych. Jeśli to naprawdę rozwinie się dalej wW ciągu najbliższych kilku lat będziemy mieli do czynienia z jedną z największych rewolucji w procesie rejestrowania obrazów w historii fotografii.

Poniżej znajduje się podsumowanie badania opublikowanego przez autorów Xuixi Pan, Xiao Chen, Saori Takeyama i Masahiro Yamaguchi:

Oparta na masce kamera bezsoczewkowa optycznie koduje scenę za pomocą cienkiej maski, a następnie rekonstruuje obraz. Poprawa rekonstrukcji obrazu jest jednym z najważniejszych zagadnień w obrazowaniu bezsoczewkowym. Konwencjonalne podejścia do rekonstrukcji oparte na modelu, które wykorzystują wiedzę o systemie fizycznym, są podatne na niedoskonałe modelowanie systemu.

Rekonstrukcja za pomocą głębokiej sieci neuronowej (DNN) opartej wyłącznie na danych pozwala uniknąć tego ograniczenia, a tym samym może zapewnić lepszą jakość rekonstrukcji. Jednak istniejące podejścia do rekonstrukcji obrazów bez soczewek oparte wyłącznie na DNN nie zapewniają lepszych wyników niż podejścia oparte na modelach.

Zobacz też: Zdjęcie profilowe Whatsapp: 6 podstawowych wskazówek

Ujawniamy, że właściwość multipleksowania w optyce bezsoczewkowej sprawia, że cechy globalne są niezbędne do zrozumienia optycznie zakodowanego wzoru. Ponadto wszystkie istniejące podejścia do rekonstrukcji DNN stosują w pełni splotowe sieci (FCN), które nie są wydajne w globalnym wnioskowaniu o cechach.

Dzięki tej analizie, po raz pierwszy według naszej wiedzy, zaproponowano w pełni połączoną sieć neuronową z transformatorem do rekonstrukcji obrazu. Proponowana architektura jest lepsza w globalnym wnioskowaniu o cechach, a tym samym poprawia rekonstrukcję. Wyższość proponowanej architektury jest weryfikowana przez porównanie jej z podejściami opartymi na modelu i FCN w eksperymencieoptyczny, a tym samym poprawia rekonstrukcję.

Wyższość proponowanej architektury jest weryfikowana przez porównanie z podejściami opartymi na modelach i FCN w eksperymencie optycznym. a tym samym poprawia rekonstrukcję. Wyższość proponowanej architektury jest weryfikowana przez porównanie z podejściami opartymi na modelach i FCN w eksperymencie optycznym.