Was unmöglich schien, wird jetzt Wirklichkeit. Vor kurzem berichteten wir hier im iPhoto Channel über das Metalentes-Projekt, eine revolutionäre Technologie, die Kameralinsen überflüssig machen könnte. Aber es war nur ein Konzept in der Entwicklungsphase. Jetzt hat eine Gruppe von Forschern an der Tokyo Tech eine neue Kamera ohne Objektiv die mit maschinellem Lernen arbeitet und schnell und präzise scharfe Fotos aufnehmen kann.

Siehe auch: Kreativität in der Abschlussfotografie

"Ohne die Einschränkungen eines Objektivs könnte die linsenlose Kamera ultraklein sein, was neue Anwendungen jenseits unserer Vorstellungskraft ermöglichen könnte", sagte Professor Masahiro Yamaguchi vom Tokyo Institute of Technology, einer der Mitautoren des Forschungsprojekts.

Siehe auch: Je größer der Kamerasensor, desto besser? Der Prototyp der linsenlosen Fotokamera, die von Forschern der Tokyo Tech entwickelt wurde

Die Idee einer linsenlosen Kamera ist nicht neu - seit 2013 wurden bereits einige Versuche unternommen, aber bisher hatten die Projekte mit schlechter Bildschärfe und langsamer Fotoverarbeitung zu kämpfen, da eine linsenlose Kamera nur eine dünne Maske vor einem Bildsensor hat, der die Szenen kodiert und mathematisch rekonstruiert.

Frühere objektivlose Kameras verwendeten Methoden zur Steuerung des auf den Bildsensor auftreffenden Lichts und führten ausgeklügelte Messungen der Wechselwirkung zwischen dem Licht und der physischen Maske und dem Bildsensor durch, um ein Bild zu rekonstruieren. Ohne eine Möglichkeit zur Fokussierung des Lichts nimmt eine objektivlose Kamera ein unscharfes Bild auf, das mithilfe eines Algorithmus zu einem schärferen Bild rekonstruiert werden muss. Siehe hierzuüben Sie anhand der nachstehenden Abbildung:

Wie der Name schon sagt, verwendet eine linsenlose Kamera kein herkömmliches optisches Objektiv, sondern besteht nur aus einem Sensor und einer Maske. Da die Kamera keine Möglichkeit hat, das Licht auf den Bildsensor zu fokussieren, muss ein detailliertes Bild mithilfe eines kodierten Musters und Informationen darüber, wie das Licht mit der Maske und dem Bildsensor interagiert, rekonstruiert werden. Kredit: Xiuxi Pan / Tokioter Institut für Technologie

Wenn man versteht, wie das Licht mit einer dünnen Maske vor dem Bildsensor interagiert, kann ein Algorithmus die Lichtinformationen dekodieren und eine fokussierte Szene rekonstruieren. Der Dekodierungsprozess ist jedoch äußerst anspruchsvoll und ressourcenintensiv. Die Erzeugung einer guten Bildqualität ist nicht nur zeitaufwändig, sondern erfordert auch ein perfektes physikalisches Modell. Wenn ein Algorithmus auf einer Annäherung basiertWenn man nicht genau weiß, wie das Licht mit der Maske und dem Sensor interagiert, wird das Kamerasystem versagen.

Anstelle eines modellbasierten Dekodierungsansatzes hat das Team von Tokyo Tech eine Rekonstruktionsmethode mit einem neuen Algorithmus entwickelt, der auf maschinellem Lernen beruht. Er basiert auf einer Technik namens Vision Transformer (ViT) und verspricht eine verbesserte globale Argumentation.

Hier sehen wir die neue linsenlose Kamera. Sie besteht aus einem Bildsensor und einer Maske, die 2,5 mm vom Sensor entfernt ist. Die Maske wird durch Abscheidung von Chrom auf einer synthetischen Siliziumdioxidplatte hergestellt. Sie hat eine Aperturgröße von 40×40 μm. Credit: Xiuxi Pan / Tokyo Institute of Technology

Die neue Methode, bei der neuronale Netze und ein angeschlossener Transformator zum Einsatz kommen, verspricht bessere Ergebnisse. Außerdem werden die Rekonstruktionsfehler reduziert und die Berechnungszeiten verkürzt. Das Team ist der Ansicht, dass die Methode für die Echtzeitaufnahme von qualitativ hochwertigen Bildern verwendet werden kann, was bei früheren objektivlosen Kameras nicht der Fall war. Wenn sich diese Methode in der Zukunft wirklich weiterentwickeltIn den nächsten Jahren werden wir mit einer der größten Revolutionen in der Geschichte der Fotografie konfrontiert sein, was den Prozess der Bilderfassung angeht.

Lesen Sie im Folgenden eine Zusammenfassung der von den Autoren Xuixi Pan, Xiao Chen, Saori Takeyama und Masahiro Yamaguchi veröffentlichten Studie:

Eine maskenbasierte linsenlose Kamera kodiert die Szene optisch mit einer dünnen Maske und rekonstruiert das Bild anschließend. Die Verbesserung der Bildrekonstruktion ist eines der wichtigsten Themen in der linsenlosen Bildgebung. Herkömmliche modellbasierte Rekonstruktionsansätze, die das Wissen über das physikalische System nutzen, sind anfällig für unvollkommene Systemmodellierung.

Die Rekonstruktion mit einem rein datengesteuerten tiefen neuronalen Netzwerk (DNN) vermeidet diese Einschränkung und hat daher das Potenzial, eine bessere Rekonstruktionsqualität zu liefern. Bestehende reine DNN-Rekonstruktionsansätze für linsenfreie Bilder liefern jedoch keine besseren Ergebnisse als modellbasierte Ansätze.

Wir zeigen, dass die Multiplexing-Eigenschaft in der linsenlosen Optik globale Merkmale für das Verständnis des optisch kodierten Musters unabdingbar macht. Darüber hinaus verwenden alle existierenden DNN-Rekonstruktionsansätze vollständig konvolutionale Netzwerke (FCNs), die bei der Schlussfolgerung aus globalen Merkmalen nicht effizient sind.

Mit dieser Analyse wird zum ersten Mal ein vollständig verbundenes neuronales Netzwerk mit einem Transformator für die Bildrekonstruktion vorgeschlagen, das besser in der Lage ist, globale Merkmale zu erkennen und somit die Rekonstruktion zu verbessern.optisch. und verbessert daher die Rekonstruktion.

Die Überlegenheit der vorgeschlagenen Architektur wird durch den Vergleich mit modellbasierten und FCN-basierten Ansätzen in einem optischen Experiment verifiziert. und verbessert somit die Rekonstruktion. Die Überlegenheit der vorgeschlagenen Architektur wird durch den Vergleich mit modellbasierten und FCN-basierten Ansätzen in einem optischen Experiment verifiziert.