Αυτό που φαινόταν αδύνατο γίνεται τώρα πραγματικότητα. Πρόσφατα δημοσιεύσαμε εδώ στο iPhoto Channel μια ιστορία σχετικά με το έργο metalentes, μια επαναστατική τεχνολογία που θα μπορούσε να εξαλείψει τους φακούς της φωτογραφικής μηχανής. Αλλά ήταν απλώς μια ιδέα υπό μελέτη και ανάπτυξη. Τώρα όμως, μια ομάδα ερευνητών στο Tokyo Tech δημιούργησε μια νέα φωτογραφική μηχανή χωρίς φακό η οποία χρησιμοποιεί μηχανική μάθηση και μπορεί να τραβήξει ευκρινείς φωτογραφίες γρήγορα και με ακρίβεια.

"Χωρίς τους περιορισμούς ενός φακού, η κάμερα χωρίς φακό θα μπορούσε να είναι εξαιρετικά μικροσκοπική, γεγονός που θα μπορούσε να επιτρέψει νέες εφαρμογές που ξεπερνούν τη φαντασία μας", δήλωσε ο καθηγητής Masahiro Yamaguchi του Ινστιτούτου Τεχνολογίας του Τόκιο, συν-συγγραφέας του ερευνητικού προγράμματος.

Το πρωτότυπο της φωτογραφικής μηχανής χωρίς φακούς που δημιούργησαν ερευνητές του Tokyo Tech

Η ιδέα μιας φωτογραφικής μηχανής χωρίς φακό δεν είναι καινούργια - έχουν γίνει μερικές απόπειρες από το 2013, αλλά μέχρι στιγμής τα έργα έχουν αντιμετωπίσει την κακή ευκρίνεια των εικόνων και την αργή επεξεργασία των φωτογραφιών, επειδή μια φωτογραφική μηχανή χωρίς φακό έχει μόνο μια λεπτή μάσκα μπροστά από έναν αισθητήρα εικόνας που κωδικοποιεί και ανακατασκευάζει μαθηματικά τις σκηνές.

Οι παλαιότερες κάμερες χωρίς φακό χρησιμοποιούσαν μεθόδους ελέγχου του φωτός που προσπίπτει στον αισθητήρα εικόνας και εκτελούσαν εξελιγμένες μετρήσεις του τρόπου με τον οποίο το φως αλληλεπιδρά με τη φυσική μάσκα και τον αισθητήρα εικόνας για την ανακατασκευή μιας εικόνας. Χωρίς τρόπο εστίασης του φωτός, μια κάμερα χωρίς φακό καταγράφει μια θολή εικόνα, η οποία πρέπει να ανακατασκευαστεί σε μια πιο ευκρινή εικόνα με τη χρήση ενός αλγορίθμου. Δείτε αυτό στοπρακτική μέσω της παρακάτω απεικόνισης:

Όπως υποδηλώνει το όνομα, μια φωτογραφική μηχανή χωρίς φακό δεν χρησιμοποιεί έναν παραδοσιακό οπτικό φακό. Αντ' αυτού, περιλαμβάνει μόνο έναν αισθητήρα και μια μάσκα. Δεν υπάρχει τρόπος να εστιάσει η φωτογραφική μηχανή το φως στον αισθητήρα εικόνας, οπότε μια λεπτομερής εικόνα πρέπει να ανακατασκευαστεί χρησιμοποιώντας ένα κωδικοποιημένο μοτίβο και πληροφορίες σχετικά με τον τρόπο με τον οποίο το φως αλληλεπιδρά με τη μάσκα και τον αισθητήρα εικόνας. Πίστωση: Xiuxi Pan / Ινστιτούτο Τεχνολογίας του Τόκιο

Κατανοώντας πώς το φως αλληλεπιδρά με μια λεπτή μάσκα μπροστά από τον αισθητήρα εικόνας, ένας αλγόριθμος μπορεί να αποκωδικοποιήσει την πληροφορία του φωτός και να ανακατασκευάσει μια εστιασμένη σκηνή. Ωστόσο, η διαδικασία αποκωδικοποίησης είναι εξαιρετικά δύσκολη και απαιτητική σε πόρους. Εκτός του ότι είναι χρονοβόρα, η παραγωγή καλής ποιότητας εικόνας απαιτεί ένα τέλειο φυσικό μοντέλο. Εάν ένας αλγόριθμος βασίζεται σε μια προσέγγισηανακρίβεια του τρόπου με τον οποίο το φως αλληλεπιδρά με τη μάσκα και τον αισθητήρα, το σύστημα της κάμερας θα αποτύχει.

Αντί να χρησιμοποιούν μια προσέγγιση αποκωδικοποίησης που βασίζεται σε μοντέλα, η ομάδα του Tokyo Tech ανέπτυξε μια μέθοδο ανακατασκευής με έναν νέο αλγόριθμο που χρησιμοποιεί μηχανική μάθηση. Βασίζεται σε μια τεχνική που ονομάζεται Vision Transformer (ViT) και υπόσχεται βελτιωμένη σφαιρική συλλογιστική.

Εδώ βλέπουμε τη νέα κάμερα χωρίς φακό. Περιλαμβάνει έναν αισθητήρα εικόνας και μια μάσκα 2,5 mm από τον αισθητήρα. Η μάσκα κατασκευάζεται με εναπόθεση χρωμίου σε μια συνθετική πλάκα πυριτίου. Έχει μέγεθος διαφράγματος 40×40 μm. Πηγή: Xiuxi Pan / Tokyo Institute of Technology

Η νέα μέθοδος, που χρησιμοποιεί νευρωνικά δίκτυα και έναν συνδεδεμένο μετασχηματιστή, υπόσχεται καλύτερα αποτελέσματα. Επιπλέον, τα σφάλματα ανακατασκευής μειώνονται και οι χρόνοι υπολογισμού είναι μικρότεροι. Η ομάδα πιστεύει ότι η μέθοδος μπορεί να χρησιμοποιηθεί για τη λήψη εικόνων υψηλής ποιότητας σε πραγματικό χρόνο, κάτι που δεν συνέβαινε με τις προηγούμενες κάμερες χωρίς φακό. Αν αυτό πραγματικά εξελιχθεί περαιτέρω στηνΤα επόμενα χρόνια θα βρεθούμε αντιμέτωποι με μια από τις μεγαλύτερες επαναστάσεις στη διαδικασία λήψης εικόνων στην ιστορία της φωτογραφίας.

Διαβάστε παρακάτω μια περίληψη της μελέτης που δημοσιεύθηκε από τους συγγραφείς της έρευνας Xuixi Pan, Xiao Chen, Saori Takeyama και Masahiro Yamaguchi:

Μια φωτογραφική μηχανή χωρίς φακό με βάση τη μάσκα κωδικοποιεί οπτικά τη σκηνή με μια λεπτή μάσκα και ανακατασκευάζει την εικόνα στη συνέχεια. Η βελτίωση της ανακατασκευής της εικόνας είναι ένα από τα σημαντικότερα ζητήματα στην απεικόνιση χωρίς φακό. Οι συμβατικές προσεγγίσεις ανακατασκευής με βάση το μοντέλο, οι οποίες αξιοποιούν τη γνώση του φυσικού συστήματος, είναι ευαίσθητες στην ατελή μοντελοποίηση του συστήματος.

Δείτε επίσης: Φωτογράφος απεικονίζει τα παιδιά και τις διατροφικές τους συνήθειες σε όλο τον κόσμο

Η ανακατασκευή με ένα καθαρά βασιζόμενο σε δεδομένα βαθύ νευρωνικό δίκτυο (DNN) αποφεύγει αυτόν τον περιορισμό και συνεπώς έχει τη δυνατότητα να παρέχει καλύτερη ποιότητα ανακατασκευής. Ωστόσο, οι υπάρχουσες προσεγγίσεις ανακατασκευής με καθαρά DNN για εικόνες χωρίς φακούς δεν παρέχουν καλύτερο αποτέλεσμα από τις προσεγγίσεις που βασίζονται σε μοντέλα.

Αποκαλύπτουμε ότι η ιδιότητα της πολυπλεξίας στην οπτική χωρίς φακούς καθιστά τα σφαιρικά χαρακτηριστικά απαραίτητα για την κατανόηση του οπτικά κωδικοποιημένου μοτίβου. Επιπλέον, όλες οι υπάρχουσες προσεγγίσεις ανακατασκευής DNN εφαρμόζουν πλήρως συνελικτικά δίκτυα (FCN) που δεν είναι αποδοτικά στη συλλογιστική σφαιρικών χαρακτηριστικών.

Με αυτή την ανάλυση, για πρώτη φορά από όσο γνωρίζουμε, προτείνεται ένα πλήρως συνδεδεμένο νευρωνικό δίκτυο με μετασχηματιστή για την ανακατασκευή εικόνας.Η προτεινόμενη αρχιτεκτονική είναι καλύτερη στη συλλογιστική των παγκόσμιων χαρακτηριστικών και επομένως βελτιώνει την ανακατασκευή.Η υπεροχή της προτεινόμενης αρχιτεκτονικής επαληθεύεται συγκρίνοντας την με προσεγγίσεις που βασίζονται σε μοντέλα και FCN σε ένα πείραμα.οπτική και, συνεπώς, βελτιώνει την ανακατασκευή.

Δείτε επίσης: AI image generator: φωτογράφος έγινε διάσημος με εκπληκτικά πορτρέτα που δημιουργήθηκαν από τεχνητή νοημοσύνη

Η υπεροχή της προτεινόμενης αρχιτεκτονικής επαληθεύεται με σύγκριση με προσεγγίσεις που βασίζονται σε μοντέλα και FCN σε ένα οπτικό πείραμα και, ως εκ τούτου, βελτιώνει την ανακατασκευή. Η υπεροχή της προτεινόμενης αρχιτεκτονικής επαληθεύεται με σύγκριση με προσεγγίσεις που βασίζονται σε μοντέλα και FCN σε ένα οπτικό πείραμα.