Quello che sembrava impossibile sta diventando realtà. Recentemente abbiamo pubblicato qui su iPhoto Channel un articolo sul progetto metalentes, una tecnologia rivoluzionaria in grado di eliminare gli obiettivi dalle macchine fotografiche. Ma si trattava solo di un concetto in fase di studio e di sviluppo. Ora, un gruppo di ricercatori del Tokyo Tech ha creato una nuova fotocamera senza obiettivo che utilizza l'apprendimento automatico e può catturare foto nitide in modo rapido e preciso.

Guarda anche: Ritaglio: un percorso per una foto migliore

"Senza le limitazioni di un obiettivo, la fotocamera senza lenti potrebbe essere ultra-miniaturizzata, il che potrebbe consentire nuove applicazioni che vanno oltre la nostra immaginazione", ha dichiarato il professor Masahiro Yamaguchi del Tokyo Institute of Technology, coautore del progetto di ricerca.

Il prototipo di macchina fotografica senza lenti creato dai ricercatori del Tokyo Tech

L'idea di una fotocamera senza lenti non è nuova: dal 2013 sono stati fatti alcuni tentativi, ma finora i progetti si sono scontrati con la scarsa nitidezza delle immagini e la lentezza dell'elaborazione fotografica, perché una fotocamera senza lenti ha solo una sottile maschera davanti a un sensore di immagine che codifica e ricostruisce matematicamente le scene.

Le precedenti fotocamere senza lenti utilizzavano metodi per controllare la luce che colpisce il sensore di immagine ed eseguire sofisticate misurazioni di come la luce interagisce con la maschera fisica e il sensore di immagine per ricostruire un'immagine. Senza un modo per mettere a fuoco la luce, una fotocamera senza lenti cattura un'immagine sfocata, che deve essere ricostruita in un'immagine più nitida utilizzando un algoritmo. Vedere questo inpratica attraverso l'illustrazione che segue:

Come suggerisce il nome, una fotocamera senza lenti non utilizza un obiettivo ottico tradizionale, ma comprende solo un sensore e una maschera. Non c'è modo per la fotocamera di focalizzare la luce sul sensore di immagine, quindi un'immagine dettagliata deve essere ricostruita utilizzando un modello codificato e informazioni su come la luce interagisce con la maschera e il sensore di immagine. Credito: Xiuxi Pan / Istituto di tecnologia di Tokyo

Comprendendo il modo in cui la luce interagisce con una maschera sottile davanti al sensore di immagine, un algoritmo può decodificare le informazioni sulla luce e ricostruire una scena focalizzata. Tuttavia, il processo di decodifica è estremamente impegnativo e richiede molte risorse. Oltre a richiedere molto tempo, la generazione di immagini di buona qualità richiede un modello fisico perfetto. Se un algoritmo è basato su un'approssimazioneimpreciso del modo in cui la luce interagisce con la maschera e il sensore, il sistema di ripresa fallirà.

Invece di utilizzare un approccio di decodifica basato su modelli, il team del Tokyo Tech ha sviluppato un metodo di ricostruzione con un nuovo algoritmo che utilizza l'apprendimento automatico, basato su una tecnica chiamata Vision Transformer (ViT) e che promette di migliorare il ragionamento globale.

Qui possiamo vedere la nuova fotocamera senza lenti, che comprende un sensore di immagine e una maschera a 2,5 mm dal sensore. La maschera è costruita mediante deposizione di cromo su una lastra di silice sintetica. Ha un'apertura di 40×40 μm. Credito: Xiuxi Pan / Tokyo Institute of Technology

Il nuovo metodo, che utilizza reti neurali e un trasformatore connesso, promette risultati migliori. Inoltre, gli errori di ricostruzione sono ridotti e i tempi di calcolo sono più brevi. Il team ritiene che il metodo possa essere utilizzato per l'acquisizione in tempo reale di immagini di alta qualità, cosa che non accadeva con le precedenti fotocamere senza obiettivo. Se questo metodo si evolverà ulteriormente nel tempo, il team potrà essere in grado di fornire un'immagine di qualità.Nei prossimi anni ci troveremo di fronte a una delle più grandi rivoluzioni nel processo di acquisizione delle immagini nella storia della fotografia.

Leggete di seguito una sintesi dello studio pubblicato dagli autori della ricerca Xuixi Pan, Xiao Chen, Saori Takeyama e Masahiro Yamaguchi:

Una telecamera senza lenti basata su una maschera codifica otticamente la scena con una maschera sottile e ricostruisce successivamente l'immagine. Migliorare la ricostruzione dell'immagine è uno dei problemi più importanti nell'imaging senza lenti. Gli approcci convenzionali di ricostruzione basati su modelli, che sfruttano la conoscenza del sistema fisico, sono suscettibili di una modellazione imperfetta del sistema.

La ricostruzione con una rete neurale profonda (DNN) puramente data-driven evita questa limitazione e ha quindi il potenziale per fornire una migliore qualità di ricostruzione. Tuttavia, gli approcci di ricostruzione DNN puramente esistenti per le immagini senza lenti non forniscono risultati migliori rispetto agli approcci basati su modelli.

Abbiamo scoperto che la proprietà di multiplexing dell'ottica senza lenti rende le caratteristiche globali essenziali per la comprensione del modello otticamente codificato. Inoltre, tutti gli approcci di ricostruzione DNN esistenti applicano reti completamente convoluzionali (FCN) che non sono efficienti nel ragionamento sulle caratteristiche globali.

Guarda anche: "La fotografia era il mio stile di vita", dice Sebastião Salgado.

Con questa analisi, per la prima volta a nostra conoscenza, viene proposta una rete neurale completamente connessa con un trasformatore per la ricostruzione di immagini. L'architettura proposta è migliore nel ragionamento delle caratteristiche globali e quindi migliora la ricostruzione. La superiorità dell'architettura proposta è verificata confrontandola con approcci basati su modelli e su FCN in un esperimentoottico e quindi migliora la ricostruzione.

La superiorità dell'architettura proposta è verificata dal confronto con gli approcci basati su modelli e FCN in un esperimento ottico. e quindi migliora la ricostruzione. La superiorità dell'architettura proposta è verificata dal confronto con gli approcci basati su modelli e FCN in un esperimento ottico.