Мүмкін емес болып көрінген нәрсе шындыққа айналуда. Жақында біз iPhoto арнасында камера линзаларын жоя алатын революциялық технология - metallenses жобасы туралы мақала жарияладық. Дегенмен, бұл тек зерттеліп, әзірленіп жатқан тұжырымдама болды. Бірақ қазір Tokyo Tech зерттеушілерінің тобы машиналық оқытуды пайдаланатын және анық фотосуреттерді жылдам және дәл түсіре алатын жаңа объективсіз камера жасады.

Сондай-ақ_қараңыз: Қыркүйек айында қатысу үшін тегін жазбалары бар 4 фотоконкурс

«Объектив шектеусіз, объективсіз камера ультра миниатюралық болуы мүмкін, ол біздің қиялымыздан тыс жаңа қолданбаларды іске қоса алады», - деді Токио технологиялық институтының профессоры Масахиро Ямагучи, зерттеу жобасының авторлары.

Tokyo Tech зерттеушілері жасаған линзасыз камера прототипі

Объективсіз камера идеясы жаңа емес. Кейбір әрекеттер 2013 жылдан бері жасалды. Бірақ сол уақытқа дейін жобалар кескіндердің анықтығының жоқтығынан және фотосуреттерді өңдеудің кешігуімен аяқталды. Себебі линзасы жоқ камерада көріністерді кодтайтын және математикалық түрде қайта құратын кескін сенсорының алдында жұқа маска ғана болады.

Бұрынғы линзасыз камералар кескін сенсорына түсетін жарықты басқару әдістерін қолданды және жарықтың физикалық маскамен және бетпердемен өзара әрекеттесуінің күрделі өлшемдерін орындады.кескінді қайта құру үшін кескін сенсорын таңдаңыз. Жарықты фокустау әдісінсіз, линзасыз камера бұлыңғыр кескінді түсіреді, оны алгоритм арқылы анық кескінге айналдыру керек. Мұны төмендегі сурет арқылы іс жүзінде қараңыз:

Оның аты айтып тұрғандай, объективсіз камера дәстүрлі оптикалық линзаны пайдаланбайды. Оның орнына ол тек сенсор мен масканы қамтиды. Камераның жарықты кескін сенсорына фокустау мүмкіндігі жоқ, сондықтан егжей-тегжейлі кескін кодталған үлгіні және жарықтың маскамен және кескін сенсорымен қалай әрекеттесетіні туралы ақпаратты пайдаланып қайта құрастырылуы керек. Несие:Xiuxi Pan / Токио технологиялық институты

Жарықтың кескін сенсорының алдындағы жұқа маскамен қалай әрекеттесетінін түсіну арқылы алгоритм жарық ақпаратының шифрын ашып, фокусталған көріністі қайта құрастыра алады. Дегенмен, декодтау процесі өте күрделі және ресурстарды қажет етеді. Уақытты алудан басқа, жақсы кескін сапасын жасау мінсіз физикалық үлгіні қажет етеді. Алгоритм жарықтың маскамен және сенсормен әрекеттесуінің дәл емес жуықтауына негізделсе, камера жүйесі сәтсіздікке ұшырайды.

Модельге негізделген декодтау тәсілін пайдаланудың орнына, Tokyo Tech командасы қайта құру әдісін әзірледі. машиналық оқытуды пайдаланатын жаңа алгоритммен. Ол Vision деп аталатын техникаға негізделгенTransformer (ViT) және жаһандық ойлауды жақсартуға уәде береді.

Осында біз объективсіз жаңа камераны көре аламыз. Ол сенсордан 2,5 мм қашықтықта кескін сенсорын және масканы қамтиды. Маска синтетикалық кремнеземдік пластинаға хромды қаптау арқылы жасалады. Оның саңылау өлшемі 40×40 мкм. Несие: Xiuxi Pan / Токио технологиялық институты

Нейрондық желілер мен қосылған трансформаторды қолданатын жаңа әдіс жақсы нәтиже береді. Сондай-ақ, қайта құру қателері азаяды және есептеу уақыты қысқарады. Команда бұл әдісті жоғары сапалы кескіндерді нақты уақыт режимінде түсіру үшін қолдануға болады деп есептейді, бұл бұрынғы линзасыз камераларда мүмкін емес еді. Егер бұл шынымен де алдағы жылдары дамитын болса, біз фотосурет тарихындағы суретке түсіру процесіндегі ең үлкен революциялардың біріне тап боламыз. Біз сізге линзасы жоқ камералар туралы жаңалықтарды қадағалап отыратын боламыз.

Зерттеудің авторлары Сюйси Пан, Сяо Чен, Саори Такеяма және Масахиро Ямагучи жариялаған зерттеудің қысқаша мазмұнын төменде оқыңыз:

Беткіге негізделген линзасыз камера көріністі жұқа маскамен оптикалық кодтайды және кейін кескінді қайта жасайды. Кескінді қайта құруды жақсарту линзасыз бейнелеудегі ең маңызды мәселелердің бірі болып табылады. Қалыпты үлгіге негізделген қайта құру тәсілдері, олар пайдаланадыфизикалық жүйені білу, жүйені жетілмеген модельдеуге бейім.

Сондай-ақ_қараңыз: Фотограф жүгіру жолағындағы ойыншық көлікті суретке түсіреді, ол шынайы көрінеді

Таза деректерге негізделген терең нейрондық желімен (DNN) қайта құру бұл шектеуді болдырмайды, осылайша қайта құру сапасын жақсартуға мүмкіндік береді. Дегенмен, объективсіз кескіндер үшін қолданыстағы таза DNN қайта құру тәсілдері модельге негізделген тәсілдерге қарағанда жақсы нәтиже бермейді.

Біз линзасыз оптикадағы мультиплекстеу қасиетінің оптикалық кодталған үлгіні түсіну үшін ғаламдық мүмкіндіктерді маңызды ететінін анықтаймыз. Бұған қоса, барлық қолданыстағы DNN қайта құру тәсілдері жаһандық мүмкіндіктерді пайымдауда тиімді емес толық конвульсиялық желілерді (FCNs) қолданады.

Осы талдаудың көмегімен біз білетініміздей бірінші рет кескінді қайта құруға арналған трансформаторы бар толық қосылған нейрондық желі ұсынылды. Ұсынылған архитектура жаһандық ресурстарды негіздеуде жақсырақ, сондықтан қайта құруды жақсартады. Ұсынылған архитектураның артықшылығы оны оптикалық экспериментте модельге негізделген және FCN негізіндегі тәсілдермен салыстыру арқылы тексеріледі. сондықтан қайта құруды жақсартады.

Ұсынылған архитектураның артықшылығы оптикалық экспериментте модельге негізделген және FCN негізіндегі тәсілдерді салыстыру арқылы тексеріледі. Бұл,сондықтан қайта құруды жақсартады. Ұсынылған архитектураның артықшылығы оны оптикалық экспериментте модельге негізделген және FCN негізіндегі тәсілдермен салыстыру арқылы тексеріледі.