Тое, што здавалася немагчымым, ператвараецца ў рэальнасць. Нядаўна мы апублікавалі тут, на канале iPhoto, артыкул аб праекце metallenses, рэвалюцыйнай тэхналогіі, якая дазваляе пазбавіцца ад лінзаў камер. Аднак гэта была толькі канцэпцыя ў стадыі вывучэння і распрацоўкі. Але цяпер група даследчыкаў з Tokyo Tech стварыла новую камеру без аб'ектыва , якая выкарыстоўвае машыннае навучанне і можа хутка і дакладна рабіць выразныя фатаграфіі.

«Без абмежаванняў аб'ектыва, камера без аб'ектыва можа быць звышмініяцюрнай, што можа дазволіць новыя прымянення, якія выходзяць за межы нашага ўяўлення», - сказаў прафесар Масахіра Ямагуці з Такійскага тэхналагічнага інстытута, суаўтар даследчага праекта.

Прататып камеры без аб'ектыва, створаны даследчыкамі Tokyo Tech

Ідэя камеры без аб'ектыва не новая. Некаторыя спробы былі зроблены ўжо з 2013 года. Але да таго часу праекты сутыкаліся з недастатковай рэзкасцю малюнкаў і затрымкай у апрацоўцы фатаграфій. Гэта таму, што камера без аб'ектыва мае толькі тонкую маску перад датчыкам выявы, які кадуе і матэматычна рэканструюе сцэны.

Ранейшыя безлінзавыя камеры выкарыстоўвалі метады кіравання святлом, якое трапляе на датчык выявы, і выконвалі складаныя вымярэнні таго, як святло ўзаемадзейнічае з фізічнай маскай ідатчык выявы, каб потым аднавіць выяву. Не маючы магчымасці сфакусаваць святло, камера без аб'ектыва фіксуе размыты відарыс, які трэба перабудаваць у больш рэзкі відарыс з дапамогай алгарытму. Убачыце гэта на практыцы на ілюстрацыі ніжэй:

Як вынікае з назвы, безаб'ектыўная камера не выкарыстоўвае традыцыйныя аптычныя лінзы. Замест гэтага ён уключае толькі датчык і маску. Камера не можа сфакусаваць святло на датчыку выявы, таму дэталёвы відарыс павінен быць рэканструяваны з дапамогай закадзіраванага шаблону і інфармацыі пра тое, як святло ўзаемадзейнічае з маскай і датчыкам відарыса. Аўтар:Xiuxi Pan / Такійскі тэхналагічны інстытут

Разумеючы, як святло ўзаемадзейнічае з тонкай маскай перад датчыкам выявы, алгарытм можа дэкадаваць светлавую інфармацыю і рэканструяваць сфакусаваную сцэну. Аднак працэс дэкадавання надзвычай складаны і патрабуе рэсурсаў. У дадатак да часу, стварэнне добрай якасці выявы патрабуе ідэальнай фізічнай мадэлі. Калі алгарытм заснаваны на недакладнай апраксімацыі таго, як святло ўзаемадзейнічае з маскай і датчыкам, сістэма камеры выйдзе з ладу.

Замест таго, каб выкарыстоўваць падыход да дэкадавання на аснове мадэлі, каманда Tokyo Tech распрацавала метад рэканструкцыі з новым алгарытмам, які выкарыстоўвае машыннае навучанне. Ён заснаваны на тэхніцы пад назвай VisionTransformer (ViT) і абяцае паляпшэнне глабальных разваг.

Тут мы бачым новую камеру без аб'ектыва. Ён уключае датчык выявы і маску на адлегласці 2,5 мм ад датчыка. Маска створана шляхам нанясення хрому на пласціну з сінтэтычнага дыяксіду крэмнія. Ён мае памер апертуры 40×40 мкм. Аўтар: Xiuxi Pan / Такійскі тэхналагічны інстытут

Новы метад з выкарыстаннем нейронавых сетак і падключанага трансфарматара абяцае лепшыя вынікі. Акрамя таго, памяншаюцца памылкі рэканструкцыі і час вылічэнняў карацей. Каманда лічыць, што метад можа быць выкарыстаны для атрымання высакаякасных малюнкаў у рэжыме рэальнага часу, што было немагчыма з папярэднімі камерамі без лінзаў. Калі гэта сапраўды будзе развівацца ў бліжэйшыя гады, мы сутыкнемся з адной з найвялікшых рэвалюцый у працэсе здымкі выявы ў гісторыі фатаграфіі. Мы будзем сачыць за навінамі аб камерах без аб'ектываў і заўсёды паведамляць вам аб іх навінах.

Прачытайце ніжэй кароткі змест даследавання, апублікаванага аўтарамі даследавання Сюйсі Пан, Сяо Чэнь, Саоры Такэяма і Масахіра Ямагуці:

Глядзі_таксама: Гісторыя фота «Сцярвятнік і дзяўчынка»

Бязаб'ектыўная камера на аснове маскі аптычна кадуе сцэну тонкай маскай і пасля рэканструюе выяву. Паляпшэнне рэканструкцыі выявы - адна з найважнейшых праблем безлінзавай візуалізацыі. Традыцыйныя падыходы да рэканструкцыі, заснаваныя на мадэлі, якія выкарыстоўваюцьведанне фізічнай сістэмы, успрымальныя да недасканалага мадэлявання сістэмы.

Рэканструкцыя з чыстай кіраванай данымі глыбокай нейронавай сеткай (DNN) дазваляе пазбегнуць гэтага абмежавання, што дазваляе забяспечыць лепшую якасць рэканструкцыі. Аднак існуючыя падыходы да чыстай рэканструкцыі DNN для безлінзавых відарысаў не даюць лепшага выніку, чым падыходы, заснаваныя на мадэлі.

Мы паказваем, што ўласцівасць мультыплексавання ў безлінзавай оптыцы робіць глабальныя асаблівасці важнымі для разумення аптычна закадзіраванага малюнка. Акрамя таго, ва ўсіх існуючых падыходах да рэканструкцыі DNN прымяняюцца цалкам згорткавыя сеткі (FCN), якія неэфектыўныя ў развазе глабальных функцый.

З дапамогай гэтага аналізу, наколькі нам вядома, упершыню прапануецца цалкам звязаная нейронавая сетка з трансфарматарам для рэканструкцыі выявы. Прапанаваная архітэктура лепш разважае аб глабальных рэсурсах і, такім чынам, паляпшае рэканструкцыю. Перавага прапанаванай архітэктуры правяраецца шляхам яе параўнання з падыходамі на аснове мадэлі і FCN у аптычным эксперыменце. і таму паляпшае рэканструкцыю.

Перавага прапанаванай архітэктуры правяраецца шляхам параўнання падыходаў на аснове мадэлі і FCN у аптычным эксперыменце. Гэта,такім чынам, гэта паляпшае рэканструкцыю. Перавага прапанаванай архітэктуры пацвярджаецца шляхам яе параўнання з падыходамі на аснове мадэлі і FCN у аптычным эксперыменце.

Глядзі_таксама: 7 крэатыўных (і смешных) ідэй для фатаграфій для цяжарных