불가능할 것 같던 일이 현실이 되고 있습니다. 우리는 최근 iPhoto 채널에 카메라 렌즈를 제거할 수 있는 혁신적인 기술인 metallenses 프로젝트에 대한 기사를 게시했습니다. 그러나 이는 연구 및 개발 중인 개념에 불과했습니다. 그러나 이제 Tokyo Tech의 연구원 그룹이 기계 학습을 사용하고 선명한 사진을 빠르고 정확하게 캡처할 수 있는 새로운 무렌즈 카메라 를 만들었습니다.

“렌즈의 한계 없이 렌즈 없는 카메라는 초소형이 될 수 있어 우리의 상상을 초월하는 새로운 애플리케이션을 가능하게 할 수 있습니다."라고 이 연구 프로젝트의 공동 저자인 Tokyo Institute of Technology의 Masahiro Yamaguchi 교수가 말했습니다.

Tokyo Tech 연구원들이 만든 무렌즈 카메라 프로토타입

무렌즈 카메라에 대한 아이디어는 새로운 것이 아닙니다. 2013년부터 이미 몇 가지 시도가 있었습니다. 하지만 그때까지 프로젝트는 이미지의 선명도 부족과 사진 처리 지연에 직면했습니다. 렌즈가 없는 카메라는 장면을 인코딩하고 수학적으로 재구성하는 이미지 센서 앞에 얇은 마스크만 있기 때문입니다.

이전의 무렌즈 카메라는 이미지 센서에 닿는 빛을 제어하고 빛이 물리적 마스크 및이미지 센서는 이미지를 재구성합니다. 빛의 초점을 맞추는 방법이 없는 무렌즈 카메라는 흐릿한 이미지를 캡처하며 알고리즘을 사용하여 더 선명한 이미지로 재구성해야 합니다. 아래 그림을 통해 실제로 확인하십시오.

이름에서 알 수 있듯이 무렌즈 카메라는 기존의 광학 렌즈를 사용하지 않습니다. 대신 센서와 마스크만 포함합니다. 카메라가 이미지 센서에 빛의 초점을 맞출 방법이 없으므로 인코딩된 패턴과 빛이 마스크 및 이미지 센서와 상호 작용하는 방식에 대한 정보를 사용하여 상세한 이미지를 재구성해야 합니다. 제공:Xiuxi Pan / Tokyo Institute of Technology

이미지 센서 앞의 얇은 마스크와 빛이 상호 작용하는 방식을 이해함으로써 알고리즘은 빛 정보를 해독하고 초점이 맞춰진 장면을 재구성할 수 있습니다. 그러나 디코딩 프로세스는 매우 어렵고 리소스 집약적입니다. 좋은 이미지 품질을 생성하려면 시간이 걸리는 것 외에도 완벽한 물리적 모델이 필요합니다. 알고리즘이 빛이 마스크 및 센서와 상호 작용하는 방식에 대한 부정확한 근사치를 기반으로 하는 경우 카메라 시스템이 실패합니다.

모델 기반 디코딩 접근 방식을 사용하는 대신 Tokyo Tech 팀은 재구성 방법을 개발했습니다. 기계 학습을 사용하는 새로운 알고리즘으로. Vision이라는 기술을 기반으로 합니다.Transformer(ViT) 및 향상된 글로벌 추론을 약속합니다.

여기서 렌즈가 없는 새 카메라를 볼 수 있습니다. 여기에는 이미지 센서와 센서에서 2.5mm 떨어진 마스크가 포함됩니다. 마스크는 합성 실리카 판에 크롬을 도금하여 구성됩니다. 조리개 크기는 40×40μm입니다. 제공: Xiuxi Pan / Tokyo Institute of Technology

신경망과 연결된 변압기를 사용하는 새로운 방법은 더 나은 결과를 약속합니다. 또한 재구성 오류가 줄어들고 계산 시간이 단축됩니다. 팀은 이 방법이 이전의 무렌즈 카메라로는 불가능했던 고품질 이미지의 실시간 캡처에 사용될 수 있다고 믿습니다. 앞으로 몇 년 동안 이것이 정말로 더 발전한다면 우리는 사진 역사상 이미지 캡처 프로세스에서 가장 위대한 혁명 중 하나에 직면하게 될 것입니다. 우리는 항상 렌즈 없는 카메라에 대한 소식을 전할 것입니다.

Xuixi Pan, Xiao Chen, Saori Takeyama 및 Masahiro Yamaguchi 연구 저자가 발표한 연구 요약을 아래에서 읽어 보십시오.

또한보십시오: iOS 및 Android용 최고의 셀카 앱 10개

마스크 기반 무렌즈 카메라는 얇은 마스크로 장면을 광학적으로 인코딩하고 이후에 이미지를 재구성합니다. 이미지 재구성 개선은 무렌즈 이미징에서 가장 중요한 문제 중 하나입니다. 기존의 모델 기반 재구성 접근법은물리적 시스템에 대한 지식이 부족하고 시스템의 불완전한 모델링에 취약합니다.

순수한 데이터 기반 심층 신경망(DNN)을 사용한 재구성은 이러한 제한을 피하므로 더 나은 재구성 품질을 제공할 수 있는 가능성이 있습니다. 그러나 렌즈리스 이미지에 대한 기존의 순수한 DNN 재구성 접근 방식은 모델 기반 접근 방식보다 더 나은 결과를 제공하지 않습니다.

또한보십시오: 흐리거나 흔들리거나 오래된 사진을 복구하는 응용 프로그램

우리는 렌즈리스 광학의 다중화 특성이 광학적으로 인코딩된 패턴을 이해하는 데 필수적인 글로벌 기능을 만든다는 것을 밝힙니다. 또한 기존의 모든 DNN 재구성 접근 방식은 전역 기능을 추론하는 데 효율적이지 않은 완전 컨벌루션 네트워크(FCN)를 적용합니다.

이 분석을 통해 우리가 아는 한 처음으로 이미지 재구성을 위한 변환기가 있는 완전히 연결된 신경망이 제안됩니다. 제안된 아키텍처는 전역 리소스를 더 잘 추론하므로 재구축을 개선합니다. 제안한 구조의 우수성은 광학 실험에서 모델 기반 및 FCN 기반 접근 방식과 비교하여 검증됩니다. 따라서 재건이 향상됩니다.

모델 기반과 FCN 기반의 광학적 실험을 비교하여 제안하는 아키텍처의 우수성을 검증한다. 그것은,따라서 재건을 향상시킵니다. 광학적 실험을 통해 제안한 아키텍처의 우수성을 모델 기반 및 FCN 기반 접근 방식과 비교하여 검증한다.