研究人员创造出没有镜头的摄影机
看似不可能的事情现在变成了现实。 最近,我们在iPhoto频道这里发布了一个关于metalentes项目的故事,这是一项可以消除相机镜头的革命性技术,但它只是一个研究和开发中的概念。 但现在,东京理工大学的一组研究人员创造了一个新的 无镜头相机 它使用机器学习,可以快速、准确地捕捉到清晰的照片。
"该研究项目的共同作者、东京工业大学的Masahiro Yamaguchi教授说:"没有镜头的限制,无镜头相机可以是超小型的,这可以实现超出我们想象的新应用。
See_also: 5个摄影比赛,免费参赛,奖品丰厚 东京科技大学研究人员创造的无透镜照片相机原型无镜头相机的想法并不新鲜--自2013年以来已经进行了一些尝试,但到目前为止,这些项目都遇到了图像清晰度差和照片处理速度慢的问题,因为无镜头相机在图像传感器前只有一个薄薄的掩膜,对场景进行编码和数学重建。
早期的无透镜相机使用各种方法来控制照射到图像传感器上的光线,并对光线与物理遮罩和图像传感器的相互作用进行复杂的测量,以重建图像。 如果没有聚焦光线的方法,无透镜相机捕捉到的是模糊的图像,必须使用算法将其重建为更清晰的图像。 请参阅这篇文章。通过下面的插图进行练习:
顾名思义,无镜头相机不使用传统的光学镜头。 相反,它只包括一个传感器和一个掩膜。 相机没有办法将光线聚焦到图像传感器上,因此必须使用编码图案和关于光线如何与掩膜和图像传感器互动的信息来重建详细的图像。 信用: 潘秀慧 / 东京工业大学通过了解光线如何与图像传感器前面的薄薄的遮罩相互作用,算法可以对光线信息进行解码,并重建一个聚焦的场景。 然而,解码过程是非常具有挑战性和资源密集型的。 除了耗时之外,生成良好的图像质量需要一个完美的物理模型。 如果一个算法是基于近似值的如果对光线与掩膜和传感器的相互作用不精确,摄像系统就会失败。
See_also: 只用一盏灯的5个演播室照明技巧东京科技大学团队没有使用基于模型的解码方法,而是开发了一种使用机器学习的新算法的重建方法。 它基于一种名为Vision Transformer(ViT)的技术,有望改善全局推理。
在这里,我们可以看到新的无透镜相机。 它包括一个图像传感器和一个距离传感器2.5毫米的掩模。 掩模是通过在合成硅板上沉积铬来构建的。 它的孔径大小为40×40微米。 信用: Xiuxi Pan / 东京工业大学使用神经网络和连接变压器的新方法有望获得更好的结果。 此外,重建误差减少,计算时间缩短。 该团队认为,该方法可用于实时捕捉高质量的图像,而这是以前的无镜头相机所不具备的。 如果这真的进一步发展,在在接下来的几年里,我们将面临摄影史上捕捉图像过程中最伟大的革命之一。
请阅读以下由研究作者潘熙、陈晓、竹山沙织和山口正弘发表的研究摘要:
基于掩膜的无光相机用薄掩膜对场景进行光学编码,然后重建图像。 改进图像重建是无光成像中最重要的问题之一。 传统的基于模型的重建方法,利用物理系统的知识,很容易受到不完善的系统建模的影响。
用纯数据驱动的深度神经网络(DNN)重建避免了这一限制,因此有可能提供更好的重建质量。 然而,现有的用于无透镜图像的纯DNN重建方法并没有提供比基于模型的方法更好的结果。
我们揭示了无透镜光学中的复用特性使得全局特征在理解光学编码模式中至关重要。 此外,所有现有的DNN重建方法都应用了全卷积网络(FCN),而这些网络在全局特征推理中并不高效。
通过这一分析,就我们所知,第一次提出了一个用于图像重建的带有变压器的全连接神经网络。所提出的架构在全局特征推理方面更胜一筹,因此提高了重建效果。光学。因此,改善了重建。
通过在光学实验中与基于模型和基于FCN的方法进行比较,验证了所提出的架构的优越性,从而改善了重建。 通过在光学实验中与基于模型和FCN的方法进行比较,验证了所提出的架构的优越性。