无惧跑焦的相机，简单聊聊光场技术的成像应用

其实这是个并不新鲜的话题了，不过前几天有朋友在评论区提到了，似乎在评论里三言两语说不清，那就干脆水一贴，在正文不提及公式，尽量省略细节的前提下简单说说吧。

光场相机大家知道的最大特点是无需对焦，因为它可以在后期软件上重新完成对焦，这听起来很玄幻，但原理其实就是很好地利用了光场原理，那么它是如何实现的？这就要从光场这一概念说起。

所谓光场，就是光线强度、位置和方向等信息的总集，传统相机的传感器与镜头共建了一个单一的二维平面，换句话说就是只有单个像素只记录一个位置、一个方向和一个强度的信息，一次成型，完成后就无法更改了。而光场相机的目的则是尽量周全地记录多个位置分布、多个空间方向甚至不同强度的信息，然后通过数字调焦的形式进行还原，也就是从二维转换为四维的过程。

因此，光场相机的决定性设计就是在传感器与镜头之间加入一个微透镜阵列，并将其摆放在传统相机的传感器位置（也就是像面），而它的作用就是再一次分光：

分光后抵达传感器的其实就是光场的离散采样形式，而这时候可以看到，微透镜阵列代替了传统相机里“像素”的概念，最终输出的二维空间分辨率就由微透镜数量决定，而微透镜分光抵达传感器后，传感器上有多少个像素，就与微透镜共轭组建多少条方向信息（所以很多光场相机的分辨率会使用Megarays，也就是百万条光线来做量纲），因此传感器像素密度决定了二维方向分辨率，也就是数字调焦的精度。

很明显，微透镜越多，传感器像素的方向开角越小，所以对于光场相机来说，输出分辨率和调焦精度/范围是此消彼长的关系，而且微透镜数量在像场恒定的情况下也是有实用上限的（空间、制造工艺、衍射等等），一般来说是1个微透镜对应4个传感器像素的，40 Megarays光场相机的输出基本上就是等效10 Megapixels，1000万像素分辨率。

光场相机调焦的过程就是将采集到的光场信息，重新投影到想要对焦的虚拟像平面上进行积分，计算出所有光线在这个新的虚拟平面上的交点位置和强度信息（计算方法在文末，需要一定的大学数学基础，可酌情阅读），从而得到一幅新的图像。因为整个过程都是通过数字计算实现，实用才叫做数字调焦。而这个过程其实等价于传统相机的调焦过程，区别在于光学调焦是通过移动镜头后主平面来完成。

事实上分光对于自动对焦来说一直都是核心方法，单反的对焦模块就是将部分通过副反光板折射的光线进行分光后进行相位差检测、片上相位差也是要么采用半开式对焦像素（索尼），要么是单个像素由左右两个光电二极管组建的全像素双核（佳能），其目的都是分光，但单反参与对焦的只是小部分光线，所以无法记录四维光场，而无反要么只能部分像素参与对焦，要么就是基线太短，无法大量有效记录二维方向信息（但佳能不也很开心地在宣传全像素双核的对焦微调功能么？它的原理其实也就是记录了部分光场信息）。

目前来看，如果是针对日常摄影来说，光场相机仅有的特点就是对焦，虽然研发、制造、软件等各方面的劣势在“有钱真好”的情况下都不是事儿，但问题是目前整个摄影生态都非常成熟，有着诸多优势的传统相机大佬不可能做这样的产品，而仅仅靠Lytro这种小公司也是推不起来的。

所以眼下的光场相机主要应用于小幅面的工业、医疗、科研领域，可按需定制各类型号，实现远近多种距离的光场成像数据实时高速采集与处理，而且光场信息还可转换为3D信息，在芯片贴装检测、显微医疗、面板检测、植物生长分析、金属/碳纤维表面检测等各方面都有着比较好的前景。

===========随便的数学分割线===========

数字对焦算法部分，涉及到不少公式，干脆手写了，字儿写得不好请轻喷，这是光场相机数字调焦的基本空域算法：

频域算法涉及到中心切片定理，这个一开始是Lytro创始人吴义仁博士在2005年就提出的，因为数字调焦图像的二维傅立叶变换是所得光场四维傅立叶变换中的一个二维切片，不同对焦深度的图像频谱对应着不同的切片，在这里设F为N维函数，对F进行坐标变换后，将其积分投影到M维进行傅立叶变换，也就是对函数求傅立叶变换，然后再对坐标逆变换，最后取其M维切片，有算子：

其中F上标N表示N维函数傅立叶变换，I上标N下标M为N维到M维的积分投影,，S上标N下标M为N维函数降到M维的过程。结合空域的最终四维积分表达式后可得：

由此式可推导出(u,v,s,t)=Bα(u,v,s’,t’)，Bα为坐标变换矩阵。总结来说，光场相机的数字调焦就是空间平移后在角度上进行重新积分。