影像传感器：启动翊翊如生的视觉效果 安捷伦科技公司 传感器解决方案分布全球战略营销经理/Feisal Mosleh 在摄像手机拍摄的每张精美影像的背后都蕴含着无穷的电子、光学和机械魅力。整个过程安静恬淡，没有丝毫张扬，容易让人自然而然忽略了它的神奇。本文将探讨一下如何用摄像手机的CMOS(互补金属氧化物半导体)影像传感器制作精美的影像。 在使用普通的传统相机时，光学系统把捕捉到的光打在胶卷上，随后人们就可以通过一个化学过程对其进行曝光和冲洗。而在使用数码相机或摄影手机时，光仍然要通过由多个单元镜头和一个镜桶组成的光学系统，不同的是，现在光是打在由行和列组成的数字传感器阵列上，这一阵列由几百万个微小像素组成。例如，1280×1024像素的传感器为1.3 Mp 传感器。图1为带有三个单元镜头的定焦摄像手机示例。 图1：带有三个单元镜头的标准定焦摄像手机示例 当光打在像素阵列上，它要通过彩色滤光片，确保只有蓝、红或绿色光到达每个像素上。在每个像素上，首先要生成一个模拟信号，该模拟信号通过模数转换器(ADC)转变为数字信号。这一信号然后被发送到我们称之为 “成像管道”(Image Pipe 或I-Pipe)的地方。成像管道由一系列过滤处理器组成，这些过滤处理器会使信号看起来象真的图片一样。 影像是如何生成的？ 成像管道可调节白平衡和颜色并用“捕获方式”改变图片所带的某些异常情况，例如：镜头阴影、影像几何变形、偏离镜头中心时图片清晰度下降以及数字传感器噪声；临时存储区也被称为缓冲区，图片在被压缩以实现最终存储之前就保存在这里。图2所示为摄像手机使用的基本功能块。 图2：摄像手机的基本子系统 ◎光线预处理 红外线滤镜的作用是挡住超过780nm的红外线并使光谱的可见光部分通过，从而确保传感器仅聚焦于肉眼所看到的事物，并优化色彩整合。这就好像在音响设备中，对大于22 kHz的声音不做处理一样，因为人们根本听不到这些声音，所以音响器件根本不需要对这些会降低效率或使可听到的声音失真的超量信息进行处理。如果不以这种方式将红外线挡住，这些红外线会使影像变得模糊不清，并会降低镜头所形成影像的清晰度。红外滤镜分为吸收型和反射型两种。 在这个过程中，还使用显微透镜对昏暗的光线进行预处理，这样就可以将这些光线以尽可能垂直的方向准确折射成像。这个显微透镜可以增强像素的光学灵敏度，通常位于色彩滤镜阵列(CFA)之上。 ◎色彩滤镜阵列－Bayer滤镜 光电二极管只能感应光线亮度，不能感应色彩信息。因此，必须使用某种机制以人工的方式增强它对不同色彩的灵敏度，从而向人眼呈现不同的颜色。色彩滤镜阵列的作用是确保每个传感器像素只会收到一种颜色的光：通常是红蓝绿三种颜色。色彩滤镜阵列可以使用不同的模式。由于人眼感应色彩的方式以及人眼对绿色的灵敏度是其对红色和蓝色灵敏度二倍这一事实，要模仿人眼的感应方式，相机需要使用更多的绿色像素来表现会被人们认为是正确颜色的影像。 Bayer模式(图3)交替使用一组红色和绿色滤镜以及一组绿色和蓝色滤镜，其中绿色像素的总数为红色和蓝色像素之和。用Bayer滤镜制作的原始输出是红、蓝、绿三种颜色像素的相互镶嵌，但各种颜色像素的强度不同，这主要取决于光线照在某一特定像素上的角度。图4所示为数码相机中显微透镜和滤镜结构与传感器阵列结合使用的方式。 图3：由于人眼对绿色的灵敏度是其对红色和蓝色灵敏度二倍这一事实，相机需要使用更多的绿色像素来表现会被人们认为是正确颜色的影像。Bayer模式交替使用一组红色和绿色滤镜以及一组绿色和蓝色滤镜，其中绿色像素的总数为红色和蓝色像素之和 图4：显微透镜与滤镜结构和传感器阵列结合使用增强光学灵敏度的方式 ◎Demosaicing 在用色彩滤镜阵列生成影像时，有4种不同的像素决定着每个像素的颜色。这就形成了一个不同色彩的组合，但看起来还不象一个真正的影像。为此使用了一种算法。这种算法使用距离目标像素最近的像素的平均色彩值来尽可能完美地模拟目标像素的真正颜色。这种插入缺失值的方法称之为demosaicing。有多种demosaicing算法，例如双线性内插法。图5所示为使用Bayer色彩滤镜阵列模式对影像进行马赛克化的方式。图6所示为通过demosaicing算法将同一个影像表现为真正影像的方式。 图5：在用色彩滤镜阵列生成影像时，有4种不同的像素决定着每个像素的颜色。这就形成了一个如这里所示的不同色彩的组合 图6：Demosaicing算法使用距离目标像素最近的像素的平均色彩值来尽可能完美地模拟目标像素的真正颜色 ◎白平衡 在用胶卷摄影时，可根据拍摄光线的类型调整白平衡设置，例如：室内日光灯、钠灯、卤钨灯、室外晴天和室外阴天。如果不进行校正的话，在日光灯下拍摄的图片会偏绿，而在室外晴天的情况下拍摄的图片可能又有点偏黄。自动白平衡校正可以确保影像中的白色与观察者看到的真正的白色一样。图7中左侧的影像是在2856K卤钨灯照明的条件下拍摄的，但是对它进行了标准的自动白平衡处理。一个高级的自动白平衡(AWB)系统，可根据影像拍摄的照明条件，使影像几乎呈现为真正的白色。图7中右侧的影像为经过改进的自动白平衡处理后的影像。 图7：左侧的影像是在2856K卤钨灯照明的条件下拍摄的，但是对它进行了标准的自动白平衡处理。右侧的影像为经过改进的自动白平衡处理后的影像 影像还原：消除不必要的人为因素 在胶卷的世界中，可以与噪声划等号的是胶卷的颗粒度。因此，ASA 400胶卷要比ASA 100胶卷的颗粒大。在CMOS或CCD传感器中，有好几种不符合要求的噪声源。必须要消除这些噪声源或至少要减轻它们的影响。 1)固定模式噪声（FPN）：这种噪声会在每张拍摄的照片中产生同样的噪声模式。减轻这种噪声的具体方法为：在“黑暗”中读取照片(在无光的情况下曝光)，然后用标准读数(正常曝光的情况下)减去这个结果。黑暗级的输出电流是指在没有照明的条件下所产生的平均输出级别。因此，它包含光电二极管的泄漏电流。视觉黑像素是指不参与感光的像素。人们常常用它作为参考像素，来查找黑暗电流并对它进行相应的校正。 2)随机噪声：随机噪声是指周围环境产生的噪声。温度越高，离开轨道的电子就越多，同时还会在传感器中产生随机噪声信号。传感器电路散热或者环境温度升高都会加剧这种噪声。在夏季，用放在车内的摄像手机所拍摄的照片比将它放在凉爽的大楼中拍摄的照片要差很多。 在某些用于天文观测的复杂数码SLR和相机中，为了将热噪声降低到最小程度，会将传感器封装在迷你冰箱中。一些高端天文照相机使用液氮来降低传感器的温度。在开氏零度或摄氏－273度，从理论上讲，电子中不存在动能，因此，也就没有噪声。在光线较弱的情况下，信噪比较低，影像中的噪声较多。图8所示为一个噪声较多的影像。 图8：显示噪声效果的数码影像 3)像素干扰(pixel cross talk)：像素干扰是指通过一个像素的光线交叉进入邻近的像素所产生的一种混乱状态，这是由于，例如，一个红色的像素让“红色的”光进入邻近的蓝色像素，引起蓝色像素中信号增加而红色信息中影像信息丢失所致。 在比较高端的传感器中，还使用了另外一个显微透镜通过再次曲光来进一步降低像素，这样就可以将光线交叉进入邻近像素引起像素交叉干扰的机会降到最小的程度(图9)。 图9：可以通过增加一个显微透镜的方式减少一个像素进入邻近像素的机会来减轻进入这个像素的光交叉进入邻近像素所产生的像素交叉干扰 有时分辨率较高的传感器拍出的影像比用较低分辨率的传感器质量差。这是因为像素数量只是进行信息采集的一个方式。像素大小还决定着信噪比的大小。总的来说，较大的像素尺寸要比较小的好，这是因为像素尺寸较大，收集光线的面积较大，因此，可以捕获更多光子，与存在的所有噪声相比，这会产生较大信号。这也就是有些5 Mp数码相机(DSC)所生成的图片不如好的3MP相机质量好的原因。 相对于一个特定的半导体生产工艺而言，不论像素有多大，所产生的噪声几乎是相同的，而且信号随着像素尺寸的增大而增强，所以，对一个类似的过程来说，像素越大，影像越好、越清晰。 实时缺陷校正 在传感器上总是有一些不尽人意的有缺陷的像素和区域。在生产过程中，传感器中可能会带入了一些光学污点或电路故障。这可能会产生非常不理想的视觉效果，导致与入射光不一致或非线性反应的产生。有时，像素还可能出现一些电子异常，如，某些像素输出较高，而其它像素则输出较低，从而产生比可以接收的平均水平要低的输出。 I-Pipe可以通过测量像素的输出并将其与邻近像素的平均值进行对比来确定是否某个像素存在缺陷。如果该像素输出与邻近像素输出的平均值之差大于某个容许极限值，该像素将被标记为坏像素，它的输出不再有效。可以用内差值法替换那个目标像素所在位置的输出值，具体方法如下：获得邻近像素的输出值，并求出它们的平均值，这样就可以得出坏像素的“模拟”输出。这种缺陷校正存在的问题是：有时它会降低整行的线(行)分辨率，除非以保守的方式使用。还可以使用其它专有方法和算法来减轻这些缺陷。 结语：增强降质影像的分辨率或清晰度 现在，我们已经了解了光线通过光学镜头、Bayer矩阵以及一个或多个显微透镜的方式以及如何使用demosaicing、插值(interpolation)、消除黑角、缺陷校正等方法重现我们熟悉的影像。正如您所猜测的那样，进行这么多人为的电子处理会使最后的影像比它原本的颜色要暗。这就要求我们使用另一种过滤处理器，比较有代表性的是一种可以恢复影像表面清晰度的平滑影像边缘技术。通过向经过校正的影像添加部分高通信号(high-pass；仅是高频信号)，就可以获得所需的清晰度。噪音锐化的程度取决于所添加高通信号的多少。 ◎消除黑角 黑角是指由于镜头和镜桶的原因在图片边缘生成的阴影或黑影。消除黑角技术可以校正这种异常，通过将黑角的照明比校正为影像中心的照明比，影像看起来就好像没有不正常的阴影了。 ◎后期处理增强效果 图10所示为改进的demosaicing技术如何提高影像质量的方式。左侧的影像使用了典型demosaicing算法进行了处理。请注意在这张影像中有一种称之为圣诞树灯光效果（Christmas tree lights effect）的影像缺陷，带有彩光。正如在右图所显示的那样，改进的demosaicing算法可以大大降低或甚至消除这种效果。 图10：改进的demosaicing技术可以提高影像的质量。左侧影像显示有称之为圣诞树灯光效果(Christmas tree lights effect)的彩光。正如在右图所显示的那样，改进的demosaicing可以大大降低或甚至消除这种效果 图11所示为通过增强明暗区域对比增强影像效果的示例，通过提高明暗对比度，可以提高影像的丰满度和色彩质量。一种称为自适应色调调整(adaptive tone mapping)的技术，可通过扩展动态范围来产生更真实、更丰富的色彩。底下的影像使用了自适应色调调整技术并通过自动调节色调分布图提高了影像的亮度和对比度。这样就提高了明暗区域的对比度，改变了曝光不足或曝光过强的影像，并且，产生了更明亮、更生动的色彩再现效果。 图11：可以使用自适应色度调节技术来提高影像的丰满度和色彩质量，这样就可以增强明暗区域的对比度，并进而达到增强影像效果的目的。底下的影像使用了自适应色调调整技术并通过自动调节色调分布图提高了影像的亮度和对比度 随着摄像手机从低端产品发展为带有较好分辨率和影像质量的中端数码相机(可以实现较好的4×6打印)，我们不但需要极好的影像后期处理技术，还需要今天数码相机中已经采用的基本功能。
