ISP流程——手机照相的“大脑”

     随着智能手机的普及，相机与我们的生活越来越紧密相关。在日常生活中，我们只需要轻轻按下手机上的拍照按钮，就能记录下美好时刻。那么问题来了：从我们指尖按下拍照按钮到一张色彩丰富的照片呈现在我们面前，这期间到底经历了什么？

     当我们按下拍照按钮，传感器所输出的原始数据（raw data）实际与我们想象的大不相同。由于镜头和传感器的特性，这些原始图像通常噪声大、颜色暗淡、亮度低，并不符合人眼的视觉特性。因此，需要手机的图像信号处理器（image signal processor，ISP）对原始数据进行处理。

▲ ISP处理前后效果图

     本文将介绍手机是如何一步步将原始数据转换为大家所看到的彩色图像的，即ISP处理流程。

▲ ISP流程图

      这是典型的ISP流程图，但实际上ISP可以不同的顺序实施这些步骤，甚至可能更加复杂，但是都会以某种方式完成这些处理模块。

一、黑电平补偿（BLC）

在理想情况下，没有光照射的像素点其响应值应为0。但是，由于杂质、受热等其它原因的影响，传感器存在着暗电流，使得没有光照射到的像素点也会产生响应。

▲ 黑电平补偿前后效果图（可点击放大进行更清晰地对比）

黑电平（Black Level）是用来定义图像数据为0时对应的信号电平。为减少暗电流对图像信号的影响，我们需要找到黑电平，并从已获得的图像信号中减去黑电平，从而获得一个更高对比度的图像。

二、镜头校正（LSC）

由于镜头本身的物理性质，传感器捕获的图像会表现出中心亮度高、边缘亮度低的特点。为了输出一个亮度均匀的图像，需要对图像进行镜头阴影（Lens Shading）校正。

校正的方法是根据一定的算法计算每个像素对应的亮度校正值，从而补偿周边衰减的亮度。通常，镜头校正方法有二次项校正、四次项校正等。

▲ 镜头校正前后效果图

三、坏点校正（BPC）

由于传感器可能存在部分缺陷像素，导致一些像素点输出信号不正常，出现白点或黑点，也就是坏点。同时，随着传感器老化，也可能会出现更多的坏点。因此，需要对坏点进行修复。

坏点修复方法通常有两种：一种是自动检测坏点并自动修复，另一种是建立坏点像素链表进行固定位置的坏点修复。

▲ 坏点校正前后效果图

四、去马赛克（Demosaic）

因为传感器只能感知光的强度，而不能直接感知光谱信息。因此，需要在传感器前加上滤光板来选取波段。但是，如果每个像素点都同时感知RGB三个分量，则需要三块滤光板，这样不仅成本高，而且难度大。因此，通常采用Bayer型的色彩滤波阵列（Color Filter Arrays，CFA）来获取场景的光谱信息。

▲ 左图为Bayer型CFA，右图为传感器感光示意图

从上面的示意图可见，每个像素只能探测一个通道的光信息，所以理想的Bayer图是一个较为昏暗的马赛克图。然而，为了获得彩色图像，需要计算出每个像素缺失的其它两个通道的响应值，即进行颜色插值处理。通常，经典处理方法包括最近邻域法、Bilinear插值、Cubic插值等。

五、去噪声（Denoise）

光照强度和传感器是产生噪声的主要因素。由于手机传感器的尺寸远小于普通相机，手机拍摄所产生的噪声会更多，所以需要更强的去噪能力。同时，当信号经过ADC时也会引入噪声。因此，这些都会使得图像质量变差。通常，经典的去噪算法包括均值滤波、中值滤波、高斯滤波等。

不同ISP的去噪模块可能会在不同的环节进行，但去噪原理没有本质不同。

▲ 去噪前后效果图

六、自动白平衡（AWB）

在往期许多文章中都提到了白平衡。白平衡是ISP中的一个重要模块。白平衡的主要目标就是在不同环境下，准确还原场景中的中性色，让其接近人眼感知的色貌。具体可以阅读往期文章：如何使照片色彩更加“真实” ？——摄影中的白平衡。

▲ 白平衡处理前后效果图

七、颜色校正（Color Correction）

在校正完白平衡后，需要进行彩色的校正。因为人眼对可见光的频谱响应度和半导体传感器频谱响应度之间存在差别，故而得到的颜色RGB值会存在偏差，因此，必须对颜色进行校正。通常，可用一个3x3的颜色变化矩阵来进行颜色校正。

八、伽马校正（Gamma Correction）

人眼与相机的感光特性不同。为了让图像与人眼感知的色貌相符合，需要将相机采集的图像进行伽马校正。具体可以阅读往期文章：伽马校正——图像系统中常用的非线性处理。

▲ 人眼与相机的感光特性

九、图像压缩

最后，为了减小图像占用的存储空间，通常会将图像数据进行压缩，丢弃那些肉眼无法识别的信息，再用一些编码技术来提高信息利用率。其中，最常用的编码格式当然就是JPG 格式了。

十、总结

本文介绍了相机在使用传感器记录拍摄景物的光学信号后进行的常见处理流程。可见，整个ISP处理流程非常复杂。在我们点击拍照按钮时，手机中的ISP芯片实际正在飞速地运转。也正是得益于这项成熟的技术，我们可以在瞬间记录下美好生活。

作者QQ及微信：49922779