模组真实性能验证——Raw域图像分析

一、引言

随着摄像头模组在智能手机、自动驾驶、安防监控等领域的广泛应用，如何准确评估和验证摄像头模组的真实性能成为一个关键课题。

传统的成像质量评估往往基于经过图像信号处理（ISP）后的图像，但这些图像受到各种算法的影响，难以准确反映传感器和镜头的真实性能。本文将探讨基于Raw域分析的模组真实性能验证方法，提供更加真实和精确的评估依据。

Raw图是由图像传感器直接输出的未处理数据，包含了最原始的图像信号信息。相比处理后的图像，Raw图保留了传感器和光学系统的尽可能多的细节，避免了ISP算法带来的偏差。

因此，基于Raw域的分析是模组真实性能验证中不可或缺的关键手段。

二、Raw域分析的优势

1、原始数据完整性：未经过任何算法处理，真实反映了传感器的光学与成像性能。

2、避免算法干扰：去除ISP算法的影响，更容易聚焦于硬件性能。

3、高精度性能评估：能够进行诸如动态范围、信噪比（SNR）、分辨力（MTF）等摄像头图像质量参数测试。

三、Bayer Raw图简析

我们以Bayer Raw (RGGB) 图为例，简单讲下Raw图分析：

Bayer阵列是一种彩色滤光阵列，由红 (R) 、绿 (G) 和蓝 (B) 三种滤光片构成，通常排列为RGGB模式。这种设计的目的是通过每个像素的滤光片捕捉特定颜色波段的光，进而实现彩色成像。

在Bayer阵列中，绿色像素占据了一半以上的比例，这是因为人眼对绿色更为敏感，因此增加绿色滤光片的数量可以提供更好的细节表现。

四、Raw图处理与插值选择

鉴于Raw图需要用特定的软件才能预览，那涉及到Raw图的分析，我们势必要做特殊处理，这样无论在图片主观感受或客观分析都有极大帮助。

当我们决定对Raw图做处理时，会面临这个问题：要不要做插值（去马赛克）处理？那不同的选择会得到不同的处理方式，通常对Raw图处理，我们大概会考虑这几种方式：

1、单一颜色通道选择（例如绿色通道）

2、Bayer单色图处理（灰度图）

3、去马赛克处理

1、单一颜色通道选择：

不做插值，直接对Raw图做通道选择。这种方法会从Bayer RAW（RGGB）图像中 提取并使用一个特定的颜色通道（如绿色通道、红色通道或蓝色通道）的数据。

一般优先推荐选择绿色通道，提取出所有绿色像素的原始信息，直接用这些数据进行后续分析。绿色通道通常具有最高的分辨率（因为在Bayer阵列中绿色像素占比最大），因此这种方法可以更好地保留图像的空间分辨率。

提取红色或蓝色通道：这些通道的像素密度较低，因此提取它们时可能会损失一定的分辨率。在需要高分辨率的应用（如 MTF 分析）时，提取绿色通道会更有效，但在需要评估其他颜色的情况下，提取红色或蓝色通道会更有意义。

2、Bayer单色图处理（灰度图）：

复制每个像素的亮度信息，对于每个像素，直接提取该像素的原始亮度值，无论其是红色、绿色还是蓝色通道的值。例如，Bayer阵列中的红色像素、绿色像素和蓝色像素的亮度值直接用于生成灰度图，而不做任何色彩加权或插值处理。

那我们基于上述思路对Raw图的每个像素做色彩遗忘，直接复制下每个像素的亮度信息，那我们会得到一张灰度图。如上图所示，我们称之为Bayer单色图，但事实上我们放大局部细节后（如红框区域），会看到一个个明显的像素网格，为什么会出现这种现象？

如果我们考虑到Bayer CFA（色彩滤波阵列）的原理后，那上述问题将不难理解。在将Bayer阵列的RAW数据直接转换为单色图像时，常常会出现一种不均匀的网点现象。这是由于Bayer阵列中特有的滤光片分布和每个像素捕捉到的光强度差异引起的，这区别于黑白相机生成的单色图没有类似的网点的现象。

Bayer Raw单色图

黑白相机照片

· Bayer Raw转单色图出现网点现象的原因：

在将Bayer阵列的RAW数据直接转换为单色图像时，不进行去马赛克处理，即没有对每个像素的颜色值进行插值计算来生成完整的RGB像素，而是直接使用原始滤光片捕捉到的光强度。因此，每个像素的亮度值取决于它通过特定滤光片检测到的光强度，这会导致图像中不同像素的亮度差异。

Bayer阵列的像素按特定的模式分布，不同位置的像素被不同颜色的滤光片覆盖。在直接生成单色图时，由于每个像素只检测到某一部分光谱的光强度，这就导致在生成的单色图中，红色、绿色和蓝色像素的亮度存在差异。

特别是绿色像素数量最多，占整个像素阵列的一半，这意味着在整体图像中，绿色通道的贡献比红色和蓝色更多。

此外，绿色滤光片的光谱响应也相对接近于人眼的敏感区域。因此，绿色像素捕捉到的光强度往往较高，使得它们在单色图中显得比红色和蓝色像素更亮。

而红色和蓝色像素由于数量较少，且捕捉的光谱与常见光源不完全匹配，在单色图中表现为亮度较低的区域。这种亮度上的不均匀性导致了视觉上“网点”或“马赛克”样的效果。

· 黑白相机的出图方式：

与Bayer阵列不同，黑白相机的传感器并没有彩色滤光片覆盖，因此每个像素都可以直接捕捉全光谱的光强度。这意味着黑白相机中的每个像素都能均匀地捕捉到来自场景的所有光线，而不会因滤光片的不同而造成光强度的差异。因此，黑白相机生成的单色图像亮度是均匀的，不会出现Bayer阵列RAW图转换为单色图时那种明显的网点现象。

Bayer阵列

Monochrome（黑白相机）

总的来说，Bayer阵列RAW数据直接转换为单色图时，由于不同颜色滤光片的数量和光谱响应差异，导致图像中的亮度呈现不均匀，形成了网点现象。

绿色像素因为数量和光谱响应的优势，在图像中表现得更亮，而红色和蓝色像素则相对较暗。这种现象是Bayer阵列的特性造成的，而黑白相机由于不使用彩色滤光片，能够生成均匀的单色图像，避免了这一问题。

3、Bayer Raw去马赛克处理：

去马赛克算法（Demosaicking）是图像处理中一种重要的算法，主要是根据每个像素点周围的颜色信息，推测出完整的RGB颜色值。去马赛克算法的核心目的是通过推测缺失的RGB值来重建全彩图像。

早期的去马赛克算法依赖于简单的插值方法，而现代的去马赛克算法则逐渐引入了边缘感知、深度学习等先进技术，从而提高了去马赛克的质量和效率。

1）准确性：去马赛克算法必须精确地恢复缺失的颜色信息，特别是在颜色变化剧烈或细节丰富的区域，避免出现色彩失真或伪影。

2）边缘保护：图像中的边缘区域往往包含重要的视觉信息，算法需要考虑如何在边缘附近进行优化插值，避免产生假边缘或色彩不自然的现象。

3）噪声抑制：由于原始传感器图像可能含有噪声，去马赛克算法还需具备噪声抑制能力，减少噪声对颜色恢复的负面影响。

4）计算效率：随着图像分辨率的提高，去马赛克算法必须在保证恢复质量的同时具备足够的计算效率，尤其在嵌入式和实时处理场景中，要求算法具有较低的计算复杂度。

常用的去马赛克算法：

常用的去马赛克算法（包含但不限于如下几种）：

1. Nearest-Neighbor Interpolation（最近邻域法）

最近邻插值是一种最简单的去马赛克方法，通过直接复制邻近像素的颜色值来填充缺失的颜色分量。即对于每个缺失的颜色通道，取周围最近的已知颜色值。

2. Bilinear Interpolation（双线性插值法）

双线性插值法通过对每个像素点周围的已知颜色值进行线性插值，计算缺失颜色的值。该方法利用邻近像素的加权平均值，进行水平和垂直方向的插值。

3. Gradient-Correction Demosaicing（梯度校正去马赛克法）

梯度校正去马赛克法基于图像的梯度信息进行插值，使用局部梯度信息来更准确地估算缺失的颜色。这种方法通常通过检测图像的边缘来避免在边缘区域发生颜色溢出或伪影。

4. Deep Learning-Based Demosaicing (基于深度学习的去马赛克法)

近年来，深度学习技术（特别是卷积神经网络CNN）被广泛应用于图像去马赛克。通过大量标注数据训练模型，深度学习方法能够学到更加复杂和高效的去马赛克策略，能够在边缘、细节和噪声抑制方面做出更精确的估算。

Imatest软件对于Raw图去马赛克推荐

五、那对于Raw图有如下几种处理方式，到底哪种更能代表模组真实的产品性能：

1、单一颜色通道选择（例如绿色通道）

2、Bayer单色图处理（灰度图）

3、去马赛克处理

我们将通过以下几个对比维度进行分析评估：

六、探讨Raw处理对空间分辨力分析的差异

分析单一颜色通道（绿通道）和Bayer单色图（灰度图）处理的差异

1. 单一颜色通道选择的优劣势：

优势：

空间分辨率：在标准的Bayer阵列中，绿色像素占据一半的比例，提供了最高的空间采样率，这意味着从绿色通道得到的图像分辨率理论上是最高的。这对于需要精确测量系统性能，如进行MTF分析时，能提供更细致的空间频率响应。

原始数据的直接使用：选择绿色通道意味着使用未经插值处理的原始数据，避免了由于插值可能引入的误差，有助于保持图像的原始细节和清晰度。

劣势：

信息的丢失：虽然绿色通道提供最好的亮度信息和分辨率，但忽略了红色和蓝色通道的数据。这可能导致失去一些在红色或蓝色频段上的重要细节信息，尤其是当图像的内容在这些频段上有独特细节或纹理时。

2. Bayer单色图处理的优劣势：

优势：

整体信息的综合：将所有颜色通道的数据合成为一个单色图像，可以在某种程度上综合考虑图像中的所有亮度信息。这种方法利用了所有通道的数据，可能更好地反映了图像的整体亮度和对比度。

无需担心颜色通道偏见：这种方法不会偏好任何一个颜色通道，因此对于颜色分布均匀的图像，可以更全面地反映图像的纹理和细节。

劣势：

可能的细节平滑：尽管综合了所有颜色通道的信息，但在合成过程中可能会平滑一些细节，特别是当不同颜色通道之间的亮度差异较大时。此外，颜色通道的简单数学合成可能不会考虑到颜色之间的复杂相互作用，可能导致高频细节的某些部分损失。

3. 综合比较:

如果关键目标是尽可能保持最高的空间分辨率和捕捉细节纹理，则选择单一的绿色通道可能是最优选择，尤其是在成像系统的分辨率和细节保真度是评估的主要指标时。但如果担心因忽略红蓝通道而丢失部分图像信息，或者当图像中红色和蓝色通道也包含重要细节时，考虑使用直接转换为单色图的方法可能更好，这样可以平衡保留更多的图像细节，尽管可能牺牲一些空间分辨率。

但是考虑到产品应用时，Bayer单色图处理通过整合所有颜色通道的数据，避免了单一颜色通道选择可能引入的颜色偏见，并提供了更全面的亮度和细节表现。这种方法不仅保持了图像数据的完整性，而且由于包含了所有颜色通道的信息，能够提供一个更准确、平衡的图像分析基础，尤其适合在需要高度灰度准确性的医疗成像、安全监控等领域。

此外，Bayer单色图处理的实用性和灵活性使其成为一个适用于广泛应用环境的理想选择。这种方法易于实施，可以利用现成的图像处理库和工具进行，不需要复杂的处理流程。通过展示实际应用中的对比结果和试验数据，我们可以清楚地看到，相比于单一颜色通道选择，Bayer单色图处理在保持更高的图像质量和处理效率方面具有明显优势，从而有效支持在多种图像处理场景中的广泛使用。

Bayer单色图（灰度图）处理和去马赛克处理的差异

对于Bayer单色图和不同去马赛克算法处理Raw图，带来的空间分辨力数据差异的问题，我们可以直接基于Imatest软件做实际数据分析验证。考虑到向上兼容性的问题，我们选取一张12M（4208 x 3120）分辨率的Raw图。

我们可以用第三方工具（如Matlab）对Raw图做处理，得到可读的Bayer单色图和不同去马赛克算法后得到可读的TIFF或BMP图或者直接用Imatest软件解Raw得到这些图。

对于分辨力数据的判断，参考车载摄像头行业的测试经验，我们可以参考1/2 Ny下对应的MTF数值。因常用的插值算法有双线性插值和梯度矫正插值算法，我们直接就选择这两种参与比对，同时为了验证Imatest软件中梯度矫正插值算法的通用性，我们选取了第三方的矫正插值算法和Bayer单色图处理的图一起做评比，同时选取多个ROI区域做数据比对。

数据汇总比对：

Bayer单色图输出的MTF@0.25C/P的数据和梯度线性插值算法的数据比较接近。而双线性插值算法似乎有数据损失使得数据表现较差。

那如果以Bayer单色图为参考选择插值算法，就分辨率/MTF的测试分析来说，选择梯度线性插值算法更为贴近Bayer单色图的分析数据。

各位读者感兴趣的可以自己尝试分析SNR和DR和Lens Shading等其他维度的测试项目，观察不同解Raw算法对其他图像质量参数的影响。

Raw域分析是摄像头模组真实性能验证的核心手段。通过对MTF、动态范围、噪声等关键性能指标的全面测试和深入分析，可以准确评估模组的光学表现和图像质量。同时，这种方法还能指导摄像头硬件与算法的联合优化，提升模组的市场竞争力。

在未来，随着AI算法和新型传感器的不断发展，基于Raw域的分析方法将持续为图像性能提升和技术创新提供重要支撑。

作者QQ及微信：49922779