摄像机/相机几何标定的校准验证

 点击下载

摘要

基于摄像头应用的高级辅助驾驶系统（ADAS）需要将图像坐标映射到已知的世界坐标(world coordinate system)，计算该映射的过程就是几何标定。本文提供了一系列的测试，可用于评估几何校正的优势和对比不同验证方法：

1. 图像坐标系测试：验证不同的成像系统用相同的图像坐标。

2. 重投影测试：通过模型将目标向正投影到像面上，验证相机的校准。

3. 投影测试：通过将模型中的点反向投影到世界上来验证相机的校准。

4. 三角测量测试：验证多摄像机系统在3D中定位一个点的能力。

本文将介绍以上四种验证方法。第一种方法是验证两个系统之间的图像坐标是否一致。其余的方法是用不同的方法来验证不同的模型与相机性能的一致性。

(这些测试的潜在配置由汽车用例驱动，可以比较和调整内置相机的不同校准模型)

介绍

几何标定提供了相机中每个像素[1，2]指向方向的数学模型。模型可能具有或可能没有与相机系统的物理参数相关的参数。有关几何相机模型的示意图，请参见图1。此示意图中的黑线表示光轴。

摄像头的几何标定有助于突破制造公差限制，从摄像头提取更多性能，降低成本/提高产量。

(图1 相机模型示意图。像素位置映射到光线进入世界)

几何校准可用于将基于像素的度量转换为基于物理的度量。几何校准的一个用途是计算世界系的投影调制传递函数（MTF），即以世界单位表示的MTF。第二个用途是计算每个像素的瞬时视场（IFOV），允许进行光电或无线电计算。

有许多潜在的模型形式，选择了某一模型，就有额外的自由度作为该模型的参数化。范围太大，使得选择很难，可以的话，创建一个标准的方法来完成一个几何校准相机，将满足ADAS系统的要求。此外，校准参考设置和优化参数随相机设计的不同而变化。因此，我们转向开发验证方法，以便能够比较同一摄像机的摄像机标定，并确保标定模型满足ADAS系统的要求。

一、 图像坐标系验证

可以使用许多可能的图像坐标系。其中一些如图2所示。即使在同一个组织中，两个团队的图像坐标也可能不是同一个。其中一个团队包括正在收集和运行本文后面的其他验证测试的验证团队。确保团队知道其合作伙伴的不同坐标将减少出现问题的机会。

(图 2. 可能的图像坐标系差异)

团队至少应该传达他们使用的坐标系，特别是在描述传感器的相对几何校准参数（如主点和畸变中心）时。本节的其余部分将描述一个明确的测试，用于确定不同团队的图像坐标系之间的转换。

方法

该方法利用了传感器测试模式。这是一个明确的参考坐标系。

1.通过采集系统从传感器生成行索引和列索引传感器测试模式。例如，通过产线采集系统或者工程采集系统。关闭图像信号处理（ISP）很重要，这会避免数据被改变使得测试无效。

2.在涉及的团队之间，在测试模式坐标系中至少确定3个非行和非列共线参考点。也就是说，每一行和每一列最多只能有一个测试点。

3.在坐标系中找到参考坐标的位置。这些是图像数据值。

4.对每个行和列坐标执行普通最小二乘（OLS）回归。回归形式为：y=m·x+b。 一般来说，这些回归的相关系数正好为1。另外，除非两个坐标系之间有UP或Down-sampling模型，否则方程的斜率将是±1。

示例

本文以两个团队使用6×4图像传感器的坐标系为例。每个坐标系中的标记位置见图3。参考传感器坐标是像素的颜色，而团队的坐标系由像素位置标签给出。参考点的位置列在标题为“示例中点的位置”的表格中。

对表1中的数据执行OLS回归，得到标题为“从玩具示例测试导出的变换”的表中的坐标系变换。根据对这些结果的检查，第1组使用传感器坐标，而第2组使用的是一个翻转y轴的单索引坐标系。这两个不一定错误，但是在这两个团队进行交流时需要小心。

(图 3. 两个团队坐标系中的示例标记点。)

重投影测试通过前向相机模型投射目标，计算图像空间中的误差。这与校准过程中计算重投影误差的方法相同。度量是检测到的目标位置和建模目标位置之间的距离。注意，设置应与任何校准分开，以避免过度拟合。有关比较检测到的目标位置和建模的目标位置的投影测试的示意图，请参见图4。

(图 4. 重投影测试示意图)

方法

1.使用场景中的目标创建测试设置。

2.测量目标相对于相机坐标系的位置(姿势)。

3.拍摄目标的图像。

4.检测图像中的目标。

5.通过相机模型投影(成像方向)目标位置(步骤2)。

6.计算图像空间中检测点和投影点之间的误差(重投影误差)。

7.根据需要重复操作，以确保测试覆盖率。

三、投影测试

重投影测试使用几何校准模型的正向或图像形成方向，而投影测试则通过将射线反向投射到世界上来。对于ADAS应用使用的许多校准中，这是一个更自然的方向。此测试假定从相机到一对目标的距离是已知的。相机相对世界点是通过将相机模型中的目标位置投影到已知距离来计算的。测试指标是在投影的世界点中的距离与目标之间单独测量的距离的差异。

配置

投影测试有两种配置。第一个配置模型为同时本地化映射（SLAM）用例。该测试有两个间隔狭窄的目标，是沿相机行进方向的单个捕获或一对捕获位置。有关此配置的示例，请参考图5。

(图 5. SLAM 投影测试配置)

相对物体的大小是人类视觉系统用来确定深度的根据之一。第二种配置测试确定无畸变目标物体尺寸的能力。有关此配置的示例，请参考图6。

(图 6. 对象大小投影测试配置)

方法

1.使用场景中的目标对创建测试设置。

2.测量相机到每个目标的距离。

3.测量目标对之间的距离。

4.拍摄目标对的图像。

5.对图像中的目标对进行检测。

6.将每个检测到的图像点按到目标的距离投影到世界中(步骤2)，产生一个世界点。

7.计算每对投影世界点之间的距离。

8.计算投影距离(步骤7)与测得的目标对距离(步骤3)之差。

9.根据需要重复操作，以确保测试覆盖率。

四、三角测量测试

三角测量测试类似于使用照相机模型的反方向投影测试。该测试依赖于在两个摄像机中都可以找到的单个目标。然后将图像位置转换为指向方向，该方向可用于对一个世界点进行三角测量。度量是目标测量位置与三角测量之间的差。有关该测试的示意图，请参考图7。

(图 7. 三角测量示意图)

方法

1.使用场景中的目标对创建测试设置。

2.测量目标相对于参考相机坐标系的位置(姿势)。

3.用两台相机拍摄目标图像。

4.对每个像机获取的图像内目标进行检测。

5.用检测到的点对目标进行三角测量。

6.计算测量位置(步骤2)和目标三角位置(步骤5)之间的误差。

7.根据需要重复操作，以确保测试覆盖率。

验证测试配置

“目标”和位置的使用点是抽象的，尚未定义。本节将详细介绍目标在测试场景中的选择和放置。

目标选择

有关可能目标的示例，请参见图8。前两个目标，是点和棋盘格相交处。这些目标用于测试无法访问完整特征检测算法（例如卷积神经网络）的情况。这两个目标的参考位置（从中测量位置/距离）分别是点的中心和棋盘鞍点。

(图 8. 可能的目标选择)

第三个目标选择代表汽车用例目标，例如停车标志。这些目标旨在在测试整个计算机视觉系统（包括摄像头和目标检测算法）时使用。这些目标的参考位置是计算机视觉系统定位到的目标位置，例如，“STOP”中“T”的交点。

测量精度

确定相机质量的阈值应从更高级别的ADAS要求中沿用下来。例如，可能需要在几米内知道远距离三角测量，在几厘米内知道近距离三角测量。这些可接受的误差继而定义了已知测试相关联的位置/距离。可能影响测试结果的测试参数是距离/位置测量精度和目标检测精度。建议对测试装置进行不确定度分析，以了解这些不确定因素如何传播到测试结果。

重复目标

建议不要在任何位置使用单个目标。在这些配置中，不可能分离出测量误差，目标检测误差和校准误差。如果多个目标彼此非常接近，则通过识别非家族结果可以更轻松地分离上述误差。有关在每个位置使用多个目标的示例，请参考图9。任何一对遥远组之间的预期误差是相同的。

(图 9. 多目标分组示例)

验证测试选择（优缺点）

提出的三种不同校准模型测试(重投影测试,投影测试,三角测量测试)，无论选择哪种校准验证测试，都应始终运行图像坐标系测试，因为执行验证的团队可能会使用与校准团队不同的坐标系。

(三种不同的校准模型测试的优缺点)

结论

本文介绍了四种几何校准验证测试：一种用于图像坐标系，三种用于校准参数的各种组合。

Mobileye认证 | 摄像头几何标定系统