工业镜头视差校正单向结构光系统校准方法，平面，球面测量精度提高25倍，2倍|上海羊羽卓进出口贸易有限公司

单向结构光系统校准方法，平面、球面测量精度提高25倍、2倍

作者：小柠檬 | 来源：3DCV

在公众号「3DCV」后台，回复「原论文」获取论文

添加微信：dddvision，备注：结构光，拉你入群。文末附行业细分群

1、导读

本文提出了一种新颖的单向结构光系统标定方法，该方法利用白色平面作为标定目标，而不是具有圆点或方格方块等物理特征的传统目标。该方法通过采用具有投影随机图案和平面拟合的立体视觉来重建白色平面。为了促进校准过程，使用了辅助摄像机和辅助投影仪。实验结果表明，所提出的方法对于单向结构光系统具有较高的标定精度。

2、贡献

提出了一种新的单向结构光系统标定方法，使用白色平面作为标定目标。

所提出的方法添加了相机和投影仪来进行标定目标重建。

该方法利用立体视觉重建校准目标，并使用平面拟合来减轻重建误差。

所提出的方法简化了正确且准确的相位值的获取。

实验证明了所提出方法的优越性能。

3、方法

传统的针孔模型通常用于描述相机像素的二维坐标之间的线性关系和相应的3D世界坐标，忽略非线性失真。该关系可以通过如下的等式（1）来表达。

其中是缩放因子，是个相机的本征矩阵，是个旋转矩阵,是个平移向量，表示矩阵/向量转置运算。世界坐标系和相机坐标系之间的几何关系定义为和。本研究选择相机坐标作为世界坐标系。

方程（1）表示使用线性模型将3D坐标投影到2D坐标系上。然而，由于相机镜头畸变的存在，实际相机像素坐标与理想像素坐标存在偏差。这种失真可以使用下面的公式（2）进行建模。

其中表示从有畸变的相机坐标导出的未畸变的相机坐标，[是径向畸变系数，[]是切向畸变系数。镜头畸变系数可以在本征标定过程中获得。内在校准是校准过程的初始步骤。此步骤是使用具有校准图案（例如圆形网格或棋盘格正方形）的传统平面相机校准目标进行的，遵循灵活的相机校准方法。相机校准目标可以物理打印或数字显示。

解决非线性失真后，下一步涉及获取每个像素的绝对相位值和3D坐标。与使用具有有限高对比度校准图案（例如，黑色背景上的白色圆圈）的传统平面物体相比，白色平面物体被用作校准目标。这种方法能够直接从用单向条纹投影的校准目标中提取正确的相位值，而不需要进行额外的调整来适应相位伪影。由于没有校准图案来帮助估计每个校准姿势的变换矩阵和相机镜头坐标中每个像素的3D坐标，因此采用随机图案立体视觉方法来重建校准目标的3D模型。为了补偿由不在理想平面上的点引起的重建误差，将重建的 3D 模型中的点拟合到理想平面。通过结合方程（1）和理想平面函数，可以确定每个校准姿态下每个相机像素的3D坐标。

为了使用具有投影随机图案的立体视觉重建白色平面的3D模型，校准过程涉及使用辅助摄像机和辅助投影仪。这些附加设备与主摄像头和主投影仪一起引入，构成需要校准的结构光测量系统。具体来说，主投影仪负责投影单向条纹，而辅助投影仪具有投影随机图案的能力。需要强调的是，辅助相机和辅助投影仪仅在校准阶段才是必需的，而不是在实际测量过程中。

获取3D坐标每个像素的在主摄像头中，包括主摄像头和辅助摄像头的立体视觉系统需要利用标定图案和获取的固有属性进行立体标定。在校准过程中，在每个校准姿势下，辅助投影仪将设计的随机图案投影到白色平面物体上，并且两个相机捕获具有投影图案的物体的图像。具有投影随机图案的校准目标的捕获图像如图1a和图1b所示，分别代表主摄像机图像和辅助摄像机图像。然后利用块匹配算法来确定校正图像之间的视差图，该视差图是使用来自两个相机的相机校准数据生成的。视差图突出显示了两个摄像机校正图像中对应点之间的位置差异，如图1c所示。随后，可以利用视差图直接获得白色平面物体在主相机坐标系中的3D坐标。这些基于立体视觉的3D重建校准姿势被称为“参考平面”，示例如图1d所示。为了减轻参考平面中的误差并确保作为校准目标的白色平面物体的理想平面度，对于每个校准姿势，使用以下函数将参考平面上的点拟合到虚拟理想平面。

其中A、B、C和D是理想平面函数常数系数。最后，通过描述虚拟理想平面的方程（3），可以使用标准针孔模型在主相机坐标系中获得每个像素的3D坐标，而无需考虑方程（1）中概述的镜头畸变）。描述虚拟理想平面上与每个主相机像素相对应的 3D 坐标的方程每个校准姿势如下。

其中是主摄像头的主点，是沿方向的焦距，是沿方向的焦距。这些值可以在主相机的固有矩阵中找到。在图1e中，以蓝色表示的参考平面与以黄色表示的虚拟理想平面重叠。该虚拟理想平面包含与特定校准姿势的主相机中每个像素相关的所有点。需要注意的是，对于每个校准姿势，参考平面、虚拟理想平面以及每个像素对应的3D坐标都是在主相机的镜头坐标系内直接生成的。该过程不依赖于从一组有限的校准模式导出的变换矩阵的估计。

图1

图1：所提出的方法在一个校准姿势下的中间结果示例。（a）来自主相机的具有随机图案的校准目标图像；（b）来自辅助摄像机的具有随机图案的校准目标的图像；（c）计算视差图；（d）根据视差图和相机标定数据生成参考平面；（e）拟合虚拟理想平面，包含每个像素的所有点与相应的参考平面；（f）在3D模型中呈现的展开相位。

一旦获得了主相机中每个像素对应的3D坐标并确保在每个校准姿势下位于同一平面上，就可以无缝地获取每个主相机像素的绝对相位值。相移法因其在速度和精度方面的优势而被广泛应用于光学3D测量中。通过利用 N 步相移方法和相位展开算法，绝对相位可以直接获得每个标定位姿下主相机中每个像素的像素值。重要的是，每个像素的绝对相位值仅依赖于主投影仪投影的水平或垂直条纹。该过程从像素处的光强度开始在第张图像中，其由以下等式表示。

其中是平均强度，是强度调制，是相位值并且是相移。相位值，，称为包裹阶段，可以通过以下方式获得。

当包裹相位范围从到且有不连续点时，相位展开算法会找到整数使用以下方程来生成绝对相位。由于白色平面物体上没有校准图案，因此直接获取绝对相位值后不需要额外的处理。图1f渲染了在一个校准姿势下拍摄的绝对相位图的3D表示。

所提出的校准方法的最后一步涉及确定相位到坐标的映射。根据我们之前的研究，对于每个相机像素，其3D坐标之间的关系在相机坐标系中，及其对应的绝对相位，可以使用以下三阶多项式来近似。

常数系数，和每个像素都是唯一的。对于每个主相机像素，及其3D坐标及其绝对相位，根据获得的每个校准位姿，可以使用最小二乘法确定每个主相机像素的等式（8）中的常数系数。

所提出的校准方法的总体框架如图2所示，它由两个主要分支组成。第一个分支侧重于获取绝对相位主相机像素，而第二个分支旨在确定3D坐标对应主相机像素并确保每个校准姿势的所有点都位于同一平面上。

为了重建白色平坦表面，引入了辅助摄像机和辅助投影仪。校准过程首先单独校准主摄像头和辅助摄像头以确定它们的固有属性。随后，在两个相机之间进行立体校准。相机校准涉及使用具有校准图案的传统相机校准目标。对于所有后续步骤，白色平坦表面用作校准目标。对于每个校准姿势，根据从校正图像获得的视差图生成参考平面，校正图像是根据两个相机捕获的图像生成的。这些捕获的图像描绘了使用辅助投影仪以随机图案投影的白色平坦表面。然后将参考平面拟合到理想平面。

通过使用针孔模型，3D坐标主相机像素可以获得。获取绝对相位，使用主投影仪投射的单向条纹，采用具有相位展开算法的步相移方法。通过组合绝对相位值和3D坐标每个主像素的从所有校准姿势中，最后一步涉及使用三阶多项式和最小二乘法来估计相位与坐标关系。

图2:一个姿势的校准过程

4、步骤

以下是所提出的校准方法的步骤：

先决条件 ：添加辅助摄像头和辅助投影仪。使用具有校准图案的传统相机标定目标来校准主相机和辅助相机的内在和外在属性；

步骤1：辅助投影仪将随机图案投射到作为标定目标的白色平面物体上，每个摄像头拍摄带有随机图案的物体的图像；

步骤2：利用Block-Matching算法计算矫正后图像之间的视差图；

步骤3：重建白色平面物体作为主相机坐标中的参考平面；

步骤4 ：利用式（3）得到参考平面拟合的虚拟理想平面；

步骤 5：计算3D坐标对于主相机像素使用等式（4）；

步骤6：获取绝对相位值直接使用方程（5）~（7），主投影仪投射单向条纹；

步骤7：拟合3D坐标之间的关系和绝对相位值对于每个主相机像素与等式（8）。

5、实验

我们构建了一个原型系统来评估所提出的校准方法的性能。我们的系统包括全分辨率1280 × 720像素的数字光处理投影仪（型号：德州仪器（TI）DLP 3010）和互补金属氧化物半导体（CMOS）相机（型号：FLIR BFS-U3-28S5C）完整图像分辨率为1936 × 1464 像素。为了校准系统，我们添加了辅助摄像头（型号：FLIR BFS-U3-28S5C）和辅助投影仪（型号：TI DLP Lightcrafter 4500），全分辨率为912 × 1140像素。两款相机均采用12毫米焦距镜头（型号：Computar M1214-MP2）。所有设备均以其全分辨率运行。整个系统根据主投影仪生成的触发信号以 15 Hz 的频率运行。图 3说明了我们的原型系统的设置，以及辅助摄像机、辅助投影仪和用于评估和校准的白色平面。校准过程完成后，我们移除辅助摄像头和辅助投影仪。

图3

图3：实验系统设置。（a）具有平面镜目标的整体校准系统设置；（b）带有辅助投影仪和摄像机的原型系统。

对于主相机和辅助相机的内在标定，12.9英寸iPad Pro（第四代）上显示黑色背景的16×21白色圆形网格。圆心之间的距离设置为120像素，iPad Pro的分辨率为 264（每英寸点数）DPI，导致圆心之间的距离为11.54毫米。总共捕获了36个姿势并用于内部校准。为了校准由两个摄像头形成的立体视觉系统，采用黑底17×22白圆网格，圆心距相同。立体校准采用与固有校准中相同数量的姿势（36个姿势）。

标定过程是估计主相机每个像素的3D坐标和绝对相位之间的关系。在我们提出的方法中，我们采用白色平面，特别是涂有白色油漆的1828mm×2133mm镜子的背面，作为校准目标。在N步相移方法中，我们采用18步的18像素条纹周期。按照第2节中描述的步骤，我们确保参考平面的生成不依赖于有限数量的校准图案，并且像素的所有3D坐标都位于同一平面上。为了获得绝对相位，我们使用主投影仪投射水平18步相移二进制图案。然后应用互补格雷码相位展开方法来获取绝对相位值。由于校准目标是没有校准图案的白色平面物体，因此提取每个像素的正确绝对相位不需要投影仪或颜色校准目标的彩色条纹功能。这也消除了对拟合绝对相位值进行昂贵计算的需要。捕获40个校准姿势后，我们使用方程（8）将3D坐标拟合到绝对相位。这使我们能够确定主相机每个像素的三阶多项式的系数。

为了更好地理解所提出方法的性能，我们使用相同的原型系统对所提出的方法和单向方法进行了比较。两种方法对主相机都使用相同的固有矩阵，采用相同数量的校准姿势，校准姿势之间具有相似的步长，并且在校准期间在可比较的深度范围内操作。两种方法之间的主要区别在于校准目标。我们提出的方法使用平坦的白色表面作为校准目标，而单向方法则使用圆形图案校准目标。这种差异意味着通过我们提出的方法捕获的用于校准的图像不能用于单向方法。然而，我们确保两种方法之间每个校准姿势的校准目标的方向相似，以便进行公平的比较。此外，单向方法没有使用辅助摄像机或辅助投影仪。

在单向方法中，假设平面，使用从有限数量的圆形图案估计的变换矩阵来重建校准目标。此外，单向法中圆边缘像素获取的相位值是根据相邻像素的相位值进行拟合的。相反，我们提出的方法在校准过程中不涉及任何相位值拟合。通过进行这种比较，我们的目的是评估我们提出的方法相对于单向方法的性能和优势，考虑到校准目标和辅助设备的利用的差异。

所提出的校准方法的质量评估涉及在不同位置和方向测量平坦表面，特别是校准中使用的相同白色平坦表面。对于每次测量，我们使用来自单向校准方法和所提出的校准方法的校准数据重建平坦表面的3D模型。考虑到测量目标是平坦表面，我们采用方程（3）将理想平面拟合到重建的3D模型中。对于每个点，拟合的值可以确定如下。

和之间的区别表示该特定点的测量误差。在图4中，我们展示了单平面测量的误差图及其相应的均方根误差(rmse)值。与单向方法相比，该方法的误差更小，为0.0407毫米，单向方法产生的误差为0.1016毫米。此外，与单向方法相比，该方法的误差分布表现出更小的标准偏差。值得一提的是，在本文提出的测量数据的重构过程中，3×3应用高斯滤波器来消除最显着的随机噪声。

图4

图4：基于同一组数据的两种标定方法重构平面误差分析（单位：mm）（a）单向法标定数据重构平面误差图；（b）（a）的直方图；（c）使用我们提出的方法的校准数据重建的平面误差图；（d）（c）的直方图。

表1总结了所有平面测量结果。我们已经包含了使用所提出方法的校准数据从3D 重建结果导出的平面拟合系数。这种包含有助于说明捕获的飞机之间姿态的变化。为了可视化总体误差趋势，图 5在单个图中显示了所有平面测量误差。在我们的实验中，基于单向方法的平面测量的均方根误差（rmse）大约比所提出的方法大2.5倍。

表1：平面测量精度比较（mm）

图5

图5。所有平面重建的测量均方根误差。

为了进一步评估所提出的校准方法的性能，我们在直径为200 mm的球体上进行了测量。使用从单向校准方法和所提出的校准方法获得的校准数据来重建每次测量。然后将重建的数据拟合到理想的球体模型。从这个拟合过程中，我们估计了球体的中心及其半径。随后，我们通过计算估计半径与距每个测量点的距离之间的差值来计算测量误差到估计的中心，使用以下方程。

在图 6中，我们考虑了两个不同位置，对球体的测量误差进行了分析。在第一位置，图6c显示了使用来自单向校准方法的校准数据获得的测量误差图，而图6d示出了使用来自所提出的校准方法的校准数据获得的误差图。基于单向校准方法的重建显示出 0.1609 mm 的 rmse 值，而基于所提出的校准方法的重建则实现了 0.0793 mm 的 rmse 值。移动到第二个位置，距离第一个位置约 80 mm，图 6g显示了基于单向方法校准数据的测量误差图，而图 6h显示了基于所提出方法的校准数据的测量。基于单向方法的重建产生的 rmse 值为 0.1850 mm，而基于所提出的方法的重建获得的 rmse 值为 0.0827 mm。总体而言，在我们的实验评估中，使用所提出的方法重建球体的均方根值小于使用单向方法重建的均方根值的一半。

图6：基于两种标定方法在两个位置重建球体的误差分析（单位：mm） (a)(e)使用单向方法的标定数据进行3D 重建；(b)(f) 使用所提出方法的校准数据进行 3D 重建；(c) (a) 的误差图，rmse为0.1609 mm；(d) (b) 的误差图，rmse 为 0.0793 mm；(g) (e) 的误差图，rmse 为 0.1850 mm；(h) (f) 的误差图，rmse 为 0.0827 mm。

最后，我们对具有复杂几何形状的物体进行了测量。在图7a中，我们展示了雕塑的照片，并附有使用来自单向校准方法（图7b）和所提出的校准方法（图7c）的校准数据获得的3D重建。此外，图 7d显示了两个重建的叠加。值得注意的是，图像表明所提出的方法捕获的细节水平与单向方法相当。这一结果表明，在所提出的校准方法中使用虚拟理想平面不会影响测量复杂物体时捕获复杂细节的质量。为了进一步探索它们的几何关系，我们对两个重建进行了 ICP（迭代最近点）。下面提供了该分析所得的旋转矩阵和平移矢量（单位为毫米）。将进行进一步调查以确定平移向量中显示的偏移的根本原因。

图7

图7：基于两种方法的校准数据重建复杂物体（a）复杂物体的照片；(b) 基于单向方法的校准数据进行重建；(c) 基于所提出方法的校准数据进行重建；(d) 两次重建的叠加。

6、总结

本文介绍了一种针对单向结构光系统设计的标定方法，旨在简化获得合适相位值的过程并提高标定精度。它通过采用平坦的白色表面作为校准目标而不是具有校准图案（例如圆形网格或方格方块）的传统校准目标来实现这一点。通过利用随机模式的立体视觉，所提出的校准方法重建了校准目标的3D模型，包含其所有点。然后将3D模型拟合到平面，以最大限度地减少重建误差并确保平面度。重要的是，假设所有点都位于同一理想平面上，这种方法无需使用有限数量的校准图案来估计校准目标点的 3D 坐标。由于目标表面上没有校准图案，因此所提出的方法直接获得正确的相位值，而不需要校正过程。与单向方法相比，所提出的校准方法具有更高的精度。具体来说，使用相同的结构光测量系统，平面测量精度提高了2.5倍，球面测量精度提高了2倍。尽管所提出的方法比单向方法实现了更高的校准精度，但所提出的方法在校准过程中需要额外的投影仪和额外的相机以及专门的安装夹具。这些额外的硬件要求增加了校准过程的复杂性和总体成本，尽管它们在校准后被分离。

专业！3D视觉视频课程

3D视觉工坊精品课程官网： 3dcver.com

我们的3D视觉学习平台包含：相位偏折术 、面结构光高阶 、结构光 、机械臂抓取 、工业点云实战 、Open3D 、深度学习缺陷检测 、3D缺陷检测 、BEV&Occ 、Transformer 、模型部署 、3D目标检测 、单目深度估计 、车载标定 、规划与控制 、无人机 、三维视觉C++ 、三维视觉python 、dTOF 、相机标定 、ROS2 、机器人控制规划 、LeGo-LAOM 、激光-视觉-IMU-GPS融合SLAM 、LOAM-SLAM 、室内室外SLAM 、VINS-Fusion 、ORB-SLAM3 、MVSNet三维重建 、colmap 、线面结构光 、硬件结构光扫描仪 。

【光学知识】像方远心、物方远心、双远心镜头的区别

像方远心、物方远心、双远心镜头的区别

工业镜头是机器视觉系统中十分重要的成像元件，系统若想完全发挥其作用，工业镜头必须能够满足要求才行。随着机器视觉系统在精密测量领域的广泛应用，普通工业镜头难以满足要求，而远心镜头应运而生。

远心镜头主要为矫正传统工业镜头视差而设计，它可以在一定的物距范围内，使得到的图像放大倍率不变，从而弥补普通工业镜头“近大远小”的视觉效果，满足精密测量的要求。远心镜头按设计原理可分为：像方远心光路、物方远心光路和双侧远心光路。

光路原理

1）像方远心光路

像方远心光路的光路图如下图。它是将孔径光阑放置在物方焦平面上，像方主光线平行于光轴主光线的会聚中心位于像方无穷远。这种镜头的特点是放大倍率与像距无关，可以消除像方调焦不准引入的测量误差。

2）物方远心光路

物方远心光路的光路图如下图。它是将孔径光阑放置在光学系统的像方焦平面上，物方主光线平行于光轴主光线的会聚中心位于物方无限远。这种镜头的特点是在合理的活动范围内，物体的放大倍率与物距无关。即使物距发生改变，像高也并不会发生改变，即测得的物体尺寸不会变化。根据这个原理设计出来的镜头为物方远心镜头，简称远心镜头。