WO2021098081A1 - 基于轨迹特征配准的多光谱立体相机自标定算法 - Google Patents

Abstract

一种基于轨迹特征配准的多光谱立体相机自标定方法，属于图像处理和计算机视觉领域。该方法通过提取并匹配物体运动轨迹获取最佳匹配点，并据此对外参进行修正。相比于普通方法，使用运动物体的轨迹作为自标定所需的特征，使用轨迹的优点是因为其具有良好的跨模态鲁棒性；此外直接匹配轨迹还节省了特征点提取和匹配步骤，操作简便，结果精确。

Description

基于轨迹特征配准的多光谱立体相机自标定算法 技术领域

本发明属于图像处理和计算机视觉领域，涉及基于轨迹特征配准的多光谱立体相机自标定算法。

背景技术

红外线(Infrared)是波长介于微波与可见光之间的电磁波，波长比红光要长。高于绝对零度(-273.15℃)的物质都可以产生红外线。红外图像由于其具有透过雾、雨等进行观察的能力而被广泛用于军事国防、资源勘探、气象预报、环境监测、医学诊治、海洋研究等不同领域。利用红外线可以隔着薄雾和烟雾拍摄景物，而且在夜间也可以进行红外摄影。红外相机成像的优点是在极端场景(低光、雨雪、浓雾等)也可以成像，缺点是分辨率低、图像细节较模糊。相比之下，可见光相机的优点是分辨率高、图像细节清晰，但是在极端场景下不能成像。因此，将红外相机和可见光相机结合起来具有重大的现实意义。

立体视觉是计算机视觉领域的重要主题。其目的是重建场景的3D几何信息。双目立体视觉是立体视觉的重要领域。在双目立体视觉中，左右摄像头用于模拟两只眼睛。通过计算双目图像之间的差异来计算深度图像。双目立体视觉具有效率高，准确度高，系统结构简单，成本低的优点。由于双目立体视觉需要匹配左右图像捕获点上的相同点，因此相机两个镜头的焦距和图像捕获中心，以及左右两个镜头之间的位置关系。为了得到以上数据，对相机进行标定。获取可见光相机和红外相机之间的位置关系称为联合标定。

在标定过程中获得了相机的两个镜头参数和相对位置参数，但这些参数不稳定。当温度、湿度等发生变化时，相机镜头的内部参数也会发生变化。另外，由于意外的相机碰撞，两个镜头之间的位置关系可能会改变。因此，每次使用摄像机时，都必须修改内部和外部参数，这就是自标定。在已知相机内部参数的情况 下，通过分别提取红外图像特征和可见光图像特征来对红外镜头和可见光镜头的位置关系进行修正，即红外相机与可见光相机的联合自标定。

由于红外相机的成像与可见光相机不同，直接从两台相机提取匹配特征点得到的有效点对比较少。为了解决这个问题，可以利用运动物体的轨迹，这是因为运动物体的轨迹不会因相机模态不同而不同。

发明内容

本发明旨在解决由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。使用红外相机和可见光相机同时拍摄一组运动物体。从运动物体中提取并匹配运动轨迹，从而得到红外相机和可见光相机之间的成像关系，并获得若干对应特征点，通过这些特征点来对原有的标定结果进行修正。

具体技术方案为：基于轨迹特征配准的多光谱立体相机自标定算法，包括步骤如下：

1)使用红外相机和可见光相机同时拍摄一组有运动物体的场景连续帧。

2)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正。流程如图2所示。

3)计算运动物体的轨迹。

4)获取最佳轨迹对应点，并据此获取红外图像到可见光图像的变换矩阵。

5)进一步优化轨迹对应点的匹配结果：选取误差较低的配准点对数作为候选特征点对。

6)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复步骤1)～步骤5)。

7)修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。

所述步骤2)中原图校正，具体包括以下步骤：

2-1)计算图像的像素点对应的正规坐标系下的坐标；像素坐标系以图片的 左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行；像素坐标系的单位是像素；像素是图像显示的基本且不可分割的单位；以相机的光心作为图像坐标系的原点，且将光心到图像平面的距离缩放到1；像素坐标与正规坐标的关系如下：

u＝KX

其中，

表示图像的像素坐标；

表示相机的内参矩阵，f _x和f _y分别表示图像x方向和y方向的焦距，单位是像素，(c _x,c _y)表示相机的主点位置，即相机中心在图像上的对应位置；

是正规坐标系下的坐标。已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系，即X＝K ^-1u；

2-2)去除图像畸变：由于镜头生产工艺的限制，实际情况下的镜头会存在一些失真现象导致非线性的畸变。因此纯线性模型不能完全准确地描述成像几何关系。非线性畸变可大致分为径向畸变和切向畸变。

图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变。径向畸变的大致表述如下：

x _d＝x(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)

y _d＝y(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)

其中，r ²＝x ²+y ²，k ₁、k ₂、k ₃为径向畸变参数。

图像切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，可定量描述为：

x _d＝x+(2p ₁xy+p ₂(r ²+2x ²))

y _d＝y+(p ₁(r ²+2y ²)+2p ₂xy)

其中，p ₁、p ₂为切向畸变系数。

综上，畸变前后的坐标关系如下：

x _d＝x(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)+(2p ₁xy+p ₂(r ²+2x ²))

y _d＝y(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)+(p ₁(r ²+2y ²)+2p ₂xy)

其中，(x,y)是理想状态下的正规坐标，(x _d,y _d)是实际带有畸变的正规坐标。

2-3)根据原来两相机的旋转关系将两图转回来：已知原来两个相机之间的旋转矩阵R和平移向量t，使得：

X _r＝RX _l+t

其中，X _l表示红外相机的正规坐标，X _r表示可见光相机的正规坐标。将红外图像向R正方向旋转一半的角度，将可见光图像向R反方向旋转一半的角度；

2-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。

所述步骤4)中获取最佳轨迹对应点，具体包括以下步骤：

4-1)随机选择一对轨迹，并重复以下步骤直到误差足够小：

a.在已选的轨迹对中随机选取4对点；

b.计算红外图像点到可见光图像点的变换矩阵H；

c.加入使用变换矩阵H求得的误差足够小的点对；

d.重新计算H；

e.计算并评估误差；

4-2)加入使用变换矩阵H求得的误差足够小的轨迹对。

4-3)重新计算H。

4-4)计算并评估误差，如果误差不够小则重复步骤4-1)。

所述步骤7)中修正标定结果，具体包括以下步骤：

7-1)使用随机抽样一致性(RANSAC)对点对做进一步筛选。

7-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对u _l、u _r和基 础矩阵F的关系是：

将对应点坐标代入上式，构建齐次线性方程组求解F。

基础矩阵和本质矩阵的关系是：

其中，K _l、K _r分别是红外相机和可见光相机的内参矩阵。

7-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：

E＝[t] _×R

其中[t] _×表示t的叉乘矩阵。

将E做奇异值分解，得

定义两个矩阵

和

ZW＝Σ

所以E可以写成以下两种形式

(1)E＝UZU ^TUWV ^T

令[t] _×＝UZU ^T，R＝UWV ^T

(2)E＝-UZU ^TUW ^TV ^T

令[t] _×＝-UZU ^T，R＝UW ^TV ^T

7-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面；

记去畸变前的旋转矩阵为R ₀，平移向量为t ₀＝(t _x,t _y,t _z) ^T；上一步计算出的旋转矩阵为R，平移向量为t＝(t′ _x,t′ _y,t′ ^z) ^T；则新的R _new和t _new如下：

此外，还需要将t _new乘一个系数，使得t _new在x方向上的分量

本发明的有益效果是：

本发明解决了由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。具有速度快、结果精确、操作简单等优点。相比于普通方法，我们使用运动物体的轨迹作为自标定所需的特征，使用轨迹的优点是因为其具有良好的跨模态鲁棒性；此外直接匹配轨迹还节省了特征点提取和匹配步骤。

附图说明

图1为整体流程图。

图2为校正流程图。

具体实施方式

本发明解决了由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。结合附图及实施例详细说明如下：

1)使用红外相机和可见光相机同时拍摄一组有运动物体的场景连续帧。

2)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正。流程如图2所示。

2-1)计算图像的像素点对应的正规坐标系下的坐标。其中，正规坐标系是相机坐标系在平面Z＝1的投影；而相机坐标系是以相机的中心作为图像坐标系的原点，以图片方向为XY轴方向，以垂直于图像为Z轴方向的坐标系。像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行。像素坐标系的单位是像素。像素坐标与正规坐标的关系如下：

u＝KX

其中，

表示图像的像素坐标；

表示相机的内参矩阵，f _x和f _y分别表示图像x方向和y方向的焦距，单位是像素，(c _x,c _y)表示相机的主点位置，即相机中心在图像上的对应位置；

是正规坐标系下的坐标。已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系，即X＝K ^-1u；

2-2)去除图像畸变：由于镜头生产工艺的限制，实际情况下的镜头会存在一些失真现象导致非线性的畸变。因此纯线性模型不能完全准确地描述成像几何关系。非线性畸变可大致分为径向畸变和切向畸变。

图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变。径向畸变的大致表述如下：

x _d＝x(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)

y _d＝y(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)

其中，r ²＝x ²+y ²，k ₁、k ₂、k ₃为径向畸变参数。

图像切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，可定量描述为：

x _d＝x+(2p ₁xy+p ₂(r ²+2x ²))

y _d＝y+(p ₁(r ²+2y ²)+2p ₂xy)

其中，p ₁、p ₂为切向畸变系数。

综上，畸变前后的坐标关系如下：

x _d＝x(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)+(2p ₁xy+p ₂(r ²+2x ²))

y _d＝y(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)+(p ₁(r ²+2y ²)+2p ₂xy)

其中，(x,y)是理想状态下的正规坐标，(x _d,y _d)是实际带有畸变的正规坐标。

2-3)根据原来两相机的旋转关系将两图转回来：已知原来两个相机之间的 旋转矩阵R和平移向量t，使得：

X _r＝RX _l+t

其中，X _l表示红外相机的正规坐标，X _r表示可见光相机的正规坐标。将红外图像向R正方向旋转一半的角度，将可见光图像向R反方向旋转一半的角度；

2-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。

3)计算运动物体的轨迹。

4)获取最佳轨迹对应点，并据此获取红外图像到可见光图像的变换矩阵。

4-1)随机选择一对轨迹，并重复以下步骤直到误差足够小：

●在已选的轨迹对中随机选取4对点。

●计算红外图像点到可见光图像点的变换矩阵H。

●加入使用变换矩阵H求得的误差足够小的点对。

●重新计算H。

●计算并评估误差。

4-2)加入使用变换矩阵H求得的误差足够小的轨迹对。

4-3)重新计算H。

4-4)计算并评估误差，如果误差不够小则重复步骤4-1)。

5)进一步优化轨迹对应点的匹配结果：选取误差较低的配准点对数作为候选特征点对。

6)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复步骤1)～步骤5)。

7)修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。

7-1)使用随机抽样一致性(RANSAC)对点对做进一步筛选。

7-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对u _l、u _r和基础矩阵F的关系是：

可以将对应点坐标代入上式，构建齐次线性方程组求解F。

基础矩阵和本质矩阵的关系是：

其中，K _l、K _r分别是红外相机和可见光相机的内参矩阵。

7-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：

E＝[t] _×R

其中[t] _×表示t的叉乘矩阵。

将E做奇异值分解，得

定义两个矩阵

和

ZW＝Σ

所以E可以写成以下两种形式

(1)E＝UZU ^TUWV ^T

令[t] _×＝UZU ^T，R＝UWV ^T

(2)E＝-UZU ^TUW ^TV ^T

令[t] _×＝-UZU ^T，R＝UW ^TV ^T

7-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面；

记去畸变前的旋转矩阵为R ₀，平移向量为t ₀＝(t _x,t _y,t _z) ^T；上一步计算出的旋转矩阵为R，平移向量为t＝(t′ _x,t′ _y,t′ _z) ^T；则新的R _new和t _new如下：

此外，还需要将t _new乘一个系数，使得t _new在x方向上的分量

Claims (4)

1. 基于轨迹特征配准的多光谱立体相机自标定算法，其特征在于，包括下列步骤：

   1)使用红外相机和可见光相机同时拍摄一组有运动物体的场景连续帧；

   2)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正；

   3)计算运动物体的轨迹；

   4)获取最佳轨迹对应点，并据此获取红外图像到可见光图像的变换矩阵；

   5)进一步优化轨迹对应点的匹配结果：选取误差低的配准点对数作为候选特征点对；

   6)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复步骤1)～步骤5)；

   7)修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。
2. 根据权利要求1所述的基于轨迹特征配准的多光谱立体相机自标定算法，其特征在于，步骤2)中原图校正，具体包括以下步骤：

   2-1)计算图像的像素点对应的正规坐标系下的坐标；像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行；像素坐标系的单位是像素；以相机的光心作为图像坐标系的原点，且将光心到图像平面的距离缩放到1；像素坐标与正规坐标的关系如下：

   u＝KX

   

   其中，

   

   表示图像的像素坐标；

   

   表示相机的内参矩阵，f _x和f _y分别表示图像x方向和y方向的焦距，单位是像素，(c _x,c _y)表示相机主点的位置；

   

   是正规坐标系下的坐标；已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系，即

   X＝K ^-1u

   2-2)去除图像畸变：图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变；径向畸变的表述如下：

   x _d＝x(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)

   y _d＝y(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)

   其中，r ²＝x ²+y ²，k ₁、k ₂、k ₃为径向畸变参数；

   图像切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，定量描述为：

   x _d＝x+(2p ₁xy+p ₂(r ²+2x ²))

   y _d＝y+(p ₁(r ²+2y ²)+2p ₂xy)

   其中，p ₁、p ₂为切向畸变系数；

   畸变前后的坐标关系如下：

   x _d＝x(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)+(2p ₁xy+p ₂(r ²+2x ²))

   y _d＝y(1+k ₁r ²+k ₂r ⁴+k ₃r ⁶)+(p ₁(r ²+2y ²)+2p ₂xy)

   其中，(x,y)是理想状态下的正规坐标，(x _d,y _d)是实际带有畸变的正规坐标；

   2-3)根据原来两相机的旋转关系将两图转回来：已知原来两个相机之间的旋转矩阵R和平移向量t，使得

   X _r＝RX _l+t

   其中，X _l表示红外相机的正规坐标，X _r表示可见光相机的正规坐标；将红外图像旋转R正方向一半的角度，将可见光图像旋转R反方向一半的角度；

   2-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。
3. 根据权利要求1所述的基于轨迹特征配准的多光谱立体相机自标定算法，其特征在于，步骤4)中获取最佳轨迹对应点，包括以下步骤：

   4-1)随机选择一对轨迹，并重复以下步骤直到误差足够小：

   a.在已选的轨迹对中随机选取4对点；

   b.计算红外图像点到可见光图像点的变换矩阵H；

   c.加入使用变换矩阵H求得的误差足够小的点对；

   d.重新计算H；

   e.计算并评估误差；

   4-2)加入使用变换矩阵H求得的误差足够小的轨迹对；

   4-3)重新计算H；

   4-4)计算并评估误差，如果误差不够小则重复步骤4-1)。
4. 根据权利要求1所述的基于轨迹特征配准的多光谱立体相机自标定算法，其特征在于，步骤7)中修正标定结果，包括以下步骤：

   7-1)使用随机抽样一致性对点对做进一步筛选；

   7-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对u _l、u _r和基础矩阵F的关系是：

   

   将对应点坐标代入上式，构建齐次线性方程组求解F；

   基础矩阵和本质矩阵的关系是：

   

   其中，K _l、K _r分别是红外相机和可见光相机的内参矩阵；

   7-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：

   E＝[t] _×R

   其中[t] _×表示t的叉乘矩阵；

   将E做奇异值分解，得

   

   定义两个矩阵

   

   和

   

   ZW＝Σ

   所以E写成以下两种形式

   (1)E＝UZU ^TUWV ^T

   令[t] _×＝UZU ^T，R＝UWV ^T

   (2)E＝-UZU ^TUW ^TV ^T

   令[t] _×＝-UZU ^T，R＝UW ^TV ^T

   7-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面；

   记去畸变前的旋转矩阵为R ₀，平移向量为t ₀＝(t _x,t _y,t _z) ^T；上一步计算出的旋转矩阵为R，平移向量为t＝(t′ _x,t′ _y,t′ _z) ^T；则新的R _new和t _new如下：

   

   

   此外，还需要将t _new乘一个系数，使得t _new在x方向上的分量

   

Images