WO2020063058A1 - 一种多自由度可动视觉系统的标定方法 - Google Patents

Abstract

一种多自由度可动视觉系统的标定方法，在摄像部件前方放置标定模板，转动摄像部件各个运动自由度，使用摄像部件记录下若干包含标定模板特征的图像，同时记录下获取相应图像时的各个运动自由度的位置信息，使用计算部件计算出摄像部件与各个运动自由度的标定结果。可动视觉系统包括摄像部件、计算部件、控制部件。本方法具有良好的计算实时性，可通过各个运动自由度的位置信息进行计算，实时获取摄像部件位置变化的参数信息，并可以解决因机械加工组装所造成的与理论设计存在的误差问题，具有广泛应用前景。

Description

一种多自由度可动视觉系统的标定方法 技术领域

本发明涉及一种视觉系统的标定方法，特别涉及多自由度可动视觉系统的标定方法。

背景技术

多自由度视觉系统应用广泛，其结构特征是具有多个运动自由度的视觉系统，例如常见的手持增稳相机或者四旋翼航拍摄像机，一般是三个旋转自由度结合一个相机模块，相机模块可以受三个旋转自由度控制发生转动，或者如街头可见的PTZ监控相机，有两个自由度的运动和可变焦的相机，实现跟踪或者大视场角的监控。此类应用场景往往不需要已知相机与基座之间的精确相对位置关系，但是对于例如在末端安装有视觉模块的机器手臂，往往由于需要精密操作，是需要精确已知基座与视觉模块间精确的相对位置关系。

影响可动视觉系统的摄像元件与基座的精确位置获取主要有两大问题，一是在任意自由度发生运动后如何得到摄像元件的位置变化，还有一个问题就是受限于现有机械加工水平以及安装工艺的限制，无法保证各个运动自由度机械转轴严格精准的按照设计要求运动，同时摄像部件与机械转轴的相对位置也难以保证，这就给直接计算可动视觉系统的摄像元件与基座的精确位置带来了很大的困难。

发明内容

为克服现有技术存在的问题，本发明提出了一种多自由度可动视觉系统的标定方法，通过事先标定出摄像元件与基座是如何受各个自由度运动影响的，来实现在多自由度可动视觉系统的实际使用过程中获取摄像元件与基座的精确相对位置。

本发明提及的一种多自由度可动视觉系统的标定方法，其中，所述多自由度可动视觉系统包括：摄像部件，所述摄像部件包括至少一个可获取连续图像的摄像元件；所述摄像部件有至少一个运动自由度且安装于基座；每个所述运 动自由度安装有可获取转动或平移信息的位置获取装置；计算部件，所述计算部件可计算处理图像信息以及各个运动自由度的运动信息；控制部件，所述控制部件可控制各个运动自由度的运动；所述标定方法包括：在所述摄像元件前方放置标定模板，驱动摄像元件在各个运动自由度下运动，使用摄像元件记录下若干包含标定模板特征的图像，同时记录下获取相应图像时的各个运动自由度的位置信息，使用计算部件计算出摄像元件与各个运动自由度的标定结果。

可选的，所述摄像部件例如可以是由一个电机串着一个电机，末端带有一个摄像元件，从而通过相串联的电机提供多个运动自由度，针对每个运动自由度主要是获取各自的转角信息，当然，对于采用线性马达并通过马达输出的平移来产生转动的情况，还可以获取平移信息。

可选的，所述标定方法具体包括以下步骤：1)记录基准位置处各运动自由度的位置信息；2)在摄像部件前方放置标定模板，依次使各个运动自由度发生若干次改变，分别采集图像与各运动自由度的位置信息；3)利用采集的图像与各运动自由度的位置信息使用标定算法计算出各运动自由度的标定结果。

完成标定过程后获得标定结果(包括基准位置信息、各运动自由度标定结果)，在实际应用中，结合获取的视觉系统各运动自由度位置信息，即可获取当前位置摄像元件相对于基准位置处的旋转平移关系。

在一具体实施方案中，本发明标定方法包括如下步骤：

(1)基准信息确定与获取：选择任意一个位置作为基准位置，记录下基准位置处各运动自由度位置信息{θ _Ia},a＝1...N，N为视觉系统运动自由度数目，a代表运动自由度序号，按照各个运动自由度连接顺序依次编号。

(2)运动轴标定：将标定模板固定放置于可动系统前方，保证摄像部件能够拍摄到完整的标定模板；然后使第a个运动轴转动若干次，每转动一次，让该运动轴所连接的摄像部件进行取图操作得到图片M _ai，同时记录下此时该运动轴的位置信息得到{M _ai,θ _ai1,...,θ _aiN}；利用多次转动得到图像序列(M _a1,M _a2,M _a3,...)。使用现有成熟的相机标定算法(例如张氏标定法)进行计算得 到拍摄的每张图片相对于标定模板位置的旋转和平移变换矩阵{R _aCi,T _aCi}，结合拍摄该图片时记录下的运动轴位置信息得到{R _aCi,T _aCi,θ _ai}，i＝1...P _a，P _a为系统在标定过程第a个运动轴转动取到的全部有效图片数目；将运动轴标定结果中运动轴相对于基准位置的转动角度{θ _ai1-θ _I1,...,θ _aiN-θ _IN},i＝1...P _a转化为旋转矩阵{R _B1i,...,R _BNi},i＝1...P _a，将上述结果代入本发明各个运动自由度转轴坐标系与摄像元件坐标系关系模型：

得到若干组等式，求解该组等式最优解{R _BCa,T _BCa},a＝1...N，R _BCa,T _BCa分别为第a个运动轴相对于摄像元件坐标系的旋转矩阵和平移矩阵，N为视觉系统运动自由度数目，R _Bai为第a个运动轴相对于基准位置的转动角度转化的旋转矩阵，R _aCi,T _aCi分别为第a个运动轴运动时拍摄的第i张图片图像坐标系相对于标定模板位置的旋转和平移变换矩阵，P _a为系统在标定过程第a个运动轴转动取到的全部有效图片数目。

(3)标定结果计算：(1)、(2)步骤得到了基准位置信息{θ _Ia},a＝1...N，和运动轴标定结果{R _BCa,T _BCa},a＝1...N；在可动系统摄像部件发生运动后，各个运动自由度得到位置信息(θ _p1,θ _p2,θ _p3,...,θ _pN)，则各个运动自由度的转动角度为(θ _p1-θ _I1,θ _p2-θ _I2,θ _p3-θ _I3,...,θ _pN-θ _IN)，转化为旋转矩阵(R _p1,R _p2,R _p3,...,R _pN)，代入本发明运动自由度转轴坐标系与摄像元件坐标系关系模型(即下式)得到运动后的外参结果：

所得R′和T′分别是可动系统发生运动后的摄像机相对基准位置时的旋转矩阵和平移矩阵结果，R _BCa,T _BCa分别为第a个运动轴相对于摄像元件坐标系的旋转 矩阵和平移矩阵，N为视觉系统运动自由度数目，R _pa为第a个运动轴相对于基准位置的转动角度转化的旋转矩阵。

本发明中，所述摄像部件用以获取连续图像；所述摄像部件有至少一个运动自由度，经由各个运动自由度连接固定于基座；所述每个运动自由度安装有可获取转动或平移信息的位置获取装置。所述摄像部件有至少一个摄像元和至少一个镜头组。

本发明中，所述标定模板为可提取固定特征并已知特征相对位置信息的标定模板。例如人工制作的各类2D、3D靶标，或者一些固定的自然场景，要求能够通过图像处理算法提取固定的特征信息，并且可以获知这些特征信息之间的相对位置关系。一般在实际应用中，为提高标定结果精度和降低标定过程难度，多使用精密加工的3D立体靶标或者2D平面靶标作为标定模板。

本发明中，所述标定结果是指各转轴相对于摄像元件光心的旋转矩阵和平移矩阵。所述标定结果结合各个运动自由度位置信息即可计算出实际应用中需要的摄像元件与基准位置处的相对位置关系，即旋转矩阵与平移矩阵。

现有技术中，由于在可动系统工作时摄像机会发生运动且各个轴由于加工组装带来的误差影响，无法通过直接计算来获取摄像机精确的变化的外参信息。而本发明提供的多自由度可动视觉系统的标定方法，即使摄像机部件位置发生了变化且各个轴、摄像部件的相对位置由于机械加工、组装等环节导致的存在误差的情况下，也能根据各个轴上的位置记录组件实时计算摄像部件与基准位置处的相对位置关系的标定算法。且，还可由此衍生出可得到摄像部件处于任意两处位置之间的精确的旋转与平移关系。本发明使用了一些现有技术中基于3D立体靶标的相机标定算法或基于2D平面靶标的相机标定算法等作为标定的基础。

与现有技术相比，本发明有益效果包括：解决了即使在可动系统中摄像元件发生运动的情形下，仍然可以通过计算获取摄像元件相对于基准位置的精确旋转平移参数信息；本发明提出的方法具有良好的计算实时性，即在一次标定之后，后续可通过各个运动自由度的位置信息进行计算，实时获取摄像元件位 置变化的参数信息；本发明能显著有效地消除在机械加工、组装过程中带来的与理论设计存在一些不可抗力的误差问题。

附图说明

图1是本发明多自由度可动视觉系统的示意框图。

图2A是本发明多自由度可动视觉系统的标定流程图；

图2B是本发明多自由度可动视觉系统的实时外参计算流程图。

图3是本发明具体实施例中所述标定算法用到的棋盘格标定模板图。

图4是本发明中各个运动自由度的摄像机坐标系与转轴坐标系示意图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。为了简洁，在描述本发明实施例的各流程、条件、实验方法等时，省略了一些本领域已知的内容，本发明对此类内容没有特别的限制。以下将结合图1～图4对本发明多自由度可动视觉系统的标定方法作进一步的详细描述，需要说明的是本发明的标定方法可应用于具有任意数目的运动自由度的多自由度可动视觉系统，以下实施例仅为举例说明，而并非对本发明的限制。

实施例1

本发明实施例1以三自由度可动视觉系统为例详述本发明。

如图1所示，本发明多自由度可动视觉系统包括摄像部件、计算部件以及控制部件。所述计算部件与摄像部件信号连接，可根据摄像部件在各种位姿下获取的图像及相应的位姿信息标定出各个自由度的运动对摄像部件的影响。所述控制部件与所述摄像部件和计算部件信号连接，用于控制摄像部件在各种位姿下获取图像，以及控制所述计算部件进行标定运算。

本发明多自由度可动视觉系统的标定方法，如图2A所示，其标定步骤主要包括：

步骤S11、记录初始位置下各个运动自由度的位置信息以确定基准位置；

步骤S12、依次驱动各个自由度，使用摄像部件分别采集图像，并记录采集图像时相应各个运动自由度的位置信息；

步骤S13、利用计算部件计算出标定结果。

当标定完成后，可根据标定结果及各个运动自由度的位置信息精确计算出摄像部件相对于初始位置的位姿。如图2B所示，上述实际应用计算步骤主要包括：

步骤S21、获取多自由度可动视觉系统标定结果；

步骤S22、获取当前各个运动自由度的位置信息；

步骤S23、将步骤S21及S22获取的信息代入多自由度可动视觉系统外参求解模型计算出当前摄像部件相对于记录基准位置的旋转平移信息。

以一种三自由度的可动视觉系统来举例说明，该系统有三个运动自由度，依次定义为pitch、yaw、roll运动自由度，对应到空间直角坐标系中，pitch是围绕X轴旋转，yaw是围绕Y轴旋转，roll是围绕Z轴旋转。本实施例中，所述三个自由度通过三个单自由度运动元件提供，在其他实施例中，也可以通过一个单自由度加一个双自由度运动元件提供，还可以通过一个三自由度运动元件提供。优选的，三个所述运动元件之间刚性相连，使得其中一个自由度的运动不会对其他自由度的运动产生影响。优选的，可将提供pitch自由度的运动元件通过刚性连接方式固定在基座上，可在提供roll自由度的运动元件上连接一个或多个可以连续摄像的摄像机。上述三个自由度的运动各自通过一个电机驱动，每个所述电机均带有位置记录装置以获取电机的实时输出位置信息。在本实施例中，各电机的输出位置信息以角度值表示，具体的，用于驱动roll自由度(以下也称为第一自由度)运动的电机的输出位置信息表示为θ1，其代表摄像机的主轴相对于Z轴的旋转角度；用于驱动yaw自由度(以下也称为第二自由度)运动的电机的输出位置信息表示为θ2，其代表摄像机的主轴相对于Y轴的旋转角度；用于驱动pitch自由度(以下也称为第三自由度)运动的电机的输出位置信息表示为θ3，其代表摄像机的主轴相对于X轴的旋转角度。

标定方法包括以下步骤：

1)获取基准位置信息

保持标定模板在可动视觉系统的摄相机前方，保证摄相机能够拍摄到完整的标定模板，记录下此时三个电机的初始位置信息(θ _I1,θ _I2,θ _I3)，作为基准位置信息。

2)运动轴标定

保持标定模板的位置不变，依次驱动各个运动自由度，即当其中一个自由度发生变化时，另外两个自由度保持不变。先以第一自由度roll为例，每转动一次运动轴(对应第i位置)，使用摄相机在相应的位置下拍摄Q1个有效图像M _1ij，j＝1,2,…,Q1，同时记录下此时该运动轴的位置信息得到{M _1ij，θ _11i，θ _12i，θ _13i}，i＝1,2,…,P1，其中P1为第一自由度运动轴在标定过程中的转动次数。利用每个转动位置下得到的一组图像并使用与图3所示的平面棋盘格标定模板相应的标定算法(例如张正友标定算法)进行计算，得到各个转动位置下所拍摄的图像相对于标定模板的旋转和平移结果{R _1Ci,T _1Ci}，结合拍摄该图像时记录下的运动轴位置信息得到第一自由度标定中间结果{R _1Ci,T _1Ci,θ _11i,θ _12i,θ _13i}，i＝1...P ₁。重复上述过程以分别获取第二运动自由度yaw、第三运动自由度pitch的相关标定中间结果，并汇总为{R _aCi,T _aCi,θ _a1i,θ _a2i,θ _a3i}，i＝1...P _a,a＝1,2,3。

三自由度可动视觉系统在机械加工过程中无法保证光心在转轴上，也不能保证各转轴与摄像机坐标系中的相应坐标轴平行，需要通过转轴编码器的输出值来计算摄像机坐标系的位姿变换。而且对于一个刚体来说，摄像机主轴与各自由度转轴之间的相对位置关系保持不变。为了求解每个转轴与摄像机坐标系之间的位置关系，建立数学模型如图4所示，C{O _c-x _cy _cz _c}为摄像机坐标系(以下简称C系)，以摄像机坐标系光心O _c为起点，作垂线交roll自由度转轴l于点O _b并延长垂线作射线O _bx _b。以O _b为原点，O _bx _b为x轴，转轴为y轴，右手定则确定z轴建立转轴坐标系B{O _b-x _by _bz _b}(以下简称B系)。

设O _cO _b＝d(d为定值，由机械加工工艺决定)，则O _c在B系下的坐标为t＝(-d，0，0) ^T。设摄像机坐标系C相对于转轴坐标系B的旋转矩阵为R _BC，则对于空间中任意一点P在C系中的坐标PC与在B系中的坐标PB满足变换关系:P _B＝R _BCP _C+t，在齐次坐标下表示为：

即为所要标定得到的结果，其表示空间中任意一点P从B系变换到C系的变换矩阵。

当绕转轴转动θ角后，转轴坐标系B和摄像机坐标系C均变成新的坐标系B′和C′。绕转轴转动时，B系相当于绕z _b轴转动θ角到B′，则对同一点P，在B系中的坐标P _B和在B′系中的坐标P _B′满足：

其中

(根据旋转角度调整此值)

同样，对于摄像机坐标系，在转动θ角后得到新的摄像机坐标系C′。在标定过程中，可以通过固定的棋盘格计算摄像机坐标系的变换。设空间点P在棋盘格的世界坐标系中坐标为x _w，则在C系和C′系中计算出的棋盘格外参分别为T _CW和T _C′W，有P _C＝T _CWx _w，P _C′＝T _C′Wx _w，则

根据刚体的性质，B系和C系在转动过程中保持相对位置关系T _BC不变。同一个空间中的点在转动后的坐标系B′和C′中依然满足(1)式

由式(2)、(3)、(4)得，

该式中，

为转轴标定过程需要求解的量。

是每次转动根据 位置传感器输出的矩阵，

为每次转动过程中相机计算出来的矩阵T _C′C，通过每次转动计算出T _BC来标定转轴与摄像机坐标系的关系。

本发明需要对每个自由度进行独立标定，取一组数据{R _aCi,T _aCi,θ _a1i,θ _a2i,θ _a3i}，i＝1...P _a,a＝1...3，计算该组数据相对于基准位置电机转动角度为{θ _a1i-θ _I1,θ _a2i-θ _I2,θ _a3i-θ _I3}，i＝1...P _a,a＝1...3，计算其旋转矩阵得：

将其代入式(5)可得到一组方程：

全部数据代入式(7)可得到P组方程，求解该组方程得最优解{R _BCa,T _BCa},a＝1...3。

3)实时标定结果计算：整个标定结果有：基准位置信息(θ _I1,θ _I2,θ _I3)和运动轴标定结果{R _BCa,T _BCa},a＝1...3；在可动视觉系统摄像部件发生运动后，3个运动自由度得到位置信息(θ _p1,θ _p2,θ _p3)，则3个自由度的转动角度分别为(θ _p1-θ _I1,θ _p2-θ _I2,θ _p3-θ _I3)，转化为旋转矩阵(R _p1,R _p2,R _p3)，代入模型得到三自由度可动视觉系统运动后相对于基准相机位置的外参结果：

所得R′和T′分别是该可动三自由度视觉系统发生运动后的摄像机相对基准位置时的旋转矩阵和平移矩阵结果。

本发明提及的可动视觉系统标定方法并不限于上述说明的实施例，在不脱离本发明原理的情况下，还可以做各种变形与改进。本发明的保护内容不局限于以上实施例。在不背离本发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (6)

1. 一种多自由度可动视觉系统的标定方法，其特征在于，所述多自由度可动视觉系统包括：

   摄像部件，所述摄像部件包括至少一个可获取连续图像的摄像元件；所述摄像部件有至少一个运动自由度且安装于基座；每个所述运动自由度安装有可获取转动或平移信息的位置获取装置；

   计算部件，所述计算部件可计算处理图像信息以及各个运动自由度的运动信息；

   控制部件，所述控制部件可控制各个运动自由度的运动；

   所述标定方法包括：在所述摄像元件前方放置标定模板，驱动摄像元件在各个运动自由度下运动，使用摄像元件记录下若干包含标定模板特征的图像，同时记录下获取相应图像时的各个运动自由度的位置信息，使用计算部件计算出摄像元件与各个运动自由度的标定结果。
2. 如权利要求1所述的多自由度可动视觉系统的标定方法，其特征在于，所述标定方法具体包括以下步骤：

   1)记录基准位置处各运动自由度的位置信息；

   2)在摄像部件前方放置标定模板，依次使各个运动自由度发生若干次改变，分别采集图像与各运动自由度的位置信息；

   3)利用采集的图像与各运动自由度的位置信息使用标定算法计算出各运动自由度的标定结果。
3. 如权利要求1或2所述的多自由度可动视觉系统的标定方法，其特征在于，所述标定模板包括自然静态场景和人造的标准靶标中的一种，且所述自然静态场景作为标定模板必须能提供固定的图像特征和已知的图像特征间的位置信息，所述人造的标准靶标包括2D平面靶标、3D立体靶标中的至少一种。
4. 如权利要求1或2所述的多自由度可动视觉系统的标定方法，其特征在于，所述标定结果包括各个运动自由度的转轴相对于摄像元件坐标系的旋转矩 阵和平移矩阵。
5. 如权利要求1或2所述的多自由度可动视觉系统的标定方法，其特征在于，根据所述标定结果与各个运动自由度的当前位置信息，结合建立的各个运动自由度的转轴坐标系与摄像元件坐标系之间的关系模型即可计算出摄像元件的当前位置与基准位置之间的相对位置关系，所述相对位置关系由旋转矩阵与平移矩阵表示。
6. 如权利要求5所述的多自由度可动视觉系统的标定方法，其特征在于，所述关系模型为：

   

   

   其中R′和T′分别是摄像元件的当前位置相对于基准位置的旋转矩阵和平移矩阵，R _BCa,T _BCa分别为第a个运动自由度的转轴相对于摄像元件坐标系的旋转矩阵和平移矩阵，N为所述可动视觉系统的运动自由度数目，R _pa为第a个运动自由度的转轴相对于基准位置的转动角度转化的旋转矩阵。

Images