WO2020259365A1

WO2020259365A1 - 一种图像处理方法及装置、计算机可读存储介质

Info

Publication number: WO2020259365A1
Application number: PCT/CN2020/096549
Authority: WO
Inventors: 杨宇尘; 陈岩; 方攀; 金珂
Original assignee: Oppo广东移动通信有限公司
Priority date: 2019-06-27
Filing date: 2020-06-17
Publication date: 2020-12-30
Also published as: CN110335315A; CN110335315B

Abstract

一种图像处理方法及装置、计算机可读存储介质，能够提高图像处理的准确度，该方法可以包括：获取待处理的当前帧图像（S101）；从当前帧图像中提取当前帧图像的当前图像特征点，并基于当前图像特征点获取参考帧对应的参考特征点（S102）；基于第一预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第一匹配点对（S103）；将第一预设匹配阈值放大，得到第二预设匹配阈值，以及基于第一匹配点对，得到约束条件（S104）；在约束条件下，基于第二预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第二匹配点对（S105）；基于第二匹配点对，进行图像处理功能（S106）。

Description

一种图像处理方法及装置、计算机可读存储介质

相关申请的交叉引用

本申请基于申请号为201910570613.1、申请日为2019年06月27日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此以引入方式并入本申请。

技术领域

本申请涉及软件工程领域，尤其涉及一种图像处理方法及装置、计算机可读存储介质。

背景技术

目前，在即时定位与地图构建(SLAM，Simultaneous localization and mapping)领域中，通常使用恢复相对位姿，也就是两张图像的相机之间的几何关系的方式来进行重定位。常用的恢复相对位姿的方法为，将当前场景的图像特征与离线地图的图像特征进行暴力匹配，然后使用根据暴力匹配法得到的匹配点对，计算预先设置的基础矩阵或单应矩阵，将矩阵计算结果用来恢复两张图像之间的相对位姿。

在实际应用中，根据暴力匹配法得到的匹配点对经常出现匹配点对错误或者匹配点对数量过少的问题，因此根据暴力匹配法得到的匹配点对所计算出的基础矩阵或单应矩阵会不够准确，从而导致所恢复出的两张图像之间的相对位姿也存在较大误差，最终使得根据相对位姿恢复出的重定位位置准确度较低。进一步的，基础矩阵适用于恢复立体的场景，单应矩阵适用于恢复平面场景或近似平面的场景，如果预先设置的基础矩阵或单应矩阵与实际重定位时所处的场景类型不适合，也会导致根据预先设置的基础矩阵或单应矩阵所恢复出的相对位姿有较大的误差，最终使得根据相对位姿恢复出的重定位位置准确度较低。

发明内容

本申请实施例提供一种图像处理方法，能够提高图像处理的准确度，当图像处理功能为重定位功能时，最终提高重定位的准确度。

本申请的技术方案是这样实现的：

本申请实施例公开了一种图像处理方法，包括：

获取待处理的当前帧图像；

从所述当前帧图像中提取所述当前帧图像的当前图像特征点，并基于所述当前图像特征点获取参考帧对应的参考特征点；

基于第一预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第一匹配点对；

将所述第一预设匹配阈值放大，得到第二预设匹配阈值，以及基于所述第一匹配点对，得到约束条件；

在所述约束条件下，基于所述第二预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第二匹配点对；

基于所述第二匹配点对，进行图像处理功能。

本申请实施例提供一种图像处理装置，所述图像处理装置包括：

获取单元，配置为获取待处理的当前帧图像；

提取单元，配置为从所述当前帧图像中提取所述当前帧图像的当前图像特征点，并基于所述当前图像特征点获取参考帧对应的参考特征点；

匹配单元，配置为基于第一预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第一匹配点对；

计算单元，配置为将所述第一预设匹配阈值放大，得到第二预设匹配阈值，以及基于所述第一匹配点对，得到约束条件；

所述匹配单元，还配置为在所述约束条件下，基于所述第二预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第二匹配点对；

处理单元，配置为基于所述第二匹配点对，进行图像处理功能。

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像处理方法。

本申请实施例提供一种计算机可读存储介质，其上存储有可执行指令，应用于图像处理装置，该可执行指令被处理器执行时实现本申请实施例提供的图像处理方法。

本申请实施例公开了一种图像处理方法及装置、计算机可读存储介质，该方法包括：图像处理装置获取待处理的当前帧图像；图像处理装置从当前帧图像中提取当前帧图像的当前图像特征点，并基于当前图像特征点获取参考帧对应的参考特征点；图像处理装置基于第一预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第一匹配点对；图像处理装置将第一预设匹配阈值放大，得到第二预设匹配阈值，以及图像处理装置基于第一匹配点对，得到约束条件；在约束条件下，图像处理装置基于第二预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第二匹配点对；基于第二匹配点对，进行图像处理功能。采用上述方法实现方案，在进行图像匹配时，图像处理装置先根据一次匹配出的第一匹配点对计算出约束条件，再在约束条件下放大第一预设匹配阈值再匹配一次，从而拓展出更多更准确的第二匹配点对，最后图像处理装置根据第二匹配点对进行图像处理，从而提高了匹配点对的数量和匹配准确率，最终提高了图像处理的准确度，当图像处理功能为重定位功能时，能够提高重定位的准确度。

附图说明

图1为本申请实施例提供的一种图像处理方法流程图一；

图2为本申请实施例提供的一种图像处理方法流程图二；

图3为本申请实施例提供的一种图像处理装置的结构示意图一；

图4为本申请实施例提供的一种图像处理装置的结构示意图二。

具体实施方式

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种图像处理方法，如图1所示，该方法可以包括：

S101、获取待处理的当前帧图像。

本申请实施例提供的一种图像处理方法适用于SLAM系统的初始化和重定位场景，如增强现实技术(AR，Augmented Reality)重定位、自主移动机器人重定位、无人驾驶重定位等场景，也适用于图像的非刚体形变的识别和匹配，如非刚体形变后的物体与原始状态的物体的之间图像匹配等场景。

本申请实施例中，图像处理装置在进行图像处理时，首先要获取待处理的当前帧图像。

示例性的，当图像处理功能为重定位功能时，图像处理装置调用拍摄功能对当前所处位置的场景进行拍照，获得待处理的当前帧图像。

S102、从当前帧图像中提取当前帧图像的当前图像特征点，并基于当前图像特征点获取参考帧对应的参考特征点。

本申请实施例中，图像处理装置在获取到待处理的当前帧图像之后，图像处理装置先从当前帧图像中提取特征点，作为当前图像特征点，然后基于当前图像特征点，从参考图像帧中找到与当前图像特征点最匹配的参考帧，最后从参考帧中提取特征点作为参考特征点。

本申请实施例中，图像处理装置从获取的当前帧图像中，提取当前帧图像中能够有效反映图像本质特征及能够标识图像中物体的点，作为当前图像特征点。

本申请实施例中，图像处理装置从当前帧图像中提取当前图像特征点可使用FAST(Features from accelerated segment test)算法，也可以使用其他算法，具体的根据实际情况进行选择，本申请实施例不做具体的限定。

本申请实施例中，图像处理装置得到当前图像特征点之后，根据当前图像特征点，与参考图像帧进行匹配，找到与当前图像特征点最匹配的一帧参考图像帧，作为参考帧；图像处理装置从参考帧中获取特征点，作为参考特征点。

本申请实施例中，图像处理装置根据当前图像特征点，在参考图像帧中进行匹配时，可以根据当前图像特征点中的图像描述特征点计算出当前帧图像的词袋模型，再使用当前帧图像的词袋模型进行匹配，图像处理装置也可以采用其他的算法进行匹配，例如积聚算法(VLAD，vector of locally aggregated descriptors)、遍历法等，具体的根据实际情况进行选择，本申请实施例不做限定。

示例性的，当图像处理功能为重定位功能时，图像处理装置根据当前图像特征点中的图像描述特征点，计算出当前帧图像的词袋模型特征，根据当前帧图像的词袋模型特征，在预设地图特征库中找到和当前帧图像的词袋模型特征最匹配的一帧，将找到的这一帧预设场景地图作为重定位的参考帧。其中，预设地图特征库是在地图构建时，由图像处理装置从至少一个预设地图图像帧中提取出的特征点构成，每一个预设地图图像帧以预设地图特征点的形式存放在预设地图特征库中。

S103、基于第一预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第一匹配点对。

本申请实施例中，当图像处理装置从当前帧图像中提取当前帧图像的当前图像特征点，并基于当前图像特征点获取参考帧对应的参考特征点之后，图像处理装置将当前帧图像特征点和参考帧特征点进行匹配，将满足第一预设匹配阈值的当前帧图像特征点和参考帧特征点作为第一匹配点对。其中，每个第一匹配点对包含一个当前帧图像特征点和一个参考帧特征点，分别代表了同一个物体中的像素点在当前帧图像坐标系和参考帧图像坐标系中的位置坐标。

本申请实施例中，图像处理装置将当前图像特征点和参考特征点进行匹配时，可以使用暴力匹配法。也可以使用其他匹配算法，具体的根据实际情况进行选择，本申请实施例不做限定。

本申请实施例中，图像处理装置把当前图像特征点与参考特征点进行匹配，判断当前图像特征点与参考特征点的相似程度和显著程度是否满足第一预设匹配阈值，如果满足第一预设匹配阈值，说明当前图像特征点与参考特征点可能是同一个物体中同样部位的像素点，分别出现在当前帧图像和参考帧中的不同位置。因此图像处理装置将当前图像特征点与参考特征点确定为第一匹配点对，其中，第一匹配点对中包含了至少一对当前图像特征点与参考特征点的匹配点对。

S104、将第一预设匹配阈值放大，得到第二预设匹配阈值，以及基于第一匹配点对，得到约束条件。

本申请实施例中，图像处理装置基于第一预设匹配阈值将当前图像特征点与参考特征点进行匹配，在得到第一匹配点对之后，图像处理装置会放大第一预设匹配阈值，得到第二预设匹配阈值，并且，图像处理装置会根据第一匹配点对，计算出第一匹配点对满足的数学模型，作为约束条件。

本申请实施例中，由于根据第一预设匹配阈值得到的第一匹配点对的数量一般较少，且经常存在错误匹配点对，如果直接根据第一匹配点对计算数学模型来进行图像处理，会极大影响计算结果的精确性，从而影响图像处理的准确度。因此，图像处理装置将第一预设匹配阈值放大，得到第二预设匹配阈值，这样使用放宽后的阈值条件，来从当前图像特征点和参考特征点中得到更多的匹配点对。进一步的，为了保证匹配点对的准确率，图像处理装置会根据第一匹配点对，计算出第一匹配点对满足的数学模型，作为约束条件，来对放宽阈值条件后匹配上的匹配点对进行进一步的筛选。

本申请实施例中，当图像处理功能为重定位功能时，约束关系可以是三维场景中的同一个三维点在不同视角下的像点存在着的约束关系的代数表示，比如通过第一匹配点对可以计算出第一匹配点对对应的基础矩阵公式，作为约束条件；约束关系还可以是一个射影平面上的点映射到另一个射影平面上时像点之间的约束关系，比如通过第一匹配点对可以计算出第一匹配点对对应的单应矩阵公式，作为约束条件。

本申请实施例中，当图像处理功能为图像匹配、图像识别等功能时，约束关系还可以是其他形式的几何约束或数学模型，具体的根据实际情况进行选择，本申请实施例不做限定。

S105、在约束条件下，基于第二预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第二匹配点对。

本申请实施例中，图像处理装置将第一预设匹配阈值放大，得到第二预设匹配阈值，以及基于第一匹配点对，得到约束条件之后，图像处理装置会在第二预设阈值下，对当前图像特征点和参考特征点再进行一次匹配，由于第二预设阈值比第一匹配预设阈值的筛选范围更大，因此图像处理装置会得到比第一次匹配更多的匹配点对；然后，图像处理装置使用约束条件来验证二次匹配得到的全部匹配点对，将满足约束条件的匹配点对作为正确匹配点对，将不满足约束条件的匹配点对作为错误匹配点对，最后将全部正确匹配点对作为第二匹配点对。

本申请实施例中，由于二次匹配出的匹配点对中通常也包含第一匹配点对，因此图像处理装置也可以只验证二次匹配中的新增匹配点对是否满足约束条件，然后将满足约束条件的新增匹配点对和第一匹配点对作为第二匹配点对。

本申请实施例中，由于第二预设匹配阈值大于第一预设匹配阈值，因此图像处理装置使用第二预设匹配阈值可以匹配出更多的匹配点对，由于图像处理装置又使用了根据第一匹配点对计算出的约束条件，对根据第二预设匹配阈值得到的匹配点对进行了验证，从而保证了满足约束条件的二次匹配点对的准确匹配率不低于第一匹配点对，因此，图像处理装置可以得到更多更准确的第二匹配点对。

示例性的，图像处理装置在进行一次暴力匹配，得到了N对匹配点对的第一匹配点对之后，图像处理装置还可以基于第二预设匹配阈值对当前图像特征点和参考特征点再进行一次暴力匹配，得到N+M对匹配点对，然后图像处理装置可以只对M对匹配点对进行计算，确定出M对匹配点对中满足约束条件的M1对匹配点对，最后，图像处理装置将N+M1对匹配点对作为第二匹配点对。

本申请实施例中，为了验证本申请实施例的匹配结果的准确性，图像处理装置可以计算暴力匹配和本申请实施例分别对应的匹配结果的准确率和召回率。其中，准确率是所有匹配到的点对中，正确匹配点对占所有匹配点对的百分比。召回率是匹配点对中，正确匹配点对占所有点对的百分比。准确率越高，说明结果越准。召回率越高，说明找到的正确匹配越全。

示例性的，图像处理装置选取相同的10组图片，在相同参数下计算出暴力匹配的匹配结果和本申请实施例的匹配结果的准确率和召回率，结果如表1所示：

表1

由表1可知，本申请实施例的准确率和召回率都高于暴力匹配，因此，本申请实施例可以解决匹配点对过少，错误匹配点对较多的问题，从而提高匹配点对的数量和准确率，最终提高图像处理的准确度。

S106、基于第二匹配点对，进行图像处理功能。

本申请实施例中，图像处理装置得到第二匹配点对之后，图像处理装置可以基于第二匹配点对，进行相应的图像处理功能。当图像处理功能为重定位功能时，图像处理装置可以使用第二匹配点对，恢复出当前图像帧和参考帧之间的相对位姿，最后图像处理装置通过相对位姿实现重定位功能。

本申请实施例中，当图像处理功能为图像的非刚体形变的识别和匹配时，图像处理装置可以使用第二匹配点对，计算出非刚体形变物体与原始状态物体之间的图像匹配度，以识别出非刚体形变物体与原始状态物体之间的对应关系。

可以理解的是，图像处理装置可以通过先计算少量可靠匹配，再通过这些匹配估计数学模型，从而拓展出更多的匹配，同时保证了匹配点对的准确率，解决了匹配点对数量过少，存在较多错误匹配点对的问题，提高了匹配点对的数量和准确率，最终提高了图像处理的准确性。

在本申请的一些实施例中，本申请实施例还提供一种图像处理方法，如图2所示，该方法可以包括：

S201、图像处理装置获取待处理的当前帧图像。

S202、图像处理装置从当前帧图像中提取当前帧图像的当前图像特征点，并基于当前图像特征点获取参考帧对应的参考特征点。

本申请实施例中，图像处理装置获取待处理的当前帧图像之后，图像处理装置先从当前帧图像中提取特征点，作为当前图像特征点，然后基于当前图像特征点，从参考图像帧中找到与当前图像特征点最匹配的一帧，作为参考帧，最后从参考帧中提取特征点作为参考特征点。

本申请实施例中，图像处理装置从当前帧图像中提取当前帧图像的当前图像特征点具体可以包括：S2021至S2024。如下：

S2021、从当前帧图像中提取预设角点数量的表征角边界的第一像素点。

本申请实施例中，图像处理装置在获取待处理的当前帧图像之后，图像处理装置会从当前帧图像中提取角点作为第一像素点。

本申请实施例中，图像处理装置对当前帧图像中如桌角、物体的角等物体的像素点，即角点进行提取，因为图像中的角、边缘等处的像素点的辨识度高，在图像识别中更具有代表性。在本申请的一些实施例中，图像处理装置会提取150个角点。

S2022、图像处理装置对第一像素点的预设范围内的第二像素点提取特征，得到第一图像特征点。

本申请实施例中，图像处理装置从当前帧图像中提取预设角点数量的表征角边界的第一像素点之后，图像处理装置对第一像素点的预设范围内的第二像素点提取特征，得到第一图像特征点。

本申请实施例中，图像处理装置在第一像素点预设范围内的像素点中，提取特征，作为第一图像特征点，第一图像特征点用于对第一像素点进行描述。

本申请实施例中，特征点可以是二进制鲁棒特征(BRIEF，Binary robust independent elementary feature)，也可以是其他数据形式，具体的根据实际情况进行选择，本申请实施例不做具体的限定。

示例性的，图像处理装置在角点周围31*31范围内的像素点中提取二进制鲁棒特征BRIEF，作为第一图像特征点。

S2023、图像处理装置对第一像素点的预设范围外的第三像素点提取特征，得到第二图像特征点。

本申请实施例中，图像处理装置对第一像素点的预设范围内的第二像素点提取特征，得到第一图像特征点之后，图像处理装置对第一像素点的预设范围外的第三像素点提取特征，得到第二图像特征点。

本申请实施例中，图像处理装置还会在当前图像帧中额外提取更多的特征点，用以更好的表征当前图像帧。

示例性的，图像处理装置对纹理复杂的场景提取更多的特征点，而对一般的弱纹理场景，如白墙等场景提取较少的特征点，作为第二图像特征点。在本申请的一些实施例中，图像处理装置会提取500到1500个第二图像特征点。

S2024、图像处理装置将第一图像特征点和第二图像特征点作为当前图像特征点。

本申请实施例中，图像处理装置在对第一像素点的预设范围外的第三像素点提取特征，得到第二图像特征点之后，图像处理装置将第一图像特征点和第二图像特征点作为当前图像特征点。

本申请实施例中，当前图像特征点包含了第一特征点和第二特征点。

本申请实施例中，图像处理装置基于当前图像特征点获取参考帧对应的参考特征点具体可以包括：S2025至S2026。如下：

S2025、图像处理装置将当前图像特征点与预设地图特征库进行匹配，其中，预设地图特征库中存储有至少一帧预设地图图像帧的预设地图特征点。

本申请实施例中，图像处理装置在将第一图像特征点和第二图像特征点作为当前图像特征点之后，图像处理装置根据当前图像特征点在预设地图特征库寻找最匹配的一个预设地图图像帧，其中，预设地图特征库中存储有至少一帧预设地图图像帧中的预设地图特征点。

本申请实施例中，图像处理装置根据当前图像特征点，与预设地图特征库进行匹配时，可以采用当前帧图像的词袋模型特征匹配，也可以采用其他的算法，例如积聚算法VLAD(vector of locally aggregated descriptors)、遍历法等，具体的根据实际情况进行选择，本申请实施例不做限定。

本申请实施例中，当图像处理装置使用当前帧图像的词袋模型与预设地图特征库进行匹配时，首先，图像处理装置根据当前图像特征点中的第一图像特征点，计算出当前帧图像的词袋模型。其中，词袋模型特征是将当前帧图像的第一图像特征点用一个装有特定词的“袋子”表示的一种表达模型；之后，图像处理装置根据当前帧图像的词袋模型，与预设地图特征库中的每一帧预设地图图像帧包含的预设地图特征点进行对比。

本申请实施例中，图像处理装置在将当前图像特征点与预设地图特征库进行匹配时，可以将当前图像特征点与预设地图图像帧进行匹配，也可以将当前图像特征点与预设地图图像帧中预设的关键帧进行匹配，具体的根据实际情况进行选择，本申请实施例不做具体的限定。

S2026、图像处理装置将预设地图特征库中与当前图像特征点最匹配的预设地图图像帧作为参考帧，将参考帧中包含的预设地图特征点，作为参考特征点。

本申请实施例中，图像处理装置在图像处理装置将当前图像特征点与预设地图特征库进行匹配之后，图像处理装置找到与当前图像特征点最匹配的预设地图图像帧，作为参考帧；图像处理装置找到参考帧之后，图像处理装置获取参考帧中包含的预设地图特征点，作为参考特征点。

本申请实施例中，预设地图特征点是在地图构建时，由图像处理装置从至少一个预设地图图像帧中提取出的特征点构成，图像处理装置从预设地图图像帧中提取特征点的原理同步骤S2021至S2024。

S203、图像处理装置基于第一预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第一匹配点对。

本申请实施例中，图像处理装置从当前帧图像中提取当前帧图像的当前图像特征点，并基于当前图像特征点获取参考帧对应的参考特征点之后，图像处理装置基于第一预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第一匹配点对。

本申请实施例中，图像处理装置基于第一预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第一匹配点对具体可以包括：S2031至S2035。如下：

S2031、图像处理装置将当前图像特征点中的每个当前图像子特征点与参考特征点逐一进行组合，得到至少一个子特征点对。

本申请实施例中，图像处理装置在将预设地图特征库中与当前图像特征点最匹配的预设地图图像帧作为参考帧，将参考帧中包含的预设地图特征点，作为参考特征点之后，图像处理装置会以当前图像特征点中的一个当前图像子特征点，逐一对应每一个参考子特征点，进行一一组合，直至全部当前图像子特征点与全部参考子特征点组合完毕，图像处理装置得到至少一个子特征点对。

本申请实施例中，每个子特征点对包含一个当前帧子图像特征点和一个参考子特征点。

示例性的，当前图像特征点包含当前图像子特征点A1，A2，A3。图像处理装置将当前图像子特征点A1逐一与全部3个参考特征点B、C、D组合，可以得到三个子特征点对(A1，B)，(A1，C)，与(A1，D)。图像处理装置将全部当前图像特征点与全部参考特征点组合，还可以得到子特征点对(A2，B)，(A2，C)与(A2，D)，(A3，B)，(A3，C)与(A3，D)，图像处理装置将这9个子特征点对作为至少一个子特征点对。

在本申请的一些实施例中，只将当前帧图像特征点中的150个角点用于与参考特征点进行组合并用于与参考特征点的匹配。如果把500到1500个额外特征点也用于匹配，会造成额外的计算量，并且不会对第一匹配点对的数量和匹配准确率有很大的提升。

S2032、图像处理装置针对至少一个子特征点对，计算每个当前图像子特征点到参考特征点的汉明距离，得到至少一个汉明距离，至少一个汉明距离与至少一个子特征点对一一对应。

本申请实施例中，图像处理装置将当前图像特征点中的每个当前图像子特征点与参考特征点逐一进行组合，得到至少一个子特征点对之后，图像处理装置在每一个子特征点对中，计算一个当前图像子特征点到一个参考子特征点的汉明距离，直至至少一个子特征点对的汉明距离都计算完毕，图像处理装置得到至少一个汉明距离，至少一个汉明距离与至少一个子特征点对一一对应。

本申请实施例中，针对每个子特征点对，图像处理装置计算其中包含的当前图像子特征点与子参考特征点之间的汉明距离，得到每个子特征点对对应的一个汉明距离。

本申请实施例中，具体的，汉明距离代表两个二进制码直接的不同的位数。图像处理装置计算当前图像子特征点中的第二图像特征点与参考特征点对应的特征之间的二进制码直接的不同的位数，得到每一个子特征点对的汉明距离。

本申请实施例中，针对至少一个子特征点对，图像处理装置进行同样的计算，可以得到至少一个子特征点对的至少一个汉明距离。

S2033、图像处理装置从至少一个汉明距离中，确定出最小汉明距离和次小汉明距离。

本申请实施例中，图像处理装置针对至少一个子特征点对，计算每个当前图像子特征点到参考特征点的汉明距离，得到至少一个汉明距离之后，图像处理装置从至少一个汉明距离中，找到最小的汉明距离计算值和第二小的汉明距离计算值，作为最小汉明距离和次小汉明距离。

S2034、当最小汉明距离小于预设显著性阈值乘以次小汉明距离时，图像处理装置对比最小汉明距离与预设相似性阈值。

本申请实施例中，图像处理装置从至少一个汉明距离中，确定出最小汉明距离和次小汉明距离之后，图像处理装置判断最小汉明距离是否小于预设显著性阈值乘以次小汉明距离时，当最小汉明距离小于预设显著性阈值乘以次小汉明距离时，图像处理装置对比最小汉明距离与预设相似性阈值。

本申请实施例中，第一预设匹配阈值包含预设相似性阈值和预设显著性阈值。

本申请实施例中，第一预设匹配阈值包含预设相似性阈值和预设显著性阈值。当汉明距离小于预设相似性阈值时，说明这个汉明距离对应的当前图像子特征点与参考子特征点足够相似；当最小汉明距离小于预设显著性阈值乘以次小汉明距离时，说明这个汉明距离对应的当前图像子特征点与参考子特征点是很显著的匹配，没有其他类似的匹配。

示例性的，预设显著性阈值可以取值0.9，预设相似性阈值可以取值50，也可以根据实际情况选择其他阈值，本申请实施例不做限定。

本申请实施例中，图像处理装置计算预设显著性阈值乘以次小汉明距离，然后将计算结果与最小汉明距离对比，如果最小汉明距离仍然小于计算结果，说明最小汉明距离对应的当前图像子特征点和参考子特征点之间的匹配度比较显著，没有其他类似的匹配。

示例性的，最小汉明距离为40，次小汉明距离为50，图像处理装置计算预设显著性阈值乘以次小汉明距离距离，即50*0.9，得到计算结果45，图像处理装置将计算结果45与最小汉明距离40相比，最小汉明距离40仍然小于计算结果45，说明最小汉明距离40所对应的当前图像子特征点和参考子特征点之间匹配的显著性高。

本申请实施例中，图像处理装置在对汉明距离的显著性进行验证之后，还需要验证汉明距离的近似性。因此，当最小汉明距离小于预设显著性阈值乘以次小汉明距离时，图像处理装置需要进一步验证最小汉明距离是否小于等于预设相似性阈值。

S2035、当最小汉明距离小于等于预设相似性阈值时，图像处理装置从至少一个子特征点对中，确定出与最小汉明距离对应的每个当前图像子特征点对应的子特征点对，从而图像处理装置得到与当前图像特征点对应的第一匹配点对。

本申请实施例中，当最小汉明距离小于预设显著性阈值乘以次小汉明距离时，图像处理装置对比最小汉明距离与预设相似性阈值之后，图像处理装置还要判断最小汉明距离是否小于等于预设相似性阈值，当最小汉明距离小于等于预设相似性阈值时，图像处理装置从至少一个子特征点对中，确定出与最小汉明距离对应的子特征点对，从而图像处理装置得到与当前图像特征点对应的第一匹配点对。

本申请实施例中，如果最小汉明距离小于预设显著性阈值乘以次小汉明距离，并且最小汉明距离小于等于预设相似性阈值，说明最小汉明距离所对应的子特征点对同时满足预设相似性阈值和预设显著性阈值，因此最小汉明距离所对应的子特征点对是匹配的子特征点对。图像处理装置依次对每个子特征点对进行判断，从而在至少一个子特征点对中，图像处理装置可以确定出至少一个子特征点对对应的全部匹配的子特征点对，作为第一匹配点对。

示例性的，预设相似性阈值为50，预设显著性阈值为0.9。图像处理装置计算当前图像子特征点A到3个参考特征点B、C、D之间的汉明距离，分别得到A到B的汉明距离40、A到C的汉明距离50和A到D的汉明距离60。图像处理装置从中确定出最小汉明距离40和次小汉明距离50，由于50乘以预设显著性阈值0.9之后，仍然大于最小汉明距离40，因此说明A到B的汉明距离显著性明显高于A到C或A到D的汉明距离的显著性。图像处理装置再将最小汉明距离40与预设相似性阈值小于50进行比较，得到最小汉明距离40仍然小于预设相似性阈值，图像处理装置可以确定(A，B)的为匹配的子特征点对。图像处理装置可以继续在至少一个子特征点对中，确定出全部子特征点对中匹配的子特征点对，作为第一匹配点对。

S204、图像处理装置将第一预设匹配阈值放大，得到第二预设匹配阈值。

本申请实施例中，图像处理装置基于第一预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第一匹配点对之后，图像处理装置将第一预设匹配阈值放大，得到第二预设匹配阈值。

本申请实施例中，当最小汉明距离小于等于预设相似性阈值时，图像处理装置从至少一个子特征点对中，确定出与最小汉明距离对应的每个当前图像子特征点对应的子特征点对，从而得到与当前图像特征点对应的第一匹配点对之后，图像处理装置将第一预设匹配阈值中的预设相似性阈值和预设显著性阈值放大，得到第二预设匹配阈值。

示例性的，图像处理装置将第一预设匹配阈值中的预设相似性阈值放大到100，将第一预设匹配阈值中的预设显著性阈值放大到0.95，图像处理装置将预设相似性阈值100和预设显著性阈值0.95作为第二预设匹配阈值。

S205、图像处理装置获取至少一个预设初始约束条件。

本申请实施例中，图像处理装置将第一预设匹配阈值放大，得到第二预设匹配阈值之后，图像处理装置就要根据至少一个预设初始约束条件来进行约束条件的计算，图像处理装置可以根据图像处理功能的不同获取至少一个预设初始条件。

本申请实施例中，图像处理装置将第一预设匹配阈值放大，得到第二预设匹配阈值是为了得到更多的匹配点对，为了进一步保证得到的匹配点对的正确性，图像处理装置还需要计算出第一匹配点对之间满足的约束条件，来对二次匹配出的匹配点对是否满足同样的约束条件进行验证，而计算约束条件首先需要获取预设初始约束条件。

本申请实施例中，根据图像处理功能的不同，图像处理装置需要获取至少一个预设初始约束条件。

示例性的，当图像处理功能为重定位时，图像处理装置可以以基础矩阵和单应矩阵的矩阵公式作为预设初始约束条件。

S206、图像处理装置使用第一匹配点对，对至少一个预设初始约束条件进行计算，得到至少一个子约束条件。

本申请实施例中，图像处理装置获取至少一个预设初始约束条件之后，图像处理装置使用第一匹配点对，对至少一个预设初始约束条件进行计算，得到至少一个子约束条件。

本申请实施例中，图像处理装置使用第一匹配点对，对至少一个预设初始约束条件进行计算，得到至少一个子约束条件的步骤具体可以包括：S2061至S2063。如下：

S2061、图像处理装置针对每个预设初始约束条件，从第一匹配点对中，选取预设个数的第一匹配点对进行组合，重复预设次数，得到与预设次数的数量相等的第一匹配点对组合，其中，第一匹配点对组合中的每个组合包含预设个数个第一匹配点对。

本申请实施例中，图像处理装置获取至少一个预设初始约束条件之后，图像处理装置为了根据预设初始约束条件进行计算，会从第一匹配点对中，选取预设个数个第一匹配点对进行组合，重复预设次数，得到与预设次数的数量相等的第一匹配点对组合。

示例性的，当预设初始约束条件为基础矩阵计算公式时，需要至少8对匹配点对作为计算参数，因此图像处理装置在第一匹配点对中，随机选取8对第一匹配点对进行组合，用于计算基础矩阵；为了提高计算精度，降低误差，图像处理装置还可以继续在第一匹配点对中随机选取8对匹配点对，重复100次，图像处理装置可得到100组随机选出的第一匹配点对组合，每个组合包含8对匹配点对。

示例性的，当预设初始约束条件为基础矩阵计算公式时，需要至少4对匹配点对作为计算参数，因此图像处理装置在第一匹配点对中，随机选取4对第一匹配点对进行组合，用于计算单应矩阵；为了提高计算精度，降低误差，图像处理装置还可以继续在第一匹配点对中随机选取4对匹配点对，重复100次，图像处理装置可得到100组随机选出的第一匹配点对组合，每个组合包含4对匹配点对。

S2062、图像处理装置使用第一匹配点对组合中的每个组合，对每个预设初始约束条件进行计算，得到每个预设初始约束条件对应的预设次数个子约束条件，作为每个预设初始约束条件的最终子约束条件。

本申请实施例中，图像处理装置针对每个预设初始约束条件，从第一匹配点对中，选取预设个数的第一匹配点对进行组合，重复预设次数，得到与预设次数的数量相等的第一匹配点对组合之后，图像处理装置使用第一匹配点对组合中的每个组合，对每个预设初始约束条件进行计算，其中，一个第一匹配点对组合要分别对每个不同的预设初始条件计算一次，因此图像处理装置根据预设次数个第一匹配点对组合，可以得到每个预设初始约束条件分别对应的预设次数个子约束条件，作为每个预设初始约束条件的最终子约束条件。

本申请实施例中，当预设初始条件为基础矩阵计算公式时，图像处理装置使用第一匹配点对组合，计算基础矩阵的方法为：

示例性的，基础矩阵计算公式为：

F＝K ^-TEK ^-1 (1)

在(1)中，E为本质矩阵，可以通过第一匹配点对组合计算得出，K为相机的内参矩阵，上标 _T代表对矩阵进行转置，K ^-T代表对内参矩阵转置并求逆，K ^-1代表对内参矩阵求逆。其中，K可以表示为：

其中，f _x和f _y分别为相机在x和y方向上的焦距，c _x和c _y分别为图像中心到图像坐标原点的x，y坐标，单位为像素。

本申请实施例中，由(2)可知，相机内参矩阵可以根据相机参数直接确定，即在公式(1)中，K是已知的参数，图像处理装置需要通过第一匹配点对组合计算出本质矩阵E，然后将已知参数的E和K代入根据基础矩阵计算公式(1)中，将E和K已知的基础矩阵计算公式(1)作为子约束条件。

本申请实施例中，图像处理装置通过第一匹配点对组合中点的坐标计算本质矩阵E的方法为：

根据极线约束公式：

其中，x ₁和x ₂为在一个第一匹配点对组合中，一对匹配点对的归一化三维坐标x ₁＝[u ₁,v ₁,1] ^T，x ₂＝[u ₂,v ₂,1] ^T，图像处理装置将x ₁和x ₂代入公式(3)，可以得到：

其中，e ₁到e ₉代表将本质矩阵E写为3*3矩阵时每个矩阵元素的值。图像处理装置为了求解(4)中e ₁到e ₉的值，可以将矩阵E展开变形为e，以便列方程求解，从而得到：

e＝[e ₁ e ₂ e ₃ e ₄ e ₅ e ₆ e ₇ e ₈ e ₉] (5)

图像处理装置将公式(5)，代入公式(4)，并将公式(4)中的坐标点相乘，图像处理装置可以得到根据一对匹配点对列出的一个方程，如(6)所示：

[u ₁u ₂ u ₁v ₂ u ₁ v ₁u ₂ v ₁v ₂ v ₁ u ₂ v ₂ 1]·e＝0 (6)

以此类推，一个第一匹配点对组合中有8对匹配点对，图像处理装置可以得到关于本质矩阵的8个方程，如(7)所示：

由于极线约束公式(3)中，等式两边乘上任意实数，等式都成立，说明本质矩阵E具有尺度等价性。也就是说本质矩阵E中缺少尺度信息。也就是说，本质矩阵E中包含的9个未知数可以由8个方程得到。因此，图像处理装置可以通过8对第一匹配点对求解出一个本质矩阵E，即图像处理装置可以通过一组匹配点对求解出一个本质矩阵E。

本申请实施例中，当预设初始约束条件为基础矩阵公式时，图像处理装置使用预设次数个第一匹配点对组合，对基础矩阵计算预设次数次，得到预设次数个本质矩阵E，图像处理装置再将计算出的本质矩阵E代入预设初始条件即公式(1)，可以得到预设次数个不同参数E的基础矩阵计算公式F＝K ^-TEK ^-1，图像处理装置将预设次数个不同参数E的基础矩阵计算公式作为预设初始条件为基础矩阵公式所对应的最终子约束条件。

本申请实施例中，当预设初始条件为单应矩阵计算公式时，图像处理装置使用第一匹配点对组合，计算单应矩阵的方法为：

单应矩阵计算公式为：

p ₂＝Hp ₁ (8)

其中，H代表单应矩阵，p ₁和p ₂为第一匹配点对组合中包含的一对匹配点对，p ₁代表当前帧图像像素坐标系下的坐标p ₁＝(u ₁,v ₁，1)，p ₂代表参考帧的像素坐标系下的坐标p ₂＝(u ₂,v ₂，1)。

图像处理装置将p ₁和p ₂的像素坐标代入单应矩阵的计算公式(8)，展开可得到：

在(9)中，h ₁至h ₉代表将单应矩阵写为3*3矩阵时每个矩阵元素的值，s代表非零因子。由于矩阵的第三行乘以p ₁为1，即h ₇u ₁+h ₈v ₁+h ₉＝1，因此需要通过非零因子s使等式成立。在本申请的一些实施例中，图像处理装置通过s使h ₉＝1，再通过(9)去除这个非零因子，可得：

整理可得：

h ₁u ₁+h ₂v ₁+h ₃-h ₇u ₁u ₂-h ₈v ₁u ₂＝u ₂ (12)

h ₄u ₁+h ₅v ₁+h ₆-h ₇u ₁v ₂-h ₈v ₁v ₂＝v ₂ (13)

由(12)和(13)可知，图像处理装置根据1对匹配点对，可以得到2个计算单应矩阵H的约束方程。图像处理装置将单应矩阵H作为向量展开：

h＝[h ₁ h ₂ h ₃ h ₄ h ₅ h ₆ h ₇ h ₈ h ₉] (14)

h ₉＝1 (15)

以此类推，一个第一匹配点对组合中有4对匹配点对，图像处理装置可以通过4对第一匹配点对得到关于单应矩阵的8个方程，其中h ₉的值已知等于1。这样，图像处理装置可以通过求解线性方程组得到单应矩阵，图像处理装置再将已知参数H的p ₂＝Hp ₁公式作为一个子约束条件，即图像处理装置可以通过一组第一匹配点对得到一个已知参数H的p ₂＝Hp ₁公式作为一个子约束条件。

本申请实施例中，求解线性方程组的计算方式通常使用直接线性变换法(DLT，Direct Linear Transform)，也可以根据实际情况使用其他方法，本申请实施例不做具体的限定。

本申请实施例中，当预设初始约束条件为单应矩阵公式时，图像处理装置使用预设次数个第一匹配点对组合，对单应矩阵计算预设次数次，得到预设次数个单应矩阵H，图像处理装置将计算出的预设次数个单应矩阵H代入单应矩阵计算公式p ₂＝Hp ₁，可以得到预设次数个不同参数H单应矩阵计算公式，图像处理装置将预设次数个不同参数H的单应矩阵计算公式作为预设初始条件为单应矩阵公式所对应的最终子约束条件。

S2063、图像处理装置将至少一个预设初始约束条件中，每个预设初始约束条件的最终子约束条件确定为至少一个子约束条件。

本申请实施例中，图像处理装置使用第一匹配点对组合中的每个组合，对每个预设初始约束条件进行计算，得到每个预设初始约束条件对应的预设次数个子约束条件，作为每个预设初始约束条件的最终子约束条件之后，图像处理装置将至少一个预设初始约束条件中，每个预设初始约束条件对应的最终子约束条件共同作为至少一个子约束条件。

示例性的，图像处理装置以基础矩阵计算公式为预设初始条件，根据100组第一匹配点对组合进行计算，得到了100个不同已知参数的基础矩阵公式作为预设初始条件为基础矩阵对应的100个子约束条件；图像处理装置又以单应矩阵计算公式为预设初始条件，根据100组第一匹配点对组合进行计算，得到了100 个不同已知参数的单应矩阵公式作为预设初始条件为单应矩阵对应的100个子约束条件；图像处理装置将这200个子约束条件共同作为至少一个预设初始条件对应的至少一个子约束条件。

S207、图像处理装置基于第一匹配点对中的每个第三特征点的三维坐标和至少一个子约束条件，确定出至少一个第三映射值。

本申请实施例中，图像处理装置使用第一匹配点对，对至少一个预设初始约束条件进行计算，得到至少一个子约束条件之后，图像处理装置根据第一匹配点对中的每个第三特征点的三维坐标和每个不同已知参数的子约束条件，确定出至少一个第三映射值。

本申请实施例中，图像处理装置会使用第一匹配点对中的每个当前图像特征点与对应的参考特征点的三维坐标，根据至少一个子约束条件中的一个已知参数的基础矩阵公式或已知参数的单应矩阵公式，得出对应的基础矩阵或单应矩阵的值，作为第三映射值。

本申请实施例中，图像处理装置对至少一个子约束条件中的全部子约束条件进行计算直至处理完成，图像处理装置可以确定出至少一个基础矩阵和单应矩阵的值，作为至少一个第三映射值。

S208、图像处理装置基于至少一个第三映射值，确定出至少一个第三匹配误差。

本申请实施例中，图像处理装置在基于第一匹配点对中的每个第三特征点的三维坐标和至少一个子约束条件，确定出至少一个第三映射值之后，图像处理装置基于至少一个第三映射值，根据误差计算公式，计算出第一匹配点对在第三映射值作用下的误差，作为至少一个第三匹配误差。

本申请实施例中，当第三映射值为基础矩阵对应的第三映射值时，图像处理装置计算一个第一匹配点对组合在基础矩阵作用下的误差，可以根据公式(16)：

在(16)中，

代表对坐标p ₁＝(u ₁,v ₁，1)进行转置，F代表基础矩阵，F在这里为已知的第三映射值，图像处理装置根据公式(16)计算相对误差，可得：

在(17)中，a ₁，b ₁和c ₁为未知的中间参数，图像处理装置根据公式(17)求得a ₁，b ₁和c ₁之后，图像处理装置根据误差计算公式(18)计算出error的值：

其中，根据公式(18)所计算出的error的值代表匹配点对在基础矩阵作用下的误差，图像处理装置将一组匹配点对在在一个基础矩阵对应的第三映射值作用下的误差作为一个第三匹配误差。

本申请实施例中，当第三映射值为单应矩阵对应的第三映射值时，图像处理装置计算一个第一匹配点对组合在单应矩阵作用下的误差，可以根据定义：

p ₂＝Hp ₁ (19)

图像处理装置根据公式(19)计算相对误差，可得：

在(20)和(21)中，u' ₂和v' ₂为未知的中间参数，图像处理装置求得u' ₂和v' ₂之后，图像处理装置使用单应矩阵误差计算公式(22)，计算出error的值：

error＝(u ₂-u' ₂) ²+(v ₂-v' ₂) ² (22)

其中，根据公式(22)所计算出的error的值代表匹配点对在单应矩阵作用下的误差，图像处理装置将一组匹配点对在一个单应矩阵对应的第三映射值作用下的误差也作为一个第三匹配误差。

本申请实施例中，图像处理装置以相同的方法，基于至少一个第三映射值，可以确定出至少一个第一匹配点对组合中的每个组合在至少一个第三映射值作用下的误差，作为至少一个第三匹配误差。

S209、图像处理装置基于至少一个第三匹配误差，确定出至少一个子约束条件对应的小于等于预设误差阈值的第一匹配点对，作为正确匹配点对。

本申请实施例中，图像处理装置在基于至少一个第三映射值，确定出至少一个第三匹配误差之后，图像处理装置基于至少一个第三匹配误差，根据预设误差阈值进行筛选，确定出至少一个子约束条件对应的小于等于预设误差阈值的第一匹配点对，作为正确匹配点对。

本申请实施例中，当error小于等于预设误差阈值时，图像处理装置确认对应的第一匹配点对为正确匹配点对，当error大于预设误差阈值时，图像处理装置确认对应的第一匹配点对为错误匹配点对。

本申请实施例中，图像处理装置分别针对至少一个子约束条件中的每个子约束条件进行第三匹配误差的验证，得到每个子约束条件对应的正确匹配点对。

S210、图像处理装置从至少一个预设初始约束条件中，分别选取包含正确匹配点对最多的一个子约束条件，作为每个至少一个预设初始约束条件分别对应的至少一个中间子约束条件。

本申请实施例中，图像处理装置在基于至少一个第三匹配误差，确定出至少一个子约束条件对应的小于等于预设误差阈值的第一匹配点对，作为正确匹配点对之后，图像处理装置从至少一个预设初始约束条件中，分别选取每个预设初始约束条件包含正确匹配点对最多的一个子约束条件，作为每个至少一个预设初始约束条件分别对应的至少一个中间子约束条件。

本申请实施例中，图像处理装置得到每个子约束条件对应的正确匹配点对之后，图像处理装置在每个预设初始约束条件下，统计该预设初始条件对应的至少一个子约束条件中个，包含正确匹配点对最多的一个子约束条件，作为中间子约束条件。图像处理装置对至少一个预设初始约束条件进行统计，得到至少一个中间子约束条件。

示例性的，图像处理装置对基础矩阵公式下的100个基础矩阵子约束条件进行统计，得到对应正确匹配点对最多的一个基础矩阵子约束条件，作为基础矩阵公式对应的中间子约束条件，图像处理装置对单应矩阵公式下的100个单应矩阵子约束条件进行统计，得到对应正确匹配点对最多的一个单应矩阵子约束条件，作为单应矩阵公式对应的中间子约束条件。图像处理装置将基础矩阵公式对应的中间子约束条件和单应矩阵公式对应的中间子约束条件作为至少一个中间子约束条件。

S211、图像处理装置从至少一个中间子约束条件中，选择包含正确匹配点对最多的中间子约束条件，作为约束条件。

本申请实施例中，图像处理装置从至少一个预设初始约束条件中，分别选取包含正确匹配点对最多的一个子约束条件，作为每个至少一个预设初始约束条件分别对应的至少一个中间子约束条件之后，图像处理装置从至少一个中间子约束条件中，选择包含正确匹配点对最多的中间子约束条件，作为约束条件。

示例性的，图像处理装置在100个基础矩阵子约束条件中，找到包含正确匹配点对最多的一个基础矩阵子约束条件F ₁＝K ^-TE ₁K ^-1，作为基础矩阵公式对应的中间子约束条件；图像处理装置在100个单应矩阵子约束条件中，找到包含正确匹配点对最多的一个单应矩阵子约束条件p ₂＝H ₁p ₁，作为单应矩阵公式对应的中间子约束条件；图像处理装置再将F ₁＝K ^-TE ₁K ^-1和p ₂＝H ₁p ₁进行比较，假如F ₁＝K ^-TE ₁K ^-1中的正确匹配点对多于p ₂＝H ₁p ₁中的正确匹配点对，图像处理装置将基础矩阵子约束条件F ₁＝K ^-TE ₁K ^-1作为约束条件。

S212、图像处理装置基于第二预设匹配阈值将图像特征点与参考特征点进行匹配，得到中间匹配点对。

本申请实施例中，图像处理装置从至少一个中间子约束条件中，选择包含正确匹配点对最多的中间子约束条件，作为约束条件之后，图像处理装置放大后的第二预设匹配阈值将图像特征点与参考特征点进行匹配，由于阈值被放大，因此图像处理装置会得到更多的匹配点对，图像处理装置将得到的二次匹配得到的匹配点对作为中间匹配点对。

S213、图像处理装置从中间匹配点对中，筛选出满足约束条件的第二匹配点对。

本申请实施例中，图像处理装置基于第二预设匹配阈值将图像特征点与参考特征点进行匹配，得到中间匹配点对之后，图像处理装置从中间匹配点对中，根据约束条件，筛选出满足约束条件的第二匹配点对。

本申请实施例中，图像处理装置从中间匹配点对中，筛选出满足约束条件的第二匹配点对具体包括：

图像处理装置基于中间匹配点对中的每个第一特征点的三维坐标和约束条件，确定出第一映射值；图像处理装置基于第一映射值，确定出第一匹配误差；图像处理装置基于第一匹配误差，确定出小于等于预设误差阈值的第二匹配点对。

本申请实施例中，图像处理装置基于第二预设匹配阈值将图像特征点与参考特征点进行匹配，得到中间匹配点对之后，图像处理装置基于中间匹配点对中的每个第一特征点的三维坐标和约束条件，确定出第一映射值。

本申请实施例中，图像处理装置将中间匹配点对中的图像特征点与参考特征点作为第一特征点，使用第一特征点的三维坐标，和步骤S211中最终得到的约束条件，计算出约束条件的计算结果，作为第一映射值。

示例性的，图像处理装置得到了基础矩阵计算公式作为约束条件，当图像处理装置得到中间匹配点对时，图像处理装置使用中间匹配点对中的每个第一特征点的三维坐标，根据步骤S2062中的方法计算出基础矩阵计算公式对应的基础矩阵计算结果，图像处理装置将根据第二匹配点对计算出的基础矩阵计算结果作为第一映射值。

本申请实施例中，图像处理装置基于中间匹配点对中的每个第一特征点的三维坐标和约束条件，确定出第一映射值之后，图像处理装置基于第一映射值，确定出第一匹配误差。

本申请实施例中，基于第一映射值，确定出第一匹配误差的原理与S208相同。

本申请实施例中，图像处理装置基于第一映射值，确定出第一匹配误差之后，图像处理装置基于第一匹配误差，确定出小于等于预设误差阈值的第二匹配点对。

本申请实施例中基于第一匹配误差，确定出小于等于预设误差阈值的第二匹配点对的原理与S209相同。

在实际应用中，由于二次匹配出的中间匹配点对通常包含了第一匹配点对，因此，图像处理装置从中间匹配点对中，筛选出满足约束条件的第二匹配点对的过程还可以是：

图像处理装置从中间匹配点对中，筛选出除第一匹配点对之外的子匹配点对；图像处理装置基于子匹配点对中的每个第二特征点的三维坐标和约束条件，确定出第二映射值；图像处理装置基于第二映射值，确定出第二匹配误差；图像处理装置基于第二匹配误差，确定出小于等于预设误差阈值的最终子匹配点对；图像处理装置将第一匹配点对和最终子匹配点对作为第二匹配点对。

本申请实施例中，图像处理装置基于第二预设匹配阈值将图像特征点与参考特征点进行匹配，得到中间匹配点对之后，图像处理装置从中间匹配点对中，筛选出除第一匹配点对之外的子匹配点对。

本申请实施例中，图像处理装置筛选出除第一匹配点对之外的子匹配点对，得到二次匹配新增的匹配点对，作为子匹配点对。图像处理装置只针对子匹配点对进行处理，可以减少计算量。

本申请实施例中，图像处理装置基于子匹配点对中的每个第二特征点的三维坐标和约束条件，确定出第二映射值的原理与步骤S2062相同。

本申请实施例中，图像处理装置基于第二映射值，确定出第二匹配误差的原理与步骤S208相同。

本申请实施例中，图像处理装置基于第二映射值，确定出第二匹配误差之后，图像处理装置基于第二匹配误差，确定出小于等于预设误差阈值的最终子匹配点对。

本申请实施例中，图像处理装置基于第二匹配误差，确定出小于等于预设误差阈值的最终子匹配点对的原理与步骤S209相同。

本申请实施例中，图像处理装置基于第二匹配误差，确定出小于等于预设误差阈值的最终子匹配点对之后，图像处理装置将第一匹配点对和最终子匹配点对作为第二匹配点对。

可以理解的是，本申请实施例中，由于放大汉明距离阈值和显著性阈值后，又对当前帧图像的特征点和地图参考帧的特征点进行了一次匹配，因此图像处理装置会得到更多的匹配点对，图像处理装置使用第一次匹配计算出的约束条件，再对放大阈值二次匹配出的匹配点对进行验证，保证了匹配点对的准确性，从而解决了匹配点对数量过少和错误的匹配点对较多的问题，得到了更多更准确的匹配点对。

S214、当图像处理功能为重定位功能时，根据第二匹配点对，恢复出至少一个相对位姿信息。

本申请实施例中，图像处理装置从中间匹配点对中，筛选出满足约束条件的第二匹配点对之后，当图像处理功能为重定位功能时，图像处理装置根据第二匹配点对，以及约束条件与相机位姿之间预设的对应关系，恢复出至少一个相对位姿信息。

本申请实施例中，图像处理装置根据第二匹配点对，恢复出至少一个相对位姿信息具体包括：S2141至S2142。如下：

S2141、图像处理装置根据预设约束条件与相机位姿之间的对应关系，以及第二匹配点对，计算出第一拍摄坐标系与第二拍摄坐标系下的至少一个平移量和至少一个旋转量。

本申请实施例中，当约束条件是基础矩阵计算公式时，预设约束条件与相机位姿之间的对应关系为基础矩阵对应的本质矩阵E与相机相对位姿之间的对应关系：

E＝t^R (23)

在(23)中，E为本质矩阵，t^代表第一拍摄坐标系与第二拍摄坐标系之间的平移量的反对称矩阵，R代表第一拍摄坐标系与第二拍摄坐标系之间的旋转量。图像处理装置可以通过第二匹配点对计算出本质矩阵E的值，并对本质矩阵E的值使用奇异值分解(SVD，Singular Value Decomposition)的方法，得到t和R的值，进而得到相机相对位姿，SVD的方法如公式(24)所示：

E＝U∑V ^T (24)

在(24)中，U为正交矩阵，V ^T为正交矩阵的转置，∑为奇异值矩阵。

根据本质矩阵E的内在性质，E的奇异值形式为[σ σ 0] ^T，其中，σ代表任意数值。则在奇异值分解中，对于任意一个E，都有两个可能的t，R与之对应，如公式(24-1)至公式(24-4)：

在(24-1)至(24-4)中，

表示绕Z轴旋转90°的旋转矩阵。

本申请实施例中，当约束条件为基础矩阵时，图像处理装置将t ₁^和t ₂^作为至少一个平移量，将R ₁和R ₂作为至少一个旋转量。

本申请实施例中，当约束条件为单应矩阵计算公式时，预设约束条件与相机位姿之间的对应关系为：

A＝dR+tn ^T＝dK ^-1HK (25)

其中，H为单应矩阵，图像处理装置可以通过第二匹配点对计算出单应矩阵H的值，d表示空间中一个平面与零点平面的上下平移值，A为根据单应矩阵的值H、以及相机内参矩阵K和d计算出的中间值矩阵。

在空间中，由于至少三个点才能构成一个平面，因此某一个平面上的点满足公式(26)：

ax+by+cz＝d (26)

在(26)中，a，b，c为已知的平面法向量，根据a，b，c可以确定一组平行平面族，x，y，z为点的三维坐标，通过d可以定位到一组平行平面组中唯一的一个平面。

图像处理装置得到平面的单位法向量：

n＝[a b c] ^T (27)

那么该平面上的一个三维坐标点X满足公式(28)，X可以是当前图像特征点或参考特征点的三维坐标：

图像处理装置将公式(28)乘到公式(29)的t中：

X ₂＝RX ₁+t (29)

图像处理装置可以得到公式(30)：

其中，X ₁和X ₂为同一个点的三维坐标分别在第一拍摄坐标系与第二拍摄坐标系下的坐标。

其中，同一个点的三维坐标在当前帧图像坐标系和参考帧图像坐标系下的坐标x ₁，x ₂之间满足公式：

αx ₂＝Hx ₁ (31)

在(31)中， _α为三维坐标点X在第一拍摄坐标系与第二拍摄坐标系下深度的比值，相当于步骤S2062中的非零因子s。

示例性的，一个三维坐标点在第一拍摄坐标系下的坐标可以表示为(32)，该三维坐标点在第二拍摄坐标系下的坐标可以表示为(33)：

X ₁＝[x ₍₁₎ y ₍₁₎ z ₍₁₎] (32)

X ₂＝[x ₍₂₎ y ₍₂₎ z ₍₂₎] (33)

其中，X ₁和X ₂为同一个三维坐标点在上述两个不同坐标系下的坐标。

则图像处理装置可以得到α的值为：

图像处理装置将(34)中α的值，代入公式(31)，并在等式两边同时乘以相机内参矩阵K，等式仍然成立，则图像处理装置可以得到：

整理可得：

X ₂＝K ^-1HKX ₁ (36)

图像处理装置将α乘到公式(30)中可得：

图像处理装置根据下方公式对A进行奇异值分解：

A＝UΛV ^T (38)

Λ＝diag(d ₁,d ₂,d ₃),d ₁≥d ₂≥d ₃ (39)

其中，U为正交矩阵，V ^T为正交矩阵的转置，Λ为奇异值矩阵。根据正交矩阵的定义，图像处理装置可以得到：

U ^TU＝V ^TV＝I (40)

其中，I为单位矩阵。

图像处理装置将U和V带入奇异值分解的(38)中进行移项，可以得到：

Λ＝U ^TAV＝dU ^TRV+(U ^Tt)(V ^Tn) ^T (41)

图像处理装置令s＝detUdetV＝±1。其中，det代表行列式。由于U，V为单位正交矩阵，所以行列式为1。这里的s和步骤S2062中的非零因子s不同。

令：

图像处理装置可以求解出R'和t'的值。

将R'和t'的值带入到Λ中，可以得到：

图像处理装置取一组正交基底：e ₁＝(1 0 0) ^T,e ₂＝(0 1 0) ^T,e ₃＝(0 0 1) ^T。

n'＝(x ₁ x ₂ x ₃) ^T＝x ₁e ₁+x ₂e ₂+x ₃e ₃ (44)

图像处理装置将(44)代入Λ中，可得：

由于n是单位法向量，V是单位正交矩阵，也可以看作一个旋转矩阵。Vn可以看作将n中的各个分量转到V中的三个单位正交基上。所以n'也是单位法向量。因此图像处理装置可以得到以下等式：

图像处理装置对下式进行消元，消去t'，可得：

本申请实施例中，消元方法可以将第一个等式两边乘以x ₂，再将第二个等式两边同时乘以x ₁，然后将两个等式两边同时相减。

由于R'也是一个旋转矩阵，满足R'R' ^T＝I，所以有||R'X||＝||X||，所以图像处理装置将(48)变形，再取二范数，可以得到：

由此，图像处理装置得到了一个关于

的齐次方程组，必然有非零解，且行列数必定为零，所以可以先求出d',则有：

根据奇异值的大小，有三种情况：

d ₁>d ₂>d ₃，d ₁＝d ₂>d ₃或d ₁>d ₂＝d ₃以及d ₁＝d ₂＝d ₃

无论如何，都有解d'＝±d ₂，可以使齐次方程组成立。而d'＝d ₂和d'＝-d ₂又分别对应上述三种情况，所以这里有6种可能性(实际上是8种，d ₁＝d ₂>d ₃或d ₁>d ₂＝d ₃的情况下又有两种)。实际的单应矩阵种只有一个解成立，图像处理装置需要通过以下步骤找到这个解：

在d'＝d ₂，d ₁>d ₂>d ₃的情况中：

齐次方程组变成：

由前两个式子可得：x ₂＝0，将x ₂＝0带入到(52)中：

可以得到e ₂＝R'e ₂，即R'是一个围绕e ₂旋转的旋转矩阵。图像处理装置可以将R'写成：

图像处理装置将R'代入到公式48的d'R'(x ₁e ₃-x ₃e ₁)＝d ₃x ₁e ₃-d ₁x ₃e ₁中，可以得到：

图像处理装置根据d ₁≠d ₃和

可以得到：

图像处理装置从而得到cosθ和sinθ：

将cosθ和sinθ代入到公式(53)的

中，图像处理装置可以得到R'。

其中，R'代表单应矩阵恢复出的代表第一拍摄坐标系与第二拍摄坐标系之间的旋转量。

d ₁e ₁＝d'R'e ₁+t'x ₁

图像处理装置再将R'带回到(52)的d ₂e ₂＝d'R'e ₂+t'x ₂中，可以得到

d ₃e ₃＝d'R'e ₃+t'x ₃

其中，t'代表单应矩阵恢复出的代表第一拍摄坐标系与第二拍摄坐标系之间的平移量。

本申请实施例中，当约束条件为单应矩阵时，图像处理装置将t'作为至少一个平移量将R'作为至少一个平移量。

S2142、图像处理装置将至少一个平移量和至少一个旋转量进行对应组合，得到至少一个相对位姿信息。

本申请实施例中，图像处理装置根据预设约束条件与相机位姿之间的对应关系，以及第二匹配点对，计算出第一拍摄坐标系与第二拍摄坐标系下的至少一个平移量和至少一个旋转量之后，图像处理装置将至少一个平移量和至少一个旋转量进行一一对应组合，将平移量和旋转量的每种组合方式作为至少一个相对位姿信息。

当约束条件为基础矩阵时，根据S2141中得到的不同的t和R的值，图像处理装置将分别将不同的t和R进行组合，图像处理装置可以得到4个不同的相机相对位姿，每个相机相对位姿包含一个t和一个R的值。当约束条件为单应矩阵时，根据S2141中得到的不同的t'和R'的值，基于不同的奇异值大小的情况，图像处理装置可以得到8种可能的情况，如表2所示：

表2

S215、图像处理装置针对每个相对位姿信息，从第二匹配点对中，计算出当前图像特征点在第一拍摄坐标系的第一图像位置坐标，以及在第二拍摄坐标系的第二图像位置坐标；第一拍摄坐标系为当前图像特征点对应的拍摄坐标系，第二拍摄坐标系为参考特征点对应的拍摄坐标系。

本申请实施例中，图像处理装置根据第二匹配点对，恢复出至少一个相对位姿信息之后，图像处理装置针对每个相对位姿信息，从第二匹配点对中，计算出当前图像特征点在当前图像特征点对应的拍摄坐标系的第一图像位置坐标，以及在参考特征点对应的拍摄坐标系的第二图像位置坐标。

本申请实施例中，针对每一个相对位姿信息，图像处理装置逐一计算出第二匹配点对中每个当前图像子特征点在当前图像帧拍摄坐标系下的位置坐标；图像处理装置再计算出同一个当前图像子特征点在参考帧拍摄坐标系下的位置坐标，直至第二匹配点对中当前图像特征点计算完毕，图像处理装置将全部当前图像特征点在当前图像帧拍摄坐标系下的位置坐标作为第一图像位置坐标，图像处理装置将全部当前图像特征点在参考拍摄坐标系下的位置坐标作为第二图像位置坐标。

本申请实施例中，图像处理装置计算每个当前图像特征点在当前图像帧拍摄坐标系下的位置坐标，以及同一个当前图像子特征点在参考帧拍摄坐标系下的位置坐标的方法为：图像处理装置根据每一种相机相对位姿，将当前子图像特征点在图像像素坐标系中的坐标，转化为当前子图像特征点在空间中，分别以当前帧图像对应的相机以及参考帧对应的相机为坐标系原点的三维坐标，示例性的，第一图像位置点坐标为(x,y,z)，其中，x代表当前图像子特征点在当前图像帧拍摄相机成像界面的水平方向的坐标，y代表当前图像子特征点在当前图像帧拍摄相机成像界面的水平方向的坐标，z代表当前图像帧拍摄相机成像焦距，即深度值。

S216、图像处理装置针对每个相对位姿信息，从第二匹配点对中，计算出参考特征点在第一拍摄坐标系的第一参考位置坐标；以及在第二拍摄坐标系的第二参考位置坐标。

本申请实施例中，图像处理装置针对每个相对位姿信息，从第二匹配点对中，计算出当前图像特征点在第一拍摄坐标系的第一图像位置坐标，以及在第二拍摄坐标系的第二图像位置坐标之后，图像处理装置针对每个相对位姿信息，从第二匹配点对中，计算出参考特征点在当前图像特征点对应的拍摄坐标系的第一参考位置坐标；以及在参考特征点对应的拍摄坐标系的第二参考位置坐标。

本申请实施例中，针对每一个相对位姿信息，图像处理装置逐一计算出第二匹配点对中每个参考子特征点在当前图像帧拍摄坐标系下的位置坐标；图像处理装置再计算出同一个参考子特征点在参考帧拍摄坐标系下的位置坐标，直至第二匹配点对中参考特征点计算完毕，图像处理装置将参考特征点在当前图像帧拍摄坐标系下的位置坐标作为第一参考位置坐标，图像处理装置将参考特征点在参考拍摄坐标系下的位置坐标作为第二参考位置坐标。

本申请实施例中，图像处理装置计算每个参考子特征点在当前图像帧拍摄坐标系下的位置坐标，以及同一个参考子特征点在参考帧拍摄坐标系下的位置坐标的方法为：图像处理装置根据每一种相机相对位姿，将参考子特征点在图像像素坐标系中的坐标，转化为参考子特征点在空间中，分别以当前帧图像对应的相机以及参考帧对应的相机为坐标系原点的三维坐标，示例性的，第一参考位置坐标为(x,y,z)，其中，x代表参考子特征点在当前图像帧拍摄相机成像界面的水平方向的坐标，y代表参考子特征点在当前图像帧拍摄相机成像界面的水平方向的坐标，z代表当前图像帧拍摄相机成像焦距，即深度值。

S217、图像处理装置基于第一图像位置坐标、第二图像位置坐标第一参考位置坐标和第二参考位置坐标，分别对每个相对位姿信息进行校验，得到至少一个相对位姿信息对应的校验结果。

本申请实施例中，图像处理装置针对每个相对位姿信息，从第二匹配点对中，计算出参考特征点在第一拍摄坐标系的第一参考位置坐标；以及在第二拍摄坐标系的第二参考位置坐标之后，图像处理装置基于第一图像位置坐标、第二图像位置坐标第一参考位置坐标和第二参考位置坐标，分别对每个相对位姿信息恢复出的位置坐标是否正确进行校验，得到至少一个相对位姿信息对应的校验结果。

本申请实施例中，图像处理装置基于第一图像位置坐标、第二图像位置坐标第一参考位置坐标和第二参考位置坐标，分别对每个相对位姿信息进行校验，得到至少一个相对位姿信息对应的校验结果具体可以包括：S2171至S2176。如下：

S2171、图像处理装置根据第一图像位置坐标和第二图像位置坐标，得到当前图像特征点中的每个当前图像子特征点对应的第一图像位置子坐标和第二图像位置子坐标，以及参考特征点中的每个参考子特征点对应的第一参考位置子坐标和第二参考位置子坐标。

S2172、图像处理装置针对每个相对位姿信息，当每个当前图像子特征点的第一图像位置子坐标满足第一预设条件，并且每个当前图像子特征点的第二图像位置子坐标也满足第一预设条件时，将每个当前图像子特征点作为正确当前图像子特征点，第一预设条件为三维坐标的深度值为预设值。

本申请实施例中，图像处理装置根据第一图像位置坐标和第二图像位置坐标，得到当前图像特征点中的每个当前图像子特征点对应的第一图像位置子坐标和第二图像位置子坐标，以及参考特征点中的每个参考子特征点对应的第一参考位置子坐标和第二参考位置子坐标之后，图像处理装置针对每个相对位姿信息，当每个当前图像子特征点的第一图像位置子坐标满足第一预设条件，并且每个当前图像子特征点的第二图像位置子坐标也满足第一预设条件时，将每个当前图像子特征点作为正确当前图像子特征点，第一预设条件为三维坐标的深度值为预设值。

本申请实施例中，示例性的，第一图像位置子坐标为(x,y,z)，其中，x代表第一图像位置子坐标在相机成像界面的水平方向的坐标，y代表第一图像位置子坐标在相机成像界面的水平方向的坐标，z代表相机成像焦距，即深度值；对应的第二图像位置子坐标为(x ₁,y ₁,z ₁)。如果z和z ₁都为正，说明相机相对位姿求解正确，则图像处理装置确认当前图像子特征点为正确当前图像子特征点。如果z或z ₁值有一个为负值，说明这个点在相机后面，即对应的相机相对位姿是不正确的，则图像处理装置确认当前图像子特征点为错误当前图像子特征点。

S2173、图像处理装置从当前图像特征点中，确定出每个当前图像子特征点中的正确当前图像子特征点，从而得到当前图像特征点的正确当前图像特征点。

本申请实施例中，图像处理装置针对每个相对位姿信息，当每个当前图像子特征点的第一图像位置子坐标满足第一预设条件，并且每个当前图像子特征点的第二图像位置子坐标也满足第一预设条件时，将每个当前图像子特征点作为正确当前图像子特征点，第一预设条件为三维坐标的深度值为预设值之后，图像处理装置从当前图像特征点中，确定出每个当前图像子特征点中的正确当前图像子特征点，从而得到当前图像特征点的正确当前图像特征点。

S2174、图像处理装置针对每个相对位姿信息，当每个参考子特征点的第一参考位置子坐标满足第一预设条件，并且每个参考子特征点的第二参考位置子坐标也满足第一预设条件时，将每个参考子特征点作为正确参考子特征点。

本申请实施例中，图像处理装置从当前图像特征点中，确定出每个当前图像子特征点中的正确当前图像子特征点，从而得到当前图像特征点的正确当前图像特征点之后，图像处理装置针对每个相对位姿信息，当每个参考子特征点的第一参考位置子坐标满足第一预设条件，并且每个参考子特征点的第二参考位置子坐标也满足第一预设条件时，将每个参考子特征点作为正确参考子特征点。

本申请实施例中，示例性的，第一参考位置子坐标为(x,y,z)，其中，x代表第一参考位置子坐标在相机成像界面的水平方向的坐标，y代表第一参考位置子坐标在相机成像界面的水平方向的坐标，z代表相机成像焦距，即深度值；对应的第二参考位置子坐标为(x ₁,y ₁,z ₁)。如果z和z ₁都为正，说明相机相对位姿求解正确，则图像处理装置确认参考子特征点为正确参考子特征点。如果z或z ₁值有一个为负值，说明这个点在相机后面，即对应的相机相对位姿是不正确的，则图像处理装置确认参考子特征点为错误参考子特征点。

S2175、图像处理装置从参考特征点中，确定出每个参考子特征点中的正确参考子特征点，从而得到参考特征点的正确参考特征点。

本申请实施例中，图像处理装置针对每个相对位姿信息，当每个参考子特征点的第一参考位置子坐标满足第一预设条件，并且每个参考子特征点的第二参考位置子坐标也满足第一预设条件时，将每个参考子特征点作为正确参考子特征点之后，图像处理装置从参考特征点中，确定出每个参考子特征点中的正确参考子特征点，从而得到参考特征点的正确参考特征点。

S2176、图像处理装置将正确当前图像特征点与正确参考特征点，作为每个相对位姿信息对应的校验结果，从而得到至少一个相对位姿信息对应的校验结果。

本申请实施例中，图像处理装置针对每个相对位姿信息，从第二匹配点对中，计算出参考特征点在第一拍摄坐标系的第一参考位置坐标；以及在第二拍摄坐标系的第二参考位置坐标之后，图像处理装置基于第一图像位置坐标、第二图像位置坐标、第一参考位置坐标和第二参考位置坐标，分别对每个相对位姿信息进行校验，得到至少一个相对位姿信息对应的校验结果。

S218、图像处理装置基于校验结果，从至少一个相对位姿信息中确定出目标位姿信息。

本申请实施例中，图像处理装置基于第一图像位置坐标、第二图像位置坐标第一参考位置坐标和第二参考位置坐标，分别对每个相对位姿信息进行校验，得到至少一个相对位姿信息对应的校验结果之后，图像处理装置基于校验结果，从至少一个相对位姿信息中找出恢复出正确位置坐标最多的相对位姿信息，作为目标位姿信息。

本申请实施例中，图像处理装置基于校验结果，从至少一个相对位姿信息中确定出目标位姿信息具体包括：S2181至S2182。如下：

S2181、图像处理装置从至少一个相对位姿信息对应的校验结果中，统计出每个相对位姿信息对应的校验结果中的正确子当前图像特征点与正确子参考特征点的数量总和，从而得到每个相对位姿信息对应的正确结果数量。

本申请实施例中，图像处理装置将正确当前图像特征点与正确参考特征点，作为每个相对位姿信息对应的校验结果，从而得到至少一个相对位姿信息对应的校验结果之后，图像处理装置从至少一个相对位姿信息对应的校验结果中，统计出每个相对位姿信息对应的校验结果中的正确子当前图像特征点与正确子参考特征点的数量总和，从而得到每个相对位姿信息对应的正确结果数量。

S2182、图像处理装置从每个相对位姿信息对应的正确结果数量中，确定出正确结果数量最多的目标位姿信息。

本申请实施例中，图像处理装置从至少一个相对位姿信息对应的校验结果中，统计出每个相对位姿信息对应的校验结果中的正确子当前图像特征点与正确子参考特征点的数量总和，从而得到每个相对位姿信息对应的正确结果数量之后，图像处理装置从每个相对位姿信息对应的正确结果数量中，确定出正确结果数量最多的目标位姿信息。

S219、图像处理装置根据目标位姿信息实现重定位功能。

本申请实施例中，图像处理装置从每个相对位姿信息对应的正确结果数量中，确定出正确结果数量最多的目标位姿信息之后，图像处理装置根据目标位姿信息实现重定位功能。

本申请实施例中，图图像处理装置根据最终输出的位姿，得到当前帧图像相对于参考帧之间的平移和旋转，由此得到当前帧图像在参考帧中的位置，从而实现重定位。

可以理解的是，图像处理装置会获取待处理的当前帧图像；接下来图像处理装置从当前帧图像中提取当前帧图像的当前图像特征点，用于根据当前图像特征点，找到与当前帧图像特征点最匹配的参考帧，并获取参考帧对应的参考特征点；然后图像处理装置基于第一预设匹配阈值将当前图像特征点与参考特征点进行第一次匹配，得到第一匹配点对；图像处理装置对将第一预设匹配阈值放大，得到第二预设匹配阈值，以及基于第一匹配点对，得到约束条件；最后，在约束条件下，图像处理装置基于第二预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第二匹配点对。通过本申请实施例提供的方法，图像处理可以通过先计算少量可靠匹配，再通过这些匹配估计数学模型，从而拓展出更多的匹配，同时保证了匹配点对的准确率，解决了匹配点对数量过少，存在较多错误匹配点对的问题，提高了匹配点对的数量和准确率，最终提高了图像处理的准确性。

进一步的，图像处理装置可以在计算约束条件时，同时计算出至少一个子约束条件，并在至少一个子约束条件中根据正确匹配点对的数量确定出约束条件。当图像处理功能为重定位功能时，图像处理装置可以自动选择当前场景最适合的基础矩阵或单应矩阵进行相对位姿的恢复，从而提高重定位的准确性。

本申请实施例提供一种图像处理装置1，对应于一种图像处理方法；图3为本申请实施例提供的一种图像处理装置的结构示意图一，如图3所示，该图像处理装置3包括：

获取单元10，配置为获取待处理的当前帧图像；

提取单元11，配置为从所述当前帧图像中提取所述当前帧图像的当前图像特征点，并基于所述当前图像特征点获取参考帧对应的参考特征点；

匹配单元12，配置为基于第一预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第一匹配点对；

计算单元13，配置为将所述第一预设匹配阈值放大，得到第二预设匹配阈值，以及基于所述第一匹配点对，得到约束条件；

所述匹配单元12，还配置为在所述约束条件下，基于所述第二预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第二匹配点对；

处理单元14，配置为基于所述第二匹配点对，进行图像处理功能。

在本申请的一些实施例中，上述匹配单元12，还配置为基于所述第二预设匹配阈值将所述图像特征点与所述参考特征点进行匹配，得到中间匹配点对；从所述中间匹配点对中，筛选出满足所述约束条件的所述第二匹配点对。

在本申请的一些实施例中，所述匹配单元12，还配置为基于所述中间匹配点对中的每个第一特征点的三维坐标和所述约束条件，确定出第一映射值；基于所述第一映射值，确定出第一匹配误差；基于所述第一匹配误差，确定出小于等于预设误差阈值的所述第二匹配点对。

在本申请的一些实施例中，所述匹配单元12，还配置为从所述中间匹配点对中，筛选出除所述第一匹配点对之外的子匹配点对；基于所述子匹配点对中的每个第二特征点的三维坐标和所述约束条件，确定出第二映射值；基于所述第二映射值，确定出第二匹配误差；基于所述第二匹配误差，确定出小于等于预设误差阈值的最终子匹配点对；将所述第一匹配点对和所述最终子匹配点对作为所述第二匹配点对。

在本申请的一些实施例中，所述计算单元13，还配置为获取至少一个预设初始约束条件；使用所述第一匹配点对，对所述至少一个预设初始约束条件进行计算，得到至少一个子约束条件；基于所述第一匹配点对中的每个第三特征点的三维坐标和所述至少一个子约束条件，确定出至少一个第三映射值；基于所述至少一个第三映射值，确定出至少一个第三匹配误差；基于所述至少一个第三匹配误差，确定出所述至少一个子约束条件对应的小于等于所述预设误差阈值的所述第一匹配点对，作为正确匹配点对；从所述至少一个预设初始约束条件中，分别选取包含所述正确匹配点对最多的一个子约束条件，作为每个所述至少一个预设初始约束条件分别对应的至少一个中间子约束条件；从所述至少一个中间子约束条件中，选择包含所述正确匹配点对最多的中间子约束条件，作为所述约束条件。

在本申请的一些实施例中，所述计算单元13，还配置为针对每个预设初始约束条件，从所述第一匹配点对中，选取预设个数的所述第一匹配点对进行组合，重复预设次数，得到与所述预设次数的数量相等的第一匹配点对组合，其中，所述第一匹配点对组合中的每个组合包含所述预设个数个所述第一匹配点对；使用所述第一匹配点对组合中的每个组合，对所述每个预设初始约束条件进行计算，得到所述每个预设初始约束条件对应的所述预设次数个所述子约束条件，作为所述每个预设初始约束条件的最终子约束条件；将所述至少一个预设初始约束条件中，所述每个预设初始约束条件的最终子约束条件确定为所述至少一个子约束条件。

在本申请的一些实施例中，所述处理单元14，还配置为根据所述第二匹配点对，恢复出至少一个相对位姿信息；针对每个相对位姿信息，从所述第二匹配点对中，计算出所述当前图像特征点在第一拍摄坐标系的第一图像位置坐标，以及在第二拍摄坐标系的第二图像位置坐标；所述第一拍摄坐标系为所述当前图像特征点对应的拍摄坐标系，所述第二拍摄坐标系为所述参考特征点对应的拍摄坐标系；针对所述每个相对位姿信息，从所述第二匹配点对中，计算出所述参考特征点在所述第一拍摄坐标系的第一参考位置坐标；以及在所述第二拍摄坐标系的第二参考位置坐标；基于所述第一图像位置坐标、所述第二图像位置坐标、所述第一参考位置坐标和所述第二参考位置坐标，分别对所述每个相对位姿信息进行校验，得到所述至少一个相对位姿信息对应的校验结果；基于所述校验结果，从所述至少一个相对位姿信息中确定出目标位姿信息；根据所述目标位姿信息实现所述重定位功能。

在本申请的一些实施例中，所述处理单元14，还配置为根据预设约束条件与相机位姿之间的对应关系，以及所述第二匹配点对，计算出所述第一拍摄坐标系与所述第二拍摄坐标系下的至少一个平移量和至少一个旋转量；将所述至少一个平移量和至少一个旋转量进行对应组合，得到所述至少一个相对位姿信息。

在本申请的一些实施例中，所述处理单元14，还配置为根据所述第一图像位置坐标和所述第二图像位置坐标，得到所述当前图像特征点中的每个当前图像子特征点对应的第一图像位置子坐标和第二图像位置子坐标，以及所述参考特征点中的每个参考子特征点对应的第一参考位置子坐标和第二参考位置子坐标；针对所述每个相对位姿信息，当所述每个当前图像子特征点的所述第一图像位置子坐标满足第一预设条件，并且所述每个当前图像子特征点的所述第二图像位置子坐标也满足所述第一预设条件时，将所述每个当前图像子特征点作为正确当前图像子特征点，所述第一预设条件为三维坐标的深度值为预设值；从所述当前图像特征点中，确定出每个当前图像子特征点中的所述正确当前图像子特征点，从而得到所述当前图像特征点的正确当前图像特征点；针对所述每个相对位姿信息，当所述每个参考子特征点的所述第一参考位置子坐标满足所述第一预设条件，并且所述每个参考子特征点的所述第二参考位置子坐标也满足所述第一预设条件时，将所述每个参考子特征点作为正确参考子特征点；从所述参考特征点中，确定出每个参考子特征点中的所述正确参考子特征点，从而得到所述参考特征点的正确参考特征点；将所述正确当前图像特征点与所述正确参考特征点，作为所述每个相对位姿信息对应的校验结果，从而得到所述至少一个相对位姿信息对应的校验结果；基于所述校验结果，从所述至少一个相对位姿信息中确定出目标位姿信息。

在本申请的一些实施例中，所述处理单元14，还配置为从所述至少一个相对位姿信息对应的校验结果中，统计出所述每个相对位姿信息对应的校验结果中的所述正确子当前图像特征点与所述正确子参考特征点的数量总和，从而得到所述每个相对位姿信息对应的正确结果数量；从所述每个相对位姿信息对应的正确结果数量中，确定出所述正确结果数量最多的所述目标位姿信息。

在本申请的一些实施例中，所述提取单元11，还配置为从所述当前帧图像中提取预设角点数量的表征角边界的第一像素点；对所述第一像素点的预设范围内的第二像素点提取特征，得到第一图像特征点；对所述第一像素点的所述预设范围外的第三像素点提取特征，得到第二图像特征点；将所述第一图像特征点和所述第二图像特征点作为所述当前图像特征点；将所述当前图像特征点与预设地图特征库进行匹配，其中，所述预设地图特征库中存储有至少一帧预设地图图像帧的预设地图特征点；将所述预设地图特征库中与所述当前图像特征点最匹配的所述预设地图图像帧作为所述参考帧，将所述参考帧中包含的所述预设地图特征点，作为所述参考特征点。

在本申请的一些实施例中，所述匹配单元12，还配置为将所述当前图像特征点中的每个当前图像子特征点与所述参考特征点逐一进行组合，得到至少一个子特征点对；针对所述至少一个子特征点对，计算所述每个当前图像子特征点到所述参考特征点的汉明距离，得到至少一个汉明距离，所述至少一个汉明距离与所述至少一个子特征点对一一对应；从所述至少一个汉明距离中，确定出最小汉明距离和次小汉明距离；当所述最小汉明距离小于所述预设显著性阈值乘以所述次小汉明距离时，对比所述最小汉明距离与所述预设相似性阈值；当所述最小汉明距离小于等于所述预设相似性阈值时，从所述至少一个子特征点对中，确定出与所述最小汉明距离对应的所述每个当前图像子特征点对应的子特征点对，从而得到与所述当前图像特征点对应的所述第一匹配点对。

本申请实施例提供一种图像处理装置，对应于一种图像处理方法；图4为本申请实施例提供的一种图像处理装置的结构示意图二，如图4所示，该图像处理装置包括：处理器20、存储器21及通信总线22。在具体的实施例的过程中，上述处理器20可以为特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理设备(DSPD，Digital Signal Processing Device)、可编程逻辑设备(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable Gate Array)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。

在本申请的实施例中，所述存储器21，用于存储可执行指令；所述处理器20用于执行存储器21中存储的可执行指令，以实现上述实施例中获取单元10、提取单元11、匹配单元12、计算单元13和处理单元14的操作步骤。

在本申请的实施例中，所述通信总线22，用于实现处理器20和存储器21之间的连接通信。

本申请实施例提供的图像处理装置，会获取待处理的当前帧图像；接下来图像处理装置从当前帧图像中提取当前帧图像的当前图像特征点，用于根据当前图像特征点，找到与当前帧图像特征点最匹配的参考帧，并获取参考帧对应的参考特征点；然后图像处理装置基于第一预设匹配阈值将当前图像特征点与参考特征点进行第一次匹配，得到第一匹配点对；图像处理装置对将第一预设匹配阈值放大，得到第二预设匹配阈值，以及基于第一匹配点对，得到约束条件；最后，在约束条件下，图像处理装置基于第二预设匹配阈值将当前图像特征点与参考特征点进行匹配，得到第二匹配点对。通过本申请实施例提供的方法，图像处理可以通过先计算少量可靠匹配，再通过这些匹配估计数学模型，从而拓展出更多的匹配，同时保证了匹配点对的准确率，解决了匹配点对数量过少，存在较多错误匹配点对的问题，提高了匹配点对的数量和准确率，最终提高了图像处理的准确性。进一步的，图像处理装置可以在计算约束条件时，同时计算出至少一个子约束条件，并在至少一个子约束条件中根据正确匹配点对的数量确定出约束条件。当图像处理功能为重定位功能时，图像处理装置可以自动选择当前场景最适合的基础矩阵或单应矩阵进行相对位姿的恢复，从而提高重定位的准确性。本申请实施例提供一种计算机可读存储介质，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于图像处理装置中，该程序被处理器执行时实现如本申请实施例提供的图像处理方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，网络功能部署系统，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

工业实用性

本申请实施例中，图像处理装置可以在第一次匹配时先计算少量可靠匹配，再通过少量可靠匹配估计数学模型，从而可以在第二次匹配中使用放大的汉明距离阈值和显著性阈值，根据估计出的数学模型，筛选出更多的匹配点对，同时保证了匹配点对的准确率，从而解决了匹配点对数量过少，存在较多错误匹配点对的问题，提高了匹配点对的数量和准确率，最终提高了图像处理的准确性。

Claims

一种图像处理方法，包括：

获取待处理的当前帧图像；

从所述当前帧图像中提取所述当前帧图像的当前图像特征点，并基于所述当前图像特征点获取参考帧对应的参考特征点；

基于第一预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第一匹配点对；

将所述第一预设匹配阈值放大，得到第二预设匹配阈值，以及基于所述第一匹配点对，得到约束条件；

在所述约束条件下，基于所述第二预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第二匹配点对；

基于所述第二匹配点对，进行图像处理功能。
根据权利要求1所述的方法，其中，所述在所述约束条件下，基于所述第二预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第二匹配点对，包括：

基于所述第二预设匹配阈值将所述图像特征点与所述参考特征点进行匹配，得到中间匹配点对；

从所述中间匹配点对中，筛选出满足所述约束条件的所述第二匹配点对。
根据权利要求2所述的方法，其中，所述从所述中间匹配点对中，筛选出满足所述约束条件的所述第二匹配点对，包括：

基于所述中间匹配点对中的每个第一特征点的三维坐标和所述约束条件，确定出第一映射值；

基于所述第一映射值，确定出第一匹配误差；

基于所述第一匹配误差，确定出小于等于预设误差阈值的所述第二匹配点对。
根据权利要求2所述的方法，其中，所述从所述中间匹配点对中，筛选出满足所述约束条件的所述第二匹配点对，包括：

从所述中间匹配点对中，筛选出除所述第一匹配点对之外的子匹配点对；

基于所述子匹配点对中的每个第二特征点的三维坐标和所述约束条件，确定出第二映射值；

基于所述第二映射值，确定出第二匹配误差；

基于所述第二匹配误差，确定出小于等于预设误差阈值的最终子匹配点对；

将所述第一匹配点对和所述最终子匹配点对作为所述第二匹配点对。
根据权利要求1所述的方法，其中，所述基于所述第一匹配点对，得到约束条件，包括：

获取至少一个预设初始约束条件；

使用所述第一匹配点对，对所述至少一个预设初始约束条件进行计算，得到至少一个子约束条件；

基于所述第一匹配点对中的每个第三特征点的三维坐标和所述至少一个子约束条件，确定出至少一个第三映射值；

基于所述至少一个第三映射值，确定出至少一个第三匹配误差；

基于所述至少一个第三匹配误差，确定出所述至少一个子约束条件对应的小于等于所述预设误差阈值的所述第一匹配点对，作为正确匹配点对；

从所述至少一个预设初始约束条件中，分别选取包含所述正确匹配点对最多的一个子约束条件，作为每个所述至少一个预设初始约束条件分别对应的至少一个中间子约束条件；

从所述至少一个中间子约束条件中，选择包含所述正确匹配点对最多的中间子约束条件，作为所述约束条件。
根据权利要求5所述的方法，其中，所述使用所述第一匹配点对，对所述至少一个预设初始约束条件进行计算，得到至少一个子约束条件，包括：

针对每个预设初始约束条件，从所述第一匹配点对中，选取预设个数的所述第一匹配点对进行组合，重复预设次数，得到与所述预设次数的数量相等的第一匹配点对组合，其中，所述第一匹配点对组合中的每个组合包含所述预设个数个所述第一匹配点对；

使用所述第一匹配点对组合中的每个组合，对所述每个预设初始约束条件进行计算，得到所述每个预设初始约束条件对应的所述预设次数个所述子约束条件，作为所述每个预设初始约束条件的最终子约束条件；

将所述至少一个预设初始约束条件中，所述每个预设初始约束条件的最终子约束条件确定为所述至少一个子约束条件。
根据权利要求1所述的方法，其中，当所述图像处理功能为重定位功能时，所述基于所述第二匹配点对，进行图像处理功能，包括：

根据所述第二匹配点对，恢复出至少一个相对位姿信息；

针对每个相对位姿信息，从所述第二匹配点对中，计算出所述当前图像特征点在第一拍摄坐标系的第一图像位置坐标，以及在第二拍摄坐标系的第二图像位置坐标；所述第一拍摄坐标系为所述当前图像特征点对应的拍摄坐标系，所述第二拍摄坐标系为所述参考特征点对应的拍摄坐标系；

针对所述每个相对位姿信息，从所述第二匹配点对中，计算出所述参考特征点在所述第一拍摄坐标系的第一参考位置坐标；以及在所述第二拍摄坐标系的第二参考位置坐标；

基于所述第一图像位置坐标、所述第二图像位置坐标、所述第一参考位置坐标和所述第二参考位置坐标，分别对所述每个相对位姿信息进行校验，得到所述至少一个相对位姿信息对应的校验结果；

基于所述校验结果，从所述至少一个相对位姿信息中确定出目标位姿信息；

根据所述目标位姿信息实现所述重定位功能。
根据权利要求7所述的方法，其中，所述根据所述第二匹配点对，恢复出至少一个相对位姿信息，包括：

根据预设约束条件与相机位姿之间的对应关系，以及所述第二匹配点对，计算出所述第一拍摄坐标系与所述第二拍摄坐标系下的至少一个平移量和至少一个旋转量；

将所述至少一个平移量和至少一个旋转量进行对应组合，得到所述至少一个相对位姿信息。
根据权利要求7所述的方法，其中，所述基于所述第一图像位置坐标、所述第二图像位置坐标、所述第一参考位置坐标和所述第二参考位置坐标，分别对所述每个相对位姿信息进行校验，得到至少一个相对位姿信息对应的校验结果，包括：

根据所述第一图像位置坐标和所述第二图像位置坐标，得到所述当前图像特征点中的每个当前图像子特征点对应的第一图像位置子坐标和第二图像位置子坐标，以及所述参考特征点中的每个参考子特征点对应的第一参考位置子坐标和第二参考位置子坐标；

针对所述每个相对位姿信息，当所述每个当前图像子特征点的所述第一图像位置子坐标满足第一预设条件，并且所述每个当前图像子特征点的所述第二图像位置子坐标也满足所述第一预设条件时，将所述每个当前图像子特征点作为正确当前图像子特征点，所述第一预设条件为三维坐标的深度值为预设值；

从所述当前图像特征点中，确定出每个当前图像子特征点中的所述正确当前图像子特征点，从而得到所述当前图像特征点的正确当前图像特征点；

针对所述每个相对位姿信息，当所述每个参考子特征点的所述第一参考位置子坐标满足所述第一预设条件，并且所述每个参考子特征点的所述第二参考位置子坐标也满足所述第一预设条件时，将所述每个参考子特征点作为正确参考子特征点；

从所述参考特征点中，确定出每个参考子特征点中的所述正确参考子特征点，从而得到所述参考特征点的正确参考特征点；

将所述正确当前图像特征点与所述正确参考特征点，作为所述每个相对位姿信息对应的校验结果，从而得到所述至少一个相对位姿信息对应的校验结果；

基于所述校验结果，从所述至少一个相对位姿信息中确定出目标位姿信息。
根据权利要求9所述的方法，其中，所述基于所述校验结果，从所述至少一个相对位姿信息中确定出目标位姿信息，包括：

从所述至少一个相对位姿信息对应的校验结果中，统计出所述每个相对位姿信息对应的校验结果中的所述正确子当前图像特征点与所述正确子参考特征点的数量总和，从而得到所述每个相对位姿信息对应的正确结果数量；

从所述每个相对位姿信息对应的正确结果数量中，确定出所述正确结果数量最多的所述目标位姿信息。
根据权利要求1所述的方法，其中，所述从所述当前帧图像中提取所述当前帧图像的当前图像特征点，并基于所述当前图像特征点获取参考帧对应的参考特征点，包括：

从所述当前帧图像中提取预设角点数量的表征角边界的第一像素点；

对所述第一像素点的预设范围内的第二像素点提取特征，得到第一图像特征点；

对所述第一像素点的所述预设范围外的第三像素点提取特征，得到第二图像特征点；

将所述第一图像特征点和所述第二图像特征点作为所述当前图像特征点；

将所述当前图像特征点与预设地图特征库进行匹配，其中，所述预设地图特征库中存储有至少一帧预设地图图像帧的预设地图特征点；

将所述预设地图特征库中与所述当前图像特征点最匹配的所述预设地图图像帧作为所述参考帧，将所述参考帧中包含的所述预设地图特征点，作为所述参考特征点。
根据权利要求1所述的方法，其中，所述第一预设匹配阈值包括：预设相似性阈值和预设显著性阈值；所述基于第一预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第一匹配点对，包括：

将所述当前图像特征点中的每个当前图像子特征点与所述参考特征点逐一进行组合，得到至少一个子特征点对；

针对所述至少一个子特征点对，计算所述每个当前图像子特征点到所述参考特征点的汉明距离，得到至少一个汉明距离，所述至少一个汉明距离与所述至少一个子特征点对一一对应；

从所述至少一个汉明距离中，确定出最小汉明距离和次小汉明距离；

当所述最小汉明距离小于所述预设显著性阈值乘以所述次小汉明距离时，对比所述最小汉明距离与所述预设相似性阈值；

当所述最小汉明距离小于等于所述预设相似性阈值时，从所述至少一个子特征点对中，确定出与所述最小汉明距离对应的所述每个当前图像子特征点对应的子特征点对，从而得到与所述当前图像特征点对应的所述第一匹配点对。
一种图像处理装置，包括：

获取单元，配置为获取待处理的当前帧图像；

提取单元，配置为从所述当前帧图像中提取所述当前帧图像的当前图像特征点，并基于所述当前图像特征点获取参考帧对应的参考特征点；

匹配单元，配置为基于第一预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第一匹配点对；

计算单元，配置为将所述第一预设匹配阈值放大，得到第二预设匹配阈值，以及基于所述第一匹配点对，得到约束条件；

所述匹配单元，还配置为在所述约束条件下，基于所述第二预设匹配阈值将所述当前图像特征点与所述参考特征点进行匹配，得到第二匹配点对；

处理单元，配置为基于所述第二匹配点对，进行图像处理功能。
一种图像处理装置，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的方法。
一种计算机可读存储介质，其上存储有可执行指令，应用于图像处理装置，该可执行指令被处理器执行时实现权利要求1至12任一项所述的方法。