WO2020237574A1 - 相机的内参及相对姿态的标定方法、装置、无人机和存储装置 - Google Patents

相机的内参及相对姿态的标定方法、装置、无人机和存储装置 Download PDF

Info

Publication number
WO2020237574A1
WO2020237574A1 PCT/CN2019/089293 CN2019089293W WO2020237574A1 WO 2020237574 A1 WO2020237574 A1 WO 2020237574A1 CN 2019089293 W CN2019089293 W CN 2019089293W WO 2020237574 A1 WO2020237574 A1 WO 2020237574A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
image
camera
board
posture
Prior art date
Application number
PCT/CN2019/089293
Other languages
English (en)
French (fr)
Inventor
唐克坦
林家荣
张培科
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2019/089293 priority Critical patent/WO2020237574A1/zh
Priority to CN201980010784.7A priority patent/CN111699514A/zh
Publication of WO2020237574A1 publication Critical patent/WO2020237574A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Abstract

一种相机的内参及相对姿态的标定方法、装置、无人机和存储装置，该内参标定方法包括：获取相机对标定板拍摄的图像，其中，标定板上设置多个随机分布的标定对象（S11）；识别图像中标定对象的图像对象（S12）；将识别到的标定对象的图像对象与标定板上的标定对象进行匹配（S13）；根据图像对象在图像中的位置和与图像对象匹配的标定对象在标定板上的位置进行拟合运算以确定相机的内参（S14）。通过上述方式，能够提高相机的内参标定的灵活性。

Description

相机的内参及相对姿态的标定方法、装置、无人机和存储装置 【技术领域】
本申请涉及图像处理技术领域，特别是涉及相机的内参及相对姿态的标定方法、装置、无人机和存储装置。
【背景技术】
相机的内参标定是摄影测量、机器人视觉导航、计算机视觉各种应用等的重要基础技术。一般的相机的内参标定技术采用棋盘格标定板，首先，使相机对棋盘格标定板进行拍摄得到图像，然后提取图像中的角点，以与棋盘格标定板上的角点进行匹配，进而标定出相机的内参。然而在利用棋盘格标定板对相机的内参进行标定时，必须要求棋盘格标定板全部在相机的拍摄范围内，即相机不能只拍摄到部分的棋盘格标定板，这样会降低内参标定的灵活性。
【发明内容】
本申请主要解决的技术问题是提供相机的内参及相对姿态的标定方法、装置、无人机和存储装置，能够提高相机的内参标定的灵活性。
为解决上述技术问题，本申请第一方面提供一种相机的内参标定方法，包括：获取所述相机对标定板拍摄的图像，其中，标定板上设置多个随机分布的标定对象；识别所述图像中标定对象的图像对象；将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配；根据所述图像对象在图像中的位置和与所述图像对象匹配的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参。
为了解决上述技术问题，本申请第二方面提供一种标定相机与惯性测量装置的相对姿态的方法，包括：获取所述相机在多个时刻的外参姿态；获取惯性测量装置在多个时刻的姿态；根据所述相机在多个时刻的外参姿 态和惯性测量装置在多个时刻的姿态标定相机与惯性测量装置的相对姿态。
为了解决上述技术问题，本申请第三方面提供一种相机的内参标定装置，包括处理器及存储器，其中，所述存储器，用于存储程序指令；所述处理器，执行所述程序指令以用于：获取所述相机对标定板拍摄的图像，其中，标定板上设置多个随机分布的标定对象；识别所述图像中标定对象的图像对象；将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配；根据所述图像对象在图像中的位置和与所述图像对象匹配的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参。
为了解决上述技术问题，本申请第四方面提供一种标定相机与惯性测量装置的相对姿态的装置，包括处理器及存储器，其中，所述存储器，用于存储程序指令；所述处理器，执行所述程序指令以用于：获取所述相机在多个时刻的外参姿态；获取惯性测量装置在多个时刻的姿态；根据所述相机在多个时刻的外参姿态和惯性测量装置在多个时刻的姿态标定相机与惯性测量装置的相对姿态。
为了解决上述技术问题，本申请第五方面提供一种相机的内参标定系统，包括相机和上述第三方面的内参标定装置，其中，所述相机用于对标定板进行拍摄。
为了解决上述技术问题，本申请第六方面提供一种标定相机与惯性测量装置的相对姿态的系统，包括相机、惯性测量装置和上述第四方面的装置，其中，所述相机用于对标定板进行拍摄；所述惯性测量装置用于测量姿态数据。
为了解决上述技术问题，本申请第七方面提供一种无人机，包括上述第五方面的内参标定系统或上述第六方面的标定相机与惯性测量装置的相对姿态的系统。
为了解决上述技术问题，本申请第八方面提供一种存储装置，存储有程序指令，当所述程序指令在处理器上运行时，执行上述第一方面或第二方面所述的方法。
上述方案，通过对设有随机分布的标定对象的标定板拍摄得到图像，并将图像中识别到的标定对象的图像对象与标定板上的标定对象进行匹配，进而根据图像对象在图像中的位置以及对应匹配的标定对象在标定板的位 置确定所述相机的内参，由于标定板的标定对象随机分布，故根据每个标定对象的周围标定对象分布情况可唯一识别出该标定对象，因此即使对该标定板进行部分拍摄，也可实现标定对象与图像中图像对象之间的准确匹配，进而实现相机内参的有效且精确的标定，且无需要求对整个标定板进行拍摄，提高了内参标定的效率和灵活性。
【附图说明】
图1是本申请相机的内参标定方法一实施例的流程示意图；
图2是本申请一应用场景中采用的标定板的示意图；
图3是本申请一应用场景中标定对象与图像对象的匹配关系示意图；
图4是本申请相机的内参标定方法另一实施例中步骤S13的流程示意图；
图5a-5c是本申请不同应用场景中采用的标定板的示意图；
图6是本申请相机的内参标定方法再一实施例的流程示意图；
图7是本申请相机的内参标定方法又再一实施例中S64步骤的流程示意图；
图8是本申请标定相机与惯性测量装置的相对姿态方法一实施例的流程示意图；
图9是本申请标定相机与惯性测量装置的相对姿态方法另一实施例中步骤S83的流程示意图；
图10是本申请相机与惯性测量装置在多个时刻的轨迹路径示意图；
图11是本申请相机的内参标定装置一实施例的结构示意图；
图12是本申请标定相机与惯性测量装置的相对姿态的装置一实施例的结构示意图；
图13是本申请相机的内参标定系统一实施例的结构示意图；
图14是本申请标定相机与惯性测量装置的相对姿态的系统一实施例的结构示意图；
图15是本申请无人机一实施例的结构示意图；
图16是本申请无人机另一实施例的结构示意图；
图17是本申请存储装置一实施例的结构示意图。
【具体实施方式】
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，图1是本申请相机的内参标定方法一实施例的流程示意图，其中，所述方法可以应用于无人机，具体用于对无人机上配置的相机进行内参标定。具体包括如下步骤：
S11：获取相机对标定板拍摄的图像，其中，标定板上设置多个随机分布的标定对象。
具体地，本实施例的方法的执行主体可以为内参标定装置，进一步地，执行主体可以为内参标定装置的处理器，其中，所述处理器可以为通用或者专用处理器，其中，所述处理器可以为一个或多个，在这里不作具体的限定。所述内参标定装置可以配置在无人机上，对无人机上配置的相机进行内参标定过程中，无人机上的相机可以对标定板进行拍摄并输出拍摄得到的图像，内参标定装置可以获取相机输出的上述图像。
所述标定板可以是具有图像标定作用的任何标定装置，其中，包括多个随机分布的标定对象，故对应地，拍摄得到的图像中包含有该标定对象的图像对象，该图像对象也即图像中表示该标定对象的图像区域。
具体地，如图2所示，标定板20上设置有多个随机分布的标定对象21。 其中，该标点对象21可以为圆形或者其他形状的点。另外，标定板20上的标定对象21的尺寸可以相同，在某些情况中，标定板20上的标定对象21中包括至少两种尺寸的标定对象，即包括至少两种不同尺寸类型的标定对象，为了方便描述，这里以两种不同尺寸类型的标定对象211和212来进行示意性说明：标定板20包括基板22和设置在22上的至少两种尺寸类型的标定对象211和212。可选地，所述至少两种尺寸类型的标定对象211和212中至少一种尺寸类型的标定对象的外环和外环内部的颜色不同，例如，所述外环为黑色，外环内部为白色；或者所述外环为白色，外环内部为黑色。可选地，所述至少两种尺寸类型的标定对象211和212中至少一种尺寸类型的标定对象中心部分的颜色不同于至少两种尺寸类型的标定对象中另一种尺寸类型的标定对象中心部分的颜色。
本实施例采用标定对象随机分布的标定板来实现对相机的内参标定，相比于棋盘格标定板需整体拍摄方可实现角点与图像中图像对象之间的匹配，标定对象随机分布的标定板由于每个标定对象周围的标定对象分布均可唯一识别，故可以对该标定板进行部分拍摄即可实现标定对象与图像中图像对象之间的匹配。
S12：识别图像中标定对象的图像对象。
具体地，在获取到对标定板拍摄得到的图像之后，内参标定装置从图像中识别出标定对象的图像对象，其中，所述图像对象是被拍摄到的标定对象在图像中的图像区域。由于标定板上的标定对象是特征明显的对象，内参标定装置可以根据标定对象的特征从图像中识别出标定对象的图像对象。例如，标定板的标定对象为圆点时，内参标定装置可以采用圆点提取(blobdetector)算法提取图像中的随机点。其中，该圆点提取算法较棋盘格角点算法的精度高，故可提高其图像对象的识别精度。
为了方便进行说明，接下来将以标定板为两种尺寸标定对象随机分布的标定板为例，如图3所示，内参标定装置获取到对标定板310拍摄的图像320，然后，可以从图像320中识别得到多个图像对象321。
S13：将识别到的标定对象的图像对象与标定板上的标定对象进行匹配。
具体地，在识别到图像中标定对象的图像对象之后，需要将检测到的图像对象与标定板上的标定对象建立匹配关系，即确定检测到的图像对象 到底对应标定板上的哪一个标定对象。继续参阅图3，针对标定板310拍摄得到的图像320，可以从图像320中识别得到多个图像对象321，并对图像对象321中每一个与标定板310中的标定对象311进行匹配，在匹配完成之后，图像对象321中的每一个即与标定板310中的标定对象311建立了一一对应的关系。
在某些实施例中，结合参阅图4，步骤S13可以包括以下子步骤：
S131：根据所述识别到的图像对象在图像中的位置确定识别到的图像对象的位置特征参数。
具体地，由于标定板上的标定对象是随机分布的，故每个标定对象其周围的标定对象分布情况是不同的，故可根据其周围的标定对象分布情况可唯一识别出该标定对象。因此，可根据所述识别到的图像对象在图像中的位置和所述图像对象周围的一个或者多个的图像对象在图像中的位置确定识别到的图像对象的位置特征参数。
S132：根据所述识别到的图像对象的位置特征参数与预存的标定对象的位置特征参数将识别到的标定对象的图像对象与标定板上的标定对象进行匹配。
内参标定装置可以预存标定板中标定对象的位置特征参数，其中，所述标定对象的位置特征参数可以预先根据所述标定对象在标定板上的位置和所述标定对象周围的一个或多个的标定对象在标定板中的位置而确定得到的。其中，上述位置特征参数可以为特征向量或者为哈希值。具体地，当图像对象的位置特征参数与预存的某一个标定对象的位置特征参数相同或者相近时，可以确定该图像对象与该标定对象是匹配的。
S14：根据图像对象在图像中的位置和与图像对象匹配的标定对象在标定板上的位置进行拟合运算以确定相机的内参。
具体地，内参标定装置可以确定图像对象在图像中的位置，即图像对象在图像中所处的位置，其中，所述图像对象在图像中的位置可以是图像对象在图像坐标系下的坐标。另外，内参标定装置可以确定与图像对象匹配的标定对象在标定板中的位置，为了方便说明，与图像对象匹配的标定对象可以简称为目标标定对象。标定对象在标定板中的位置可以预存在内参标定装置中，在确定了与图像对象匹配的目标标定对象后，可以从预存 的标定对象在标定板中的位置中获取出目标标定对象在标定板上的位置。例如，对于设置随机分布圆点的标定板，所述图像对象在图像中的位置可以是圆点的图像区域在图像坐标系下的坐标，目标标定对象在标定板上的位置可以是圆点在该标定板上的位置。
在得到了图像对象在图像中的位置和目标标定对象在标定板上的位置之后，可以根据图像对象在图像中的位置和目标标定对象在标定板上的位置进行拟合运算以确定相机的内参。
例如，对于一帧图像，内参标定装置获得多个图像对象在该帧图像中的图像坐标(u,v)和对应的多个目标标定对象在标定板上的世界坐标(X,Y,Z)。利用每个图像对象在该帧图像中的图像坐标(u,v)和对应的目标标定对象在标定板上的世界坐标(X,Y,Z)，获得该帧图像的单应矩阵H。利用多帧图像的单应矩阵H，获得相机的内参，即内参矩阵K。
具体地，图像对象在图像中的图像坐标(u,v)和对应的目标标定对象在标定板上的世界坐标(X,Y,Z)满足以下关系：
Figure PCTCN2019089293-appb-000001
其中，
Figure PCTCN2019089293-appb-000002
为相机的内参矩阵，R,T是世界坐标系相对于相机坐标系的旋转矩阵和平移向量，R＝[r 1 r 2 r 3]，α为未知的比例系数。
以标定板位于世界坐标系上Z为0的XY平面为例：
对于每一帧图像，第i个图像对象的图像坐标为(u i,v i)，对应目标标定对象在标定板上的世界坐标(X i,Y i,0)。每组图像对象和目标标定对象的坐标组成以下公式2：
Figure PCTCN2019089293-appb-000003
其中，
Figure PCTCN2019089293-appb-000004
其中
Figure PCTCN2019089293-appb-000005
表示h的转置。
令
Figure PCTCN2019089293-appb-000006
则优化的目标函数 为：
Figure PCTCN2019089293-appb-000007
令
Figure PCTCN2019089293-appb-000008
则公式(1)可以转化为如下的式子：
Figure PCTCN2019089293-appb-000009
对于一帧图像中的n组对应图像对象及对应目标标定对象，则得到n个上述式子(4)。对于该n个上述式子(4)，可通过算得其最小二乘解，以作为目标函数(3)的最优解。由该最优解对应得到该帧图像中的单应矩阵H。
利用上述方式获得多帧图像的单应矩阵H，并由每帧图像的单应矩阵H得到一组下述约束方程组：
H＝K[r 1 r 2 T]
Figure PCTCN2019089293-appb-000010
Figure PCTCN2019089293-appb-000011
设B＝K -TK -1，可以将
Figure PCTCN2019089293-appb-000012
表示成
Figure PCTCN2019089293-appb-000013
的形式，其中b为B中各个元素组成的一列多维如6维的向量，则将上述约束方程组可以表示为下面方程(5)：
Figure PCTCN2019089293-appb-000014
对于每一帧图像都有上述方程成立，则多帧图像对应可得到多个上述方程(5)，可以对其求最小二乘解，获得最优的B，从而获得相机的内参矩阵K。
本实施例中，通过对设有随机分布的标定对象的标定板拍摄得到图像，并将图像中识别到的标定对象的图像对象与标定板上的标定对象进行匹配，进而根据图像对象在图像中的位置以及对应匹配的标定对象在标定板的位置确定所述相机的内参，由于标定板的标定对象随机分布，故根据每个标定对象的周围标定对象分布情况可唯一识别出该标定对象，因此即使对该标定板进行部分拍摄，也可实现标定对象与图像中图像对象之间的准确匹配，进而实现相机内参的有效且精确的标定，且无需要求对整个标定板进行拍摄，提高了内参标定的效率和灵活性。在另一实施例中，为了提高标定效率，相机拍摄的标定板可包括多个标定板，该多个标定板的空间姿态 各不相同。具体地，每个标定板均如上面所述设有随机分布的标定对象。在某一些实施例中，该多个标定板中的标定板至少与所述多个标定板中的另一个标定板连接设置的。其中，该标定板之间的连接可以为固定连接或活动连接。在一些实施例中，该多个标定板51通过连接可形成但不限于形成合页状(如图5a所示)、漏斗状(如图5b所示)或四角状(如图5c所示)等。可以理解的是，该多个标定板中也可存在至少一个标定板与其他标定板不连接，故在此对多个标定板的连接关系不做限定。
针对于相机拍摄的图像中包括上述多个标定板的情况，请参阅图6，图6是本申请相机的内参标定方法另一实施例中的流程示意图。其中，所述方法可以应用于无人机，具体用于对无人机上配置的相机进行内参标定，所述方法由上述内参标定装置或其处理器执行。具体包括如下步骤：
S61：获取相机对标定板拍摄的图像，其中，标定板上设置多个随机分布的标定对象。
S62：识别图像中标定对象的图像对象。
具体地，S61和S62的具体说明可参阅上述S11和S12的描述。本实施例中，相机对多个上述标定板进行拍摄，以得到所述图像，进而对图像中每个标定板的标定对象的图像对象进行识别。
S63：将识别到的每一个标定板的标定对象的图像对象与标定板上的标定对象进行匹配。
其中，每个标定板的标定对象的图像对象与该标定板的标定对象之间的匹配可参阅上述S13描述，在此不做赘述。
S64：根据所述每一个标定板的标定对象的图像对象在图像中的位置和与所述图像对象匹配的每一个标定板的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参。
现有技术中，为了提高相机的内参的标定的准确性，需要让相机在多个不同的位置对标定板进行拍摄，即利用多帧相机在不同的位置对标定板拍摄的图像进行相机的内参的标定，这样会使得相机的内参标定的效率降低。
为了提高内参标定的效率，相机拍摄的标定板为多个姿态不同的标定板，进而根据图像中多个姿态不同的标定板的标定对象的图像对象的位置 与该多个姿态不同的标定板上的标定对象的位置，来拟合得到相机的内参。通过这种方式对多个姿态不同的标定板进行拍摄相对于在多个不同的位置对同一个标定板进行拍摄，对比于仅利用一个标定板的标定对象的图像对象的位置与该标定板的标定对象的位置拟合得到相机的内参，可提高内参标定的效率。而且，在某些情况中，本实施例直接采用一帧图像即可获得多个姿态的标定板的标定对象及其图像对象，相比于对一个标定板在不同姿态下分别进行拍摄得到多帧图像以获得多个姿态下的标定板的标定对象及其图像对象，实现一帧图像获得多组标定输入数据，提高了标定效率。
具体地，请结合参阅图7，S64具体包括以下子步骤：
S641：根据与图像对象匹配的每一个标定板的标定对象在标定板上的位置确定每一个标定板的标定对象在世界坐标系的位置。
例如，对于第i个标定板Board i，其第j个标定对象 iP j在标定板Board i上的坐标为 iP j＝(x j,y j,0) T。
确定世界坐标系后，标定板Board i上的点 iP j在世界坐标系的坐标为 woridP j＝R i→worid(x j,y j,0) T+T i→worid,其中，R i→worid,T i→worid是标定板Board i坐标系到世界坐标系的转换参数(也可称为标定板的外参)。由于本实施例中标定板之间的姿态是固定的，故R i→world和T i→world在标定过程是不变的。一般可选择某个标定板的坐标系作为世界坐标系，例如某一标定板Board i位于世界坐标系上Z为0的XY平面上，此时，T i→world为零，R i→world为单位矩阵。当然，在其他实施例中，也可多个标定板的坐标系均不作为世界坐标系。
S642：根据所述识别到的每一个标定板上的标定对象的图像对象在图像中的位置和每一个标定板的标定对象在世界坐标系的位置进行拟合运算以确定相机的内参。
例如，对于一帧图像，内参标定装置根据所述识别到的每一个标定板上的标定对象的图像对象在图像中的图像坐标(u,v)和每一个标定板的标定对象在世界坐标系的世界坐标 worldP j，获得该帧图像的单应矩阵H。利用多帧图像的单应矩阵H，获得相机的内参矩阵K。
具体地，图像对象在图像中的图像坐标(u,v)和对应的目标标定对象在 标定板上的世界坐标 worldP j满足以下关系：
Figure PCTCN2019089293-appb-000015
其中，
Figure PCTCN2019089293-appb-000016
为相机的内参矩阵，R,T是世界坐标系相对于相机坐标系的旋转矩阵和平移向量，R＝[r 1 r 2 r 3]，α为未知的比例系数。
参考上述步骤S14的描述，对于该帧图像中每个标定板的每个识别到的图像对象的位置与其匹配的标定对象的位置可组成一条如上述关系(6)的方程式，故可获得多个方程式，进而采用最小二乘法获得该帧图像的单应矩阵，进而利用多帧图像的单应矩阵H，获得相机的内参矩阵K。本实施例中，可采用LM非线性最小二乘法来获得上述参数。
本实施例中，由于标定板之间的姿态是固定的，故标定板的外参也是不变的，故在内参标定过程中引入了标定板外参的约束，提高了标定的鲁棒性，因此可提高标定的精度。
请参阅图8，图8是本申请标定相机与惯性测量装置的相对姿态的方法一实施例中的流程示意图。其中，所述方法可以应用于包括惯性测量装置和相机的装置上，例如无人机，下面以无人机来进行示意性说明书，对无人机上配置的相机和惯性测量装置进行相对姿态标定。具体包括如下步骤：
S81：获取相机在多个时刻的外参姿态。
本实施例的方法的执行主体可以为姿态标定装置，进一步地，执行主体可以为姿态标定装置的处理器，其中，所述处理器可以为通用或者专用处理器，其中，所述处理器可以为一个或多个，在这里不作具体的限定。所述姿态标定装置可以配置在无人机上，对无人机上配置的相机和惯性测量装置进行相对姿态的标定。
具体地，可利用在上述相机内参标定的过程中，获得相机的外参姿态。例如，在相机内参标定过程中，获取相机分别在多个时刻对标定板拍摄得到的多帧图像，分别获得每帧图像的单应矩阵H，进而利用多个时刻拍摄的图像的单应矩阵H得到该相机的内参矩阵K。其中，该内参标定的具体过程可参考上述内参标定方法实施例。利用得某个时刻图像的单应矩阵H和相机内参矩阵K可获得相机在该时刻的外参姿态。
例如，对于时刻t k的外参姿态矩阵R cam(t k)：
在获得相机在时刻t k拍摄得到的图像得到其对应的单应矩阵H，以及相机的内参矩阵K后，利用下面公式可得到相机在时刻t k的外参姿态矩阵R cam(t k)：
H＝[h 1 h 2 h 3]＝αK[r 1 r 2 T]
B＝αK -1H
由此可得到：
Figure PCTCN2019089293-appb-000017
其中，h 1,h 2是单应矩阵H的第1，2列；b 1,b 2, 3分别表示矩阵B的1,2,3列；r 1,r 2,r 3外参姿态矩阵R cam(t k)的第1,2,3列。由于r 1是外参姿态矩阵R cam(t k)的第一列，故|r 1|＝1，α＝|b 1|。
可以理解的是，相机的外参姿态也可由其他方式如slovePnP算法获得，在此不做限定。
S82：获取惯性测量装置在多个时刻的姿态。
具体地，可以直接通过相关传感器件如积分陀螺仪的数据，获得惯性测量装置(Inertial measurement unit，IMU)在时刻t k的姿态R imu(t k)。
为了进一步提高惯性测量装置的姿态精度，可以用惯性测量装置的测量降噪技术来获得其姿态。例如，通过静置惯性测量装置一段时间(如5～7s)，估计惯性测量装置的陀螺传感器的偏置参数，或者通过扩展卡尔曼滤波技术动态估计偏置参数。又例如，对惯性测量装置的测量数据进行低通滤波，减弱高频噪声。由此，可有效提高惯性测量装置的姿态估计精度。
S83：根据所述相机在多个时刻的外参姿态和惯性测量装置在多个时刻的姿态标定相机与惯性测量装置的相对姿态。
本实施例中，通过获得相机在多个时刻的外参姿态和惯性测量装置在对应多个时刻的姿态，即可获得相机和该惯性测量装置的相对姿态。
在某些实施例中，结合图9，本步骤S83可包括：
S831：根据所述相机在多个时刻的外参姿态确定相机在多个时刻中相邻时刻的外参姿态变化。
例如，在获得相机在时刻t k的外参姿态R cam(t k)以在相邻时刻t k+1的外参姿态R cam(t k+1)后，可得到在t k与t k+1相邻时刻的外参姿态变化
Figure PCTCN2019089293-appb-000018
如下：
Figure PCTCN2019089293-appb-000019
同理，可得到相机在相邻时刻t 1与t 2的外参姿态变化
Figure PCTCN2019089293-appb-000020
相邻时刻t 2与t 3的外参姿态变化
Figure PCTCN2019089293-appb-000021
相邻时刻t 3与t 4的外参姿态变化
Figure PCTCN2019089293-appb-000022
等多个时刻中相邻时刻的外参姿态变化。
S832：根据所述惯性测量装置在多个时刻的姿态确定惯性测量装置在多个时刻中相邻时刻的姿态变化。
例如，在获得惯性测量装置在时刻t k的外参姿态R imu(t k)以在相邻时刻t k+1的外参姿态R imu(t k+1)后，可得到在相邻时刻t k与t k+1的外参姿态变化
Figure PCTCN2019089293-appb-000023
如下：
Figure PCTCN2019089293-appb-000024
同理，可得到惯性测量装置在相邻时刻t 1与t 2的外参姿态变化
Figure PCTCN2019089293-appb-000025
相邻时刻t 3与t 3的外参姿态变化
Figure PCTCN2019089293-appb-000026
相邻时刻t 3与t 4的外参姿态变化
Figure PCTCN2019089293-appb-000027
等多个时刻中相邻时刻的外参姿态变化。
S833：根据所述相机在多个时刻中相邻时刻的外参姿态变化和惯性测量装置在多个时刻中相邻时刻的姿态变化标定相机与惯性测量装置的相对姿态。
例如，由于相机与惯性测量装置是刚性连接，如图10，从时刻t k到t k+1，有两条路径可以计算相机的外参姿态矩阵，该两条路径具体如下：
Figure PCTCN2019089293-appb-000028
Figure PCTCN2019089293-appb-000029
其中，
Figure PCTCN2019089293-appb-000030
是相机从时刻t k到t k+1的外参姿态变换矩阵，
Figure PCTCN2019089293-appb-000031
是惯性测量装置从时刻t k到t k+1的姿态变换矩阵。
由上述两条路径可得到下面等式：
Figure PCTCN2019089293-appb-000032
将上式(7)转换为四元数表达，得到下面等式：
Figure PCTCN2019089293-appb-000033
其中，
Figure PCTCN2019089293-appb-000034
q e分别是
Figure PCTCN2019089293-appb-000035
R e对应的四元数，R(q)、L(q)分别是四元数q的右乘积矩阵(right-production matrix)、左乘积矩阵(left-production matrix)。
由上式(8)可得到下面等式(9)：
A 4×4q e＝0  (9)
其中，
Figure PCTCN2019089293-appb-000036
利用n组相邻时刻得到的对应n组
Figure PCTCN2019089293-appb-000037
数据，构建关于q e的线性方程组(10)，
A 4n×4q e＝0  (10)
将上述方程组作为最小二乘法问题，可采用伪逆求解或奇异值分解得q e，即获得相机与惯性测量装置间的相对姿态R e。
本实施例中，通过获得相机在多个时刻的外参姿态和惯性测量装置中在多个时刻的姿态，来实现了相机和惯性测量装置之间的相对姿态的标定。另外，可通过利用设置随机分布的标定对象的标定板来实现内参标定，进而利用标定的相机内参及其过程数据来获得相机的外参姿态，由于随机分布的标定对象的标定板来实现内参标定可提高内参标定的效率和灵活性度，由此也可提高相机和惯性测量装置之间的相对姿态标定的效率和灵活性。进一步地，该相对姿态标定方法可在上述内参标定方法的执行过程或之后执行，且可由同一或不同装置实现。
请参阅图11，图11是本申请内参标定装置一实施例的结构示意图。本实施例中，该内参标定装置110包括相互连接的存储器111和处理器112。
存储器111可以包括只读存储器和随机存取存储器，并向处理器112提供指令和数据。存储器111的一部分还可以包括非易失性随机存取存储器。
上述处理器112可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器111用于存储程序指令。
处理器112，调用所述程序指令，当程序指令被执行时，用于：获取所述相机对标定板拍摄的图像，其中，标定板上设置多个随机分布的标定对象；识别所述图像中标定对象的图像对象；将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配；根据所述图像对象在图像中 的位置和与所述图像对象匹配的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参。
在一些实施例中，处理器112在将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配时，具体用于：根据所述识别到的图像对象在图像中的位置确定识别到的图像对象的位置特征参数；根据所述识别到的图像对象的位置特征参数与预存的标定对象的位置特征参数将识别到的标定对象的图像对象与标定板上的标定对象进行匹配。
其中，所述位置特征参数可以包括哈希值纹。
在一些实施例中，所述标定板包括多个标定板，其中，所述多个标定板的空间姿态各不相同。处理器112在将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配时，具体用于：将所述识别到的每一个标定板的标定对象的图像对象与所述标定板上的标定对象进行匹配。处理器112在根据所述图像对象在图像中的位置和与所述图像对象匹配的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参时，具体用于：根据所述每一个标定板的标定对象的图像对象在图像中的位置和与所述图像对象匹配的每一个标定板的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参。
在一些实施例中，所述多个标定板中的每一个标定板至少与所述多个标定板中的另一个标定板连接设置。
在一些实施例中，处理器112在根据所述每一个标定板的标定对象的图像对象在图像中的位置和与所述图像对象匹配的每一个标定板的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参时，具体用于：根据与所述图像对象匹配的每一个标定板的标定对象在标定板上的位置确定每一个标定板的标定对象在世界坐标系的位置；根据所述识别到的每一个标定板上的标定对象的图像对象在图像中的位置和每一个标定板的标定对象在世界坐标系的位置进行拟合运算以确定所述相机的内参。
在一些实施例中，所述标定对象包括至少两种不同尺寸类型的标定对象。
在一些实施例中，所述标定对象包括圆点。
本实施例装置，可以用于执行本申请上述内参标定方法实施例的技术 方案，其实现原理和技术效果类似，此处不再赘述。
请参阅图12，图12是本申请标定相机与惯性测量装置的相对姿态的装置一实施例的结构示意图。本实施例中，该装置120包括相互连接的存储器121和处理器122。
存储器121可以包括只读存储器和随机存取存储器，并向处理器122提供指令和数据。存储器121的一部分还可以包括非易失性随机存取存储器。
上述处理器122可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器121用于存储程序指令。
处理器122，调用所述程序指令，当程序指令被执行时，用于：获取所述相机在多个时刻的外参姿态；获取惯性测量装置在多个时刻的姿态；根据所述相机在多个时刻的外参姿态和惯性测量装置在多个时刻的姿态标定相机与惯性测量装置的相对姿态。
在一些实施例中，处理器122在根据所述相机在多个时刻的姿态和惯性测量装置在多个时刻的姿态标定相机与惯性测量装置的相对姿态时，具体用于：根据所述相机在多个时刻的外参姿态确定相机在多个时刻中相邻时刻的外参姿态变化；根据所述惯性测量装置在多个时刻的姿态确定惯性测量装置在多个时刻中相邻时刻的姿态变化；根据所述相机在多个时刻中相邻时刻的外参姿态变化和惯性测量装置在多个时刻中相邻时刻的姿态变化标定相机与惯性测量装置的相对姿态。
在一些实施例中，处理器122还用于：获取所述相机对标定板拍摄的图像，其中，标定板上设置多个随机分布的标定对象；识别所述图像中标定对象的图像对象；将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配；根据所述图像对象在图像中的位置和与所述图像对象匹配的标定对象在标定板上的位置获取所述相机在多个时刻的外参姿态。
进一步地，处理器122在将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配时，具体用于：根据图像对象在图像中的位置确定识别到的图像对象的位置特征参数；根据确定的所述位置特征参数与预存的标定对象的位置特征参数将检测到的标定对象的图像对象与标定板上的标定对象进行匹配。
其中，所述位置特征参数可以包括哈希值。
在一些实施例中，所述标定板可以包括多个标定板，其中，所述多个标定板的空间姿态各不相同。
在一些实施例中，所述多个标定板中的每一个标定板至少与所述多个标定板中的另一个标定板连接设置。
本实施例装置，装置120可以用于执行本申请上述标定相机与惯性测量装置的相对姿态的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
请参阅图13，图13是本申请相机的内参标定系统一实施例的结构示意图。该检测系统130包括相互连接的相机1301和内参标定装置1302。相机1301用于对标定板进行拍摄得到图像。该内参标定装置1302为上述实施例所述的内参标定装置，在此不做赘述。
请参阅图14，图14是本申请标定相机与惯性测量装置的相对姿态的系统一实施例的结构示意图。该检测系统140包括标定相机与惯性测量装置的相对姿态的装置1402以及与装置1402连接的相机1401和惯性测量装置1403。相机1401用于对标定板进行拍摄得到图像。惯性测量装置1403用于测量姿态数据。该标定相机与惯性测量装置的相对姿态的装置1402为上述实施例所述的标定相机与惯性测量装置的相对姿态的装置，在此不做赘述。
请参阅图15，图15是本申请无人机一实施例的结构示意图。本实施例中，该无人机包括相机的内参标定系统，其中，内参标定系统具体可如上面系统实施例所述，包括内参标定装置1501和相机1502。
进一步地，无人机还可包括承载装置1503，其中，承载装置1503用于承载相机1502。可选地，无人机还根据实际需求设置有视觉传感器、惯性测量装置等功能电路。
在无人机还设置惯性测量装置的一实施例中，无人机还可包括标定相机与惯性测量装置的相对姿态的系统。如图16所示，无人机中的标定相机与惯性测量装置的相对姿态的系统具体可如上面系统实施例所述，包括标定相机与惯性测量装置的相对姿态的装置1601、相机1602和惯性测量装置1604。进一步地，无人机还可包括承载装置1603，其中，承载装置1603可以用于承载相机1602和惯性测量装置1604。
在一些实施例中，上述无人机可以为旋翼无人机，相机1502/1602可以为无人机的主摄像头。承载装置1503/1603可以为两轴或三轴的云台。
请参阅图17，图17是本申请存储装置一实施例的结构示意图。本实施例中，该存储装置170存储有程序指令1701，当所述程序指令1701在处理器上运行时，执行本申请上述方法实施例的技术方案。
该存储装置170具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储计算机指令的介质，或者也可以为存储有该程序机指令的服务器，该服务器可将存储的程序指令发送给其他设备运行，或者也可以自运行该存储的程序指令。
上述方案，通过对设有随机分布的标定对象的标定板拍摄得到图像，并将图像中识别到的标定对象的图像对象与标定板上的标定对象进行匹配，进而根据图像对象在图像中的位置以及对应匹配的标定对象在标定板的位置确定所述相机的内参，由于标定板的标定对象随机分布，故根据每个标定对象的周围标定对象分布情况可唯一识别出该标定对象，因此即使对该标定板进行部分拍摄，也可实现标定对象与图像中图像对象之间的准确匹配，进而实现相机内参的有效且精确的标定，且无需要求对整个标定板进行拍摄，提高了内参标定的效率和灵活性。
另外，可通过获得相机在多个时刻的外参姿态和惯性测量装置中在多个时刻的姿态，来实现了相机和惯性测量装置之间的相对姿态的标定。且可通过利用设置随机分布的标定对象的标定板来实现内参标定，进而利用标定的相机内参及其过程数据来获得相机的外参姿态，由于随机分布的标定对象的标定板来实现内参标定可提高内参标定的效率和和灵活性度，由此也可提高相机和惯性测量装置之间的相对姿态标定的效率和灵活性。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序指令的介质。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (34)

  1. 一种相机的内参标定方法，其特征在于，包括：获取所述相机对标定板拍摄的图像，其中，标定板上设置多个随机分布的标定对象；
    识别所述图像中标定对象的图像对象；
    将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配；
    根据所述图像对象在图像中的位置和与所述图像对象匹配的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参。
  2. 根据权利要求1所述的方法，其特征在于，所述将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配，包括：
    根据所述识别到的图像对象在图像中的位置确定识别到的图像对象的位置特征参数；
    根据所述识别到的图像对象的位置特征参数与预存的标定对象的位置特征参数将识别到的标定对象的图像对象与标定板上的标定对象进行匹配。
  3. 根据权利要求2所述的方法，其特征在于，所述位置特征参数包括哈希值。
  4. 根据权利要求1-3任一项所述的方法，其特征在于，所述标定板包括多个标定板，其中，所述多个标定板的空间姿态各不相同，
    所述将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配，包括：
    将所述识别到的每一个标定板的标定对象的图像对象与所述标定板上的标定对象进行匹配；
    所述根据所述图像对象在图像中的位置和与所述图像对象匹配的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参，包括：
    根据所述每一个标定板的标定对象的图像对象在图像中的位置和与所述图像对象匹配的每一个标定板的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参。
  5. 根据权利要求4所述的方法，其特征在于，所述多个标定板中的每一个标定板至少与所述多个标定板中的另一个标定板连接设置。
  6. 根据权利要求4或5所述的方法，其特征在于，
    所述根据所述每一个标定板的标定对象的图像对象在图像中的位置和与所述图像对象匹配的每一个标定板的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参，包括：
    根据与所述图像对象匹配的每一个标定板的标定对象在标定板上的位置确定每一个标定板的标定对象在世界坐标系的位置；
    根据所述识别到的每一个标定板上的标定对象的图像对象在图像中的位置和每一个标定板的标定对象在世界坐标系的位置进行拟合运算以确定所述相机的内参。
  7. 根据权利要求1-6任一项所述的方法，其特征在于，所述标定对象包括至少两种不同尺寸类型的标定对象。
  8. 根据权利要求1-7任一项所述的方法，其特征在于，所述标定对象包括圆点。
  9. 一种标定相机与惯性测量装置的相对姿态的方法，其特征在于，包括：
    获取所述相机在多个时刻的外参姿态；
    获取惯性测量装置在多个时刻的姿态；
    根据所述相机在多个时刻的外参姿态和惯性测量装置在多个时刻的姿态标定相机与惯性测量装置的相对姿态。
  10. 根据权利要求9所述的方法，其特征在于，所述根据所述相机在多个时刻的姿态和惯性测量装置在多个时刻的姿态标定相机与惯性测量装置的相对姿态，包括：
    根据所述相机在多个时刻的外参姿态确定相机在多个时刻中相邻时刻的外参姿态变化；
    根据所述惯性测量装置在多个时刻的姿态确定惯性测量装置在多个时刻中相邻时刻的姿态变化；
    根据所述相机在多个时刻中相邻时刻的外参姿态变化和惯性测量装置在多个时刻中相邻时刻的姿态变化标定相机与惯性测量装置的相对姿态。
  11. 根据权利要求9或10所述的方法，其特征在于，
    获取所述相机对标定板拍摄的图像，其中，所述标定板上设置多个随机分布的标定对象；
    识别所述图像中标定对象的图像对象；
    将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配；
    根据所述图像对象在图像中的位置和与所述图像对象匹配的标定对象在标定板上的位置获取所述相机在多个时刻的外参姿态。
  12. 根据权利要求11所述的方法，其特征在于，所述将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配，包括：
    根据图像对象在图像中的位置确定识别到的图像对象的位置特征参数；
    根据确定的所述位置特征参数与预存的标定对象的位置特征参数将检测到的标定对象的图像对象与标定板上的标定对象进行匹配。
  13. 根据权利要求12所述的方法，其特征在于，所述位置特征参数包括哈希值。
  14. 根据权利要求11-13任一项所述的方法，其特征在于，所述标定板包括多个标定板，其中，所述多个标定板的空间姿态各不相同。
  15. 根据权利要求14所述的方法，其特征在于，所述多个标定板中的每一个标定板至少与所述多个标定板中的另一个标定板连接设置。
  16. 一种相机的内参标定装置，其特征在于，包括处理器及存储器，其中，
    所述存储器，用于存储程序指令；
    所述处理器，执行所述程序指令以用于：
    获取所述相机对标定板拍摄的图像，其中，标定板上设置多个随机分布的标定对象；
    识别所述图像中标定对象的图像对象；
    将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配；
    根据所述图像对象在图像中的位置和与所述图像对象匹配的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参。
  17. 根据权利要求16所述的装置，其特征在于，
    所述处理器在将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配时，具体用于：
    根据所述识别到的图像对象在图像中的位置确定识别到的图像对象的位置特征参数；
    根据所述识别到的图像对象的位置特征参数与预存的标定对象的位置特征参数将识别到的标定对象的图像对象与标定板上的标定对象进行匹配。
  18. 根据权利要求17所述的装置，其特征在于，所述位置特征参数包括哈希值纹。
  19. 根据权利要求16-18任一项所述的装置，其特征在于，所述标定板包括多个标定板，其中，所述多个标定板的空间姿态各不相同，
    所述处理器在将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配时，具体用于：
    将所述识别到的每一个标定板的标定对象的图像对象与所述标定板上的标定对象进行匹配；
    所述处理器在根据所述图像对象在图像中的位置和与所述图像对象匹配的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参时，具体用于：
    根据所述每一个标定板的标定对象的图像对象在图像中的位置和与所述图像对象匹配的每一个标定板的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参。
  20. 根据权利要求19所述的装置，其特征在于，所述多个标定板中的每一个标定板至少与所述多个标定板中的另一个标定板连接设置。
  21. 根据权利要求19或20所述的装置，其特征在于，
    所述处理器在根据所述每一个标定板的标定对象的图像对象在图像中的位置和与所述图像对象匹配的每一个标定板的标定对象在标定板上的位置进行拟合运算以确定所述相机的内参时，具体用于：
    根据与所述图像对象匹配的每一个标定板的标定对象在标定板上的位置确定每一个标定板的标定对象在世界坐标系的位置；
    根据所述识别到的每一个标定板上的标定对象的图像对象在图像中的位置和每一个标定板的标定对象在世界坐标系的位置进行拟合运算以确定所述相机的内参。
  22. 根据权利要求16-21任一项所述的装置，其特征在于，所述标定对 象包括至少两种不同尺寸类型的标定对象。
  23. 根据权利要求16-22任一项所述的装置，其特征在于，所述标定对象包括圆点。
  24. 一种标定相机与惯性测量装置的相对姿态的装置，其特征在于，包括处理器及存储器，其中，
    所述存储器，用于存储程序指令；
    所述处理器，执行所述程序指令以用于：
    获取所述相机在多个时刻的外参姿态；
    获取惯性测量装置在多个时刻的姿态；
    根据所述相机在多个时刻的外参姿态和惯性测量装置在多个时刻的姿态标定相机与惯性测量装置的相对姿态。
  25. 根据权利要求24所述的装置，其特征在于，所述处理器在根据所述相机在多个时刻的姿态和惯性测量装置在多个时刻的姿态标定相机与惯性测量装置的相对姿态时，具体用于：
    根据所述相机在多个时刻的外参姿态确定相机在多个时刻中相邻时刻的外参姿态变化；
    根据所述惯性测量装置在多个时刻的姿态确定惯性测量装置在多个时刻中相邻时刻的姿态变化；
    根据所述相机在多个时刻中相邻时刻的外参姿态变化和惯性测量装置在多个时刻中相邻时刻的姿态变化标定相机与惯性测量装置的相对姿态。
  26. 根据权利要求24或25所述的装置，其特征在于，所述处理器还用于：
    获取所述相机对标定板拍摄的图像，其中，所述标定板上设置多个随机分布的标定对象；
    识别所述图像中标定对象的图像对象；
    将所述识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配；
    根据所述图像对象在图像中的位置和与所述图像对象匹配的标定对象在标定板上的位置获取所述相机在多个时刻的外参姿态。
  27. 根据权利要求26所述的装置，其特征在于，所述处理器在将所述 识别到的标定对象的图像对象与所述标定板上的标定对象进行匹配时，具体用于：
    根据图像对象在图像中的位置确定识别到的图像对象的位置特征参数；
    根据确定的所述位置特征参数与预存的标定对象的位置特征参数将检测到的标定对象的图像对象与标定板上的标定对象进行匹配。
  28. 根据权利要求27所述的装置，其特征在于，所述位置特征参数包括哈希值。
  29. 根据权利要求26-28任一项所述的装置，其特征在于，所述标定板包括多个标定板，其中，所述多个标定板的空间姿态各不相同。
  30. 根据权利要求29所述的装置，其特征在于，所述多个标定板中的每一个标定板至少与所述多个标定板中的另一个标定板连接设置。
  31. 一种相机的内参标定系统，其特征在于，包括相机和如权利要求16-23任一项所述的内参标定装置，其中，
    所述相机用于对标定板进行拍摄。
  32. 一种标定相机与惯性测量装置的相对姿态的系统，其特征在于，包括相机、惯性测量装置和如权利要求24-30任一项所述的装置，其中，
    所述相机用于对标定板进行拍摄；
    所述惯性测量装置用于测量姿态数据。
  33. 一种无人机，其特征在于，包括权利要求31所述的内参标定系统或权利要求32所述的标定相机与惯性测量装置的相对姿态的系统。
  34. 一种存储装置，其特征在于，所述存储装置存储有程序指令，当所述程序指令在处理器上运行时，执行如权利要求1-8任一项所述的方法，或如权利要求9-15任一项所述的方法。
PCT/CN2019/089293 2019-05-30 2019-05-30 相机的内参及相对姿态的标定方法、装置、无人机和存储装置 WO2020237574A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/089293 WO2020237574A1 (zh) 2019-05-30 2019-05-30 相机的内参及相对姿态的标定方法、装置、无人机和存储装置
CN201980010784.7A CN111699514A (zh) 2019-05-30 2019-05-30 相机的内参及相对姿态的标定方法、装置、无人机和存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/089293 WO2020237574A1 (zh) 2019-05-30 2019-05-30 相机的内参及相对姿态的标定方法、装置、无人机和存储装置

Publications (1)

Publication Number Publication Date
WO2020237574A1 true WO2020237574A1 (zh) 2020-12-03

Family

ID=72476312

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/089293 WO2020237574A1 (zh) 2019-05-30 2019-05-30 相机的内参及相对姿态的标定方法、装置、无人机和存储装置

Country Status (2)

Country Link
CN (1) CN111699514A (zh)
WO (1) WO2020237574A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598749A (zh) * 2020-12-21 2021-04-02 西北工业大学 大场景非共同视野多相机标定方法
CN112750168A (zh) * 2021-01-11 2021-05-04 上海科技大学 事件相机内参的标定方法、装置、计算机设备和存储介质
CN112967344A (zh) * 2021-03-09 2021-06-15 北京百度网讯科技有限公司 相机外参标定的方法、设备、存储介质及程序产品
CN113112543A (zh) * 2021-04-08 2021-07-13 东方电气集团科学技术研究院有限公司 一种基于视觉移动目标的大视场二维实时定位系统及方法
CN113310505A (zh) * 2021-06-15 2021-08-27 苏州挚途科技有限公司 传感器系统的外参标定方法、装置及电子设备
CN113658265A (zh) * 2021-07-16 2021-11-16 北京迈格威科技有限公司 相机标定方法、装置、电子设备及存储介质
CN114750151A (zh) * 2022-03-31 2022-07-15 歌尔科技有限公司 标定方法、装置、电子设备及计算机可读存储介质
CN116543057A (zh) * 2023-06-27 2023-08-04 华南理工大学 一种水下多相机与imu一体化标定方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112611361A (zh) * 2020-12-08 2021-04-06 华南理工大学 一种无人机机载测绘吊舱的摄像头安装误差测定方法
CN112489118B (zh) * 2020-12-15 2022-06-14 中国人民解放军国防科技大学 一种无人机机载传感器组外参快速标定方法
CN112767496B (zh) * 2021-01-22 2023-04-07 阿里巴巴集团控股有限公司 标定方法、设备及系统
CN113240754B (zh) * 2021-06-01 2024-03-01 亮风台（上海）信息科技有限公司 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN113494891B (zh) * 2021-06-29 2023-09-29 南京航空航天大学 一种用于火车承载鞍整体型面测量的多视角拼接方法
CN113592956B (zh) * 2021-07-30 2023-12-19 武汉精测电子集团股份有限公司 一种基于显微检测机台的多镜头联合标定方法和装置
CN113838149B (zh) * 2021-10-09 2023-08-18 智道网联科技(北京)有限公司 自动驾驶车辆的相机内参标定方法、服务器及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1434169A2 (en) * 2002-12-27 2004-06-30 Olympus Corporation Calibration apparatus, calibration method, program for calibration, and calibration jig
CN101093581A (zh) * 2006-06-23 2007-12-26 佳能株式会社 基于摄取图像计算关于测量对象的信息的信息处理方法和设备
CN106157321A (zh) * 2016-07-29 2016-11-23 长春理工大学 基于平面表面高动态范围图像的真实点光源位置测算方法
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置
CN107680139A (zh) * 2017-10-17 2018-02-09 中国人民解放军国防科技大学 一种远心双目立体视觉测量系统的通用性标定方法
CN108550171A (zh) * 2018-04-20 2018-09-18 东北大学 基于交比不变性的含有八卦编码信息的线阵相机标定方法
TWI645372B (zh) * 2017-08-28 2018-12-21 華利納企業股份有限公司 影像校正系統及影像校正方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5111447B2 (ja) * 2009-06-12 2013-01-09 日本電信電話株式会社 カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびプログラムを記録した記録媒体
CN107580139A (zh) * 2017-09-14 2018-01-12 歌尔科技有限公司 提醒方法和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1434169A2 (en) * 2002-12-27 2004-06-30 Olympus Corporation Calibration apparatus, calibration method, program for calibration, and calibration jig
CN101093581A (zh) * 2006-06-23 2007-12-26 佳能株式会社 基于摄取图像计算关于测量对象的信息的信息处理方法和设备
CN106157321A (zh) * 2016-07-29 2016-11-23 长春理工大学 基于平面表面高动态范围图像的真实点光源位置测算方法
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置
TWI645372B (zh) * 2017-08-28 2018-12-21 華利納企業股份有限公司 影像校正系統及影像校正方法
CN107680139A (zh) * 2017-10-17 2018-02-09 中国人民解放军国防科技大学 一种远心双目立体视觉测量系统的通用性标定方法
CN108550171A (zh) * 2018-04-20 2018-09-18 东北大学 基于交比不变性的含有八卦编码信息的线阵相机标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TIAN, YING: "Relative Pose of IMU-Camera Calibration Method and It's Application", ELECTRONIC TECHNOLOGY & INFORMATION SCIENCE CHINA MASTER’S THESES FULL-TEXT DATABASE, no. 2, 15 February 2018 (2018-02-15), ISSN: pages 1674-0246, DOI: 20200227110558A *
TIAN, YING: "Relative Pose of IMU-Camera Calibration Method and It's Application", ELECTRONIC TECHNOLOGY & INFORMATION SCIENCE CHINA MASTER’S THESES FULL-TEXT DATABASE, no. 2, 15 February 2018 (2018-02-15), ISSN: pages 1674-0246, DOI: 20200227110930X *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598749A (zh) * 2020-12-21 2021-04-02 西北工业大学 大场景非共同视野多相机标定方法
CN112598749B (zh) * 2020-12-21 2024-02-27 西北工业大学 大场景非共同视野多相机标定方法
CN112750168B (zh) * 2021-01-11 2023-09-26 上海科技大学 事件相机内参的标定方法、装置、计算机设备和存储介质
CN112750168A (zh) * 2021-01-11 2021-05-04 上海科技大学 事件相机内参的标定方法、装置、计算机设备和存储介质
CN112967344A (zh) * 2021-03-09 2021-06-15 北京百度网讯科技有限公司 相机外参标定的方法、设备、存储介质及程序产品
CN112967344B (zh) * 2021-03-09 2023-12-08 阿波罗智联(北京)科技有限公司 相机外参标定的方法、设备、存储介质及程序产品
CN113112543A (zh) * 2021-04-08 2021-07-13 东方电气集团科学技术研究院有限公司 一种基于视觉移动目标的大视场二维实时定位系统及方法
CN113310505A (zh) * 2021-06-15 2021-08-27 苏州挚途科技有限公司 传感器系统的外参标定方法、装置及电子设备
CN113310505B (zh) * 2021-06-15 2024-04-09 苏州挚途科技有限公司 传感器系统的外参标定方法、装置及电子设备
CN113658265A (zh) * 2021-07-16 2021-11-16 北京迈格威科技有限公司 相机标定方法、装置、电子设备及存储介质
CN114750151B (zh) * 2022-03-31 2023-09-12 歌尔科技有限公司 标定方法、装置、电子设备及计算机可读存储介质
CN114750151A (zh) * 2022-03-31 2022-07-15 歌尔科技有限公司 标定方法、装置、电子设备及计算机可读存储介质
CN116543057A (zh) * 2023-06-27 2023-08-04 华南理工大学 一种水下多相机与imu一体化标定方法
CN116543057B (zh) * 2023-06-27 2023-10-10 华南理工大学 一种水下多相机与imu一体化标定方法

Also Published As

Publication number Publication date
CN111699514A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
WO2020237574A1 (zh) 相机的内参及相对姿态的标定方法、装置、无人机和存储装置
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
WO2021043213A1 (zh) 标定方法、装置、航拍设备和存储介质
CN107357286A (zh) 视觉定位导航装置及其方法
EP1596332A2 (en) Information processing method and apparatus for finding position and orientation of targeted object
CN113409391B (zh) 视觉定位方法及相关装置、设备和存储介质
CN109920004B (zh) 图像处理方法、装置、标定物组合、终端设备及标定系统
CN111754579B (zh) 多目相机外参确定方法及装置
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
JP2009042162A (ja) キャリブレーション装置及びその方法
CN110954134B (zh) 陀螺仪偏差校正方法、校正系统、电子设备及存储介质
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
WO2022083038A1 (zh) 视觉定位方法及相关装置、设备和计算机可读存储介质
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
CN110119189B (zh) Slam系统的初始化、ar控制方法、装置和系统
WO2021043214A1 (zh) 一种标定方法、装置及飞行器
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
WO2021139176A1 (zh) 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质
Ding et al. A robust detection method of control points for calibration and measurement with defocused images
CN111383282B (zh) 位姿信息确定方法及装置
CN113436267B (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
Huttunen et al. A monocular camera gyroscope
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN113256728B (zh) Imu设备参数的标定方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19930871

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19930871

Country of ref document: EP

Kind code of ref document: A1