WO2021081774A1 - 一种参数优化方法、装置及控制设备、飞行器 - Google Patents

一种参数优化方法、装置及控制设备、飞行器 Download PDF

Info

Publication number
WO2021081774A1
WO2021081774A1 PCT/CN2019/114098 CN2019114098W WO2021081774A1 WO 2021081774 A1 WO2021081774 A1 WO 2021081774A1 CN 2019114098 W CN2019114098 W CN 2019114098W WO 2021081774 A1 WO2021081774 A1 WO 2021081774A1
Authority
WO
WIPO (PCT)
Prior art keywords
image frame
aircraft
initial value
matching feature
image
Prior art date
Application number
PCT/CN2019/114098
Other languages
English (en)
French (fr)
Inventor
高文良
叶长春
周游
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2019/114098 priority Critical patent/WO2021081774A1/zh
Priority to CN201980030587.1A priority patent/CN112136137A/zh
Publication of WO2021081774A1 publication Critical patent/WO2021081774A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • a camera unit and an inertial measurement unit are deployed in an aircraft, and the flight environment and its own conditions of the aircraft are monitored based on the data of the two units.
  • the internal parameters of the camera unit and the relative attitude parameters (ie external parameters) between the camera unit and the inertial measurement unit are stored in the aircraft when the aircraft leaves the factory, and the aircraft uses the camera unit based on the stored internal and external parameters. And inertial measurement unit.
  • the internal and external parameters will change, which will cause the aircraft to fail to accurately monitor the flight environment and its own conditions.
  • P i is the three-dimensional coordinates of the certain matching feature point
  • P i is a spatial point corresponding to the above-mentioned matching feature point set
  • the certain matching feature point belongs to the matching feature point set.
  • the tracking and matching is successful in 80% of the key frames). For example, there are a total of 100 image frames in the image frame set. For a certain target feature point, the target feature point is all in the 85 image frames. If there is a matching feature point, and the reprojection error for the feature point is less than a certain threshold, the feature point is considered to be a reliable feature point.
  • the reliable feature point and its matching feature points on other image frames constitute A set of matching feature points, these feature points all belong to the matching feature points in the matching feature point set.
  • the embodiment of the present invention can optimize the external parameters between the camera unit and the inertial measurement unit and the internal parameters of the camera unit based on the image sequence collected by the aircraft during the flight and the data collected by the inertial measurement unit when the image is collected. More accurate external parameters and internal parameters can be obtained, and subsequent flight processing such as positioning and speed measurement of the aircraft can be realized conveniently based on the accurate external parameters and internal parameters.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)

Abstract

一种参数优化方法、装置及控制设备、飞行器，方法包括：获取所述飞行器在飞行过程中由所述相机单元（103）采集到的图像帧集合；确定所述图像帧集合中的多组匹配特征点集合，其中，每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点；根据所述惯性测量单元（104）在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化；其中，所述关联参数包括：所述相机单元（103）与所述惯性测量单元（104）之间的相对姿态参数和所述相机单元（103）的内参中的至少一个，使得能够得到更为准确的外参以及内参。

Description

一种参数优化方法、装置及控制设备、飞行器 技术领域
本发明涉及电子技术领域，尤其涉及一种参数优化方法、装置及控制设备、飞行器。
背景技术
飞行器作为一种多功能可移动平台，可为不同用户的任务需求提供服务，比如，通过在飞行器上搭载摄像机，来满足用户对人力无法到达的地方拍摄影像，对某个大环境进行环境监测，等等。又比如，基于飞行器还能够搭载喷洒农药的设备，以便于对农田进行快捷地农药喷洒。
为了能够顺利、安全地完成用户的相关飞行任务，除了在飞行控制器上部署合理的飞行控制策略以外，飞行器上还会设置双目摄像头、IMU(Inertial measurement unit，惯性测量单元)、指南针等等传感装置，基于这些传感装置获取感测数据(感测数据包括环境图像、飞行器的姿态数据等等)，确定飞行器的飞行状态，从而安全可靠地控制飞行器飞行，完成用户任务。
一般情况下，飞行器中会部署相机单元和惯性测量单元，基于该两个单元的数据来对飞行器的飞行环境和自身情况进行监测。现有技术中，相机单元的内参和相机单元与惯性测量单元之间的相对姿态参数(即外参)是飞行器出厂时就存储在飞行器中，飞行器基于所述存储的内参和外参使用相机单元和惯性测量单元。然而，在飞行器的使用过程中，内参和外参会发生变化，这样会导致飞行器不能精准地实现对飞行环境和自身情况的监测。
发明内容
本发明实施例提供了一种参数优化方法、装置及控制设备、飞行器，以使在飞行器飞行过程中可以对相机单元和惯性测量单元进行融合所需的关联参数进行优化。
一方面，本发明实施例提供了一种参数优化方法，应用于飞行器，所述飞行器包括相机单元和惯性测量单元，所述方法包括：
获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合；
确定所述图像帧集合中的多组匹配特征点集合，其中，所述每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点；
根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化；
其中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。
另一方面，本发明实施例还提供了一种参数优化装置，所述装置应用于飞行器，所述飞行器包括相机单元和惯性测量单元，所述装置包括：
获取模块，用于获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合；
确定模块，用于确定所述图像帧集合中的多组匹配特征点集合，其中，所述每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点；
处理模块，用于根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化；
其中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。
再一方面，本发明实施例还提供了一种控制设备，所述控制设备与飞行器相连，所述飞行器包括相机单元和惯性测量单元，所述控制设备包括存储装置和处理器；
所述存储装置，用于存储程序指令；
所述处理器，调用所述程序指令，用于
获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合；
确定所述图像帧集合中的多组匹配特征点集合，其中，所述每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点；
根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧 上的图像位置，对飞行器存储的关联参数进行优化；
其中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。
又一方面，本发明实施例还提供了一种飞行器，所述飞行器包括：
相机单元；
惯性测量单元；
动力组件，用于提供带动飞行器移动的动力；
存储装置，用于存储程序指令；
控制器，调用所述程序指令，用于
获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合；
确定所述图像帧集合中的多组匹配特征点集合，其中，所述每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点；
根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化；
其中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。
本发明实施例可以基于飞行器在飞行过程中采集到的图像序列和在采集图像时惯性测量单元采集到的数据出发，对相机单元和惯性测量单元之间的相对姿态参数(即外参)以及相机单元的内参进行优化，能够飞行器在飞行过程中得到更为准确的外参以及内参，可以方便后续基于该准确地外参以及内参实现对飞行器的定位、测速等等飞行处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例所涉及的一种飞行器的结构示意图；
图2是本发明实施例的一种参数优化处理流程的示意图；
图3是本发明实施例的一种参数优化方法的流程示意图；
图4是本发明实施例的具体优化方法的流程示意图；
图5是本发明实施例的一种参数优化装置的结构示意图；
图6是本发明实施例的一种控制设备的结构示意图。
具体实施方式
常用的飞行器一般由机体、动力组件、飞行辅助装置、电源模块等部件构成，而飞行辅助装置包括很多传感装置，例如单目或者双目摄像头(也可以称之为相机单元)，由加速度传感器、陀螺仪等传感器构建的IMU，用于确定飞行高度的气压计、确定飞行方位的指南针等等。通过这些结构，飞行器能够较好地执行飞行任务，为用户提供各种所需的服务。如图1所示，是本发明实施例所涉及的一种飞行器的结构示意图，在本发明实施例中主要涉及的传感装置包括相机单元103和惯性测量单元104，相机单元103可以直接或者通过云台挂载在飞行器的机体101上，用于采集环境图像，IMU104可以设置在机体101的内部，比如在图1中以虚线表示IMU104被设置在构成机体101的壳体内部一个空腔内，靠近或者远离飞行器的其他结构部件，当然，IMU104也可以设置在其他位置，比如固定在飞行器的起落架上。图1中飞行器的动力组件102为基于旋翼为飞行器提供动力的组件，在本发明实施例中，飞行器可以是如图1所示旋翼飞行器，也可以是固定翼飞行器。
在一个实施例中，飞行器中可以基于VIO(visual-inertial odometry，视觉惯性里程计)，通过融合相机单元和IMU的数据，对飞行器进行定位、姿态测量、速度测量等。目前使用相机和IMU惯性测量单元的视觉惯性里程计主要分为松耦合和紧耦合两类。松耦合的视觉惯性里程计通过两个较为独立的视觉运动模块(针对相机单元)和惯性导航运动估计模块(针对IMU)，分别进行运动的状态估计后，再对各个模块输出结果进行融合，得到最终的飞行器位姿信息。紧耦合的视觉惯性里程计直接融合两个相机单元和IMU的原始数据，共同估计，相互制约、相互补充，充分利用了传感器的特性，精度较高。
同时使用基于相机单元的视觉观测与IMU的输出，通过视觉惯性里程计的技术，可以融合得到较为准确的飞行器位姿信息，并且IMU惯性测量单元 的偏置不容易导致测量的漂移。
在视觉系统中，三维的光线与二维的像素坐标是一一对应的，而描述这种对应关系的是相机单元的内参，相机单元的内参可以包括焦距、光心与畸变参数等。相机内参的是否准确决定了通过二维的像素坐标信息到三维的光线信息的变换精度，即三维空间到二维的图像空间之间的转换精度。
在视觉惯性里程计中，相机与IMU惯性测量单元的输出在时间上需要进行同步，以保证具有可接受的、稳定的数据延迟。而相机单元与IMU两个传感器坐标系之间的外参，即相对的空间关系(相对位置和相对姿态)，直接决定了视觉惯性里程计的准确度。
在本发明实施例中，通过相应的参数优化方式对相机单元的内参、以及相机单元与IMU之间的外参进行优化，可以在飞行器使用过程中，得到更优的内参与外参。
请参见图2，是本发明实施例的一种参数优化处理流程的示意图，在大的优化方向上，本发明实施例的参数优化包括，在S201中，使用在飞行器中已记录的相机单元的内参与紧耦合算法，计算相机单元的位姿pose，已记录的相机单元的内参是指出厂默认设置的内参，或者是上一次优化后得到的内参，也可以是用户根据需要调整并配置的内参。基于内参和上述提及的紧耦合算法，可以计算得到相机单元的位姿pose，相机单元的位姿包括相机单元与IMU之间的相对旋转和平移，或者理解为相机单元与IMU之间的外参。其中，在基于内参与紧耦合算法进行处理时，需要获取相机单元的图片序列，以及IMU的信息，并从图片序列中选取Keyframe关键帧，进行特征点匹配以提取特征点，关键帧中进行特征点匹配可以采用角点检测、SIFT(Scale Invariant Feature Transform，尺度不变特征变换)算法、KLT算法等等。基于匹配得到的相机单元的位姿、匹配特征点等可以进行三维重构，得到稀疏点地图。
在S202中，判断是否需要优化相关的关联参数，该关联参数包括所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。如果判断结果为是，则执行S203，如果判断结果为否，则获取下一帧相机单元的图像帧和IMU的数据执行所述S201。在一个实施例中，可以通过判断运动状态、上述得到的稀疏点地图的状态来确定是否适合进行关联参数的优化。
在S203中，将已记录的相机单元的内参、在S201计算得到的相机单元与IMU之间的外参作为初值，进一步进行优化求解。以此可以得到优化后的相机单元的内参、相机单元与IMU之间的外参。在优化完成后，优化后的相机单元的内参以及外参可以存储到飞行器中，以便于需要内参和外参的飞行控制策略或其他数据处理需求的功能应用可以调用该内参以及外参。在执行完S203后，会继续等待下一次对内参和/或外参的优化，例如下一优化周期到来，或者检测到飞行器收到撞击，相机单元和惯性传感器可能发生偏移等等原因，都可以执行上述的S201到S203，或者具体执行下述的S301到S303，实现内参和外参的优化。
上述优化处理可以在一个专用的控制设备中实现，也可以是由飞行器的飞行控制器来执行，还可以是由相机单元中设置的处理装置来执行。
再请参见图3，是本发明实施例的一种参数优化方法的流程示意图，所述方法应用在飞行器上，所述飞行器包括相机单元和IMU，所述相机单元和IMU之间可以是相对固定连接的。本发明实施例的所述方法同样可以由一个专用的控制设备来执行，也可以是由飞行器的飞行控制器来执行，还可以是由相机单元中设置的处理装置来执行。所述方法应用于对飞行器上包括的相机单元和惯性测量单元之间的关联参数进行优化，在一个实施例中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。所述方法包括如下描述的关于图3所示的相关步骤。
飞行器在飞行的过程中，其上通过直接连接或者云台连接的相机单元可以拍摄到大量的环境影像，在S301中，获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合。在一个实施例中，可以将相机单元采集到的所有图像都加入到图像帧集合中以便于进行全面准确地分析。在另一个实施例中，也可以仅加入部分具有特殊意义的图像帧作为关键帧，将关键帧加入到图像帧集合中进行本发明实施例的后续分析处理，也就是说，所述S301具体可以包括获取所述飞行器在飞行过程中由所述相机单元采集到的原始图像帧；根据原始图像帧得到图像帧集合，所述图像帧集合中包括从原始图像帧中选取满足关键帧条件的图像帧，对于选取图像帧后构建的图像帧集合，其中的关键帧之间是满足以下条件。
第一，所述图像帧集合中的相邻图像帧之间的相对平移量满足关键帧条件，所述相对平移量满足关键帧条件包括：所述相对平移量大于或等于预设平移量阈值。在一个实施例中，所述平移量表征相机单元在先后拍摄该相邻图像帧的过程中的相对平移距离。也就是说，图像帧集合中任意两帧图像帧都是在移动了一定的间隔距离后拍摄的，设置合理的运动间隔距离以选取关键帧得到图像帧集合进行后续处理，可以较好地节省处理过程中的软硬件资源，并且还可以较好地保证后续优化处理的准确性。
第二，所述图像帧集合中相邻图像帧之间的相对旋转量满足关键帧条件，所述相对旋转量满足关键帧条件包括：所述相对旋转量大于或等于预设旋转量阈值。其中，所述相对旋转量表示相机单元在先后拍摄该相邻图像帧的过程中相机单元的旋转角度。也就是说，图像帧集合中任意两帧图像帧都是在转动了一定的间隔角度后拍摄的，设置合理的间隔角度以选取关键帧，得到图像帧集合进行后续处理，可以较好地节省处理过程中的软硬件资源，并且还可以较好地保证后续优化处理的准确性。
第三，在所述图像帧集合中的图像帧上检测到的匹配特征点的数量满足关键帧条件，所述匹配特征点的数量满足关键帧条件包括：检测到的匹配特征点的数量大于或等于第一预设数量阈值。其中，图像帧上的匹配特征点是指：在该图像帧中根据特征点提取和与该图像帧之前的N帧图像帧进行跟踪匹配后确定的特征点。在一个实施例中，匹配特征点可以基于上述提及的角点检测、SIFT、KLT算法等从原始图像帧中确定出匹配特征点。匹配特征点越多，优化效果越明显，最终得到的关键参数更优。
第四，在图像帧集合的图像帧中检测到的特征点的数量满足关键帧条件，其中，所述特征点的数量满足关键帧条件包括所述匹配特征点的数量大于或等于第二预设数量阈值。特征点的检测仅仅是检测出在当前的图像中存在的有意义的点，本处提及的这些特征点可能在其他一个或者多个图像帧中存在匹配的特征，也可能不存在。同样，得到的特征点越多，优化效果越明显，最终得到的关键参数更优。
在具体实施过程中，从原始图像帧中选取关键帧以得到图像帧集合，被选取到图像帧集合中的图像帧之间满足上述的第一、第二、第三以及第四所描述 的准则中的任意一个或多个。
在获取了所述图像帧集合后，在图像帧集合的基础上再进行处理，进一步的在S302中，确定所述图像帧集合中的多组匹配特征点集合，其中，所述每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点。所说的空间点是指图像帧集合中的图像帧上的匹配特征点，计算后得到的在世界坐标系下三维空间中的某个具体的空间位置点，从匹配特征点确定出空间点可以在SLAM(Simultaneous localization and mapping，同步定位与建图)过程中得到，本发明实施例在优化关联参数的过程中，也可以根据需要包括对各组匹配特征点集合对应的空间点的优化。每组匹配特征点集合中包括目标匹配特征点，目标匹配特征点是指：该目标匹配特征点所在的图像帧在图像帧集合中的数量占比大于预设的数量占比阈值，比如80％以上。
在得到了多组匹配特征点集合中，在S303中根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化。
在一个可选的实现方式中，在优化完成后，即可根据优化后的关联参数控制所述飞行器，包括控制飞行器的飞行位置、飞行速度等等。后续在基于相机单元和IMU的数据计算所述飞行器在当前环境中的空间位置时，使用关联参数进行计算，从而为飞行器进行准确地定位，进而达到控制飞行器的飞行位置、飞行速度的目的。
在一个可选的实现方式中，还可以设置启动优化的时机，在一个实施例中，所述方法还可以包括：获取相机单元在采集所述图像帧集合中多帧图像帧时所述飞行器的飞行状态数据；根据所述飞行状态数据确定飞行器的飞行状态是否大于或等于足预设的飞行状态变化阈值。具体可以在执行所述S303之前来确定飞行状态以及飞行状态是否满足条件。所述的飞行状态数据可以是相机单元在采集相邻图像帧时飞行器的速度数据，速度存在变化时，IMU存在较为准确的数据输出，IMU的激励较为充分，此时可以进行关联参数的优化。在一个实施例中，相机单元在采集相邻图像帧时飞行器的速度数据记为v i，计算速度的方差，当速度的方差大于某个阈值时，即认为适合进行关联参数的优化。 速度的方差计算公式如下：
Figure PCTCN2019114098-appb-000001
基于上述方式计算得到的方差，所述S303可以包括：当飞行状态参数或等于足预设的飞行状态变化阈值时，根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据和匹配特征点集合中的特征点在所述图像帧集合中对应图像帧的位置，对飞行器存储的关联参数进行优化。
在一个实施例中，请参见图4，是本发明实施例的具体优化方法的流程示意图，本发明实施例所述的方法对应于上述提及的所述S303。在本发明实施例中，所述方法具体可以包括如下步骤。
S401：根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据确定位姿量初值，所述位姿量初值包括：所述图像帧集合的各图像帧采集时世界坐标系与惯性测量单元对应的机体坐标系的相对平移量初值和相对旋转量初值。
S402：根据所述相对平移量初值、相对旋转量初值、和所述匹配特征点集合中的匹配特征点在所述图像帧集合中对应图像帧上的图像位置，运行优化算法对所述存储的关联参数进行优化，以获取优化后的所述关联参数，其中，所述优化算法是根据所述空间点的重投影误差配置的。
在本发明实施例中，基于重投影误差、相对平移量初值和相对旋转量初值进行优化运算，得到优化后的相对平移量初值和相对旋转量初值。在一个实施例中，优化得到相对平移量初值和相对旋转量初值的优化算法，可以采用如下所示的根据重投影误差配置的公式2表示。
Figure PCTCN2019114098-appb-000002
其中，投影变换过程简写为p′＝π(RP i+t)，π代表投影函数，表示将三维空间的空间点P i通过旋转、平移等处理映射到相机单元拍摄的第i帧图像帧上。
P i为该某个匹配特征点的三维坐标，P i即为上述提及的匹配特征点集合对应一个空间点，该某个匹配特征点属于该匹配特征点集合。
p i是该某个匹配特征点在第i帧图像上的像素坐标(即二维图像坐标)，p i 表示所述匹配特征点集合中的该某个匹配特征点在所述图像帧集合中对应图像帧的位置。
Figure PCTCN2019114098-appb-000003
表示从世界坐标系转换到当前机身坐标系的相对旋转量初值与平移量初值，即
Figure PCTCN2019114098-appb-000004
对应于上述提及的相对旋转量初值，
Figure PCTCN2019114098-appb-000005
对应于上述提及的相对平移量初值。是根据IMU感测得到的传感数据计算得到的。在一个实施例中，
Figure PCTCN2019114098-appb-000006
Figure PCTCN2019114098-appb-000007
可以基于IMU的传感数据和指南针的传感器数据来确定。
R ex，t ex表示相机与IMU惯性测量单元之间的默认外参，K用于表示相机单元的默认内参，K对包括焦距f、主点坐标c、径向畸变系数k以及切向畸变系数p；在本发明实施例中，此处的相机投影过程使用的相机外参、内参均为默认值，存储在飞行器中，可以为出厂设置的默认值，或者可以为上一次优化后存储到飞行器的存储装置中的值。
arg代表本次优化的参数(目标)是
Figure PCTCN2019114098-appb-000008
P i，基于公式2的优化过程可以理解为先使用默认的相机的参数K，R ex，t ex来计算
Figure PCTCN2019114098-appb-000009
P i。其中，主要优化的是从世界坐标系转换到当前机身坐标系之间的相对姿态参数，即
Figure PCTCN2019114098-appb-000010
和
Figure PCTCN2019114098-appb-000011
P i为可选项，或者可以认为优化关联参数可选地可以优化P i。
在一个实施例中，所述S402还可以具体包括：根据所述相对平移量初值、相对旋转量初值、所述匹配特征点集合中的匹配特征点在所述图像帧集合中对应图像帧上的图像位置和所述存储的关联参数运行优化算法，以获取所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值；根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化。
也就是说，在具体的优化过程中，可以先进行初次优化，得到初次优化的空间点的三维坐标、初次优化后的所述相对平移量初值和初次优化后的相对旋转量初值，再在初次优化得到的参数作为新的初值的基础上，进一步进行所有关联参数的进一步优化。
首先，通过上述的公式2，以所述相对平移量初值、相对旋转量初值、所述匹配特征点集合中的匹配特征点在所述图像帧集合中对应图像帧上的图像位置、和所述存储的关联参数(实际利用到已存储的关联参数中的内参和外参)进行初次优化，得到各个初次优化的参数(初次优化的参数包括：所述空间点 的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值)。
其次，将初次优化的参数作为新的优化初值，再次运行优化算法，优化得到新的关联参数，该新的关联参数不仅可以包括：相机单元的内参K、相机单元的外参
Figure PCTCN2019114098-appb-000012
t ex，还可以包括：空间点的三维坐标P i、所述图像帧集合的各图像帧采集时世界坐标系与惯性测量单元对应的机体坐标系的相对平移量
Figure PCTCN2019114098-appb-000013
相对旋转量
Figure PCTCN2019114098-appb-000014
在一个实施例中，上述再次执行的优化算法与上述的公式2相似，具体的原理是相同，不同之处在于，新的优化算法可以要求优化得到更多的参数，详情请参见下述的公式3。
Figure PCTCN2019114098-appb-000015
在优化得到想要的关联参数后，可以进行反向判断优化的关联参数是否有效，即判断最终优化后得到的关联参数是否可以直接被使用，其中，判断关联参数是否有效例如可以包括：判断可靠的特征点是否增多，可靠的特征点的三维位置坐标是否更加稳定，变化变小，速度是否更加平滑，速度的积分与位置是否更加拟合。如果优化的关联参数有效，即认为相机单元的内参、外参等参数的自标定成功，可以将关联参数用于其他部分。
在一个实施例中，还可以确定在运行所述优化算法时获取的空间点的三维坐标的变化量，当所述变化量小于或等于预设的变化量阈值时，才执行再次优化，即执行：根据所述空间点的三维坐标、优化后的相对平移量初值和优化后的相对旋转量初值，运行所述优化算法，对所述存储的关联参数进行优化。
确定某个匹配特征点集合的空间点的三维坐标的变化量三维过程可参考如下描述。
上述图像帧集合中的图像帧上的匹配特征点可以理解为可靠特征点，这些可靠特征点是通过如下方式获取的。
遍历图像帧集合中某个图像帧上的所有特征点，判断其中最大的重投影误差是否足够小(小于某个阈值)，并且判断在该图像帧集合中出现的次数足够多(大于某个阈值，比如在80％的关键帧中都跟踪匹配成功)，例如，图像帧集合中一共有100帧图像帧，对于某个目标特征点而言，该目标特征点在其中的85帧图像帧中均存在匹配的特征点，同时针对该特征点的重投影误差小于 某个阈值，则认为该特征点为可靠的特征点，该可靠的特征点及其在其他图像帧上的匹配的特征点，构成一组匹配特征点集合，这些特征点均属于该匹配特征点集合中的匹配特征点。
再确定了各个匹配特征点集合中，根据所有或者部分匹配特征点集合对应的空间点的三维坐标，判断其中每个点的三维位置在本次优化中的变化量，该变化量即为上述提及的空间点的三维坐标的变化量，当变化量足够小(小于某个变化量阈值)时，则认为可以进行再次优化，基于上述的公式3，优化得到相机单元的内参K、相机单元与惯性测量单元之间的外参R ex，t ex，还可以包括：空间点的三维坐标P i、所述图像帧集合的各图像帧采集时世界坐标系与惯性测量单元对应的机体坐标系的相对平移量
Figure PCTCN2019114098-appb-000016
相对旋转量
Figure PCTCN2019114098-appb-000017
本发明实施例可以基于飞行器在飞行过程中采集到的图像序列和在采集图像时惯性测量单元采集到的数据出发，对相机单元和惯性测量单元之间的外参以及相机单元的内参进行优化，能够得到更为准确地外参以及内参，可以方便后续基于该准确地外参以及内参实现对飞行器的定位、测速等等飞行处理。
再请参见图5，是本发明实施例的一种参数优化装置的结构示意图，本发明实施例的所述参数优化装置应用于飞行器中，所述飞行器包括相机单元和惯性测量单元，所述参数优化装置主要用于优化所述相机单元的内参和所述相机单元与所述惯性测量单元之间的外参。本发明实施例中，所述装置包括如下模块结构。
获取模块501，用于获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合；确定模块502，用于确定所述图像帧集合中的多组匹配特征点集合，其中，所述每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点；处理模块503，用于根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化；其中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。
在一个实施例中，所述处理模块503，还用于根据所述优化后的关联参数控制所述飞行器。
在一个实施例中，所述处理模块503，还用于获取相机单元在采集所述图像帧集合中多帧图像帧时所述飞行器的飞行状态数据；根据所述飞行状态数据确定飞行器的飞行状态参数是否大于或等于足预设的飞行状态变化阈值；
并且，所述处理模块503，具体用于当飞行状态参数或等于足预设的飞行状态变化阈值时，根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化。
在一个实施例中，所述获取模块501，具体用于获取所述飞行器在飞行过程中由所述相机单元采集到的原始图像帧；根据原始图像帧得到图像帧集合，所述图像帧集合中包括从原始图像帧中选取满足关键帧条件的图像帧。
在一个实施例中，所述图像帧集合中的相邻图像帧之间的相对平移量满足关键帧条件，所述相对平移量满足关键帧条件包括：所述相对平移量大于或等于预设平移量阈值。
在一个实施例中，所述图像帧集合中相邻图像帧之间的相对旋转量满足关键帧条件，所述相对旋转量满足关键帧条件包括：所述相对旋转量大于或等于预设旋转量阈值。
在一个实施例中，在所述图像帧集合中的图像帧上检测到的匹配特征点的数量满足关键帧条件，所述匹配特征点的数量满足关键帧条件包括：检测到的匹配特征点的数量大于或等于第一预设数量阈值。
在一个实施例中，在图像帧集合的图像帧中检测到的特征点的数量满足关键帧条件，其中，所述特征点的数量满足关键帧条件包括所述匹配特征点的数量大于或等于第二预设数量阈值。
在一个实施例中，所述处理模块503，具体用于根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据确定位姿量初值，所述位姿量初值包括：所述图像帧集合的各图像帧采集时世界坐标系与惯性测量单元对应的机体坐标系的相对平移量初值和相对旋转量初值；根据所述相对平移量初值、相对旋转量初值、和所述特征点在所述图像帧集合中对应图像帧的位置，运行优化算法对所述存储的关联参数进行优化，以获取优化后的所述关联参数，其中，所述优化算法是根据所述空间点的重投影误差配置的。
在一个实施例中，所述处理模块503，具体用于根据所述相对平移量初值、相对旋转量初值、所述特征点在所述图像帧集合中对应图像帧的位置和所述存储的关联参数运行优化算法，以获取所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值；根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化。
在一个实施例中，所述处理模块503，还用于确定在运行所述优化算法时获取的空间点的三维坐标的变化量；并且，所述处理模块503，具体用于当所述变化量小于或等于预设的变化量阈值时，所述根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值运行所述优化算法对所述存储的关联参数进行优化。
在本发明实施例中，上述各个模块的具体实现可参考前述图1到图4所对应实施例中相关内容的描述，在此不赘述。
本发明实施例可以基于飞行器在飞行过程中采集到的图像序列和在采集图像时惯性测量单元采集到的数据出发，对相机单元和惯性测量单元之间的外参以及相机单元的内参进行优化，能够得到更为准确地外参以及内参，可以方便后续基于该准确地外参以及内参实现对飞行器的定位、测速等等飞行处理。再请参见图6，是本发明实施例的一种控制设备的结构示意图，本发明实施例的所述控制设备包括存储装置601和处理器602，所述处理器602与存储装置601相连，所述处理器602还与外部的相机单元和惯性测量单元相连，用于接收相机单元和惯性测量单元的数据，实现关联参数的优化。在其他实施例中，所述控制设备可以包括存储装置601、处理器602、相机单元以及惯性测量单元，也就是说，相机单元、惯性测量单元与存储装置601、处理器602构成一个完整的产品，通过该产品提供诸如飞行器、智能机器人、自动驾驶汽车等可移动平台的定位、速度估计等服务。
所述存储装置601可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置601也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储装置601还可以包括上述种类的存储器的 组合。
所述处理器602可以是中央处理器(central processing unit，CPU)。所述处理器602还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。上述PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。
可选地，所述存储装置601还用于存储程序指令。所述处理器602可以调用所述程序指令，实现如本申请图2、图3以及图4所对应的流程步骤。
在一个实施例中，所述处理器602，调用所述程序指令，用于
获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合；
确定所述图像帧集合中的多组匹配特征点集合，其中，所述每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点；
根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化；
其中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。
在一个实施例中，所述处理器602，还用于根据所述优化后的关联参数控制所述飞行器。
在一个实施例中，所述处理器602，还用于获取相机单元在采集所述图像帧集合中多帧图像帧时所述飞行器的飞行状态数据；根据所述飞行状态数据确定飞行器的飞行状态参数是否大于或等于足预设的飞行状态变化阈值；
并且，所述处理器602，用于当飞行状态参数或等于足预设的飞行状态变化阈值时，根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化。
在一个实施例中，所述处理器602，在用于获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合时，用于获取所述飞行器在飞行过程中由 所述相机单元采集到的原始图像帧；根据原始图像帧得到图像帧集合，所述图像帧集合中包括从原始图像帧中选取满足关键帧条件的图像帧。
在一个实施例中，所述图像帧集合中的相邻图像帧之间的相对平移量满足关键帧条件，所述相对平移量满足关键帧条件包括：所述相对平移量大于或等于预设平移量阈值。
在一个实施例中，所述图像帧集合中相邻图像帧之间的相对旋转量满足关键帧条件，所述相对旋转量满足关键帧条件包括：所述相对旋转量大于或等于预设旋转量阈值。
在一个实施例中，在所述图像帧集合中的图像帧上检测到的匹配特征点的数量满足关键帧条件，所述匹配特征点的数量满足关键帧条件包括：检测到的匹配特征点的数量大于或等于第一预设数量阈值。
在一个实施例中，在图像帧集合的图像帧中检测到的特征点的数量满足关键帧条件，其中，所述特征点的数量满足关键帧条件包括所述匹配特征点的数量大于或等于第二预设数量阈值。
在一个实施例中，所述处理器602，在用于根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化时，用于
根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据确定位姿量初值，所述位姿量初值包括：所述图像帧集合的各图像帧采集时世界坐标系与惯性测量单元对应的机体坐标系的相对平移量初值和相对旋转量初值；
根据所述相对平移量初值、相对旋转量初值、和所述特征点在所述图像帧集合中对应图像帧的位置，运行优化算法对所述存储的关联参数进行优化，以获取优化后的所述关联参数，其中，所述优化算法是根据所述空间点的重投影误差配置的。
在一个实施例中，所述处理器602，在用于根据所述相对平移量初值、相对旋转量初值、和所述特征点在所述图像帧集合中对应图像帧的位置，运行优化算法对所述存储的关联参数进行优化时，用于
根据所述相对平移量初值、相对旋转量初值、所述特征点在所述图像帧集合中对应图像帧的位置和所述存储的关联参数运行优化算法，以获取所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值；
根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化。
在一个实施例中，所述处理器602，还用于
确定在运行所述优化算法时获取的空间点的三维坐标的变化量；
所述根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化，包括：
当所述变化量小于或等于预设的变化量阈值时，所述根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值运行所述优化算法对所述存储的关联参数进行优化。
在本发明实施例中，所述处理器602的具体实现可参考前述图1到图4所对应实施例中相关内容的描述，在此不赘述。
本发明实施例可以基于飞行器在飞行过程中采集到的图像序列和在采集图像时惯性测量单元采集到的数据出发，对相机单元和惯性测量单元之间的外参以及相机单元的内参进行优化，能够得到更为准确地外参以及内参，可以方便后续基于该准确地外参以及内参实现对飞行器的定位、测速等等飞行处理。本发明实施例还提供了一种飞行器，该飞行器的结构可参考图1所示，所示飞行器除了包括图1中已经示出的动力组件101、机体102、相机单元103、惯性测量单元104以外，还包括存储装置、电源模块、通信模块、以及控制器，该控制器可以是一个单独的控制器，也可以为集成了相应功能的飞行控制器。
所述存储装置可以包括易失性存储器(volatile memory)，例如RAM；存储装置也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，SSD等；存储装置还可以包括上述种类的存储器的组合。
所述处理器可以是CPU，所述处理器还可以进一步包括硬件芯片。上述硬件芯片可以是ASIC，PLD等。上述PLD可以是FPGA，GAL等。动力组件101，用于提供带动飞行器移动的动力；该动力组件101除了包括图1所示的旋翼和单机以外，还可以包括电子调速器等。并且，该动力组件101可以包 括四旋翼、六旋翼、八旋翼等组件，也可以为固定翼组件。
存储装置，用于存储程序指令；所示控制器，调用所述程序指令，用于
获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合；
确定所述图像帧集合中的多组匹配特征点集合，其中，所述每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点；
根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化；
其中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。
在一个实施例中，所述控制器，还用于根据所述优化后的关联参数控制所述飞行器。
在一个实施例中，所述控制器，还用于获取相机单元在采集所述图像帧集合中多帧图像帧时所述飞行器的飞行状态数据；根据所述飞行状态数据确定飞行器的飞行状态参数是否大于或等于足预设的飞行状态变化阈值；
并且，所述控制器，用于当飞行状态参数或等于足预设的飞行状态变化阈值时，根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化。
在一个实施例中，所述控制器，在用于获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合时，用于获取所述飞行器在飞行过程中由所述相机单元采集到的原始图像帧；根据原始图像帧得到图像帧集合，所述图像帧集合中包括从原始图像帧中选取满足关键帧条件的图像帧。
在一个实施例中，所述图像帧集合中的相邻图像帧之间的相对平移量满足关键帧条件，所述相对平移量满足关键帧条件包括：所述相对平移量大于或等于预设平移量阈值。
在一个实施例中，所述图像帧集合中相邻图像帧之间的相对旋转量满足关键帧条件，所述相对旋转量满足关键帧条件包括：所述相对旋转量大于或等于预设旋转量阈值。
在一个实施例中，在所述图像帧集合中的图像帧上检测到的匹配特征点的数量满足关键帧条件，所述匹配特征点的数量满足关键帧条件包括：检测到的匹配特征点的数量大于或等于第一预设数量阈值。
在一个实施例中，在图像帧集合的图像帧中检测到的特征点的数量满足关键帧条件，其中，所述特征点的数量满足关键帧条件包括所述匹配特征点的数量大于或等于第二预设数量阈值。
在一个实施例中，所述控制器，在用于根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化时，用于
根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据确定位姿量初值，所述位姿量初值包括：所述图像帧集合的各图像帧采集时世界坐标系与惯性测量单元对应的机体坐标系的相对平移量初值和相对旋转量初值；
根据所述相对平移量初值、相对旋转量初值、和所述特征点在所述图像帧集合中对应图像帧的位置，运行优化算法对所述存储的关联参数进行优化，以获取优化后的所述关联参数，其中，所述优化算法是根据所述空间点的重投影误差配置的。
在一个实施例中，所述控制器，在用于根据所述相对平移量初值、相对旋转量初值、和所述特征点在所述图像帧集合中对应图像帧的位置，运行优化算法对所述存储的关联参数进行优化时，用于
根据所述相对平移量初值、相对旋转量初值、所述特征点在所述图像帧集合中对应图像帧的位置和所述存储的关联参数运行优化算法，以获取所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值；
根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化。
在一个实施例中，所述控制器，还用于
确定在运行所述优化算法时获取的空间点的三维坐标的变化量；
所述根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后 的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化，包括：
当所述变化量小于或等于预设的变化量阈值时，所述根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值运行所述优化算法对所述存储的关联参数进行优化。
在本发明实施例中，所述控制器的具体实现可参考前述图1到图4所对应实施例中相关内容的描述，在此不赘述。
本发明实施例可以基于飞行器在飞行过程中采集到的图像序列和在采集图像时惯性测量单元采集到的数据出发，对相机单元和惯性测量单元之间的外参以及相机单元的内参进行优化，能够得到更为准确地外参以及内参，可以方便后续基于该准确地外参以及内参实现对飞行器的定位、测速等等飞行处理。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (34)

  1. 一种参数优化方法，其特征在于，应用于飞行器，所述飞行器包括相机单元和惯性测量单元，所述方法包括：
    获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合；
    确定所述图像帧集合中的多组匹配特征点集合，其中，每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点；
    根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化；
    其中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。
  2. 根据权利要求1所述的方法，其特征在于，还包括：根据所述优化后的关联参数控制所述飞行器。
  3. 根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
    获取相机单元在采集所述图像帧集合中多帧图像帧时所述飞行器的飞行状态数据；
    根据所述飞行状态数据确定飞行器的飞行状态参数是否大于或等于足预设的飞行状态变化阈值；
    当飞行状态参数大于或等于足预设的飞行状态变化阈值时，根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化。
  4. 如权利要求1-3任一项所述的方法，其特征在于，所述获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合，包括：
    获取所述飞行器在飞行过程中由所述相机单元采集到的原始图像帧；
    根据原始图像帧得到图像帧集合，所述图像帧集合中包括从原始图像帧中选取满足关键帧条件的图像帧。
  5. 如权利要求4所述的方法，其特征在于，所述图像帧集合中的相邻图像帧之间的相对平移量满足关键帧条件，所述相对平移量满足关键帧条件包括：所述相对平移量大于或等于预设平移量阈值。
  6. 如权利要求4或5所述的方法，其特征在于，所述图像帧集合中相邻图像帧之间的相对旋转量满足关键帧条件，所述相对旋转量满足关键帧条件包括：所述相对旋转量大于或等于预设旋转量阈值。
  7. 如权利要求4-6任一项所述的方法，其特征在于，在所述图像帧集合中的图像帧上检测到的匹配特征点的数量满足关键帧条件，所述匹配特征点的数量满足关键帧条件包括：检测到的匹配特征点的数量大于或等于第一预设数量阈值。
  8. 如权利要求4-7任一项所述的方法，其特征在于，在图像帧集合的图像帧中检测到的特征点的数量满足关键帧条件，其中，所述特征点的数量满足关键帧条件包括所述匹配特征点的数量大于或等于第二预设数量阈值。
  9. 如权利要求1-8任一项所述的方法，其特征在于，所述根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化，包括：
    根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据确定位姿量初值，所述位姿量初值包括：所述图像帧集合的各图像帧采集时世界坐标系与惯性测量单元对应的机体坐标系的相对平移量初值和相对旋转量初值；
    根据所述相对平移量初值、相对旋转量初值、和所述匹配特征点集合中的 匹配特征点在所述图像帧集合中对应图像帧上的图像位置，运行优化算法对所述存储的关联参数进行优化，以获取优化后的所述关联参数，其中，所述优化算法是根据所述空间点的重投影误差配置的。
  10. 如权利要求9所述的方法，其特征在于，所述根据所述相对平移量初值、相对旋转量初值、和所述匹配特征点集合中的匹配特征点在所述图像帧集合中对应图像帧上的图像位置，运行优化算法对所述存储的关联参数进行优化，包括：
    根据所述相对平移量初值、相对旋转量初值、所述匹配特征点集合中的匹配特征点在所述图像帧集合中对应图像帧上的图像位置和所述存储的关联参数，运行优化算法，以获取所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值；
    根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化。
  11. 如权利要求10所述的方法，其特征在于，所述方法还包括：
    确定在运行所述优化算法时获取的空间点的三维坐标的变化量；
    所述根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化，包括：
    当所述变化量小于或等于预设的变化量阈值时，根据所述空间点的三维坐标、优化后的相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化。
  12. 一种参数优化装置，其特征在于，所述装置应用于飞行器，所述飞行器包括相机单元和惯性测量单元，所述装置包括：
    获取模块，用于获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合；
    确定模块，用于确定所述图像帧集合中的多组匹配特征点集合，其中，每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特 征点；
    处理模块，用于根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化；
    其中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。
  13. 一种控制设备，其特征在于，所述控制设备与飞行器相连，所述飞行器包括相机单元和惯性测量单元，所述控制设备包括存储装置和处理器；
    所述存储装置，用于存储程序指令；
    所述处理器，调用所述程序指令，用于：
    获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合；
    确定所述图像帧集合中的多组匹配特征点集合，其中，每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点；
    根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化；
    其中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。
  14. 根据权利要求13所述的控制设备，其特征在于，所述处理器，还用于根据所述优化后的关联参数控制所述飞行器。
  15. 根据权利要求13或14所述的控制设备，其特征在于，
    所述处理器，还用于获取相机单元在采集所述图像帧集合中多帧图像帧时所述飞行器的飞行状态数据；根据所述飞行状态数据确定飞行器的飞行状态参数是否大于或等于足预设的飞行状态变化阈值；
    并且，所述处理器，用于当飞行状态参数或等于足预设的飞行状态变化阈值时，根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数 据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化。
  16. 如权利要求13-15任一项所述的控制设备，其特征在于，所述处理器，在用于获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合时，用于：
    获取所述飞行器在飞行过程中由所述相机单元采集到的原始图像帧；
    根据原始图像帧得到图像帧集合，所述图像帧集合中包括从原始图像帧中选取满足关键帧条件的图像帧。
  17. 如权利要求16所述的控制设备，其特征在于，所述图像帧集合中的相邻图像帧之间的相对平移量满足关键帧条件，所述相对平移量满足关键帧条件包括：所述相对平移量大于或等于预设平移量阈值。
  18. 如权利要求16或17所述的控制设备，其特征在于，所述图像帧集合中相邻图像帧之间的相对旋转量满足关键帧条件，所述相对旋转量满足关键帧条件包括：所述相对旋转量大于或等于预设旋转量阈值。
  19. 如权利要求16-18任一项所述的控制设备，其特征在于，在所述图像帧集合中的图像帧上检测到的匹配特征点的数量满足关键帧条件，所述匹配特征点的数量满足关键帧条件包括：检测到的匹配特征点的数量大于或等于第一预设数量阈值。
  20. 如权利要求16-19任一项所述的控制设备，其特征在于，在图像帧集合的图像帧中检测到的特征点的数量满足关键帧条件，其中，所述特征点的数量满足关键帧条件包括所述匹配特征点的数量大于或等于第二预设数量阈值。
  21. 如权利要求13-20任一项所述的控制设备，其特征在于，所述处理器，在用于根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数 据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化时，用于
    根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据确定位姿量初值，所述位姿量初值包括：所述图像帧集合的各图像帧采集时世界坐标系与惯性测量单元对应的机体坐标系的相对平移量初值和相对旋转量初值；
    根据所述相对平移量初值、相对旋转量初值、和所述特征点在所述图像帧集合中对应图像帧的位置，运行优化算法对所述存储的关联参数进行优化，以获取优化后的所述关联参数，其中，所述优化算法是根据所述空间点的重投影误差配置的。
  22. 如权利要求21所述的控制设备，其特征在于，所述处理器，在用于根据所述相对平移量初值、相对旋转量初值、和所述特征点在所述图像帧集合中对应图像帧的位置，运行优化算法对所述存储的关联参数进行优化时，用于
    根据所述相对平移量初值、相对旋转量初值、所述特征点在所述图像帧集合中对应图像帧的位置和所述存储的关联参数运行优化算法，以获取所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值；
    根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化。
  23. 如权利要求22所述的控制设备，其特征在于，所述处理器，还用于确定在运行所述优化算法时获取的空间点的三维坐标的变化量；
    所述根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化，包括：
    当所述变化量小于或等于预设的变化量阈值时，所述根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值运行所述优化算法对所述存储的关联参数进行优化。
  24. 一种飞行器，其特征在于，所述飞行器包括：
    相机单元；
    惯性测量单元；
    动力组件，用于提供带动飞行器移动的动力；
    存储装置，用于存储程序指令；
    控制器，调用所述程序指令，用于
    获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合；
    确定所述图像帧集合中的多组匹配特征点集合，其中，每一组匹配特征点集合对应一个空间点，每一组匹配特征点集合包括多个匹配特征点；
    根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化；
    其中，所述关联参数包括：所述相机单元与所述惯性测量单元之间的相对姿态参数和所述相机单元的内参中的至少一个。
  25. 根据权利要求24所述的飞行器，其特征在于，所述控制器，还用于根据所述优化后的关联参数控制所述飞行器。
  26. 根据权利要求24或25所述的飞行器，其特征在于，
    所述控制器，还用于获取相机单元在采集所述图像帧集合中多帧图像帧时所述飞行器的飞行状态数据；根据所述飞行状态数据确定飞行器的飞行状态参数是否大于或等于足预设的飞行状态变化阈值；
    并且，所述控制器，用于：当飞行状态参数或等于足预设的飞行状态变化阈值时，根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化时。
  27. 如权利要求24-26任一项所述的飞行器，其特征在于，所述控制器，在用于获取所述飞行器在飞行过程中由所述相机单元采集到的图像帧集合时，用于：
    获取所述飞行器在飞行过程中由所述相机单元采集到的原始图像帧；
    根据原始图像帧得到图像帧集合，所述图像帧集合中包括从原始图像帧中选取满足关键帧条件的图像帧。
  28. 如权利要求27所述的飞行器，其特征在于，所述图像帧集合中的相邻图像帧之间的相对平移量满足关键帧条件，所述相对平移量满足关键帧条件包括：所述相对平移量大于或等于预设平移量阈值。
  29. 如权利要求27或28所述的飞行器，其特征在于，所述图像帧集合中相邻图像帧之间的相对旋转量满足关键帧条件，所述相对旋转量满足关键帧条件包括：所述相对旋转量大于或等于预设旋转量阈值。
  30. 如权利要求27-29任一项所述的飞行器，其特征在于，在所述图像帧集合中的图像帧上检测到的匹配特征点的数量满足关键帧条件，所述匹配特征点的数量满足关键帧条件包括：检测到的匹配特征点的数量大于或等于第一预设数量阈值。
  31. 如权利要求27-30任一项所述的飞行器，其特征在于，在图像帧集合的图像帧中检测到的特征点的数量满足关键帧条件，其中，所述特征点的数量满足关键帧条件包括所述匹配特征点的数量大于或等于第二预设数量阈值。
  32. 如权利要求24-31任一项所述的飞行器，其特征在于，所述控制器，在用于根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据，并根据所述匹配特征点集合中的匹配特征点在所述图像帧集合的对应图像帧上的图像位置，对飞行器存储的关联参数进行优化时，用于
    根据所述惯性测量单元在所述图像帧集合的各图像帧采集时的传感数据确定位姿量初值，所述位姿量初值包括：所述图像帧集合的各图像帧采集时世界坐标系与惯性测量单元对应的机体坐标系的相对平移量初值和相对旋转量初值；
    根据所述相对平移量初值、相对旋转量初值、和所述特征点在所述图像帧集合中对应图像帧的位置，运行优化算法对所述存储的关联参数进行优化，以获取优化后的所述关联参数，其中，所述优化算法是根据所述空间点的重投影误差配置的。
  33. 如权利要求32所述的飞行器，其特征在于，所述控制器，在用于根据所述相对平移量初值、相对旋转量初值、和所述特征点在所述图像帧集合中对应图像帧的位置，运行优化算法对所述存储的关联参数进行优化时，用于
    根据所述相对平移量初值、相对旋转量初值、所述特征点在所述图像帧集合中对应图像帧的位置和所述存储的关联参数运行优化算法，以获取所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值；
    根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化。
  34. 如权利要求33所述的飞行器，其特征在于，所述控制器，还用于
    确定在运行所述优化算法时获取的空间点的三维坐标的变化量；
    所述根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值，运行所述优化算法对所述存储的关联参数进行优化，包括：
    当所述变化量小于或等于预设的变化量阈值时，所述根据所述空间点的三维坐标、优化后的所述相对平移量初值和优化后的相对旋转量初值运行所述优化算法对所述存储的关联参数进行优化。
PCT/CN2019/114098 2019-10-29 2019-10-29 一种参数优化方法、装置及控制设备、飞行器 WO2021081774A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/114098 WO2021081774A1 (zh) 2019-10-29 2019-10-29 一种参数优化方法、装置及控制设备、飞行器
CN201980030587.1A CN112136137A (zh) 2019-10-29 2019-10-29 一种参数优化方法、装置及控制设备、飞行器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/114098 WO2021081774A1 (zh) 2019-10-29 2019-10-29 一种参数优化方法、装置及控制设备、飞行器

Publications (1)

Publication Number Publication Date
WO2021081774A1 true WO2021081774A1 (zh) 2021-05-06

Family

ID=73849172

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/114098 WO2021081774A1 (zh) 2019-10-29 2019-10-29 一种参数优化方法、装置及控制设备、飞行器

Country Status (2)

Country Link
CN (1) CN112136137A (zh)
WO (1) WO2021081774A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024066816A1 (zh) * 2022-09-29 2024-04-04 腾讯科技（深圳）有限公司 相机与惯性测量单元的标定方法、装置和计算机设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950715B (zh) * 2021-03-04 2024-04-30 杭州迅蚁网络科技有限公司 无人机的视觉定位方法、装置、计算机设备和存储介质
CN114782550A (zh) * 2022-04-25 2022-07-22 高德软件有限公司 相机标定方法、装置、电子设备及程序产品
CN117151311B (zh) * 2023-10-31 2024-02-02 天津云圣智能科技有限责任公司 测绘参数的优化处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备
CN106874616A (zh) * 2017-03-06 2017-06-20 北京经纬恒润科技有限公司 一种参数优化调整方法及系统
CN107747941A (zh) * 2017-09-29 2018-03-02 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
US20190028688A1 (en) * 2017-11-14 2019-01-24 Intel Corporation Dynamic calibration of multi-camera systems using multiple multi-view image frames
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN110068326A (zh) * 2019-04-29 2019-07-30 京东方科技集团股份有限公司 姿态计算方法、装置、电子设备以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备
CN106874616A (zh) * 2017-03-06 2017-06-20 北京经纬恒润科技有限公司 一种参数优化调整方法及系统
CN107747941A (zh) * 2017-09-29 2018-03-02 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
US20190028688A1 (en) * 2017-11-14 2019-01-24 Intel Corporation Dynamic calibration of multi-camera systems using multiple multi-view image frames
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN110068326A (zh) * 2019-04-29 2019-07-30 京东方科技集团股份有限公司 姿态计算方法、装置、电子设备以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024066816A1 (zh) * 2022-09-29 2024-04-04 腾讯科技（深圳）有限公司 相机与惯性测量单元的标定方法、装置和计算机设备

Also Published As

Publication number Publication date
CN112136137A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
US11914370B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
US11649052B2 (en) System and method for providing autonomous photography and videography
WO2021081774A1 (zh) 一种参数优化方法、装置及控制设备、飞行器
US10379545B2 (en) Detecting optical discrepancies in captured images
CN109887057B (zh) 生成高精度地图的方法和装置
JP6262865B2 (ja) 慣性および画像センサを用いたセンサ融合
US10901437B2 (en) Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same
US11057604B2 (en) Image processing method and device
WO2019152149A1 (en) Actively complementing exposure settings for autonomous navigation
TW201832185A (zh) 利用陀螺儀的相機自動校準
WO2019104571A1 (zh) 图像处理方法和设备
JP2017520811A (ja) 慣性および画像センサを用いたセンサ融合
JP2017523486A (ja) 慣性および画像センサを用いたセンサ融合
CN108759826B (zh) 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法
WO2019144300A1 (zh) 目标检测方法、装置和可移动平台
WO2022016534A1 (zh) 无人机的飞行控制方法和无人机
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、系统及无人机
WO2020024182A1 (zh) 一种参数处理方法、装置及摄像设备、飞行器
Wang et al. LF-VIO: A visual-inertial-odometry framework for large field-of-view cameras with negative plane
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
WO2022126397A1 (zh) 传感器的数据融合方法、设备及存储介质
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台
CN112132888B (zh) 大规模室内稀疏激光雷达点云内的单目相机定位

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19950738

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19950738

Country of ref document: EP

Kind code of ref document: A1