WO2020119140A1

WO2020119140A1 - 同步定位与地图构建中关键帧提取方法、装置和智能设备

Info

Publication number: WO2020119140A1
Application number: PCT/CN2019/098649
Authority: WO
Inventors: 李保明; 闵珊珊; 邸顺然; 邹李兵; 曹进喜
Original assignee: 歌尔股份有限公司
Priority date: 2018-12-13
Filing date: 2019-07-31
Publication date: 2020-06-18
Also published as: US20210223046A1; CN109579847A; CN109579847B; US11466988B2

Abstract

一种同步定位与地图构建中关键帧提取方法、装置（700）和智能设备，方法包括：从存储多帧未知环境的图像的图像库中获取一个图像帧，对图像帧进行特征提取得到特征点的信息，信息包括特征点的数量（S110）；获取图像帧相对于上一关键帧的相对运动信息，并利用相对运动信息计算当前使用的自适应阈值（S120）；根据特征点的信息和指示了图像帧空间信息的自适应阈值，筛选关键帧（S130）；解决了同步定位与地图构建中关键帧冗余以及空间分布不均匀的技术问题，提高了SLAM技术定位和地图构建的精度。

Description

同步定位与地图构建中关键帧提取方法、装置和智能设备

技术领域

本发明涉及同步定位与地图构建技术领域，具体涉及一种同步定位与地图构建中关键帧提取方法、装置和智能设备。

发明背景

近几年机器人、无人机、无人车等设备日益火爆，SLAM(Simultaneously Localization and Mapping，同步定位与地图构建)技术也为大家熟知，被认为是这些领域的关键技术之一。SLAM是机器人从未知环境的未知地点出发，在运动过程中通过重复观测到的地图特征(比如，墙角，柱子等)定位自身位置和姿态，再根据自身位置增量式的构建地图，从而达到同时定位和地图构建的目的。

同步定位与地图构建主要过程包括特征检测与匹配、运动估计、关键帧提取。众所周知，SLAM可以基于关键帧的特征点得到点云地图，由此关键帧选取的好坏直接影响点云地图的构建，进而影响定位导航的精度。

现有SLAM关键帧提取过程中存在关键帧冗余、消耗了大部分内存，以及关键帧空间分布不均匀，定位精度不高的问题，亟待解决。

发明内容

本发明提供了一种同步定位与地图构建中关键帧提取方法、装置和智能设备，解决了关键帧提取中的冗余以及空间分布不均匀的技术问题，提高了SLAM技术定位和地图构建的精度。

根据本申请的一个方面，提供了一种同步定位与地图构建中关键帧提取方法，包括：

从存储多帧未知环境的图像的图像库中获取一个图像帧，对该图像帧进行特征提取得到特征点的信息，该信息包括特征点的数量；

获取图像帧相对于上一关键帧的相对运动信息，并利用相对运动信息计算当前使用的自适应阈值；

根据特征点的信息和指示了图像帧空间信息的自适应阈值，筛选关键帧。

根据本申请的另一个方面，提供了一种同步定位与地图构建中关键帧提取装置，包括：

特征提取模块，用于从存储多帧未知环境的图像的图像库中获取一个图像帧，对该图像帧进行特征提取得到特征点的信息，该信息包括特征点的数量；

计算模块，用于获取图像帧相对于上一关键帧的相对运动信息，并利用相对运动信息计算当前使用的自适应阈值；

关键帧筛选模块，用于根据特征点的信息和指示了图像帧空间信息的自适应阈值，筛选关键帧。

根据本申请的又一个方面，提供了一种智能设备，包括：设备本体，如上述本申请另一个方面的同步定位与地图构建中关键帧提取装置，设备本体的底部安装有至少一个用于移动的轮子，设备本体上设置有传感器，传感器与关键帧提取装置连接；

传感器包括视觉传感器，视觉传感器采集未知环境的图像得到图像帧，将采集的图像帧存储到图像库中，并将相应的图像帧发送至关键帧提取装置；

传感器包括运动传感器，运动传感器获取图像帧相对于上一关键帧的相对运动信息，并将相对运动信息发送至关键帧提取装置。

应用本发明实施例的同步定位与地图构建中关键帧提取方法和装置，根据每个图像帧相对于上一关键帧的相对运动信息计算当前使用的自适应阈值，并基于该图像帧对应的自适应阈值来判断图像帧是否为关键帧，即，根据各个图像帧的具体情况，计算并使用对应的自适应阈值来筛选关键帧，避免了关键帧提取时使用固定阈值可能导致的关键帧冗余以及利用图像帧相对于上一关键帧的相对运动信息关键帧空间分布不均的问题，有利于提高定位精度。本发明实施例的智能设备，由于优化了关键帧提取，剔除了点云地图中冗余的关键帧，节约了系统资源并且使点云地图中的关键帧更加均匀分布，提高了定位导航精度以及智能设备的市场竞争力。

附图简要说明

图1是本发明一个实施例的同步定位与地图构建中关键帧提取方法的流程示意图；

图2是本发明另一个实施例的同步定位与地图构建中关键帧提取方法的流程图；

图3是图2中IMU姿态估计的流程示意图；

图4是图2中码盘姿态估计的流程示意图；

图5是图2中相机姿态估计的流程示意图；

图6是图2中的特征信息提取的流程示意图；

图7是本发明一个实施例的同步定位与地图构建中关键帧提取装置的框图；

图8是本发明一个实施例的智能设备的框图；

图9是本发明一个实施例的智能设备的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

同步定位与地图构建(Simultaneous Localization And Mapping，简称SLAM)是可移动的设备比如机器人自身位置不确定，在完全未知环境中创建地图同时利用地图进行自主定位和导航的技术。SLAM可以理解为机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和传感器数据进行自身定位，同时建造增量式地图。

现有的同步定位与地图构建SLAM中关键帧提取存在关键帧冗余和空间分布不均匀的情况。例如在SLAM地图构建过程中，如果在某点出现停顿则会导致该点的关键帧重复提取，出现冗余，消耗大部分内存，而在机器人运动剧烈时，匹配到的特征点少进而提取的关键帧数量不足，影响定位精度。

本发明的设计构思在于：针对上述技术问题，提供一种同步定位与地图构建中关键帧提取方法和装置，通过引入每个图像帧的相对于上一关键帧的相对运动信息，并利用相对运动信息来计算当前使用的自适应阈值，根据对应的自适应阈值来判断图像帧是否为关键帧，避免了现有关键帧提取存在的关键帧冗余以及部分场景下关键帧数量不够用，即，关键帧的空间部分不均匀的技术问题，提高了定位和导航的精度，满足了实际需求。

图1是本发明一个实施例的同步定位与地图构建中关键帧提取方法的流程示意图，参见图1，本实施例的同步定位与地图构建中关键帧提取方法包括下列步骤：

步骤S110，从存储多帧未知环境的图像的图像库中获取一个图像帧，对该图像帧进行特征提取得到特征点的信息，该信息包括特征点的数量；

步骤S120，获取图像帧相对于上一关键帧的相对运动信息，并利用相对运动信息计算当前使用的自适应阈值；

本实施例将相对位置信息(空间信息)作为关键帧提取指标之一，一种方式下，该相对位置信息可以通过智能设备的当前时间点的位姿值和上一关键帧时间点的位姿值进行转换得到。

步骤S130，根据特征点的信息和指示了图像帧空间信息的自适应阈值，筛选关键帧。

由图1所示可知，本实施例的同步定位与地图构建中关键帧提取方法，对获取的一帧待判断的图像，获取该帧相对于上一关键帧的相对运动信息，并利用相对运动信息计算当前使用的自适应阈值，后续，利用该帧上提取的特征点，具体是特征点数量信息与计算出的自适应阈值来进行筛选，从而确定出关键帧，与现有技术相比，一方面，不同帧对应的自适应阈值不同，避免了使用固定阈值导致的部分位置的关键帧数量不足，影响定位精度的问题，另一方面，利用相对运动信息计算自适应阈值也避免了在发生停顿的状况时，重复多次提取关键帧导致关键帧冗余的问题，节约了系统资源，提取的关键帧的空间分布更加均匀，进而提高了SLAM定位和导航的精度。

下面结合一个具体的应用场景对本发明实施例的同步定位与地图构建中关键帧提取方法的实现步骤进行说明。

这里以同步定位与地图构建中关键帧提取方法应用于运行SLAM系统的智能设备上为例进行说明，需要指出的是，该智能设备为可移动的设备，比如，移动机器人、无人车、无人机等。为了实现同步定位与地图构建，智能设备上至少设置有视觉传感器，以采集未知环境中的图像数据，供后续定位和导航使用。

这里的视觉传感器例如是单目相机、双目相机或者RGB-D相机。无论采用哪种相机都是为了采集彩色图像和深度图像，实际应用中应当根据具体需求选择使用的相机，本实施例对此不做限制。

为了减少基于视觉传感器数据的定位误差，本实施例的智能设备上还设置有惯性测量单元(Inertial Measurement Unit，简称IMU)用于采集智能设备运动的加速度信息以及角速度信息，以及码盘传感器，用于采集智能设备的运动的角位移信息。也就是说，本实施例的方法利用IMU传感器，码盘传感器和视觉传感器(比如相机)来分别获取IMU数据、码盘数据和图像数据。

参见图2，本实施例的同步定位与地图构建中关键帧提取方法主要包括以下步骤：数据采集、数据融合、相对运动计算、特征信息提取以及关键帧提取。

数据采集包括获取智能设备的三轴加速度数据以及三轴角速度数据，获取智能设备的角位移数据、获取智能设备采集的图像帧。获取三轴加速度数据以及三轴角速度数据例如从安装在智能设备上的惯性测量单元IMU处获取采集的三轴加速度数据以及三轴角速度数据；获取角位移数据包括从安装在智能设备上的码盘传感器处获取采集的角位移数据；获取智能设备采集的图像帧例如从安装在智能设备上的视觉传感器处获取采集的图像帧。

结合图2对数据采集和获取进行说明。

步骤S210，获取IMU数据；

这里是获取惯性测量单元IMU采集的数据。一般的IMU是使用加速度计和陀螺仪测量物体三轴姿态角(或角速率)以及加速度的装置。加速度计检测物体在载体坐标中独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。另外，为了提高其可靠性IMU可在加速度计和陀螺仪的基础上加入磁力计，可形成9轴IMU。本实施例中获取IMU数据例如是获取三轴加速度计采集的数据以及三轴陀螺仪采集的数据。

步骤S220，获取码盘数据；

即，获取码盘传感器采集的数据。码盘传感器是测量轴的转角位置的一种位移传感器。

通过在智能设备轮子(如在对称的左右两个主动轮)的转轴上安装码盘即可解得左右轮子的路程，根据两轮差速控制理论，进一步可得智能设备的位置信息和角度信息。码盘传感器通常采用光电码盘形式。

步骤S230，获取相机数据；

本步骤中具体是获取智能设备上安装的视觉传感器比如相机采集的图像数据。

在获取三种传感器采集的数据之后，分别进行姿态估计可以得到智能设备的位姿估计值。

步骤S211，IMU姿态估计；

根据IMU采集的三轴角速度和三轴加速度，通过在时间上的积分运算即可解得智能设备的位置信息和角度信息。注：姿态估计为现有技术，可以采用现有技术手段来实现，为便于理解这里结合图3简要说明如下：

获取三轴加速度计和三轴陀螺仪采集的数据，对获取的数据进行模数转换后得到三轴加速度和三轴角速度数据，接着，对陀螺仪采集的角速度信号进行姿态解算，对姿态矩阵进行三角函数计算即提取出智能设备的姿态角和方位角，将加速度计测量的线加速度由载体坐标系变换至世界坐标系进而积分后即可得到速度、位置等参数信息。

步骤S221，码盘姿态估计；

实际应用中，智能设备的轮子分别由直流电机驱动，电机上带有编码器，可以测量轮子的转速和计算轮子的行程。参见图3，码盘姿态估计包括：获取安装在左轮转轴上的码盘，即左轮码盘的数据，获取安装在右轮转轴上的码盘即右轮码盘的数据，将获取的数据输入解码器中解码后分别得到左轮路程以及右轮路程，根据两轮差速控制算法，进一步可解算出智能设备的位置信息和角度信息。

步骤S231，相机姿态估计；

参见图4，相机姿态估计主要包括获取相机采集的彩色图像和深度图像，然后对图像进行特征点提取，对提取的特征点进行特征点匹配，再利用PnP算法求解得到相机的位姿(位置信息和角度信息)，PnP算法是通过世界坐标系中的N(N为自然数)个特征点与图像成像中的N个像点，计算出其投影关系，从而获得相机的位姿。

接着参见图2，在利用三种传感器的数据分别进行姿态估计之后，将姿态估计值进行对齐处理，即，步骤S240，对齐处理；

这里的对齐处理包括时间对齐和空间对齐两部分，具体的将获取的三轴加速度数据以及三轴角速度数据、角位移数据按照图像帧的时间戳进行时间对齐，并进行空间对齐。时间对齐，即为传感器的每帧数据赋予时间戳，实践中，如果IMU传感器和码盘传感器的两帧的时间差小于设定值，则认为两个传感器是同一时刻的数据，也就是说，这里的对齐不要求时间完全一致从而降低计算复杂度，提高效率。空间对齐，是将IMU传感器和码盘传感器的每一帧数据由各自的参考坐标系变换到固定的世界坐标系中。

本实施例在时间对齐和空间对齐之后，利用预定滤波算法对三轴加速度数据以及三轴角速度数据、角位移数据以及图像帧进行融合后，得到图像帧对应的包含位置信息和角度信息的位姿值；将图像帧对应的位姿值与上一关键帧的位姿值对应作差，得到指示上一关键帧时间点到当前时间点的位置变化量和角度变化量。详细的过程将在后续进行说明。

步骤S250，数据融合；

对基于IMU数据算出的第一姿态估计值、基于码盘数据算出的第二姿态估计值以及基于图像数据算出的第三姿态估计值，利用数据融合算法比如EKF(Extended Kalman Filter，扩展卡尔曼滤波)算法进行融合操作，可得到包含位置信息和角度信息的位姿融合值。

利用数据融合算法对多传感器数据融合为现有技术，可以参见现有技术中的说明，这里不再赘述。

需要说明的是，通过上述步骤，在数据融合后可以得到每个图像帧对应的包含位置信息和角度信息的位姿值。将当前的图像帧对应的位姿值与上一关键帧的位姿值对应作差，得到指示上一关键帧时间点到当前时间点的位置变化量和角度变化量，即，得到位置变化量(Δx，Δy)和角度变化量Δθ。

步骤S260，计算相对运动指标；

相对运动指标的计算是本实施例的重点，相对运动是指智能设备(如机器人)的空间运动，计算相对运动指标，反映了智能设备从上一关键帧时间点到当前时间点的运动。

本实施例中，利用获取的包含位置变化量和角度变化量的相对运动信息，确定相对运动指标值，与第三常量、位置变化量以及角度变化量相关的二元函数关系，计算后得到相对运动指标值。这里的第三常量为经验值，是为了调节关键帧的分布，使智能设备在角度发生剧烈变化时提取到更多的关键帧而设置的。即通过步骤S250中的数据融合得到相对运动信息，可以获取到指示不同帧之间旋转关系的矢量(角度变化量)、指示不同帧之间平移关系的向量(位置变化量)，结合第三常量建立相对运动指标值相对于位置变化量、角度变化量这两个变量的二元函数关系，从而计算得到相对运动指标值。第三常量可以同时应用于位置变化量、角度变化量；或者将第三常量、包括第三常量及其他常量的线性关系分别应用于位置变化量、角度变化量；或者仅将第三常量、包括第三常量及其他常量的线性关系应用在位置变化量和角度变化量中的一个。

接着看图2，图2的右侧示意了本实施例的方法的另一重点，即，自适应阈值的计算，下面进行说明。

步骤S270，特征提取；

这里是对图像进行特征信息提取，即，从图像中寻找那些随着相机视角发生改变而基本保持不变的点，通过这些点即可估计相机位姿以及定位一般的，图像中的角点相对于像素块更容易辨识。所以大部分特征提取都是在提取图像的角点位置以及对角点的描述，角点即局部像素灰度变化明显的地方。

目前主流的特征包括SIFT(Scale-Invariant Feature Transform，)、SURF(Speeded Up Robust Features)和FAST(Features From Accelerated Segment Test)三种。SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性。SURF是SIFT的改进，它利用Haar小波来近似SIFT方法中的梯度操作，同时利用积分图技术进行快速计算，SURF应用于对运行时间要求高的场合。FAST主要用于角点检测，FAST将角点定义为：若某像素点与其周围领域内足够多的像素点处于不同的区域，则该像素点可能为角点。考虑灰度图像，即若该点的灰度值比其周围领域内足够多的像素点的灰度值大或者小，则该点可能为角点。

需要说明的是，无论提取哪种特征，都是为了使图像具有足够的特征信息，以便定位和导航。

本实施例以ORB算法为例对特征提取进行说明。ORB采用FAST算法来检测特征点并给FAST特征点增加了方向性，使得特征点具有旋转不变性，并提出了构造金字塔方法，解决尺度不变性。

参见图6，ORB特征提取包括：特征点初检测、非极大值抑制、DOG金字塔检测、灰度质心检测以及特征点子描述计算五个步骤。

需要说明的是，这里的特征提取为现有技术，有关特征提取的更多实现细节可以参见现有技术中的说明，此处不再赘述。

在对图像帧进行特征提取后得到了特征点的信息，包括位置、描述等信息，本实施例中重点关注特征点的数量信息。

步骤S280，计算自适应阈值；

本实施例中，利用获取的相对运动信息计算对应的相对运动指标值(见步骤S260中的说明)，根据相对运动指标值、指示相对运动指标阈值的第一常量以及指示特征点数量阈值的第二常量，计算当前使用的自适应阈值。

本实施例中将相对位置(即空间信息)作为关键帧提取的指标，通过获取当前帧和上一关键帧时间点的位置变化和角度变化并计算得到，进而利用相对运动指标计算自适应阈值。

由此，通过设置特征点的自适应阈值，解决了机器人运动剧烈时匹配到的特征点数量少，固定阈值容易导致关键帧提取失败(即，提取到的关键帧数量不足)的问题。而且把相对运动作为关键帧提取的指标，提高了定位精度。比如当进行定位时，智能设备通过点云地图的关键帧上的特征点的相似度进行匹配来判断智能设备在地图上的位置，点云地图上的关键帧在空间上均匀分布，保证了精准定位。

步骤S290，提取关键帧。

可以理解，选取的关键帧用于SLAM中点云地图的构建，所以，关键帧中特征点的丰富性影响着定位的精度。

为了满足全局定位的需求，本实施例中通过调整构建点云地图的关键帧的分布使其尽量均匀，并且在地图拐角处等角度变化大的地方关键帧密集，从而提高定位的准确度。

具体的，提取关键帧过程如下：判断特征点的数量是否大于对应的自适应阈值；如果特征点的数量大于对应的自适应阈值，则确定图像帧是初步关键帧；如果特征点的数量不大于对应的自适应阈值，则确定图像帧不是关键帧。其中，特征点的数量在步骤S270中得到，自适应阈值在步骤S280中计算得到。

进一步的，为了保证关键帧的均匀分布，本实施例中对确定的初步关键帧，利用获取的相对运动信息，计算对应的相对运动指标值；判断初步关键帧对应的相对运动指标值是否大于预设的指标阈值；是则，确定初步关键帧为最终的关键帧；否则，确定初步关键帧不是关键帧。也就是说，如果初步关键帧对应的相对运动指标值大于预设的指标阈值则确定初步关键帧是最终的关键帧，将其添加到关键帧库中，如果初步关键帧对应的相对运动指标值小于或等于预设的指标阈值则确定初步关键帧不是关键帧。

至此，本发明实施例计算相对运动指标值和自适应阈值，利用相对运动指标值和自适应阈值筛选关键帧，从而优化了关键帧提取，剔除了SLAM点云地图中冗余的关键帧，节约了系统资源，使点云地图中的关键帧分布更加均匀，提高了定位导航精度。

与前述同步定位与地图构建中关键帧提取方法同属于一个技术构思，本发明实施例还提供了一种同步定位与地图构建中关键帧提取装置，参见图7，本实施例的同步定位与地图构建中关键帧提取装置700包括：

特征提取模块701，用于从存储多帧未知环境的图像的图像库中获取一个图像帧，对该图像帧进行特征提取得到特征点的信息，该信息包括特征点的数量；

计算模块702，用于获取图像帧相对于上一关键帧的相对运动信息，并利用相对运动信息计算当前使用的自适应阈值；

关键帧筛选模块703，用于根据特征点的信息和指示了图像帧空间信息的自适应阈值，筛选关键帧。

在本发明的一个实施例中，关键帧筛选模块703，具体用于判断特征点的数量是否大于对应的自适应阈值；如果特征点的数量大于对应的自适应阈值，则确定图像帧是初步关键帧；如果特征点的数量不大于对应的自适应阈值，则确定图像帧不是关键帧。

在本发明的一个实施例中，关键帧筛选模块703用于对确定的初步关键帧，利用获取的相对运动信息，计算对应的相对运动指标值；判断初步关键帧对应的相对运动指标值是否大于预设的指标阈值；是则，确定初步关键帧为最终的关键帧；否则，确定初步关键帧不是关键帧。

进一步的，计算模块702具体用于利用获取的相对运动信息计算对应的相对运动指标值；根据相对运动指标值、指示相对运动指标阈值的第一常量以及指示特征点数量阈值的第二常量，计算当前使用的自适应阈值。

在一个实施例中，计算模块702利用获取的包含位置变化量和角度变化量的相对运动信息，确定相对运动指标值，与第三常量、位置变化量以及角度变化量相关的二元函数关系，计算后得到相对运动指标值。

在一个实施例中，计算模块702获取智能设备的三轴加速度数据以及三轴角速度数据，获取智能设备的角位移数据；将获取的三轴加速度数据以及三轴角速度数据以及角位移数据按照图像帧的时间戳进行时间对齐，并进行空间对齐；在时间对齐和空间对齐之后，利用预定滤波算法对三轴加速度数据以及三轴角速度数据、角位移数据以及图像帧进行融合后，得到图像帧对应的包含位置信息和角度信息的位姿值；将图像帧对应的位姿值与上一关键帧的位姿值对应作差，得到指示上一关键帧时间点到当前时间点的位置变化量和角度变化量。

在一个实施例中，计算模块702从安装在智能设备上的惯性测量单元处获取采集的三轴加速度数据以及三轴角速度数据；从安装在智能设备上的码盘传感器处获取采集的角位移数据；从安装在智能设备上的视觉传感器处获取采集的图像帧。

关于图7所示装置中的各模块所执行的各功能的举例解释说明，参照前述方法实施例中的举例解释说明的相关内容，这里不再一一赘述。

本发明实施例中还提供了一种智能设备，参见图8，智能设备800包括：设备本体801，如上述的同步定位与地图构建中关键帧提取装置700，设备本体801的底部安装有至少一个用于移动的轮子802，设备本体801上设置有传感器803，传感器803与同步定位与地图构建中关键帧提取装置700连接；

传感器803包括视觉传感器，该视觉传感器采集未知环境的图像得到图像帧，将采集的图像帧存储到图像库中，并将相应的图像帧发送至同步定位与地图构建中关键帧提取装置700；传感器803包括运动传感器，运动传感器获取图像帧相对于上一关键帧的相对运动信息，并将相对运动信息发送至同步定位与地图构建中关键帧提取装置700。

有关图8所示智能设备的SLAM关键帧提取的步骤和功能参见前述同步定位与地图构建中关键帧提取方法和装置中的说明这里不再赘述，本实施例中重点对智能设备的结构进行说明。

参见图9，一个实施例中智能设备为智能无人车，设备本体为车体900，车体900具有头部和尾部；

轮子包括：主动轮902和从动轮903(图9示意了两对从动轮)；

运动传感器包括：用于采集车体运动的加速度信息以及角速度信息的惯性测量单元904以及用于采集车体运动的角位移的码盘传感器，

惯性测量单元904安装在尾部上且距离车体中心(图9中点断线示意处)大于预定距离阈值，

码盘传感器(参见图9中实心圆示意处)安装在主动轮902以及从动轮903的转轴上，并与转轴的驱动电机连接；

视觉传感器901安装在头部上光线无遮挡的位置。

如图9所示，本实施例的智能无人车包括一对主动轮和前后两对从动轮轮。在同步定位和地图构建过程中，需要采集图像信息作为定位导航依据，故无人车上安装了前置的相机(图9中901示意处)，相机设置在前方是为了保证采集到的图像不受遮挡。另外，为了采集到较好的惯性数据，车体上安装后置惯性测量单元，惯性测量单元与车体中心的距离大于预定距离阈值，即，惯性测量单元应尽量离车体中心远。车体由中间的一对主动轮差分驱动，驱动电机处装有码盘，用于返回一对主动轮的码盘数据。

本实施例的智能设备不限于无人车，还可以是无人飞机、移动机器人等可移动的，能够进行同步定位和地图构建的智能设备。

综上所述，本发明实施例的关键帧提取方法和装置，以及智能设备避免了关键帧提取时关键帧冗余以及关键帧空间分布不均的问题，有利于节约系统资源并提高定位精度。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。

Claims

一种同步定位与地图构建中关键帧提取方法，其特征在于，包括：

从存储多帧未知环境的图像的图像库中获取一个图像帧，对该图像帧进行特征提取得到特征点的信息，该信息包括特征点的数量；

获取所述图像帧相对于上一关键帧的相对运动信息，并利用相对运动信息计算当前使用的自适应阈值；

根据所述特征点的信息和指示了图像帧空间信息的自适应阈值，筛选关键帧。
根据权利要求1所述的方法，其特征在于，根据所述特征点的信息和指示了图像帧空间信息的自适应阈值，筛选关键帧包括：

判断特征点的数量是否大于对应的自适应阈值；

如果特征点的数量大于对应的自适应阈值，则确定所述图像帧是初步关键帧；

如果特征点的数量不大于对应的自适应阈值，则确定所述图像帧不是关键帧。
根据权利要求2所述的方法，其特征在于，该方法进一步包括：

对确定的初步关键帧，利用获取的所述相对运动信息，计算对应的相对运动指标值；

判断初步关键帧对应的相对运动指标值是否大于预设的指标阈值；

是则，确定初步关键帧为最终的关键帧；

否则，确定初步关键帧不是关键帧。
根据权利要求1所述的方法，其特征在于，所述获取所述图像帧相对于上一关键帧的相对运动信息，并利用相对运动信息计算当前使用的自适应阈值包括：

利用获取的相对运动信息计算对应的相对运动指标值；

根据所述相对运动指标值、指示相对运动指标阈值的第一常量以及指示特征点数量阈值的第二常量，计算当前使用的自适应阈值。
根据权利要求4所述的方法，其特征在于，所述利用获取的相对运动信息计算对应的相对运动指标值包括：

利用获取的包含位置变化量和角度变化量的相对运动信息，

确定相对运动指标值，与第三常量、所述位置变化量以及所述角度变化量相关的二元函数关系，计算后得到相对运动指标值。
根据权利要求5所述的方法，其特征在于，获取所述图像帧相对于上一关键帧的相对运动信息包括：

获取智能设备的三轴加速度数据以及三轴角速度数据，获取智能设备的角位移数据；

将获取的所述三轴加速度数据以及三轴角速度数据以及所述角位移数据按照图像帧的时间戳进行时间对齐，并进行空间对齐；

在时间对齐和空间对齐之后，利用预定滤波算法对所述三轴加速度数据以及三轴角速度数据、所述角位移数据以及所述图像帧进行融合后，得到所述图像帧对应的包含位置信息和角度信息的位姿值；

将所述图像帧对应的位姿值与上一关键帧的位姿值对应作差，得到指示上一关键帧时间点到当前时间点的位置变化量和角度变化量。
根据权利要求6所述的方法，其特征在于，所述获取智能设备的三轴加速度数据以及三轴角速度数据包括：

从安装在智能设备上的惯性测量单元处获取采集的三轴加速度数据以及三轴角速度数据；

所述获取智能设备的角位移数据包括：从安装在智能设备上的码盘传感器处获取采集的角位移数据；

所述获取智能设备采集的图像帧包括：从安装在智能设备上的视觉传感器处获取采集的图像帧。
一种同步定位与地图构建中关键帧提取装置，其特征在于，包括：

特征提取模块，用于从存储多帧未知环境的图像的图像库中获取一个图像帧，对该图像帧进行特征提取得到特征点的信息，该信息包括特征点的数量；

计算模块，用于获取所述图像帧相对于上一关键帧的相对运动信息，并利用相对运动信息计算当前使用的自适应阈值；

关键帧筛选模块，用于根据所述特征点的信息和指示了图像帧空间信息的自适应阈值，筛选关键帧。
根据权利要求8所述的装置，其特征在于，所述关键帧筛选模块，具体用于判断特征点的数量是否大于对应的自适应阈值；如果特征点的数量大于对应的自适应阈值，则确定所述图像帧是初步关键帧；如果特征点的数量不大于对应的自适应阈值，则确定所述图像帧不是关键帧。
根据权利要求8所述的装置，其特征在于，所述关键帧筛选模块，用于对确定的初步关键帧，利用获取的所述相对运动信息，计算对应的相对运动指标值；判断初步关键帧对应的相对运动指标值是否大于预设的指标阈值；是则，确定初步关键帧为最终的关键帧；否则，确定初步关键帧不是关键帧。
根据权利要求8所述的装置，其特征在于，

所述计算模块，具体用于利用获取的相对运动信息计算对应的相对运动指标值；根据所述相对运动指标值、指示相对运动指标阈值的第一常量以及指示特征点数量阈值的第二常量，计算当前使用的自适应阈值。
根据权利要求11所述的装置，其特征在于，所述计算模块，进一步用于：

利用获取的包含位置变化量和角度变化量的相对运动信息，确定相对运动指标值，与第三常量、所述位置变化量以及所述角度变化量相关的二元函数关系，计算后得到相对运动指标值。
根据权利要求12所述的装置，其特征在于，所述计算模块，进一步用于：

获取智能设备的三轴加速度数据以及三轴角速度数据，获取智能设备的角位移数据；将获取的所述三轴加速度数据以及三轴角速度数据以及所述角位移数据按照图像帧的时间戳进行时间对齐，并进行空间对齐；在时间对齐和空间对齐之后，利用预定滤波算法对所述三轴加速度数据以及三轴角速度数据、所述角位移数据以及所述图像帧进行融合后，得到所述图像帧对应的包含位置信息和角度信息的位姿值；将所述图像帧对应的位姿值与上一关键帧的位姿值对应作差，得到指示上一关键帧时间点到当前时间点的位置变化量和角度变化量。
一种智能设备，其特征在于，包括：设备本体，如上述权利要求8所述的同步定位与地图构建中关键帧提取装置，

设备本体的底部安装有至少一个用于移动的轮子，设备本体上设置有传感器，传感器与所述关键帧提取装置连接；

所述传感器包括视觉传感器，该视觉传感器采集未知环境的图像得到图像帧，将采集的图像帧存储到图像库中，并将相应的图像帧发送至所述关键帧提取装置；

所述传感器包括运动传感器，该运动传感器获取所述图像帧相对于上一关键帧的相对运动信息，并将相对运动信息发送至所述关键帧提取装置。
根据权利要求14所述的智能设备，其特征在于，所述智能设备为智能无人车，

所述设备本体为车体，车体具有头部和尾部；

所述轮子包括：主动轮和从动轮；

所述运动传感器包括：用于采集车体运动的加速度信息以及角速度信息的惯性测量单元以及用于采集车体运动的角位移的码盘传感器。
根据权利要求15所述的智能设备，其特征在于，

所述惯性测量单元安装在尾部上且距离车体中心大于预定距离阈值。
根据权利要求15所述的智能设备，其特征在于，

所述码盘传感器安装在主动轮以及从动轮的转轴上，并与转轴的驱动电机连接；
根据权利要求15所述的智能设备，其特征在于，

所述视觉传感器安装在车体头部上光线无遮挡的位置。