WO2019062291A1 - 一种双目视觉定位方法、装置及系统 - Google Patents

一种双目视觉定位方法、装置及系统 Download PDF

Info

Publication number
WO2019062291A1
WO2019062291A1 PCT/CN2018/096185 CN2018096185W WO2019062291A1 WO 2019062291 A1 WO2019062291 A1 WO 2019062291A1 CN 2018096185 W CN2018096185 W CN 2018096185W WO 2019062291 A1 WO2019062291 A1 WO 2019062291A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature points
change information
inertial measurement
measurement unit
pose change
Prior art date
Application number
PCT/CN2018/096185
Other languages
English (en)
French (fr)
Inventor
宋浩冉
戴天荣
任玉川
李舜铭
曹进喜
Original Assignee
歌尔股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 歌尔股份有限公司 filed Critical 歌尔股份有限公司
Priority to US16/302,024 priority Critical patent/US10989540B2/en
Publication of WO2019062291A1 publication Critical patent/WO2019062291A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

提供了一种双目视觉定位方法、装置及系统。其中，该方法包括：根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息（101）；根据惯性测量单元在连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息（102）；分别从两帧图像中提取两帧图像上相匹配的特征点，并计算各特征点的重投影误差（103）；将以上计算得到的结果作为通用图优化算法的节点或边，以得到优化后的用于定位的第三位姿变化信息（104）。该系统包括：双目视觉定位装置以及与之连接的双目摄像单元和惯性测量单元；该双目摄像单元的左目相机和右目相机对称位于惯性测量单元的两侧。该定位方法能够提高位置姿态的估计精度和实时性。

Description

一种双目视觉定位方法、装置及系统
交叉引用
本申请引用于2017年9月29日递交的名称为“一种双目视觉定位方法、装置及系统”的第201710908182.6号中国专利申请，其通过引用被全部并入本申请。
技术领域
本申请涉及定位技术领域，尤其涉及一种双目视觉定位方法、装置及系统。
背景技术
同时定位与建图(Simultaneous Localization And Mapping，SLAM)技术是机器人领域的重要技术。目前，已被广泛应用到移动机器人，无人机，虚拟现实以及增强现实等领域。
目前SLAM技术分为两个部分：前端和后端。前端部分主要是传感器信息的采集，后端部分主要是对传感器信息进行处理，包括位置姿态计算、位置姿态优化、回环检测以及构图等。目前SLAM主要使用摄像头来采集信息，而摄像头很容易受到环境(比如灯光，白墙，桌面等)的影响，导致无法进行位置姿态估计。并且，目前SLAM使用的后端数据处理算法也难以满足实时性要求高的应用场景。
可见，现有的空间定位和建图方法不仅对位置姿态的估计精度较低，实时性也较差。
发明内容
本申请实施例提供一种双目视觉定位方法、装置及系统，目的在于提高位置姿态的估计精度和实时性。
在本申请的一个实施例中，提供了一种双目视觉定位方法。该方法包括：根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；根据双目摄像单元上的惯性测量单元在该连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；分别从两帧图像中提取两帧图像上相匹配的特征点，并计算各特征点的重投影误差；将第一位姿变化信息和两帧图像上相匹配的特征点作为通用图优化算法的节点，将第一位姿变化信息与第二位姿变化信息的差值以及各特征点的重投影误差作为通用图优化算法的边，经通用图优化算法优化计算得到用来定位的第三位姿变化信息。
在本申请的另一实施例中，提供了一种双目视觉定位装置。该装置包括： 第一计算模块，用于根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；第二计算模块，用于根据惯性测量单元在该连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；第三计算模块，用于分别从两帧图像中提取两帧图像上相匹配的特征点，并计算各特征点的重投影误差；定位模块，用于将双目摄像单元在两个时刻的位姿信息和两帧图像上相匹配的特征点作为通用图优化算法的节点，将第一位姿变化信息与第二位姿变化信息的差值以及各特征点的重投影误差作为通用图优化算法的边，经通用图优化算法优化计算得到用来定位的位姿信息。
在本申请的另一实施例中，提供了一种双目视觉定位系统。该系统包括：双目摄像单元、惯性测量单元以及上述双目视觉定位装置；双目摄像单元包括左目相机和右目相机；惯性测量单元设置在双目摄像单元上，且左目相机和右目相机对称位于惯性测量单元的两侧；双目摄像单元和惯性测量单元分别与双目视觉定位装置连接。
本申请实施例提供的技术方案中，联合双目摄像单元和惯性测量单元来进行位姿估计，引入惯性测量单元可减少仅根据双目摄像单元进行位姿估计的误差；并且，在双目摄像单元运动剧烈时、受到周围环境噪声影响时或是处于特征纹理较少的区域时，还可根据惯性测量单元采集到的数据进行位姿估计，显著提高稳定性，避免因双目摄像单元受环境影响导致的无法进行位姿估计等问题。此外，使用通用图优化算法来对位姿估计进行优化，可有效减少数据处理时间，提高实时性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的双目视觉定位方法的流程示意图；
图2为基于本申请一实施例提供的双目视觉定位方法计算得到多个特征点的位置信息构建出的一示例性的局部环境地图；
图3为本申请又一实施例提供的双目视觉定位方法的流程示意图；
图4为本申请又一实施例提供的双目视觉定位方法中采用的通用图优化图形架构的示意图；
图5为本申请一实施例提供的双目摄像单元与惯性测量单元的结构示意图；
图6为本申请一实施例提供的双目视觉定位装置的结构框图；
图7为本申请又一实施例提供的双目视觉定位装置内的处理器和存储器的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请一实施例提供的双目视觉定位方法的流程示意图。该方法，包括：
步骤101、根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息。
步骤102、根据双目摄像单元上的惯性测量单元在连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息。
步骤103、分别从两帧图像中提取两帧图像上相匹配的特征点，并计算各特征点的重投影误差。
步骤104、将第一位姿变化信息和两帧图像上相匹配的特征点作为通用图优化算法的节点，将第一位姿变化信息与第二位姿变化信息的差值以及各特征点的重投影误差作为通用图优化算法的边，经通用图优化算法优化计算得到用来定位的第三位姿变化信息。
在上述步骤101中，可对两帧图像中的特征点进行提取和匹配，再根据两帧图像中特征点的坐标信息可确定出第一位姿变化信息。具体地：从两帧图像的前一帧图像中，提取多个前帧特征点；获取多个前帧特征点的坐标信息；分别从两帧图像的后一帧图像中查找与多个前帧特征点相匹配的多个后帧特征点；获取多个后帧特征点的坐标信息；根据多个前帧特征点的坐标信息和多个后帧特征点的坐标信息，计算双目摄像单元的旋转变换矩阵及位移变化向量，以得到第一位姿变化信息。
在实际应用中，可通过SIFT算法(Scale-invariant feature transform，SIFT)或SURF算法(Speeded-Up Robust Features，SURF)来实现两帧图像之间的特征点提取和匹配。优选的，在本实施例中所使用的特征点可以为ORB(Oriented FAST and Rotated BRIEF)特征点，ORB特征点是对FAST特征以及BRIEF描述子的一种改进特征点，相比于其他特征点，ORB特征点效率高， 并且具有旋转不变性。从前一帧图像中提取多个前帧特征点，再从后一帧图像中分别提取与各前帧特征点匹配的后帧特征点，获得多个后帧特征点。多个前帧特征点的坐标信息为基准坐标系(例如：世界坐标系)下的三维坐标或者为像平面坐标系下的二维坐标。通常，根据特征点在某一帧图像中的右目图像和左目图像的二维坐标(即像平面坐标系下的二维坐标)，通过三角化重建方法可重现出该特征点在基准坐标系下的三维坐标。后帧特征点的坐标信息为像平面坐标系下的二维坐标或者为基准坐标系下的三维坐标。根据多个前帧特征点的坐标信息以及多个后帧特征点的坐标信息，可确定出投影矩阵，根据投影矩阵可确定出双目摄像单元的旋转变换矩阵以及位移变化向量，也就确定出了第一位姿变化信息。采用该投影矩阵将前帧特征点的基准坐标系下的三维坐标投影至后一帧图像的像平面的投影坐标与前帧特征点相匹配的后帧特征点的像平面坐标系下的二维坐标之间的误差最小。
在一种可实现的方案中，当多个前帧特征点的坐标信息为多个前帧特征点在基准坐标系下的三维坐标时，则可通过以下方法来获取多个前帧特征点的坐标信息：获取多个前帧特征点在前一帧图像的左目图像和右目图像中的二维坐标；根据多个前帧特征点的二维坐标、双目摄像单元的焦距及双目摄像单元的基线，计算多个前帧特征点的深度信息；根据多个前帧特征点在前一帧图像的左目图像和右目图像中的二维坐标以及深度信息，得到多个前帧特征点的三维坐标。
其中，双目摄像单元包括左目相机和右目相机。左目图像为左目相机拍摄得到的，右目图像为右目相机拍摄得到的。根据左目和右目图像来计算视差，根据视差即可得到特征点的深度信息。例如：空间点P，它在左右相机上各生成一个像素点(即为特征点)，分别为P L和P R，两者在像素坐标系下的二维坐标分别为U L和U R。双目相机的基线为b，双目相机的焦距为f，那么空间点P的深度z可通过以下公式来计算：
d＝U L-U R       (1)
Figure PCTCN2018096185-appb-000001
其中，d即为左右相机拍摄到的图像的视差。通过公式(2)即可计算得到空间点P的深度信息Z。一般来说，视差越大，可估计的空间深度越远，视差越小，可估计的空间深度越近。
得到深度信息之后，根据多个前帧特征点的像平面坐标系二维坐标以及深度信息可直接确定出多个前帧特征点在相机坐标系下的三维坐标。根据双目摄像单元在连续两个时刻中的前一时刻时的位姿状态信息，通过坐标转换即可将相机坐标系下的三维坐标转换到基准坐标系下的三维坐标。
上述步骤102中，惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。通常惯性测量单元会连续采集惯性参数。获取惯性测量单元在所述连续的两个时刻之间采集的惯性参数，可对惯性参数进行时间上的积分以得到第二位姿变化信息。
这里需要说明的是：双目摄像单元的图像采集的帧率一般为20Hz～60Hz，而惯性测量单元进行加速度以及角速度的采集速度可以达到最高1000Hz，如果将惯性测量单元采集到的所有角速度和加速度均输入到通用图优化算法中进行计算，则会导致节点过多，计算量过大的问题。预积分可以将两帧或任意帧间的惯性测量信息(角速度和加速度)进行积分，得到一个常数，作为两帧间的运动约束，这样会显著减少节点信息，降低计算负担。通过流形上的预积分得到角速度、速度、位置等信息作为双目摄像单元运动过程中两个时刻位姿间的约束，具体如下：
Figure PCTCN2018096185-appb-000002
Figure PCTCN2018096185-appb-000003
Figure PCTCN2018096185-appb-000004
其中，w以及WB均为角速度，
Figure PCTCN2018096185-appb-000005
表示i状态下世界坐标系的旋转矩阵；
Figure PCTCN2018096185-appb-000006
表示i+1状态下世界坐标系的旋转矩阵；
Figure PCTCN2018096185-appb-000007
表示g关于ΔR的雅克比矩阵；ΔR i,i+1表示为第i时刻到第i+1时刻的旋转差；
Figure PCTCN2018096185-appb-000008
为i状态下重力加速度的偏置；
Figure PCTCN2018096185-appb-000009
为i状态下位移向量；
Figure PCTCN2018096185-appb-000010
表示世界坐标系下i+1状态的位移向量；
Figure PCTCN2018096185-appb-000011
表示世界坐标系下i状态的速度向量；Δt i,i+1为第i时刻到第i+1时刻的时差；g w以及g均为重力加速度；ΔP i,i+1为第i时刻到第i+1时刻的位移差；
Figure PCTCN2018096185-appb-000012
为g关于Δp的雅克比矩阵；
Figure PCTCN2018096185-appb-000013
表示为i状态下加速度的偏置；
Figure PCTCN2018096185-appb-000014
表示世界坐标系下i+1状态的速度向量；
Figure PCTCN2018096185-appb-000015
表示世界坐标系下i状态的速度向量；ΔV i,i+1第i时刻到第i+1时刻的速度差；
Figure PCTCN2018096185-appb-000016
表示为g关于Δv的雅克比矩阵；
Figure PCTCN2018096185-appb-000017
表示为a关于Δp的雅克比矩阵。
在一种可实现的方案，上述步骤102中“根据双目摄像单元上的惯性测量单元在连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息”，具体可包括：对惯性测量单元在连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到第二位姿变化信息。具体地，惯性测量单元包括三轴加速度传感器和陀螺仪，惯性参数包括：角速度和加速度。对惯性测量单元在连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到第二位姿变化信息的步骤，具体可采用如下方式实现：对惯性测量单元在连续的两个时刻之间采集的角速度进行流形上的预积分，得到惯性测量单元的旋转变换矩阵；对惯性测量单元在连续两个时刻之间采集的加速度进行流形上的预积分，得到惯性测量单元的位移变化向量；其中，第二位姿变化信息包括：惯性测量单元的旋转变换矩阵及惯性测量单元的位移变化向量。
上述步骤103中，特征点的重投影误差指的是采用上述投影矩阵得到的投影点与图像上测量点之间的误差，即采用上述投影矩阵将前帧特征点的基准坐标系下的三维坐标投影至后一帧图像的像平面的投影坐标与前帧特征点 相匹配的后帧特征点的像平面坐标系下的二维坐标之间的误差即为前帧特征点的重投影误差。
在上述步骤104中，采用通用图优化算法G2O(General Graph Optimization)来对第一位姿信息、第二位姿信息以及特征点的基准坐标系下的三维坐标进行优化。采用G2O进行优化之前，需要对其中的节点和边进行定义：将双目摄像单元第一位姿变化信息和两帧图像上相匹配的特征点作为通用图优化算法的节点，将第一位姿变化信息与第二位姿变化信息的差值以及各特征点的重投影误差作为通用图优化算法的边，经通用图优化算法优化计算得到用于定位的位姿信息。
具体地，将双目摄像单元第一位姿变化信息作为通用图像优化算法的第一位姿节点；两帧图像中特征点坐标作为通用图像优化算法中的多个第一路标节点；将多个前帧特征点的重投影误差作为第一位姿节点分别连接多个第一路标节点的第一边；将第一位姿变化信息与第二位姿变化信息的差值作为连接第一位姿节点和第二位姿节点的第二边；将第一位姿节点、多个第一路标节点、第一位姿节点分别连接多个第一路标节点的第一边以及第二边作为输入，经通用图优化算法优化计算得到用于定位的第三位姿变化信息及两帧图像中相匹配的特征点的位置信息。
上述第一位姿变化信息包括第一旋转变化矩阵Rc及第一位移变化矩阵Tc；第二位姿变化信息包括第二旋转变换矩阵Ri及第二位移变化矩阵Ti。第一位姿变化信息与第二位姿变化信息的差值e se3可表征为如下的公式：
Figure PCTCN2018096185-appb-000018
本申请实施例提供的技术方案中，联合双目摄像单元和惯性测量单元来进行位姿估计，引入惯性测量单元可减少仅根据双目摄像单元进行位姿估计的误差；并且在双目摄像单元运动剧烈时、受到周围环境噪声影响时或是处于特征纹理较少的区域时，还可根据惯性测量单元采集到的数据进行位姿估计，显著提高稳定性，避免因双目摄像单元受环境影响导致的无法进行位姿估计等问题。此外，使用通用图优化算法来对位姿估计进行优化，可有效减少数据处理时间，提高实时性。
需要说明的是，在得到第三位姿变化信息之后，可获取双目摄像单元在该连续的两个时刻的前一时刻的位姿信息，根据前一时刻的位姿信息和优化后的位姿变化信息即可得到双目摄像单元在后一时刻的位姿信息。具体地，双目摄像单元在两个时刻的前一个时刻的位姿信息可默认为初始位姿信息，基于上述计算得到的第三位姿变化信息以及初始位姿信息，即可得到两个时刻的后一时刻的位姿信息。上述将两个时刻的前一个时刻的位姿信息默认为初始位姿信息的情况，适用于双目摄像单元刚启动的情况。若两个时刻是双目摄像单元启动后的两个时刻，即需将时间轴往早于两个时刻的方向推进，双目摄像单元在启动T0时的位姿信息可默认为初始位姿信息；基于上述位姿变化计算方法即可计算后一帧T1相对启动T0时的位姿变化信息(即优化后的位姿变化信息)，随后根据位姿变化信息及初始位姿信息就能计算得到后一 帧T1双目摄像单元的位姿信息；有了T1时双目摄像单元的位姿信息又可按照上述计算过程得到T2时双目摄像单元的位姿信息。由此不断计算，就能得到每个时刻时双目摄像单元采用上述双目视觉定位算法确定的位姿信息以对双目摄像单元进行准确定位。
进一步的，上述步骤104中，将第一位姿变化信息和两帧图像上相匹配的特征点作为通用图优化算法的节点，将第一位姿变化信息与第二位姿变化信息的差值以及各特征点的重投影误差作为通用图优化算法的边，经通用图优化算法优化计算得到用来定位的第三位姿变化信息的同时，还可得到两帧图像中相匹配的特征点的位置信息。相应的，上述实施例提供的双目视觉定位方法还可包括：根据两帧图像中相匹配的特征点的位置信息，构建环境地图。
其中，上述计算得到的两帧图像中相匹配的特征点可以是多个，如10万个或20万个。实际应用中，特征点越多，后续基于这些特征点构建的环境地图更加详细。上述两帧图像中相匹配的特征点的位置信息，即可作为周围环境的局部地图。例如图2所示为20万个特征点组成的环境稀疏地图。这里经通用图优化算法优化计算得到特征点的位置信息可以是特征点在基准坐标系下的三维坐标。
图3为本申请又一实施例提供的双目视觉定位方法的流程示意图。该方法包括：
步骤201、根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息。
步骤202、根据双目摄像单元上的惯性测量单元在连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息。
步骤203、分别从两帧图像中提取两帧图像上相匹配的特征点，并计算各特征点的重投影误差。
步骤204、计算第一位姿变化信息及第二位姿变化信息的差值。
步骤205、基于双目摄像单元第一位姿变化信息、两帧图像上相匹配的特征点、各特征点的重投影误差及第一位姿变化信息及第二位姿变化信息的差值，定义通用图优化算法的节点和边。
步骤具体的，上述定义通用图优化算法的节点和边的过程包括：
步骤2051、将双目摄像单元在第一位姿变化信息作为通用图像优化算法的第一位姿节点。
步骤2052、两帧图像中特征点坐标作为通用图像优化算法中的多个第一路标节点。
步骤2053、将多个前帧特征点的重投影误差作为第一位姿节点分别连接多个第一路标节点的第一边。
步骤2054、将第一位姿变化信息与第二位姿变化信息的差值作为连接第一位姿节点和第二位姿节点的第二边。
步骤206、将第一位姿节点、多个第一路标节点、第一位姿节点分别连接多个第一路标节点的第一边以及第二边作为输入，经所述通用图优化算法优 化计算得到用于定位的第三位姿信息及所述两帧图像中相匹配的特征点的位置信息。
步骤207、根据所述两帧图像中相匹配的特征点的位置信息，构建环境地图。
上述步骤201-204可参见上述实施例中相应内容，在此不再赘述。
上述步骤205中，通用图优化(General Graph Optimization，G2O)带有多种多样的求解器，且顶点和边的类型也很多样。通过自定义节点和边，事实上一个优化问题能够表达成图，就可以用G2O来求解。本实施例提供的方案中，采用上述步骤2051～2054中示出的定义方式定义了节点和边，将定位优化问题表达成如图4所示的图形，以采用G2O来求解。这里需要注意的是：图4仅示出了图形的一部分，而不是本方案的全貌图形。因为两帧图像中相匹配的特征点的数量较多，每个特征点作为图形中的一个路标节点；图4不能完全表现出来。参见图4，Z i、Z j及Z k为路标节点，即图像中某一特征点的三维坐标；X i、X j及X k为位姿节点，即双目摄像单元在某连续两个时刻的第一位姿变化信息(包括旋转矩阵R及位移矩阵T)；E i、E j及E k为路标节点与位姿节点之间的边，即特征点Z i的三维坐标的重投影误差、Z j的三维坐标的重投影误差及Z k的三维坐标的重投影误差；E ij及E jk为位姿间的位姿误差，即采用双目摄像单元在连续的两个时刻采集的两帧图像计算的第一位姿变化信息与采用惯性测量单元在连续的两个时刻之间采集的惯性参数计算得到的第二位姿变化信息之间的差值。
上述步骤207中，例如：路标点用G2O中自带的g2o::VertexSE3Expmap表示，即上述第一路标节点；位姿节点用G2O中自带的g2o::VertexSE3表示；第一边可用G2O中自带的g2o::EdgeSE3ProjectXYZ表示，即第一位姿节点分别连接多个第一路标节点的第一边；第二边可用G2O中自带的g2o::EdgeSE3表示，即第一位姿变化信息与第二位姿变化信息的差值。
需要说明的是，在G2O初始化时，将求解问题用图进行表示。在G2O优化过程中，可采用LM(Levenberg-Marquardt)算法进行迭代求解，LM算法是对高斯-牛顿法的一种改进和优化，其收敛速度较快且步长会不断调整。
在上述各实施例或下述各实施例中，上述方法还包括：若从两帧图像的后一帧图像中未查找到与各前帧特征点相匹配的后帧特征点；将第二位姿变化信息作为用于定位的第三位姿变化信息进行输出，直至从所述两帧图像的后一帧图像中查找到各所述前帧特征点匹配的后帧特征点为止。
若从所述两帧图像的后一帧图像中未查找到与各所述前帧特征点相匹配的后帧特征点，则说明无法通过双目摄像单元进行位姿估计，因此，可使用惯性测量单元采集到的信息作为唯一的位姿估计依据，并尝试通过双目摄像单元采集的数据进行重定位，若重定位成功，则根据双目摄像单元和惯性测量单元进行跟踪，若重定位失败，则继续根据惯性测量单元进行定位。可见，本申请实施例提供的技术方案在双目摄像单元运动剧烈时、受到周围环境噪声影响时或是处于特征纹理较少的区域时，还可根据惯性测量单元采集到的数据进行位姿估计，显著提高稳定性，避免因双目摄像单元受环境影响导致 的无法进行位姿估计等问题。
需要说明的是，由于双目摄像单元上的坐标系与惯性测量单元上的坐标系并不完全相同，并且，两者的数据采集时间也存在一定的偏差。因此，在实现上述各实施例的方法之前，需要对双目摄像单元和惯性测量单元进行联合标定才能得到惯性测量单元坐标系与相机坐标系之间的转换关系以及图像的传入时间以及惯性数据的传入时间的差值。例如：双目摄像单元为双目相机，包括左目相机和右目相机。惯性测量单元设置在左目相机和右目相机连线的中心位置，如图5所示。这种联合标定可以得到最佳空间上的以及时间上的关联关系，对于位姿估计精度的提高很有帮助。联合标定的目的一是为了得到如下信息：双目摄像单元(包括左目相机和右目相机)的坐标系以及惯性测量单元坐标系之间的转换关系；双目摄像单元的时间与惯性测量单元时间的偏置等等。联合标定不同于单一标定(如只标定双目摄像单元的方法)，其通过对双目摄像单元和惯性测量单元进行统一标定，以得到整体系统上的一个标定坐标及标定时间等等，便于双目摄像单元及惯性测量单元均采用相同的标定时间和相同的标定坐标系来进行定位，进而得到更加精准的定位信息。
进一步的，联合标定过程中需要如下信息：1、惯性坐标系下的重力方向，表示为g w；2、双目摄像单元坐标系到惯性测量单元坐标系的变换矩阵，表示为T c,I；3、双目摄像单元时间与惯性测量单元时间的偏置，表示为d；4、惯性测量单元的初始位姿姿态，表示为T w,i(t)；5、惯性测量单元中包含的加速度传感器的偏置以及陀螺仪的偏置；等等。
联合标定的过程是在上述各实施例提供的方法执行之前完成的。联合标定是指通过Levenberg-Marquardt(LM)算法使得如下公式6最小，来取得每一个参数的最优无偏估计。
Figure PCTCN2018096185-appb-000019
Figure PCTCN2018096185-appb-000020
Figure PCTCN2018096185-appb-000021
Figure PCTCN2018096185-appb-000022
Figure PCTCN2018096185-appb-000023
Figure PCTCN2018096185-appb-000024
Figure PCTCN2018096185-appb-000025
Figure PCTCN2018096185-appb-000026
Figure PCTCN2018096185-appb-000027
其中，y mj为特征点
Figure PCTCN2018096185-appb-000028
的像素坐标，e ymj为y mj对应的误差；
Figure PCTCN2018096185-appb-000029
为SE3列图像坐标变换；T c,i为IMU与相机之间的SE3变换坐标；T w,i为世界坐标与IMU之间的SE3变化坐标；t j为世界坐标与IMU之间的位移；d为基线长度；
Figure PCTCN2018096185-appb-000030
特征点的坐标；
Figure PCTCN2018096185-appb-000031
为
Figure PCTCN2018096185-appb-000032
时刻的加速度；α k表示加速度；g w表示重力加速度；b a(t k)表示t k时刻的加速度偏置；w k角速度；w(t k)表示t k时刻的角速度；b w(t k)表示t k时刻的角速度偏置；
Figure PCTCN2018096185-appb-000033
表示特征点ymj旋转矩阵的逆矩阵，
Figure PCTCN2018096185-appb-000034
加速度α k的旋转矩阵的逆矩阵，
Figure PCTCN2018096185-appb-000035
表示为角速度偏置的误差；
Figure PCTCN2018096185-appb-000036
表示加速度偏置的误差；
Figure PCTCN2018096185-appb-000037
表示为加速度偏置的误差；
Figure PCTCN2018096185-appb-000038
表示角速度偏置的误差；Q a表示加速度的噪声密度协方差；Q w表示角速度的噪声密度协方差；e αk为加速度传感器的加速度误差；e wk为陀螺仪的加速度误差；J y为观测路标点与预测路标点的误差雅克比矩阵；J α为观测加速度与预测的加速度的误差雅克比矩阵；J ω为观测角速度与预测的角速度的误差雅克比矩阵；
Figure PCTCN2018096185-appb-000039
为加速度漂移雅克比矩阵；
Figure PCTCN2018096185-appb-000040
为角速度漂移雅克比矩阵。
Levenberg-Marquardt(LM)算法是高斯-牛顿法和最速下降法的结合，具有高斯-牛顿法的局部收敛性和梯度下降法的全局特性。特通过自适应调整阻尼因子来达到收敛特征，具有更高的迭代收敛速度。LM算法的计算过程就是，选择一个初始值代入上述各公式，通过不断迭代以得到一个全局最优解，得到的这个全局最优解的迭代结束条件就是让上述公式6的计算结果最小。
图6为本申请一实施例提供的双目视觉定位装置的结构框图。该装置包括：第一计算模块401、第二计算模块402、第三计算模块403以及定位模块404。其中，第一计算模块401，用于根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；第二计算模块402，用于根据双目摄像单元上的惯性测量单元在连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；第三计算模块403，用于分别从两帧图像中提取两帧图像上相匹配的特征点，并计算各特征点的重投影误差；定位模块404，用于将第一位姿变化信息和两帧图像上相匹配的特征点作为通用图优化算法的节点，将第一位姿变化信息与第二位姿变化信息的差值以及各特征点的重投影误差作为通用图优化算法的边，经通用图优化算法优化计算得到用来定位的第三位姿变化信息。
进一步的，第一计算模块401，包括：提取单元，用于从两帧图像的前一帧图像中，提取多个前帧特征点；第一获取单元，用于获取多个前帧特征点的坐标信息；查找单元，用于分别从两帧图像的后一帧图像中查找与多个前帧特征点相匹配的多个后帧特征点；第二获取单元，用于获取多个后帧特征点的坐标信息；计算单元，用于根据多个前帧特征点的坐标信息和多个后帧 特征点的坐标信息，计算双目摄像单元的旋转变换矩阵及位移变化向量，以得到第一位姿变化信息。
进一步的，第一获取单元，具体用于：获取多个前帧特征点在前一帧图像的左目图像和右目图像中的二维坐标；根据多个前帧特征点的二维坐标、双目摄像单元的焦距及双目摄像单元的基线，计算多个前帧特征点的深度信息；根据多个前帧特征点的二维坐标以及深度信息，得到多个前帧特征点的三维坐标；其中，多个前帧特征点的坐标信息为多个前帧特征点在基准坐标系下的三维坐标。
进一步的，上述实施例提供的双目视觉定位装置中的定位模块还用于：若从两帧图像的后一帧图像中未查找到与前帧特征点相匹配的后帧特征点；
将第二位姿变化信息作为用于定位的第三位姿变化信息进行输出，直至从两帧图像的后一帧图像中查找到与多个前帧特征点匹配的多个后帧特征点为止。
进一步的，第二计算模块402，具体用于：对惯性测量单元在连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到第二位姿变化信息。
可选地，惯性参数包括：角速度和加速度；以及第二计算模块402具体用于：对惯性测量单元在连续的两个时刻之间采集的角速度进行流形上的预积分，得到惯性测量单元的旋转变换矩阵；对惯性测量单元在连续两个时刻之间采集的加速度进行流形上的预积分，得到惯性测量单元的位移变化向量；其中，第二位姿变化信息包括：惯性测量单元的旋转变换矩阵及惯性测量单元的位移变化向量。
可选地，上述定位模块在进行通用图优化算法优化计算得到用来定位的第三位姿变化信息的同时，还能得到两帧图像中相匹配的特征点的位置信息。相应的，装置还包括构建模块；该构建模块用于根据两帧图像中相匹配的特征点的位置信息，构建环境地图。
本申请实施例提供的技术方案中，联合双目摄像单元和惯性测量单元来进行位姿估计，引入惯性测量单元可减少仅根据双目摄像单元进行位姿估计的误差。并且，在双目摄像单元运动剧烈时、受到周围环境噪声影响时或是处于特征纹理较少的区域时，还可根据惯性测量单元采集到的数据进行位姿估计，显著提高稳定性，避免因双目摄像单元受环境影响导致的无法进行位姿估计等问题。此外，使用通用图优化算法来对位姿估计进行优化，可有效减少数据处理时间，提高实时性。
这里需要说明的是：上述实施例提供的双目视觉定位装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
如图7所示，上述装置还包括：处理器501和存储器502，存储器502用于存储支持处理器501执行上述各实施例提供的双目视觉定位方法的程序，处理器501被配置为用于执行存储器502中存储的程序。上述程序包括一条或多条计算机指令，其中，一条或多条计算机指令供处理器501调用执行。一条或多条计算机指令被处理器501执行时能够实现上述双目视觉定位方法中的步骤。 存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序，如本申请实施例中的双目视觉定位方法对应的程序指令。处理器501通过运行存储在存储器502中的非易失性软件程序、指令，从而实现上述方法实施例的双目视觉定位方法。处理器501用于：根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；根据双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各特征点的重投影误差；将第一位姿变化信息和两帧图像上相匹配的特征点作为通用图优化算法的节点，将第一位姿变化信息与第二位姿变化信息的差值以及各特征点的重投影误差作为通用图优化算法的边，经通用图优化算法优化计算得到用来定位的第三位姿变化信息。
处理器501可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。在另一实施例中，还提供了双目视觉定位系统。该系统包括：双目摄像单元、惯性测量单元以及上述双目视觉定位装置；双目摄像单元包括左目相机和右目相机；惯性测量单元设置在双目摄像单元上，且左目相机和右目相机对称位于惯性测量单元的两侧；双目摄像单元和惯性测量单元分别与双目视觉定位装置连接。
本申请实施例提供的技术方案中，联合双目摄像单元和惯性测量单元来进行位姿估计，引入惯性测量单元可减少仅根据双目摄像单元进行位姿估计的误差。并且，在双目摄像单元运动剧烈时、受到周围环境噪声影响时或是处于特征纹理较少的区域时，还可根据惯性测量单元采集到的数据进行位姿估计，显著提高稳定性，避免因双目摄像单元受环境影响导致的无法进行位姿估计等问题。此外，使用通用图优化算法来对位姿估计进行优化，可有效减少数据处理时间，提高实时性。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或 者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

  1. 一种双目视觉定位方法，其中，包括：
    根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；
    根据所述双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；
    分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差；
    将所述第一位姿变化信息和所述两帧图像上相匹配的特征点作为通用图优化算法的节点，将所述第一位姿变化信息与所述第二位姿变化信息的差值以及各所述特征点的重投影误差作为所述通用图优化算法的边，经所述通用图优化算法优化计算得到用来定位的第三位姿变化信息。
  2. 根据权利要求1所述的方法，其中，所述根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息，包括：
    从所述两帧图像的前一帧图像中，提取多个前帧特征点；
    获取所述多个前帧特征点的坐标信息；
    分别从所述两帧图像的后一帧图像中查找与所述多个前帧特征点相匹配的多个后帧特征点；
    获取所述多个后帧特征点的坐标信息；
    根据所述多个前帧特征点的坐标信息和所述多个后帧特征点的坐标信息，计算所述双目摄像单元的旋转变换矩阵及位移变化向量，以得到所述第一位姿变化信息。
  3. 根据权利要求2所述的方法，其中，所述获取所述多个前帧特征点的坐标信息，包括：
    获取所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标；
    根据所述多个前帧特征点的二维坐标、所述双目摄像单元的焦距及所述双目摄像单元的基线，计算所述多个前帧特征点的深度信息；
    根据所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标以及深度信息，得到所述多个前帧特征点的三维坐标。
  4. 根据权利要求2或3所述的方法，其中，还包括：
    若从所述两帧图像的后一帧图像中未查找到与所述前帧特征点相匹配的后帧特征点；
    将所述第二位姿变化信息作为用于定位的第三位姿变化信息进行输出，直至从所述两帧图像的后一帧图像中查找到与所述多个前帧特征点匹配的多个后帧特征点为止。
  5. 根据权利要求1至3中任一项所述的方法，其中，所述根据惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息，包括：
    对所述惯性测量单元在所述连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到所述第二位姿变化信息。
  6. 根据权利要求5所述的方法，其中，所述惯性参数包括：角速度和加速度；以及
    所述对所述惯性测量单元在所述连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到所述第二位姿变化信息，包括：
    对所述惯性测量单元在所述连续的两个时刻之间采集的角速度进行流形上的预积分，得到所述惯性测量单元的旋转变换矩阵；
    对所述惯性测量单元在所述连续两个时刻之间采集的加速度进行流形上的预积分，得到所述惯性测量单元的位移变化向量；
    其中，所述第二位姿变化信息包括：所述惯性测量单元的旋转变换矩阵及所述惯性测量单元的位移变化向量。
  7. 根据权利要求1至3中任一项所述的方法，其中，经所述通用图优化算法优化计算得到用来定位的所述第三位姿变化信息的同时，还得到所述两帧图像中相匹配的特征点的位置信息；以及
    所述方法，还包括：
    根据所述两帧图像中相匹配的特征点的位置信息，构建环境地图。
  8. 一种双目视觉定位装置，其中，包括：
    第一计算模块，用于根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；
    第二计算模块，用于根据所述双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；
    第三计算模块，用于分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差；
    定位模块，用于将所述第一位姿变化信息和所述两帧图像上相匹配的特征点作为通用图优化算法的节点，将所述第一位姿变化信息与所述第二位姿变化信息的差值以及各所述特征点的重投影误差作为所述通用图优化算法的边，经所述通用图优化算法优化计算得到用来定位的第三位姿变化信息。
  9. 根据权利要求8所述的装置，其中，所述第一计算模块，包括：
    提取单元，用于从所述两帧图像的前一帧图像中，提取多个前帧特征点；
    第一获取单元，用于获取所述多个前帧特征点的坐标信息；
    查找单元，用于分别从所述两帧图像的后一帧图像中查找与所述多个前帧特征点相匹配的多个后帧特征点；
    第二获取单元，用于获取所述多个后帧特征点的坐标信息；
    计算单元，用于根据所述多个前帧特征点的坐标信息和所述多个后帧特征点的坐标信息，计算所述双目摄像单元的旋转变换矩阵及位移变化向量，以得到所述第一位姿变化信息。
  10. 根据权利要求9所述的装置，其中，所述第一获取单元，具体用于：
    获取所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的 二维坐标；
    根据所述多个前帧特征点的二维坐标、所述双目摄像单元的焦距及所述双目摄像单元的基线，计算所述多个前帧特征点的深度信息；
    根据所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标以及深度信息，得到所述多个前帧特征点的三维坐标。
  11. 根据权利要求9或10所述的装置，其中，所述定位模块，还用于：
    若从所述两帧图像的后一帧图像中未查找到与所述前帧特征点相匹配的后帧特征点；
    将所述第二位姿变化信息作为用于定位的第三位姿变化信息进行输出，直至从所述两帧图像的后一帧图像中查找到与所述多个前帧特征点匹配的多个后帧特征点为止。
  12. 根据权利要求8至10中任一项所述的装置，其中，第二计算模块，具体用于：
    对所述惯性测量单元在所述连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到所述第二位姿变化信息。
  13. 根据权利要求12所述的装置，其中，所述惯性参数包括：角速度和加速度；以及
    第二计算模块，具体用于：
    对所述惯性测量单元在所述连续的两个时刻之间采集的角速度进行流形上的预积分，得到所述惯性测量单元的旋转变换矩阵；
    对所述惯性测量单元在所述连续两个时刻之间采集的加速度进行流形上的预积分，得到所述惯性测量单元的位移变化向量；
    其中，所述第二位姿变化信息包括：所述惯性测量单元的旋转变换矩阵及所述惯性测量单元的位移变化向量。
  14. 根据权利要求8至10中任一项所述的装置，其中，所述定位模块，还用于：
    经所述通用图优化算法优化计算得到用来定位的所述第三位姿变化信息的同时，还得到所述两帧图像中相匹配的特征点的位置信息；以及所述装置，还包括：
    构建模块，用于根据所述两帧图像中相匹配的特征点的位置信息，构建环境地图。
  15. 一种双目视觉定位系统，其中，包括：双目摄像单元、惯性测量单元以及上述权利要求8至14中的双目视觉定位装置；
    所述双目摄像单元包括左目相机和右目相机；
    所述惯性测量单元设置在所述双目摄像单元上，且所述左目相机和所述右目相机对称位于所述惯性测量单元的两侧；
    所述双目摄像单元和所述惯性测量单元分别与所述双目视觉定位装置连接。
PCT/CN2018/096185 2017-09-29 2018-07-18 一种双目视觉定位方法、装置及系统 WO2019062291A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/302,024 US10989540B2 (en) 2017-09-29 2018-07-18 Binocular vision localization method, device and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710908182.6A CN107747941B (zh) 2017-09-29 2017-09-29 一种双目视觉定位方法、装置及系统
CN201710908182.6 2017-09-29

Publications (1)

Publication Number Publication Date
WO2019062291A1 true WO2019062291A1 (zh) 2019-04-04

Family

ID=61255407

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/096185 WO2019062291A1 (zh) 2017-09-29 2018-07-18 一种双目视觉定位方法、装置及系统

Country Status (3)

Country Link
US (1) US10989540B2 (zh)
CN (1) CN107747941B (zh)
WO (1) WO2019062291A1 (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223350A (zh) * 2019-05-23 2019-09-10 汕头大学 一种基于双目视觉的积木自动分拣方法及系统
CN110246176A (zh) * 2019-05-31 2019-09-17 中广核检测技术有限公司 一种基于机器视觉的蒸发器管板爬行器动态定位方法
CN110349212A (zh) * 2019-06-28 2019-10-18 Oppo广东移动通信有限公司 即时定位与地图构建的优化方法及装置、介质和电子设备
CN110375738A (zh) * 2019-06-21 2019-10-25 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110570453A (zh) * 2019-07-10 2019-12-13 哈尔滨工程大学 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法
CN110706289A (zh) * 2019-10-24 2020-01-17 中国科学技术大学 姿态测量方法及装置
CN111091621A (zh) * 2019-12-11 2020-05-01 东南数字经济发展研究院 双目视觉的同步定位与构图方法、装置、设备及存储介质
CN111310772A (zh) * 2020-03-16 2020-06-19 上海交通大学 用于双目视觉slam的点线特征选取方法及系统
CN111307146A (zh) * 2020-03-02 2020-06-19 北京航空航天大学青岛研究院 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN111415391A (zh) * 2020-02-28 2020-07-14 中国民航大学 一种采用互拍法的多目相机外部方位参数标定方法
CN111595332A (zh) * 2020-04-13 2020-08-28 宁波深寻信息科技有限公司 一种融合惯性技术与视觉建模的全环境定位方法
CN111598954A (zh) * 2020-04-21 2020-08-28 哈尔滨拓博科技有限公司 一种快速高精度摄像头参数计算方法
CN111814869A (zh) * 2020-07-06 2020-10-23 北京邮电大学 一种同步定位与建图的方法、装置、电子设备及存储介质
CN111833333A (zh) * 2020-07-16 2020-10-27 西安科技大学 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统
CN111829489A (zh) * 2019-04-16 2020-10-27 杭州海康机器人技术有限公司 一种视觉定位的方法及装置
CN112325872A (zh) * 2020-10-27 2021-02-05 上海懒书智能科技有限公司 一种基于多传感器耦合的移动设备的定位方法
CN111220118B (zh) * 2020-03-09 2021-03-02 燕山大学 基于视觉惯性导航系统的激光测距仪及测距方法
CN112614171A (zh) * 2020-11-26 2021-04-06 厦门大学 面向工程机械集群作业的空-地一体化动态环境感知系统
CN113012196A (zh) * 2021-03-05 2021-06-22 华南理工大学 一种基于双目相机与惯导传感器信息融合的定位方法
CN113091736A (zh) * 2021-04-02 2021-07-09 京东数科海益信息科技有限公司 机器人定位方法、装置、机器人及存储介质
CN113362248A (zh) * 2021-06-23 2021-09-07 合肥朗云物联科技股份有限公司 一种用于检测物体应变的双目检测系统
CN114323010A (zh) * 2021-12-30 2022-04-12 北京达佳互联信息技术有限公司 初始特征确定方法、装置、电子设备及存储介质
CN114526739A (zh) * 2022-01-25 2022-05-24 中南大学 移动机器人室内重定位方法、计算机装置及产品
CN114924585A (zh) * 2022-05-19 2022-08-19 广东工业大学 基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统
CN116423505A (zh) * 2023-03-30 2023-07-14 杭州邦杰星医疗科技有限公司 一种机械臂导航手术中机械臂配准模块误差校准方法
CN111724439B (zh) * 2019-11-29 2024-05-17 中国科学院上海微系统与信息技术研究所 一种动态场景下的视觉定位方法及装置

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107747941B (zh) * 2017-09-29 2020-05-15 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN110362098B (zh) * 2018-03-26 2022-07-05 北京京东尚科信息技术有限公司 无人机视觉伺服控制方法、装置以及无人机
CN110542415A (zh) * 2018-05-28 2019-12-06 北京京东尚科信息技术有限公司 用于导航系统的导航方法和装置
CN108481327B (zh) * 2018-05-31 2023-11-07 珠海一微半导体股份有限公司 一种增强视觉的定位装置、定位方法及机器人
CN108958296A (zh) * 2018-06-05 2018-12-07 西安工业大学 一种无人机自主跟踪方法
CN110720113A (zh) * 2018-08-01 2020-01-21 深圳市大疆创新科技有限公司 一种参数处理方法、装置及摄像设备、飞行器
CN110794955B (zh) * 2018-08-02 2021-06-08 广东虚拟现实科技有限公司 定位跟踪方法、装置、终端设备及计算机可读取存储介质
CN109506642B (zh) * 2018-10-09 2021-05-28 浙江大学 一种机器人多相机视觉惯性实时定位方法及装置
CN109186549A (zh) * 2018-10-26 2019-01-11 国网黑龙江省电力有限公司电力科学研究院 一种基于视觉的铁塔倾斜角度测量方法
CN109462746B (zh) * 2018-10-26 2020-11-06 北京双髻鲨科技有限公司 一种图像去抖的方法及装置
CN109739254B (zh) * 2018-11-20 2021-11-09 国网浙江省电力有限公司信息通信分公司 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN109374008A (zh) * 2018-11-21 2019-02-22 深动科技（北京）有限公司 一种基于三目摄像头的图像采集系统及方法
CN109544629B (zh) * 2018-11-29 2021-03-23 南京人工智能高等研究院有限公司 摄像头位姿确定方法和装置以及电子设备
CN111354042B (zh) * 2018-12-24 2023-12-01 深圳市优必选科技有限公司 机器人视觉图像的特征提取方法、装置、机器人及介质
CN111383282B (zh) * 2018-12-29 2023-12-01 杭州海康威视数字技术股份有限公司 位姿信息确定方法及装置
CN111415387B (zh) * 2019-01-04 2023-12-29 南京人工智能高等研究院有限公司 相机位姿确定方法、装置、电子设备及存储介质
CN111708010B (zh) * 2019-03-01 2024-04-12 北京图森智途科技有限公司 一种可移动设备的定位方法、装置、系统及可移动设备
CN109992111B (zh) * 2019-03-25 2021-02-19 联想(北京)有限公司 增强现实扩展方法和电子设备
CN111754543B (zh) * 2019-03-29 2024-03-29 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统
CN111768443A (zh) * 2019-07-23 2020-10-13 北京京东尚科信息技术有限公司 基于移动摄像头的图像处理方法和装置
CN110533728A (zh) * 2019-07-25 2019-12-03 长沙行深智能科技有限公司 基于张正友标定的双目立体视觉相机的标定方法、装置及介质
CN110487274B (zh) * 2019-07-30 2021-01-29 中国科学院空间应用工程与技术中心 用于弱纹理场景的slam方法、系统、导航车及存储介质
CN112348898B (zh) * 2019-08-07 2024-04-05 杭州海康微影传感科技有限公司 一种标定方法、装置及摄像机
CN110689572B (zh) * 2019-08-13 2023-06-16 中山大学 一种三维空间中移动机器人定位系统及方法
CN110490932B (zh) * 2019-08-21 2023-05-09 东南大学 单目红外共面光标迭代优化测量行车吊臂空间位姿方法
CN110517324B (zh) * 2019-08-26 2023-02-17 上海交通大学 基于变分贝叶斯自适应算法的双目vio实现方法
CN112313707A (zh) * 2019-08-30 2021-02-02 深圳市大疆创新科技有限公司 跟踪方法和可移动平台
CN110706257B (zh) * 2019-09-30 2022-07-22 北京迈格威科技有限公司 有效特征点对的识别方法、相机状态的确定方法及装置
CN112710308A (zh) * 2019-10-25 2021-04-27 阿里巴巴集团控股有限公司 机器人的定位方法、装置和系统
CN112136137A (zh) * 2019-10-29 2020-12-25 深圳市大疆创新科技有限公司 一种参数优化方法、装置及控制设备、飞行器
CN110830781B (zh) * 2019-10-30 2021-03-23 歌尔科技有限公司 一种基于双目视觉的投影图像自动校正方法及系统
CN112272757A (zh) * 2019-11-22 2021-01-26 深圳市大疆创新科技有限公司 一种探测装置的外参数标定方法、装置及可移动平台
CN110910453B (zh) * 2019-11-28 2023-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN110989643B (zh) * 2019-11-29 2023-12-19 北京特种机械研究所 一种基于多目视觉的无人机夜间植保系统
CN110919658B (zh) * 2019-12-13 2023-03-31 东华大学 一种基于视觉和多坐标系闭环转换的机器人标定方法
CN111161337B (zh) * 2019-12-18 2022-09-06 南京理工大学 一种动态环境下的陪护机器人同步定位与构图方法
CN113012216B (zh) * 2019-12-20 2023-07-07 舜宇光学（浙江）研究院有限公司 特征分类优化方法和slam定位方法及其系统和电子设备
CN111210477B (zh) * 2019-12-26 2023-07-04 深圳大学 一种运动目标的定位方法及系统
CN111105462A (zh) * 2019-12-30 2020-05-05 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质
CN111882602B (zh) * 2019-12-31 2022-08-12 南京理工大学 基于orb特征点和gms匹配过滤器的视觉里程计实现方法
CN111260733B (zh) * 2020-01-13 2023-03-24 魔视智能科技(上海)有限公司 车载环视多相机系统的外参数估计方法及其系统
CN111220155A (zh) * 2020-03-04 2020-06-02 广东博智林机器人有限公司 基于双目视觉惯性里程计估计位姿的方法、装置与处理器
CN113532455B (zh) * 2020-04-17 2023-03-31 北京三快在线科技有限公司 视觉融合定位方法、装置、电子设备和可读存储介质
CN111583386B (zh) * 2020-04-20 2022-07-05 清华大学 基于标签传播算法的多视角人体姿态重建方法
CN113554703B (zh) * 2020-04-23 2024-03-01 北京京东乾石科技有限公司 机器人定位方法、装置、系统和计算机可读存储介质
CN111338383B (zh) * 2020-04-24 2023-10-13 北京泛化智能科技有限公司 基于gaas的自主飞行方法及系统、存储介质
CN111524194B (zh) * 2020-04-24 2023-07-21 江苏盛海智能科技有限公司 一种激光雷达和双目视觉相互融合的定位方法及终端
CN111340851A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 基于双目视觉与imu融合的slam方法
CN113701745B (zh) * 2020-05-21 2024-03-08 杭州海康威视数字技术股份有限公司 一种外参变化检测方法、装置、电子设备及检测系统
CN111709990B (zh) * 2020-05-22 2023-06-20 贵州民族大学 一种相机重定位方法和系统
CN111649739B (zh) 2020-06-02 2023-09-01 阿波罗智能技术(北京)有限公司 定位方法和装置、自动驾驶车辆、电子设备和存储介质
CN111739071B (zh) * 2020-06-15 2023-09-05 武汉尺子科技有限公司 基于初始值的快速迭代配准方法、介质、终端和装置
CN111721259B (zh) * 2020-06-24 2022-05-03 江苏科技大学 基于双目视觉的水下机器人回收定位方法
CN111750853B (zh) * 2020-06-24 2022-06-07 国汽(北京)智能网联汽车研究院有限公司 一种地图建立方法、装置及存储介质
CN111811501B (zh) * 2020-06-28 2022-03-08 鹏城实验室 一种基于树干特征的无人机定位方法、无人机及存储介质
CN111784771B (zh) * 2020-06-28 2023-05-23 北京理工大学 基于双目相机的3d三角测量方法及装置
CN111754586A (zh) * 2020-06-28 2020-10-09 苏州臻迪智能科技有限公司 外参定标方法、装置、外参标定系统及计算机存储介质
KR102480820B1 (ko) * 2020-08-12 2022-12-22 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
CN112146647B (zh) * 2020-09-11 2022-11-15 珠海一微半导体股份有限公司 一种地面纹理的双目视觉定位方法及芯片
CN112113564B (zh) * 2020-09-21 2022-08-02 上海大学 一种基于图像传感器和惯性传感器的定位方法及系统
CN112161571B (zh) * 2020-10-09 2022-02-22 山东科技大学 一种低数据量的双目视觉采煤机定位与位姿检测系统及方法
CN112241983A (zh) * 2020-10-19 2021-01-19 深圳市目心智能科技有限公司 一种基于主动双目视觉的感知系统及机器人
CN112362034B (zh) * 2020-11-11 2022-07-08 上海电器科学研究所（集团）有限公司 基于双目视觉的固体发动机多节筒段对接引导测量方法
CN112434709B (zh) * 2020-11-20 2024-04-12 西安视野慧图智能科技有限公司 基于无人机实时稠密三维点云和dsm的航测方法及系统
CN112734765B (zh) * 2020-12-03 2023-08-22 华南理工大学 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN112649016B (zh) * 2020-12-09 2023-10-03 南昌大学 一种基于点线初始化的视觉惯性里程计方法
CN112819860B (zh) * 2021-02-18 2023-12-22 Oppo广东移动通信有限公司 视觉惯性系统初始化方法及装置、介质和电子设备
CN112950709B (zh) * 2021-02-21 2023-10-24 深圳市优必选科技股份有限公司 一种位姿预测方法、位姿预测装置及机器人
CN112598757B (zh) * 2021-03-03 2021-06-01 之江实验室 一种多传感器时间空间标定方法及装置
CN112907633B (zh) * 2021-03-17 2023-12-01 中国科学院空天信息创新研究院 动态特征点识别方法及其应用
CN112884840A (zh) * 2021-03-29 2021-06-01 湖南国科微电子股份有限公司 一种视觉定位方法、装置、设备及存储介质
CN112802112B (zh) * 2021-04-12 2021-07-16 北京三快在线科技有限公司 视觉定位方法、装置、服务器及存储介质
CN113175925B (zh) * 2021-04-14 2023-03-14 武汉理工大学 定位与导航系统以及方法
CN113052908B (zh) * 2021-04-16 2023-08-04 南京工业大学 一种基于多传感器数据融合的移动机器人位姿估计算法
CN113506337B (zh) * 2021-05-17 2024-04-16 南京理工大学 一种基于EPnP的双目相机位姿估计方法
CN113407030B (zh) * 2021-06-25 2023-08-25 浙江商汤科技开发有限公司 视觉定位方法及相关装置、设备和存储介质
CN113393505B (zh) * 2021-06-25 2023-11-03 浙江商汤科技开发有限公司 图像配准方法、视觉定位方法及相关装置、设备
CN113379911A (zh) * 2021-06-30 2021-09-10 深圳市银星智能科技股份有限公司 Slam方法、slam系统及智能机器人
CN113625271B (zh) * 2021-07-29 2023-10-27 中汽创智科技有限公司 基于毫米波雷达和双目相机的同时定位与建图方法
CN113592956B (zh) * 2021-07-30 2023-12-19 武汉精测电子集团股份有限公司 一种基于显微检测机台的多镜头联合标定方法和装置
CN113739819B (zh) * 2021-08-05 2024-04-16 上海高仙自动化科技发展有限公司 校验方法、装置、电子设备、存储介质及芯片
CN113865579A (zh) * 2021-08-06 2021-12-31 湖南大学 无人机位姿参数的测量系统及方法
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN113689555B (zh) * 2021-09-09 2023-08-22 武汉惟景三维科技有限公司 一种双目图像特征匹配方法及系统
CN113899364B (zh) * 2021-09-29 2022-12-27 深圳市慧鲤科技有限公司 定位方法及装置、设备、存储介质
CN113847907A (zh) * 2021-09-29 2021-12-28 深圳市慧鲤科技有限公司 定位方法及装置、设备、存储介质
CN114170146A (zh) * 2021-11-12 2022-03-11 苏州瑞派宁科技有限公司 图像处理方法、装置、电子设备以及计算机可读存储介质
CN114370871A (zh) * 2022-01-13 2022-04-19 华南理工大学 一种可见光定位与激光雷达惯性里程计的紧耦合优化方法
CN114092569B (zh) * 2022-01-19 2022-08-05 安维尔信息科技(天津)有限公司 一种基于多传感器融合的双目相机在线标定方法及系统
CN115526983B (zh) * 2022-03-30 2023-06-23 荣耀终端有限公司 一种三维重建方法及相关设备
CN114937091B (zh) * 2022-04-28 2023-07-11 广州导远电子科技有限公司 一种车道线的检测方法、系统、电子设备及存储介质
CN114979611A (zh) * 2022-05-19 2022-08-30 国网智能科技股份有限公司 一种双目感知系统和方法
CN115471534A (zh) * 2022-08-31 2022-12-13 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备
CN115272494B (zh) * 2022-09-29 2022-12-30 腾讯科技（深圳）有限公司 相机与惯性测量单元的标定方法、装置和计算机设备
CN115497077A (zh) * 2022-10-24 2022-12-20 广西柳工机械股份有限公司 车厢姿态识别系统、方法、电子设备及存储介质
CN115981465B (zh) * 2022-12-22 2024-01-19 广州阿路比电子科技有限公司 移动环境下ar头盔运动捕捉方法和系统
CN116664698B (zh) * 2023-07-25 2023-12-22 江苏集萃清联智控科技有限公司 车载双目相机与gnss/imu的自动标定方法
CN117495698A (zh) * 2024-01-02 2024-02-02 福建卓航特种设备有限公司 飞行物识别方法、系统、智能终端及计算机可读存储介质
CN117765084B (zh) * 2024-02-21 2024-05-03 电子科技大学 基于动态分支预测的迭代求解的面向视觉定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102109348A (zh) * 2009-12-25 2011-06-29 财团法人工业技术研究院 定位载体、估测载体姿态与建地图的系统与方法
CN103345751A (zh) * 2013-07-02 2013-10-09 北京邮电大学 一种基于鲁棒特征跟踪的视觉定位方法
CN106052683A (zh) * 2016-05-25 2016-10-26 速感科技（北京）有限公司 机器人运动姿态估计方法
CN106708066A (zh) * 2015-12-20 2017-05-24 中国电子科技集团公司第二十研究所 基于视觉/惯导的无人机自主着陆方法
CN107085422A (zh) * 2017-01-04 2017-08-22 北京航空航天大学 一种基于Xtion设备的多功能六足机器人的远程控制系统
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统
CN107747941A (zh) * 2017-09-29 2018-03-02 歌尔股份有限公司 一种双目视觉定位方法、装置及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006047787A1 (de) * 2006-10-06 2008-04-10 Rheinisch-Westfälische Technische Hochschule Aachen Vorrichtung und Verfahren zur Bestimmung der Trägheitsparameter eines Körpers
US8933925B2 (en) * 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
CN106446815B (zh) * 2016-09-14 2019-08-09 浙江大学 一种同时定位与地图构建方法
CN106767820B (zh) * 2016-12-08 2017-11-14 立得空间信息技术股份有限公司 一种室内移动定位与制图方法
SG10201700299QA (en) * 2017-01-13 2018-08-30 Otsaw Digital Pte Ltd Three-dimensional mapping of an environment
CN106813672B (zh) * 2017-01-22 2020-02-14 深圳悉罗机器人有限公司 移动机器人的导航方法及移动机器人
US10360686B2 (en) * 2017-06-13 2019-07-23 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
US10552979B2 (en) * 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) * 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US11144786B2 (en) * 2017-11-02 2021-10-12 Canon Kabushiki Kaisha Information processing apparatus, method for controlling information processing apparatus, and storage medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102109348A (zh) * 2009-12-25 2011-06-29 财团法人工业技术研究院 定位载体、估测载体姿态与建地图的系统与方法
CN103345751A (zh) * 2013-07-02 2013-10-09 北京邮电大学 一种基于鲁棒特征跟踪的视觉定位方法
CN106708066A (zh) * 2015-12-20 2017-05-24 中国电子科技集团公司第二十研究所 基于视觉/惯导的无人机自主着陆方法
CN106052683A (zh) * 2016-05-25 2016-10-26 速感科技（北京）有限公司 机器人运动姿态估计方法
CN107085422A (zh) * 2017-01-04 2017-08-22 北京航空航天大学 一种基于Xtion设备的多功能六足机器人的远程控制系统
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统
CN107747941A (zh) * 2017-09-29 2018-03-02 歌尔股份有限公司 一种双目视觉定位方法、装置及系统

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111829489B (zh) * 2019-04-16 2022-05-13 杭州海康机器人技术有限公司 一种视觉定位的方法及装置
CN111829489A (zh) * 2019-04-16 2020-10-27 杭州海康机器人技术有限公司 一种视觉定位的方法及装置
CN110223350A (zh) * 2019-05-23 2019-09-10 汕头大学 一种基于双目视觉的积木自动分拣方法及系统
CN110246176A (zh) * 2019-05-31 2019-09-17 中广核检测技术有限公司 一种基于机器视觉的蒸发器管板爬行器动态定位方法
CN110375738A (zh) * 2019-06-21 2019-10-25 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110375738B (zh) * 2019-06-21 2023-03-14 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110349212A (zh) * 2019-06-28 2019-10-18 Oppo广东移动通信有限公司 即时定位与地图构建的优化方法及装置、介质和电子设备
CN110349212B (zh) * 2019-06-28 2023-08-25 Oppo广东移动通信有限公司 即时定位与地图构建的优化方法及装置、介质和电子设备
CN110570453A (zh) * 2019-07-10 2019-12-13 哈尔滨工程大学 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法
CN110706289A (zh) * 2019-10-24 2020-01-17 中国科学技术大学 姿态测量方法及装置
CN110706289B (zh) * 2019-10-24 2022-09-30 中国科学技术大学 姿态测量方法及装置
CN111724439B (zh) * 2019-11-29 2024-05-17 中国科学院上海微系统与信息技术研究所 一种动态场景下的视觉定位方法及装置
CN111091621A (zh) * 2019-12-11 2020-05-01 东南数字经济发展研究院 双目视觉的同步定位与构图方法、装置、设备及存储介质
CN111415391A (zh) * 2020-02-28 2020-07-14 中国民航大学 一种采用互拍法的多目相机外部方位参数标定方法
CN111415391B (zh) * 2020-02-28 2023-04-28 中国民航大学 一种采用互拍法的多目相机外部方位参数标定方法
CN111307146A (zh) * 2020-03-02 2020-06-19 北京航空航天大学青岛研究院 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN111220118B (zh) * 2020-03-09 2021-03-02 燕山大学 基于视觉惯性导航系统的激光测距仪及测距方法
CN111310772A (zh) * 2020-03-16 2020-06-19 上海交通大学 用于双目视觉slam的点线特征选取方法及系统
CN111310772B (zh) * 2020-03-16 2023-04-21 上海交通大学 用于双目视觉slam的点线特征选取方法及系统
CN111595332A (zh) * 2020-04-13 2020-08-28 宁波深寻信息科技有限公司 一种融合惯性技术与视觉建模的全环境定位方法
CN111595332B (zh) * 2020-04-13 2023-05-09 宁波深寻信息科技有限公司 一种融合惯性技术与视觉建模的全环境定位方法
CN111598954A (zh) * 2020-04-21 2020-08-28 哈尔滨拓博科技有限公司 一种快速高精度摄像头参数计算方法
CN111814869B (zh) * 2020-07-06 2022-11-08 北京邮电大学 一种同步定位与建图的方法、装置、电子设备及存储介质
CN111814869A (zh) * 2020-07-06 2020-10-23 北京邮电大学 一种同步定位与建图的方法、装置、电子设备及存储介质
CN111833333B (zh) * 2020-07-16 2023-10-03 西安科技大学 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统
CN111833333A (zh) * 2020-07-16 2020-10-27 西安科技大学 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统
CN112325872A (zh) * 2020-10-27 2021-02-05 上海懒书智能科技有限公司 一种基于多传感器耦合的移动设备的定位方法
CN112325872B (zh) * 2020-10-27 2022-09-30 上海懒书智能科技有限公司 一种基于多传感器耦合的移动设备的定位方法
CN112614171A (zh) * 2020-11-26 2021-04-06 厦门大学 面向工程机械集群作业的空-地一体化动态环境感知系统
CN112614171B (zh) * 2020-11-26 2023-12-19 厦门大学 面向工程机械集群作业的空-地一体化动态环境感知系统
CN113012196A (zh) * 2021-03-05 2021-06-22 华南理工大学 一种基于双目相机与惯导传感器信息融合的定位方法
CN113091736A (zh) * 2021-04-02 2021-07-09 京东数科海益信息科技有限公司 机器人定位方法、装置、机器人及存储介质
CN113091736B (zh) * 2021-04-02 2023-04-07 京东科技信息技术有限公司 机器人定位方法、装置、机器人及存储介质
CN113362248A (zh) * 2021-06-23 2021-09-07 合肥朗云物联科技股份有限公司 一种用于检测物体应变的双目检测系统
CN114323010B (zh) * 2021-12-30 2024-03-01 北京达佳互联信息技术有限公司 初始特征确定方法、装置、电子设备及存储介质
CN114323010A (zh) * 2021-12-30 2022-04-12 北京达佳互联信息技术有限公司 初始特征确定方法、装置、电子设备及存储介质
CN114526739A (zh) * 2022-01-25 2022-05-24 中南大学 移动机器人室内重定位方法、计算机装置及产品
CN114526739B (zh) * 2022-01-25 2024-05-07 中南大学 移动机器人室内重定位方法、计算机装置及产品
CN114924585A (zh) * 2022-05-19 2022-08-19 广东工业大学 基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统
CN116423505A (zh) * 2023-03-30 2023-07-14 杭州邦杰星医疗科技有限公司 一种机械臂导航手术中机械臂配准模块误差校准方法
CN116423505B (zh) * 2023-03-30 2024-04-23 杭州邦杰星医疗科技有限公司 一种机械臂导航手术中机械臂配准模块误差校准方法

Also Published As

Publication number Publication date
CN107747941A (zh) 2018-03-02
US20190204084A1 (en) 2019-07-04
US10989540B2 (en) 2021-04-27
CN107747941B (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
WO2019062291A1 (zh) 一种双目视觉定位方法、装置及系统
US20210190497A1 (en) Simultaneous location and mapping (slam) using dual event cameras
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
WO2019157925A1 (zh) 视觉惯性里程计的实现方法及系统
US10659768B2 (en) System and method for virtually-augmented visual simultaneous localization and mapping
WO2019170166A1 (zh) 深度相机标定方法以及装置、电子设备及存储介质
WO2019205852A1 (zh) 确定图像捕捉设备的位姿的方法、装置及其存储介质
Urban et al. Mlpnp-a real-time maximum likelihood solution to the perspective-n-point problem
CN112304307A (zh) 一种基于多传感器融合的定位方法、装置和存储介质
US10109104B2 (en) Generation of 3D models of an environment
US11017545B2 (en) Method and device of simultaneous localization and mapping
Ventura et al. Wide-area scene mapping for mobile visual tracking
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
US10636190B2 (en) Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems
WO2019104571A1 (zh) 图像处理方法和设备
WO2022083038A1 (zh) 视觉定位方法及相关装置、设备和计算机可读存储介质
WO2020063878A1 (zh) 一种处理数据的方法和装置
Brunetto et al. Fusion of inertial and visual measurements for rgb-d slam on mobile devices
CN110119189B (zh) Slam系统的初始化、ar控制方法、装置和系统
JP2023021994A (ja) 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両
US8509522B2 (en) Camera translation using rotation from device
TW202314593A (zh) 定位方法及設備、電腦可讀儲存媒體
Huttunen et al. A monocular camera gyroscope
CN111829522B (zh) 即时定位与地图构建方法、计算机设备以及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18861781

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18861781

Country of ref document: EP

Kind code of ref document: A1