WO2022156447A1 - 定位方法和装置、计算机装置和计算机可读存储介质 - Google Patents

定位方法和装置、计算机装置和计算机可读存储介质 Download PDF

Info

Publication number
WO2022156447A1
WO2022156447A1 PCT/CN2021/138982 CN2021138982W WO2022156447A1 WO 2022156447 A1 WO2022156447 A1 WO 2022156447A1 CN 2021138982 W CN2021138982 W CN 2021138982W WO 2022156447 A1 WO2022156447 A1 WO 2022156447A1
Authority
WO
WIPO (PCT)
Prior art keywords
radar
visual
pose
under
track
Prior art date
Application number
PCT/CN2021/138982
Other languages
English (en)
French (fr)
Inventor
姚秀军
桂晨光
陈建楠
马福强
王超
崔丽华
王峰
Original Assignee
京东科技信息技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东科技信息技术有限公司 filed Critical 京东科技信息技术有限公司
Priority to EP21920821.2A priority Critical patent/EP4202497A1/en
Priority to US18/257,754 priority patent/US20240118419A1/en
Priority to JP2023518845A priority patent/JP2024502523A/ja
Publication of WO2022156447A1 publication Critical patent/WO2022156447A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • Vision-based indoor positioning technology is also known as visual SLAM (Simultaneous Localization and Mapping) technology.
  • Visual SLAM uses multi-view geometric theory to locate the camera according to the image information captured by the camera and simultaneously construct a map of the surrounding environment.
  • Visual SLAM mainly includes visual odometry, back-end optimization, loop detection, and mapping.
  • radar positioning and visual positioning are combined, and the visual positioning result is used for navigation on the map obtained by radar positioning.
  • non-transitory computer-readable storage medium wherein the non-transitory computer-readable storage medium stores computer instructions that, when executed by a processor, implement any of the above The positioning method described in the embodiment.
  • Step 55 Convert the candidate key frame pose and the current frame pose under the visual track to the candidate key frame pose and the current frame pose under the radar track.
  • the step of converting the candidate key frame poses under the visual track to the candidate key frame poses under the radar track described in step 55 may include steps 551 to 554, wherein:
  • Step 55c Determine the pose of the current frame under the radar track according to the global position of the current frame under the radar track and the rotation matrix of the current frame under the radar track.
  • FIG. 6 is an effect diagram of a track after fusion positioning according to some embodiments of the present disclosure.
  • Trajectory 3 is the trajectory obtained by relying on visual sensor positioning. Compared with the trajectory 2 obtained by radar positioning in Figure 1, the two are basically the same in rotation and scale, and the position on the navigation grid map is also the same. The pose obtained by the positioning of the vision sensor can be directly used to navigate the object.
  • non-transitory computer-readable storage medium wherein the non-transitory computer-readable storage medium stores computer instructions that, when executed by a processor, implement any of the above The positioning method described in the embodiment (for example, any of the embodiments in FIG. 2 to FIG. 5 ).
  • the above embodiments of the present disclosure reduce errors caused by the fusion of different degrees of freedom poses during the fusion process of laser SLAM and visual SLAM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

一种定位方法和装置、计算机装置和计算机可读存储介质。该定位方法包括：预先使用雷达和视觉传感器进行雷达建图和视觉建图（1）；将雷达定位与视觉定位进行结合，将视觉定位结果供导航对象在雷达定位得到的栅格地图上导航使用（2）。该定位方法通过将激光SLAM和视觉SLAM进行融合，优势互补，解决了激光SLAM和视觉SLAM两者自身在工作过程中存在的问题，给导航对象提供了一套低成本稳定的定位方案。

Description

定位方法和装置、计算机装置和计算机可读存储介质
相关申请的交叉引用
本申请是以CN申请号为202110074516.0，申请日为2021年1月20日的申请为基础，并主张其优先权，该CN申请的公开内容在此作为整体引入本申请中。
技术领域
本公开涉及定位领域，特别涉及一种定位方法和装置、计算机装置和计算机可读存储介质。
背景技术
基于激光雷达的室内定位技术。激光雷达由于其测距信息准确，被广泛应用于室内移动机器人定位。通过激光数据和栅格地图匹配进行定位是目前主流的定位方式。即通过在预测得到的当前位姿附近开辟一个搜索窗口，在搜索窗口内部建立多个候选位姿，根据匹配得分来确定当前最合适的定位位姿。
基于视觉的室内定位技术。基于视觉的定位也就是常说的视觉SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)技术。视觉SLAM是利用多视图几何理论，根据相机拍摄的图像信息对相机进行定位并同时构建周围环境地图。视觉SLAM主要包括视觉里程计、后端优化、回环检测、建图。其中，视觉里程计研究图像帧间变换关系完成实时的位姿跟踪，对输入的图像进行处理，计算姿态变化，得到相机间的运动关系；但是随着时间的累计，误差会累积，这是由于仅仅估计两个图像间的运动造成的，后端主要是使用优化方法，减小整个框架误差(包括相机位姿和空间地图点)。回环检测，又称闭环检测，主要是利用图像间的相似性来判断是否到达过先前的位置，以此来消除累计误差，得到全局一致性轨迹和地图。建图，根据估计的轨迹，建立与任务要求对应的地图。
发明内容
根据本公开的一个方面，提供一种定位方法，包括：
使用雷达和视觉传感器进行雷达建图和视觉建图，其中，所述视觉建图包括关键帧位姿；
基于所述关键帧位姿将雷达定位与视觉定位进行结合，将视觉定位结果在雷达定位得到的地图上导航使用。
在本公开的一些实施例中，所述预先使用雷达和视觉传感器进行雷达建图和视觉建图包括：
同时使用雷达和视觉传感器进行建图，其中，雷达建图得到用于定位导航的栅格地图，视觉建图得到视觉地图；
将视觉建图提供的关键帧位姿与雷达建图提供的雷达位姿进行位姿绑定。
在本公开的一些实施例中，所述基于所述关键帧位姿将雷达定位与视觉定位进行结合，将视觉定位结果在雷达定位得到的地图上导航使用包括：
确定视觉轨迹下的候选关键帧位姿和当前帧位姿；
将视觉轨迹下的候选关键帧位姿和当前帧位姿转换为雷达轨迹下的候选关键帧位姿和当前帧位姿；
根据雷达轨迹下的候选关键帧位姿和当前帧位姿，确定雷达轨迹下候选关键帧到当前帧的位姿变换矩阵；
根据所述位姿变换矩阵以及和关键帧位姿绑定的雷达位姿，确定雷达轨迹下的导航对象初步位姿。
在本公开的一些实施例中，所述基于所述关键帧位姿将雷达定位与视觉定位进行结合，将视觉定位结果在雷达定位得到的地图上导航使用还包括：
将6自由度的导航对象初步位姿投影到3自由度上，确定在栅格地图坐标系下的导航对象位姿。
在本公开的一些实施例中，所述确定视觉轨迹下的当前帧位姿包括：
加载视觉地图；
从视觉地图的当前帧图像提取特征点，根据当前帧图像描述符在建图数据库中检索候选关键帧；
根据当前帧特征点信息和候选关键帧进行视觉重定位，得到视觉轨迹下的当前帧位姿。
在本公开的一些实施例中，所述确定视觉轨迹下的候选关键帧位姿包括：
根据视觉轨迹下的候选关键帧旋转矩阵、视觉轨迹下的候选关键帧全局位置，确定视觉轨迹下的候选关键帧位姿。
在本公开的一些实施例中，所述将视觉轨迹下的候选关键帧位姿转换为雷达轨迹下的 候选关键帧位姿包括：
根据视觉轨迹下的候选关键帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的候选关键帧旋转矩阵；
计算视觉轨迹和雷达轨迹之间的旋转矩阵；
根据视觉轨迹下的候选关键帧全局位置、视觉轨迹和雷达轨迹之间的旋转矩阵，确定雷达轨迹下的候选关键帧全局位置；
根据雷达轨迹下的候选关键帧全局位置、雷达轨迹下的候选关键帧旋转矩阵，确定雷达轨迹下的候选关键帧位姿。
在本公开的一些实施例中，所述根据视觉轨迹下的候选关键帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的候选关键帧旋转矩阵包括：
根据视觉轨迹下的候选关键帧旋转矩阵、视觉轨迹下的候选关键帧全局位置，确定视觉轨迹下的候选关键帧位姿；
根据视觉轨迹下的候选关键帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的候选关键帧旋转矩阵。
在本公开的一些实施例中，所述将视觉轨迹下的当前帧位姿转换为雷达轨迹下的当前帧位姿包括：
根据视觉轨迹下的当前帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的当前帧旋转矩阵；
计算视觉轨迹和雷达轨迹之间的旋转矩阵；
根据视觉轨迹下的当前帧全局位置、视觉轨迹和雷达轨迹之间的旋转矩阵，确定雷达轨迹下的当前帧全局位置；
根据雷达轨迹下的当前帧全局位置、雷达轨迹下的当前帧旋转矩阵，确定雷达轨迹下的当前帧位姿。
根据本公开的另一方面，提供一种定位装置，包括：
融合建图模块，被配置为使用雷达和视觉传感器进行雷达建图和视觉建图，其中，所述视觉建图包括关键帧位姿；
融合定位模块，被配置为基于所述关键帧位姿将雷达定位与视觉定位进行结合，将视觉定位结果在雷达定位得到的地图上导航使用。
在本公开的一些实施例中，融合建图模块，被配置为同时使用雷达和视觉传感器进行建图，其中，雷达建图得到用于定位导航的地图，视觉建图得到视觉地图；将视觉建图提 供的关键帧位姿与雷达建图提供的雷达位姿进行位姿绑定。
在本公开的一些实施例中，融合定位模块，被配置为确定视觉轨迹下的候选关键帧位姿和当前帧位姿；将视觉轨迹下的候选关键帧位姿和当前帧位姿转换为雷达轨迹下的候选关键帧位姿和当前帧位姿；根据雷达轨迹下的候选关键帧位姿和当前帧位姿，确定雷达轨迹下候选关键帧到当前帧的位姿变换矩阵；根据所述位姿变换矩阵以及和关键帧位姿绑定的雷达位姿，确定雷达轨迹下的导航对象初步位姿。
在本公开的一些实施例中，融合定位模块，还被配置为将6自由度的导航对象初步位姿投影到3自由度上，确定在栅格地图坐标系下的导航对象位姿。
在本公开的一些实施例中，所述定位装置用于执行实现如上述任一实施例所述的定位方法的操作。
根据本公开的另一方面，提供一种计算机装置，包括：
存储器，被配置为存储指令；
处理器，被配置为执行所述指令，使得所述计算机装置执行实现如上述任一实施例所述的定位方法的操作。
根据本公开的另一方面，提供一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的定位方法。
附图说明
为了更清楚地说明本公开实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为在同一个导航对象上同时使用雷达和视觉传感器建图可视化出来的轨迹和栅格地图的示意。
图2为本公开定位方法一些实施例的示意图。
图3为本公开激光视觉融合建图方法一些实施例的示意图。
图4为本公开激光视觉融合定位方法一些实施例的示意图。
图5为本公开激光视觉融合定位方法另一些实施例的示意图。
图6为本公开一些实施例融合定位后轨迹的效果图。
图7为本公开定位装置一些实施例的示意图。
图8为本公开又一个实施例的计算机装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
相关技术基于雷达的室内定位技术存在的问题：一些低成本的雷达测距范围有限，在大尺度场景下无法得到有效测距信息；激光SLAM在面对长走廊环境时，会产生运动退化问题；由于雷达信息量较少，激光SLAM相较于视觉SLAM，普遍不容易产生回环。
基于视觉传感器的室内定位技术存在的问题：视觉SLAM在面对类似如白墙等弱纹理环境时，定位精度会下降；视觉传感器普遍对光照比较敏感，这导致视觉SLAM在光照变化比较大的环境中工作，定位稳定性会变差；构建的地图无法直接用于导航对象导航。
鉴于以上技术问题中的至少一项，本公开提供了一种定位方法和装置、计算机装置和计算机可读存储介质，通过将激光SLAM和视觉SLAM进行融合，优势互补，解决激光SLAM和视觉SLAM两者自身在工作过程中碰到的问题。
图1为在同一个导航对象上同时使用雷达建图和视觉传感器建图可视化出来的轨迹和栅格地图的示意。其中，所述导航对象可以为视觉传感器，所述雷达可以为激光雷达，所 述视觉传感器可以为相机。如图1所示，轨迹1为激光SLAM留下的轨迹；浅色部分4为激光SLAM所建的占据栅格地图，用于导航对象导航；轨迹2为视觉SLAM留下的轨迹。虽然激光SLAM和视觉SLAM都是描述导航对象的运动，但由于雷达和视觉传感器安装位置和角度不同，环境描述尺度不同，导致两者定位的轨迹在世界坐标系下是不重合的，一般会发生旋转和缩放。这导致在雷达无法正常工作的情况下，直接使用视觉传感器定位，无法给导航对象提供在导航地图坐标系下的位姿。
本公开旨在提供一套激光和视觉融合定位方案，在单一使用激光或视觉进行定位碰到自身无法解决的问题时，可以平滑切换到另一传感器进行定位。
室内导航对象导航相关技术主流方法是在占据栅格地图上进行路径规划，进而控制机器人运动。相关技术基于激光雷达的定位导航方案，通常分为建图和定位导航两部分内容。建图的作用是通过激光雷达建立环境的二维占据栅格地图。定位通过激光雷达数据和占据栅格地图进行匹配，得到导航对象在占据栅格地图坐标系下的当前位姿。导航则在占据栅格地图上从定位得到的当前位姿到目标点进行路径规划，控制机器人运动到指定目的地。
图2为本公开定位方法一些实施例的示意图。优选的，本实施例可由本公开定位装置或本公开计算机装置执行。该方法可以包括步骤1和步骤2，其中：
步骤1，进行激光视觉融合建图。
在本公开的一些实施例中，步骤1可以包括：使用雷达和视觉传感器进行雷达建图和视觉建图，其中，所述雷达可以为激光雷达，所述视觉传感器可以为相机。
在本公开的一些实施例中，步骤1可以包括：同时使用雷达和视觉传感器进行建图，其中，雷达建图得到用于定位导航的栅格地图，视觉建图得到视觉地图；将视觉建图提供的关键帧位姿与雷达建图提供的雷达位姿进行位姿绑定。
图3为本公开激光视觉融合建图方法一些实施例的示意图。如图3所示，本公开激光视觉融合建图方法(例如图2实施例的步骤1)可以包括步骤11-步骤14，其中：
步骤11，在建图期间，同时使用雷达和视觉传感器进行建图，其中，雷达建图提供雷达位姿，视觉建图提供关键帧位姿，其中，所述雷达位姿可以为激光雷达位姿。
步骤12，在每个视觉关键帧附近按时间戳搜索最近的雷达位姿进行位姿绑定。
步骤13，在保存视觉地图时，同时保存视觉关键帧对应的雷达位姿。
步骤14，雷达建图保存占据栅格地图用于雷达定位和导航对象导航。
步骤2，进行激光视觉融合定位。将雷达定位与视觉定位进行结合，将视觉定位结果供导航对象在雷达定位得到的栅格地图上导航使用。
图4为本公开激光视觉融合定位方法一些实施例的示意图。如图4所示，本公开激光视觉融合建图方法(例如图2实施例的步骤2)可以包括步骤21-步骤25，其中：
步骤21，确定视觉轨迹下的候选关键帧位姿和当前帧位姿。
步骤22，将视觉轨迹下的候选关键帧位姿和当前帧位姿转换至雷达轨迹下的候选关键帧位姿和当前帧位姿。
步骤23，根据雷达轨迹下的候选关键帧位姿和当前帧位姿，确定候选关键帧到当前帧的位姿变换矩阵。
步骤24，根据所述位姿变换矩阵以及和关键帧位姿绑定的雷达位姿，确定雷达轨迹下的导航对象初步位姿，其中，所述导航对象可以为视觉传感器。
步骤25，将6自由度的导航对象初步位姿投影到3自由度上，确定在导航栅格地图坐标系下的导航对象位姿。
图5为本公开激光视觉融合定位方法另一些实施例的示意图。如图5所示，本公开激光视觉融合建图方法(例如图2实施例的步骤2)可以包括步骤51-步骤58，其中：
步骤51，在视觉定位前，首先加载视觉地图，其中，视觉地图包括建图关键帧的3D(三维)地图点信息、图像2D(二维)点信息和2D点对应的描述符信息。
步骤52，对视觉地图的当前帧图像提取特征点，使用当前帧图像全局描述符在建图数据库中检索候选关键帧。
步骤53，根据当前帧信息和候选关键帧进行视觉重定位，得到视觉轨迹下的当前帧全局位姿
Figure PCTCN2021138982-appb-000001
步骤54，计算视觉轨迹和雷达轨迹之间的旋转矩阵
Figure PCTCN2021138982-appb-000002
在本公开的一些实施例中，如图1所示，视觉传感器轨迹1和雷达轨迹2之间存在旋转和缩放。旋转是由于视觉传感器和雷达初始化不同导致轨迹在世界坐标系下开始的方向不同导致的。缩放是由于视觉SLAM在导航对象上工作，无论是单目、双目或视觉IMU(Inertial measurement unit，惯性测量单元)融合，都很难保证尺度和真实尺度绝对一致。由于导航对象只在平面上运动，所以两条轨迹只在yaw角(偏航角)上存在旋转角度(绕着重力方向为轴旋转)，而且这个旋转角度基本上是固定的。本公开采用建图时保存的视觉关键帧位置向量和激光位置向量计算两条轨迹之间的夹角，用旋转矩阵表示为
Figure PCTCN2021138982-appb-000003
在本公开的一些实施例中，视觉轨迹和雷达轨迹之间的旋转矩阵
Figure PCTCN2021138982-appb-000004
为视觉传感器和雷达之间的外参旋转矩阵。
步骤55，将视觉轨迹下的候选关键帧位姿和当前帧位姿转换至雷达轨迹下的候选关键 帧位姿和当前帧位姿。
在本公开的一些实施例中，步骤55中所述将视觉轨迹下的候选关键帧位姿转换至雷达轨迹下的候选关键帧位姿的步骤可以包括步骤551-步骤554，其中：
步骤551，根据视觉轨迹下的候选关键帧旋转矩阵、视觉轨迹下的候选关键帧全局位置，确定视觉轨迹下的候选关键帧位姿
Figure PCTCN2021138982-appb-000005
在本公开的一些实施例中，步骤551可以包括：根据公式(1)确定视觉轨迹下的候选关键帧位姿为
Figure PCTCN2021138982-appb-000006
Figure PCTCN2021138982-appb-000007
公式(1)中，
Figure PCTCN2021138982-appb-000008
为视觉轨迹下的候选关键帧旋转矩阵，
Figure PCTCN2021138982-appb-000009
为视觉轨迹下的候选关键帧全局位置。
步骤552，根据视觉轨迹下的候选关键帧旋转矩阵
Figure PCTCN2021138982-appb-000010
视觉传感器和雷达之间的外参旋转矩阵
Figure PCTCN2021138982-appb-000011
确定雷达轨迹下的候选关键帧旋转矩阵
Figure PCTCN2021138982-appb-000012
在本公开的一些实施例中，步骤552可以包括：根据公式(2)以通过视觉传感器和雷达之间的外参旋转矩阵
Figure PCTCN2021138982-appb-000013
转换至雷达轨迹下。
Figure PCTCN2021138982-appb-000014
公式(2)中，
Figure PCTCN2021138982-appb-000015
为视觉传感器和雷达之间的外参旋转矩阵。
步骤553，根据视觉轨迹下的候选关键帧全局位置、视觉轨迹和雷达轨迹之间的旋转矩阵，确定雷达轨迹下的候选关键帧全局位置
Figure PCTCN2021138982-appb-000016
在本公开的一些实施例中，步骤553可以包括：根据公式(3)通过两条轨迹之间的旋转矩阵
Figure PCTCN2021138982-appb-000017
转换至雷达轨迹下：
Figure PCTCN2021138982-appb-000018
公式(3)中，
Figure PCTCN2021138982-appb-000019
为雷达轨迹下的候选关键帧全局位置。
步骤554，根据雷达轨迹下的候选关键帧全局位置、雷达轨迹下的候选关键帧旋转矩阵，确定雷达轨迹下的候选关键帧位姿
Figure PCTCN2021138982-appb-000020
在本公开的一些实施例中，步骤554可以包括：根据公式(4)确定雷达轨迹下的候选关键帧位姿
Figure PCTCN2021138982-appb-000021
Figure PCTCN2021138982-appb-000022
在本公开的一些实施例中，视觉轨迹下的当前帧位姿
Figure PCTCN2021138982-appb-000023
转换为雷达轨迹下的当前帧位姿
Figure PCTCN2021138982-appb-000024
方法和上诉方法类似。
在本公开的一些实施例中，步骤55中，所述将视觉轨迹下的候选关键帧位姿转换至雷达轨迹下的候选关键帧位姿的步骤可以包括步骤55a-步骤55c，其中：
步骤55a，根据视觉轨迹下的当前帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的当前帧旋转矩阵。
步骤55b，根据视觉轨迹下的当前帧全局位置、视觉轨迹和雷达轨迹之间的旋转矩阵，确定雷达轨迹下的当前帧全局位置。
步骤55c，根据雷达轨迹下的当前帧全局位置、雷达轨迹下的当前帧旋转矩阵，确定雷达轨迹下的当前帧位姿。
步骤56，根据雷达轨迹下的候选关键帧位姿和当前帧位姿，确定候选关键帧到当前帧的位姿变换矩阵。
在本公开的一些实施例中，步骤56可以包括：根据公式(5)通过雷达轨迹下的候选关键帧位姿
Figure PCTCN2021138982-appb-000025
和雷达轨迹下的当前帧位姿
Figure PCTCN2021138982-appb-000026
求解出雷达轨迹下候选关键帧到当前帧的位姿变换矩阵
Figure PCTCN2021138982-appb-000027
Figure PCTCN2021138982-appb-000028
步骤57，根据位姿变换矩阵以及和关键帧位姿绑定的雷达位姿确定雷达轨迹下的导航对象初步位姿。
在本公开的一些实施例中，步骤57可以包括：根据公式(6)通过和关键帧位姿绑定的雷达位姿
Figure PCTCN2021138982-appb-000029
和雷达轨迹下候选关键帧到当前帧的位姿变换
Figure PCTCN2021138982-appb-000030
可以初步求解出雷达轨迹下的导航对象位姿
Figure PCTCN2021138982-appb-000031
Figure PCTCN2021138982-appb-000032
步骤58，将6自由度的导航对象初步位姿投影到3自由度上，确定在导航栅格地图坐标系下的导航对象位姿。
由于室内导航对象只在平面运动，单线雷达也只能提供3DOF位姿，在视觉6DOF位姿和雷达3DOF融合过程中，会引入其他3DOF的误差。本公开将雷达轨迹下的导航对象6DOF位姿
Figure PCTCN2021138982-appb-000033
投影为3DOF，得到在导航栅格地图坐标系下的机器人位姿
Figure PCTCN2021138982-appb-000034
图6为本公开一些实施例融合定位后轨迹的效果图。轨迹3为依靠视觉传感器定位得到的轨迹，和图1中雷达定位得到的轨迹2做对比，两者在旋转和尺度上基本上是一致的，在导航栅格地图上的位置也是相同的。视觉传感器定位得到的位姿可以直接用来导航对象导航使用。
基于本公开上述实施例提供的定位方法，是一种激光与视觉融合的室内定位方法，通过将激光SLAM和视觉SLAM进行融合，优势互补，解决两者自身在工作过程中碰到的问题，给移动机器人等导航对象提供一套低成本稳定的定位方案。
本公开上述实施例在激光SLAM和视觉SLAM融合过程中，降低了不同自由度位姿融合带来的误差。
针对视觉SLAM在导航对象上应用，由于存在运动退化或场景复杂等问题，导致尺度往往真实尺度不一致的技术问题，通过本公开上述实施例的融合方案，可使视觉SLAM的尺度和激光SLAM的尺度保持一致。
本公开上述实施例的视觉定位结果可以直接供导航对象在激光SLAM得到的栅格地图上导航使用。
本公开上述实施例的激光视觉融合定位方法的输入为图像，输出为导航栅格地图坐标系下的位姿。
图7为本公开定位装置一些实施例的示意图。如图7所示，本公开定位装置可以包括融合建图模块71和融合定位模块72，其中：
融合建图模块71，被配置为使用雷达和视觉传感器进行雷达建图和视觉建图，其中，所述视觉建图包括关键帧位姿。
在本公开的一些实施例中，融合建图模块71可以被配置为同时使用雷达和视觉传感器进行建图，其中，雷达建图得到用于定位导航的栅格地图，视觉建图得到视觉地图；将视觉建图提供的关键帧位姿与雷达建图提供的雷达位姿进行位姿绑定。
融合定位模块72，被配置为基于所述关键帧位姿将雷达定位与视觉定位进行结合，将视觉定位结果在雷达定位得到的地图上导航使用。
在本公开的一些实施例中，融合定位模块72可以被配置为确定视觉轨迹下的候选关键帧位姿和当前帧位姿；将视觉轨迹下的候选关键帧位姿和当前帧位姿转换为雷达轨迹下的候选关键帧位姿和当前帧位姿；根据雷达轨迹下的候选关键帧位姿和当前帧位姿，确定雷达轨迹下候选关键帧到当前帧的位姿变换矩阵；根据所述位姿变换矩阵以及和关键帧位姿绑定的雷达位姿，确定雷达轨迹下的导航对象初步位姿。
在本公开的一些实施例中，融合定位模块72还可以被配置为将6自由度的导航对象初步位姿投影到3自由度上，确定在栅格地图坐标系下的导航对象位姿。
在本公开的一些实施例中，融合定位模块72在确定视觉轨迹下的当前帧位姿的情况 下，可以被配置为加载视觉地图；从视觉地图的当前帧图像提取特征点，根据当前帧图像描述符在建图数据库中检索候选关键帧；根据当前帧特征点信息和候选关键帧进行视觉重定位，得到视觉轨迹下的当前帧位姿。
在本公开的一些实施例中，融合定位模块72在确定视觉轨迹下的候选关键帧位姿的情况下，可以被配置为根据视觉轨迹下的候选关键帧旋转矩阵、视觉轨迹下的候选关键帧全局位置，确定视觉轨迹下的候选关键帧位姿。
在本公开的一些实施例中，融合定位模块72在将视觉轨迹下的候选关键帧位姿转换为雷达轨迹下的候选关键帧位姿的情况下，可以被配置为根据视觉轨迹下的候选关键帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的候选关键帧旋转矩阵；计算视觉轨迹和雷达轨迹之间的旋转矩阵；根据视觉轨迹下的候选关键帧全局位置、视觉轨迹和雷达轨迹之间的旋转矩阵，确定雷达轨迹下的候选关键帧全局位置；根据雷达轨迹下的候选关键帧全局位置、雷达轨迹下的候选关键帧旋转矩阵，确定雷达轨迹下的候选关键帧位姿。
在本公开的一些实施例中，融合定位模块72在根据视觉轨迹下的候选关键帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的候选关键帧旋转矩阵的情况下，可以被配置为根据视觉轨迹下的候选关键帧旋转矩阵、视觉轨迹下的候选关键帧全局位置，确定视觉轨迹下的候选关键帧位姿
Figure PCTCN2021138982-appb-000035
根据视觉轨迹下的候选关键帧旋转矩阵
Figure PCTCN2021138982-appb-000036
视觉传感器和雷达之间的外参旋转矩阵
Figure PCTCN2021138982-appb-000037
确定雷达轨迹下的候选关键帧旋转矩阵
Figure PCTCN2021138982-appb-000038
在本公开的一些实施例中，融合定位模块72在将视觉轨迹下的当前帧位姿转换至雷达轨迹下的当前帧位姿的情况下，可以被配置为根据视觉轨迹下的当前帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的当前帧旋转矩阵；计算视觉轨迹和雷达轨迹之间的旋转矩阵；根据视觉轨迹下的当前帧全局位置、视觉轨迹和雷达轨迹之间的旋转矩阵，确定雷达轨迹下的当前帧全局位置；根据雷达轨迹下的当前帧全局位置、雷达轨迹下的当前帧旋转矩阵，确定雷达轨迹下的当前帧位姿。
在本公开的一些实施例中，所述定位装置被配置为执行实现如上述任一实施例(例如图2-图5任一实施例)所述的定位方法的操作。
基于本公开上述实施例提供的定位装置，是一种激光与视觉融合的室内定位装置，通过将激光SLAM和视觉SLAM进行融合，优势互补，解决两者自身在工作过程中碰到的问题，给导航对象提供一套低成本稳定的定位方案。
本公开上述实施例在激光SLAM和视觉SLAM融合过程中，降低了不同自由度位姿融合带来的误差。
针对视觉SLAM在导航对象上应用，由于存在运动退化或场景复杂等问题，导致尺度往往真实尺度不一致的技术问题，通过本公开上述实施例的融合方案，可使视觉SLAM的尺度和激光SLAM的尺度保持一致。
本公开上述实施例的视觉定位结果可以直接供导航对象在激光SLAM得到的栅格地图上导航使用。
图8为本公开又一个实施例的计算机装置的结构示意图。如图8所示，计算机装置包括存储器81和处理器82。
存储器81用于存储指令，处理器82耦合到存储器81，处理器82被配置为基于存储器存储的指令执行实现上述实施例涉及的方法(例如图2-图5任一实施例的定位方法)。
如图8所示，该计算机装置还包括通信接口83，用于与其它设备进行信息交互。同时，该计算机装置还包括总线84，处理器82、通信接口83、以及存储器81通过总线84完成相互间的通信。
存储器81可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器81也可以是存储器阵列。存储器81还可能被分块，并且块可按一定的规则组合成虚拟卷。
此外，处理器82可以是一个中央处理器CPU，或者可以是专用集成电路ASIC，或是被配置成实施本公开实施例的一个或多个集成电路。
基于本公开上述实施例提供的计算机装置，通过将激光SLAM和视觉SLAM进行融合，优势互补，解决两者自身在工作过程中碰到的问题，给导航对象提供一套低成本稳定的定位方案。
本公开上述实施例在激光SLAM和视觉SLAM融合过程中，降低了不同自由度位姿融合带来的误差。
针对视觉SLAM在导航对象上应用，由于存在运动退化或场景复杂等问题，导致尺度往往真实尺度不一致的技术问题，通过本公开上述实施例的融合方案，可使视觉SLAM的尺度和激光SLAM的尺度保持一致。
本公开上述实施例的视觉定位结果可以直接供导航对象在激光SLAM得到的栅格地图上导航使用。
根据本公开的另一方面，提供一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例(例如图2-图5任一实施例)所述的定位方法。
基于本公开上述实施例提供的定位装置，是一种激光与视觉融合的室内定位装置，通过将激光SLAM和视觉SLAM进行融合，优势互补，解决两者自身在工作过程中碰到的问题，给导航对象提供一套低成本稳定的定位方案。
本公开上述实施例在激光SLAM和视觉SLAM融合过程中，降低了不同自由度位姿融合带来的误差。
针对视觉SLAM在导航对象上应用，由于存在运动退化或场景复杂等问题，导致尺度往往真实尺度不一致的技术问题，通过本公开上述实施例的融合方案，可使视觉SLAM的尺度和激光SLAM的尺度保持一致。
本公开上述实施例的视觉定位结果可以直接供导航对象在激光SLAM得到的栅格地图上导航使用。
在上面所描述的定位装置和计算机装置可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (16)

  1. 一种定位方法，包括：
    使用雷达和视觉传感器进行雷达建图和视觉建图，其中，所述视觉建图包括关键帧位姿；
    基于所述关键帧位姿将雷达定位与视觉定位进行结合，将视觉定位结果在雷达定位得到的地图上导航使用。
  2. 根据权利要求1所述的定位方法，其中，所述预先使用雷达和视觉传感器进行雷达建图和视觉建图包括：
    同时使用雷达和视觉传感器进行建图，其中，雷达建图得到用于定位导航的地图，视觉建图得到视觉地图；
    将视觉建图提供的关键帧位姿与雷达建图提供的雷达位姿进行位姿绑定。
  3. 根据权利要求1或2所述的定位方法，其中，所述基于所述关键帧位姿将雷达定位与视觉定位进行结合，将视觉定位结果在雷达定位得到的地图上导航使用包括：
    确定视觉轨迹下的候选关键帧位姿和当前帧位姿；
    将视觉轨迹下的候选关键帧位姿和当前帧位姿转换为雷达轨迹下的候选关键帧位姿和当前帧位姿；
    根据雷达轨迹下的候选关键帧位姿和当前帧位姿，确定雷达轨迹下候选关键帧到当前帧的位姿变换矩阵；
    根据所述位姿变换矩阵以及和关键帧位姿绑定的雷达位姿，确定雷达轨迹下的导航对象初步位姿。
  4. 根据权利要求3所述的定位方法，其中，所述基于所述关键帧位姿将雷达定位与视觉定位进行结合，将视觉定位结果在雷达定位得到的地图上导航使用还包括：
    将6自由度的导航对象初步位姿投影到3自由度上，确定在栅格地图坐标系下的导航对象位姿。
  5. 根据权利要求3所述的定位方法，其中，所述确定视觉轨迹下的当前帧位姿包括：
    加载视觉地图；
    从视觉地图的当前帧图像提取特征点，根据当前帧图像描述符在建图数据库中检索候选关键帧；
    根据当前帧特征点信息和候选关键帧进行视觉重定位，得到视觉轨迹下的当前帧位姿。
  6. 根据权利要求3所述的定位方法，其中，所述确定视觉轨迹下的候选关键帧位姿包括：
    根据视觉轨迹下的候选关键帧旋转矩阵、视觉轨迹下的候选关键帧全局位置，确定视觉轨迹下的候选关键帧位姿。
  7. 根据权利要求3所述的定位方法，其中，所述将视觉轨迹下的候选关键帧位姿转换为雷达轨迹下的候选关键帧位姿包括：
    根据视觉轨迹下的候选关键帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的候选关键帧旋转矩阵；
    计算视觉轨迹和雷达轨迹之间的旋转矩阵；
    根据视觉轨迹下的候选关键帧全局位置、视觉轨迹和雷达轨迹之间的旋转矩阵，确定雷达轨迹下的候选关键帧全局位置；
    根据雷达轨迹下的候选关键帧全局位置、雷达轨迹下的候选关键帧旋转矩阵，确定雷达轨迹下的候选关键帧位姿。
  8. 根据权利要求7所述的定位方法，其中，所述根据视觉轨迹下的候选关键帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的候选关键帧旋转矩阵包括：
    根据视觉轨迹下的候选关键帧旋转矩阵、视觉轨迹下的候选关键帧全局位置，确定视觉轨迹下的候选关键帧位姿；
    根据视觉轨迹下的候选关键帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的候选关键帧旋转矩阵。
  9. 根据权利要求3所述的定位方法，其中，所述将视觉轨迹下的当前帧位姿转换为 雷达轨迹下的当前帧位姿包括：
    根据视觉轨迹下的当前帧旋转矩阵、视觉传感器和雷达之间的外参旋转矩阵，确定雷达轨迹下的当前帧旋转矩阵；
    计算视觉轨迹和雷达轨迹之间的旋转矩阵；
    根据视觉轨迹下的当前帧全局位置、视觉轨迹和雷达轨迹之间的旋转矩阵，确定雷达轨迹下的当前帧全局位置；
    根据雷达轨迹下的当前帧全局位置、雷达轨迹下的当前帧旋转矩阵，确定雷达轨迹下的当前帧位姿。
  10. 一种定位装置，包括：
    融合建图模块，被配置为使用雷达和视觉传感器进行雷达建图和视觉建图，其中，所述视觉建图包括关键帧位姿；
    融合定位模块，被配置为基于所述关键帧位姿将雷达定位与视觉定位进行结合，将视觉定位结果在雷达定位得到的地图上导航使用。
  11. 根据权利要求10所述的定位装置，其中，
    融合建图模块，被配置为同时使用雷达和视觉传感器进行建图，其中，雷达建图得到用于定位导航的地图，视觉建图得到视觉地图；将视觉建图提供的关键帧位姿与雷达建图提供的雷达位姿进行位姿绑定。
  12. 根据权利要求10或11所述的定位装置，其中，
    融合定位模块，被配置为确定视觉轨迹下的候选关键帧位姿和当前帧位姿；将视觉轨迹下的候选关键帧位姿和当前帧位姿转换为雷达轨迹下的候选关键帧位姿和当前帧位姿；根据雷达轨迹下的候选关键帧位姿和当前帧位姿，确定雷达轨迹下候选关键帧到当前帧的位姿变换矩阵；根据所述位姿变换矩阵以及和关键帧位姿绑定的雷达位姿，确定雷达轨迹下的导航对象初步位姿。
  13. 根据权利要求12所述的定位装置，其中，
    融合定位模块，还被配置为将6自由度的导航对象初步位姿投影到3自由度上，确定在栅格地图坐标系下的导航对象位姿。
  14. 根据权利要求10或11所述的定位装置，其中，所述定位装置用于执行实现如权利要求5-9中任一项所述的定位方法的操作。
  15. 一种计算机装置，包括：
    存储器，被配置为存储指令；
    处理器，被配置为执行所述指令，使得所述计算机装置执行实现如权利要求1-9中任一项所述的定位方法的操作。
  16. 一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1-9中任一项所述的定位方法。
PCT/CN2021/138982 2021-01-20 2021-12-17 定位方法和装置、计算机装置和计算机可读存储介质 WO2022156447A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21920821.2A EP4202497A1 (en) 2021-01-20 2021-12-17 Localization method and apparatus, and computer apparatus and computer-readable storage medium
US18/257,754 US20240118419A1 (en) 2021-01-20 2021-12-17 Localization method and apparatus, computer apparatus and computer readable storage medium
JP2023518845A JP2024502523A (ja) 2021-01-20 2021-12-17 位置特定方法および装置、コンピュータ装置、ならびにコンピュータ可読ストレージ媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110074516.0 2021-01-20
CN202110074516.0A CN114859370A (zh) 2021-01-20 2021-01-20 定位方法和装置、计算机装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2022156447A1 true WO2022156447A1 (zh) 2022-07-28

Family

ID=82548464

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/138982 WO2022156447A1 (zh) 2021-01-20 2021-12-17 定位方法和装置、计算机装置和计算机可读存储介质

Country Status (5)

Country Link
US (1) US20240118419A1 (zh)
EP (1) EP4202497A1 (zh)
JP (1) JP2024502523A (zh)
CN (1) CN114859370A (zh)
WO (1) WO2022156447A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115267796A (zh) * 2022-08-17 2022-11-01 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN117761717A (zh) * 2024-02-21 2024-03-26 天津大学四川创新研究院 一种自动回环三维重建系统及运行方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717710A (zh) * 2018-05-18 2018-10-30 京东方科技集团股份有限公司 室内环境下的定位方法、装置及系统
KR20180135755A (ko) * 2017-06-13 2018-12-21 엘지전자 주식회사 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
CN109084732A (zh) * 2018-06-29 2018-12-25 北京旷视科技有限公司 定位与导航方法、装置及处理设备
CN110533722A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于视觉词典的机器人快速重定位方法及系统
CN110796683A (zh) * 2019-10-15 2020-02-14 浙江工业大学 一种基于视觉特征联合激光slam的重定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180135755A (ko) * 2017-06-13 2018-12-21 엘지전자 주식회사 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
CN108717710A (zh) * 2018-05-18 2018-10-30 京东方科技集团股份有限公司 室内环境下的定位方法、装置及系统
CN109084732A (zh) * 2018-06-29 2018-12-25 北京旷视科技有限公司 定位与导航方法、装置及处理设备
CN110533722A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于视觉词典的机器人快速重定位方法及系统
CN110796683A (zh) * 2019-10-15 2020-02-14 浙江工业大学 一种基于视觉特征联合激光slam的重定位方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115267796A (zh) * 2022-08-17 2022-11-01 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN115267796B (zh) * 2022-08-17 2024-04-09 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN117761717A (zh) * 2024-02-21 2024-03-26 天津大学四川创新研究院 一种自动回环三维重建系统及运行方法
CN117761717B (zh) * 2024-02-21 2024-05-07 天津大学四川创新研究院 一种自动回环三维重建系统及运行方法

Also Published As

Publication number Publication date
CN114859370A (zh) 2022-08-05
JP2024502523A (ja) 2024-01-22
EP4202497A1 (en) 2023-06-28
US20240118419A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
WO2022188094A1 (zh) 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
CN109186606B (zh) 一种基于slam和图像信息的机器人构图及导航方法
WO2021052403A1 (zh) 一种移动机器人感知障碍信息的方法、装置
WO2022156447A1 (zh) 定位方法和装置、计算机装置和计算机可读存储介质
KR20150144729A (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Alizadeh Object distance measurement using a single camera for robotic applications
Zhou et al. On-board inertial-assisted visual odometer on an embedded system
Sandy et al. Object-based visual-inertial tracking for additive fabrication
US20210156710A1 (en) Map processing method, device, and computer-readable storage medium
Qayyum et al. Imu aided rgb-d slam
Yang et al. Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera
Roggeman et al. Embedded vision-based localization and model predictive control for autonomous exploration
WO2022227632A1 (zh) 基于图像的轨迹规划方法和运动控制方法以及使用该些方法的移动机器
Barth et al. Vehicle tracking at urban intersections using dense stereo
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
Zhang et al. A visual slam system with laser assisted optimization
Scherer et al. DCTAM: Drift-corrected tracking and mapping for autonomous micro aerial vehicles
Sun et al. Detection and state estimation of moving objects on a moving base for indoor navigation
Deng et al. Robust 3D-SLAM with tight RGB-D-inertial fusion
Jia et al. Mobile robot vision odometer based on point-line features and graph optimization
Haige et al. Improved Stereo Vision Robot Locating and Mapping Method
Mirzaei et al. Analytical least-squares solution for 3d lidar-camera calibration
Oh et al. 2.5 D SLAM Algorithm with Novel Data Fusion Method Between 2D-Lidar and Camera
Xia et al. YOLO-Based Semantic Segmentation for Dynamic Removal in Visual-Inertial SLAM

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21920821

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023518845

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 2021920821

Country of ref document: EP

Effective date: 20230323

WWE Wipo information: entry into national phase

Ref document number: 18257754

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE