WO2024037299A1 - 定位方法、装置、机器人和存储介质 - Google Patents

定位方法、装置、机器人和存储介质 Download PDF

Info

Publication number
WO2024037299A1
WO2024037299A1 PCT/CN2023/109295 CN2023109295W WO2024037299A1 WO 2024037299 A1 WO2024037299 A1 WO 2024037299A1 CN 2023109295 W CN2023109295 W CN 2023109295W WO 2024037299 A1 WO2024037299 A1 WO 2024037299A1
Authority
WO
WIPO (PCT)
Prior art keywords
visual information
current
local map
target
map
Prior art date
Application number
PCT/CN2023/109295
Other languages
English (en)
French (fr)
Inventor
杨文超
何科君
Original Assignee
深圳市普渡科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市普渡科技有限公司 filed Critical 深圳市普渡科技有限公司
Publication of WO2024037299A1 publication Critical patent/WO2024037299A1/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying

Abstract

本申请公开了一种定位方法、装置、机器人和存储介质。若目标环境的当前激光帧与目标局部地图匹配失败，获取目标环境的当前视觉图像帧；目标局部地图为地图数据库中与当前激光帧相匹配的局部地图，地图数据库中包括针对目标环境预先构建的多个局部地图和每个局部地图对应的视觉信息；从地图数据库中获取当前视觉图像帧对应的标准视觉信息；根据当前视觉图像帧与标准视觉信息，确定机器人在目标环境中的位姿。

Description

定位方法、装置、机器人和存储介质
相关申请的交叉引用
本申请要求于2022年8月17日提交中国专利局、申请号为202210985736.3、申请名称为“定位方法、装置、机器人和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及机器人技术领域，特别是涉及一种定位方法、装置、机器人和存储介质。
背景技术
同步定位与建图(Simultaneous Localization And Mapping，SLAM)是机器人能够自主运行的基本要求，而激光雷达和视觉传感器是SLAM中的两种主流传感器，基于这两种传感器的SLAM算法也广泛应用在机器人的导航定位过程中。
然而，激光SLAM通过激光雷达前后帧获取点云的微小偏差推算机器人运动轨迹，在环境变化很大，周围物体大量存在运动的时候，建图定位效果较差。
因此，亟需一种可以在复杂场景下实现有效建图与定位，提高SLAM系统稳定性的方法。
发明内容
根据本申请的各种实施例，提供一种定位方法、装置、机器人和存储介质。
一种定位方法，该方法包括：
若目标环境的当前激光帧与目标局部地图匹配失败，获取目标环境的当前视觉图像帧；目标局部地图为地图数据库中与当前激光帧相匹配的局部地图，地图数据库中包括针对目标环境预先构建的多个局部地图和每个局部地图对应的视觉信息；
从地图数据库中获取当前视觉图像帧对应的标准视觉信息；
根据当前视觉图像帧与标准视觉信息，确定机器人在目标环境中的位姿。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。
图1为一个实施例中定位方法的流程示意图；
图2为一个实施例中获取标准视觉信息的流程示意图；
图3为一个实施例中局部地图和视觉信息的对应关系示意图；
图4为一个实施例中视觉定位的流程示意图；
图5为另一个实施例中定位方法的流程示意图；
图6为一个实施例一种地图数据库构建方法的流程示意图；
图7为一个实施例中视觉信息的采集间隔示意图；
图8为一个实施例中另一种地图数据库构建方法的流程示意图；
图9为另一个实施例中地图数据库构建方法的流程示意图；
图10为一个实施例中定位装置的结构框图；
图11为一个实施例中机器人的内部结构图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于发明的技术领域的技术人员通常理解 的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
随着机器人应用场景的不断增加，对机器人建图和定位技术的要求也越来越高。激光传感器和视觉传感器作为SLAM中的两种主流传感器，基于这两种传感器的SLAM也广泛应用在机器人的建图和定位过程中。
其中，激光SLAM的运行原理是：设置在机器人固定位置的激光传感器，可以探测到一个水平面(或几个有限角度切面)上一定角度范围内，基于机器人前方障碍物距离信息所形成的点云点。进一步地，基于实时采集的连续激光帧，通过对比前后激光帧中点云在空间位置上的微小偏移，可以推算出机器人运动轨迹。
激光SLAM在环境保持静态时，能获得很好的定位结果，但在环境中障碍物分布变动很大，机器人周围存在大量的动态障碍时，可能存在定位失效的问题，会影响机器人定位系统的稳定性。
进一步地，视觉传感器(比如摄像头)采集的视觉图像具有比激光传感器采集的点云数据更高维度、更丰富的信息，也最接近于人眼观察世界的方式。但视觉图像中包含的海量图像信息，需要更大的算力和更强的推理逻辑来实现基于图像信息定位机器人的位姿。然而，机器人多运行在嵌入式平台中，有限的计算资源阻碍了视觉SLAM在机器人身上的应用。同时，视觉图像容易受到光线干扰，且存在相似图案特征误检等问题，也会影响机器人定位系统的稳定性。
激光SLAM和视觉SLAM均存在弊端与瓶颈，因此，如何能更加高效、更加鲁棒地应对各种复杂场景的机器人运行，成为机器人技术领域中亟待解决的问题。
基于上述分析，本申请提供了一种定位方法、装置、机器人和存储介质，以将两种SLAM技术的优势进行结合，依托于激光SLAM强大的实时性、稳定性、高效性，增加视觉辅助功能，提升环境信息的采集维度，从而为激光SLAM在复杂场景下的定位找到可行的解决方案。而且，本申请采集的视觉信息不用于执行复杂的视觉SLAM操作，仅用于建立局部地图和视觉信息的关联关系，不影响激光SLAM的定位效率。
在一个实施例中，本申请提供的定位方法，可以应用于定位装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为处理器的部分或者全部，集成在计算机设备中。其中，计算机设备可以是能够自主移动的机器人，也可以是其他智能终端。
接下来，将通过实施例并结合附图具体地对本申请实施例的技术方案，以及本申请实施例的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。显然，所描述的实施例是本申请实施例一部分实施例，而不是全部的实施例。
在一个实施例中，如图1所示，提供了一种定位方法，以该方法应用于机器人为例进行说明，包括以下步骤：
步骤110：若目标环境的当前激光帧与目标局部地图匹配失败，获取目标环境的当前视觉图像帧；目标局部地图为地图数据库中与当前激光帧相匹配的局部地图，地图数据库中包括针对目标环境预先构建的多个局部地图和每个局部地图对应的视觉信息。
需要说明的是，机器人在导航定位时主要采用激光SLAM进行定位，正常情况下的工作状态是：根据实时激光帧和地图数据库中的局部地图进行匹配，进而根据匹配上的局部地图，计算机器人的实时位姿。
换言之，若目标环境的当前激光帧与目标局部地图匹配成功，则根据当前激光帧和目标局部地图，确定机器人在目标环境中的位姿。
具体地，根据当前激光帧中的点云和目标局部地图中的3D地图点进行特征点匹配，获取当前激光帧和目标局部地图之间的匹配关系，进而根据匹配关系计算机器人的位姿。
然而，当机器人所处目标环境中分布的障碍物发生移动，比如，环境中的桌椅在前后激光帧中的位置偏差较大时，当前激光帧可能在地图数据库中无法匹配到对应的局部地图，此时，激光SLAM定位失效。
基于此，当机器人在目标环境中采集的当前激光帧与目标局部地图匹配失败，即激光SLAM定位失效时，可以借助视觉信息进行辅助定位，即执行上述步骤110，机器人获取目标环境的当前视觉图像帧，并以此来定位。
需要说明的是，在机器人建图过程中，目标局部地图为前一激光帧对应的局部地图；在机器人基于先验地图的重定位过程中，目标局部地图可以为地图数据库中已经建好的局部地图，且目标局部地图与当前激光帧的相似度最高。
此处的目标局部地图与当前激光帧之间相似度高，是较地图数据库中其他局部地图与当前激光帧的相似度而言的，目标局部地图和当前激光帧之间的相似度最高，并不代表当前激光帧和目标局部地图一定匹配成功。
进一步地，判断当前激光帧和目标局部地图之间的匹配情况时，可以采用但不限于以下两种方式：
方式1：根据当前激光帧和目标局部地图，计算机器人的位姿，根据机器人的位姿与上一激光帧确定的位姿之间的偏差情况，判断当前激光帧和目标局部地图是否匹配成功。
其中，若机器人的位姿与上一激光帧确定的位姿之间的偏差大于预设的位姿偏差值，表征机器人位姿发生了很大变化，定位结果可能存在异常，则判定当前激光帧和目标局部地图匹配失败，需要借助视觉信息进行定位。
若机器人的位姿与上一激光帧确定的位姿之间的偏差不大于预设的位姿偏差值，则判定当前激光帧与目标局部地图匹配成功，可以直接根据当前激光帧和目标局部地图，确定机器人在目标环境中的位姿。
方式2：根据当前激光帧和目标局部地图进行特征点匹配，获取匹配特征点对；进而根据匹配特征点对和预设的特征点对阈值，判断当前激光帧和目标局部地图是否匹配成功。
应该理解的是，当前激光帧和目标局部地图之间的匹配特征点对越多，则表征当前激光帧和目标局部地图中环境信息的相似度越高，根据两者确定的位姿也更准确。
因此，当匹配特征点对的数量大于特征点对阈值时，判定当前激光帧和目标局部地图匹配成功，可以直接根据当前激光帧和目标局部地图，确定机器人在目标环境中的位姿；当匹配特征点对的数量小于或等于特征点对阈值时，判定当前激光帧和目标局部地图匹配失败，需要借助视觉信息进行定位。
步骤120：从地图数据库中获取当前视觉图像帧对应的标准视觉信息。
其中，地图数据库中存储有多个局部地图，以及每个局部地图对应的视觉信息。每个局部地图可能对应一个视觉信息，也可能对应多个视觉信息，采集的视觉信息的数量可以在建图过程中基于实际需求进行灵活设置，本实施例对此不做限制。
其中，每个局部地图对应的视觉信息可以为视觉图像，也可以为视觉图像中的特征点，该视觉信息是通过激光SLAM构建局部地图时，通过视觉传感器采集得到的。
作为一个示例，视觉信息可以是人为设置在目标环境中的标识(即maker)，比如，具有明确的编码规则的点阵码/二维码。可以将这些maker贴在目标环境的天花板或者墙上，然后，当机器人在目标环境中移动时，通过机器人顶部/前部的视觉传感器拍摄这些maker，从而获取到这些maker所表示的视觉信息。
作为另一个示例，视觉信息还可以是目标环境中的自然物的外观信息和位姿信息，比如，目标环境中桌椅、走廊、窗户等物体的分布情况等。
在一种可能的实现方式中，步骤120的实现过程可以为：基于当前视觉图像帧，遍历地图数据库中各局部地图对应的视觉信息，并计算当前视觉图像帧和多个视觉信息之间的相似度，将相似度最高的一个视觉信息，确定为当前视觉图像帧对应的标准视觉信息。
步骤130：根据当前视觉图像帧与标准视觉信息，确定机器人在目标环境中的位姿。
其中，该步骤的实现过程与视觉SLAM相同，即根据当前图像帧和标准视觉信息，获取两张图像中的匹配特征点对，进而根据匹配特征点对中特征点的偏移信息，确定机器人在目标环境中的位姿。在此不再赘述，可以参见视觉SLAM定位的相关技术。
但需要说明的是，步骤130的定位过程虽然与视觉SLAM相同，但本申请只在激光SLAM定位失效，即当前激光帧与目标局部地图匹配失败的情况下，才根据当前视觉图像帧和标准视觉信息确定机器人的位姿，以保证机器人可以在激光SLAM无法作业的复杂环境中正常运行，定位系统的鲁棒性更好。
可选地，通过视觉信息确定机器人在目标环境中的位姿后，可以将该位姿作为初始值赋给激光SLAM，激光SLAM以该位姿为起始状态进行二次定位，如果二次定位成功，则切换到激光SLAM工作状态。
上述定位方法中，若目标环境的当前激光帧与目标局部地图匹配失败，获取目标环境的当前视觉图像帧，并从地图数据库中获取当前视觉图像帧对应的标准视觉信息，进而根据当前视觉图像帧与标准视觉信息，确定机器人在目标环境中的位姿。其中，目标局部地图为地图数据库中与当前激光帧相匹配的局部地图，地图数据库中包括针对目标环境预先构建的多个局部地图和每个局部地图对应的视觉信息。也即是，本申请预先在地图数据库中补充存储了局部地图对应的视觉信息，因此，在激光SLAM失效的情况下，可以通过采集当前视觉图像帧，并从地图数据库中匹配对应的标准视觉信息，然后通过视觉图像帧和标准视觉信息进行定位，以弥补激光SLAM定位在动态环境中的局限性，保证了机器人定位系统可以在复杂环境中正常运行。如此，通过经验总结更为鲁棒的激光SLAM进行机器人定位时，加以视觉信息辅助，可以保持激光SLAM良好的实时性，同时增强定位系统的运行稳定性。
基于上述实施例，从地图数据库中获取当前视觉图像帧对应的标准视觉信息时，可以通过遍历的方式来获取，也可以利用目标局部地图，缩小地图数据库的遍历范围，进而提高标准视觉信息的获取效率。
应该理解的是，虽然目标局部地图与当前激光帧匹配失败，但目标局部地图较地图数据库中其他局部地图而言，与当前激光帧中的环境信息之间具有一定的相似度。因此，基于目标局部地图，可以在目标局部地图的邻近局部地图对应的视觉信息中，快速确定标准视觉信息。
基于此构思，在一个实施例中，如图2所示，上述步骤120中从地图数据库中获取当前视觉图像帧对应的标准视觉信息的实现过程，可以包括以下步骤：
步骤210：基于目标局部地图，从地图数据库中获取目标局部地图对应的视觉信息，得到第一候选视觉信息。
其中，目标局部地图对应的视觉信息可以是一个视觉图像的视觉特征信息，也可以是多个视觉图像的视觉特征信息。
需要说明的是，在建图过程中，若激光SLAM建图效果较好，则可以按照预设的采集时长获取视觉信息；若激光SLAM建图效果不佳，则可以增大视觉信息的采集频率，以采集更多的视觉信息补充到局部地图中，提高局部地图中环境信息的可靠性。
作为一个示例，激光SLAM的建图效果可以根据激光帧定位结果来确定。具体地，若根据激光帧和前一激光帧确定的机器人位姿，较机器人前一次定位的历史位姿之间的偏差大于预设的位姿偏差值，表征当前激光帧和前一激光帧对应的环境信息变化较大，当前激光帧中环境信息可能与前一激光帧中环境信息在空间上不连续，无法用于构建局部地图，因此，认定激光SLAM建图效果不佳。
步骤220：从地图数据库中获取与目标局部地图相邻的至少一个候选局部地图，将各候选局部地图对应的视觉信息确定为第二候选视觉信息。
由于地图数据库中各局部地图描述的空间环境是连续的，各局部地图之间存在一定的连接顺序。因此，基于目标局部地图可以确定与目标局部地图相邻的至少一个候选局部地图，进而获取各候选局部地图对应的视觉信息。
步骤230：根据第一候选视觉信息和/或第二候选视觉信息，确定当前视觉图像帧对应的标准视觉信息。
在一种可能的实现方式中，步骤230的实现过程可以为：若第一候选视觉信息有多个，从第一候选视觉信息中确定当前视觉图像帧对应的标准视觉信息。若第一候选视觉信息只有一个，则可以根据第二候选视觉信息，确定当前视觉图像帧对应的标准视觉信息；也可以根据第一候选视觉信息和第二候选视觉信息，确定当前视觉图像帧对应的标准视觉信息。
其中，标准视觉信息为与当前视觉图像帧中环境信息相似度最高的一个候选视觉信息。
基于上述步骤210－步骤230，参见图3，假设机器人建图时在每次构建局部地图，以及局部地图的中间激光帧的采样时刻执行一次获取视觉信息的操作，由于前后两个局部地图中存在重叠的激光帧，因此，建图时刻采集的视觉信息可能存在于两个相邻的局部地图中。
作为一个示例，若局部地图2中存在一个激光SLAM定位失效点1，则可以在局部地图2中获取4个第一候选视觉信息(即图3中定位失效点1虚线连接的4个视觉信息)，同时，在局部地图1中获取对应的2个视觉信息，在局部地图3中获取对应的5个视觉信息，将局部地图1和局部地图3中获取的视觉信息作为第二候选视觉信息，然后，根据第一候选信息和/或第二候选视觉信息确定标准视觉信息。
作为另一个示例，若局部地图4中存在一个激光SLAM定位失效点2，则可以在局部地图4中确定距离该定位失效点2最近的视觉信息(即图3中定位失效点2虚线连接的1个视觉信息)，并将该视觉信息直接确定为标准视觉信息。
可选地，由于相邻局部地图共享一个视觉信息，因此，在获取第一候选信息和第二候选信息后，可以对重复的视觉信息进行剔除操作。
在本实施例中，基于目标局部地图，在目标局部地图和/或目标局部地图相邻的至少候选局部地图中，筛选当前视觉图像帧对应的标准视觉信息，可以缩小标准视觉信息的搜索范围，提高标准视觉信息的获取效率，以及获取到的标准视觉信息和当前视觉图像帧之间的匹配度。
在一个实施例中，如图4所示，上述步骤130中根据当前视觉图像帧与标准视觉信息，确定机器人在目标环境中的位姿的实现过程，可以包括以下步骤：
步骤410：获取标准视觉信息在对应的局部地图中的位姿信息。
在一种可能的实现方式中，步骤410的实现过程可以为：获取视觉传感器和激光传感器之间的坐标转换关系；对视觉信息中的特征点和局部地图中的特征点进行匹配，进而根据局部地图中各特征点的位姿信息和坐标转换关系，确定标准视觉信息中对应特征点转换到局部地图中时对应的位姿，以此确定标准视觉信息在局部地图中的位姿信息。
另外，位姿信息可以根据建图时采集视觉信息的视觉传感器的位姿确定，也可以在建图过程中直接将位姿信息记录对应的局部地图中。
步骤420：根据当前视觉图像帧和标准视觉信息匹配的多个匹配特征点对，获取当前视觉图像帧和标准视觉信息之间的变换关系。
具体地，根据当前视觉图像帧和标准视觉信息匹配的多个匹配特征点对，确定当前视觉图像帧中的特征点，较标准视觉信息中对应特征点的偏移信息，进而根据多个匹配特征点对中特征点的偏移信息，计算当前视觉图像帧和标准视觉信息之间的变换关系。
其中，该变换关系可以反映采集当前视觉图像帧的视觉传感器和采集标准视觉信息的视觉传感器之间的坐标系变换关系。
步骤430：根据位姿信息和变换关系，确定机器人在目标环境中的位姿。
在一种可能的实现方式中，根据位姿信息和变换关系，即可将当前视觉图像帧中的特征点，转换到标准视觉信息对应的局部地图中进行表示，以此来确定机器人在局部地图中的位姿，进而确定机器人在目标环境中的位姿。
作为一个示例，机器人的位姿可以通过下述公式(1)计算得到：
Pose_current＝Pmark_node*Ptrans_cams        (1)
式中，Pose_current表示机器人当前时刻在目标环境中的位姿，Ptrans_cams是根据当前视觉图像帧和标准视觉信息计算出来的变换关系，Pmark_node为标准视觉信息在对应的局部地图中的位姿信息。
在本实施例中，在当前激光帧和目标局部地图失败的情况下，机器人定位系统切换至视觉辅助定位流程，通过采集当前视觉图像帧，以及当前视觉图像帧对应的标准视觉信息，确定机器人在目标环境中的位姿，实现了复杂场景下的有效定位，保证机器人定位系统的稳定运行。
综合上述各方法实施例，如图5所示，本申请还提供了另一种定位方法，同样以该方法应用于机 器人为例进行说明，包括以下步骤：
步骤510：根据当前激光帧与目标局部地图的匹配情况，确定激光SLAM定位是否失效。
其中，若目标环境的当前激光帧与目标局部地图匹配成功，则执行下述步骤520；若目标环境的当前激光帧与目标局部地图匹配失败，则激光SLAM定位失效，切换至视觉SLAM定位，执行下述步骤530。
另外，目标局部地图为地图数据库中与当前激光帧相匹配的局部地图，地图数据库中包括针对目标环境预先构建的多个局部地图和每个局部地图对应的视觉信息。
步骤520：若目标环境的当前激光帧与目标局部地图匹配成功，根据当前激光帧和目标局部地图，确定机器人在目标环境中的位姿。
步骤530：若目标环境的当前激光帧与目标局部地图匹配失败，获取目标环境的当前视觉图像帧。
步骤540：基于目标局部地图，从地图数据库中获取目标局部地图对应的视觉信息，得到第一候选视觉信息。
步骤550：从地图数据库中获取与目标局部地图相邻的至少一个候选局部地图，将各候选局部地图对应的视觉信息确定为第二候选视觉信息。
步骤560：根据第一候选视觉信息和/或第二候选视觉信息，确定当前视觉图像帧对应的标准视觉信息。
步骤570：获取标准视觉信息在对应的局部地图中的位姿信息。
步骤580：根据当前视觉图像帧和标准视觉信息匹配的多个匹配特征点对，获取当前视觉图像帧和标准视觉信息之间的变换关系。
步骤590：根据位姿信息和变换关系，确定机器人在目标环境中的位姿。
需要说明的是，本实施例提供的定位方法中各步骤的实现原理和技术效果与前面各方法实施例相类似，具体的限定和解释可参见前面各方法实施例，在此不再赘述。
基于上述实施例中的定位方法，机器人在基于先验地图进行导航定位之前，还需要预先在目标环境中移动一圈，以构建目标环境对应的多个局部地图。接下来，结合附图6－图8，对建图过程中构建地图数据库的实现过程进行解释说明。
在一个实施例中，如图6所示，本申请还提供了一种地图数据库构建方法，同样以该方法应用于机器人为例进行说明，包括以下步骤：
步骤610：获取机器人采集的目标环境的激光帧序列，以及机器人每间隔预设时长在目标环境中采集的多个视觉信息。
其中，预设时长是预先设置的视觉信息采集周期，比如，10秒、20秒、30秒等；预设时长还可以是根据激光传感器的数据采集频率设置的，比如，每采集5次激光帧，采集一次视觉信息。
在可选实施例中，每采集预设次激光帧，则会生成一个局部地图，且同时会采集一次视觉信息，从而使得视觉信息可以位于相邻局部地图之间，且分别与相邻的两个局部地图关联。
在其他实施例中，也可以是在局部地图中采集视觉信息，这里不做限定。
另外，若机器人激光定位精度低于预设值，则执行视觉信息补充操作；视觉信息补充操作用于补充采集目标环境中的视觉信息。
也即是，根据当前激光帧和前一激光帧确定的位姿和上一次激光定位确定的位姿之间的偏差大于预设值时，则表征激光定位精度较低，需要补充采集视觉信息，以通过视觉信息弥补激光传感器采集的目标环境中的环境信息。
作为一个示例，参见图7，假设在每次构建局部地图的时刻均采集一次视觉信息，同时，在局部地图对应的中间激光帧的采集时刻也采集一次视觉信息。若A时刻基于当前激光帧和前一激光帧确定机器人激光定位精度低于预设值，则在A时刻补充采集一次视觉信息；同理，若B时刻基于当前激光帧和前一激光帧确定机器人激光定位精度低于预设值，则在B时刻补充采集一次视觉信息。
也即是，一个局部地图中可以对应多个视觉信息，补充采集的视觉信息均是在基于相邻激光帧进行机器人定位时，定位精度低于预设值的时刻补充采集的。
步骤620：根据激光帧序列和多个视觉信息，构建地图数据库。
需要说明的是，激光帧序列中的激光帧数量远多于视觉信息的采集数量，在构建地图数据库时，局部地图是根据激光帧序列中的激光点云数据构建的，视觉信息作为局部地图的补充信息，同样存储在地图数据库中。
换言之，本申请采用的是激光SLAM进行建图的，在建图过程中采集的视觉信息仅在激光定位失效的情况下作为补充信息进行定位，并不执行视觉SLAM建图的流程。
在一种可能的实现方式中，步骤620的实现过程可以为：根据激光帧序列生成多个在空间上连续的局部地图；根据各视觉信息和激光帧的采集时刻，确定视觉信息对应的激光帧，进而将视觉信息添加到对应激光帧所构建的局部地图中，构建地图数据库。
如此，构建好的地图数据库中包括多个局部地图，且每个局部地图对应至少一个视觉信息。
在本实施例中，机器人在目标环境中移动时，通过激光传感器采集目标环境的激光帧序列，并按照预设时长在目标环境中采集视觉信息，进而根据激光帧序列和多个视觉信息，构建地图数据库。如此，由于地图数据库中预先存储有一些视觉信息，则在激光定位失效的情况下，可以通过采集视觉图像帧，并从地图数据库中匹配视觉信息的方式来进行定位，以保证定位系统在复杂环境下的稳定性。
接上述图6对应的实施例，在一个实施例中，如图8所示，上述步骤620中根据激光帧序列和多个视觉信息，构建地图数据库的实现过程，可以包括以下步骤：
步骤810：按照预设数量对激光帧序列进行划分，对划分得到的多组激光帧分别进行建图，得到多个局部地图。
其中，预设数量可以是基于经验设定的数量，比如，5帧、10帧、15帧等。
需要说明的是，为保证局部地图在空间环境上的连续性，建图时的相邻局部地图中至少存在一个重复的激光帧。
作为一个示例，若局部地图1和局部地图2为空间上相邻的局部地图，且建图时设定使用5个激光帧创建一张局部地图，则第1-5个激光帧用于创建局部地图1，第4-9个激光帧用于创建局部地图2，第4个激光帧在局部地图1和局部地图2中均存在。
步骤820：获取多个视觉信息和激光帧序列之间的关联关系。
在一种可能的实现方式中，步骤820的实现过程为：获取采集多个视觉信息的视觉传感器的标定参数，以及视觉传感器与采集激光帧序列的激光传感器之间的坐标转换关系；根据视觉传感器的标定参数和坐标转换关系，确定多个视觉信息和激光帧序列之间的关联关系。
其中，视觉传感器的标定参数可以反映采集的视觉图像帧中特征点与视觉传感器的坐标系之间的转换关系。视觉传感器和激光传感器之间的坐标转换关系，可以根据与视觉信息对齐的激光帧中的特征点确定。
因此，根据视觉传感器的标定参数和坐标转换关系，可以计算视觉信息中特征点在局部地图中的位姿，从而建立多个视觉信息和激光帧序列之间的关联关系。
作为一个示例，多个视觉信息和激光帧序列之间的关联关系可以通过下述公式(2)计算得到：
Pmark_node＝Pose_vcam*Pose_vmark          (2)
式中，Pmark_node表示视觉信息在对应的局部地图中的位姿，Pose_vmark表示视觉传感器的标定参数，可根据双目视觉恢复三维技术、RGBD三维技术获得；Pose_vcam为视觉传感器与激光传感器之间的坐标转换关系。
步骤830：根据关联关系，将多个视觉信息添加到对应的局部地图中，得到地图数据库。
也即是，在确定视觉信息中的特征点转换到局部地图中的位姿后，即可将视觉信息添加到对应的局部地图中，创建地图数据库。
需要说明的是，激光SLAM建图后，还需要进行一次大回环优化，调整局部地图、激光帧在世界坐标系中的位姿，然后利用调整后的激光帧和局部地图，构建目标环境的全局地图，完成建图。
由于视觉信息中特征点的坐标都是通过上述公式(2)快速计算得到的，因此，回环优化过程中不会额外增加视觉信息中特征点位姿调整的计算量。
在本实施例中，按照预设数量对激光帧序列进行划分，对划分得到的多组激光帧分别进行建图，得到多个局部地图；然后，根据多个视觉信息和激光帧序列之间的关联关系，将多个视觉信息添加到对应的局部地图中，得到地图数据库。如此，在地图数据库中引入视觉信息，但又没有将视觉信息的匹配关系加入地图优化过程中，降低了地图优化的计算复杂度，同时保留了视觉信息的丰富性，在激光匹配失效的时候可以快速切换尝试视觉辅助功能，从而保证定位可继续实施。
综合上述建图过程对应的实施例，如图9所示，本申请还提供了另一种地图数据库构建方法，同样以该方法应用于机器人为例进行说明，包括以下步骤：
步骤910：获取机器人采集的目标环境的激光帧序列，以及机器人每间隔预设时长在目标环境中采集的多个视觉信息。
其中，若机器人激光定位精度低于预设值，则执行视觉信息补充操作；视觉信息补充操作用于补充采集目标环境中的视觉信息。
步骤920：按照预设数量对激光帧序列进行划分，对划分得到的多组激光帧分别进行建图，得到多个局部地图。
步骤930：获取采集多个视觉信息的视觉传感器的标定参数，以及视觉传感器与采集激光帧序列的激光传感器之间的坐标转换关系。
步骤940：根据视觉传感器的标定参数和坐标转换关系，确定多个视觉信息和激光帧序列之间的关联关系。
步骤950：根据关联关系，将多个视觉信息添加到对应的局部地图中，得到地图数据库。
需要说明的是，本实施例提供的地图数据库构建方法中各步骤的实现原理和技术效果与前面图6和图7对应的方法实施例相类似，具体的限定和解释可参见前面图6和图7对应的方法实施例，在此不再赘述。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的定位方法的定位装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个定位装置实施例中的具体限定可以参见上文中对于定位方法的限定，在此不再赘述。
在一个实施例中，如图10所示，提供了一种定位装置，该装置1000包括：环境图像获取模块1010、视觉信息获取模块1020和定位模块1030，其中：
环境图像获取模块1010，用于若目标环境的当前激光帧与目标局部地图匹配失败，获取目标环境的当前视觉图像帧；目标局部地图为地图数据库中与当前激光帧相匹配的局部地图，地图数据库中包括针对目标环境预先构建的多个局部地图和每个局部地图对应的视觉信息；
视觉信息获取模块1020，用于从地图数据库中获取当前视觉图像帧对应的标准视觉信息；
定位模块1030，用于根据当前视觉图像帧与标准视觉信息，确定机器人在目标环境中的位姿。
在其中一个实施例中，视觉信息获取模块1020，包括：
第一获取单元，用于基于目标局部地图，从地图数据库中获取目标局部地图对应的视觉信息，得到第一候选视觉信息；
第二获取单元，用于从地图数据库中获取与目标局部地图相邻的至少一个候选局部地图，将各候选局部地图对应的视觉信息确定为第二候选视觉信息；
视觉信息确定单元，用于根据第一候选视觉信息和/或第二候选视觉信息，确定当前视觉图像帧对应的标准视觉信息。
在其中一个实施例中，定位模块1030，包括：
第三获取单元单元，用于获取标准视觉信息在对应的局部地图中的位姿信息；
匹配单元，用于根据当前视觉图像帧和标准视觉信息匹配的多个匹配特征点对，获取当前视觉图像帧和标准视觉信息之间的变换关系；
位姿确定单元，用于根据位姿信息和变换关系，确定机器人在目标环境中的位姿。
在其中一个实施例中，该装置1000，还包括：
数据采集模块，用于获取机器人采集的目标环境的激光帧序列，以及机器人每间隔预设时长在目标环境中采集的多个视觉信息；各视觉信息位于相邻局部地图之间；
建图模块，用于根据激光帧序列和多个视觉信息，构建地图数据库。
在其中一个实施例中，建图模块，包括：
数据分组单元，用于按照预设数量对激光帧序列进行划分，对划分得到的多组激光帧分别进行建图，得到多个局部地图；
信息关联单元，用于获取多个视觉信息和激光帧序列之间的关联关系；
信息补充单元，用于根据关联关系，将多个视觉信息添加到对应的局部地图中，得到地图数据库。
在其中一个实施例中，信息关联单元，包括：
第一获取子单元，用于获取采集多个视觉信息的视觉传感器的标定参数，以及视觉传感器与采集激光帧序列的激光传感器之间的坐标转换关系；
确定子单元，用于根据视觉传感器的标定参数和坐标转换关系，确定多个视觉信息和激光帧序列之间的关联关系。
在其中一个实施例中，在装置1000中：
上述数据采集模块，还用于若机器人激光定位精度低于预设值，则执行视觉信息补充操作；视觉信息补充操作用于补充采集目标环境中的视觉信息。
在其中一个实施例中，在该装置1000中：
上述定位模块1030，还用于若目标环境的当前激光帧与目标局部地图匹配成功，则根据当前激光帧和目标局部地图，确定机器人在目标环境中的位姿。
上述定位装置1000中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种机器人，该机器人的内部结构如图11所示。该机器人包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该机器人的处理器用于提供计算和控制能力。该机器人的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该机器人的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种定位方法。该机器人的显示屏可以是液晶显示屏或者电子墨水显示屏，该机器人的输入装置可以是显示屏上覆盖的触摸层，也可以是机器人外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，该计算机设备可以为上述机器人或其他智能移动设备；该计算机设备包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
若目标环境的当前激光帧与目标局部地图匹配失败，获取目标环境的当前视觉图像帧；目标局部地图为地图数据库中与当前激光帧相匹配的局部地图，地图数据库中包括针对目标环境预先构建的多 个局部地图和每个局部地图对应的视觉信息；
从地图数据库中获取当前视觉图像帧对应的标准视觉信息；
根据当前视觉图像帧与标准视觉信息，确定机器人在目标环境中的位姿。
上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
若目标环境的当前激光帧与目标局部地图匹配失败，获取目标环境的当前视觉图像帧；目标局部地图为地图数据库中与当前激光帧相匹配的局部地图，地图数据库中包括针对目标环境预先构建的多个局部地图和每个局部地图对应的视觉信息；
从地图数据库中获取当前视觉图像帧对应的标准视觉信息；
根据当前视觉图像帧与标准视觉信息，确定机器人在目标环境中的位姿。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
若目标环境的当前激光帧与目标局部地图匹配失败，获取目标环境的当前视觉图像帧；目标局部地图为地图数据库中与当前激光帧相匹配的局部地图，地图数据库中包括针对目标环境预先构建的多个局部地图和每个局部地图对应的视觉信息；
从地图数据库中获取当前视觉图像帧对应的标准视觉信息；
根据当前视觉图像帧与标准视觉信息，确定机器人在目标环境中的位姿。
上述实施例提供的一种计算机程序产品，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

  1. 一种定位方法，所述方法包括：
    若目标环境的当前激光帧与目标局部地图匹配失败，获取所述目标环境的当前视觉图像帧；所述目标局部地图为地图数据库中与当前激光帧相匹配的局部地图，所述地图数据库中包括针对所述目标环境预先构建的多个局部地图和每个局部地图对应的视觉信息；
    从所述地图数据库中获取所述当前视觉图像帧对应的标准视觉信息；及
    根据所述当前视觉图像帧与所述标准视觉信息，确定机器人在所述目标环境中的位姿。
  2. 根据权利要求1所述的方法，所述若目标环境的当前激光帧与目标局部地图匹配失败，获取所述目标环境的当前视觉图像帧之前，还包括：
    根据当前激光帧中的点云和目标局部地图中的3D地图点进行特征点匹配；
    得到当前激光帧和目标局部地图之间的匹配关系。
  3. 根据权利要求1所述的方法，所述若目标环境的当前激光帧与目标局部地图匹配失败，获取所述目标环境的当前视觉图像帧之前，还包括：
    根据当前激光帧和目标局部地图，计算机器人的位姿；
    根据所述机器人的位姿与上一激光帧确定的位姿之间的偏差情况，判断当前激光帧和目标局部地图是否匹配成功。
  4. 根据权利要求3所述的方法，所述根据所述机器人的位姿与上一激光帧确定的位姿之间的偏差情况，判断当前激光帧和目标局部地图是否匹配成功，包括：
    若所述机器人的位姿与上一激光帧确定的位姿之间的偏差大于预设的位姿偏差值，则判定当前激光帧和目标局部地图匹配失败。
  5. 根据权利要求1所述的方法，所述若目标环境的当前激光帧与目标局部地图匹配失败，获取所述目标环境的当前视觉图像帧之前，还包括：
    根据当前激光帧和目标局部地图进行特征点匹配，获取匹配特征点对；
    根据所述匹配特征点对和预设的特征点对阈值，判断当前激光帧和目标局部地图是否匹配成功。
  6. 根据权利要求5所述的方法，所述根据所述匹配特征点对和预设的特征点对阈值，判断当前激光帧和目标局部地图是否匹配成功，包括：
    当所述匹配特征点对的数量大于所述特征点对阈值时，判定当前激光帧和目标局部地图匹配成功；
    当所述匹配特征点对的数量小于或等于所述特征点对阈值时，判定当前激光帧和目标局部地图匹配失败。
  7. 根据权利要求1所述的方法，所述从所述地图数据库中获取所述当前视觉图像帧对应的标准视觉信息，包括：
    基于所述当前视觉图像帧，遍历所述地图数据库中各局部地图对应的视觉信息；
    计算所述当前视觉图像帧和多个视觉信息之间的相似度，将相似度最高的一个视觉信息，确定为所述当前视觉图像帧对应的标准视觉信息。
  8. 根据权利要求1所述的方法，所述从所述地图数据库中获取所述当前视觉图像帧对应的标准视觉信息，包括：
    基于所述目标局部地图，从所述地图数据库中获取所述目标局部地图对应的视觉信息，得到第一候选视觉信息；
    从所述地图数据库中获取与所述目标局部地图相邻的至少一个候选局部地图，将各所述候选局部地图对应的视觉信息确定为第二候选视觉信息；
    根据所述第一候选视觉信息和/或所述第二候选视觉信息，确定所述当前视觉图像帧对应的标准视觉信息。
  9. 根据权利要求8所述的方法，所述根据所述第一候选视觉信息和/或所述第二候选视觉信息，确定所述当前视觉图像帧对应的标准视觉信息，包括：
    若所述第一候选视觉信息有多个，从所述第一候选视觉信息中确定所述当前视觉图像帧对应的标准视觉信息；
    若所述第一候选视觉信息只有一个，则根据所述第二候选视觉信息，确定所述当前视觉图像帧对应的标准视觉信息。
  10. 根据权利要求1所述的方法，所述根据所述当前视觉图像帧与所述标准视觉信息，确定所述机器人在所述目标环境中的位姿，包括：
    根据所述当前图像帧和所述标准视觉信息，获取两张图像中的匹配特征点对；
    根据所述匹配特征点对中特征点的偏移信息，确定所述机器人在所述目标环境中的位姿。
  11. 根据权利要求1所述的方法，所述根据所述当前视觉图像帧与所述标准视觉信息，确定所述机器人在所述目标环境中的位姿，包括：
    获取所述标准视觉信息在对应的局部地图中的位姿信息；
    根据所述当前视觉图像帧和所述标准视觉信息匹配的多个匹配特征点对，获取所述当前视觉图像帧和所述标准视觉信息之间的变换关系；
    根据所述位姿信息和所述变换关系，确定所述机器人在所述目标环境中的位姿。
  12. 根据权利要求11所述的方法，所述获取所述标准视觉信息在对应的局部地图中的位姿信息，包括：
    获取视觉传感器和激光传感器之间的坐标转换关系；
    对视觉信息中的特征点和局部地图中的特征点进行匹配，进而根据局部地图中各特征点的位姿信息和坐标转换关系，确定标准视觉信息中对应特征点转换到局部地图中时对应的位姿，以此确定标准视觉信息在局部地图中的位姿信息。
  13. 根据权利要求1-11任一项所述的方法，所述若目标环境的当前激光帧与目标局部地图匹配失败，获取所述目标环境的当前视觉图像帧之前，包括：
    获取所述机器人采集的所述目标环境的激光帧序列，以及所述机器人每间隔预设时长在所述目标环境中采集的多个视觉信息；各所述视觉信息位于相邻局部地图之间；
    根据所述激光帧序列和所述多个视觉信息，构建所述地图数据库。
  14. 根据权利要求13所述的方法，所述根据所述激光帧序列和所述多个视觉信息，构建所述地图数据库，包括：
    按照预设数量对所述激光帧序列进行划分，对划分得到的多组激光帧分别进行建图，得到多个局部地图；
    获取所述多个视觉信息和所述激光帧序列之间的关联关系；
    根据所述关联关系，将所述多个视觉信息添加到对应的局部地图中，得到所述地图数据库。
  15. 根据权利要求14所述的方法，所述获取所述多个视觉信息和所述激光帧序列之间的关联关系，包括：
    获取采集所述多个视觉信息的视觉传感器的标定参数，以及所述视觉传感器与采集所述激光帧序列的激光传感器之间的坐标转换关系；
    根据所述视觉传感器的标定参数和所述坐标转换关系，确定所述多个视觉信息和所述激光帧序列之间的关联关系。
  16. 根据权利要求13所述的方法，所述方法还包括：
    若所述机器人激光定位精度低于预设值，则执行视觉信息补充操作；所述视觉信息补充操作用于补充采集所述目标环境中的视觉信息。
  17. 根据权利要求1-11任一项所述的方法，所述方法还包括：
    若所述目标环境的当前激光帧与所述目标局部地图匹配成功，则根据所述当前激光帧和所述目标局部地图，确定所述机器人在所述目标环境中的位姿。
  18. 一种定位装置，所述装置包括：
    环境图像获取模块，用于若目标环境的当前激光帧与目标局部地图匹配失败，获取所述目标环境的当前视觉图像帧；所述目标局部地图为地图数据库中与当前激光帧相匹配的局部地图，所述地图数据库中包括针对所述目标环境预先构建的多个局部地图和每个局部地图对应的视觉信息；
    视觉信息获取模块，用于从所述地图数据库中获取所述当前视觉图像帧对应的标准视觉信息；
    定位模块，用于根据所述当前视觉图像帧与所述标准视觉信息，确定机器人在所述目标环境中的位姿。
  19. 一种机器人，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至17中任一项所述的方法的步骤。
  20. 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至17中任一项所述的方法的步骤。
PCT/CN2023/109295 2022-08-17 2023-07-26 定位方法、装置、机器人和存储介质 WO2024037299A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210985736.3 2022-08-17
CN202210985736.3A CN115267796B (zh) 2022-08-17 2022-08-17 定位方法、装置、机器人和存储介质

Publications (1)

Publication Number Publication Date
WO2024037299A1 true WO2024037299A1 (zh) 2024-02-22

Family

ID=83752381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/109295 WO2024037299A1 (zh) 2022-08-17 2023-07-26 定位方法、装置、机器人和存储介质

Country Status (2)

Country Link
CN (1) CN115267796B (zh)
WO (1) WO2024037299A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115267796B (zh) * 2022-08-17 2024-04-09 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN115982399B (zh) * 2023-03-16 2023-05-16 北京集度科技有限公司 图像查找方法、移动设备、电子设备、及计算机程序产品

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174107A (zh) * 2019-04-30 2019-08-27 厦门大学 一种导览机器人定位建图激光视觉融合方法和机器人
CN110533722A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于视觉词典的机器人快速重定位方法及系统
CN110568447A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 视觉定位的方法、装置及计算机可读介质
CN111060101A (zh) * 2018-10-16 2020-04-24 深圳市优必选科技有限公司 视觉辅助的距离slam方法及装置、机器人
CN111144349A (zh) * 2019-12-30 2020-05-12 中国电子科技集团公司信息科学研究院 一种室内视觉重定位方法及系统
CN111311684A (zh) * 2020-04-01 2020-06-19 亮风台（上海）信息科技有限公司 一种进行slam初始化的方法与设备
CN111780763A (zh) * 2020-06-30 2020-10-16 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置
US20210149413A1 (en) * 2017-06-13 2021-05-20 Lg Electronics Inc. Method for positioning on basis of vision information and robot implementing same
CN115267796A (zh) * 2022-08-17 2022-11-01 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN115307641A (zh) * 2022-07-29 2022-11-08 深圳市普渡科技有限公司 机器人定位方法、装置、机器人和存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106153048A (zh) * 2016-08-11 2016-11-23 广东技术师范学院 一种基于多传感器的机器人室内定位及制图系统
CN106272423A (zh) * 2016-08-31 2017-01-04 哈尔滨工业大学深圳研究生院 一种针对大尺度环境的多机器人协同制图与定位的方法
CN108759844B (zh) * 2018-06-07 2021-11-16 科沃斯商用机器人有限公司 机器人重定位与环境地图构建方法、机器人及存储介质
CN110657803B (zh) * 2018-06-28 2021-10-29 深圳市优必选科技有限公司 机器人定位方法、装置以及存储装置
US11788845B2 (en) * 2018-06-29 2023-10-17 Baidu Usa Llc Systems and methods for robust self-relocalization in a visual map
US10782137B2 (en) * 2019-01-28 2020-09-22 Qfeeltech (Beijing) Co., Ltd. Methods, apparatus, and systems for localization and mapping
CN109887053B (zh) * 2019-02-01 2020-10-20 广州小鹏汽车科技有限公司 一种slam地图拼接方法及系统
CN110261870B (zh) * 2019-04-15 2021-04-06 浙江工业大学 一种用于视觉-惯性-激光融合的同步定位与建图方法
US11493635B2 (en) * 2019-04-17 2022-11-08 Uatc, Llc Ground intensity LIDAR localizer
CN110865393A (zh) * 2019-11-29 2020-03-06 广州视源电子科技股份有限公司 基于激光雷达的定位方法及系统、存储介质和处理器
CN111045017B (zh) * 2019-12-20 2023-03-31 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111060113B (zh) * 2019-12-31 2022-04-08 歌尔股份有限公司 一种地图更新方法及装置
CN111258313B (zh) * 2020-01-20 2022-06-07 深圳市普渡科技有限公司 多传感器融合slam系统及机器人
CN111487642A (zh) * 2020-03-10 2020-08-04 国电南瑞科技股份有限公司 基于三维激光和双目视觉的变电站巡检机器人定位导航系统及方法
CN111337947B (zh) * 2020-05-18 2020-09-22 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
CN111735446B (zh) * 2020-07-09 2020-11-13 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN112258600A (zh) * 2020-10-19 2021-01-22 浙江大学 一种基于视觉与激光雷达的同时定位与地图构建方法
CN112596064B (zh) * 2020-11-30 2024-03-08 中科院软件研究所南京软件技术研究院 激光与视觉融合的一体化室内机器人全局定位方法
CN112486171B (zh) * 2020-11-30 2022-08-30 中科院软件研究所南京软件技术研究院 一种基于视觉的机器人避障方法
CN112785702B (zh) * 2020-12-31 2023-06-20 华南理工大学 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN114859370A (zh) * 2021-01-20 2022-08-05 京东科技信息技术有限公司 定位方法和装置、计算机装置和计算机可读存储介质
CN113432533B (zh) * 2021-06-18 2023-08-15 北京盈迪曼德科技有限公司 一种机器人定位方法、装置、机器人及存储介质
CN113376650B (zh) * 2021-08-09 2021-11-23 浙江华睿科技股份有限公司 移动机器人定位方法及装置、电子设备及存储介质
CN113733166B (zh) * 2021-11-08 2022-04-15 深圳市普渡科技有限公司 机器人定位方法、装置、机器人和计算机可读存储介质
CN114266871B (zh) * 2022-03-01 2022-07-15 深圳市普渡科技有限公司 机器人、地图质量评估方法和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210149413A1 (en) * 2017-06-13 2021-05-20 Lg Electronics Inc. Method for positioning on basis of vision information and robot implementing same
CN111060101A (zh) * 2018-10-16 2020-04-24 深圳市优必选科技有限公司 视觉辅助的距离slam方法及装置、机器人
CN110174107A (zh) * 2019-04-30 2019-08-27 厦门大学 一种导览机器人定位建图激光视觉融合方法和机器人
CN110568447A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 视觉定位的方法、装置及计算机可读介质
CN110533722A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于视觉词典的机器人快速重定位方法及系统
CN111144349A (zh) * 2019-12-30 2020-05-12 中国电子科技集团公司信息科学研究院 一种室内视觉重定位方法及系统
CN111311684A (zh) * 2020-04-01 2020-06-19 亮风台（上海）信息科技有限公司 一种进行slam初始化的方法与设备
CN111780763A (zh) * 2020-06-30 2020-10-16 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置
CN115307641A (zh) * 2022-07-29 2022-11-08 深圳市普渡科技有限公司 机器人定位方法、装置、机器人和存储介质
CN115267796A (zh) * 2022-08-17 2022-11-01 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质

Also Published As

Publication number Publication date
CN115267796B (zh) 2024-04-09
CN115267796A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
WO2024037299A1 (zh) 定位方法、装置、机器人和存储介质
Shin et al. Roarnet: A robust 3d object detection based on region approximation refinement
WO2020233724A1 (zh) 一种基于视觉slam的电网作业环境地图的构建方法及系统
CN107179086B (zh) 一种基于激光雷达的制图方法、装置及系统
CN107990899B (zh) 一种基于slam的定位方法和系统
WO2022121640A1 (zh) 机器人重定位方法、装置、机器人和可读存储介质
US20210097717A1 (en) Method for detecting three-dimensional human pose information detection, electronic device and storage medium
CN103389699B (zh) 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法
Kragic et al. Vision for robotic object manipulation in domestic settings
CN108537876A (zh) 基于深度相机的三维重建方法、装置、设备及存储介质
Yue et al. A multilevel fusion system for multirobot 3-d mapping using heterogeneous sensors
JP7214803B2 (ja) 建築物の測位方法、装置、電子デバイス、記憶媒体、プログラム、及び端末デバイス
CN111161334B (zh) 一种基于深度学习的语义地图构建方法
Pan et al. Gem: online globally consistent dense elevation mapping for unstructured terrain
De Croce et al. DS-PTAM: distributed stereo parallel tracking and mapping SLAM system
KR102568948B1 (ko) 장애물 속도를 결정하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN113984068A (zh) 定位方法、定位装置和计算机可读存储介质
Lovi et al. Predictive display for mobile manipulators in unknown environments using online vision-based monocular modeling and localization
CN115307641A (zh) 机器人定位方法、装置、机器人和存储介质
Ivashechkin et al. Improving 3d pose estimation for sign language
CN115205419A (zh) 即时定位与地图构建方法、装置、电子设备及可读存储介质
Zhang et al. A visual slam system with laser assisted optimization
Concha et al. Map point optimization in keyframe-based SLAM using covisibility graph and information fusion
TWI803334B (zh) 深度估計模型優化與物體距離檢測方法及相關設備
US20230290101A1 (en) Data processing method and apparatus, electronic device, and computer-readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23854203

Country of ref document: EP

Kind code of ref document: A1