WO2019144617A1 - 一种可变场景下多设备的视觉导航方法及系统 - Google Patents
一种可变场景下多设备的视觉导航方法及系统 Download PDFInfo
- Publication number
- WO2019144617A1 WO2019144617A1 PCT/CN2018/102972 CN2018102972W WO2019144617A1 WO 2019144617 A1 WO2019144617 A1 WO 2019144617A1 CN 2018102972 W CN2018102972 W CN 2018102972W WO 2019144617 A1 WO2019144617 A1 WO 2019144617A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- feature information
- data
- digitized
- image
- feature
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 238000010276 construction Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012913 prioritisation Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/383—Indoor data
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种可变场景下多设备的视觉导航方法及系统，一方面通过多台设备连续拍摄场景图像，获取图像的数据化特征信息，并从中提取关键帧的数据化特征信息发送给服务器端(或云端)，另一方面服务器端(或云端)将最新获取的关键帧数据化特征信息填补场景的空白空间，以完成场景的导航数据的扩充；或者在加入最新获取的数据化特征信息后，替换区域内已有数据中最不相似的数据化特征信息以完成场景的导航数据的更新，最后服务器将校准更新过的数据化特征信息分发给每台终端设备，保证了导航数据的实时更新，实现集群化的自主导航。
Description
本发明涉及机器人导航技术领域，具体涉及一种可变场景下多设备的视觉导航方法及系统。
目前自动导航机器人在仓库自动化中得到了广泛的应用，尤其是基于自动导航机器人的货到人系统。目前较先进的自动导航机器人在仓库中的定位方法主要有以下几种：
1.基于激光反射的激光定位系统
a)价格昂贵
b)安装反射板的地方不能遮挡，使用时需要在行走路径上预留较大空间，浪费仓库较大空间
c)受温度影响
d)只能室内使用。
2.基于室内场景重建的视觉定位
a)精度较低，使用时需要在行走路径上预留较大空间，浪费仓库较大空间
b)无法应对重复场景
c)无法应对经常变化的场景。尤其是在货到人仓储领域，货架不停移动，造成场景不断变化
d)设备之间是独立运行的，不同设备之间的重建场景存在偏差，无法做到精确定位和重建场景的统一。所以基于室内场景重建的视觉定位系统都只有少数设备在运行。
3.基于地面识别码的定位系统
a)虽然精度高，但是有赖于地面标识物，容易磨损
b)进入场景需要耗费大量人力用于测量，和铺设
c)一旦设备大幅度偏离正常线路，无法通过标识物纠正。
发明内容
本发明的目的是提供一种，以便于解决现有技术中存在的上述问题。
为了达到上述目的，本发明的具体解决方案是提供一种可变场景下多设备的视觉导航方法，包括以下步骤：
第一设备拍摄场景的视频序列，并获取视频序列中每一帧图像的数据化特征信息；
第一设备根据数据化特征信息进行对比，提取视频序列中的关键帧并将所述关键帧的数据化特征信息上传至第二设备；
第二设备对比和筛选第一设备上传的数据化特征信息，并将筛选后的数据化特征信息重组以完成场景的导航数据的构建、更新和分发。
进一步的，其特征在于，所述数据化特征信息的获取过程包括：
第一设备采集场景地面的图像；
识别所述图像中的特征点，并从特征点中提取特征点的特征信息；
将图像中特征点的特征信息格式化和数据化以形成所述图像的数据化特征信息。
更进一步的，所述图像的数据化特征信息为格式化排列形成的数组数据，所述数据化特征信息包括图像位置、特征点的坐标、特征点的方向、特征点的大小和特征点的描述因子。
更进一步的，所述关键帧的提取过程包括：
将新获取图像的数据化特征信息与数据库中存储的关键帧的数据化特征信息进行检索对比；
基于新获取图像和数据库中存储的关键帧的数据化特征信息比对结果给出一个相似度评价值；
当相似度评价值小于设定阈值时，则该图像帧为关键帧。
更进一步的，通过特征点的几何位置和特征点的描述因子对所述数据化特征信息进行检索比对，所述特征点的几何位置通过特征点的位置、大小和方向计算得出。
更进一步的，所述相似度评价值为图像的数据化特征信息比对结果中描述因子和几何位置相符的特征点的个数。
更进一步的，所述第二设备对数据化特征信息的筛选和构建过程包括：
接收并存储数据化特征信息形成数据化特征信息的数据集合；
当数据集合中的数据化特征信息达到数量上限时，保留最新接收的数据化特征信息，对其余数据化特征信息进行优先级排序，并删除优先级最低的数据化特征信息；
将数据集合中所有的数据化特征信息进行校准和闭环检测以构建场景的导航数据。
进一步的，设定数据集合中数据化特征信息的数量上限，所述数量上限为每个图像位置上的数据化特征信息的数量上限。
更进一步的，所述数据化特征信息的优先级排序包括：
将新接收的数据化特征信息与其图像位置上及其邻近范围内所有的数据化特征信息进行两两的相似度对比；
通过空间转化模型，检测数据化特征信息之间特征点位置、特征点方向、特征点大小和特征性描述因子相符的特征点个数；
通过相符的特征点个数进行数据化特征信息的优先级排序。
更进一步的，所述空间转化模型通过对比数据集合中数据化特征信息的特征点位置、特征点方向、特征点大小和特征点的描述因子而生成。
另一方面，本发明还提供一种可变场景下多设备的视觉导航系统，包括：
第一设备，所述第一设备用以拍摄场景地面的视频序列，并获取视频序列中每一帧图像的数据化特征信息，根据数据化特征信息进行对比，提取视频序列中的关键帧并将该关键帧的数据化特征信息上传至第二设备；
第二设备，对比和筛选第一设备上传的数据化特征信息，并将筛选后的数据化特征信息重组以完成场景的导航数据的构建、更新和分发。
更进一步的，所述第一设备为自主导航设备或配置于AGV搬运车上的自主导航设备，所述第二设备为与第一设备通讯连接的服务器端。
更进一步的，所述自主导航设备与服务器端的数量比为n:m，其中n为大于1的自然数，其中m为大于等于1的自然数。
更进一步的，所述第一设备包括：
视频采集单元，用以采集场景地面的图像帧；
图像信息识别单元，用以识别所述图像帧中的特征点，形成图像帧的数据化特征信息；
关键帧提取单元，所述关键帧将获取的图像帧的数据化特征信息与之前提取的所述关键帧的数据化特征信息进行检索对比以提取关键帧。
通信单元，所述通信单元用以将所述关键帧提取单元提取的关键帧的数据化特征信息发送至第二设备。
更进一步的，所述第二设备包括：
数据化特征信息筛选单元，所述数据化特征信息筛选单元将最新获取的数据化特征信息与之前获取的数据化特征信息进行相似度对比，并在筛选时根据对比结果进行优先级排序，
导航数据构建单元，所述导航数据构建单元根据数据化特征信息构建场景的导航数据。
本发明同现有技术相比，具有以下优点和有益效果：
本发明的一种可变场景下多设备的视觉导航方法及系统，一方面通过多台设备连续拍摄场景地面图像，提取地面图像的特征信息，以及基于该特征信息形成的图像数据化特征信息，并通过网络将关键帧的格式化数据发送给服务器端(或云端)，这样由于仅需要发送格式化数据，从而提高了网络传输的实时性，并节约了网络带宽和资源，而且通过拍摄地面视频，避免了多变场景下识别精度和可靠性的问题，另一方面服务器端(或云端)基于该关键帧的数据化特征信息与之前获取的数据化特征信息进行对比、校准和筛选。最新获取的数据化特征信息填补场景的空白空间，以完成场景的导航数据的扩充；或者在加入最新获取的数据化特征信息后，替换区域内已有数据中最不相似的数据化特征信息以完成场景的导航数据的更新。最后，服务器将校准更新过的数据化特征信 息发送给每台终端设备。这样保证了导航数据的实时更新，同时可分发到多台设备上实现集群化的自主导航。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种多变场景下的多设备视频导航方法的方法流程图；
图2为本发明获取数据化特征信息的方法流程图；
图3为本发明关键帧提取的方法流程图。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的一种多变场景下的多设备视频导航方法及系统，其主要应用于诸如仓储自动化等多变、复杂场景中。仓储自动化环境主要包括移动货架和自动导航机器人，其中移动货架底部具有容纳自动导航机器人进入的空间，自动导航机器人可以从四个方向进入移动货架底部，并将移动货架抬升起来运送到工作区或存储区。在实际运送过程中，大量的移动货架被自动导航机器人往复运送于工作区和存储区之间构成了一个实时变化的复杂场景。在这样多变、 复杂的场景当中，基于SLAM(同步定位和地图构建)技术即通过捕捉场景图像进行识别的自动导航方法无法应对货架不停地移动进行识别，也无法对货架重复的排列进行识别。而采用基于地面识别码的识别方式也存在需要大量人力和财力在场景中铺设的识别码及当自动导航机器人偏离运动轨迹无法通过识别码进行路线纠偏和重定位的问题。
基于上述技术问题，本发明提供的一种多变场景下的多设备视频导航方法，摒弃了通过单机场景识别或识别码定位的方式，采用分布式的方法，前端多个第一设备获取场景地面图像(或称地纹图像)的方式，在后台(例如，服务器或者云端)经过对多个第一设备上传的地面图像信息的分析、筛选和优化完成基于场景地面图像(或称地纹图像)的场景构建。各第一设备在此工作过程中实时获取、上传、更新场景地面图像，即可实现多变、重复场景下的定位和导航。
下面结合图1对本发明实施例公开的一种多变场景下的多设备视频导航方法进行详细的描述，图1示意性地示出了根据本实施例公开的一种多变场景下的多设备视频导航方法的流程图。
如图1所示，本实施例提供的一种多变场景下的多设备视频导航方法，包括以下步骤：
步骤S1，第一设备拍摄场景的视频序列，并获取视频序列中每一帧图像的数据化特征信息。
其中，第一设备可以为AGV机器人，也可以为集成于AGV机器人或其他移动装置上的自主导航设备。第一设备通过诸如深度相机、立体相机、单目/多目相机或普通相机等各种图像采集装置来拍摄的地面图像。在第一次拍摄前，第一设备的运动轨迹由调度服务器设定。调度服务器存储有场景的形状、大小 和布局等基本信息，并且场景的基本信息预先录入调度服务器，其目的在于保障各第一设备第一次拍摄时的运动轨迹能尽可能覆盖全部场景。
优选的，本实施例以普通相机为例，相机安装于AGV机器人上可与地面可形成一定的拍摄夹角，不限于仅通过90°的夹角垂直拍摄地面图像。第一设备沿着运动轨迹在场景中移动，相机即时对场景地面进行拍摄形成由连续多个图像帧所组成的视频序列。在获得视频序列的同时，第一设备获取视频序列中的每一帧图像的数据化特征信息。
优选的，视频序列中的多个图像帧并非必须是视频序列中所有的图像帧，也可以仅是其中的部分图像帧；另一方面多个图像帧可以是连续的多帧图像，也可以是预定帧间隔从视频序列中提取的、不连续的多帧图像。
优选的，数据化特征信息为一组经过格式化排列的包含图像数据化特征信息的数组数据。如图2所示，数据化特征信息的获取过程如下：
S101，第一设备采集场景地面的图像；
S102,识别所述图像中的特征点，并从特征点中提取特征点的特征信息；
S103,将图像中特征点的特征信息格式化和数据化以形成所述图像的数据化特征信息。
其中，特征点的识别可以通过诸如FAST算法、ORB算法或SURF算法等本领域中常用的特征点检测方法来识别。在识别出特征点之后获取特征点的特征信息，即可通过特征点的特征信息描述图像。
优选的，在获得特征点的特征信息之后，将特征信息格式化和数据化已形成图像的特征信息。相对于现有技术中通过获取图像方式进行比对以获得关键帧，减少了带宽占有率，加快了传输速度和计算速度，进而保证了识别的实时性。
实例性地，地面图像的数据化特征信息包括图像位置、特征点的坐标、特征点的方向、特征点的大小和特征点的描述因子。如下表所示:
表1：
如表1所示，为本发明优选的实施例的数据化特征信息的示意图，其中，数据头例如TCP报文的报文头，可以包括源端口(source port)和目的端口(destination port)的端口号、顺序号(sequence number)、确认号(acknowledgement number)、数据偏移(offset)等，在TCP报文的数据部分中封装有第一设备的名称、拍摄时间、图像位置和特征点的特征信息等。特征点的特征信息可以有多组，每组特征点信息中包括特征点的坐标、特征点的的方向、特征点的大小和特征点的描述因子。
优选的，图像位置可通过以下两种方式综合获得：
1.所拍摄图像p与之前保存的邻近关键帧k(可以和多个关键帧进行同样运算)进行特征点匹配，通过去除错误匹配、构建空间模型得出p与k之间的旋转和平移矩阵，将k的位置信息叠加上p相对于k的位置信息，最终获得p的位置信息。
2.通过第一设备的运动轨迹结合编码器、位置传感器、测距装置中的一种或多种计算得出图像的位置信息。
优选的，特征点的坐标为该特征点在图像中的坐标位置。特征点的大小和方向为由特征点检测方法所定义的特征点尺寸和二维向量。特征点描述因子为 一标签号，该分类号为在预先分类的描述因子库中，最接近该特征点描述的描述因子分类号。
步骤S2，第一设备根据数据化特征信息进行对比，提取视频序列中的关键帧并将所述关键帧的数据化特征信息上传至第二设备。
如图3所示，所述关键帧的提取过程包括以下步骤：
S201,将新获取图像的数据化特征信息与数据库中存储的关键帧的数据化特征信息进行检索对比；
S202，基于新获取图像和数据库中存储的关键帧的数据化特征信息比对结果给出一个相似度评价值；
S203，当相似度评价值小于设定阈值时，则该图像为关键帧。
优选的，本发明优选实施例根据数据化特征信息对新获取图像和数据库中存储的关键帧中的特征点进行对比，以获得两者之间相匹配的特征点数量。在特征点对比过程中，首先通过特征点匹配和模型拟合方法获得空间换算模型，空间换算模型再将两者的特征点坐标、特征点方向、特征点大小进行换算，得出特征点的几何位置，当两者几何位置接近、特征点的描述因子是否一致，当特征点的几何位置和描述均匹配时，则可判断新获取图像和对比的关键帧存在相同的特征点。
优选的，相似度评价值为新获取图像和对比关键帧中相同的特征点个数，当相似度评价值小于设定阈值时，则可判断新获取的图像与数据库中存储的关键帧相比存在显著的变化，该图像即被设定为关键帧，第一设备随即将该关键帧的数据化特征信息上传到第二设备。
步骤S3，第二设备对比和筛选第一设备上传的数据化特征信息，并将筛选后的数据化特征信息重组以完成场景的导航数据的构建、更新并分发到第一设备进行导航。
优选的，第二设备首先接收并存储数据化特征信息形成数据化特征信息的数据集合。当数据集合中某一区域的数据化特征信息达到数量上限时，保留最新接收的数据化特征信息，对其余数据化特征信息进行优先级排序，并删除优先级最低的数据化特征信息。将数据集合中所有的数据化特征信息进行校准和闭环检测以构建场景的导航数据。
其中，数据化特征信息的数量上限预先设置，根据系统的运算和存储性能所决定。数量上限为每个空间区域上的数据化特征信息的数量上限。
优选的，数据化特征信息的优先级排序包括：
将新接收的数据化特征信息与其图像位置上及其邻近范围内所有的数据化特征信息进行两两的相似度对比；
通过空间转化模型，检测数据化特征信息之间特征点位置、特征点方向和特征点大小相符的特征点个数；
通过相符的特征点个数进行数据化特征信息的优先级排序。
更进一步的，所述空间转化模型通过对比数据集合中数据化特征信息的特征点位置，特征点方向、特征点大小和描述因子而生成。
另一方面，本发明还提供一种可变场景下多设备的视觉导航系统，包括：
第一设备，所述第一设备用以拍摄场景地面的视频序列，并获取视频序列中每一帧图像的数据化特征信息，根据数据化特征信息进行对比，提取视频序列中的关键帧并将该关键帧的数据化特征信息上传至第二设备；
第二设备，对比和筛选第一设备上传的数据化特征信息，并将筛选后的数据化特征信息重组以完成场景的导航数据的构建、更新和分发。
更进一步的，所述第一设备为自主导航设备或配置于AGV搬运车上的自主导航设备，所述第二设备为与第一设备通讯连接的服务器端。
更进一步的，所述自主导航设备与服务器端的数量比为n:m，其中n为大于1的自然数，其中m为大于等于1的自然数。
更进一步的，所述第一设备包括：
视频采集单元，用以采集场景地面的图像帧；
图像信息识别单元，用以识别所述图像帧中的特征点，形成图像帧的数据化特征信息；
关键帧提取单元，所述关键帧将获取的图像帧的数据化特征信息与之前提取的所述关键帧的数据化特征信息进行检索对比以提取关键帧。
通信单元，所述通信单元用以将所述关键帧提取单元提取的关键帧的数据化特征信息发送至第二设备。
更进一步的，所述第二设备包括：
数据化特征信息筛选单元，所述数据化特征信息筛选单元将最新获取的数据化特征信息与之前获取的数据化特征信息进行相似度对比，并在筛选时根据对比结果进行优先级排序，
导航数据构建单元，所述导航数据构建单元根据数据化特征信息构建场景的导航数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
- 一种可变场景下多设备的视觉导航方法，其特征在于，包括以下步骤：第一设备拍摄场景的视频序列，并获取视频序列中每一帧图像的数据化特征信息；第一设备根据数据化特征信息进行对比，提取视频序列中的关键帧并将所述关键帧的数据化特征信息上传至第二设备；第二设备对比和筛选第一设备上传的数据化特征信息，并将筛选后的数据化特征信息重组以完成场景的导航数据的构建、更新并分发到第一设备实现导航。
- 根据权利要求1所述的一种可变场景下多设备的视觉导航方法，其特征在于，所述数据化特征信息的获取过程包括：第一设备采集场景地面的图像；识别所述图像中的特征点，并从特征点中提取特征点的特征信息；将图像中特征点的特征信息格式化和数据化以形成所述图像的数据化特征信息。
- 根据权利要求2所述的一种可变场景下多设备的视觉导航方法，其特征在于，所述图像的数据化特征信息为格式化排列形成的数组数据，所述数据化特征信息包括图像位置、特征点的坐标、特征点的方向、特征点的大小和特征点的描述因子。
- 根据权利要求3所述的一种可变场景下多设备的视觉导航方法，其特征在于，所述关键帧的提取过程包括：将新获取图像的数据化特征信息与数据库中存储的关键帧的数据化特征信息进行检索对比；基于新获取图像和数据库中存储的关键帧的数据化特征信息比对结果给出一个相似度评价值；当相似度评价值小于设定阈值时，则该图像帧为关键帧。
- 根据权利要求4所述的一种可变场景下多设备的视觉导航方法，其特征在于，通过特征点的几何位置和特征点的描述因子对所述数据化特征信息进行检索比对，所述特征点的几何位置通过特征点的位置、大小和方向计算得出。
- 根据权利要求5所述的一种可变场景下多设备的视觉导航方法，其特征在于，所述相似度评价值为图像的数据化特征信息比对结果中描述因子和几何位置相符的特征点的个数。
- 根据权利要求1到6所述的任一种可变场景下多设备的视觉导航方法，其特征在于，所述第二设备对数据化特征信息的筛选和构建过程包括：接收并存储数据化特征信息形成数据化特征信息的数据集合；当数据集合中的数据化特征信息达到数量上限时，保留最新接收的数据化特征信息，对其余数据化特征信息进行优先级排序，并删除优先级最低的数据化特征信息；将数据集合中所有的数据化特征信息进行校准和闭环检测以构建场景的导航数据。
- 根据权利要求7所述的一种可变场景下多设备的视觉导航方法，其特征在于，设定数据集合中数据化特征信息的数量上限，所述数量上限为每个图像位置上的数据化特征信息的数量上限。
- 根据权利要求8所述的一种可变场景下多设备的视觉导航方法，其特征在于，所述数据化特征信息的优先级排序包括：将新接收的数据化特征信息与其图像位置上及其邻近范围内所有的数据化特征信息进行两两的相似度对比；通过空间转化模型，检测数据化特征信息之间特征点位置、特征点方向和特征点大小相符的特征点个数；通过相符的特征点个数进行数据化特征信息的优先级排序。
- 根据权利要求9所述的一种可变场景下多设备的视觉导航方法，其特征在于，所述空间转化模型通过对比数据集合中数据化特征信息的特征点位置，特征点方向、特征点大小和特征点的描述因子而生成。
- 一种可变场景下多设备的视觉导航系统，其特征在于，包括：第一设备，所述第一设备用以拍摄场景地面的视频序列，并获取视频序列中每一帧图像的数据化特征信息，根据数据化特征信息进行对比，提取视频序列中的关键帧并将该关键帧的数据化特征信息上传至第二设备；第二设备，对比和筛选第一设备上传的数据化特征信息，并将筛选后的数据化特征信息重组以完成场景的导航数据的构建、更新和分发。
- 根据权利要求11所述的一种可变场景下多设备的视觉导航系统，其特征在于，所述第一设备为自主导航设备或配置于AGV搬运车上的自主导航设备，所述第二设备为与第一设备通讯连接的服务器端。
- 根据权利要求12所述的一种可变场景下多设备的视觉导航系统，其特征在于，所述自主导航设备与服务器端的数量比为n:m，其中n为大于1的自然数，其中m为大于等于1的自然数。
- 根据权利要求12所述的一种可变场景下多设备的视觉导航系统，其特征在于，所述第一设备包括：视频采集单元，用以采集场景地面的图像帧；图像信息识别单元，用以识别所述图像帧中的特征点，形成图像帧的数据化特征信息；关键帧提取单元，所述关键帧将获取的图像帧的数据化特征信息与之前提取的所述关键帧的数据化特征信息进行检索对比以提取关键帧。通信单元，所述通信单元用以将所述关键帧提取单元提取的关键帧的数据化特征信息发送至第二设备。
- 根据权利要求12所述的一种可变场景下多设备的视觉导航系统，其特征在于，所述第二设备包括：数据化特征信息筛选单元，所述数据化特征信息筛选单元将最新获取的数据化特征信息与之前获取的数据化特征信息进行相似度对比，并在筛选时根据对比结果进行优先级排序，导航数据构建单元，所述导航数据构建单元根据数据化特征信息构建场景的导航数据。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020540757A JP2021512297A (ja) | 2018-01-24 | 2018-08-29 | 可変シーンでの複数の設備による視覚ナビゲーション方法及びシステム |
| EP18902390.6A EP3745085A1 (en) | 2018-01-24 | 2018-08-29 | Multi-device visual navigation method and system in variable scene |
| KR1020207024256A KR20200116111A (ko) | 2018-01-24 | 2018-08-29 | 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법 및 시스템 |
| US16/964,514 US20210041886A1 (en) | 2018-01-24 | 2018-08-29 | Multi-device visual navigation method and system in variable scene |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810066735.2A CN108267121A (zh) | 2018-01-24 | 2018-01-24 | 一种可变场景下多设备的视觉导航方法及系统 |
| CN201810066735.2 | 2018-01-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019144617A1 true WO2019144617A1 (zh) | 2019-08-01 |
Family
ID=62776429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2018/102972 WO2019144617A1 (zh) | 2018-01-24 | 2018-08-29 | 一种可变场景下多设备的视觉导航方法及系统 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210041886A1 (zh) |
| EP (1) | EP3745085A1 (zh) |
| JP (1) | JP2021512297A (zh) |
| KR (1) | KR20200116111A (zh) |
| CN (1) | CN108267121A (zh) |
| WO (1) | WO2019144617A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108267121A (zh) * | 2018-01-24 | 2018-07-10 | 锥能机器人（上海）有限公司 | 一种可变场景下多设备的视觉导航方法及系统 |
| CN111046698B (zh) * | 2018-10-12 | 2023-06-20 | 锥能机器人（上海）有限公司 | 可视化编辑的视觉定位方法和系统 |
| KR102203438B1 (ko) * | 2018-12-26 | 2021-01-14 | 엘지전자 주식회사 | 이동 로봇 및 이동 로봇의 제어방법 |
| CN110471407B (zh) * | 2019-07-02 | 2022-09-06 | 无锡真源科技有限公司 | 一种模组自动调节的自适应定位系统及方法 |
| CN112212871A (zh) * | 2019-07-10 | 2021-01-12 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置及机器人 |
| CN110751694B (zh) * | 2019-10-25 | 2022-04-22 | 北京理工大学 | 一种基于三色通道融合互信息的图像导航方法 |
| CN111735473B (zh) * | 2020-07-06 | 2022-04-19 | 无锡广盈集团有限公司 | 一种能上传导航信息的北斗导航系统 |
| CN112034855A (zh) * | 2020-09-07 | 2020-12-04 | 中国南方电网有限责任公司超高压输电公司天生桥局 | 一种提高巡检机器人定位速度的方法及装置 |
| CN114554108B (zh) * | 2022-02-24 | 2023-10-27 | 北京有竹居网络技术有限公司 | 图像处理方法、装置和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103278170A (zh) * | 2013-05-16 | 2013-09-04 | 东南大学 | 基于显著场景点检测的移动机器人级联地图创建方法 |
| CN104881029A (zh) * | 2015-05-15 | 2015-09-02 | 重庆邮电大学 | 基于一点ransac和fast算法的移动机器人导航方法 |
| CN105676253A (zh) * | 2016-01-15 | 2016-06-15 | 武汉光庭科技有限公司 | 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法 |
| CN106840148A (zh) * | 2017-01-24 | 2017-06-13 | 东南大学 | 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法 |
| CN108267121A (zh) * | 2018-01-24 | 2018-07-10 | 锥能机器人（上海）有限公司 | 一种可变场景下多设备的视觉导航方法及系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7889794B2 (en) * | 2006-02-03 | 2011-02-15 | Eastman Kodak Company | Extracting key frame candidates from video clip |
| US9014848B2 (en) * | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
| JP5714940B2 (ja) * | 2011-03-04 | 2015-05-07 | 国立大学法人 熊本大学 | 移動体位置測定装置 |
| ITMI20121210A1 (it) * | 2012-07-11 | 2014-01-12 | Rai Radiotelevisione Italiana | A method and an apparatus for the extraction of descriptors from video content, preferably for search and retrieval purpose |
| US9111348B2 (en) * | 2013-03-15 | 2015-08-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Computer-based method and system of dynamic category object recognition |
| EP2995079A4 (en) * | 2013-05-10 | 2017-08-23 | Robert Bosch GmbH | System and method for object and event identification using multiple cameras |
| US9969337B2 (en) * | 2014-09-03 | 2018-05-15 | Sharp Laboratories Of America, Inc. | Methods and systems for mobile-agent navigation |
| CN108072370A (zh) * | 2016-11-18 | 2018-05-25 | 中国科学院电子学研究所 | 基于全局地图的机器人导航方法及用该方法导航的机器人 |
| CN107193279A (zh) * | 2017-05-09 | 2017-09-22 | 复旦大学 | 基于单目视觉和imu信息的机器人定位与地图构建系统 |
| CN107860390A (zh) * | 2017-12-21 | 2018-03-30 | 河海大学常州校区 | 基于视觉ros系统的非完整机器人远程定点自导航方法 |
-
2018
- 2018-01-24 CN CN201810066735.2A patent/CN108267121A/zh active Pending
- 2018-08-29 KR KR1020207024256A patent/KR20200116111A/ko not_active Application Discontinuation
- 2018-08-29 US US16/964,514 patent/US20210041886A1/en not_active Abandoned
- 2018-08-29 JP JP2020540757A patent/JP2021512297A/ja active Pending
- 2018-08-29 EP EP18902390.6A patent/EP3745085A1/en not_active Withdrawn
- 2018-08-29 WO PCT/CN2018/102972 patent/WO2019144617A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103278170A (zh) * | 2013-05-16 | 2013-09-04 | 东南大学 | 基于显著场景点检测的移动机器人级联地图创建方法 |
| CN104881029A (zh) * | 2015-05-15 | 2015-09-02 | 重庆邮电大学 | 基于一点ransac和fast算法的移动机器人导航方法 |
| CN105676253A (zh) * | 2016-01-15 | 2016-06-15 | 武汉光庭科技有限公司 | 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法 |
| CN106840148A (zh) * | 2017-01-24 | 2017-06-13 | 东南大学 | 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法 |
| CN108267121A (zh) * | 2018-01-24 | 2018-07-10 | 锥能机器人（上海）有限公司 | 一种可变场景下多设备的视觉导航方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200116111A (ko) | 2020-10-08 |
| JP2021512297A (ja) | 2021-05-13 |
| CN108267121A (zh) | 2018-07-10 |
| EP3745085A1 (en) | 2020-12-02 |
| US20210041886A1 (en) | 2021-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019144617A1 (zh) | 一种可变场景下多设备的视觉导航方法及系统 | |
| CN112014857B (zh) | 用于智能巡检的三维激光雷达定位导航方法及巡检机器人 | |
| CN112179330B (zh) | 移动设备的位姿确定方法及装置 | |
| CN107967457B (zh) | 一种适应视觉特征变化的地点识别与相对定位方法及系统 | |
| CN109685066B (zh) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 | |
| EP3586314B1 (en) | Improved forest surveying | |
| US11204247B2 (en) | Method for updating a map and mobile robot | |
| Dubé et al. | An online multi-robot SLAM system for 3D LiDARs | |
| US8380384B2 (en) | Apparatus and method for localizing mobile robot | |
| Cieslewski et al. | Point cloud descriptors for place recognition using sparse visual information | |
| US10278333B2 (en) | Pruning robot system | |
| US10845200B2 (en) | Distributed device mapping | |
| CN112197770B (zh) | 一种机器人的定位方法及其定位装置 | |
| EP3371671A1 (en) | Method, device and assembly for map generation | |
| CN108038139B (zh) | 地图构建方法、装置和机器人定位方法、装置、计算机设备和存储介质 | |
| CN113593017A (zh) | 露天矿地表三维模型构建方法、装置、设备及存储介质 | |
| CN111652929A (zh) | 一种视觉特征的识别定位方法及系统 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| KR102033075B1 (ko) | 딥러닝을 이용한 위치정보 시스템 및 그 제공방법 | |
| CN115615436A (zh) | 一种多机重定位的无人机定位方法 | |
| CN115359115A (zh) | 一种动态环境下基于多传感器的同时定位与建图方法 | |
| CN113838129A (zh) | 一种获得位姿信息的方法、装置以及系统 | |
| CN114565726A (zh) | 一种非结构化动态环境下的同时定位与建图方法 | |
| JP2018194366A (ja) | 位置推定装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18902390 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2020540757 Country of ref document: JP Kind code of ref document: A |
|
| ENP | Entry into the national phase |
Ref document number: 20207024256 Country of ref document: KR Kind code of ref document: A |
|
| ENP | Entry into the national phase |
Ref document number: 2018902390 Country of ref document: EP Effective date: 20200824 |