JP6906262B1 - ロボットの再位置決め方法、装置及び機器 - Google Patents

ロボットの再位置決め方法、装置及び機器 Download PDF

Info

Publication number
JP6906262B1
JP6906262B1 JP2020211319A JP2020211319A JP6906262B1 JP 6906262 B1 JP6906262 B1 JP 6906262B1 JP 2020211319 A JP2020211319 A JP 2020211319A JP 2020211319 A JP2020211319 A JP 2020211319A JP 6906262 B1 JP6906262 B1 JP 6906262B1
Authority
JP
Japan
Prior art keywords
feature point
robot
dimensional code
point set
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020211319A
Other languages
English (en)
Other versions
JP2022035936A (ja
Inventor
張曉龍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Django Robotics Shanghai Co ltd
Shanghai Jiangge Robot Co Ltd
Original Assignee
Django Robotics Shanghai Co ltd
Shanghai Jiangge Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Django Robotics Shanghai Co ltd, Shanghai Jiangge Robot Co Ltd filed Critical Django Robotics Shanghai Co ltd
Application granted granted Critical
Publication of JP6906262B1 publication Critical patent/JP6906262B1/ja
Publication of JP2022035936A publication Critical patent/JP2022035936A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

【課題】簡易かつ正確なロボットの再位置決めを実現できるロボットの再位置決め方法、装置及び機器を提供する。【解決手段】方法は、予め構築された視覚地図により、ロボットが存在する作業空間における各特徴点の位置を記録し、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集し、そして、その中の第一特徴点集合を抽出し、その後、第一特徴点集合と視覚地図とをマッチングし、マッチする第二特徴点集合及びその位置を得て、これを基にロボットの現在の位置を算出することを含む。【選択図】図２

Description

本発明はコンピュータ技術分野に関し、特にロボットの再位置決め方法、装置及び機器に関する。
人工知能技術が日増しに成熟するのに伴い、ロボットも工業ロボットから次第に人々の生活において使用される知能移動ロボットへと発展しており、益々多くの物流保管倉庫業界において知能ロボットにより仕分け作業が行われており、倉庫作業の正確性と効率を大幅に高めている。
しかし、これに伴い幾つかの問題も生じている。倉庫内で応用されるロボットを始動させるとき、毎回、ロボットに対して位置決めを行い、ロボットの現在の地図における位置座標を探す必要があり、多くの始動準備作業に時間と労力を費やしている。この他、ロボットが大型倉庫内でタスクを実行する時、人為的要素又は他の要素により環境が変化するため、ロボットは容易に「道に迷う」、即ち、ロボットは容易に位置を見失うため、タスクの中断を招き、オーダータスクの実行に影響し、また、他のロボットのタスクの正常な実行にも影響を与える可能性がある。よって、有効的な再位置決め方案が求められている。
本明細書の実施例は、簡易かつ正確なロボットの再位置決めを実現できるロボットの再位置決め方法、装置及び機器を提供する。
本明細書の実施例はさらに、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集することと、前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するための予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得ることと、前記第一特徴点集合に基づき、前記ロボットと前記第二特徴点集合との相対位置を特定することと、前記相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定することと、を含むロボットの再位置決め方法を提供する。また、この方法は、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集する前に、さらに、ロボットが存在する作業空間をスキャンし、前記作業空間の初期地図を構築することと、ロボットにより前記作業空間における環境画像を採集し、採集した環境画像の特徴点を抽出することと、抽出された各特徴点の前記初期地図における位置を特定することと、前記抽出された各特徴点及び各特徴点の位置を前記初期地図中に保存し、前記作業空間の視覚地図を得ることと、を含む。また、前記採集された環境画像は、前記作業空間に配置される二次元コードの画像である二次元コード画像を含む。また、前記方法はさらに、前記二次元コード画像に基づき、前記二次元コードの標識情報を識別し、前記二次元コードの標識情報を前記二次元コードの特徴点の位置と関連付けて前記視覚地図中に保存することを含み、前記目標環境画像が目標二次元コード画像である時、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得ることは、前記第一特徴点集合に基づき、目標二次元コードの標識情報を識別することと、前記視覚地図から前記標識情報に対応する目標二次元コードの特徴点をマッチングして得て、第二特徴点集合とすることと、を含む。また、前記二次元コード画像が複数ある時、それぞれの前記二次元コード画像に基づき再位置決め計算を行い、それぞれの前記二次元コード画像により計算された位置を加重平均し、最終的な位置を一つ得る。
本明細書の実施例はさらに、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集するための採集モジュールと、前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するための予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得るためのマッチングモジュールと、前記第一特徴点集合に基づき、前記ロボットと前記第二特徴点集合との相対位置を特定するための処理モジュールと、前記相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定するための位置決めモジュールと、を備えるロボットの再位置決め装置を提供する。また、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集する前に、さらに、ロボットが存在する作業空間をスキャンし、前記作業空間の初期地図を構築するモジュールと、ロボットにより前記作業空間における環境画像を採集し、採集した環境画像の特徴点を抽出するモジュールと、抽出された各特徴点の前記初期地図における位置を特定するモジュールと、前記抽出された各特徴点及び各特徴点の位置を前記初期地図中に保存し、前記作業空間の視覚地図を得るモジュールと、を含む。また、前記採集された環境画像は、前記作業空間に配置される二次元コードの画像である二次元コード画像を含む。また、前記ロボットの再位置決め装置はさらに、前記二次元コード画像に基づき、前記二次元コードの標識情報を識別し、前記二次元コードの標識情報を前記二次元コードの特徴点の位置と関連付けて前記視覚地図中に保存するモジュールを含み、前記目標環境画像が目標二次元コード画像である時、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得るためのマッチングモジュールは、前記第一特徴点集合に基づき、目標二次元コードの標識情報を識別するモジュールと、前記視覚地図から前記標識情報に対応する目標二次元コードの特徴点をマッチングして得て、第二特徴点集合とするモジュールと、を含む。また、前記二次元コード画像が複数ある時、それぞれの前記二次元コード画像に基づき再位置決め計算を行い、それぞれの前記二次元コード画像により計算された位置を加重平均し、最終的な位置を一つ得るモジュールを含む。
本明細書の実施例はさらに、プロセッサと、コンピュータ実行可能なコマンドを記憶するためのメモリと、を備え、前記実行可能なコマンドが実行される時に前記プロセッサに、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集し、前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するための予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得て、前記第一特徴点集合に基づき、前記ロボットと前記第二特徴点集合との相対位置を特定し、前記相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定する、操作を実行させる電子機器を提供する。また、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集する前に、さらに、ロボットが存在する作業空間をスキャンし、前記作業空間の初期地図を構築することと、ロボットにより前記作業空間における環境画像を採集し、採集した環境画像の特徴点を抽出することと、抽出された各特徴点の前記初期地図における位置を特定することと、前記抽出された各特徴点及び各特徴点の位置を前記初期地図中に保存し、前記作業空間の視覚地図を得ることと、を含む。また、前記採集された環境画像は、前記作業空間に配置される二次元コードの画像である二次元コード画像を含む。また、前記操作はさらに、前記二次元コード画像に基づき、前記二次元コードの標識情報を識別し、前記二次元コードの標識情報を前記二次元コードの特徴点の位置と関連付けて前記視覚地図中に保存することを含み、前記目標環境画像が目標二次元コード画像である時、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得ることは、前記第一特徴点集合に基づき、目標二次元コードの標識情報を識別することと、前記視覚地図から前記標識情報に対応する目標二次元コードの特徴点をマッチングして得て、第二特徴点集合とすることと、を含む。また、前記二次元コード画像が複数ある時、それぞれの前記二次元コード画像に基づき再位置決め計算を行い、それぞれの前記二次元コード画像により計算された位置を加重平均し、最終的な位置を一つ得る。
本明細書の実施例はさらに、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される時に、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集し、前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するための予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得て、前記第一特徴点集合に基づき、前記ロボットと前記第二特徴点集合との相対位置を特定し、前記相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定する、操作が実現されるコンピュータ読み取り可能な記憶媒体を提供する。また、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集する前に、さらに、ロボットが存在する作業空間をスキャンし、前記作業空間の初期地図を構築することと、ロボットにより前記作業空間における環境画像を採集し、採集した環境画像の特徴点を抽出することと、抽出された各特徴点の前記初期地図における位置を特定することと、前記抽出された各特徴点及び各特徴点の位置を前記初期地図中に保存し、前記作業空間の視覚地図を得ることと、を含む。また、前記採集された環境画像は、前記作業空間に配置される二次元コードの画像である二次元コード画像を含む。また、前記操作はさらに、前記二次元コード画像に基づき、前記二次元コードの標識情報を識別し、前記二次元コードの標識情報を前記二次元コードの特徴点の位置と関連付けて前記視覚地図中に保存することを含み、前記目標環境画像が目標二次元コード画像である時、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得ることは、前記第一特徴点集合に基づき、目標二次元コードの標識情報を識別することと、前記視覚地図から前記標識情報に対応する目標二次元コードの特徴点をマッチングして得て、第二特徴点集合とすることと、を含む。また、前記二次元コード画像が複数ある時、それぞれの前記二次元コード画像に基づき再位置決め計算を行い、それぞれの前記二次元コード画像により計算された位置を加重平均し、最終的な位置を一つ得る。
本明細書の一つの実施例は、予め構築された視覚地図により、ロボットが存在する作業空間における各特徴点の位置を記録し、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集し、その中の第一特徴点集合を抽出し、その後、前記第一特徴点集合と視覚地図とをマッチングし、マッチする第二特徴点集合及びその位置を得て、これを基にロボットの現在の位置を算出する。また、この方法は、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集する前に、さらに、ロボットが存在する作業空間をスキャンし、前記作業空間の初期地図を構築することと、ロボットにより前記作業空間における環境画像を採集し、採集した環境画像の特徴点を抽出することと、抽出された各特徴点の前記初期地図における位置を特定することと、前記抽出された各特徴点及び各特徴点の位置を前記初期地図中に保存し、前記作業空間の視覚地図を得ることと、を含む。また、前記採集された環境画像は、前記作業空間に配置される二次元コードの画像である二次元コード画像を含む。また、前記方法はさらに、前記二次元コード画像に基づき、前記二次元コードの標識情報を識別し、前記二次元コードの標識情報を前記二次元コードの特徴点の位置と関連付けて前記視覚地図中に保存することを含み、前記目標環境画像が目標二次元コード画像である時、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得ることは、前記第一特徴点集合に基づき、目標二次元コードの標識情報を識別することと、前記視覚地図から前記標識情報に対応する目標二次元コードの特徴点をマッチングして得て、第二特徴点集合とすることと、を含む。また、前記二次元コード画像が複数ある時、それぞれの前記二次元コード画像に基づき再位置決め計算を行い、それぞれの前記二次元コード画像により計算された位置を加重平均し、最終的な位置を一つ得る。こうして、簡易かつ正確な再位置決めを行うという目的を達成することができる。
ここで説明する図面は本明細書をさらに理解するために提供され、本明細書の一部分を構成し、本明細書の概略的な実施例及びその説明は本明細書を解釈するために用いられるが、本明細書を限定するものではない。
図1は本明細書が提供する応用シーンの概略図である。 図2は本明細書の一つの実施例が提供するロボットの再位置決め方法のフロー概略図である。 図3は本明細書の一つの実施例が提供する二次元コード画像が高さを採集する概略図である。 図4は本明細書の一つの実施例が提供する二次元コード地図の構築過程のフロー概略図である。 図5は本明細書の別の実施例が提供するロボットの再位置決め方法のフロー概略図である。 図6は本明細書の一つの実施例が提供するロボットの再位置決め装置の構造概略図である。 図7は本明細書の一つの実施例が提供する電子機器の構造概略図である。
本明細書の目的、技術方案及び長所をより明確にするために、以下に本明細書の具体的な実施例及び相応の図面と合わせて本明細書の技術方案について明確に、完全に説明する。勿論、説明する実施例は本明細書の一部の実施例であり、全ての実施例ではない。本明細書における実施例に基づき、当業者は創造的な労働を経ずに得られる他の実施例もみな本発明の保護範囲に入る。
背景技術の部分で述べたように、ロボットは作業過程中に、容易に現在の位置を見失う状況が現れるため、有効的な再位置決め方案を有することが急務である。この状況に鑑み、本明細書は、予め構築された視覚地図により、ロボットが存在する作業空間における各特徴点の位置を記録し、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集し、そして、その中の第一特徴点集合を抽出し、その後、前記第一特徴点集合と視覚地図とをマッチングし、マッチする第二特徴点集合及びその位置を得て、これを基にロボットの現在の位置を算出し、簡易かつ正確な再位置決めを実現できる、ロボットの再位置決め方法を提供する。
以下に図1を参照し、本明細書の応用シーンについて例示的に説明する。本応用シーンは、複数のロボット101及びロボット管理システム102を含み、そのうち、ロボット101は、指定の作業空間において合理的なルートに基づいて作業を行い、関連のタスク、例えばA点の物品をB点に搬送するなどのタスクを完了するためのものである。作業過程において、ロボット101の位置は再起動や故障などが原因で見失う可能性があり、これにより進行ルートの中断を招き、作業の完成に影響する可能性があるため、再位置決め操作を行う必要がある。
ロボット管理システム102は、複数のロボット101を管理するためのものであり、タスクの振り分け、ロボット状態の監督制御等を含む。そのうち、ロボットとは、半自律又は全自律型の作業可能なインテリジェント機器を指し、感知、意思決定、実行等の基本的な特徴を有する。作業空間とは、ロボットが作業するのに必要な空間を指し、密閉空間、屋根無し空間、無境界空間（例えば数本の支柱で標識を作る等）を含む。
以下に図面と合わせ、本明細書の各実施例が提供する技術方案を詳細に説明する。図2は本明細書の一つの実施例が提供するロボットの再位置決め方法のフロー概略図である。当該方法は図1のロボット101により実行でき、図2を参照し、前記方法は具体的に以下のステップを含むことができる：ステップ202、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集する。
そのうち、ロボットの再位置決めが必要となる状況は少なくとも、作業過程において位置を見失った時、再起動した時の位置の初期化等を含む。前記目標環境画像とはロボットのカメラが採集する近傍エリアの画像を指し、例えばカメラの視角がプリセットされた水平高さの時に採集される画像、又は、カメラの視角がプリセットされた見上げた角度の時に採集される画像である。
以下に、二次元コード画像を例にステップ202の実現方式を詳細に説明する。ロボットが再起動して現在の位置を初期化した時または作業過程において位置を見失った時、ロボットはプリセットされた採集ルールに従って、カメラによりカメラの画像採集エリア内にある二次元コードの画像を採集し、二次元コード画像を得る。前記採集ルールはプリセットされた高さ範囲のエリア内の二次元コードを採集することを含み、前記プリセットされた高さの範囲は一般的に二次元コードが貼られる高さの範囲を指す。
図3に示されるように、二次元コードが空間（例えば壁体）において貼られる高さの範囲は一般的に図中の網掛けのエリアであり、ロボットにより当該プリセットされた高さ範囲で採集することができ、こうして二次元コードの識別効率を高め、再位置決め効率を高めることができる。
ステップ204、前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するための予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得る。そのうち、特徴点集合とは環境画像から抽出された特徴点の集合を指し、例えば、画像中で色が明らかに他のエリアと異なる目標塗料エリアに対応する特徴点、画像中に存在する目印に対応する特徴点等である。視覚地図とはロボットの作業空間における空間座標系であり、且つ、その中に必要な特徴点の位置情報が標記される。
以下に、図4を参照し、視覚地図の構築過程を詳細に説明する。ステップ402、ロボットが存在する作業空間をスキャンし、前記作業空間の初期地図を構築する。具体的に、一つのロボットを地図構築ロボットとして選択し、当該地図構築ロボットは所定の移動ルートに従って移動し、移動中にロボットが携帯するレーザーレーダ装置により前記作業空間に対して三次元スキャン処理を行い、前記作業空間の見上げた角度がカバーされる二次元又は三次元地図を構築し、初期地図として記す。
そのうち、前記所定の移動ルートは作業空間における特徴点があるエリア及び障害物所があるエリアにより決められ、前記所定の移動ルートに基づき作業空間におけるプリセット占有率の特徴があるエリア、例えばすべての天井エリアおよび作業空間におけるプリセット占有率をカバーする二次元コードをスキャンすることができる。
これに基づき、ステップ402の本実現方式は、所定の移動ルートに基づいて作業空間に対して三次元スキャン処理することにより、その大部分の目印をカバーし、後続の正確な位置決めにデータのサポートを提供する。また、本実現方式はさらに、ロボットの活動軌跡が一般的にみな地上であることを考慮し、見上げた角度の二次元視覚地図を構築することを提供し、二次元地図においてロボットを位置決めすることによって、再位置決めの実現に必要な計算資源を低減することができる。
ステップ404、ロボットにより前記作業空間における環境画像を採集し、採集した環境画像の特徴点を抽出する。そのうち、前記採集された環境画像はラベル画像を含み、前記ラベル画像は画像の視覚情報を意味情報に変換することで取得でき、二次元コード画像、バーコード画像等を含む。
以下に二次元コード画像を例に具体的に説明する。前記二次元コード画像は前記作業空間に配置される二次元コードの画像であり、さらに特徴点画像を含むことができる。前記特徴点画像とは空間における特徴点に対応する画像を指し、天井画像、地面画像等を含む。以下に前記作業空間の天井の画像である天井画像を例に具体的に説明する。
地図構築ロボットが1フレームの二次元コード画像を採集した時、その中の特徴点を抽出し、当該二次元コードの特徴点集合を得ることができる。または、地図構築ロボットが1フレームの天井の部分的な画像を採集した時、その中の特徴点を抽出し、天井の部分的な特徴点集合を得ることができることは容易に理解できる。
また、天井画像について、ステップ404の一つの実現方式はさらに、以下の内容を含む最適化された採集方式を提供する。プリセットされた間隔ルールに従って、ロボットのカメラによりプリセットされた見上げた角度における天井の画像を採集することを含み、そのうち、プリセットされた間隔ルールが規定する採集間隔は前記カメラの画角及び天井の高さにより決められる。
具体的に、先にカメラの画角の範囲及び天井の高さに基づき、毎回採集する画像の間に間隔を開けずに、且つ重なる範囲がプリセットされた閾値（10%）未満となるよう、一つの合理的な採集間隔（例えば20cm）を設定し、その後、カメラを90度見上げた角度に設置し、間隔は20cmとし、1フレームの天井画像を採集する。
こうして、採集回数が多く且つ画像が互いに重なることによる資源の無駄使い、情報が複雑になる問題を避けることができ、後続の視覚地図の構築に少量且つ全面的なデータのサポートを提供できる。二次元コード画像の採集過程は、上記ステップ202において既に説明しているため、ここでは繰り返し説明しない。
当然、天井画像及び二次元コード画像以外、ロボットは作業空間における任意の目印の画像を採集し、その特徴点を抽出できる。例えば目印となる支柱、ゲート等。こうして、視覚地図の特徴点集合を豊富にすることができ、後続の効率的な位置決めにデータのサポートを提供する。
ステップ406、抽出された各特徴点の前記初期地図における位置を特定する。その一つの実現方式は以下のようにすることができる：S41、ロボットと前記抽出された各特徴点の相対位置を特定する。S42、ロボットの採集作業時の現在の位置及び前記相対位置に基づき、各特徴点の前記初期地図における位置を特定する。
そのうち、S41及びS42は具体的に以下のように例示できる：例示1、地図構築ロボットに配される距離測定器によりロボットと被撮影対象である特徴点の間の距離、例えばロボットと撮影する二次元コードの特徴点の間の距離、又はロボットと撮影する天井の特徴点の間の距離を測定できる。その後、当該距離及びカメラの視角に基づき、ロボット及び各特徴点との相対位置を特定し、それからロボットにより作業時の現在の位置（例えば三次元初期地図における三次元座標、又は二次元初期地図における二次元座標）及び両者の相対位置を採集して、各特徴点の前記初期地図における位置を算出する。
例示2、ステップ404で採集された環境画像の特徴点を抽出し、そして各特徴点の間の位置分布データを解析し、前記位置分布データは各特徴点の間の距離、相対位置等を表すためのものであり、また、地図構築ロボットにより作業時の現在の位置及び採集した各特徴点の間の位置分布データを採集し、各特徴点の前記初期地図における位置を表すためのものである。
これに基づき、ステップ406の本実現方式は、地図構築ロボットの採集作業時の現在の位置を基準として、採集した各特徴点の位置を計算することによって、各特徴点の位置の標記精度を高めることができる。または、地図構築ロボットの採集作業時の現在の位置を基準として、採集した各特徴点の間の位置分布データを組み合わせることによって、各特徴点の前記初期地図における位置を間接的に表示し、こうして、ロボットの測定距離に対する要求の適用範囲を制限することなく、位置標記の多様性を高めることができる。
ステップ408、前記抽出された各特徴点及び各特徴点の位置を前記初期地図中に保存し、前記作業空間の視覚地図を得る。具体的に、各特徴点及びその位置を初期地図に標記し、もし初期地図が三次元初期地図である場合、各特徴点に対応する標記、例えば、第i個の特徴点-座標（xi、yi、zi）を得ることができる。もし初期地図が見下ろす角度の二次元初期地図である場合、各特徴点に対応する標記、例えば第i個の特徴点-座標（yi、zi）を得ることができ、こうして完全な視覚地図を得ることができる。
最後に、図1のロボット管理システムは地図構築ロボットが構築した視覚地図を前記作業空間で作業する各ロボットに発することができる。当該視覚地図の構築実施例に基づき、ステップ204の一つの実現方式は以下のようにすることができる：前記目標環境画像における第一特徴点集合の特徴点と予め構築された視覚地図中の特徴点とを特徴マッチングし、第二特徴点集合をマッチングする。または、先に第一特徴点集合中の特徴点の間の位置分布データを分析し、その後、位置分布データと予め構築された視覚地図中の特徴点の位置分布データに基づきマッチングし、マッチング位置分布を有する一組の特徴点を得て、第二特徴点集合として記す。
これに基づき、図4に対応する実現方式は、作業空間における環境画像の特徴点集合を抽出し、特徴点及びその位置を作業空間の地図中に標記して特徴点緯度のマッチングを行い、環境画像を保存して画像緯度のマッチングを行うことがなく、データ保存のプレッシャーおよびマッチングに必要な資源を低減させることができ、マッチング精度を確保した上でマッチング効率を大きく向上させることができる。
ステップ206、前記第一特徴点集合に基づき、前記ロボットと前記第二特徴点集合との相対位置を特定する。ステップ208、前記相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定する。ステップ206及びステップ208の実現方式は以下のようにすることができる：もしロボットに測距儀が配されている場合、測距儀によりロボットと採集した第一特徴点集合中の特徴点の間の距離を測定し、それからカメラの第一特徴点集合を採集した時の視角と合わせ、ロボットと第一特徴点集合との相対位置を特定し、前記ロボットと前記第二特徴点集合との相対位置として記し、その後、前記ロボットと前記第二特徴点集合との相対位置および視覚地図に標記した第二特徴点集合中の特徴点の位置を基に、前記ロボットの視覚地図における位置を算出し、作業空間における位置として記す。
または、もしロボットに測距儀が配されていない場合、第一特徴点集合中の特徴点の間の位置分布データを分析し、これを第二特徴点集合中の特徴点の間の位置分布データと比較し、2つの特徴点集合間の相対回転角度、拡縮サイズ等の情報を確定し、その後、相対回転角度、拡縮サイズ等に基づき第二特徴点集合採集時の地図構築ロボットの位置情報を調整し、新しい位置を得て、ロボットの作業空間における位置とする。
これに基づき、ステップ206及びステップ208の本実現方式は視覚地図中の特徴点の位置を基に、ロボットが周囲環境における特徴点を採集すれば現在の位置を算出することができ、再位置決めの効率を高めることができる。
これに基づき、本実施例は、予め構築された視覚地図により、ロボットが存在する作業空間における各特徴点の位置を記録し、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集し、そして、その中の第一特徴点集合を抽出し、その後、前記第一特徴点集合と視覚地図とをマッチングし、マッチする第二特徴点集合及びその位置を得て、これを基にロボットの現在の位置を算出する。こうして、簡易かつ正確な再位置決めを行うという目的を達成できる。
この他、別の実行可能な実施例において、さらに別の視覚地図の構築過程を提供する。当該視覚地図の構築過程は図4の対応する視覚地図の構築過程を基に、さらに、以下の内容を含む二次元コード画像の標記について限定する：前記二次元コード画像に基づき、前記二次元コードの標識情報を識別し、そして前記二次元コードの標識情報を前記二次元コードの特徴点の位置と関連付けて前記視覚地図中に保存する。
つまり、本視覚地図の構築過程は、図4の対応する視覚地図の構築過程における二次元コードの特徴点及びその位置を初期地図中に標記するだけでなく、さらに特徴点に対応する二次元コードの標識情報も関連付けて初期地図中に標記し、各特徴点に対応する標記、例えば、第i個の特徴点-座標（xi、yi、zi）-二次元コードnに対応、を得る。
このように、本視覚地図の構築過程により構築される視覚地図に基づき、ステップ206及びステップ208の別の実現方式は以下のようにすることができる：まず、前記第一特徴点集合に基づき、目標二次元コードの標識情報を識別する。具体的に、二次元コードの方式を識別することにより前記二次元コードの標識情報を読み取ることができ、前記標識情報は作業空間における各二次元コードのコード番号を指すことができる。
その後、前記視覚地図から前記標識情報に対応する目標二次元コードの特徴点をマッチングし、第二特徴点集合とする。最後に、前記ロボットと前記第二特徴点集合との相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定する。
さらに、異なる作業空間の要求に対する適応性、汎用性を高めるために、本実施例はさらに複数の環境画像間の使用優先レベルの処理方式を提供する。具体的に以下のように例示される：例示1、ロボットの再位置決めが必要とされる時、カメラの現在の視角における環境画像を採集し、現在の視角が90度である場合、天井画像を採集し、現在の視角が0度である場合、二次元コード画像を採集する。こうして、環境画像の採集速度が向上し、再位置決め効率が向上する。
例示2、ロボットの再位置決めが必要とされる時、二次元コード標識により素早く再位置決めを完了させることができるため、先に二次元コード画像を採集できる。周囲に二次元コード画像が存在しない時は、天井画像を採集する。
例示3、目標環境画像を採集した時、先に前記目標環境画像が二次元コード画像であるか否か識別し、もしYESである場合、前記二次元コードの標識情報を識別するステップを実行するようにアクティベートし、もしNOである場合、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とを特徴マッチングするステップと後続のステップを実行するようにアクティベートする。つまり、本例示は優先的に二次元コード画像を使用し、他の種類の環境画像の優先レベルは二次元コード画像よりも低い。
例示4、目標環境画像を採集した時、二次元コード画像を識別するステップ及び二次元コード標識により位置決めを行うステップと特徴点緯度の特徴マッチングのステップ及び後続のステップを同時に行う。もし周囲に採集できる二次元コード画像が複数ある時、ロボットの相対位置に近い一つを選択でき、または、各二次元コード画像に基づきそれぞれ再位置決め計算を行い、各二次元コード画像により計算された位置を加重平均し、最終的な位置を一つ得ることができる。
図4の構築された視覚地図に基づいて行う再位置決め方案と比べ、本実施例は二次元コードの標識を導入し、標識と二次元コードの特徴点の間の関連性を構築するため、二次元コードの標識をスキャンすれば、対応の特徴点の位置を読み取りすることができ、特徴点緯度のマッチングを行うことなく、特徴点の位置を探す効率、および再位置決めの効率を効果的に高めることができる。
図5は本明細書の別の実施例が提供するロボットの再位置決め方法のフロー概略図である。当該方法は図1のロボットにより実行でき、図5を参照し、前記方法は具体的に以下のステップを含むことができる：ステップ502、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集する。ステップ504、前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するためのもの予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得る。ステップ502及びステップ504のそれぞれは図2に対応する実施例におけるステップ202及びステップ204に対応し、その実現方式も対応類似するため、ここでは繰り返し説明しない。
ステップ506、前記第一特徴点集合及び前記第二特徴点集合に基づき、前記ロボットの現在のポーズと前記第二特徴点集合を撮影する時のロボットポーズとの相対ポーズを特定する。ステップ508、前記相対ポーズ及び前記第二特徴点集合を撮影する時のロボットポーズに基づき、前記ロボットの現在のポーズを特定する。具体的に、前記第一特徴点集合及び前記第二特徴点集合を比較することにより、2つの特徴点集合間の相対回転角度、拡縮サイズ等情報を確定し、相対ポーズを表す。その後、相対回転角度、拡縮サイズ等に基づき前記第二特徴点集合を撮影する時のロボットポーズを調整し、新しいポーズを得て、前記ロボットの現在のポーズとする。そのうち、ポーズはロボットの位置及び向き（移動方向）を含む。
これに基づき、本実施例は、図2の対応する実施例を基に、再位置決め的過程において、さらにロボットのポーズを再計算し、これにより、ロボットが現在の向きに基づき作業できるようになり、向きを見失うことによる移動方向エラーを避けられ、再位置決め效果を高めることができる。
図6は本明細書の一つの実施例が提供するロボットの再位置決め装置の構造概略図である。図6を参照し、前記装置は具体的に、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集するための採集モジュール601と、前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するための予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得るためのマッチングモジュール602と、前記第一特徴点集合に基づき、前記ロボットと前記第二特徴点集合との相対位置を特定するための処理モジュール603と、前記相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定するための位置決めモジュール604と、を備えることができる。
任意選択的に、装置は、さらに、ロボットが存在する作業空間をスキャンし、前記作業空間の初期地図を構築し、ロボットにより前記作業空間における環境画像を採集し、そして採集した環境画像の特徴点を抽出し、抽出された各特徴点の前記初期地図における位置を特定し、前記抽出された各特徴点及び各特徴点の位置を前記初期地図中に保存し、前記作業空間の視覚地図を得るための地図構築モジュール、を備える。
任意選択的に、前記地図構築モジュールは、ロボットと前記抽出された各特徴点の相対位置を特定し、ロボットの採集作業時の現在の位置及び前記相対位置に基づき、各特徴点の前記初期地図における位置を特定するための位置確定ユニットを備える。
任意選択的に、前記採集された環境画像は、前記作業空間に配置される二次元コードの画像である二次元コード画像を含む。さらに、装置は、前記二次元コード画像に基づき、前記二次元コードの標識情報を識別し、そして前記二次元コードの標識情報を前記二次元コードの特徴点の位置と関連付けて前記視覚地図中に保存するための地図構築最適化モジュールを備え、そのうち、前記目標環境画像が目標二次元コード画像である時、前記マッチングモジュール602は、具体的に、前記第一特徴点集合に基づき、二次元コードの標識情報を識別し、前記視覚地図から前記標識情報に対応する二次元コードの特徴点の位置をマッチングするためのものである。
任意選択的に、前記装置は、さらに、目標環境画像を採集した時、前記目標環境画像が二次元コード画像であるか否か識別し、もしYESである場合、前記二次元コードの標識情報を識別するステップを実行し、もしNOである場合、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とを特徴マッチングするステップを実行するための識別モジュールを備える。
任意選択的に、前記採集された環境画像は、前記作業空間の天井の画像である天井画像を含み、そのうち、前記採集モジュール601は具体的に、プリセットされた間隔ルールに従って、ロボットのカメラによりプリセットされた見上げた角度における天井の画像を採集するためのものであり、そのうち、プリセットされた間隔ルールが規定する採集間隔は前記カメラの画角及び天井の高さにより決められる。
任意選択的に、装置は、さらに、前記第一特徴点集合及び前記第二特徴点集合に基づき、前記ロボットの現在のポーズと前記第二特徴点集合を撮影する時のロボットポーズとの相対ポーズを特定し、前記相対ポーズ及び前記第二特徴点集合を撮影する時のロボットポーズに基づき、前記ロボットの移動方向を特定するためのポーズ確定モジュールを備える。
これに基づき、本実施例の予め構築された視覚地図により、ロボットが存在する作業空間における各特徴点の位置を記録し、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集し、そして、その中の第一特徴点集合を抽出し、その後、前記第一特徴点集合と視覚地図とをマッチングし、マッチする第二特徴点集合及びその位置を得て、これを基にロボットの現在の位置を算出する。こうして、簡易かつ正確な再位置決めを行うという目的を達成できる。
なお、本明細書の装置の各部材において、その実現すべき機能に基づき、その部材を論理的に分割することができるが、本明細書では特に限定せず、必要に応じて各部材を新たに分割する、または組み合わせることができる。
図7は本明細書の一つの実施例が提供する電子機器の構造概略図である。図7を参照し、当該電子機器は、プロセッサ、インターナルバス、ネットワークインタフェース、内部メモリおよび不揮発性メモリを備え、当然、さらに業務に必要な他のハードウエアを備えることも可能である。プロセッサは不揮発性メモリから対応するコンピュータプログラムを内部メモリに読み取った後に実行し、論理面においてロボットの再位置決め装置を形成する。当然、ソフトウエアの実現方式以外、本明細書は他の実現方式を排除しない。例えば、論理デバイス又はソフトハードウエアの組み合わせ方式等。つまり、以下の処理フローの実行主体は各論理ユニットに限定されず、ハードウエア又は論理デバイスとしてもよい。
ネットワークインタフェース、プロセッサ及びメモリはバスシステムにより互いに接続できる。バスはISA(Industry Standard Architecture、インダストリ スタンダード アーキテクチャ）バス、PCI(Peripheral Component Interconnect、ペリフェラル コンポーネント インターコネクト)バス又はEISA(Extended Industry Standard Architecture、エイサ）バス等とすることができる。前記バスはアドレスバス、データバス、コントロールバス、制御バス等に分けることができる。表示しやすいように、図7では一つの双方向の矢印で表すが、一本のバス又は一種類のタイプのバスしかないことを表すものではない。
メモリはプログラムを記憶するために用いられる。具体的に、プログラムはプログラムコードを含むことができ、前記プログラムコードはコンピュータ操作指令を含む。メモリはリードオンリーメモリ及びランダムアクセスメモリを含み、プロセッサに指令及びデータを提供できる。メモリはランダムアクセスメモリ (Random-Access Memory、RAM)を含む可能性があり、また、不揮発性メモリ（non-volatile memory）を含む可能性もあり、例えば、少なくとも1つの磁気ディスクメモリを含む。
プロセッサは、前記メモリに記憶されているプログラムを実行するためのものであり、具体的に以下の内容を実行する：ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集し、前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するための予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得て、前記第一特徴点集合に基づき、前記ロボットと前記第二特徴点集合との相対位置を特定し、前記相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定する。
上記の本明細書の図6に示される実施例が示すロボットの再位置決め装置又は管理者（Master）ノードが実行する方法はプロセッサに応用でき、またはプロセッサにより実現できる。プロセッサは集積回路チップである可能性があり、信号の処理能力を有する。実現のプロセスにおいて、上記方法の各ステップはプロセッサにおけるハードウエアの集積論理回路またはソフトウエア形式の指令により完成できる。
上記のプロセッサは汎用プロセッサとすることができ、中央処理装置（Central Processing Unit、CPU）、ネットワークプロセッサ（Network Processor、NP）等を含むことができる。さらに、デジタル信号プロセッサ（Digital Signal Processor、DSP）、専用集積回路（Application Specific Integrated Circuit、ASIC）、フィールド プログラマブル ゲート アレイ（Field−Programmable Gate Array、FPGA）または他のプログラム可能な論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウエアアセンブリとすることができる。これらは本明細書の実施例に開示される各方法、ステップ及び論理ブロック図を実現又は実行できる。汎用プロセッサはマイクロプロセッサとすることができ、または当該プロセッサは通常の如何なるプロセッサ等とすることもできる。
本明細書の実施例と合わせて開示される方法のステップは直接、ハードウエアデコードプロセッサにより実行完成でき、またはデコードプロセッサにおけるハードウエア及びソフトウエアモジュールを組み合わせて実行完成できる。ソフトウエアモジュールはランダムメモリ、フラッシュメモリ、リードオンリーメモリ、プログラム可能なリードオンリーメモリまたは書き換え可能なメモリ、レジスタ等、本分野でよく知られる記憶媒体に位置することができる。当該記憶媒体はメモリに位置し、プロセッサはメモリ内の情報を読み取り、そのハードウエアと合わせて上記方法のステップを完成する。
ロボットの再位置決め装置はさらに図2〜5の方法を実行でき、管理者ノードが実行する方法を実現できる。
同じ発明に基づき、本明細書の実施例はさらにコンピュータ読み取り可能な記憶媒体を提供する。前記コンピュータ読み取り可能な記憶媒体は一つの又は複数のプログラムが記憶され、前記一つの又は複数のプログラムは複数の応用プログラムを含む電子機器により実行される時に、前記電子機器が図2〜5に対応する実施例で提供するロボットの再位置決め装置方法を実行する。
本明細書における各実施例はすべて累加方式により説明しており、各実施例同士で同一類似部分は互いに参照すればよく、各実施例で重点的に説明するのは他の実施例と異なる部分である。特に、システム実施例について言えば、その基本は方法実施例に似ているため、比較的簡単に説明しており、関連する箇所は方法実施例の部分の説明を参照すればよい。
以上、本明細書の特定の実施例について説明した。他の実施例は付属の請求の範囲の範囲内に入る。一部の場合において、請求の範囲に記載の動作又はステップは、所望の結果を実現できるならば実施例と異なる順番で実行することができる。この他、図面に描かれた過程は特定の順番または連続した順番でなければ所望の結果を実現できないというわけではない。一部の実施形態において、マルチタスク処理及びパラレル処理でもよく、この方が有効である可能性もある。
当業者であれば、本明細書の実施例は方法、システム、又はコンピュータプログラム製品として提供できると理解できる。よって、本明細書は完全なハードウエア実施例、完全なソフトウエア実施例、又はソフトウエアとハードウエアを組み合わせた実施例の形式を採用できる。また、本明細書は一つの又は複数の、コンピュータ使用可能なプログラムコードを含むコンピュータ使用可能な記憶媒体（磁気ディスクメモリ、CD-ROM、光学メモリ等を含むが、これらに限られない）で実施されるコンピュータプログラム製品の形式を採用できる。
本明細書は本明細書の実施例に基づく方法、機器（システム）、及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して説明するものである。コンピュータプログラムコマンドによりフローチャート及び/又はブロック図中の各フロー及び/又はブロック、およびフローチャート及び/又はブロック図中のフロー及び/又はブロックの組み合わせを実現すると理解できる。一つの機器を製造するように、これらコンピュータプログラムコマンドを汎用コンピュータ、専用コンピュータ、組み込み処理機又は他のプログラム可能なデータ処理機器のプロセッサに提供でき、これにより、コンピュータ又は他のプログラム可能なデータ処理機器のプロセッサにより実行されるコマンドはフローチャートの一つのフロー又は複数のフロー及び/又はブロック図一つのブロック又は複数のブロックで指定された機能を実現するための装置を製造する。
これらコンピュータプログラムコマンドはコンピュータ又は他のプログラム可能なデータ処理機器を特定方式で動作するように導けるコンピュータ読み取り可能なメモリに記憶してもよく、これにより当該コンピュータ読み取り可能なメモリに記憶されたコマンドはコマンド装置を含む製造品が製造され、当該コマンド装置はフローチャートの一つのフロー又は複数のフロー及び/又はブロック図の一つのブロック又は複数のブロックで指定された機能を実現する。
これらコンピュータプログラムコマンドはコンピュータ又は他のプログラム可能なデータ処理機器にロードすることもでき、これにより、コンピュータが実現する処理を発生させるように、コンピュータ又は他のプログラム可能な機器で一系列の操作ステップを実行させ、こうして、コンピュータ又は他のプログラム可能な機器で実行するコマンドは、フローチャートの一つのフロー又は複数のフロー及び/又はブロック図の一つのブロック又は複数のブロックで指定された機能を実現するためのステップを提供する。
一つの典型的な配置において、計算機器は一つの又は複数のプロセッサ（CPU）、入力/出力インタフェース、ネットワークインタフェース及び内部メモリを含む。内部メモリはコンピュータ読み取り可能な媒体における非永久性メモリ、ランダムアクセスメモリ（RAM）及び/又は不揮発性内部メモリ等の形式、例えばリードオンリーメモリ（ROM）又はフラッシュメモリ（flash RAM）を含む可能性がある。内部メモリはコンピュータ読み取り可能な媒体の例である。コンピュータ読み取り可能な媒体は永久性及び非永久性、可動性及び非可動性の媒体を含み、如何なる方法又は技術によっても情報記憶を実現できる。情報はコンピュータ読み取り可能な指令、データ構造、プログラムのモジュール又は他のデータとすることができる。コンピュータの記憶媒体の例としては、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、他のタイプのランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、書き換え可能なリードオンリーメモリ(EEPROM)、フラッシュROM又は他の内部メモリ技術、コンパクトディスクリードオンリーメモリ(CD-ROM)、デジタルバーサタイル・ディスクディスク(DVD)又は他の光学メモリ、カセット磁気テープ、磁気テープ磁気ディスクメモリ又は他の磁気記憶装置又は他の如何なる非伝送媒体を含むが、これらに限られず、これらは計算機器にアクセスされる情報を記憶するために用いることができる。本文の画定に従って、コンピュータ読み取り可能な媒体は一時的なコンピュータ読み取り可能な媒体(transitory media)、例えば変調されたデータ信号及び搬送波を含まない。
なお、用語“備える”、“含む”又はその如何なる他の代替用語は非排他的な包含をカバーすることを意味し、一系列の要素を含むプロセス、方法、商品又は機器はそれら要素だけでなく、明確に挙げていない他の要素も含み、若しくは、これらのプロセス、方法、商品又は機器に固有の要素も含む。より多くの制限がない場合において、用語“一つの……を含む”で限定される要素は、前記要素を含むプロセス、方法、商品又は機器において更に別の同じ要素が存在することを排除しない。
当業者であれば、本明細書の実施例は方法、システム、又はコンピュータプログラム製品として提供できると理解できる。よって、本明細書は完全なハードウエア実施例、完全なソフトウエア実施例、又はソフトウエアとハードウエアを組み合わせた実施例の形式を採用できる。また、本明細書は一つの又は複数の、コンピュータ使用可能なプログラムコードを含むコンピュータ使用可能な記憶媒体（磁気ディスクメモリ、CD-ROM、光学メモリ等を含むが、これらに限られない）で実施されるコンピュータプログラム製品の形式を採用できる。
以上の内容は本明細書を限定するためのものではなく、本明細書の実施例に過ぎない。当業者にとって、本明細書は各種変更や変形を有することができる。本明細書の思想及び原理の範囲内において行われる如何なる修正、均等な差し替え、改良等もすべて本明細書の請求項の範囲に入る。

Claims (8)

  1. ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集することと、
    前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するための予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得ることと、
    前記第一特徴点集合に基づき、前記ロボットと前記第二特徴点集合との相対位置を特定することと、
    前記相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定することと、を含む方法であって、
    ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集する前に、さらに、
    ロボットが存在する作業空間をスキャンし、前記作業空間の初期地図を構築することと、
    ロボットにより前記作業空間における環境画像を採集し、採集した環境画像の特徴点を抽出することと、
    抽出された各特徴点の前記初期地図における位置を特定することと、
    前記抽出された各特徴点及び各特徴点の位置を前記初期地図中に保存し、前記作業空間の視覚地図を得ることと、を含み、
    前記採集された環境画像は、前記作業空間に配置される二次元コードの画像である二次元コード画像を含み、
    前記方法はさらに、前記二次元コード画像に基づき、前記二次元コードの標識情報を識別し、前記二次元コードの標識情報を前記二次元コードの特徴点の位置と関連付けて前記視覚地図中に保存することを含み、
    前記目標環境画像が目標二次元コード画像である時、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得ることは、
    前記第一特徴点集合に基づき、目標二次元コードの標識情報を識別することと、
    前記視覚地図から前記標識情報に対応する目標二次元コードの特徴点をマッチングして得て、第二特徴点集合とすることと、を含み、
    前記二次元コード画像が複数ある時、それぞれの前記二次元コード画像に基づき再位置決め計算を行い、それぞれの前記二次元コード画像により計算された位置を加重平均し、最終的な位置を一つ得る、ことを特徴とするロボットの再位置決め方法。
  2. 前記抽出された各特徴点の前記初期地図における位置を特定することは、
    ロボットと前記抽出された各特徴点の相対位置を特定することと、
    ロボットの採集作業時の現在の位置及び前記相対位置に基づき、各特徴点の前記初期地図における位置を特定することと、
    を含むことを特徴とする請求項１に記載の方法。
  3. 目標環境画像を採集した時、前記目標環境画像が二次元コード画像であるか否か識別し、もしYESである場合、前記二次元コードの標識情報を識別するステップを実行するようにアクティベートし、もしNOである場合、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とを特徴マッチングするステップを実行するようにアクティベートする、ことを特徴とする請求項１に記載の方法。
  4. 前記採集された環境画像は、前記作業空間の天井の画像である天井画像を含み、
    ロボットにより前記作業空間における環境画像を採集することは、
    プリセットされた間隔ルールに従って、ロボットのカメラによりプリセットされた見上げた角度における天井の画像を採集することを含み、
    ここで、プリセットされた間隔ルールが規定する採集間隔は前記カメラの画角及び天井の高さにより決められる、
    ことを特徴とする請求項１に記載の方法。
  5. さらに、前記第一特徴点集合及び前記第二特徴点集合に基づき、前記ロボットの現在のポーズと前記第二特徴点集合を撮影する時のロボットポーズとの相対ポーズを特定することと、
    前記相対ポーズ及び前記第二特徴点集合を撮影する時のロボットポーズに基づき、前記ロボットの移動方向を特定することと、
    を含むことを特徴とする請求項１に記載の方法。
  6. ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集するための採集モジュールと、
    前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するための予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得るためのマッチングモジュールと、
    前記第一特徴点集合に基づき、前記ロボットと前記第二特徴点集合との相対位置を特定するための処理モジュールと、
    前記相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定するための位置決めモジュールと、を備えるロボットの再位置決め装置であって、
    ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集する前に、さらに、
    ロボットが存在する作業空間をスキャンし、前記作業空間の初期地図を構築するモジュールと、
    ロボットにより前記作業空間における環境画像を採集し、採集した環境画像の特徴点を抽出するモジュールと、
    抽出された各特徴点の前記初期地図における位置を特定するモジュールと、
    前記抽出された各特徴点及び各特徴点の位置を前記初期地図中に保存し、前記作業空間の視覚地図を得るモジュールと、を含み、
    前記採集された環境画像は、前記作業空間に配置される二次元コードの画像である二次元コード画像を含み、
    前記ロボットの再位置決め装置はさらに、前記二次元コード画像に基づき、前記二次元コードの標識情報を識別し、前記二次元コードの標識情報を前記二次元コードの特徴点の位置と関連付けて前記視覚地図中に保存するモジュールを含み、
    前記目標環境画像が目標二次元コード画像である時、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得るための前記マッチングモジュールは、
    前記第一特徴点集合に基づき、目標二次元コードの標識情報を識別するモジュールと、
    前記視覚地図から前記標識情報に対応する目標二次元コードの特徴点をマッチングして得て、第二特徴点集合とするモジュールと、を含み、
    前記二次元コード画像が複数ある時、それぞれの前記二次元コード画像に基づき再位置決め計算を行い、それぞれの前記二次元コード画像により計算された位置を加重平均し、最終的な位置を一つ得るモジュールを含む、ことを特徴とするロボットの再位置決め装置。
  7. プロセッサと、
    コンピュータ実行可能なコマンドを記憶するためのメモリと、
    を備え、
    前記実行可能なコマンドが実行される時に前記プロセッサに、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集し、前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するための予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得て、前記第一特徴点集合に基づき、前記ロボットと前記第二特徴点集合との相対位置を特定し、前記相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定する操作を含み、
    ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集する前に、さらに、
    ロボットが存在する作業空間をスキャンし、前記作業空間の初期地図を構築することと、
    ロボットにより前記作業空間における環境画像を採集し、採集した環境画像の特徴点を抽出することと、
    抽出された各特徴点の前記初期地図における位置を特定することと、
    前記抽出された各特徴点及び各特徴点の位置を前記初期地図中に保存し、前記作業空間の視覚地図を得ることと、を含み、
    前記採集された環境画像は、前記作業空間に配置される二次元コードの画像である二次元コード画像を含み、
    前記操作はさらに、前記二次元コード画像に基づき、前記二次元コードの標識情報を識別し、前記二次元コードの標識情報を前記二次元コードの特徴点の位置と関連付けて前記視覚地図中に保存することを含み、
    前記目標環境画像が目標二次元コード画像である時、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得ることは、
    前記第一特徴点集合に基づき、目標二次元コードの標識情報を識別することと、
    前記視覚地図から前記標識情報に対応する目標二次元コードの特徴点をマッチングして得て、第二特徴点集合とすることと、を含み、
    前記二次元コード画像が複数ある時、それぞれの前記二次元コード画像に基づき再位置決め計算を行い、それぞれの前記二次元コード画像により計算された位置を加重平均し、最終的な位置を一つ得る、
    操作を実行させることを特徴とする、電子機器。
  8. コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される時に、ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集し、前記目標環境画像における第一特徴点集合とロボットの作業空間における特徴点の位置情報を記録するための予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得て、前記第一特徴点集合に基づき、前記ロボットと前記第二特徴点集合との相対位置を特定し、前記相対位置及び前記第二特徴点集合の位置情報に基づき、前記ロボットの作業空間における位置情報を特定する操作を含み、
    ロボットの再位置決めが必要とされる時、近傍の目標環境画像を採集する前に、さらに、
    ロボットが存在する作業空間をスキャンし、前記作業空間の初期地図を構築することと、
    ロボットにより前記作業空間における環境画像を採集し、採集した環境画像の特徴点を抽出することと、
    抽出された各特徴点の前記初期地図における位置を特定することと、
    前記抽出された各特徴点及び各特徴点の位置を前記初期地図中に保存し、前記作業空間の視覚地図を得ることと、を含み、
    前記採集された環境画像は、前記作業空間に配置される二次元コードの画像である二次元コード画像を含み、
    前記操作はさらに、前記二次元コード画像に基づき、前記二次元コードの標識情報を識別し、前記二次元コードの標識情報を前記二次元コードの特徴点の位置と関連付けて前記視覚地図中に保存することを含み、
    前記目標環境画像が目標二次元コード画像である時、前記目標環境画像における第一特徴点集合と予め構築された視覚地図とをマッチングし、前記第一特徴点集合にマッチする第二特徴点集合を得ることは、
    前記第一特徴点集合に基づき、目標二次元コードの標識情報を識別することと、
    前記視覚地図から前記標識情報に対応する目標二次元コードの特徴点をマッチングして得て、第二特徴点集合とすることと、を含み、
    前記二次元コード画像が複数ある時、それぞれの前記二次元コード画像に基づき再位置決め計算を行い、それぞれの前記二次元コード画像により計算された位置を加重平均し、最終的な位置を一つ得る、
    操作が実現されることを特徴とする、コンピュータ読み取り可能な記憶媒体。
JP2020211319A 2020-08-20 2020-12-21 ロボットの再位置決め方法、装置及び機器 Active JP6906262B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010842807.5A CN112101378B (zh) 2020-08-20 2020-08-20 机器人重定位方法、装置及设备
CN202010842807.5 2020-08-20

Publications (2)

Publication Number Publication Date
JP6906262B1 true JP6906262B1 (ja) 2021-07-21
JP2022035936A JP2022035936A (ja) 2022-03-04

Family

ID=73753033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020211319A Active JP6906262B1 (ja) 2020-08-20 2020-12-21 ロボットの再位置決め方法、装置及び機器

Country Status (2)

Country Link
JP (1) JP6906262B1 (ja)
CN (1) CN112101378B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113960999A (zh) * 2021-07-30 2022-01-21 珠海一微半导体股份有限公司 移动机器人重定位方法、系统及芯片
CN114199252A (zh) * 2021-12-06 2022-03-18 北京云迹科技股份有限公司 一种室内定位方法、装置、电子设备和存储介质
CN114638894A (zh) * 2022-03-18 2022-06-17 纯米科技(上海)股份有限公司 机器人行走的定位方法、系统、电子装置及存储介质
CN114995449A (zh) * 2022-06-21 2022-09-02 华能(广东)能源开发有限公司海门电厂 一种基于电子地图的机器人巡检设计方法及系统
CN115431270A (zh) * 2022-09-16 2022-12-06 山东新一代信息产业技术研究院有限公司 一种基于二维码标签的机器人辅助定位方法、设备及介质
CN115601432A (zh) * 2022-11-08 2023-01-13 肇庆学院（Cn） 一种基于fpga的机器人位置最优估计方法及系统
CN116592876A (zh) * 2023-07-17 2023-08-15 北京元客方舟科技有限公司 定位装置及定位装置的定位方法
CN118644556A (zh) * 2024-08-15 2024-09-13 天目山实验室 一种基于图像特征匹配的无人机定位的方法、装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114680732A (zh) * 2020-12-25 2022-07-01 苏州宝时得电动工具有限公司 一种清洁机器人及其清洁控制方法
CN113252045B (zh) * 2021-06-25 2021-11-02 成都睿沿科技有限公司 设备定位方法、装置、电子设备及可读存储介质
CN114543808B (zh) * 2022-02-11 2024-09-27 杭州萤石软件有限公司 室内重定位方法、装置、设备及存储介质
WO2023198088A1 (zh) * 2022-04-12 2023-10-19 深圳市普渡科技有限公司 机器人的位姿确定方法、装置、机器人以及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4279703B2 (ja) * 2004-02-24 2009-06-17 パナソニック電工株式会社 自律移動ロボットシステム
WO2007113956A1 (ja) * 2006-03-31 2007-10-11 Murata Kikai Kabushiki Kaisha 移動体位置の推定装置と推定方法及び推定プログラム
JP2014021624A (ja) * 2012-07-13 2014-02-03 Sharp Corp 自律走行装置、及び自律走行システム
CN113916230A (zh) * 2014-11-26 2022-01-11 艾罗伯特公司 用于使用机器视觉系统执行同时定位和映射的系统和方法
JP6411917B2 (ja) * 2015-02-27 2018-10-24 株式会社日立製作所 自己位置推定装置および移動体
JP2017120551A (ja) * 2015-12-28 2017-07-06 株式会社リコー 自律走行装置
US11847822B2 (en) * 2018-05-09 2023-12-19 Sony Corporation Information processing device and information processing method
CN111368860B (zh) * 2018-12-25 2024-04-26 深圳市优必选科技有限公司 重定位方法及终端设备
CN110146078A (zh) * 2019-06-25 2019-08-20 张收英 一种机器人定位方法和系统
CN110533722B (zh) * 2019-08-30 2024-01-12 的卢技术有限公司 一种基于视觉词典的机器人快速重定位方法及系统
CN111209978B (zh) * 2020-04-20 2020-07-10 浙江欣奕华智能科技有限公司 三维视觉重定位方法、装置及计算设备、存储介质
CN111427360B (zh) * 2020-04-20 2023-05-05 珠海一微半导体股份有限公司 基于地标定位的地图构建方法、机器人及机器人导航系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113960999A (zh) * 2021-07-30 2022-01-21 珠海一微半导体股份有限公司 移动机器人重定位方法、系统及芯片
CN113960999B (zh) * 2021-07-30 2024-05-07 珠海一微半导体股份有限公司 移动机器人重定位方法、系统及芯片
CN114199252B (zh) * 2021-12-06 2024-02-09 北京云迹科技股份有限公司 一种室内定位方法、装置、电子设备和存储介质
CN114199252A (zh) * 2021-12-06 2022-03-18 北京云迹科技股份有限公司 一种室内定位方法、装置、电子设备和存储介质
CN114638894A (zh) * 2022-03-18 2022-06-17 纯米科技(上海)股份有限公司 机器人行走的定位方法、系统、电子装置及存储介质
CN114638894B (zh) * 2022-03-18 2024-07-23 纯米科技(上海)股份有限公司 机器人行走的定位方法、系统、电子装置及存储介质
CN114995449A (zh) * 2022-06-21 2022-09-02 华能(广东)能源开发有限公司海门电厂 一种基于电子地图的机器人巡检设计方法及系统
CN115431270A (zh) * 2022-09-16 2022-12-06 山东新一代信息产业技术研究院有限公司 一种基于二维码标签的机器人辅助定位方法、设备及介质
CN115601432B (zh) * 2022-11-08 2023-05-30 肇庆学院 一种基于fpga的机器人位置最优估计方法及系统
CN115601432A (zh) * 2022-11-08 2023-01-13 肇庆学院（Cn） 一种基于fpga的机器人位置最优估计方法及系统
CN116592876A (zh) * 2023-07-17 2023-08-15 北京元客方舟科技有限公司 定位装置及定位装置的定位方法
CN116592876B (zh) * 2023-07-17 2023-10-03 北京元客方舟科技有限公司 定位装置及定位装置的定位方法
CN118644556A (zh) * 2024-08-15 2024-09-13 天目山实验室 一种基于图像特征匹配的无人机定位的方法、装置

Also Published As

Publication number Publication date
JP2022035936A (ja) 2022-03-04
CN112101378B (zh) 2024-08-02
CN112101378A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
JP6906262B1 (ja) ロボットの再位置決め方法、装置及び機器
US11709058B2 (en) Path planning method and device and mobile device
KR102314228B1 (ko) 지도 구축 방법, 장치, 기기 및 판독가능 저장 매체
US9251417B1 (en) Fast open doorway detection for autonomous robot exploration
JP2019120927A (ja) グリッドマップを作成する方法及び装置
CN113741438B (zh) 路径规划方法、装置、存储介质、芯片及机器人
CN110287276A (zh) 高精地图更新方法、装置及存储介质
JP2019521401A (ja) ロボットの経路計画システム、方法、ロボット及び媒体
WO2022052660A1 (zh) 仓储机器人定位与地图构建方法、机器人及存储介质
CN107677279A (zh) 一种定位建图的方法及系统
CN112526993A (zh) 栅格地图更新方法、装置、机器人及存储介质
TWI725681B (zh) 無人載具語意地圖建置系統及其建置方法
WO2022000197A1 (zh) 飞行作业方法、无人机及存储介质
Löffler et al. Evaluation criteria for inside-out indoor positioning systems based on machine learning
CN108387240B (zh) 一种多层次六边形网格地图的构建方法
CN118319188A (zh) 清洁机器人的重定位方法、清洁机器人和计算机设备
CN114594772A (zh) 机器人、路径规划方法、装置和存储介质
CN111739088B (zh) 基于视觉标签的定位方法及设备
CN113375657A (zh) 电子地图的更新方法、装置和电子设备
CN113189610A (zh) 地图增强的自动驾驶多目标追踪方法和相关设备
CN115830576A (zh) 移动机器人重定位方法、装置和移动机器人
Tas et al. High-definition map update framework for intelligent autonomous transfer vehicles
CN108960738B (zh) 一种仓库通道环境下的激光雷达数据聚类方法
Feld et al. Approximated environment features with application to trajectory annotation
CN112348918A (zh) 地图拼接方法、装置、移动机器人及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210217

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210217

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210622

R150 Certificate of patent or registration of utility model

Ref document number: 6906262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250