JPWO2019202806A1 - 自己位置推定方法 - Google Patents

自己位置推定方法 Download PDF

Info

Publication number
JPWO2019202806A1
JPWO2019202806A1 JP2020513975A JP2020513975A JPWO2019202806A1 JP WO2019202806 A1 JPWO2019202806 A1 JP WO2019202806A1 JP 2020513975 A JP2020513975 A JP 2020513975A JP 2020513975 A JP2020513975 A JP 2020513975A JP WO2019202806 A1 JPWO2019202806 A1 JP WO2019202806A1
Authority
JP
Japan
Prior art keywords
self
moving body
algorithm
estimating
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020513975A
Other languages
English (en)
Other versions
JP7034264B2 (ja
Inventor
長谷川　雄二
雄二 長谷川
燦心 松▲崎▼
燦心 松▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2019202806A1 publication Critical patent/JPWO2019202806A1/ja
Application granted granted Critical
Publication of JP7034264B2 publication Critical patent/JP7034264B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/04—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
    • G01C21/08—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means involving use of the magnetic field of the earth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G05D1/2435—Extracting 3D information
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/644—Optimisation of travel parameters, e.g. of energy consumption, journey time or distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

自己位置推定方法は、複数のセンサ５〜８の検出情報から複数のアルゴリズム（１１〜１３）により移動体１の自己位置を推定する第１ステップと、複数のアルゴリズムのそれぞれ毎に、各アルゴリズムの推定処理により得られる一つ以上の状態量Ａ，Ｂ，Ｃから、学習済のニューラルネットワーク（１４）により各アルゴリズム毎の重み係数を決定する第２ステップと、各アルゴリズムにより推定された自己位置を重み係数により合成して得られる位置を移動体１の自己位置として特定する第３ステップとを備える。

Description

本発明は、移動体の自己位置を推定する方法に関する。
従来より、移動ロボット等の移動体の自己位置を、複数のセンサの検出情報を用いて推定する種々様々な技術が提案されている。例えば、特許文献１には、エンコーダもしくはジャイロスコープ等の内界センサの検出情報と、測距センサ、ＩＲセンサ、超音波センサ、カメラ等の外界センサの検出情報とを用いて移動体の自己位置を推定する技術が提案されている。
また、一つ以上のセンサの検出情報を用いて、移動体の自己位置を推定するアルゴリズムも、従来より、種々様々なアルゴリズムが提案されている。
特開２００７−１４９０８８号公報
ところで、種々様々な環境下で、高い信頼性で自己位置を推定することを可能とするために、複数のセンサの検出情報から複数のアルゴリズムにより、それぞれ自己位置を推定し、これらの複数の自己位置の推定値を、適当な重み係数を用いて合成することで、自己位置を特定することが考えられる。そして、この場合、上記重み係数を事前に学習させることが考えられる。
この場合、上記重み係数の学習の手法として、各アルゴリズムによる自己位置推定値の実際の位置との偏差（自己位置推定値の誤差）を入力情報として用いて、上記重み係数の学習を行うことが考えられる。しかるに、この場合、当該学習を行う場所が、特定の場所に限定されざるを得ないため、該特定の場所以外の種々様々な場所にも適用し得る重み係数を学習することが困難となりやすい。
本発明はかかる背景に鑑みてなされたものであり、移動体の移動環境の影響を受け難い態様で移動体の自己位置の推定を行うことを可能とする自己位置推定方法を提供することを目的とする。
本発明の自己位置推定方法は、上記の目的を達成するために、複数のセンサの検出情報から、該複数のセンサのうちの一つ以上のセンサの検出情報を各々用いる複数のアルゴリズムのそれぞれにより、移動体の自己位置を推定する第１ステップと、
前記複数のアルゴリズムのそれぞれ毎に、各アルゴリズムの推定処理により得られる一つ以上の状態量であって、各アルゴリズムにより推定された前記自己位置の確からしさに関連する状態量を学習済のニューラルネットワークに入力し、当該入力された状態量から該ニューラルネットワークにより前記複数のアルゴリズムのそれぞれ毎の重み係数を決定する第２ステップと、
前記複数のアルゴリズムのそれぞれにより推定された前記自己位置を、前記決定された重み係数により合成して得られる位置を、前記移動体の自己位置として特定する第３ステップとを備えることを特徴とする（第１発明）。
なお、本発明において、前記複数のアルゴリズムは、各アルゴリズムの種類と、各アルゴリズムで使用するセンサの検出情報の種類とのうちの少なくとも一方が互いに相違するものである。
また、本発明おける自己位置は、通常の意味での移動体の位置（座標位置）に限らず、該移動体の姿勢（向き）を含み得る。
上記第１発明によれば、前記第２ステップで、前記複数のアルゴリズムのそれぞれ毎の重み係数を決定するニューラルネットワークは、各アルゴリズム毎に、各アルゴリズムの推定処理（移動体の自己位置を推定する処理）により得られる一つ以上の状態量が入力され、これらの状態量から、各アルゴリズム毎の重み係数を決定する。
この場合、各アルゴリズム毎の状態量は、各アルゴリズムにより推定された移動体の自己位置の確からしさに関連する状態量である。このため、各アルゴリズム毎の当該状態量は、該アルゴリズムの推定処理が、移動体の自己位置の信頼性の高い推定値を求める上で、どの程度適切になされたかの度合いを反映したものとなる。
このため、前記ニューラルネットワークの事前学習によって、該ニューラルネットワークは、各アルゴリズムに対応する重み係数が、該アルゴリズムによる自己位置の推定処理を他のアルゴリズムよりも適切に行い得る状況では相対的に高くなり、且つ、該アルゴリズムによる自己位置の推定処理を適切に行うことが他のアルゴリズムよりも困難な状況では相対的に低くなるように、入力される各アルゴリズム毎の状態量の全体に応じて各アルゴリズム毎の重み係数を決定できるようになる。
また、前記ニューラルネットワークにより決定される各アルゴリズム毎の重み係数は、各アルゴリズムにより推定された移動体の自己位置の精度ではなく、各アルゴリズム毎の前記状態量に依存して決定されるものである。このため、該重み係数は、移動体の移動環境の場所の影響を受けにくいものとなる。
そして、第３ステップでは、前記複数のアルゴリズムのそれぞれにより推定された前記自己位置を、上記の如く決定された重み係数により合成して得られる位置が、前記移動体の自己位置として特定される。
これにより、第１発明によれば、移動体の移動環境の影響を受け難い態様で移動体の自己位置の推定を行うことが可能となる。
上記第１発明では、前記複数のセンサは、前記移動体の外界を撮像するカメラを含み、前記複数のアルゴリズムのうちの一つのアルゴリズムである第Ａアルゴリズムは、前記移動体の自己位置の推定のために、前記カメラの撮像画像から特徴点を検出し、当該検出された特徴点と、該撮像画像よりも過去の撮像画像から検出された特徴点とのマッチングを行う処理を逐次実行するように構成されたアルゴリズムであるという態様を採用し得る。この場合、前記第Ａアルゴリズムに係る前記状態量は、前記撮像画像から検出された特徴点の総数のうち、前記マッチングによる対応付けがなされた特徴点の個数の割合を示す状態量を含むことが好ましい（第２発明）。
これによれば、第Ａアルゴリズムに対応する前記状態量は、前記撮像画像から検出された特徴点の総数のうち、前記マッチングによる対応付けがなされた特徴点の個数の割合を示す状態量を含む。このため、該状態量は、第Ａアルゴリズムにより推定される移動体の自己位置の確からしさに関連する状態量として適正なものとなる。
なお、前記割合を示す状態量は、該割合そのものに限らず、例えば、前記撮像画像から検出された特徴点の総数と、前記マッチングによる対応付けがなされた特徴点の個数との組であってもよい。
また、上記第１発明又は第２発明では、前記複数のセンサは、前記移動体の外界物までの距離を測定する測距センサを含み、前記複数のアルゴリズムのうちの一つのアルゴリズムである第Ｂアルゴリズムは、前記測距センサによる測距データと、粒子フィルタとを用いて前記移動体の自己位置を推定するアルゴリズムであるという態様を採用し得る。この場合、前記第Ｂアルゴリズムに係る前記状態量は、該第Ｂアルゴリズムが前記移動体の自己位置を推定する過程で生成する共分散を含むことが好ましい（第３発明）。
これによれば、第Ｂアルゴリズムに対応する前記状態量は、前記共分散を含む。このため、該状態量は、第Ｂアルゴリズムにより推定される移動体の自己位置の確からしさに関連する状態量として適正なものとなる。
また、上記第１〜第３発明では、前記複数のセンサは、前記移動体に作用する磁気を検出する磁気センサを含み、前記複数のアルゴリズムのうちの一つのアルゴリズムである第Ｃアルゴリズムは、前記磁気センサによる磁気の検出データと、粒子フィルタとを用いて前記移動体の自己位置を推定するアルゴリズムであるという態様を採用し得る。この場合、前記第Ｃアルゴリズムに係る前記状態量は、該第Ｃアルゴリズムが前記移動体の自己位置を推定する過程で生成する共分散を含むことが好ましい（第３発明）。
これによれば、第Ｃアルゴリズムに対応する前記状態量は、前記共分散を含むので、該状態量は、第Ｃアルゴリズムにより推定される移動体の自己位置の確からしさに関連する状態量として適正なものとなる。
本発明の実施形態における移動体の概略構成を示す図。 図１に示す自己位置推定部による処理を示すブロック図。
本発明の一実施形態を図１及び図２を参照して以下に説明する。図１を参照して、本実施形態での移動体１は、例えば車輪型の移動体であり、その移動環境の床面上に、複数の車輪２を介して支持される機体３を有する。そして、移動体１は、図示を省略する電動モータ等のアクチュエータにより、一つ以上の車輪２を回転駆動することにより、あるいは、一つ以上の車輪２の回転駆動と操舵（方向転換）とを行うことにより、床面上を移動する。
この移動体１には、自己位置を推定するために使用する複数のセンサが搭載されている。例えば、一つ以上の車輪２の回転角を検出する角度センサ等のオドメトリ用のセンサ５と、移動体１の周囲に存在する外界物までの距離を測定する測距センサとしてのレーザ・レンジ・ファインダ６（以降、ＬＲＦ６という）と、移動体１の上方に存在する天井を撮像するカメラ７と、移動体１に作用する磁気を検出する磁気センサ８とが移動体１に搭載されている。なお、オドメトリ用のセンサ５は、車輪２の回転角を検出する角度センサの他、車輪２のうちの操舵輪の操舵角を検出するセンサを含み得る。また、カメラ７は、本実施形態では、ステレオカメラである。
移動体１には、これらのセンサの検出情報を用いて自己位置推定を行う自己位置推定処理装置１０が搭載されている。該自己位置推定処理装置１０は、例えば、マイコン、メモリ、インターフェース回路等を含む一つ以上の電子回路ユニットにより構成される。
そして、自己位置推定処理装置１０は、実装されたハードウェア構成及びプログラム（ソウフトウェア構成）の両方又は一方により実現される機能として、図２のブロック図で示す如く、第１自己位置推定処理部１１と、第２自己位置推定処理部１２と、第３自己位置推定処理部１３と、重み係数学習処理部１４と、自己位置特定処理部１５とを含む。なお、自己位置推定処理装置１０は、上記の機能に限らず、例えば移動体１の移動制御等を行う機能も含み得る、
第１自己位置推定処理部１１は、ＬＲＦ６の検出情報とオドメトリ用センサ５の検出情報とを用いて移動体１の自己位置を推定する処理を実行する機能部、第２自己位置推定処理部１１は、カメラ７の検出情報を用いて移動体１の自己位置を推定する処理を逐次実行する機能部、第３自己位置推定処理部１３は、磁気センサ８の検出情報を用いて移動体１の自己位置を推定する処理を逐次実行する機能部である。
なお、本実施形態では、移動体１の自己位置は、より詳しくは、移動体１の移動環境に任意に設定されるグローバル座標系で見た、移動体１の位置と姿勢（向き）との組である。以降の説明では、第１〜第３自己位置推定処理部１１〜１３により推定される自己位置を、推定位置姿勢ということがある。
また、重み係数学習処理部１４は、第１〜第３自己位置推定処理部１１〜１３のそれぞれから入力される後述の状態量Ａ，Ｂ，Ｃに応じて、第１〜第３自己位置推定処理部１１〜１３のそれぞれに対応する重み係数（詳しくは、第１〜第３自己位置推定処理部１１〜１３のそれぞれから出力される移動体１の推定位置姿勢に対する重み係数）を出力する機能部、自己位置特定処理部１５は、第１〜第３自己位置推定処理部１１〜１３のそれぞれから出力される移動体１の推定位置姿勢を、重み係数学習処理部１４から出力される重み係数に応じて合成することによって、移動体１の自己位置を特定する（移動体１の推定位置姿勢を確定する）機能部である。
以下に、上記各機能部の詳細と併せて、自己位置推定処理装置１０の全体の処理を説明する。
第１〜第３自己位置推定処理部１１〜１３の処理が以下に説明する如く実行される。第１自己位置推定処理部１１には、ＬＲＦ６及びオドメトリ用センサ５のそれぞれの検出情報が入力されると共に、移動体１の移動環境のマップデータ（例えば、２次元の占有格子地図等）とが入力される。この場合、マップデータは、自己位置推定処理装置１０のメモリにあらかじめ記憶保持され、あるいは、外部のサーバ等から随時、ダウンロードされる。
そして、第１自己位置推定処理部１１は、ＬＲＦ６の検出情報（移動体１の周囲の外界物の測距データ）と、オドメトリ用センサ５の検出情報と、マップデータとから、自己位置推定用の所定のアルゴリズムにより、移動体１の自己位置を逐次推定する（推定位置姿勢を逐次決定する）。
本実施形態では、第１自己位置推定処理部１１は、自己位置推定用のアルゴリズムとして、粒子フィルタを用いて自己位置推定を行うアルゴリズム、例えば、AMCL（Adaptive Monte Carlo Localization）という公知の手法のアルゴリズムを使用する。該アルゴリズムは、本発明における第Ｂアルリズムに相当するものである。
このAMCLのアルゴリズムでは、次のような処理によって、移動体１の自己位置が逐次推定される。すなわち、まず、移動体１の初期位置及び初期姿勢（向き）に応じて、移動体１の近辺に、粒子フィルタにおける複数の粒子（パーティクル）が生成される。そして、オドメトリ用センサ５の検出情報から推定される移動体１の移動速度（並進速度及び角速度）に応じて、各粒子の新たな移動位置が推定される。
次いで、ＬＲＦ６による移動体１の周囲の外界物の測距データを取得し、この測距データと、マップデータとに基づいて、各粒子の新たな移動位置の尤度が算出される。そして、リサンプリング処理によって、尤度が低い粒子が消滅され、さらに、尤度の高い粒子の近辺に新たな粒子が生成される。
AMCLのアルゴリズムでは、以上の如き処理を逐次実行することで得られる尤度の高い粒子の位置の時系列に基づいて、移動体１の自己位置が逐次推定される（移動体１の推定位置姿勢が逐次決定される）。また、このアルゴリズムでは、当該推定処理の実行過程で、推定位置姿勢の確からしさに関連する状態量としての共分散（詳しくは分散共分散）が生成される。
そして、第１自己位置推定処理部１１は、上記の如くAMCLのアルゴリズムにより推定した移動体１の自己位置（推定位置姿勢）と該推定時の時刻である推定時刻とを逐次出力すると共に、該推定位置姿勢の確からしさに関連する状態量Ａとして、上記共分散（分散共分散）を出力する。
第２自己位置推定処理部１２には、カメラ７の検出情報としての撮像画像（移動体１の上方の天井の撮像画像）が入力される。なお、本実施形態では、カメラ７はステレオカメラであるので、第２自己位置推定処理部１２に入力されるカメラ７の検出情報（撮像画像）はステレオ画像（一対の撮像画像）である。ただし、カメラ７は、ステレオカメラに限らず、単眼カメラであってもよい。
そして、第２自己位置推定処理部１２は、入力された撮像画像から、自己位置推定用の所定のアルゴリズムにより、移動体１の自己位置を逐次推定する（推定位置姿勢を逐次決定する）。
本実施形態では、第２自己位置推定処理部１２は、自己位置推定用のアルゴリズムとして、入力された撮像画像からの特徴点の検出と、該特徴点と、過去に入力された撮像画像から検出された特徴点とのマッチングとを行うアルゴリズムを使用する。より具体的には、第２自己位置推定処理部１２は、当該アルゴリズムとして、例えば、ORB_SLAMという公知の手法のアルゴリズムを使用する。該アルゴリズムは、本発明における第Ａアルリズムに相当するものである。
このORB_SLAMのアルゴリズムでは、次のような処理によって、移動体１の自己位置が逐次推定される。すなわち、移動体１の初期位置を設定した上で、カメラ７による撮像画像（ステレオ画像）が第２自己位置推定処理部１２に逐次入力される。そして、入力された撮像画像毎に、該撮像画像からＯＲＢ特徴点を検出する処理が逐次実行される。なお、移動体１の初期位置は、例えば、ＬＲＦ６の検出情報に基づいて設定され得る。
そして、新たに入力された撮像画像（時刻ｔの撮像画像）から検出されたＯＲＢ特徴点と、一つ前に入力された過去の撮像画像（時刻ｔ−Δｔの撮像画像）から検出されたＯＲＢ特徴点とが比較され、ＯＲＢ特徴点同士のマッチングが行われる。このマッチングでは、特徴量の差の大きさ（絶対値）が所定の閾値以下となるＯＲＢ特徴点同士が互いに同じＯＲＢ特徴点（互いに対応するＯＲＢ特徴点）であると判定される。
そして、当該マッチングに基づいて、上記二つの時刻ｔ，ｔ−Δｔの間の期間での移動体１の移動量及び移動方向が推定される。さらに、この移動量及び移動方向の推定値と、時刻ｔ−Δｔでの移動体１の推定位置姿勢とから、時刻ｔでの移動体１の推定位置姿勢が決定される。なお、ORB_SLAMのアルゴリズムにより求める移動体１の推定位置姿勢は、例えば、第１自己位置推定処理部１２に入力される撮像画像のフレーム数が所定数に達する毎に、ＬＲＦ６の検出情報に基づいて認識される移動体１の位置姿勢にリセットしてもよい。
ORB_SLAMのアルゴリズムでは、以上の如き処理を逐次実行することで、移動体１の自己位置が逐次推定される（移動体１の推定位置姿勢が逐次決定される）。また、このアルゴリズムでは、当該推定処理の実行過程で、推定位置姿勢の確からしさに関連する状態量として、移動体１の推定速度・角速度（並進速度及び角速度の推定値）と、検出されたＯＲＢ特徴点の個数（総数）及びマッチング個数（前記マッチングにより互いに同じであると判定されたＯＲＢ特徴点の個数）と、誤差関数の誤差値（前記マッチングにおける特徴量の差）と、推定状態（移動体１の推定速度・角速度の推定精度の高低度合い）とが生成される。
そして、第２自己位置推定処理部１２は、上記の如くORB_SLAMのアルゴリズムにより推定した移動体１の自己位置（推定位置姿勢）と該推定時の時刻である推定時刻とを逐次出力する。さらに第２自己位置推定処理部１２は、該推定位置姿勢の確からしさに関連する状態量Ｂとして、移動体１の推定速度・角速度（並進速度及び角速度の推定値）と、検出されたＯＲＢ特徴点の個数及びマッチング個数と、誤差関数の誤差値（前記マッチングにおける特徴量の差）と、推定状態とを出力する。なお、ＯＲＢ特徴点の個数及びマッチング個数の代わりに、ＯＲＢ特徴点の個数（総数）に対するマッチング個数の割合を出力するようにしてもよい。
第３自己位置推定処理部１３には、磁気センサ８の検出情報としての磁気の検出データとオドメトリ用センサ５の検出情報とが入力されると共に、移動体１の移動環境の磁気的マップデータとが入力される。この場合、磁気的マップデータは、自己位置推定処理装置１０のメモリにあらかじめ記憶保持され、あるいは、外部のサーバ等から随時、ダウンロードされる。そして、第３自己位置推定処理部１３は、入力された磁気の検出データと、オドメトリ用センサ５の検出情報と、磁気的マップデータとから、自己位置推定用の所定のアルゴリズムにより、移動体１の自己位置を逐次推定する（推定位置姿勢を逐次決定する）。
本実施形態では、第３自己位置推定処理部１３は、自己位置推定用のアルゴリズムとして、粒子フィルタを用いて自己位置推定を行うアルゴリズム、例えば、第１自己位置推定処理部１１と同様にAMCLを使用する。該アルゴリズムは、本発明における第Ｃアルリズムに相当するものである。
このアルゴリズムでは、まず、移動体１の初期位置及び初期姿勢（向き）に応じて、移動体１の近辺に、粒子フィルタにおける複数の粒子（パーティクル）が生成される。そして、オドメトリ用センサ５の検出情報から推定される移動体１の移動速度（並進速度及び角速度）に応じて、各粒子の新たな移動位置が推定される。次いで、磁気センサ８による磁気の検出データ（移動体１に作用する磁気の検出データ）を取得し、この検出データと、磁気的マップデータとに基づいて、各粒子の新たな移動位置の尤度が算出される。そして、リサンプリング処理によって、尤度が低い粒子が消滅され、さらに、尤度の高い粒子の近辺に新たな粒子が生成される。
第３自己位置推定処理部１３のAMCLのアルゴリズムでは、以上の如き処理を逐次実行することで移動体１の自己位置が逐次推定される（移動体１の推定位置姿勢が逐次決定される）。また、このアルゴリズムでは、当該推定処理の実行過程で、推定位置姿勢の確からしさに関連する状態量としての共分散（詳しくは分散共分散）が生成される。
そして、第３自己位置推定処理部１３は、上記の如くAMCLのアルゴリズムにより推定した移動体１の自己位置（推定位置姿勢）と該推定時の時刻である推定時刻とを逐次出力すると共に、該推定位置姿勢の確からしさに関連する状態量Ｃとして、上記共分散（分散共分散）を出力する。
第１〜第３自己位置推定処理部１３からそれぞれ出力される前記状態量Ａ，Ｂ，Ｃは、重み係数学習処理部１４に入力される。この重み係数学習処理部１４は、本実施形態では、ニューラルネットワークにより構成される。そして、このニューラルネットワークは、前記状態量Ａ，Ｂ，Ｃから構成される特徴ベクトルをマルチモーダル情報として用いるマルチモーダル学習があらかじめ実施されている。
このマルチモーダル学習は、より詳しくは、種々様々な状態量Ａ，Ｂ，Ｃから構成される特徴ベクトルから、第１〜第３自己位置推定処理部１１〜１３のそれぞれのアルゴリズムによる移動体１の自己位置の推定処理が、他のアルゴリズムに比してどの程度適切になされているかの度合いに相当する重み係数（第１〜第３自己位置推定処理部１３から出力される推定位置姿勢のそれぞれに対応する重み係数）を生成する学習である。
重み係数学習処理部１４のニューラルネットワークは、このようなマルチモーダル学習があらかじめ実施されている。このため、第１〜第３自己位置推定処理部１１〜１３のそれぞれから状態量Ａ，Ｂ，Ｃが入力された重み係数学習処理部１４は、該状態量Ａ，Ｂ，Ｃにより構成される特徴ベクトルから、第１〜第３自己位置推定処理部１１〜１３のそれぞれに対応する重み係数をニューラルネットワークにより生成して出力する。
この場合、当該ニューラルネットワークは、基本的には、第１〜第３自己位置推定処理部１１〜１３のそれぞれが出力する移動体１の推定位置姿勢のそれぞれの確からしさがより高いものほど、重み係数が大きな値となるように第１〜第３自己位置推定処理部１１〜１３のそれぞれに対応する重み係数を生成して出力する。
例えば第１自己位置推定処理部１１による移動体１の自己位置の推定処理が、第２自己位置推定処理部１２及び第３自己位置推定処理部１３に比して、より適切になされる状況では、第１自己位置推定処理部１３に対応する重み係数が、第２自己位置推定処理部１４及び第３自己位置推定処理部１５のそれぞれに対応する重み係数よりも大きな値になるようにそれぞれの重み係数が生成される。
また、例えば、第２自己位置推定処理部１２による移動体１の自己位置の推定処理が、第１自己位置推定処理部１１及び第３自己位置推定処理部１３に比して、より適切になされる状況では、第２自己位置推定処理部１２に対応する重み係数が、第１自己位置推定処理部１１及び第３自己位置推定処理部１３のそれぞれに対応する重み係数よりも大きな値になるようにそれぞれの重み係数が生成される。
また、例えば、第３自己位置推定処理部１３による移動体１の自己位置の推定処理が、第２自己位置推定処理部１２及び第２自己位置推定処理部１２に比して、より適切になされる状況では、第３自己位置推定処理部１３に対応する重み係数が、第１自己位置推定処理部１１及び第２自己位置推定処理部１２のそれぞれに対応する重み係数よりも大きな値になるようにそれぞれの重み係数が生成される。
重み係数学習処理部１４から出力される第１〜第３自己位置推定処理部１１〜１３のそれぞれに対応する重み係数は、自己位置特定処理部１５に入力される。また、該自己位置特定処理部１５には、第１〜第３自己位置推定処理部１１〜１３のそれぞれから、移動体１の推定位置姿勢及び推定時刻が入力される。
そして、自己位置特定処理部１５は、第１〜第３自己位置推定処理部１１〜１３のそれぞれの互いに同一時刻での推定位置姿勢を、入力された重み係数に応じて合成してなる位置姿勢を、移動体１の自己位置として特定する。すなわち、第１〜第３自己位置推定処理部１１〜１３のそれぞれの推定位置姿勢に対しそれぞれに対応する重み係数を乗じたものの総和が移動体１の自己位置として特定される。なお、このとき各重み係数の和は１である。
本実施形態では、自己位置推定処理装置１０は、以上説明した如く移動体１の自己位置を逐次特定する。この場合、第１〜第３自己位置推定処理部１１〜１３のそれぞれにより推定された自己位置を、重み係数学習処理部１４により第１〜第３自己位置推定処理部１１〜１３のそれぞれ毎の状態量Ａ，Ｂ，Ｃに応じて決定される重み係数により合成することによって移動体１の自己位置が特定される。
そして、この場合、重み係数学習処理部１４は、第１〜第３自己位置推定処理部１１〜１３のそれぞれ毎の状態量Ａ，Ｂ，Ｃを入力情報とするものであるので、移動体１の種々様々な移動環境で、状態量Ａ，Ｂ，Ｃに応じて出力すべき重み係数を事前に学習しておくことができる。
そのため、自己位置推定処理装置１０は、移動体１の種々様々な移動環境で、移動体１の自己位置を高い信頼性で推定（特定）することができる。
なお、本発明は以上説明した実施形態に限定されるものではなく、他の実施形態を採用することもできる。以下に、他の実施形態をいくつか例示する。
前記実施形態では、第１〜第３自己位置推定処理部１１〜１３の３種類の自己位置推定処理部を備える自己位置推定処理装置１０を例示した。ただし、自己位置推定処理装置１０は、例えば、第１〜第３自己位置推定処理部１１〜１３のうちのいずれか一つを備えないものであってもよい。あるいは、自己位置推定処理装置１０は、さらに多くの自己位置推定処理部を備えていてもよい。
また、前記実施形態では、重み係数学習処理部１４として、マルチモーダル学習を行うニューラルネットワークを例示した。ただし、重み係数学習処理部１４として、例えば、LSTM（Long short-term memory）等の再帰型ニューラルネットワーク（RNN）等を使用してもよい。
また、前記実施形態では第２自己位置推定処理部１２に係る状態量Ｂとして、移動体１の推定速度・角速度（並進速度及び角速度の推定値）と、検出されたＯＲＢ特徴点の個数及びマッチング個数と、誤差関数の誤差値（前記マッチングにおける特徴量の差）と、推定状態とを用いた。ただし、これらの状態量のうちの一部の状態量、例えば移動体１の推定速度・角速度、誤差関数の誤差値、推定状態等を省略してもよい。
また、前記実施形態では、測距センサとしてＬＲＦ６を使用した。ただし、ＬＲＦ６の代わりに、例えば超音波式の測距センサ等を使用してもよい。
また、前記実施形態では、移動体として、車輪型の移動体１を例示した。ただし、本発明の適用対象の移動体は、車輪型の移動体に限らず、例えば、脚式の移動体等であってよい。

Claims (4)

  1. 複数のセンサの検出情報から、該複数のセンサのうちの一つ以上のセンサの検出情報を各々用いる複数のアルゴリズムのそれぞれにより、移動体の自己位置を推定する第１ステップと、
    前記複数のアルゴリズムのそれぞれ毎に、各アルゴリズムの推定処理により得られる一つ以上の状態量であって、各アルゴリズムにより推定された前記自己位置の確からしさに関連する状態量を学習済のニューラルネットワークに入力し、当該入力された状態量から該ニューラルネットワークにより前記複数のアルゴリズムのそれぞれ毎の重み係数を決定する第２ステップと、
    前記複数のアルゴリズムのそれぞれにより推定された前記自己位置を、前記決定された重み係数により合成して得られる位置を、前記移動体の自己位置として特定する第３ステップとを備えることを特徴とする移動体の自己位置推定方法。
  2. 請求項１記載の移動体の自己位置推定方法において、
    前記複数のセンサは、前記移動体の外界を撮像するカメラを含み、
    前記複数のアルゴリズムのうちの一つのアルゴリズムである第Ａアルゴリズムは、前記移動体の自己位置の推定のために、前記カメラの撮像画像から特徴点を検出し、当該検出された特徴点と、該撮像画像よりも過去の撮像画像から検出された特徴点とのマッチングを行う処理を逐次実行するように構成されたアルゴリズムであり、
    前記第Ａアルゴリズムに係る前記状態量は、前記撮像画像から検出された特徴点の総数のうち、前記マッチングによる対応付けがなされた特徴点の個数の割合を示す状態量を含むことを特徴とする移動体の自己位置推定方法。
  3. 請求項１記載の移動体の自己位置推定方法において、
    前記複数のセンサは、前記移動体の外界物までの距離を測定する測距センサを含み、
    前記複数のアルゴリズムのうちの一つのアルゴリズムである第Ｂアルゴリズムは、前記測距センサによる測距データと、粒子フィルタとを用いて前記移動体の自己位置を推定するアルゴリズムであり、
    前記第Ｂアルゴリズムに係る前記状態量は、該第Ｂアルゴリズムが前記移動体の自己位置を推定する過程で生成する共分散を含むことを特徴とする移動体の自己位置推定方法。
  4. 請求項１記載の移動体の自己位置推定方法において、
    前記複数のセンサは、前記移動体に作用する磁気を検出する磁気センサを含み、
    前記複数のアルゴリズムのうちの一つのアルゴリズムである第Ｃアルゴリズムは、前記磁気センサによる磁気の検出データと、粒子フィルタとを用いて前記移動体の自己位置を推定するアルゴリズムであり、
    前記第Ｃアルゴリズムに係る前記状態量は、該第Ｃアルゴリズムが前記移動体の自己位置を推定する過程で生成する共分散を含むことを特徴とする移動体の自己位置推定方法。
JP2020513975A 2018-04-20 2019-01-28 自己位置推定方法 Active JP7034264B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018081742 2018-04-20
JP2018081742 2018-04-20
PCT/JP2019/002705 WO2019202806A1 (ja) 2018-04-20 2019-01-28 自己位置推定方法

Publications (2)

Publication Number Publication Date
JPWO2019202806A1 true JPWO2019202806A1 (ja) 2021-02-12
JP7034264B2 JP7034264B2 (ja) 2022-03-11

Family

ID=68240372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020513975A Active JP7034264B2 (ja) 2018-04-20 2019-01-28 自己位置推定方法

Country Status (4)

Country Link
US (1) US11874666B2 (ja)
JP (1) JP7034264B2 (ja)
CN (1) CN111989631A (ja)
WO (1) WO2019202806A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7162584B2 (ja) * 2019-12-19 2022-10-28 東芝情報システム株式会社 自律走行型自動搬送車両の制御装置及び搬送システム
JP7365958B2 (ja) * 2020-04-17 2023-10-20 Kddi株式会社 測位システム、方法及びプログラム
CN111735446B (zh) * 2020-07-09 2020-11-13 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
JP2022042630A (ja) * 2020-09-03 2022-03-15 本田技研工業株式会社 自己位置推定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322138A (ja) * 2006-05-30 2007-12-13 Toyota Motor Corp 移動装置及び移動装置の自己位置推定方法
WO2013002067A1 (ja) * 2011-06-29 2013-01-03 株式会社日立産機システム 移動ロボット、及び移動体に搭載される自己位置姿勢推定システム
JP2016024598A (ja) * 2014-07-18 2016-02-08 パナソニックＩｐマネジメント株式会社 自律移動装置の制御方法
US20160082597A1 (en) * 2013-05-22 2016-03-24 Neurala, Inc. Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
US20170364090A1 (en) * 2014-12-17 2017-12-21 Husqvarna Ab Multi-sensor, autonomous robotic vehicle with mapping capability
JP2018017826A (ja) * 2016-07-26 2018-02-01 株式会社豊田中央研究所 自律移動体と環境地図更新装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678640B2 (en) * 1998-06-10 2004-01-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for parameter estimation, parameter estimation control and learning control
CN1166922C (zh) * 2002-07-18 2004-09-15 上海交通大学 多传感器多目标信息融合方法
US7451059B2 (en) * 2003-03-02 2008-11-11 Tomer Malchi True azimuth and north finding method and system
KR100506097B1 (ko) * 2004-02-04 2005-08-03 삼성전자주식회사 자기장 지도 생성 방법 및 장치와 이를 활용한 이동체의포즈 확인 방법 및 장치
EP1850725B1 (en) * 2005-02-18 2010-05-19 iRobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
KR100834761B1 (ko) 2005-11-23 2008-06-05 삼성전자주식회사 이동 로봇의 자기 위치 인식 방법 및 장치
US7646336B2 (en) * 2006-03-24 2010-01-12 Containertrac, Inc. Automated asset positioning for location and inventory tracking using multiple positioning techniques
US8417383B2 (en) * 2006-05-31 2013-04-09 Irobot Corporation Detecting robot stasis
EP1970005B1 (en) * 2007-03-15 2012-10-03 Xsens Holding B.V. A system and a method for motion tracking using a calibration unit
US8195358B2 (en) * 2008-09-11 2012-06-05 Deere & Company Multi-vehicle high integrity perception
US8140286B2 (en) * 2009-08-14 2012-03-20 Continental Automotive Systems, Inc. Position sensing system and method
US10624612B2 (en) * 2014-06-05 2020-04-21 Chikayoshi Sumi Beamforming method, measurement and imaging instruments, and communication instruments
CA3067177A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
CN104897158B (zh) * 2015-06-26 2017-07-14 中国科学院上海高等研究院 一种步行者室内双层定位方法及系统
CN105045263B (zh) * 2015-07-06 2016-05-18 杭州南江机器人股份有限公司 一种基于Kinect深度相机的机器人自定位方法
CN105607106B (zh) * 2015-12-18 2018-08-21 重庆邮电大学 一种低成本高精度bd/mems融合姿态测量方法
US10901431B1 (en) * 2017-01-19 2021-01-26 AI Incorporated System and method for guiding heading of a mobile robotic device
JP6187623B1 (ja) * 2016-03-14 2017-08-30 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
IL288191B2 (en) * 2016-12-23 2023-10-01 Mobileye Vision Technologies Ltd A navigation system with forced commitment constraints
CN107167140B (zh) * 2017-05-26 2019-11-08 江苏大学 一种无人机视觉定位累积误差抑制方法
CN108230240B (zh) * 2017-12-31 2020-07-31 厦门大学 一种基于深度学习获取图像城市范围内位置及姿态的方法
US11501105B2 (en) * 2018-03-02 2022-11-15 Zoox, Inc. Automatic creation and updating of maps

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322138A (ja) * 2006-05-30 2007-12-13 Toyota Motor Corp 移動装置及び移動装置の自己位置推定方法
WO2013002067A1 (ja) * 2011-06-29 2013-01-03 株式会社日立産機システム 移動ロボット、及び移動体に搭載される自己位置姿勢推定システム
US20160082597A1 (en) * 2013-05-22 2016-03-24 Neurala, Inc. Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
JP2016024598A (ja) * 2014-07-18 2016-02-08 パナソニックＩｐマネジメント株式会社 自律移動装置の制御方法
US20170364090A1 (en) * 2014-12-17 2017-12-21 Husqvarna Ab Multi-sensor, autonomous robotic vehicle with mapping capability
JP2018017826A (ja) * 2016-07-26 2018-02-01 株式会社豊田中央研究所 自律移動体と環境地図更新装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田井克典，河野恭之: "Ｖｉｓｕａｌ ＳＬＡＭを用いた脚部装着カメラ端末の位置・姿勢推定による歩行運動認識システム", 情報処理学会インタラクション２０１７論文集, JPN6021034753, 2 March 2017 (2017-03-02), JP, pages 348 - 350, ISSN: 0004588194 *

Also Published As

Publication number Publication date
US11874666B2 (en) 2024-01-16
US20200401152A1 (en) 2020-12-24
JP7034264B2 (ja) 2022-03-11
CN111989631A (zh) 2020-11-24
WO2019202806A1 (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
JP7034264B2 (ja) 自己位置推定方法
CN106780608B (zh) 位姿信息估计方法、装置和可移动设备
US9386209B2 (en) Method and apparatus for estimating position
KR102440358B1 (ko) 관성 기반 항법 장치 및 상대사전적분에 따른 관성 기반 항법 방법
KR101831028B1 (ko) 실내 환경에서 이동 로봇의 리로케이션 방법 및 장치
US9377310B2 (en) Mapping and positioning system
CN111052183A (zh) 利用事件相机的视觉惯性里程计
Choi et al. Enhanced SLAM for a mobile robot using extended Kalman filter and neural networks
JP5276931B2 (ja) 移動体および移動体の位置推定誤り状態からの復帰方法
KR20180076815A (ko) Qr 마커와 레이저 스캐너를 이용하여 광범위 실내 공간에서 로봇의 위치를 인식하기 위한 방법 및 장치
Yap et al. A particle filter for monocular vision-aided odometry
Du et al. A novel human–manipulators interface using hybrid sensors with Kalman filter and particle filter
Hachemi et al. Fault diagnosis and reconfiguration for mobile robot localization based on multi-sensors data fusion
US11662742B2 (en) Self-position estimation method
Ishikura et al. Shape estimation of flexible cable
TWI812053B (zh) 定位方法、電子設備及電腦可讀儲存媒體
Kotov et al. Recurrent neural network and extended Kalman filter in SLAM problem
KR20150079098A (ko) 강인한 시각 주행거리 측정을 위한 시공간적 3차원 벡터 필터링 기법
JP2022045269A (ja) 移動体の姿勢推定方法
US20220066466A1 (en) Self-position estimation method
Moshayedi et al. Path and position monitoring tool for indoor robot application
Zou et al. A neural network-based camera calibration method for mobile robot localization problems
WO2023162017A1 (ja) 位置姿勢推定装置、位置姿勢推定システム、およびセンサ設置方法
Kim et al. A robotic pan and tilt 3-d target tracking system by data fusion of vision, encoder, accelerometer, and gyroscope measurements
HEMANTH Visual-Inertial Mapping, Localization and Planning for Autonomous Mobile Robots

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220301

R150 Certificate of patent or registration of utility model

Ref document number: 7034264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150