JP6288060B2 - 自律移動装置、自律移動方法及びプログラム - Google Patents

自律移動装置、自律移動方法及びプログラム Download PDF

Info

Publication number
JP6288060B2
JP6288060B2 JP2015241064A JP2015241064A JP6288060B2 JP 6288060 B2 JP6288060 B2 JP 6288060B2 JP 2015241064 A JP2015241064 A JP 2015241064A JP 2015241064 A JP2015241064 A JP 2015241064A JP 6288060 B2 JP6288060 B2 JP 6288060B2
Authority
JP
Japan
Prior art keywords
map
unit
information
storage unit
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015241064A
Other languages
English (en)
Other versions
JP2017107425A (ja
Inventor
中嶋 光康
光康 中嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015241064A priority Critical patent/JP6288060B2/ja
Priority to US15/276,320 priority patent/US10108199B2/en
Priority to CN201610907392.9A priority patent/CN106859504B/zh
Publication of JP2017107425A publication Critical patent/JP2017107425A/ja
Application granted granted Critical
Publication of JP6288060B2 publication Critical patent/JP6288060B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3837Data obtained from a single source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3859Differential updating map data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Toys (AREA)

Description

本発明は、自律移動装置、自律移動方法及びプログラムに関する。
用途に応じて自律的に移動する自律移動装置が普及してきている。例えば、屋内の掃除のために自律的に移動する自律移動装置が知られている。一般的に、このような自律移動装置は、実空間の地図の作成と、実空間内での自機位置の推定を行う必要がある。
実空間の地図を作成するための手法としては、例えばSLAM(Simultaneous Localization And Mapping)法が知られている。単眼カメラを用いたSLAM技術の基本的な原理は、非特許文献1に記載されており、カメラの撮影する動画像の複数フレームから、同一の特徴点を追跡することで、自機の3次元位置(カメラ位置)と特徴点の3次元位置(これが集まって地図の情報を構成する)とを交互に推定する処理を行っている。また、実空間内で環境地図を作成して自律移動を行う自律移動装置がある(例えば、特許文献1参照)。
Andrew J.Davison, "Real−Time Simultaneous Localization and Mapping with a Single Camera", Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403−1410 Richard Hartley, Andrew Zisserman, "Multiple View Geometry in Computer Vision", Second Edition, Cambridge. University Press, March 2004, chapter 9
特開2009−169845号公報
上記の方法では、累積誤差が発生してしまう。更には、一旦ノイズ等により推定精度が低下してしまうと、その後の累積誤差は実用上無視できない程に大きくなってしまう。しかしながら、誤差が存在していても、SLAM法により矛盾なく位置の推定ができている間は、自機位置や地図に誤差が含まれているかどうかの判断ができないという問題があった。また、特許文献1に記載の技術では誤差が含まれているかどうかをオペレータに判断させているが、自律移動装置が自ら判断することはできなかった。
そこで、本発明は、上記問題を解決するためになされたものであり、自機位置や地図に誤差が含まれているかどうかの判断を行うことができる自律移動装置等を提供することを目的とする。
上記目的を達成するため、本発明の自律移動装置は、
移動手段による移動量に基づいて自機位置を計測する位置計測部と、
撮像部が撮影した複数の画像の情報を用いて作成した地図を記憶する地図記憶部と、
前記撮像部が撮影した複数の画像の情報と前記地図記憶部に記憶されている地図の情報とに基づいて自機位置を推定する位置推定部と、
前記位置計測部が計測した自機位置と前記位置推定部が推定した自機位置との差が所定誤差内か否かを判定する判定部と、
前記判定部が前記所定誤差内でないと判定した場合、前記地図記憶部に記憶されている地図を編集する地図編集部と、
自機の向きの変化量を取得する向き変化量取得部と、
を備え、
前記判定部は、前記向き変化量取得部が取得した向きの変化量が基準向き変化量よりも小さいときに判定を行う、
とを特徴とする。
本発明によれば、自機位置や地図に誤差が含まれているかどうかの判断を行うことができる。
実施形態に係る自律移動装置の外観を示す図である。 実施形態に係る自律移動装置の構成を示す図である。 実施形態に係る自律移動制御処理全体のフローチャートを示す図である。 実施形態に係る自律移動制御処理の中の自機位置推定スレッドの処理のフローチャートを示す図である。 実施形態に係る自律移動制御処理の中の地図作成スレッドの処理のフローチャートを示す図である。 実施形態に係る自律移動制御処理の中のループクロージングスレッドの処理のフローチャートを示す図である。 実施形態に係る自律移動制御処理の中の誤差判定スレッドの処理のフローチャートを示す図である。
以下、図1を参照しながら、本発明の実施形態に係る自律移動装置について説明する。自律移動装置100は、用途に応じて自律的に移動する。この用途とは、例えば、警備監視用、屋内掃除用、ペット用、玩具用などである。
自律移動装置100は、外観上、撮像部41、駆動部42を備える。
撮像部41は、単眼の撮像装置(カメラ)を備える。撮像部41は、例えば、30fpsで画像(フレーム)を取得する。自律移動装置100は、撮像部41が逐次取得した画像に基づいて、自機位置と周囲環境とをリアルタイムに認識しながら、自律移動を行う。
駆動部42は、独立2輪駆動型であって、車輪とモータとを備える移動手段である。自律移動装置100は、2つの車輪の同一方向駆動により前後の平行移動(並進移動)を、2つの車輪の逆方向駆動によりその場での回転(向き変更)を、2つの車輪のそれぞれ速度を変えた駆動により旋回移動(並進+回転(向き変更)移動)を、行うことができる。また、各々の車輪にはロータリエンコーダが備えられており、ロータリエンコーダで車輪の回転数を計測し、車輪の直径や車輪間の距離等の幾何学的関係を利用することで並進移動量及び回転量を計算できる。例えば、車輪の直径をD、回転数をR(ロータリエンコーダにより測定)とすると、その車輪の接地部分での並進移動量はπ・D・Rとなる。また、車輪の直径をD、車輪間の距離をI、右車輪の回転数をR、左車輪の回転数をRとすると、向き変更の回転量は(右回転を正とすると)360°×D×(R−R)/(2×I)となる。この並進移動量や回転量を逐次足し合わせていくことで、駆動部42は、いわゆるオドメトリとして機能し、自機位置(移動開始時の位置及び向きを基準とした位置及び向き)を計測することができる。
オドメトリから得られる自機の位置及び向きの精度は、車輪の摩耗やスリップ等により、低い精度になってしまうことが多い。特に誤差が累積していく関係上、時間経過と共に精度が悪化する。ただし、オドメトリの回転成分(向きの情報)に関しては、後述する角速度センサ情報を用いることで精度を向上させることができる。また、地磁気を検出して方位を特定する方位センサ(図示せず)を用いることで、オドメトリからの取得値とは関係なく、地磁気を利用した絶対的な向きの情報を取得することもできる。
なお、車輪の代わりにクローラを備えるようにしても良いし、複数(例えば二本)の足を備えて足で歩行することによって移動を行うようにしても良い。これらの場合も、二つのクローラの動きや、足の動きに基づいて、車輪の場合と同様に自機の位置や向きの計測が可能である。
図2に示すように、自律移動装置100は、撮像部41、駆動部42に加えて、制御部10、記憶部20、センサ部30、入力部43、通信部44、電源45、を備える。
制御部10は、CPU(Central Processing Unit)等で構成され、記憶部20に記憶されたプログラムを実行することにより、後述する各部(位置計測部11、地図作成部12、位置推定部13、判定部14、地図編集部15)の機能を実現する。
記憶部20は、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成され、画像記憶部21や地図記憶部22を含む。ROMには制御部10のCPUが実行するプログラム(例えば、後述するSLAM法の演算や自律移動制御処理に係るプログラム)や、プログラムを実行する上で予め必要なデータが記憶されている。RAMには、プログラム実行中に作成されたり変更されたりするデータが記憶される。
画像記憶部21には、撮像部41が撮影した画像が記憶される。ただし、記憶容量の節約のために、撮影したすべての画像を記憶しなくてもよく、また画像自体ではなく、画像の特徴量を記憶するようにしても良い。重要な画像(後述するキーフレーム)については、画像の情報と共に、上述したオドメトリで計測した自機位置(自機の位置及び向き)の情報並びに後述するSLAM法で推定した自機位置(自機の位置及び向き)の情報が記憶される。
地図記憶部22には、後述するSLAM法や障害物センサ33からの情報に基づいて地図作成部12が作成した地図(特徴点や障害物の3次元位置の情報)が記憶される。
センサ部30として、加速度センサ31、角速度センサ32、障害物センサ33を備える。加速度センサ31は、XYZ方向(3軸)の加速度を測定するセンサである。角速度センサ32は角速度(単位時間あたりの角度移動量)を測定するセンサである。車輪の回転数に基づいて自機の向きを求めるよりも、角速度センサ32を用いて向きを求める方が精度が向上することが知られている。障害物センサ33は、走行中の障害物を検知するセンサであって、例えば、赤外線センサ、超音波センサである。なお、独立した障害物センサ33を搭載せずに、撮像部41を用いて障害物を検知するようにしても良い。また、他の物体に衝突したことを検知するバンパーセンサー(図示せず)を備えても良い。また、地磁気を検出して方位を特定する方位センサ(図示せず)を備えても良い。方位センサを用いることで、オドメトリからの取得値とは関係なく、地磁気を利用した絶対的な向きの情報を取得することができる。
入力部43として、自律移動装置100を操作するための操作ボタンを備える。操作ボタンは、例えば、電源ボタン、モード切替ボタン(掃除モード、ペットモード等を切り替える)、初期化ボタン(地図の作成をやり直しさせる)などを含む。入力部43として、音の入力を行うマイク(図示せず)と、自律移動装置100への操作指示の音声を認識する音声認識部を備えても良い。
通信部44は、外部装置と通信するためのモジュールであり、外部装置と無線通信する場合にはアンテナを含む無線モジュールである。例えば、通信部44は、Bluetooth(登録商標)に基づく近距離無線通信を行うための無線モジュールである。通信部44では、自律移動装置100と外部とのデータ受け渡し等を行う。
電源45は、自律移動装置100を動作させる電源であり、一般的には内蔵された充電池であるが、太陽電池であっても良いし、床面から無線で電力供給されるシステムであっても良い。電源45が充電池の場合は、充電ステーション(ホームベース)に自律移動装置100がドッキングすることで充電される。
次に、制御部10の機能について説明する。制御部10は、位置計測部11、地図作成部12、位置推定部13、判定部14、地図編集部15を含み、後述するSLAM法の演算や自律移動装置100の移動指示等を行う。また、制御部10は、マルチスレッド機能に対応しており、複数のスレッド(異なる処理の流れ)を並行して進めることができる。
位置計測部11は、駆動部42の車輪とモータの動きに基づき、自機位置を計測する。具体的には、地面に高低差がなく、車輪がスリップしないという前提のもとで、各車輪の直径(D)及び回転数(R:ロータリエンコーダにより測定)に基づき、その車輪の接地部分での移動距離はπ・D・Rとして求められるので、これらと車輪間の距離とから並進移動量及び並進方向並びに向きの変化量(回転角度)を求めることができる。これを逐次加算していくことで、オドメトリとして、自機の位置及び向きを計測できる。地面に高低差がある場合は高さ方向を考慮した並進移動量を求める必要があるが、これは、加速度センサ31により高度の変化量を把握することにより求められる。また車輪のスリップに関しては、駆動用の車輪以外に移動量計測用の車輪も搭載しておくことで誤差を小さくすることが可能である。
地図作成部12は、画像記憶部21に記憶されている画像の情報並びに該画像撮影時の自機の位置及び向きの情報に基づいてSLAM法を用いて推定された特徴点の3次元位置(Map点)や、障害物センサ33で障害物を検知したときの自機の位置及び向きの情報に基づいて得られた該障害物の3次元位置等を、地図の情報として地図記憶部22に記憶する。
位置推定部13は、後述するSLAM法に基づいて、ビジュアルオドメトリとして、自機の位置及び向きを推定する。
判定部14は、位置計測部11で計測した位置及び向きと、位置推定部13で推定した位置及び向きとの差が所定誤差内か否かを判定する。オドメトリ(位置計測部11)で正しい位置及び向きが計測でき、しかも、SLAM法(ビジュアルオドメトリ:位置推定部13)で正しい位置及び向きを推定できているなら、これらはほぼ一致するので、その場合は地図記憶部22に記憶されている地図の情報も正しいと推測できる。しかし、位置及び向きの計測や推定に誤差が含まれていると、誤差の累積が生じ、計測値と推定値とは一致しなくなる。そのような場合は、地図記憶部22に記憶されている地図の情報にも誤差が累積されてしまっていると推測できる。したがって、これら両者の差が所定誤差内か否かを判定することで、地図の情報が正しいかどうかを判定することができる。
地図編集部15は、判定部14によって地図記憶部22に記憶されている地図の情報が正しくないと判定された場合は、該地図を編集する。地図の編集の最も簡単な処理は、該地図を消去する処理である。
図3は、自律移動装置100のメインフローである。制御部10は、最初に初期化済フラグをクリアしてから自機位置推定スレッドを起動し(ステップS101)、次に地図作成スレッド(ステップS102)、ループクロージングスレッド(ステップS103)、誤差判定スレッド(ステップS104)の各スレッドを起動する。自機位置推定スレッドや地図作成スレッドが動作することで、SLAM法に基づいて、地図の情報及びビジュアルオドメトリ(地図と画像とを用いて推定した自機位置の情報)の生成が開始される。誤差判定スレッドが、本実施形態の特徴的な機能を実現しており、詳細については後述する。
その後、制御部10は、動作終了かどうかを判定し(ステップS105)、動作終了なら(ステップS105;Yes)動作を終了し、動作終了でなければ(ステップS105;No)地図作成部12が地図の情報の作成・更新を行う(ステップS106)。次に制御部10は自律移動するために駆動部42に所望の動作を指示し(ステップS107)、ステップS105に戻る。これにより、地図の情報に基づいて自律的に移動を行いつつ、適宜地図の情報を更新することができる。
典型的な例としては、自律移動装置100は最初、充電ステーションに置いてある状態で電源を投入すると、障害物センサ33を頼りとして、家の各部屋をくまなく移動し、障害物センサ33によって壁等の障害物位置を特定し、障害物位置を含む地図の情報を作成することができる。地図がある程度作成されると、地図の情報がまだないが移動可能と考えられる領域を知ることができ、その領域に自律的に移動する等して、より広範囲の地図の作成を促すこともできるようになる。そして、移動可能なほぼ全域の地図の情報が作成されれば、地図の情報を利用した効率的な移動動作が可能になる。例えば部屋のどの位置からでも最短経路で充電ステーションに戻ったり、効率的に部屋の掃除をしたりすることが可能になる。
自律移動装置100のメインフロー(図3)のステップS101で起動される自機位置推定スレッドについて、図4を用いて説明する。このスレッドは、位置推定部13が、最初に初期化処理を行い、その後自機位置推定(撮像部41で取得した画像を用いてビジュアルオドメトリにより自機位置を推定する)を続ける処理である。
位置推定部13は、まず、動作終了かを判定する(ステップS201)。動作終了なら(ステップS201;Yes)終了し、動作終了でないなら(ステップS201;No)、初期化済であるか判定する(ステップS202)。初期化済なら(ステップS202;Yes)ステップS221以降の自機位置推定処理を行い、初期化済でないなら(ステップ202;No)ステップS203に進んで初期化処理を行う。まず初期化処理について説明する。
初期化処理では位置推定部13はまずフレームカウンタNに−1をセットし(ステップS203)、撮像部41で画像を取得する(ステップS204)。画像は例えば30fpsで取得することができる(取得した画像はフレームとも呼ばれる)。次に、取得した画像内から2D特徴点を取得する(ステップS205)。2D特徴点とは画像中のエッジ部分など、画像内の特徴的な部分であり、SIFT(Scale−Invariant Future Transform)やSURF(Speed−Up Robust Features)等のアルゴリズムを用いて取得することができる。なお、2D特徴点を取得するのに他のアルゴリズムを使っても良い。
取得した2D特徴点の個数が少ないと、後述するTwo−view Structure from Motion法での計算ができないため、位置推定部13はステップS206において、2D特徴点の取得数と基準値(例えば10個)とを比較し、基準値未満だった場合(ステップS206;No)はステップS204に戻り、基準値以上の2D特徴点数が得られるまで、画像の取得と2D特徴点の取得とを繰り返す。なお、この時点ではまだ地図の情報は作成できていないが、例えば上述した典型的な例では、障害物センサ33を頼りとして、家の各部屋をくまなく移動し始めているため、この初期化処理で画像取得と2D特徴点取得を繰り返していれば、移動しながら画像取得を繰り返すことになるので、様々な画像が取得でき、いずれは2D特徴点数が多い画像を取得できることが期待できる。
2D特徴点の取得数が基準値以上だった場合は(ステップS206;Yes)、位置推定部13はフレームカウンタNをインクリメントする(ステップS207)。そして、フレームカウンタNが0かどうかを判定する(ステップS208)。フレームカウンタNが0なら(ステップS208;Yes)画像をまだ一つしか取得していないということになるので、2枚目の画像を取得するためにステップS204に戻る。なお図4のフローチャートでは記載していないが、1枚目の画像を取得した時の自機の位置と2枚目の画像を取得する時の自機の位置とがある程度離れていた方が、これ以降の処理で推定する姿勢の精度が向上する。そこで、ここでステップS208からステップS204に戻る際に、メインフロー(図3)のステップS107での駆動部42への動作指示によりオドメトリによる並進距離が所定の距離(例えば1m)以上となるまで待つ処理を追加しても良い。
フレームカウンタNが0でないなら(ステップS208;No)二つの画像を取得したということがわかるので、位置推定部13は、これら二つの画像間で2D特徴点の対応(実環境上の同一の点がそれぞれの画像中に存在し、その対応が取れるもの)を取得する(ステップS209)。ここで特徴点の対応数が5未満であれば、後述する二つの画像間の姿勢の推定ができないため、位置推定部13は特徴点の対応数が5未満かどうかを判定する(ステップS210)。5未満であれば(ステップS210;Yes)初期画像を取得し直すために、ステップS203に戻る。特徴点の対応数が5点以上であれば(ステップS210;No)、Two−view Structure from Motion法を用いることで、二つの画像間の姿勢(それぞれの画像を取得した位置の差分(並進ベクトルt)及び向きの差分(回転行列R))を推定することができる(ステップS211)。
この推定は具体的には、対応する特徴点から基礎行列Eを求め、基礎行列Eを並進ベクトルtと回転行列Rとに分解することによって得られるが、詳細は非特許文献2で説明されているため、ここでは割愛する。なお、ここで得られる並進ベクトルt(3次元空間内で移動することを想定すると、最初の画像を取得した位置を原点として、X,Y,Zの3要素を持つ)の各要素の値は実環境上での値とは異なる(Two−view Structure from Motion法では実環境上の値自体を得ることはできず、実環境と相似する空間上での値を得ることになる。)ため、これらをSLAM空間上での値とみなし、以下ではSLAM空間上での座標(SLAM座標)を用いて説明する。
二つの画像間の姿勢(並進ベクトルt及び回転行列R)が求まると、その値は、最初の画像を基準(最初の画像を取得した位置をSLAM座標の原点、並進ベクトルは0ベクトル、回転行列は単位行列Iとする。)にした場合の、二枚目の画像の姿勢(二つ目の画像を取得した時の自機の位置(並進ベクトルt)及び向き(回転行列R))となる。ここで、二つの画像それぞれの姿勢(該画像(フレーム)撮影時の自機の位置(並進ベクトルt)及び向き(回転行列R)で、フレーム姿勢とも言う。)が求まっている場合、その二つの画像間で対応が取れている2D特徴点(対応特徴点)のSLAM座標での3D位置を、以下の考え方に基づき、地図作成部12が求める(ステップS212)。
2D特徴点の画像中の座標(フレーム座標:既知)を(u,v)とし、その2D特徴点のSLAM座標での3D位置(未知)を(X,Y,Z)とすると、これらを同次座標で表したときのこれらの関係は、透視投影行列Pを用いて下記の式(1)で表される。ここで、「〜」記号は「非零の定数倍を除いて等しい」(つまり、等しいか又は定数(非零)倍になっている)ことを表し、「’」記号は「転置」を表す。
(u v 1)’〜P(X Y Z 1)’…(1)
上記の式(1)において、Pは3×4の行列で、カメラの内部パラメータを示す3×3の行列Aと、その画像の姿勢(フレーム姿勢)を示す外部パラメータR及びtから以下の式(2)で表される。ここで、(R|t)は、回転行列Rの右に並進列ベクトルtを並べた行列を表す。
P=A(R|t)…(2)
上記の式(2)において、R及びtは上述したようにそのフレーム姿勢として求められている。また、カメラの内部パラメータAは、焦点距離と撮像素子サイズにより決まるので、撮像部41を決めておけば定数となる。
二つの画像間で対応が取れている2D特徴点のうちの一つが、一つ目の画像のフレーム座標(u,v)と、二つ目の画像のフレーム座標(u,v)に写っているとすると、以下の式(3)及び式(4)ができる。ここで、Iは単位行列、0はゼロベクトル、(L|r)は、行列Lの右に列ベクトルrを並べた行列を表す。
(u 1)’〜A(I|0)(X Y Z 1)’…(3)
(u 1)’〜A(R|t)(X Y Z 1)’…(4)
上記の式(3)及び式(4)において、u,v,u,vそれぞれについての式ができるため、式は4つできるが、未知数はX,Y,Zの3つなので、X,Y,Zを求めることができ、これがその2D特徴点のSLAM座標における3D位置となる。なお、式の個数の方が未知数の個数よりも多いため、例えばu,v,uで求めたX,Y,Zとu,v,vで求めたX,Y,Zとが異なる場合がありうる。このような場合は、過剰条件の連立一次方程式となり、一般には解が存在しないが、地図作成部12は、最小二乗法を用いて、最も確からしいX,Y,Zを求める。
2D特徴点のSLAM座標における3D位置(X,Y,Z)が求まったら、それをMap点として、地図作成部12がMap点データベース(Map点DBとも言い、地図記憶部22に格納される)に登録する(ステップS213)。Map点データベースに登録する要素としては、少なくとも、「2D特徴点のSLAM座標における3D位置であるX,Y,Z」と、「その2D特徴点の特徴量」(例えばSIFT等で得た特徴量)が必要である。「タイムスタンプ」(後述するキーフレームカウンタNKF(現在のキーフレーム番号を表す変数)のMap点データベースへの登録時点での値等)をMap点データベースへの登録要素に追加しておくと、Map点データベースを編集(過去の状態に戻す等)する際に便利である。
そして、地図作成部12は、二つの画像間で対応が取れている2D特徴点(対応特徴点)の全てをMap点データベースに登録したかを判定し(ステップS214)、まだ全ての登録ができていなかったら(ステップS214;No)ステップS212に戻り、全て登録できたら(ステップS214;Yes)ステップS215に進む。
次に位置推定部13は、キーフレーム(後に続くスレッドでの処理対象となる画像を指す)のカウンタNKFを0に初期化し(ステップS215)、二つ目の画像をキーフレームとしてフレームデータベース(フレームDBとも言い、画像記憶部21に格納される)に登録する(ステップS216)。
フレームデータベースに登録する要素は、「キーフレーム番号」(登録時点でのキーフレームカウンタNKFの値)、「姿勢」(その画像撮影時の自機のSLAM座標内での位置(並進ベクトルt)及び向き(回転行列R))、「オドメトリで計測した実環境上での姿勢」(実環境での駆動部42による移動距離に基づいて求められる自機の位置及び向き)、「抽出した全ての2D特徴点」、「全ての2D特徴点の中でMap点として3D位置が既知の点」、「キーフレーム自体の特徴」、である。
上記中、「オドメトリで計測した実環境上での姿勢」は、並進ベクトルtと回転行列Rとで表すこともできるが、通常、本自律移動装置100は2次元平面上を動くので、2次元データに単純化して、移動開始時の位置(原点)及び向きを基準にした2次元座標(X,Y)及び向きφとして表しても良い。また、「キーフレーム自体の特徴」とは、キーフレーム間の画像類似度を求める処理を効率化するためのデータであり、通常は画像中の2D特徴点のヒストグラム等を用いるのが良いが、画像自体を「キーフレーム自体の特徴」としても良い。
次に、位置推定部13は、キーフレームが生成された事を地図作成スレッドに知らせるために、地図作成スレッドのキーフレームキュー(キュー(Queue)は、先入れ先出しのデータ構造になっている)に、キーフレームカウンタNKFをセットする(ステップS217)。
以上で自機位置推定スレッドの初期化処理が完了したので、位置推定部13は、初期化済フラグをセットする(ステップS218)。
そして、位置推定部13は、SLAM座標と実環境座標とのスケール対応を得るために、オドメトリによる並進距離(実環境での座標で求められる)を、上記の処理で推定したSLAM座標での並進距離dで除することによって、スケールSを求める(ステップS219)。
次に、位置推定部13は、後述する誤差判定スレッドで用いられるカウンタNIをクリアし(ステップS220)、ステップS201、ステップS202を経由して、初期化済の場合の処理であるステップS221へ進む。
初期化済の場合の処理を説明する。この処理が、自機位置推定スレッドの通常時の処理であり、逐次現在の自機の位置及び向き(SLAM座標内での並進ベクトルtと回転行列R)を推定する処理である。
位置推定部13は、撮像部41で画像を撮影し(ステップS221)、フレームカウンタNをインクリメントする(ステップS222)。そして、撮影した画像に含まれている2D特徴点を取得する(ステップS223)。次に、フレームデータベースに登録されている以前のキーフレーム(例えばキーフレーム番号がNKFである画像)の情報から、その画像の情報に含まれている2D特徴点のうち、3D位置が既知である(Map点データベースに登録されているMap点になっている)2D特徴点を取得し、今撮影した画像との間で対応が取れる2D特徴点(対応特徴点)を抽出する(ステップS224)。
そして、位置推定部13は、対応特徴点の個数が基準対応特徴点数(例えば10)未満かどうかを判定し(ステップS225)、基準対応特徴点数未満の場合(ステップS225;Yes)はSLAM法で推定する姿勢の精度が悪くなるので、位置の推定は行わずにステップS221での画像の取得に戻る。ここで、すぐにステップS221に戻るのではなく、ステップS224に戻って、フレームデータベースに登録されているキーフレームの中から対応特徴点の個数が基準対応特徴点数以上のものを検索するようにしても良い。この場合は、フレームデータベースに登録されているキーフレームの中に対応特徴点の個数が基準対応特徴点数以上のものが見つからなかった場合にステップS221に戻る。
位置推定部13は、基準対応特徴点数以上の対応特徴点が抽出できたら(ステップS225;No)、対応特徴点それぞれの3D位置(X,Y,Z)をMap点データベースから取得する(ステップS226)。今撮影した画像に含まれている対応特徴点のフレーム座標を(u,v)とし、その対応特徴点の3D位置を(X,Y,Z)とする(iは1から対応特徴点数までの値を取る)と、各対応特徴点の3D位置(X,Y,Z)を以下の式(5)によってフレーム座標系に投影した値(ux,vx)とフレーム座標(u,v)とは理想的には一致するはずである。
(ux vx 1)’〜A(R|t)(X1)’…(5)
実際には(X,Y,Z)にも(u,v)にも誤差が含まれているため、(ux,vx)と(u,v)とが一致することはめったにない。そして、未知数はRとt(3次元空間ではそれぞれ3次元となり、3+3=6が未知数の個数である)だけなのに、数式は対応特徴点の個数の2倍存在する(対応特徴点一つに対して、フレーム座標のu,vそれぞれに対する式が存在するため)ことになるため、過剰条件の連立一次方程式になり、上述したように最小二乗法で求めることになる。具体的には、位置推定部13は、以下の式(6)のコスト関数E1を最小化する姿勢(並進ベクトルt及び回転行列R)を求めることになる。これがSLAM法で求めたSLAM座標での自機の姿勢(並進ベクトルt及び回転行列Rで表される自機の位置及び向き)となる。このようにして、位置推定部13は自機の姿勢を推定する(ステップS227)。
Figure 0006288060
SLAM座標での現在の自機の姿勢(並進ベクトルt及び回転行列R)が求められたので、位置推定部13は、これにスケールSを乗算することで、VO(ビジュアルオドメトリ)を求める(ステップS228)。VOは実環境での自機の位置及び向きとして利用できる。
次に、位置推定部13は、フレームDBに登録されている直前のキーフレーム(キーフレーム番号がNKFである画像)を撮影した時の自機の位置から基準並進距離(例えば1m)以上移動しているかを判定し(ステップS229)、移動しているなら(ステップS229;Yes)キーフレームカウンタNKFをインクリメントしてから(ステップS230)、現フレームをキーフレームとしてフレームDBに登録する(ステップS231)。基準並進距離未満しか移動していないなら(ステップS229;No)ステップS201に戻る。
ここで、基準並進距離と比較する自機の移動距離は、直前のキーフレームから現フレームまでの並進距離(両フレームの並進ベクトルの差のベクトルの絶対値(要素の二乗和の平方根))をオドメトリから取得しても良いし、上述したVO(ビジュアルオドメトリ)から求めても良い。フレームDBに登録する内容は上述したように、「キーフレーム番号」、「姿勢」、「オドメトリで計測した実環境上での姿勢」、「抽出した全ての2D特徴点」、「全ての2D特徴点の中でMap点として3D位置が既知の点」、「キーフレーム自体の特徴」、である。
そして、位置推定部13は、新たなキーフレームが発生したことを地図作成スレッドに知らせるために、地図作成スレッドのキーフレームキューにキーフレームカウンタNKFをセットする(ステップS232)。そして、ステップS201に戻る。なお、キーフレームカウンタNKF、カウンタNI、スケールS、Map点DB、フレームDBはスレッドをまたいで値を参照することができるように記憶部20に記憶されている。
次に、自律移動装置100のメインフロー(図3)のステップS102で起動される地図作成スレッドについて、図5を用いて説明する。このスレッドは地図作成部12が、キーフレーム中の対応特徴点の3D位置を計算して、地図の情報(Map点DB)を作成している。
まず、地図作成部12は、動作終了かを判定する(ステップS301)。動作終了なら(ステップS301;Yes)終了し、動作終了でないなら(ステップS301;No)、キーフレームキューが空かどうかを判定する(ステップS302)。キーフレームキューが空だったら(ステップS302;Yes)ステップ301に戻り、空でなければ(ステップS302;No)、キーフレームキューからデータを取り出してMKF(地図作成スレッドで処理するキーフレームのキーフレーム番号を表す変数)にセットする(ステップS303)。地図作成部12は、MKFが0より大きいか判定し(ステップS304)、MKFが0である場合は(ステップS304;No)ステップS301に戻ってキーフレームキューにデータが入るのを待つ。MKFが1以上の場合は(ステップS304;Yes)、以下の処理に進む。
地図作成部12は、フレームDBを参照し、前キーフレーム(キーフレーム番号がMKF−1のキーフレーム)の2D特徴点と現キーフレーム(キーフレーム番号がMKFのキーフレーム)の2D特徴点とで対応が取れる2D特徴点(対応特徴点)を抽出する(ステップS305)。フレームDBにはそれぞれのキーフレームの姿勢(並進ベクトルtと回転行列R)も登録されているので、自機位置推定スレッドの初期化時の処理の時と同様の方法で対応特徴点の3D位置を計算できる。地図作成部12は、3D位置が計算できた対応特徴点をMap点としてMap点DBに登録する(ステップS306)。地図作成部12は、フレームDBに対しても今回3D位置を計算できた2D特徴点に対して3D位置を登録する(ステップS307)。
なお、地図作成部12が抽出した対応特徴点がすでにMap点DBに登録済だった場合は、3D位置計算をスキップして次の対応特徴点(Map点DBに未登録のもの)に対する処理に進んでも良いし、改めて3D位置計算を行って、Map点DBに登録済の3D位置や、フレームDB中の対応特徴点に対する3D位置を更新するようにしても良い。
次に、地図作成部12は、キーフレームキューが空かどうかを判定する(ステップS308)。空であれば(ステップS308;Yes)、全キーフレームの姿勢と全Map点の3D位置に対して、バンドルアジャストメント処理を行って、精度向上を図ってから(ステップS309)ステップS310に進む。キーフレームキューが空でなければ(ステップS308;No)ステップ310に進む。次に地図作成部12は、ループクロージングスレッドのキーフレームキューにMKFをセットして(ステップS310)、ステップS301に戻る。
なお、バンドルアジャストメント処理とは、カメラ姿勢(キーフレーム姿勢)とMap点の3D位置とを同時に推定する非線形最適化法であり、Map点をキーフレーム上に投影させたときに発生する誤差が最小になるような最適化を行うものである。
このバンドルアジャストメントの処理を行うことで、キーフレーム姿勢とMap点の3D位置の精度向上を図ることができる。しかし、この処理を行わなくても精度向上が図れないだけで特別問題が発生するわけではない。したがって、他の処理がない状態のとき(例えば、キーフレームキューが空の状態)であっても、この処理を毎回行う必要はない。
また、バンドルアジャストメントの処理を行うと、キーフレーム上に投影させたときの誤差が所定の値よりも大きいMap点が見つかることがある。このような誤差の大きなMap点については、SLAM推定に悪影響を及ぼすため、Map点DB及びフレームDBから削除したり、誤差の大きな注意を要するMap点であることを識別するためのフラグを立てておいたりしても良い。なお、バンドルアジャストメントの処理は本実施形態においてはオプション的な扱いになるため、ここでは処理の詳細については省略する。
次に自律移動装置100のメインフロー(図3)のステップS103で起動されるループクロージングスレッドについて、図6を用いて説明する。このスレッドでは制御部10は、ループクロージング処理ができるかどうかをチェックし続け、できる場合にはループクロージング処理を行っている。なお、ループクロージング処理とは、以前来たことのある同じ場所に戻ってきたことを認識した場合に、以前この同じ場所にいた時の姿勢の値と現在の姿勢の値とのずれを用いて、以前来た時から今までの軌跡中のキーフレームや、関連するMap点の3D位置を修正することを言う。
まず、制御部10は、動作終了かを判定する(ステップS401)。動作終了なら(ステップS401;Yes)終了する。動作終了でないなら(ステップS401;No)キーフレームキューが空かどうかを判定する(ステップS402)。キーフレームキューが空なら(ステップS402;Yes)ステップS401に戻り、キーフレームキューが空でないなら(ステップS402;No)、キーフレームキューからデータを取り出してLKF(ループクロージングスレッドで処理するキーフレームのキーフレーム番号を表す変数)にセットする(ステップS403)。次に制御部10は、LKFが1より大きいかを判定する(ステップS404)。LKFが0又は1である場合(ステップS404;No)はステップS401に戻ってキーフレームキューにデータが入るのを待つ。そして、LKFが2以上の場合(ステップS404;Yes)は、以下の処理を行う。
制御部10は、フレームDBを参照し、現キーフレーム(キーフレーム番号がLKFのキーフレーム)と「キーフレーム自体の特徴」の類似度が基準画像類似度以上になるキーフレームをフレームDBから検索する(ステップS405)。ここで、この類似度は、画像(キーフレーム)の特徴を特徴ベクトルで表している場合は、二つの画像の特徴ベクトルの内積の絶対値を1に正規化したものを、その二つの画像の類似度とすることができる。また、二つの画像の特徴ベクトルの距離(各要素の差の二乗和の平方根)の逆数を類似度としても良い。
制御部10は、「キーフレーム自体の特徴」の類似度が基準画像類似度以上になるキーフレームが発見されたかどうかを判定し(ステップS406)、発見されなければ(ステップS406;No)ステップS408へ行き、発見されたら(ステップS406;Yes)、発見されたキーフレームから現キーフレームまでの軌跡中のキーフレームの姿勢と、軌跡中のキーフレームに含まれるMap点の3D位置を修正する(ステップS407)。例えば、制御部10は、現キーフレームの姿勢を発見されたキーフレームの姿勢と同じ姿勢として修正する。そして、発見されたキーフレームの姿勢と現キーフレームの姿勢との差分を用いて、発見されたキーフレームから現キーフレームまでの軌跡中の各キーフレームの姿勢に線形的に補正を加える。さらにこれらの各キーフレームに含まれるMap点の3D位置についても各キーフレームの姿勢の補正量に応じて修正する。
次に制御部10は、誤差判定スレッドのキーフレームキューにLKFをセットしてステップS401に戻る(ステップS408)。
次に自律移動装置100のメインフロー(図3)のステップS104で起動される誤差判定スレッドについて図7を用いて説明する。このスレッドは、位置推定部13がSLAMで推定した位置(ビジュアルオドメトリでの位置)と、位置測定部11がオドメトリで求めた位置との差を判定部14が判定し、この差が所定誤差内でなければ、作成した地図の情報に含まれている誤差が大きいということになるので、地図編集部15が地図を消去する処理を行っている。
このスレッドでは制御部10がまず動作終了かどうかを判定し(ステップS501)、動作終了なら(ステップ501;Yes)終了し、動作終了でないなら(ステップ501;No)、誤差判定スレッドのキーフレームキューが空かを判定する(ステップS502)。キーフレームキューが空なら(ステップS502;Yes)ステップS501に戻って、キーフレームキューにデータが入るのを待つ。
キーフレームキューが空でなければ(ステップS502;No)、制御部10はキーフレームキューからデータを取り出してIKF(誤差判定スレッドで処理するキーフレームのキーフレーム番号を表す変数)にセットする(ステップS503)。次にIKFが0より大きいかを判定し(ステップS504)、IKFが0である場合は(ステップ504;No)、ステップS501に戻ってキーフレームキューにデータが入るのを待つ。IKFが1以上の場合は(ステップS504;Yes)、以下の処理を行う。
制御部10は、フレームDBを参照し、前キーフレーム(キーフレーム番号がIKF−1のキーフレーム)のオドメトリから取得した回転角φと、現キーフレーム(キーフレーム番号がIKFのキーフレーム)のオドメトリから取得した回転角φの差分の絶対値φ(=|φ−φ|、自機の向きの変化量)と、基準回転角φ(例えば5°)とを比較する(ステップS505)。
制御部10は、φがφ以上であれば(ステップS505;No)、カウンタNIをクリアして(ステップS506)、ステップS501に戻り、次のキーフレームを待つ。そして、φがφ未満であるなら(ステップ505;Yes)、カウンタNIをインクリメントし(ステップS507)、カウンタNIが基準蓄積数C(例えば10)未満かを判定する(ステップ508)。カウンタNIが基準蓄積数C未満であれば(ステップ508;Yes)、ステップS501に戻って引き続き次のキーフレームを待つ。
カウンタNIが基準蓄積数C以上であれば(ステップ508;No)、判定部14は、C回前のキーフレーム(キーフレーム番号がIKF−Cのキーフレーム)から現キーフレーム(キーフレーム番号がIKFのキーフレーム)までの姿勢変化に基づきSLAM座標での並進距離を求め、T1とする(ステップS509)。また、判定部14は、C回前のキーフレームから現キーフレームまでのオドメトリによる並進距離を求め、T2とする(ステップS510)。T1やT2の求め方をより詳しく説明すると以下のようになる。
フレームDBに各キーフレームの「姿勢」(その画像撮影時の自機のSLAM座標内での位置(並進ベクトルt)及び向き(回転行列R))、「オドメトリから取得した実環境上での姿勢」(実環境の距離で求められる位置及び向き)」が格納されているので、簡単には、C回前のキーフレームの並進ベクトルtと現キーフレームの並進ベクトルtとの差の大きさ(|t−t|)をT1(SLAM座標の並進ベクトルtを用いて計算)やT2(オドメトリから取得した値を用いて計算)とすれば良い。或いは、C回前のキーフレームから現キーフレームまでのC+1個のキーフレームについて、隣り合うキーフレームの並進ベクトルの差の大きさをC個加算したもの(Σ|t−ti+1|)をT1やT2としてもよい。
そして、判定部14は、カウンタNIをクリアする(ステップS511)。また、T1はSLAM座標での値なので、実環境の距離に変換するためにスケールSを乗じたものをT3とする(ステップS512)。そして、判定部14は、T2とT3の違いが所定誤差範囲内(フローチャートの例では1.5倍以内)に入っているかを判定する(ステップS513及びステップS514)。所定誤差範囲内(T2が、T3×1.5未満(ステップS513;Yes)かつT3÷1.5より大きい(ステップS514;Yes)場合)であれば、地図の情報(Map点DBの情報や、フレームDBの情報)はそれほど不正確ではないので、ステップS501に戻って引き続き次のキーフレームを待つ。
T2とT3の違いが所定誤差範囲を超える場合(T2が、T3×1.5以上(ステップS513;No)又はT3÷1.5以下(ステップS514;No)の場合)は、作成した地図の情報(Map点DBの情報や、フレームDBの情報)は不正確であるので、地図編集部15は初期化済フラグ、Map点DB、フレームDB、各スレッドのキーフレームキューを全てクリアする(ステップS515)。そして制御部10は、ステップS501に戻って最初からやり直す。初期化済フラグやキーフレームキューがクリアされるので、全てのスレッドが最初からやり直されることになる。このようにすることにより、作成した地図に誤差が含まれた状態で自律移動装置100が動き続けてしまうことを防ぐことができる。
なお、T2とT3の違いが所定範囲を超える場合は、その時点の地図の情報が不正確であることがわかるが、それ以前の誤差判定スレッドの処理で、T2とT3の違いが所定範囲内であった時点では、地図の情報はそれほど不正確ではなかった可能性もある。そこで、ステップS514がYesだった場合は、ステップS501に戻る前に、地図編集部15がその時点の地図の情報(Map点DB)を「確からしい地図」として保存するようにし、ステップS515では地図編集部15は初期化済フラグ、フレームDB、各スレッドのキーフレームキューをクリアすることなく、Map点DBを保存してある以前のMap点DBの状態に戻すようにしても良い。このようにすることによって、過去に作成した地図の情報を有効活用できる。
Map点DBを以前の状態に戻す方法としては、Map点DB全体の情報を「確からしい地図」として保存しておく方法以外に、Map点DBの各要素にタイムスタンプ(時刻情報を使っても良いが、キーフレームカウンタNKFの値を使うのが合理的である)の情報も一緒に格納しておく方法もある。この方法では、ステップS514がYesだった場合は、ステップS501に戻る前に、地図編集部15はその時点のタイムスタンプ(時刻又はNKF)をTSにセットしておき(このTS自体もスタック状にして、次々に過去に戻れるようにしておいても良い)、ステップS515では地図編集部15は、Map点DB内の情報のうち、タイムスタンプがTSより後になっているものを消去し、TS以前の情報はそのまま残す処理を行う。このような処理を行えば、過去の確からしいMap点の情報は保存したまま、最近の(誤差が大きいと考えられる)Map点の情報のみを消去できる。
この考え方はフレームDBにも適用でき、地図編集部15は、ステップS515で、フレームDB内の情報のうち、キーフレーム番号がTSよりも大きいものを消去し、TS以前の情報はそのまま残すようにしても良い。このようにすることで、過去の確からしいキーフレームの情報は保存したまま、最近の(誤差が大きいと考えられる)キーフレームの情報のみを消去できる。
なお、上記実施形態では、ステップS505での比較対象となる回転角φはオドメトリから取得した回転角を用いて算出していたが、ビジュアルオドメトリから取得した回転角(フレームDBに格納されている各キーフレームの「姿勢(SLAM座標内での並進ベクトルtと回転行列Rとで表される位置及び向き)」のRから得られる回転角)を用いて算出しても良い。具体的には、前キーフレームの姿勢の回転行列をR1、現フレームの姿勢の回転行列をR2とすると、R3=R2×R1−1を計算することで、前キーフレームから現キーフレームの間の回転を表す回転行列R3が得られる(R1−1はR1の逆行列を表す(回転行列には必ず逆行列が存在する))ので、ここで得られた回転行列R3の各要素に基づいて、各軸の回転角を求めることができる。回転行列が3×3の場合は、回転行列から各軸の回転角は一意に求まらない場合があるが、実際には自律移動装置100が移動するのは地面等の平面上であることが多いため、2×2の回転行列に近似することで、回転角を一意に定めることができる。このようにビジュアルオドメトリを用いることによって、駆動部42の経年劣化やスリップ等の影響を受けずに回転角φを取得することができる。
駆動部42の経年劣化やスリップ等の影響を考慮し、制御部10は、経年劣化が少なくかつスリップ等の影響がない路面を移動している場合にはオドメトリから取得した回転角を用い、そうでない場合はビジュアルオドメトリから取得した回転角を用いるようにしても良い。
さらに、自律移動装置100が方位センサも備えている場合には、フレームDBに各キーフレーム取得時の方位センサの値も格納するようにしておき、ステップS505では、制御部10は、方位センサで得た方位に基づく回転角φが基準回転角φ未満かを判定するようにしても良い。
また、図7のフローチャートでは、回転角φを、前キーフレームからの回転角としたが、カウンタNI=0の時点でのキーフレームからの回転角が基準回転角φ未満であるかどうかをステップS505で判定するようにしても良い。これにより、少しずつ同じ方向に回転していくように移動した場合を誤差判定スレッドでの判定対象から外すことができる。
また、図7のフローチャートでは、カウンタNIの閾値である基準蓄積数Cを10、T2とT3の違いを判定する際の所定誤差範囲を1.5倍としているが、Cの値は10でなくても良いし、所定誤差範囲は1.5倍でなくても良い。例えば、Cを5として所定誤差範囲を1.3倍としたり、Cを20として所定誤差範囲を2倍としたりしても良い。所定誤差範囲を1より大きな値の範囲で1に近づければ近づけるほど、判定条件が厳しくなり、地図の情報(Map点DB等の情報)に少しの誤差が含まれただけでも地図編集部15は地図の情報をクリアするようになる。
また、図7のステップS507〜ステップS508等において、カウンタNIの値を用いるのではなく、オドメトリから取得した並進距離を閾値として判定しても良い。例えば「オドメトリの並進距離が基準並進距離以上になるまで」としても良い。これは、自機位置推定スレッドのステップS220並びに誤差判定スレッドのステップS506及びステップS511において「NI=0」とする代わりに「オドメトリから取得した並進tをtI1にセット」とし、ステップS507では「オドメトリから取得した並進tをtI2にセット」とし、ステップS508では|tI1−tI2|(位置の変化量)が基準並進距離未満かの判定をするようにすれば良い。
またさらに、カウンタNIを使わないそれ以外の方法として、キーフレーム間にて、オドメトリから取得した回転角がずっと0の状態で(つまり全く回転せずに直進して)並進距離Dを検出したときに、オドメトリ並進距離T2をDとして判定しても良い。これは、自機位置推定スレッドのステップS220並びに誤差判定スレッドのステップS506及びステップS511において「NI=0」とする代わりに「オドメトリから取得した回転RをRIにセットし、オドメトリから取得した並進tをtI1にセット」とし、ステップS505では「オドメトリから取得した回転RをRIと比較し、RIと同じままなら(回転していないので)ステップS507へ進み、RIと異なる値になっていたら(回転したことになるので)ステップS506に進む」とし、ステップS507では「オドメトリから取得した並進tをtI2にセット」とし、ステップS508では「|tI1−tI2|<D」での判定をするようにすれば良い。このときはステップS510は「T2にDをセット」となる。
さらに、搭載されている加速度センサ31により、自律移動装置100の自律移動とは明らかに異なる加速度が検出された場合は、例えば人が移動体を持ち上げて移動させた等が考えられるため、この場合は制御部10がカウンタNIを0にクリアする。具体的には図7のステップS505の直前(又は直後)に、「加速度センサ31の値とオドメトリから算出される加速度とを比較して、所定範囲を超える差が発生したらステップS506へ進む」処理を加えれば良い。このようにすることによって、誤差判定スレッドでの判定動作がリセットされるため、不用意に地図の情報(Map点DB等)がクリアされてしまうことを防ぐことができる。なお、加速度は3次元のベクトル値として得られるので、加速度の差も3次元のベクトル値となるが、上記の所定範囲を超える差が発生したかどうかの判定においては、差のベクトルの絶対値(要素の二乗和の平方根)が所定値を超えるかどうかで判定すれば良い。
また、車輪が大きくスリップした場合、極端な場合には空転した場合等には、車輪を駆動するモータの負荷が急に軽くなるため、モータに流れる電流が変化する。したがって、オドメトリの測定結果とモータ電流の関係を確認することで、大きなスリップや空転が発生したことを検出できる。大きなスリップや空転を検出したら、制御部10がカウンタNIを0にクリアすることで、誤差判定スレッドでの判定動作がリセットされ、判定対象から除くことができる。これも具体的には図7のステップS505の直前(又は直後。前述した加速度センサの判定とこのスリップ判定のどちらを先にやっても良い)に、「モータ電流の実際の値とオドメトリから推定されるモータ電流とを比較して、所定範囲を超える差が発生したらステップS506へ進む」処理を加えれば良い。このようにすることによって、大きなスリップや空転等が発生していない状況のみを利用して判定することができ、不用意に地図の情報(Map点DB等)がクリアされてしまうことを防ぐことができる。
また、駆動部42は経年劣化して、オドメトリの精度が保てなくなるため、制御部10は累積移動距離の増大に応じて、回転角φの閾値φを大きくしても良い。これにより、オドメトリの精度が落ちる回転動作を伴う並進移動の際も判定を行うことになり、オドメトリの精度が悪い時の地図の情報(Map点DB等)をクリアすることができる。
さらに、利用環境によって閾値φを変えても良い。例えば、制御部10が反射センサ(図示せず)を用いて走行面を測定し、鏡面反射があればスリップしやすい走行面だと想定して閾値φを大きくし、拡散反射があればスリップしにくい走行面だと想定して閾値φを小さくしても良い。これにより、走行面の状態に応じて、スリップしやすい走行面なら回転動作が比較的多い場合も判定を行わせ、スリップしにくい走行面なら回転動作がほとんどない場合にのみ判定を行わせるということが可能になる。
また、定期的に制御部10が自律移動装置100を直進移動させ、オドメトリとビジュアルオドメトリの差の判定を判定部14に強制的に行わせても良い。これにより、地図の情報(Map点DB等)に誤差を含んだまま自律移動をし続けるのを防ぐことができる。
上記実施形態では、撮像部41が単眼である単眼SLAMの例を示したが、複数の撮像部を用いた複眼SLAMでも同様の構成を採ることができる。例えば自律移動装置100が二台の撮像部41を備えている場合は、移動しなくても同じ位置から二つの画像を取得できるため、自機位置推定スレッドの初期化処理においてはステップS204の一回の動作で二つの画像が取得できる。それら二つの画像それぞれに基準値以上の特徴点が含まれていれば(ステップS206で判定する)、ステップS207では「N=N+2」を行い、ステップS208は常に「No」に進むことになる。そして、二つの画像の一方を前フレーム、もう一方を現フレームとして処理を行う場合は、ステップS219でスケールSを計算する際の「オドメトリ並進距離」は、二つの撮像部間の距離を用いれば良い。これによりオドメトリからの取得する位置の精度が低い場合でも安定して初期化を行うことができる。
ただし、この場合の二つの撮像部間の距離は、通常用いられる基準並進距離(例えば1m)よりも短い距離になってしまうことが多く、オドメトリから得られる並進距離の精度が高い場合は、むしろ単眼SLAMと同様の初期化処理(例えば複数ある撮像部のうちの第一撮像部のみを使った初期化処理)を行った方が高い精度が得られることもある。そこで、単眼SLAMと同様の初期化処理と、前段落で記載した二つの撮像部による初期化処理とを両方とも行って、それぞれで地図の情報(Map点DBやフレームDB)を作成し始め、途中で誤差判定スレッドと同様の処理を行ってそれぞれの誤差を判定し、その後は誤差の小さい方の地図の情報を採用するようにしても良い。
なお、上述の各実施形態では、基準並進距離は「例えば1m」としたが、自律移動装置自体の大きさや速度、自律移動する環境や移動範囲等に応じて、最適な基準並進距離は変わるので、基準並進距離の設定方法について補足しておく。
基準並進距離の設定方法として、キーフレーム上の全てのMap点(3D位置が既知の2D特徴点)の3D位置から自機位置までの距離を平均した値(=キーフレームで観察される全てのMap点までの奥行きの平均距離)と並進距離との比で設定しても良い(例えば、Map点までの奥行きの平均距離の5%の距離を基準並進距離とする等)。また、実環境上での並進距離の大きさに応じて、例えばテーブルの上を動くなら10cm、部屋を動き回るなら1m、屋外の広場等を動き回るなら10m等を基準並進距離に設定しても良いし、駆動部42の車輪の直径に応じた値(例えば車輪の直径の10倍)を基準並進距離に設定しても良い。
基準並進距離として実環境上の距離で設定する場合は、SLAM座標での並進距離にはスケールSを乗算して実環境上の距離に変換してから比較を行う(この逆も同様であり、基準並進距離としてSLAM座標での距離を設定する場合は、実環境上の距離はスケールSで除算してSLAM座標での距離に変換してから比較を行う)。
この発明の自律移動装置100の各機能は、通常のPC(Personal Computer)等のコンピュータによっても実施することができる。具体的には、上記実施形態では、自律移動装置100が行う自律移動制御処理のプログラムが、記憶部20のROMに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)及びMO(Magneto−Optical Disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
移動手段による移動量に基づいて自機位置を計測する位置計測部と、
撮像部が撮影した複数の画像の情報を用いて作成した地図を記憶する地図記憶部と、
前記撮像部が撮影した複数の画像の情報と前記地図記憶部に記憶されている地図の情報とに基づいて自機位置を推定する位置推定部と、
前記位置計測部が計測した自機位置と前記位置推定部が推定した自機位置との差が所定誤差内か否かを判定する判定部と、
前記判定部が前記所定誤差内でないと判定した場合、前記地図記憶部に記憶されている地図を編集する地図編集部と、
を備える自律移動装置。
(付記2)
前記自律移動装置は、さらに、自機の向きの変化量を取得する向き変化量取得部を備え、
前記判定部は、前記向き変化量取得部が取得した向きの変化量が基準向き変化量よりも小さいときに判定を行う、
付記1に記載の自律移動装置。
(付記3)
前記自律移動装置は、さらに、自機の位置の変化量を取得する位置変化量取得部を備え、
前記判定部は、前記位置変化量取得部が取得した位置の変化量が基準位置変化量よりも大きくかつ前記向き変化量取得部が取得した向きの変化量が基準向き変化量よりも小さい時に判定を行う、
付記2に記載の自律移動装置。
(付記4)
前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合、前記地図記憶部に記憶されている地図を消去する、
付記1から3のいずれか一つに記載の自律移動装置。
(付記5)
前記自律移動装置は、さらに、前記判定部が前記所定誤差内であると判定した場合に前記地図記憶部に記憶されている地図を保存する地図保存部を備え、
前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合、前記地図保存部に保存されている地図を前記地図記憶部に記憶させる、
付記1から3のいずれか一つに記載の自律移動装置。
(付記6)
前記自律移動装置は、さらに、前記判定部が前記所定誤差内であると判定した時刻の情報を記憶する時刻記憶部を備え、
前記地図記憶部は、地図を作成した時刻の情報と共に地図の情報を記憶し、
前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合、前記地図記憶部に記憶されている地図の情報のうち、前記時刻記憶部に記憶されている時刻よりも後に作成された地図の情報を消去する、
付記1から3のいずれか一つに記載の自律移動装置。
(付記7)
前記自律移動装置は、さらに、撮影した画像の情報を、撮影した時刻の情報と共に記憶する画像記憶部を備え、
前記地図記憶部には、前記画像記憶部に記憶されている複数の画像の情報を用いて作成した地図が記憶され、
前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合、前記画像記憶部に記憶されている情報のうち、前記時刻記憶部に記憶されている時刻よりも後に撮影された情報を消去する、
付記6に記載の自律移動装置。
(付記8)
前記撮像部は、単眼の撮像部であり、
前記位置推定部は前記撮像部が撮影した複数の画像の情報に基づいて自機位置を推定する、
付記1から7のいずれか一つに記載の自律移動装置。
(付記9)
前記自律移動装置は、さらに、加速度センサによって加速度を取得する加速度取得部と、
移動手段による移動量に基づいて自機の加速度を算出する加速度算出部と、
を備え、
前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合であっても、前記加速度取得部が取得した加速度と前記加速度算出部が算出した加速度との差が所定の値を超える場合は、前記地図記憶部に記憶されている地図を編集しない、
付記1から8のいずれか一つに記載の自律移動装置。
(付記10)
前記自律移動装置は、さらに、移動手段に備えられたモータに流れる電流の値を取得する電流取得部と、
前記移動手段による移動量に基づいてモータに流れる電流の値を推定する電流推定部と、
を備え、
前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合であっても、前記電流取得部が取得した電流の値と前記電流推定部が推定した電流の値との差が所定の値を超える場合は、前記地図記憶部に記憶されている地図を編集しない、
付記1から9のいずれか一つに記載の自律移動装置。
(付記11)
移動手段による移動量に基づいて自機位置を計測する位置計測ステップと、
撮像部が撮影した複数の画像の情報を用いて地図を作成する地図作成ステップと、
前記撮像部が撮影した複数の画像の情報と前記作成した地図の情報とに基づいて自機位置を推定する位置推定ステップと、
前記位置計測ステップで計測された自機位置と前記位置推定ステップで推定された自機位置との差が所定誤差内か否かを判定する判定ステップと、
前記判定ステップで前記所定誤差内でないと判定された場合、前記作成した地図を編集する地図編集ステップと、
を備える自律移動方法。
(付記12)
撮像部が撮影した複数の画像の情報を用いて地図を作成し、
前記撮像部が撮影した複数の画像の情報と前記作成した地図の情報とに基づいて自機位置を推定する自律移動方法であって、
移動手段による移動量に基づいて計測された自機位置と前記推定された自機位置との差が所定誤差内でないと判定された場合、前記作成した地図を編集する自律移動方法。
(付記13)
コンピュータに、
移動手段による移動量に基づいて自機位置を計測する位置計測ステップ、
撮像部が撮影した複数の画像の情報を用いて地図を作成する地図作成ステップ、
前記撮像部が撮影した複数の画像の情報と前記作成した地図の情報とに基づいて自機位置を推定する位置推定ステップ、
前記位置計測ステップで計測された自機位置と前記位置推定ステップで推定された自機位置との差が所定誤差内か否かを判定する判定ステップ、
前記判定ステップで前記所定誤差内でないと判定された場合、前記作成した地図を編集する地図編集ステップ、
を実行させるためのプログラム。
100…自律移動装置、10…制御部、11…位置計測部、12…地図作成部、13…位置推定部、14…判定部、15…地図編集部、20…記憶部、21…画像記憶部、22…地図記憶部、30…センサ部、31…加速度センサ、32…角速度センサ、33…障害物センサ、41…撮像部、42…駆動部、43…入力部、44…通信部、45…電源

Claims (13)

  1. 移動手段による移動量に基づいて自機位置を計測する位置計測部と、
    撮像部が撮影した複数の画像の情報を用いて作成した地図を記憶する地図記憶部と、
    前記撮像部が撮影した複数の画像の情報と前記地図記憶部に記憶されている地図の情報とに基づいて自機位置を推定する位置推定部と、
    前記位置計測部が計測した自機位置と前記位置推定部が推定した自機位置との差が所定誤差内か否かを判定する判定部と、
    前記判定部が前記所定誤差内でないと判定した場合、前記地図記憶部に記憶されている地図を編集する地図編集部と、
    自機の向きの変化量を取得する向き変化量取得部と、
    を備え、
    前記判定部は、前記向き変化量取得部が取得した向きの変化量が基準向き変化量よりも小さいときに判定を行う、
    律移動装置。
  2. 移動手段による移動量に基づいて自機位置を計測する位置計測部と、
    撮像部が撮影した複数の画像の情報を用いて作成した地図を記憶する地図記憶部と、
    前記撮像部が撮影した複数の画像の情報と前記地図記憶部に記憶されている地図の情報とに基づいて自機位置を推定する位置推定部と、
    前記位置計測部が計測した自機位置と前記位置推定部が推定した自機位置との差が所定誤差内か否かを判定する判定部と、
    前記判定部が前記所定誤差内でないと判定した場合、前記地図記憶部に記憶されている地図を編集する地図編集部と、
    加速度センサによって加速度を取得する加速度取得部と、
    前記移動手段による移動量に基づいて自機の加速度を算出する加速度算出部と、
    を備え、
    前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合であっても、前記加速度取得部が取得した加速度と前記加速度算出部が算出した加速度との差が所定の値を超える場合は、前記地図記憶部に記憶されている地図を編集しない、
    律移動装置。
  3. 移動手段による移動量に基づいて自機位置を計測する位置計測部と、
    撮像部が撮影した複数の画像の情報を用いて作成した地図を記憶する地図記憶部と、
    前記撮像部が撮影した複数の画像の情報と前記地図記憶部に記憶されている地図の情報とに基づいて自機位置を推定する位置推定部と、
    前記位置計測部が計測した自機位置と前記位置推定部が推定した自機位置との差が所定誤差内か否かを判定する判定部と、
    前記判定部が前記所定誤差内でないと判定した場合、前記地図記憶部に記憶されている地図を編集する地図編集部と、
    前記移動手段に備えられたモータに流れる電流の値を取得する電流取得部と、
    前記移動手段による移動量に基づいてモータに流れる電流の値を推定する電流推定部と、
    を備え、
    前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合であっても、前記電流取得部が取得した電流の値と前記電流推定部が推定した電流の値との差が所定の値を超える場合は、前記地図記憶部に記憶されている地図を編集しない、
    律移動装置。
  4. 前記自律移動装置は、さらに、自機の位置の変化量を取得する位置変化量取得部を備え、
    前記判定部は、前記位置変化量取得部が取得した位置の変化量が基準位置変化量よりも大きくかつ前記向き変化量取得部が取得した向きの変化量が基準向き変化量よりも小さい時に判定を行う、
    請求項1から3のいずれか一項に記載の自律移動装置。
  5. 前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合、前記地図記憶部に記憶されている地図を、前記地図の編集として消去する処理を行う
    請求項1からのいずれか一項に記載の自律移動装置。
  6. 前記自律移動装置は、さらに、前記判定部が前記所定誤差内であると判定した場合に前記地図記憶部に記憶されている地図を保存する地図保存部を備え、
    前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合、前記地図保存部に保存されている地図を前記地図記憶部に記憶させる、
    請求項1からのいずれか一項に記載の自律移動装置。
  7. 前記自律移動装置は、さらに、前記判定部が前記所定誤差内であると判定した時刻の情報を記憶する時刻記憶部を備え、
    前記地図記憶部は、地図を作成した時刻の情報と共に地図の情報を記憶し、
    前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合、前記地図記憶部に記憶されている地図の情報のうち、前記時刻記憶部に記憶されている時刻よりも後に作成された地図の情報を、前記地図の編集として消去する処理を行う
    請求項1からのいずれか一項に記載の自律移動装置。
  8. 前記自律移動装置は、さらに、撮影した画像の情報を、撮影した時刻の情報と共に記憶する画像記憶部を備え、
    前記地図記憶部には、前記画像記憶部に記憶されている複数の画像の情報を用いて作成した地図が記憶され、
    前記地図編集部は、前記判定部が前記所定誤差内でないと判定した場合、前記画像記憶部に記憶されている情報のうち、前記時刻記憶部に記憶されている時刻よりも後に撮影された情報を、前記地図の編集として消去する処理を行う、
    請求項に記載の自律移動装置。
  9. 前記撮像部は、単眼の撮像部であり、
    前記位置推定部は前記撮像部が撮影した複数の画像の情報に基づいて自機位置を推定する、
    請求項1からのいずれか一項に記載の自律移動装置。
  10. 移動手段による移動量に基づいて自機位置を計測する位置計測ステップと、
    撮像部が撮影した複数の画像の情報を用いて地図を作成する地図作成ステップと、
    前記撮像部が撮影した複数の画像の情報と前記作成した地図の情報とに基づいて自機位置を推定する位置推定ステップと、
    前記位置計測ステップで計測された自機位置と前記位置推定ステップで推定された自機位置との差が所定誤差内か否かを判定する判定ステップと、
    前記判定ステップで前記所定誤差内でないと判定された場合、前記作成した地図を編集する地図編集ステップと、
    自機の向きの変化量を取得する向き変化量取得ステップと、
    を備え、
    前記判定ステップでは、前記向き変化量取得ステップで取得された向きの変化量が基準向き変化量よりも小さいときに判定を行う、
    律移動方法。
  11. 移動手段による移動量に基づいて自機位置を計測する位置計測ステップと、
    撮像部が撮影した複数の画像の情報を用いて地図を作成する地図作成ステップと、
    前記撮像部が撮影した複数の画像の情報と前記作成した地図の情報とに基づいて自機位置を推定する位置推定ステップと、
    前記位置計測ステップで計測された自機位置と前記位置推定ステップで推定された自機位置との差が所定誤差内か否かを判定する判定ステップと、
    前記判定ステップで前記所定誤差内でないと判定された場合、前記作成した地図を編集する地図編集ステップと、
    加速度センサによって加速度を取得する加速度取得ステップと、
    前記移動手段による移動量に基づいて自機の加速度を算出する加速度算出ステップと、
    を備え、
    前記地図編集ステップでは、前記判定ステップで前記所定誤差内でないと判定された場合であっても、前記加速度取得ステップで取得された加速度と前記加速度算出ステップで算出された加速度との差が所定の値を超える場合は、前記地図作成ステップで作成された地図を編集しない、
    律移動方法。
  12. 移動手段による移動量に基づいて自機位置を計測する位置計測ステップと、
    撮像部が撮影した複数の画像の情報を用いて地図を作成する地図作成ステップと、
    前記撮像部が撮影した複数の画像の情報と前記作成した地図の情報とに基づいて自機位置を推定する位置推定ステップと、
    前記位置計測ステップで計測された自機位置と前記位置推定ステップで推定された自機位置との差が所定誤差内か否かを判定する判定ステップと、
    前記判定ステップで前記所定誤差内でないと判定された場合、前記作成した地図を編集する地図編集ステップと、
    前記移動手段に備えられたモータに流れる電流の値を取得する電流取得ステップと、
    前記移動手段による移動量に基づいてモータに流れる電流の値を推定する電流推定ステップと、
    を備え、
    前記地図編集ステップでは、前記判定ステップで前記所定誤差内でないと判定された場合であっても、前記電流取得ステップで取得された電流の値と前記電流推定ステップで推定された電流の値との差が所定の値を超える場合は、前記地図作成ステップで作成された地図を編集しない、
    律移動方法。
  13. コンビュータを請求項1から9のいずれか一項に記載の自律移動装置として機能させるための、あるいはコンピュータに請求項10から12のいずれか一項に記載の自律移動方法を実行させるためのプログラム。
JP2015241064A 2015-12-10 2015-12-10 自律移動装置、自律移動方法及びプログラム Active JP6288060B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015241064A JP6288060B2 (ja) 2015-12-10 2015-12-10 自律移動装置、自律移動方法及びプログラム
US15/276,320 US10108199B2 (en) 2015-12-10 2016-09-26 Autonomous movement device, autonomous movement method and non-transitory recording medium
CN201610907392.9A CN106859504B (zh) 2015-12-10 2016-10-18 自主移动装置、自主移动方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015241064A JP6288060B2 (ja) 2015-12-10 2015-12-10 自律移動装置、自律移動方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017107425A JP2017107425A (ja) 2017-06-15
JP6288060B2 true JP6288060B2 (ja) 2018-03-07

Family

ID=59019941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015241064A Active JP6288060B2 (ja) 2015-12-10 2015-12-10 自律移動装置、自律移動方法及びプログラム

Country Status (3)

Country Link
US (1) US10108199B2 (ja)
JP (1) JP6288060B2 (ja)
CN (1) CN106859504B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839226B2 (en) * 2016-11-10 2020-11-17 International Business Machines Corporation Neural network training
JP7087290B2 (ja) * 2017-07-05 2022-06-21 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US20200264616A1 (en) * 2017-09-04 2020-08-20 Nidec Corporation Location estimation system and mobile body comprising location estimation system
JP7075201B2 (ja) * 2017-12-15 2022-05-25 東芝ライフスタイル株式会社 電気掃除機
CN108209745B (zh) * 2017-12-18 2021-06-25 深圳市奇虎智能科技有限公司 清洁设备的控制方法、装置、计算机设备和存储介质
US11926038B2 (en) 2018-01-10 2024-03-12 Sony Corporation Information processing apparatus and information processing method
WO2019161517A1 (zh) * 2018-02-26 2019-08-29 深圳前海达闼云端智能科技有限公司 基于云端的轨迹地图生成方法、装置、设备及应用程序
JP7118778B2 (ja) * 2018-07-03 2022-08-16 株式会社今仙電機製作所 搬送車、この搬送車を制御する制御方法及び制御プログラム
JP7155686B2 (ja) * 2018-07-10 2022-10-19 株式会社豊田自動織機 自律移動体の位置推定装置
US11531344B2 (en) * 2018-08-23 2022-12-20 Nsk Ltd. Autonomous running device, running control method for autonomous running device, and running control program of autonomous running device
CN109549569A (zh) * 2018-12-28 2019-04-02 珠海凯浩电子有限公司 一种根据地磁强弱方向清扫的扫地机器人
JP7295657B2 (ja) * 2019-02-26 2023-06-21 東芝ライフスタイル株式会社 自律走行体装置
CN110154085B (zh) * 2019-05-14 2021-06-08 北京云迹科技有限公司 机器人空转识别方法及装置
CN110617814A (zh) * 2019-09-26 2019-12-27 中国科学院电子学研究所 单目视觉和惯性传感器融合的远距离测距系统及方法
US11980132B2 (en) * 2021-08-18 2024-05-14 Firefly Automatix, Inc. Determining orientation of a mower using horizon mapping
US20230241518A1 (en) * 2022-02-03 2023-08-03 Rovi Guides, Inc. Methods and system for smart voice chat in multiplayer gaming

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3176701B2 (ja) 1992-04-15 2001-06-18 本田技研工業株式会社 移動体の現在位置認識処理装置
EP1594102A2 (en) * 1992-07-23 2005-11-09 Aisin Aw Co., Ltd. Vehicle route guidance apparatus for researching for a route when vehicle goes out of route
JP4060974B2 (ja) * 1999-02-25 2008-03-12 株式会社ザナヴィ・インフォマティクス 経路誘導装置
RU2220643C2 (ru) * 2001-04-18 2004-01-10 Самсунг Гванджу Электроникс Ко., Лтд. Автоматическое чистящее устройство, автоматическая чистящая система и способ управления этой системой (варианты)
JP4175165B2 (ja) 2002-04-17 2008-11-05 松下電工株式会社 自律移動装置
JP4352148B2 (ja) 2003-03-14 2009-10-28 独立行政法人科学技術振興機構 移動ロボット用地図作成システム
CN102592497B (zh) * 2005-04-08 2014-05-14 知识产权之桥一号有限责任公司 地图信息更新装置及地图信息更新方法
KR100674805B1 (ko) * 2005-06-14 2007-01-29 엘지전자 주식회사 카메라 영상과 지도 데이터 간에 건물 매칭 방법
US7835820B2 (en) 2005-10-11 2010-11-16 Vanderbilt University System and method for image mapping and visual attention
US8965578B2 (en) 2006-07-05 2015-02-24 Battelle Energy Alliance, Llc Real time explosive hazard information sensing, processing, and communication for autonomous operation
US8355818B2 (en) 2009-09-03 2013-01-15 Battelle Energy Alliance, Llc Robots, systems, and methods for hazard evaluation and visualization
JP2008059218A (ja) 2006-08-30 2008-03-13 Fujitsu Ltd 自律走行ロボットの自己位置回復方法
KR100855469B1 (ko) 2006-09-13 2008-09-01 삼성전자주식회사 이동 로봇의 자세 추정 장치 및 방법
JP4856510B2 (ja) 2006-10-02 2012-01-18 本田技研工業株式会社 移動ロボット
GB2448470B (en) 2007-04-20 2012-04-04 Ultra Global Ltd Vehicle guidance system
KR101337534B1 (ko) 2007-07-24 2013-12-06 삼성전자주식회사 이동 로봇의 위치 인식 장치 및 방법
US20090096686A1 (en) 2007-10-11 2009-04-16 Nec Laboratories America, Inc. Autonomous mobile wireless antenna systems
JP2009169845A (ja) 2008-01-18 2009-07-30 Toyota Motor Corp 自律移動ロボット及び地図更新方法
JP2009193240A (ja) 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
JP5270184B2 (ja) * 2008-02-13 2013-08-21 古野電気株式会社 衛星航法/推測航法統合測位装置
JP4738550B2 (ja) * 2009-02-16 2011-08-03 三菱電機株式会社 地図情報処理装置
JP5310285B2 (ja) 2009-06-12 2013-10-09 日産自動車株式会社 自己位置推定装置及び自己位置推定方法
JP5444952B2 (ja) 2009-08-28 2014-03-19 富士通株式会社 センサフュージョンによる地図の自動生成、およびそのように自動生成された地図を用いて移動体の移動をするための、装置、方法、ならびにプログラム
JP5315289B2 (ja) * 2010-04-12 2013-10-16 トヨタ自動車株式会社 オペレーティングシステム及びオペレーティング方法
US20120230550A1 (en) 2011-03-10 2012-09-13 Jacob Kraut Method and Apparatus for Generating a Map from Landmarks
JP5222971B2 (ja) * 2011-03-31 2013-06-26 富士ソフト株式会社 歩行ロボット装置及びその制御プログラム
WO2013038198A2 (en) 2011-09-14 2013-03-21 Smart Ship Holdings Limited Allocating an area to a vehicle
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20140031980A1 (en) 2011-11-11 2014-01-30 Jens-Steffen Gutmann Systems and methods for extending slam to multiple regions
JP5429901B2 (ja) * 2012-02-08 2014-02-26 富士ソフト株式会社 ロボット及び情報処理装置のプログラム
CN103376110A (zh) * 2012-04-13 2013-10-30 上海博泰悦臻电子设备制造有限公司 图片导航方法及对应的图片导航设备、图片导航系统
EP2876608A4 (en) 2012-07-23 2016-02-10 Fujitsu Ltd PROGRAM, METHOD, AND DISPLAY CONTROL DEVICE
US9739215B2 (en) * 2013-03-15 2017-08-22 Ford Global Technologies, Llc Intrusive EGR monitor for a hybrid vehicle
JP6051993B2 (ja) 2013-03-25 2016-12-27 村田機械株式会社 自律移動式無人搬送車、及び、自律移動式無人搬送システム
KR102061511B1 (ko) * 2013-04-26 2020-01-02 삼성전자주식회사 청소 로봇, 홈 모니터링 장치 및 그 제어 방법
US9037396B2 (en) 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
JP6027554B2 (ja) 2014-01-21 2016-11-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、ブロックシステム、および情報処理方法
JP6191484B2 (ja) 2014-02-03 2017-09-06 トヨタ自動車株式会社 移動ロボットの自己位置推定方法
TWI507664B (zh) 2014-03-13 2015-11-11 Pixart Imaging Inc 光學編碼器及其運作方法
KR101629649B1 (ko) 2014-09-30 2016-06-13 엘지전자 주식회사 로봇 청소기 및 로봇 청소기의 제어방법
US9519289B2 (en) 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
US9569851B2 (en) 2014-12-23 2017-02-14 Ricoh Co., Ltd. Sequencing products recognized in a shelf image
JP6789624B2 (ja) 2015-11-20 2020-11-25 キヤノン株式会社 情報処理装置、情報処理方法
GB2545171B (en) 2015-12-03 2020-08-19 Sony Interactive Entertainment Inc Light source identification apparatus and method
US9889859B2 (en) 2015-12-21 2018-02-13 Intel Corporation Dynamic sensor range in advanced driver assistance systems

Also Published As

Publication number Publication date
US20170168498A1 (en) 2017-06-15
US10108199B2 (en) 2018-10-23
CN106859504B (zh) 2019-09-27
CN106859504A (zh) 2017-06-20
JP2017107425A (ja) 2017-06-15

Similar Documents

Publication Publication Date Title
JP6288060B2 (ja) 自律移動装置、自律移動方法及びプログラム
JP6323439B2 (ja) 自律移動装置、自律移動方法及びプログラム
JP6311695B2 (ja) 自律移動装置、自律移動方法及びプログラム
JP6724439B2 (ja) 自律移動装置、自律移動システム、自律移動方法及びプログラム
JP6759307B2 (ja) センサデータの空間的集約を用いる適応マッピング
JP6187623B1 (ja) 自律移動装置、自律移動方法及びプログラム
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
US9037396B2 (en) Simultaneous localization and mapping for a mobile robot
KR20170061355A (ko) 이동 로봇 및 그 제어 방법
JP6638753B2 (ja) 自律移動装置、自律移動方法及びプログラム
JP2018156538A (ja) 自律移動装置、画像処理方法及びプログラム
JP7354528B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
JP7067130B2 (ja) 自律移動装置、メモリ整理方法及びプログラム
JP7327596B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180122

R150 Certificate of patent or registration of utility model

Ref document number: 6288060

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150