JP6390540B2 - 自律移動体及び自律移動体の位置推定方法 - Google Patents

自律移動体及び自律移動体の位置推定方法 Download PDF

Info

Publication number
JP6390540B2
JP6390540B2 JP2015143090A JP2015143090A JP6390540B2 JP 6390540 B2 JP6390540 B2 JP 6390540B2 JP 2015143090 A JP2015143090 A JP 2015143090A JP 2015143090 A JP2015143090 A JP 2015143090A JP 6390540 B2 JP6390540 B2 JP 6390540B2
Authority
JP
Japan
Prior art keywords
image
feature
map
mobile body
image feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015143090A
Other languages
English (en)
Other versions
JP2017027213A (ja
Inventor
豊 高岡
豊 高岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015143090A priority Critical patent/JP6390540B2/ja
Publication of JP2017027213A publication Critical patent/JP2017027213A/ja
Application granted granted Critical
Publication of JP6390540B2 publication Critical patent/JP6390540B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は自律移動体に関する。
移動体の位置を推定する技術が開発されている。例えば、特許文献1には、画像処理装置において、特徴情報とその位置情報とを記憶し、撮像画像から実特徴を抽出し、特徴情報と実特徴とを比較して移動体の位置を推定することが記載されている。
特開2011−248441号公報
上記の画像処理装置では、環境中に相互に類似する特徴点が複数存在する場合に、撮像画像から抽出した実特徴と類似する特徴点が特徴情報として複数記憶されているために、移動体の位置を正しく推定することができない。
本発明は、このような問題を解決するためになされたものであり、自己(自律移動体)の位置を正確に推定することができる自律移動体及び自律移動体の位置推定方法を提供することを目的とする。
本発明に係る自律移動体は、環境を撮像した画像から抽出した画像特徴と当該画像特徴の絶対位置とを対応付けた画像特徴マップを記憶するマップ記憶部と、自己の周囲の撮像画像と距離画像とを取得する画像取得部と、当該撮像画像から実画像特徴を抽出し、当該距離画像を用いて画像取得部に対する当該実画像特徴の位置情報を取得する特徴抽出部と、非対称な位置関係にある複数の実画像特徴と当該複数の実画像特徴の位置情報とを対応付けた実画像特徴の分布マップを作成するマップ作成部と、当該分布マップと画像特徴マップとを照合して、分布マップに対応する画像特徴マップ上の位置を検出し、実画像特徴の絶対位置を推定する特徴位置推定部と、実画像特徴の絶対位置と実画像特徴の位置情報とに基づいて、自己の絶対位置を推定する自己位置推定部とを備えるものである。
また、本発明に係る自律移動体の位置推定方法は、環境を撮像した画像から抽出した画像特徴と当該画像特徴の絶対位置とを対応付けた画像特徴マップを記憶するマップ記憶ステップと、自律移動体の画像取得部が自律移動体周囲の撮像画像と距離画像とを取得する画像取得ステップと、当該撮像画像から実画像特徴を抽出し、当該距離画像を用いて画像取得部に対する当該実画像特徴の位置情報を取得する特徴抽出ステップと、非対称な位置関係にある複数の実画像特徴と当該複数の実画像特徴の位置情報とを対応付けた実画像特徴の分布マップを作成するマップ作成ステップと、当該分布マップと画像特徴マップとを照合して、分布マップに対応する画像特徴マップ上の位置を検出し、実画像特徴の絶対位置を推定する特徴位置推定ステップと、実画像特徴の絶対位置と実画像特徴の位置情報とに基づいて、自律移動体の絶対位置を推定する移動体位置推定ステップとを有するものである。
本発明により、自己(自律移動体)の位置を正確に推定することができる自律移動体及び自律移動体の位置推定方法を提供することができる。
実施の形態に係る自律移動体1の概略システム構成を示すブロック図である。 実施の形態に係る自律移動体1のマップ処理の処理手順を示すフローチャートである。 実施の形態に係る作業環境を示す図である。 実施の形態に係る撮像画像と画像特徴とを示す図である。 実施の形態に係る画像特徴の2D投影結果を示す図である。 実施の形態に係る別の画像特徴の2D投影結果を示す図である。 実施の形態に係る自律移動体1の自己位置推定処理の処理手順を示すフローチャートである。 実施の形態に係る複数の実画像特徴の非対称な位置関係を説明するための図である。 実施の形態に係る実画像特徴の2D投影結果を示す図である。 実施の形態に係る照合結果を模式的に示す図である。 実施の形態に係る撮像画像と画像特徴とを示す別の図である。 実施の形態に係る複数の実画像特徴の非対称な位置関係を説明するための別の図である。
以下、図面を参照して本実施の形態に係る自律移動体について説明する。
まず、本実施の形態に係る自律移動体の構成について説明する。
本実施の形態に係る自律移動体は、例えば、作業環境内を自律的に移動し、作業環境内に存在する物体を認識して把持動作を実行するようなロボットである。自律移動体の外形は公知のものであって良く、ここでは図示を省略する。
図1は、本実施の形態に係る自律移動体1の概略システム構成を示すブロック図である。
自律移動体1は、画像取得部10、特徴抽出部20、マップ作成部30、マップ記憶部40、特徴位置推定部50、自己位置推定部60、制御部70などを備えている。
画像取得部10は、被写体の撮像画像(例えば、輝度画像、RGB画像など)と、画像取得部10から被写体までの距離を示す距離画像とを取得し、特徴抽出部20に出力する。画像取得部10は、例えば、RGB−Dカメラで構成される。また、画像取得部10は、自律移動体1の頭部(図示せず)に設けられており、自律移動体1がその頭部を回転などで移動させることにより、視野の異なる複数の撮像画像及び距離画像を取得することができる。
特徴抽出部20は、撮像画像から実画像特徴を抽出する。実画像特徴としては、例えば、SIFT(Scale-Invariant Feature Transform)などの局所画像特徴量を用いて特徴点を抽出したり、エッジを抽出したりする。また、特徴抽出部20は、距離画像を用いて実画像特徴の位置情報を取得し、実画像特徴とその位置情報とをマップ作成部30に出力する。
なお、本明細書では説明を分りやすくするために、自律移動体1が自己位置を推定するときに抽出する画像特徴を「実画像特徴」と呼び、マップ記憶部40に記憶させる画像特徴マップを作成するときに抽出する画像特徴を単に「画像特徴」と呼んで、区別することにする。
また、実画像特徴の位置情報とは、画像取得部10又は自律移動体1に対する実画像特徴の相対的な位置の情報である。
マップ作成部30は、実画像特徴と実画像特徴の位置情報とを対応付けた実画像特徴の分布マップ(例えば、2Dグリッドマップなど)を作成し、特徴位置推定部50に出力する。
マップ記憶部40は、環境を撮像した画像から抽出した画像特徴と当該画像特徴の絶対位置とを対応付けた画像特徴マップを記憶し、特徴位置推定部50に出力する。
特徴位置推定部50は、実画像特徴の分布マップと画像特徴マップとをパーティクルフィルタなどのマッチング手法により照合し、実画像特徴の分布マップに対応する画像特徴マップ上の位置を検出し、画像特徴の絶対位置に基づいて実画像特徴の絶対位置を推定し、自己位置推定部60に出力する。
自己位置推定部60は、実画像特徴の絶対位置と位置情報とに基づいて、自己の絶対位置、すなわち、自律移動体1の絶対位置を推定する。
制御部70は、自律移動体1全体の動作を制御する。
なお、自律移動体1が実現する各構成要素は、例えば、制御部70の制御によって、プログラムを実行させることによって実現できる。より具体的には、自律移動体1は、例えば、記憶部(図示せず)に格納されたプログラムを主記憶装置(図示せず)にロードし、制御部70の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、自律移動体1に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によって自律移動体1に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを自律移動体1に供給できる。
続いて、本実施の形態に係る自律移動体1の動作、すなわち、自律移動体1の位置推定方法について、実際の画像なども参照しながら、具体的に説明する。
自律移動体1の動作には、作業環境を撮像した画像から画像特徴を抽出して画像特徴マップを作成し記憶するまでのマップ処理と、自己の周囲を撮像した画像から実画像特徴を抽出して自己の絶対位置を推定するまでの自己位置推定処理とが含まれる。
まず、自律移動体1のマップ処理について説明する。
図2は、本実施の形態に係る自律移動体1のマップ処理の処理手順を示すフローチャートである。
マップ処理を開始すると、画像取得部10が、作業環境内で視野の異なる複数の撮像画像と距離画像とを取得する(ステップS10)。
図3は、本実施の形態に係る作業環境を示す図である。自律移動体1の作業環境となる、机、イス、ベッドなどの家具類が置かれた部屋を上から見たときの図である。
自律移動体1はこの部屋の中を決められた経路で又はランダムに移動して複数の撮像画像と距離画像とを取得する。画像取得部10が取得する撮像画像と距離画像との間には対応関係があり、撮像画像の各画素の被写体について、当該被写体と画像取得部10との間の距離を距離画像から求めることができる。
次に、特徴抽出部20が撮像画像から画像特徴を抽出する(ステップS20)。
図4は、本実施の形態に係る撮像画像と画像特徴とを示す図である。
撮像画像には、画像左下に机とイスとが、画像中央にベッドが、画像左上に壁面収納棚が図3に示した配置とほぼ同じ配置で写っている。また、画像特徴はSIFT特徴量を用いて抽出した特徴点であり、その位置を撮像画像中の楕円で示している。特徴点は、机などの家具類及び壁面収納棚の端部、壁と壁との境界、壁と床との境界などにおいて抽出されている。
次に、特徴抽出部20が画像特徴の位置情報を算出する(ステップS30)。
画像特徴の位置情報は、画像取得部10又は自律移動体1に対する画像特徴の相対的な位置の情報であり、距離画像を用いて算出することができる。
次に、マップ作成部30が画像特徴の位置情報を絶対位置に変換する(ステップS40)。
ここでの絶対位置とは、例えば、図2に示すように部屋の隅(壁2面と床面との交点)を原点とする3次元空間の位置座標である。複数の撮像画像及び距離画像から得られた各画像特徴の位置情報、自律移動体1の移動量に関する情報などを総合して、各画像特徴の位置情報を絶対位置に変換することができる。
次に、マップ作成部30が画像特徴の絶対位置を用いて、画像特徴マップを作成する(ステップS50)。
まず、各画像特徴を、その絶対位置の高さ情報を0にして2D投影する。
図5は、本実施の形態に係る画像特徴の2D投影結果を示す図である。図4に示した画像特徴を2D投影したものである。やはり、画像特徴の位置を図5中の楕円で示している。なお、図4、5では、画像特徴の位置や数を厳密に一致させて図示していない。
図6は、本実施の形態に係る別の画像特徴の2D投影結果を示す図である。左図のように家具類が配置された部屋において、画像特徴を抽出し、2D投影すると右図のような画像になる。右図の各点が画像特徴の位置を示す。この画像は、部屋のどの位置に特徴的なものが多いか少ないかを示すものということもできる。
そして、2D投影したものを2Dグリッドマップとして離散化して画像特徴マップを完成する。
また、マップ作成部30は、画像特徴を2D投影しないで、3D情報のまま、2.5Dマップ又はボクセルグリッドに離散化して画像特徴マップを完成させても良い。
次に、マップ記憶部40が完成した画像特徴マップを記憶する(ステップS60)。
自律移動体1は、以上説明したステップS10〜ステップS60の各処理を実行することにより、画像特徴マップを作成、記憶してマップ処理を終了する。
続いて、自律移動体1の自己位置推定処理について説明する。
図7は、本実施の形態に係る自律移動体1の自己位置推定処理の処理手順を示すフローチャートである。
自己位置推定処理を開始すると、画像取得部10が、自律移動体1の周囲の撮像画像と距離画像とを取得する(ステップS110)。
次に、特徴抽出部20が撮像画像から実画像特徴を抽出する(ステップS120)。
画像取得部10がステップS110で取得する撮像画像、及び、特徴抽出部20がステップS120で抽出する実画像特徴は、図4で示した撮像画像及び画像特徴と同様であり、ここでは図示を省略する。
次に、特徴抽出部20が実画像特徴の位置情報を算出する(ステップS130)。
実画像特徴の位置情報は、画像取得部10又は自律移動体1に対する実画像特徴の相対的な位置の情報であり、画像取得部10がステップS110で取得した距離画像を用いて算出することができる。
次に、特徴抽出部20が、複数の実画像特徴が非対称な位置関係にあるかどうかを判断する(ステップS140)。
特徴抽出部20は、まず、抽出した特徴点が3つ以上あるかを判断する。抽出した特徴点が3つ以上ないときは、実画像特徴が非対称な位置関係にないと判断する(ステップS140のNo)。
また、特徴抽出部20は、抽出した特徴点が3つ以上あるときに、いずれか1つの特徴点を選択し、選択した特徴点を通るどのような平面に対しても残りの特徴点が非対称な位置にあるとき(又は、面対称な位置にないとき)に、複数の実画像特徴が非対称な位置関係にあると判断し(ステップS140のYes)、選択した特徴点を通る平面に対して残りの特徴点が対称な位置にあるとき(又は、面対称な位置にあるとき)に、複数の実画像特徴が非対称な位置関係にないと判断する(ステップS140のNo)。
もちろん、特徴点の非対称な位置についての判断手法は上記に限られるものではない。
図8は、本実施の形態に係る複数の実画像特徴の非対称な位置関係を説明するための図である。
左側の1例は複数の実画像特徴が非対称な位置関係にあると判断する場合であり、どの特徴点を選択しても、その特徴点を通るどのような平面に対しても残りの特徴点が非対称な位置にある。右側の2例は複数の実画像特徴が非対称な位置関係にないと判断する場合であり、中央の特徴点を選択した場合に、中央の特徴点を通る平面に対して左右の特徴点が対称な位置にある。
非対称な位置関係にある複数の実画像特徴を用いることにより、特徴位置推定部50が実画像特徴の分布マップと画像特徴マップとを照合するときの誤照合を減らすことができる。
なお、特徴抽出部20が複数の実画像特徴は非対称な位置関係にないと判断したときは(ステップS140のNo)、ステップ110に戻る。そして、自律移動体1が頭部を移動して、画像取得部10が前回とは異なる視野の撮像画像と距離画像とを取得し、改めてステップS120〜ステップS140の処理を行う。
また、ステップS140で特徴抽出部20が複数の画像特徴が非対称な位置関係にあるかどうかを改めて判断するときは、ステップS110で取得した前回とは異なる視野の撮像画像と距離画像とから抽出した複数の画像特徴を用いても良いし、前回分も含めた視野の異なる複数の撮像画像と距離画像とから抽出した複数の画像特徴を自律移動体1の頭部の移動量で位置情報を調整して用いても良い。このようにすれば、画像取得部10の画角が狭くても、撮像可能な範囲を拡大することができる。
次に、特徴抽出部20が、複数の実画像特徴は非対称な位置関係にあると判断したときは(ステップS140のYes)、マップ作成部30が実画像特徴の位置情報を用いて、実画像特徴の分布マップを作成する(ステップS150)。実画像特徴の分布マップを作成する処理は、マップ作成部30がステップS50で画像特徴マップを作成するときと同様の処理である。
図9は、本実施の形態に係る実画像特徴の2D投影結果を示す図である。実画像特徴の位置を楕円で示すとともに、画像取得部10とその視野11とを参考に示している。
次に、特徴位置推定部50が実画像特徴の分布マップと画像特徴マップとを照合して、実画像特徴の分布マップに対応する画像特徴マップ上の位置を検出する(ステップS160)。照合にはパーティクルフィルタなどの公知のマッチング手法を用いることができる。
次に、特徴位置推定部50が実画像特徴の分布マップと画像特徴マップとは一対一で対応したか、すなわち、実画像特徴の分布マップに対応する画像特徴マップ上の位置を一意的に検出したかを判断する(ステップS170)。
実画像特徴の分布マップと画像特徴マップとが対応したと判断したときは(ステップS170のYes)、特徴位置推定部50は、各実画像特徴の絶対位置をそれぞれ対応する画像特徴の絶対位置と一致させて、各実画像特徴の絶対位置を推定する(ステップS180)。
図10は、本実施の形態に係る照合結果を模式的に示す図である。
図9に示した実画像特徴の分布マップと、図5に示した画像特徴マップの一部(ベット及び棚で抽出された画像特徴の分布)とが対応していることが分かる。このため、図9に示した実画像特徴の絶対位置が、図5に示したベッド及び棚で抽出された画像特徴の絶対位置になると推定する。
実画像特徴の分布マップと画像特徴マップとが対応しないと判断したときは(ステップS170のNo)、ステップS110に戻って画像取得部10が撮像画像と距離画像とを取得する処理からやり直す。このとき、ステップS120に戻って特徴抽出部20が実画像特徴を抽出する処理からやり直すなど、他のステップに戻って処理をやり直しても良い。
次に、自己位置推定部60が、実画像特徴の絶対位置と、実画像特徴の位置情報(画像取得部10又は自律移動体1に対する実画像特徴の相対的な位置の情報)とから自己の絶対位置、すなわち、自律移動体1の絶対位置を推定する(ステップS190)。自己位置推定部60は、例えば、図10に示したように、自律移動体1が机又はイスの近くに位置するを推定する。
自律移動体1は、以上説明したステップS110〜ステップS190の各処理を実行することにより、自己の絶対位置を推定して自己位置推定処理を終了する。
このように、本実施の形態に係る自律移動体1及び自律移動体1の自己位置推定方法は、自己(自律移動体)の位置を正確に推定することができる。このとき、環境中の画像特徴の分布(例えば、部屋のどの位置に特徴的なものが多いか少ないか)を示すマップを利用して自己位置を推定するので、廊下などの画像特徴が少ない環境であっても、画像特徴の分布に有意性があれば自律移動体の位置を正確に推定することができる。
なお、本実施の形態に係る自律移動体1及び自律移動体1の自己位置推定方法では、画像特徴及び実画像特徴としてエッジを抽出して用いても良い。
図11は、本実施の形態に係る撮像画像と画像特徴とを示す別の図である。
図11に示した撮像画像は図4に示したものと同じであるが、画像特徴としてエッジを抽出している。エッジは一般に細い直線、曲線などの線として抽出されるが、図11ではその位置及び形状を明らかにするために、エッジを太い破線で示し、その位置も抽出されたところから若干ずらしている。エッジは、机、イス、ベッド及び壁面収納棚の端部、壁と壁との境界、壁と床との境界などにおいて抽出されている。
また、実画像特徴としてエッジを抽出するときには、特徴抽出部20がステップS140で複数の実画像特徴は非対称な位置関係にあるかどうかを判断するときの判断手法が異なる。
図12は、本実施の形態に係る複数の実画像特徴の非対称な位置関係を説明するための別の図である。
特徴抽出部20は、エッジが2本以上あり、エッジが存在する空間のどのような平面に対してもエッジ同士が非対称となるときに、実画像特徴が非対称な位置関係にあると判断する。もちろん、エッジの非対称な位置についての判断手法もこれに限られるものではない。
画像特徴及び実画像特徴としてエッジを抽出するときでも、マップ作成、マップ照合などの他のステップは、特徴点のときと同様に処理することができる。
また、本実施の形態に係る自律移動体1及び自律移動体1の自己位置推定方法では、自律移動体1自体がマップ処理及び自己位置推定処理を実行していたが、これらの処理の一部のステップを他の装置に実行させるようにすることもできる。例えば、他の自律移動体やユーザが運転する移動体などが作業環境を撮像して画像特徴マップを作成するようにしても良し、自律移動体1が画像取得部10と制御部70とを備え、他の装置が特徴抽出部20、マップ作成部30などの構成を備えて、自律移動体1と他の装置とが無線又は有線の通信をしてマップ処理及び自己位置推定処理(自律移動体1の位置推定処理)を実行するようにしても良い。
以上、説明したように、本実施の形態に係る自律移動体1は、環境を撮像した画像から抽出した画像特徴と当該画像特徴の絶対位置とを対応付けた画像特徴マップを記憶するマップ記憶部40と、自己の周囲の撮像画像と距離画像とを取得する画像取得部10と、当該撮像画像から実画像特徴を抽出し、当該距離画像を用いて画像取得部10に対する当該実画像特徴の位置情報を取得する特徴抽出部20と、非対称な位置関係にある複数の実画像特徴と当該複数の実画像特徴の位置情報とを対応付けた実画像特徴の分布マップを作成するマップ作成部30と、当該分布マップと画像特徴マップとを照合して、分布マップに対応する画像特徴マップ上の位置を検出し、実画像特徴の絶対位置を推定する特徴位置推定部50と、実画像特徴の絶対位置と実画像特徴の位置情報とに基づいて、自己の絶対位置を推定する自己位置推定部60とを備えるものである。
このような構成により、自己(自律移動体1)の位置を正確に推定することができる。
また、本実施の形態に係る自律移動体1は、特徴抽出部20が、視野の異なる複数の撮像画像と距離画像とを用いて、非対称な位置関係にある複数の実画像特徴を検出することが好ましい。
このような構成により、自己の位置をより正確に推定することができる。
また、本実施の形態に係る自律移動体1は、画像特徴マップ及び分布マップが、2Dグリッドマップ、高さ情報を有する2Dグリッドマップ又はボクセルグリッドであって、特徴位置推定部50は、画像特徴マップと分布マップとをパーティクルフィルタを用いて照合することが好ましい。
このような構成により、演算量を減らして自己の位置を推定することができる。
また、本実施の形態に係る自律移動体1の位置推定方法は、環境を撮像した画像から抽出した画像特徴と当該画像特徴の絶対位置とを対応付けた画像特徴マップを記憶するマップ記憶ステップS60と、自律移動体1の画像取得部10が自律移動体周囲の撮像画像と距離画像とを取得する画像取得ステップS110と、当該撮像画像から実画像特徴を抽出し、当該距離画像を用いて画像取得部10に対する当該実画像特徴の位置情報を取得する特徴抽出ステップS120〜S140と、非対称な位置関係にある複数の実画像特徴と当該複数の実画像特徴の位置情報とを対応付けた実画像特徴の分布マップを作成するマップ作成ステップS150と、当該分布マップと画像特徴マップとを照合して、分布マップに対応する画像特徴マップ上の位置を検出し、実画像特徴の絶対位置を推定する特徴位置推定ステップS160〜S180と、実画像特徴の絶対位置と実画像特徴の位置情報とに基づいて、自律移動体1の絶対位置を推定する移動体位置推定ステップS190とを有するものである。
このような構成により、自律移動体1の位置を正確に推定することができる。
また、本実施の形態に係る自律移動体1の位置推定方法は、特徴抽出ステップS140では複数の実画像特徴が非対称な位置関係にあるどうかを判断し、特徴抽出ステップS140で複数の実画像特徴が非対称な位置関係にないと判断したときに、画像取得部10が視野を変更し、画像取得ステップS110と特徴抽出ステップS120〜S140とを改めて実行することが好ましい。
このような構成により、自律移動体1の位置をより正確に推定することができる。
1 自律移動体
10 画像取得部
20 特徴抽出部
30 マップ作成部
40 マップ記憶部
50 特徴位置推定部
60 自己位置推定部

Claims (5)

  1. 環境を撮像した画像から抽出した画像特徴と前記画像特徴の絶対位置とを対応付けた画像特徴マップを記憶するマップ記憶部と、
    自己の周囲の撮像画像と距離画像とを取得する画像取得部と、
    前記撮像画像から実画像特徴を抽出し、前記距離画像を用いて前記画像取得部に対する前記実画像特徴の位置情報を取得する特徴抽出部と、
    非対称な位置関係にある複数の前記実画像特徴と前記複数の実画像特徴の位置情報とを対応付けた前記実画像特徴の分布マップを作成するマップ作成部と、
    前記分布マップと前記画像特徴マップとを照合して、前記分布マップに対応する前記画像特徴マップ上の位置を検出し、前記実画像特徴の絶対位置を推定する特徴位置推定部と、
    前記実画像特徴の絶対位置と前記実画像特徴の位置情報とに基づいて、自己の絶対位置を推定する自己位置推定部と
    を備えた自律移動体。
  2. 前記特徴抽出部が、視野の異なる複数の前記撮像画像と前記距離画像とを用いて、前記非対称な位置関係にある複数の実画像特徴を検出する
    請求項1記載の自律移動体。
  3. 前記画像特徴マップ及び前記分布マップは、2Dグリッドマップ、高さ情報を有する2Dグリッドマップ又はボクセルグリッドであって、
    前記特徴位置推定部は、前記画像特徴マップと前記分布マップとをパーティクルフィルタを用いて照合する
    請求項1又は請求項2記載の自律移動体。
  4. 環境を撮像した画像から抽出した画像特徴と前記画像特徴の絶対位置とを対応付けた画像特徴マップを記憶するマップ記憶ステップと、
    自律移動体の画像取得部が前記自律移動体周囲の撮像画像と距離画像とを取得する画像取得ステップと、
    前記撮像画像から実画像特徴を抽出し、前記距離画像を用いて前記画像取得部に対する前記実画像特徴の位置情報を取得する特徴抽出ステップと、
    非対称な位置関係にある複数の前記実画像特徴と前記複数の実画像特徴の位置情報とを対応付けた前記実画像特徴の分布マップを作成するマップ作成ステップと、
    前記分布マップと前記画像特徴マップとを照合して、前記分布マップに対応する前記画像特徴マップ上の位置を検出し、前記実画像特徴の絶対位置を推定する特徴位置推定ステップと、
    前記実画像特徴の絶対位置と前記実画像特徴の位置情報とに基づいて、前記自律移動体の絶対位置を推定する移動体位置推定ステップと
    を有する自律移動体の位置推定方法。
  5. 前記特徴抽出ステップでは前記複数の実画像特徴が非対称な位置関係にあるどうかを判断し、
    前記特徴抽出ステップで前記複数の実画像特徴が非対称な位置関係にないと判断したときに、前記画像取得部が視野を変更し、前記画像取得ステップと前記特徴抽出ステップとを改めて実行する
    請求項4記載の自律移動体の位置推定方法。
JP2015143090A 2015-07-17 2015-07-17 自律移動体及び自律移動体の位置推定方法 Active JP6390540B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015143090A JP6390540B2 (ja) 2015-07-17 2015-07-17 自律移動体及び自律移動体の位置推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015143090A JP6390540B2 (ja) 2015-07-17 2015-07-17 自律移動体及び自律移動体の位置推定方法

Publications (2)

Publication Number Publication Date
JP2017027213A JP2017027213A (ja) 2017-02-02
JP6390540B2 true JP6390540B2 (ja) 2018-09-19

Family

ID=57950554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015143090A Active JP6390540B2 (ja) 2015-07-17 2015-07-17 自律移動体及び自律移動体の位置推定方法

Country Status (1)

Country Link
JP (1) JP6390540B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107728616B (zh) * 2017-09-27 2019-07-02 广东宝乐机器人股份有限公司 移动机器人的地图创建方法及移动机器人
WO2019111702A1 (ja) * 2017-12-05 2019-06-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20200037548A (ko) 2018-10-01 2020-04-09 삼성전자주식회사 차량 충전 로봇

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001307072A (ja) * 2000-04-21 2001-11-02 Canon Inc 認識システム、認識装置、認識方法および記憶媒体
JP5148669B2 (ja) * 2000-05-26 2013-02-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム

Also Published As

Publication number Publication date
JP2017027213A (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
JP6314712B2 (ja) 部屋情報推定装置、部屋情報推定方法、および空気調和装置
JP5172010B2 (ja) Rgb及び奥行き計測ハイブリッドカメラセンサを使用する長方形テーブル検知
US9911226B2 (en) Method for cleaning or processing a room by means of an autonomously mobile device
JP6282498B2 (ja) 画像処理装置、その方法、及び、そのプログラム
JP5343042B2 (ja) 点群データ処理装置および点群データ処理プログラム
JP6390540B2 (ja) 自律移動体及び自律移動体の位置推定方法
KR20170087387A (ko) 다수의 맵 관리 및 위치 재인식을 통한 청소 방법
US9305355B2 (en) Photograph localization in a three-dimensional model
US20120155745A1 (en) Apparatus and method for extracting correspondences between aerial images
JP2014002033A5 (ja)
US20130274987A1 (en) Luggage case and luggage case moving method
US20180074509A1 (en) Method for processing a floor
JP6380685B2 (ja) 寸法計測装置
US20190379836A1 (en) Sensor control device, object search system, object search method, and program
US10304184B2 (en) Non-transitory computer readable recording medium storing program for patient movement detection, detection method, and detection apparatus
US20210348927A1 (en) Information processing apparatus, information processing method, and recording medium
JP2015125685A (ja) 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム
US20180158203A1 (en) Object detection device and object detection method
KR101706092B1 (ko) 3차원 물체 추적 방법 및 장치
KR20090090983A (ko) 복수의 카메라 영상을 이용한 공간좌표 추출방법
Ribacki et al. Vision-based global localization using ceiling space density
CN111199533A (zh) 图像处理装置
KR20160052256A (ko) 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법
JP5444431B2 (ja) 制御システム
US11823414B2 (en) Information processing device, information processing method, and information processing non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180806

R151 Written notification of patent or utility model registration

Ref document number: 6390540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151