JP6390540B2 - 自律移動体及び自律移動体の位置推定方法 - Google Patents
自律移動体及び自律移動体の位置推定方法 Download PDFInfo
- Publication number
- JP6390540B2 JP6390540B2 JP2015143090A JP2015143090A JP6390540B2 JP 6390540 B2 JP6390540 B2 JP 6390540B2 JP 2015143090 A JP2015143090 A JP 2015143090A JP 2015143090 A JP2015143090 A JP 2015143090A JP 6390540 B2 JP6390540 B2 JP 6390540B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- map
- mobile body
- image feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000000605 extraction Methods 0.000 claims description 35
- 239000000284 extract Substances 0.000 claims description 6
- 239000002245 particle Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、このような問題を解決するためになされたものであり、自己(自律移動体)の位置を正確に推定することができる自律移動体及び自律移動体の位置推定方法を提供することを目的とする。
まず、本実施の形態に係る自律移動体の構成について説明する。
本実施の形態に係る自律移動体は、例えば、作業環境内を自律的に移動し、作業環境内に存在する物体を認識して把持動作を実行するようなロボットである。自律移動体の外形は公知のものであって良く、ここでは図示を省略する。
自律移動体1は、画像取得部10、特徴抽出部20、マップ作成部30、マップ記憶部40、特徴位置推定部50、自己位置推定部60、制御部70などを備えている。
画像取得部10は、被写体の撮像画像(例えば、輝度画像、RGB画像など)と、画像取得部10から被写体までの距離を示す距離画像とを取得し、特徴抽出部20に出力する。画像取得部10は、例えば、RGB−Dカメラで構成される。また、画像取得部10は、自律移動体1の頭部(図示せず)に設けられており、自律移動体1がその頭部を回転などで移動させることにより、視野の異なる複数の撮像画像及び距離画像を取得することができる。
なお、本明細書では説明を分りやすくするために、自律移動体1が自己位置を推定するときに抽出する画像特徴を「実画像特徴」と呼び、マップ記憶部40に記憶させる画像特徴マップを作成するときに抽出する画像特徴を単に「画像特徴」と呼んで、区別することにする。
また、実画像特徴の位置情報とは、画像取得部10又は自律移動体1に対する実画像特徴の相対的な位置の情報である。
マップ記憶部40は、環境を撮像した画像から抽出した画像特徴と当該画像特徴の絶対位置とを対応付けた画像特徴マップを記憶し、特徴位置推定部50に出力する。
自己位置推定部60は、実画像特徴の絶対位置と位置情報とに基づいて、自己の絶対位置、すなわち、自律移動体1の絶対位置を推定する。
制御部70は、自律移動体1全体の動作を制御する。
自律移動体1の動作には、作業環境を撮像した画像から画像特徴を抽出して画像特徴マップを作成し記憶するまでのマップ処理と、自己の周囲を撮像した画像から実画像特徴を抽出して自己の絶対位置を推定するまでの自己位置推定処理とが含まれる。
図2は、本実施の形態に係る自律移動体1のマップ処理の処理手順を示すフローチャートである。
マップ処理を開始すると、画像取得部10が、作業環境内で視野の異なる複数の撮像画像と距離画像とを取得する(ステップS10)。
自律移動体1はこの部屋の中を決められた経路で又はランダムに移動して複数の撮像画像と距離画像とを取得する。画像取得部10が取得する撮像画像と距離画像との間には対応関係があり、撮像画像の各画素の被写体について、当該被写体と画像取得部10との間の距離を距離画像から求めることができる。
図4は、本実施の形態に係る撮像画像と画像特徴とを示す図である。
撮像画像には、画像左下に机とイスとが、画像中央にベッドが、画像左上に壁面収納棚が図3に示した配置とほぼ同じ配置で写っている。また、画像特徴はSIFT特徴量を用いて抽出した特徴点であり、その位置を撮像画像中の楕円で示している。特徴点は、机などの家具類及び壁面収納棚の端部、壁と壁との境界、壁と床との境界などにおいて抽出されている。
画像特徴の位置情報は、画像取得部10又は自律移動体1に対する画像特徴の相対的な位置の情報であり、距離画像を用いて算出することができる。
次に、マップ作成部30が画像特徴の位置情報を絶対位置に変換する(ステップS40)。
ここでの絶対位置とは、例えば、図2に示すように部屋の隅(壁2面と床面との交点)を原点とする3次元空間の位置座標である。複数の撮像画像及び距離画像から得られた各画像特徴の位置情報、自律移動体1の移動量に関する情報などを総合して、各画像特徴の位置情報を絶対位置に変換することができる。
まず、各画像特徴を、その絶対位置の高さ情報を0にして2D投影する。
図5は、本実施の形態に係る画像特徴の2D投影結果を示す図である。図4に示した画像特徴を2D投影したものである。やはり、画像特徴の位置を図5中の楕円で示している。なお、図4、5では、画像特徴の位置や数を厳密に一致させて図示していない。
そして、2D投影したものを2Dグリッドマップとして離散化して画像特徴マップを完成する。
また、マップ作成部30は、画像特徴を2D投影しないで、3D情報のまま、2.5Dマップ又はボクセルグリッドに離散化して画像特徴マップを完成させても良い。
自律移動体1は、以上説明したステップS10〜ステップS60の各処理を実行することにより、画像特徴マップを作成、記憶してマップ処理を終了する。
図7は、本実施の形態に係る自律移動体1の自己位置推定処理の処理手順を示すフローチャートである。
自己位置推定処理を開始すると、画像取得部10が、自律移動体1の周囲の撮像画像と距離画像とを取得する(ステップS110)。
画像取得部10がステップS110で取得する撮像画像、及び、特徴抽出部20がステップS120で抽出する実画像特徴は、図4で示した撮像画像及び画像特徴と同様であり、ここでは図示を省略する。
次に、特徴抽出部20が実画像特徴の位置情報を算出する(ステップS130)。
実画像特徴の位置情報は、画像取得部10又は自律移動体1に対する実画像特徴の相対的な位置の情報であり、画像取得部10がステップS110で取得した距離画像を用いて算出することができる。
特徴抽出部20は、まず、抽出した特徴点が3つ以上あるかを判断する。抽出した特徴点が3つ以上ないときは、実画像特徴が非対称な位置関係にないと判断する(ステップS140のNo)。
もちろん、特徴点の非対称な位置についての判断手法は上記に限られるものではない。
左側の1例は複数の実画像特徴が非対称な位置関係にあると判断する場合であり、どの特徴点を選択しても、その特徴点を通るどのような平面に対しても残りの特徴点が非対称な位置にある。右側の2例は複数の実画像特徴が非対称な位置関係にないと判断する場合であり、中央の特徴点を選択した場合に、中央の特徴点を通る平面に対して左右の特徴点が対称な位置にある。
非対称な位置関係にある複数の実画像特徴を用いることにより、特徴位置推定部50が実画像特徴の分布マップと画像特徴マップとを照合するときの誤照合を減らすことができる。
図9は、本実施の形態に係る実画像特徴の2D投影結果を示す図である。実画像特徴の位置を楕円で示すとともに、画像取得部10とその視野11とを参考に示している。
次に、特徴位置推定部50が実画像特徴の分布マップと画像特徴マップとは一対一で対応したか、すなわち、実画像特徴の分布マップに対応する画像特徴マップ上の位置を一意的に検出したかを判断する(ステップS170)。
図10は、本実施の形態に係る照合結果を模式的に示す図である。
図9に示した実画像特徴の分布マップと、図5に示した画像特徴マップの一部(ベット及び棚で抽出された画像特徴の分布)とが対応していることが分かる。このため、図9に示した実画像特徴の絶対位置が、図5に示したベッド及び棚で抽出された画像特徴の絶対位置になると推定する。
自律移動体1は、以上説明したステップS110〜ステップS190の各処理を実行することにより、自己の絶対位置を推定して自己位置推定処理を終了する。
図11は、本実施の形態に係る撮像画像と画像特徴とを示す別の図である。
図11に示した撮像画像は図4に示したものと同じであるが、画像特徴としてエッジを抽出している。エッジは一般に細い直線、曲線などの線として抽出されるが、図11ではその位置及び形状を明らかにするために、エッジを太い破線で示し、その位置も抽出されたところから若干ずらしている。エッジは、机、イス、ベッド及び壁面収納棚の端部、壁と壁との境界、壁と床との境界などにおいて抽出されている。
図12は、本実施の形態に係る複数の実画像特徴の非対称な位置関係を説明するための別の図である。
特徴抽出部20は、エッジが2本以上あり、エッジが存在する空間のどのような平面に対してもエッジ同士が非対称となるときに、実画像特徴が非対称な位置関係にあると判断する。もちろん、エッジの非対称な位置についての判断手法もこれに限られるものではない。
画像特徴及び実画像特徴としてエッジを抽出するときでも、マップ作成、マップ照合などの他のステップは、特徴点のときと同様に処理することができる。
このような構成により、自己(自律移動体1)の位置を正確に推定することができる。
このような構成により、自己の位置をより正確に推定することができる。
また、本実施の形態に係る自律移動体1は、画像特徴マップ及び分布マップが、2Dグリッドマップ、高さ情報を有する2Dグリッドマップ又はボクセルグリッドであって、特徴位置推定部50は、画像特徴マップと分布マップとをパーティクルフィルタを用いて照合することが好ましい。
このような構成により、演算量を減らして自己の位置を推定することができる。
このような構成により、自律移動体1の位置を正確に推定することができる。
このような構成により、自律移動体1の位置をより正確に推定することができる。
10 画像取得部
20 特徴抽出部
30 マップ作成部
40 マップ記憶部
50 特徴位置推定部
60 自己位置推定部
Claims (5)
- 環境を撮像した画像から抽出した画像特徴と前記画像特徴の絶対位置とを対応付けた画像特徴マップを記憶するマップ記憶部と、
自己の周囲の撮像画像と距離画像とを取得する画像取得部と、
前記撮像画像から実画像特徴を抽出し、前記距離画像を用いて前記画像取得部に対する前記実画像特徴の位置情報を取得する特徴抽出部と、
非対称な位置関係にある複数の前記実画像特徴と前記複数の実画像特徴の位置情報とを対応付けた前記実画像特徴の分布マップを作成するマップ作成部と、
前記分布マップと前記画像特徴マップとを照合して、前記分布マップに対応する前記画像特徴マップ上の位置を検出し、前記実画像特徴の絶対位置を推定する特徴位置推定部と、
前記実画像特徴の絶対位置と前記実画像特徴の位置情報とに基づいて、自己の絶対位置を推定する自己位置推定部と
を備えた自律移動体。 - 前記特徴抽出部が、視野の異なる複数の前記撮像画像と前記距離画像とを用いて、前記非対称な位置関係にある複数の実画像特徴を検出する
請求項1記載の自律移動体。 - 前記画像特徴マップ及び前記分布マップは、2Dグリッドマップ、高さ情報を有する2Dグリッドマップ又はボクセルグリッドであって、
前記特徴位置推定部は、前記画像特徴マップと前記分布マップとをパーティクルフィルタを用いて照合する
請求項1又は請求項2記載の自律移動体。 - 環境を撮像した画像から抽出した画像特徴と前記画像特徴の絶対位置とを対応付けた画像特徴マップを記憶するマップ記憶ステップと、
自律移動体の画像取得部が前記自律移動体周囲の撮像画像と距離画像とを取得する画像取得ステップと、
前記撮像画像から実画像特徴を抽出し、前記距離画像を用いて前記画像取得部に対する前記実画像特徴の位置情報を取得する特徴抽出ステップと、
非対称な位置関係にある複数の前記実画像特徴と前記複数の実画像特徴の位置情報とを対応付けた前記実画像特徴の分布マップを作成するマップ作成ステップと、
前記分布マップと前記画像特徴マップとを照合して、前記分布マップに対応する前記画像特徴マップ上の位置を検出し、前記実画像特徴の絶対位置を推定する特徴位置推定ステップと、
前記実画像特徴の絶対位置と前記実画像特徴の位置情報とに基づいて、前記自律移動体の絶対位置を推定する移動体位置推定ステップと
を有する自律移動体の位置推定方法。 - 前記特徴抽出ステップでは前記複数の実画像特徴が非対称な位置関係にあるどうかを判断し、
前記特徴抽出ステップで前記複数の実画像特徴が非対称な位置関係にないと判断したときに、前記画像取得部が視野を変更し、前記画像取得ステップと前記特徴抽出ステップとを改めて実行する
請求項4記載の自律移動体の位置推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015143090A JP6390540B2 (ja) | 2015-07-17 | 2015-07-17 | 自律移動体及び自律移動体の位置推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015143090A JP6390540B2 (ja) | 2015-07-17 | 2015-07-17 | 自律移動体及び自律移動体の位置推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017027213A JP2017027213A (ja) | 2017-02-02 |
JP6390540B2 true JP6390540B2 (ja) | 2018-09-19 |
Family
ID=57950554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015143090A Active JP6390540B2 (ja) | 2015-07-17 | 2015-07-17 | 自律移動体及び自律移動体の位置推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6390540B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107728616B (zh) * | 2017-09-27 | 2019-07-02 | 广东宝乐机器人股份有限公司 | 移动机器人的地图创建方法及移动机器人 |
WO2019111702A1 (ja) * | 2017-12-05 | 2019-06-13 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
KR20200037548A (ko) | 2018-10-01 | 2020-04-09 | 삼성전자주식회사 | 차량 충전 로봇 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001307072A (ja) * | 2000-04-21 | 2001-11-02 | Canon Inc | 認識システム、認識装置、認識方法および記憶媒体 |
JP5148669B2 (ja) * | 2000-05-26 | 2013-02-20 | 本田技研工業株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
-
2015
- 2015-07-17 JP JP2015143090A patent/JP6390540B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017027213A (ja) | 2017-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6314712B2 (ja) | 部屋情報推定装置、部屋情報推定方法、および空気調和装置 | |
JP5172010B2 (ja) | Rgb及び奥行き計測ハイブリッドカメラセンサを使用する長方形テーブル検知 | |
US9911226B2 (en) | Method for cleaning or processing a room by means of an autonomously mobile device | |
JP6282498B2 (ja) | 画像処理装置、その方法、及び、そのプログラム | |
JP5343042B2 (ja) | 点群データ処理装置および点群データ処理プログラム | |
JP6390540B2 (ja) | 自律移動体及び自律移動体の位置推定方法 | |
KR20170087387A (ko) | 다수의 맵 관리 및 위치 재인식을 통한 청소 방법 | |
US9305355B2 (en) | Photograph localization in a three-dimensional model | |
US20120155745A1 (en) | Apparatus and method for extracting correspondences between aerial images | |
JP2014002033A5 (ja) | ||
US20130274987A1 (en) | Luggage case and luggage case moving method | |
US20180074509A1 (en) | Method for processing a floor | |
JP6380685B2 (ja) | 寸法計測装置 | |
US20190379836A1 (en) | Sensor control device, object search system, object search method, and program | |
US10304184B2 (en) | Non-transitory computer readable recording medium storing program for patient movement detection, detection method, and detection apparatus | |
US20210348927A1 (en) | Information processing apparatus, information processing method, and recording medium | |
JP2015125685A (ja) | 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム | |
US20180158203A1 (en) | Object detection device and object detection method | |
KR101706092B1 (ko) | 3차원 물체 추적 방법 및 장치 | |
KR20090090983A (ko) | 복수의 카메라 영상을 이용한 공간좌표 추출방법 | |
Ribacki et al. | Vision-based global localization using ceiling space density | |
CN111199533A (zh) | 图像处理装置 | |
KR20160052256A (ko) | 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법 | |
JP5444431B2 (ja) | 制御システム | |
US11823414B2 (en) | Information processing device, information processing method, and information processing non-transitory computer readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180806 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6390540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |