JP4645601B2 - 環境地図の生成方法及び移動ロボット - Google Patents

環境地図の生成方法及び移動ロボット Download PDF

Info

Publication number
JP4645601B2
JP4645601B2 JP2007031877A JP2007031877A JP4645601B2 JP 4645601 B2 JP4645601 B2 JP 4645601B2 JP 2007031877 A JP2007031877 A JP 2007031877A JP 2007031877 A JP2007031877 A JP 2007031877A JP 4645601 B2 JP4645601 B2 JP 4645601B2
Authority
JP
Japan
Prior art keywords
area
plane detection
position data
environment map
dimensional position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007031877A
Other languages
English (en)
Other versions
JP2008197884A (ja
Inventor
豊 高岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2007031877A priority Critical patent/JP4645601B2/ja
Priority to US12/526,279 priority patent/US7987021B2/en
Priority to PCT/JP2008/051029 priority patent/WO2008099652A1/ja
Priority to EP08703856.8A priority patent/EP2124122B1/en
Publication of JP2008197884A publication Critical patent/JP2008197884A/ja
Application granted granted Critical
Publication of JP4645601B2 publication Critical patent/JP4645601B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、移動ロボットが移動する環境に関する地図情報(以下、環境地図と呼ぶ)を移動ロボットの移動に応じて逐次生成する方法に関する。
自律的に移動経路を判断して移動する移動ロボットは、環境地図が予め与えられている場合を除き、ステレオカメラやレンジセンサ等の視覚センサによって得られる計測データを用いて環境地図を生成することが必要である。さらに、移動ロボットの移動に応じて移動ロボットの周囲環境は刻々と変化するため、移動ロボットは、自身の移動に伴って、環境地図を生成する処理を繰り返し実行する必要がある。
例えば、脚式移動ロボットの歩行は、環境地図を参照することによって足平を着地可能な領域を判断し、足平の着地位置を順次計画することで実現される。したがって、脚式移動ロボットは、足平を着地可能な床面に属する領域とそれ以外の障害物領域とを区別することが可能な環境地図を生成する必要がある。このような環境地図の具体例は、ステレオカメラやレンジセンサ等の視覚センサによって得られた視差画像、計測対象との距離情報等の計測情報をもとに算出された3次元位置データ群から平面群を検出することで得られる環境地図である。例えば特許文献1には、3次元位置データ群から平面パラメータを算出することで、脚式移動ロボットの足平が接している床面を含む複数平面を検出し、これら複数平面の検出結果を用いて障害物領域と移動可能領域とが特定された環境地図を生成する技術が開示されている。
特開2005−92820号公報 特開平2−224986号公報
3次元位置データ群から平面を検出する手法としてハフ変換を用いた平面検出手法やランダムサンプリングによる平面検出手法などが知られている。しかしながら、従来知られているいずれの平面検出手法によっても、平面パラメータを推定するためのアルゴリズムの実行に要する計算量は大きなものである。従来の移動ロボットは、3次元位置データ群が得られるたびに、3次元位置データ群の全体領域、つまり3次元位置データ群の全ての計測点の位置情報を用いて平面検出を実行することで環境地図を生成している。このため、環境地図の生成に要する演算時間が長く、環境地図の生成待ち時間が移動ロボットの高速移動の制約になる等の問題がある。
本発明は、上述した事情を考慮してなされたものであり、環境地図の生成に要する演算時間を短縮させることが可能な環境地図の生成方法及び移動ロボットの提供を目的とする。
本発明の第1の態様にかかる環境地図の生成方法は、移動ロボットが移動を行う環境に関して、障害物が存在する障害物領域と前記移動ロボットが移動可能と推定される移動可能領域とが特定された環境地図を生成する方法ある。本態様にかかる方法は、(1)視覚センサにより得られた計測情報を用いて、前記環境に存在する計測対象の位置を示す3次元位置データ群を生成する処理と、(2)過去に生成された前記環境地図である旧環境地図及び前記移動ロボットの移動量に基づいて、前記3次元位置データ群に含まれる3次元位置データのうち、少なくとも、前記旧環境地図において障害物領域とされた領域に属する3次元位置データ、及び、前記旧環境地図に含まれていない未観測領域に属する3次元位置データを平面検出対象データに選択する処理と、(3)前記平面検出対象データを用いて平面検出を実行する処理と、(4)前記平面検出の結果を用いて、前記平面検出対象データに含まれる移動可能領域及び障害物領域を認識する処理と、(5)前記平面検出の結果を用いて認識された移動可能領域及び障害物領域と、前記旧環境地図において移動可能領域とされた領域を統合して新たな環境地図である新環境地図を生成する処理とを含む。
このように、過去に行われた平面検出結果、具体的にはこれが反映された旧環境地図を利用して、3次元位置データ群の中から平面検出対象データを選択する。これによって、前に平面検出を行ったのと同じ領域に属する3次元位置データに対して繰り返し平面検出を行わなくて済む。したがって、平面検出に要する演算量を大きく削減することができ、新環境地図の生成に要する時間を短縮することができるため、環境地図の生成待ち時間が移動ロボットの高速移動の制約となることを緩和させることができる。
本発明の第2の態様にかかる方法は、前記本発明の第1の態様にかかる方法において、前記平面検出対象データの選択を、前記移動ロボットの移動量に応じて前記旧環境地図の座標系を前記3次元位置データ群の座標系に変換し、座標変換された前記旧環境地図と前記3次元位置データ群との重なりを判定することにより行うものである。これにより、新たに生成された3次元位置データ群のうち、旧環境地図の生成に際して平面検出の対象とされているデータを速やかに判定することができる。
本発明の第3の態様にかかる方法は、前記本発明の第1又は第2の態様にかかる方法における平面検出対象データの選択において、前記旧環境地図において障害物領域とされた領域の近傍に位置する3次元位置データを前記平面検出対象データに含めるものである。旧環境地図のおける障害物領域の周辺データまで含めて平面検出を行うことで、障害物領域の認識精度を向上させることができる。
本発明の第4の態様にかかる移動ロボットは、障害物が存在する障害物領域と障害物がなく移動可能と推定される移動可能領域とが特定された環境地図を利用することで障害物が存在する環境内を移動する移動ロボットである。当該移動ロボットは、前記環境を視覚的に認識する視覚センサと、前記視覚センサにより得られる計測情報を用いて、前記環境に存在する計測対象の位置を示す3次元位置データ群を生成する3次元位置データ生成部と、過去に生成された前記環境地図である旧環境地図及び前記移動ロボットの移動量に基づいて、前記環境の3次元位置データ群の中から平面検出の対象とする平面検出対象データを選択する平面検出対象データ選択部と、前記平面検出対象データを用いて平面検出を行う平面検出部と、前記平面検出の結果を用いて、前記平面検出対象データに含まれる移動可能領域及び障害物領域を認識する領域認識部と、前記領域認識部により認識された移動可能領域及び障害物領域と、過去に生成された環境地図において障害物領域とされた領域を統合して新たな環境地図である新環境地図を生成する環境地図更新生成部とを有する。
つまり、本発明の第4の態様にかかる移動ロボットは、過去に行われた平面検出結果、具体的にはこれが反映された旧環境地図を利用して、3次元位置データ群の中から平面検出対象データを選択する。このため、前に平面検出を行ったのと同じ領域に属する3次元位置データに対して繰り返し平面検出を行わなくて済む。したがって、平面検出に要する演算量を大きく削減することができ、新環境地図の生成に要する時間を短縮することができるため、環境地図の生成待ち時間が移動ロボットの高速移動の制約となることを緩和させることができる。
本発明の第5の態様にかかる移動ロボットは、前記本発明の第4の態様にかかる移動ロボットにおいて、前記平面検出対象データ選択部が、前記3次元位置データ群に含まれる3次元位置データのうち、少なくとも、前記旧環境地図において前記障害物領域とされた領域に属する3次元位置データ、及び、前記旧環境地図に含まれていない未観測領域に属する3次元位置データを前記平面検出対象データに選択するものである。これにより、平面検出対象データのデータ量を削減しつつ、かつ、障害物領域の認識精度を向上させることができる。
本発明の第6の態様にかかる移動ロボットは、前記本発明の第4又は第5の態様にかかる移動ロボットにおいて、前記平面検出対象データ選択部が、前記移動ロボットの移動量に応じて前記旧環境地図の座標系を前記3次元位置データ群の座標系に変換し、座標変換された前記旧環境地図と前記3次元位置データ群との重なりを判定することで前記平面検出対象データの選択を行うものである。これにより、新たに生成された3次元位置データ群のうち、旧環境地図の生成に際して平面検出の対象とされているデータを速やかに判定することができる。
本発明の第7の態様にかかる移動ロボットは、前記本発明の第4乃至第6の態様のいずれかにかかる移動ロボットにおいて、前記平面検出対象データ選択部が、前記旧環境地図において障害物領域とされた領域の近傍に位置する3次元位置データを前記平面検出対象データに含めるよう構成されたものである。旧環境地図のおける障害物領域の周辺データまで含めて平面検出を行うことで、障害物領域の認識精度を向上させることができる。
本発明の第8の態様にかかる移動ロボットは、前記本発明の第4乃至第7の態様のいずれかにかかる移動ロボットにおいて、前記視覚センサが、2次元画像における各画素の画素値として距離値を有する距離画像が前記計測情報として得られるレンジセンサ、又は、視差画像が前記計測情報として得られるステレオカメラとして構成されたものである。
本発明により、環境地図の生成に要する演算時間を短縮させることが可能な環境地図の生成方法及び移動ロボットを提供できる。
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
発明の実施の形態1.
本実施の形態にかかるロボット100は、2つの脚リンクを有する脚式移動ロボットである。さらに、ロボット100は環境地図生成装置1を有する。環境地図生成装置1は、視覚センサとしてのレンジセンサ10により得られる距離画像を入力して、障害物が存在する障害物領域と、障害物がなくロボット100の移動が可能と推定される移動可能領域とが特定された環境地図を生成する装置である。ロボット100は、環境地図生成装置1によって生成された環境地図を参照することにより、ロボット100の2つの脚リンクそれぞれの先端に設けられた足平の着地位置を決定する。さらに、ロボット100は、決定された足平着地位置を実現するための動作データを生成し、生成された動作データをもとにロボット100の関節群をアクチュエータによって駆動することで歩行する。
まず始めに図1を参照してロボット100の関節自由度について説明する。図1は、ロボット100を関節と関節間を繋ぐリンクによって示したモデル図である。ロボット100は、頭部101、2本の脚リンクLR及びLL、2本の腕リンクAR及びAL、並びに、これらが連結される体幹部BDにより構成されている。
ロボット100の頭部101には、外部環境の距離画像データを取得するレンジセンサ10が設けられている。なお、距離画像データとは、環境に存在する計測対象までの距離値を各画素の画素値として有する2次元データである。
頭部101を支持する首関節は、ロール方向の関節102、ピッチ方向の関節103及びヨー方向の関節103を有する。右腕リンクARは、肩のピッチ方向の関節105、肩のロール方向の関節106、上腕のヨー方向の関節107、肘のピッチ方向の関節108、手首のヨー方向の関節109を有し、右腕リンクARの末端には手部141Rが設けられている。なお、手部141Rの機構は、保持する物体の形状、種別等によっては決定すればよく、例えば、複数本の指を有する多関節かつ多自由度を有する構造としてもよい。
左腕リンクALは、右腕リンクARと同様の構造を有する。具体的には、左腕リンクALは、5つの関節110乃至114を有し、その末端に手部141Lを有する。
右脚リンクLRは、腰のヨー方向の関節118、腰のピッチ方向の関節119、腰のロール方向の関節120、膝のピッチ方向の関節121、足首のピッチ方向の関節122、足首のロール方向の関節123を有する。足首の関節123の下部には、歩行面と接する足平131Rが設けられている。
左脚リンクLLは、右脚リンクLRと同様の構造を有する。具体的には、左脚リンクLLは、6個の関節124乃至129を有し、その末端に足平131Lを有する。
体幹部143は、ヨー方向の関節115、ロール方向の関節116及びピッチ方向の関節117を有する。
続いて以下では、ロボット100を歩行させるための制御系について説明する。ロボット100の制御系の構成を図2に示す。図2において、レンジセンサ10は、上述したように、ロボット100の外部環境の距離画像データを取得する。なお、レンジセンサ10に代えてステレオカメラを視覚センサとして用いてもよい。つまり、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を備えた複数のカメラを備え、これら複数のカメラによって撮影された画像の視差を利用して距離画像データを生成してもよい。より具体的には、複数のカメラによって撮影した画像データから対応点を検出し、ステレオ視によって対応点の3次元位置を復元する。ここで、複数の撮影画像における対応点の探索は、複数の撮影画像に対する時空間微分の拘束式を用いた勾配法や相関法等の公知の手法を適用して行えばよい。
環境地図生成装置1は、3次元位置データ生成部11、データ選択部12、平面検出部13、領域認識部14及び環境地図更新生成部15を有する。3次元位置データ生成部11は、距離画像データの座標変換を行って3次元位置データ群を生成する。なお、3次元位置データ群とは、距離画像データに含まれる多数の計測点の位置ベクトルを3次元直交座標系で表したデータの集合である。
データ選択部12は、過去に生成された旧環境地図を参照することによって、3次元位置データ群のなかから後述する平面検出部13による平面検出処理に使用するデータ(平面検出対象データ)を選択する。さらに具体的に述べると、旧環境地図を3次元位置データ群に重ねることで、旧環境地図において障害物領域とされた領域に属する3次元位置データと、旧環境地図に含まれていない未観測領域に属する3次元位置データとを平面検出対象データに選択する。なお、旧環境地図の3次元位置データ群への重ね合わせは、旧環境地図が生成されてから3次元位置データ群の基礎となる距離画像が取得されるまでのロボット100の移動量に応じて、旧環境地図を移動させるための座標変換を行えばよい。
平面検出部13は、データ選択部12により選択された3次元位置データ群より平面を検出する。なお、多数の計測点(3次元位置データ群)から平面の方程式を表す3つのパラメータ(平面パラメータ)を検出するために、ハフ変換法やランダムサンプリング法が従来から用いられている。本実施の形態における平面検出には、従来から知られているこれらの手法を適用すればよい。
領域認識部14は、平面検出部13による平面検出結果をもとに、床面領域をロボット100が歩行可能な移動可能領域として認識し、床面とは別の平面が含まれる領域を障害物領域として認識する。なお、床面とは、ロボット100の足平131R及びLが接している平面を意味する。ただし、このような領域認識は一例である。例えば、床面とは高さが異なる平面や斜面であっても、床面との高さの差が所定の値より小さい場合に足平131R及びLを着地させることが可能であれば、これらの平面を移動可能領域として認識してもよい。またさらに、検出された平面の面積と足平131R及びLの面積とを比較した結果によって、その平面を移動可能領域として認識するかを決定してもよい。
環境地図更新生成部15は、領域認識部14によって認識された移動可能領域及び障害物領域と、過去に生成された環境地図である旧環境地図に含まれる移動可能領域を統合して新たな環境地図である新環境地図を生成する。
例えば、図3(a)に示す環境160をロボット100が歩行する場合、床面に相当する平面P1及び障害物161の上面に相当する平面P2が平面検出部13により検出される。また、領域認識部14によって、平面P1が移動可能領域として認識され、平面P2が障害物領域として認識される。このとき、環境地図更新生成部15によって生成される環境地図は、図3(b)に示すようになる。図3(b)の環境地図200は、各グリッドのデータとして領域種別を示す情報、つまり移動可能領域であるか障害物領域であるかを示す識別情報が保持される。図3(b)の例では、床面P11に対応する領域R11が移動可能領域であり、障害物161に対応する領域R12(図3(b)の斜線領域)が障害物領域である。
図2に戻り説明を続ける。歩行計画部16は、環境地図生成装置1によって生成された環境地図を参照して目標位置を決定し、決定した目標位置に到達するための足平131R及びLの着地位置を算出する。
動作生成部17は、歩行計画部16によって生成された足平131R及びLの着地位置を実現するための動作データを生成する。ここで、動作データとは、ロボット100のZMP位置、重心位置、足平131R及びLの位置及び姿勢、並びに、体幹部BDの位置及び姿勢を含む。
制御部18は、動作生成部17によって生成された動作データを入力し、逆運動学演算によって各関節の目標関節角度を算出する。さらに、制御部18は、算出した目標関節角度とエンコーダ20によって計測した現在の関節角度をもとに各関節を駆動するためのトルク制御値を算出する。制御部18によって算出されたトルク制御値に従って各関節を駆動するためのアクチュエータ19を動作させることにより、ロボット100の歩行が行われる。
続いて以下では、環境地図生成装置1による環境地図の生成手順の詳細を図4乃至6を用いて説明する。図4は、環境地図生成装置1による環境地図の生成手順を示すフローチャートである。始めに、ステップS101では、3次元位置データ生成部11が、レンジセンサ10によって取得された距離画像データを用いて3次元位置データ群を生成する。ステップS102では、データ選択部12が、ロボット100の移動量に応じて、旧環境地図を3次元位置データ群に重ね合わせるための座標変換を実行する。
ステップS103では、データ選択部12が、座標変換後の旧環境地図を3次元位置データ群に重ねることで、後に実行される平面検出の対象とすべきデータを3次元位置データ群の中から選択する。具体的には、旧環境地図の障害物領域に含まれるデータ及び旧環境地図に含まれない未観測領域のデータが平面検出対象データとして選択される。なお、旧環境地図の移動可能領域(つまり、足平131R及びLが接している床面に相当する領域)に含まれる3次元位置データは、データ選択部12によって、そのまま移動可能領域に分類される。
ステップS104では、平面検出部13が、平面検出対象データとして選択された3次元位置データから平面を検出する。ステップS105では、領域認識部14が、平面検出部13による平面検出結果をもとに、床面領域をロボット100が歩行可能な移動可能領域として認識し、床面とは別の平面が含まれる領域を障害物領域として認識する。最後に、ステップS106では、環境地図更新生成部15が、新たに認識された移動可能領域及び障害物領域と、旧環境地図に含まれる移動可能領域を統合して新たな環境地図を生成する。
なお、上述した3次元位置データ生成部11、データ選択部12、平面検出部13、領域認識部14及び環境地図更新生成部15により実行される処理は、典型的なコンピュータシステムを用いて実現可能である。具体的には、一定の時間間隔で発生するタイマ割り込みに応じて、図4のフローチャートに示した処理をコンピュータシステムに行わせるためのプログラムをコンピュータシステムに実行させればよい。なお、図4のフローチャートに示した処理をコンピュータシステムに実行させるためのプログラムは、1のプログラムである必要はなく、処理内容により分割された複数のプログラムモジュールによって構成されてもよい。
次に、図5及び6を用いて本発明の実施の形態にかかる環境地図生成方法によって達成される環境地図の生成に要する演算時間の短縮効果について説明する。図5(a)及び(b)は、ロボット100により生成される3次元地図データ群の一例を示している。なお、図5(a)及び(b)は、床面に平行なxy平面に3次元位置データ群がプロットされたものであり、プロットされた各点について高さ情報(z軸方向の位置情報)が存在する。
図5(a)の画像は、旧環境地図の生成に使用される3次元位置データ群であるため、ここでは、前フレーム(i−1フレーム)と呼ぶ。一方、図5(b)の画像は、前フレーム(i−1フレーム)より後に生成される3次元位置データ群であるため、ここでは、現フレーム(iフレーム)と呼ぶ。図5(a)に記載したロボット100が前方(矢印50の方向)に移動することで、前フレームと現フレームとでは3次元位置データ群が変化する。なお、図5(a)及び(b)において破線で囲まれた領域は、床面P11から見て凸段差である障害物161を表している。
次に、図5(b)の3次元位置データPから平面検出対象データがどのように選択されるかについて図6を用いて説明する。図6(a)及び(b)は、図5(a)及び(b)と同一の前フレームの3次元位置データPi−1及び現フレームの3次元位置データPを示している。図6(c)は、図6(a)の3次元位置データPi−1をもとに生成された環境地図Mi−1を示している。環境地図Mi−1において、領域R21は、床面P11に対応する移動可能領域である。また、領域R22は、障害物161に対応する障害物領域である。
図6(d)は、環境地図Mi−1を座標変換したF(Mi−1)を現フレームの3次元位置データPに重ねることによって、平面検出対象データが選択される様子を示す概念図である。環境地図Mi−1の座標変換F(Mi−1)は、以下の(1)式により一般的に表される。(1)式においてRは回転行列であり、tは平行移動ベクトルである。回転行列R及び平行移動ベクトルtは、エンコーダ20等の計測情報より得られるロボット100の移動量及び姿勢変化を反映して決定される。
Figure 0004645601
図6(d)の破線領域は座標変換された環境地図F(Mi−1)を示している。また、図6(d)の実線で囲まれた領域R31及びR32は、平面検出対象データとされる領域を示している。ここで、領域R31は、環境地図Mi−1に含まれていない未観測領域である。一方、領域R32は、環境地図Mi−1における障害物領域R22を含むよう選択された領域である。なお、領域R32のように、前フレームの障害物領域R22の周辺データまで含めて平面検出を行うことで、平面検出対象データのデータ量は大きくなるもの、障害物領域の認識精度を向上させることができる利点がある。
図6(d)に示すように、前フレームの平面検出結果、具体的にはこれが反映された環境地図Mi−1における移動可能領域(領域R21)の大部分を新たな平面検出の対象から除外することにより、平面検出に要する演算量を大きく削減することができる。
以上に述べたように、本実施の形態にかかるロボット100は、過去に行われた平面検出結果が反映された旧環境地図を利用して、3次元位置データ群の中から平面検出対象データを選択する。これにより、前に平面検出を行ったのと同じ領域に属する3次元位置データに対して繰り返し平面検出を行わなくて済むため、平面検出に要する演算量を大きく削減することができる。したがって、環境地図の生成に要する時間を短縮することができるため、環境地図の生成待ち時間がロボット100の高速移動の制約となることを緩和することができる。
その他の実施の形態.
発明の実施の形態1では、ロボット100が、図3(b)に示すような環境地図を生成
することとした。つまり、図3(b)の環境地図200は、各グリッドのデータとして領域種別、つまり移動可能領域であるか障害物領域であるかを示す識別情報が保持する。しかしながら、このような環境地図の構成は一例に過ぎない。例えば、図3(b)と同様の2次元の環境地図において、各グリッドのデータとして、z軸方向の高さを保持してもよい。また、各グリッドのデータとして、各グリッドが属する平面を一意に識別可能な平面IDを保持してもよいし、各グリッドが属する平面の法線ベクトル(na,nb,nc)の値を保持してもよい。このような環境地図によっても、足平131R及びLが接している床面と同じ平面又は床面との高さの差が所定範囲内である平面を移動可能領域とし、それ以外の平面を障害物領域と判定することで、移動可能領域及び障害物領域を特定可能である。
また、発明の実施の形態1では、旧環境地図の障害物領域又は旧環境地図に含まれていない未観測領域に属する3次元位置データを平面検出対象データとした。しかしながら、例えば、未観測領域に属する3次元位置データのみを平面検出対象データとしてもよい。これにより、平面検出対象データのデータ量をよりいっそう削減できる。
また、発明の実施の形態1は、脚式移動ロボットに本発明を適用した一例を示したが、車輪等のその他の移動手段を有する移動ロボットに対しても本発明を適用可能である。
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
本発明の実施の形態にかかる脚式移動ロボットのモデル図である。 本発明の実施の形態にかかる脚式移動ロボットが有する制御系のブロック構成図である。 本発明の実施の形態にかかる脚式移動ロボットが移動する環境の一例及び環境地図の一例を示す図である。 本発明の実施の形態にかかる環境地図生成装置の処理内容を示すフローチャートである。 本発明の実施の形態にかかる環境地図生成方法を説明するための図である。 本発明の実施の形態にかかる環境地図生成方法を説明するための図である。
符号の説明
1 環境地図生成装置
10 レンジセンサ
11 3次元位置データ生成部
12 データ選択部
13 平面検出部
14 領域認識部
15 環境地図更新生成部
16 歩行計画部
17 動作生成部
18 制御部
19 アクチュエータ
20 エンコーダ
100 脚式移動ロボット
101 頭部
102〜129 関節
131R、131L 足平
141R、141L 手部
160 環境
161 障害物
P11 床面
200 環境地図
LR 右脚リンク
LL 左脚リンク
AR 右腕リンク
AL 左腕リンク
BD 体幹部

Claims (7)

  1. 移動ロボットが移動を行う環境に関して、障害物が存在する障害物領域と前記移動ロボットが移動可能と推定される移動可能領域とが特定された環境地図を生成するための環境地図の生成方法あって、
    視覚センサにより得られた計測情報を用いて、前記環境に存在する計測対象の位置を示す3次元位置データ群を生成し、
    過去に生成された前記環境地図である旧環境地図及び前記移動ロボットの移動量に基づいて、前記3次元位置データ群に含まれる3次元位置データの中から、少なくとも、前記旧環境地図において障害物領域とされた領域に属する3次元位置データ、及び、前記旧環境地図に含まれていない未観測領域に属する3次元位置データを平面検出対象データに選択し、
    前記平面検出対象データを用いて平面検出を実行し、
    前記平面検出の結果を用いて、前記平面検出対象データに含まれる移動可能領域及び障害物領域を認識し、
    前記平面検出の結果を用いて認識された移動可能領域及び障害物領域と、前記旧環境地図において移動可能領域とされた領域を統合して新たな環境地図である新環境地図を生成する、環境地図の生成方法であって、
    前記平面検出対象データは、前記旧環境地図において移動可能領域とされた領域に属する3次元位置データの一部を含むことはあっても全部は含まない、
    環境地図の生成方法。
  2. 前記平面検出対象データの選択は、前記移動ロボットの移動量に応じて前記旧環境地図の座標系を前記3次元位置データ群の座標系に変換し、座標変換された前記旧環境地図と前記3次元位置データ群との重なりを判定することにより行われる請求項1に記載の環境地図の生成方法。
  3. 前記平面検出対象データの選択前記旧環境地図において移動可能領域とされた領域に属する3次元位置データの一部を前記平面検出対象データに加えることを特徴とし、前記一部のデータは、前記旧環境地図において障害物領域とされた領域に隣接する3次元位置データを含むことを特徴とする請求項1又は2に記載の環境地図の生成方法。
  4. 障害物が存在する障害物領域と障害物がなく移動可能と推定される移動可能領域とが特定された環境地図を利用することで障害物が存在する環境内を移動する移動ロボットであって、
    前記環境を視覚的に認識する視覚センサと、
    前記視覚センサにより得られる計測情報を用いて、前記環境に存在する計測対象の位置を示す3次元位置データ群を生成する3次元位置データ生成部と、
    過去に生成された前記環境地図である旧環境地図及び前記移動ロボットの移動量に基づいて、前記3次元位置データ群に含まれる3次元位置データの中から、少なくとも、前記旧環境地図において障害物領域とされた領域に属する3次元位置データ、及び、前記旧環境地図に含まれていない未観測領域に属する3次元位置データを平面検出対象データ選択する平面検出対象データ選択部と、
    前記平面検出対象データを用いて平面検出を行う平面検出部と、
    前記平面検出の結果を用いて、前記平面検出対象データに含まれる移動可能領域及び障害物領域を認識する領域認識部と、
    前記領域認識部により認識された移動可能領域及び障害物領域と、過去に生成された環境地図において移動可能領域とされた領域を統合して新たな環境地図である新環境地図を生成する環境地図更新生成部と、
    を備え
    前記平面検出対象データは、前記旧環境地図において移動可能領域とされた領域に属する3次元位置データの一部を含むことはあっても全部は含まない、
    移動ロボット。
  5. 前記平面検出対象データ選択部は、前記移動ロボットの移動量に応じて前記旧環境地図の座標系を前記3次元位置データ群の座標系に変換し、座標変換された前記旧環境地図と前記3次元位置データ群との重なりを判定することで前記平面検出対象データの選択を行う請求項に記載の移動ロボット。
  6. 前記平面検出対象データ選択部は、前記旧環境地図において移動可能領域とされた領域に属する3次元位置データの一部を前記平面検出対象データに加えることを特徴とし、前記一部のデータは、前記旧環境地図において障害物領域とされた領域に隣接する3次元位置データを含むことを特徴とする請求項4又は5に記載の移動ロボット。
  7. 前記視覚センサは、2次元画像における各画素の画素値として距離値を有する距離画像が前記計測情報として得られるレンジセンサ、又は、視差画像が前記計測情報として得られるステレオカメラである請求項4乃至のいずれかに記載の移動ロボット。
JP2007031877A 2007-02-13 2007-02-13 環境地図の生成方法及び移動ロボット Expired - Fee Related JP4645601B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007031877A JP4645601B2 (ja) 2007-02-13 2007-02-13 環境地図の生成方法及び移動ロボット
US12/526,279 US7987021B2 (en) 2007-02-13 2008-01-18 Environment map generating method and mobile robot
PCT/JP2008/051029 WO2008099652A1 (ja) 2007-02-13 2008-01-18 環境地図の生成方法及び移動ロボット
EP08703856.8A EP2124122B1 (en) 2007-02-13 2008-01-18 Environment map drawing method and mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007031877A JP4645601B2 (ja) 2007-02-13 2007-02-13 環境地図の生成方法及び移動ロボット

Publications (2)

Publication Number Publication Date
JP2008197884A JP2008197884A (ja) 2008-08-28
JP4645601B2 true JP4645601B2 (ja) 2011-03-09

Family

ID=39689898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007031877A Expired - Fee Related JP4645601B2 (ja) 2007-02-13 2007-02-13 環境地図の生成方法及び移動ロボット

Country Status (4)

Country Link
US (1) US7987021B2 (ja)
EP (1) EP2124122B1 (ja)
JP (1) JP4645601B2 (ja)
WO (1) WO2008099652A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101581936B (zh) * 2008-05-16 2012-01-25 深圳富泰宏精密工业有限公司 利用手机控制两足式机器人的系统及方法
US8250143B2 (en) * 2008-12-10 2012-08-21 International Business Machines Corporation Network driven actuator mapping agent and bus and method of use
JP2010170288A (ja) * 2009-01-22 2010-08-05 Hitachi Ltd 3次元モデリング装置
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
EP2353799B8 (de) * 2010-02-05 2018-08-08 KUKA Deutschland GmbH Verfahren und Vorrichtung zur Überwachung eines Manipulatorraumes
KR20110097140A (ko) * 2010-02-24 2011-08-31 삼성전자주식회사 이동 로봇의 위치 추정 장치 및 방법
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
JP5959899B2 (ja) * 2012-03-30 2016-08-02 本田技研工業株式会社 接触状態推定装置
CN102662399B (zh) * 2012-05-09 2014-10-22 江苏科技大学 一种面向多目标的水果采摘机器人的路径优化方法
KR101965739B1 (ko) * 2012-05-25 2019-04-05 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
KR101441187B1 (ko) * 2012-07-19 2014-09-18 고려대학교 산학협력단 자율 보행 로봇 경로 계획 방법
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
JP6393991B2 (ja) 2014-01-24 2018-09-26 トヨタ自動車株式会社 ロボット、及びその制御方法
JP6003942B2 (ja) * 2014-04-24 2016-10-05 トヨタ自動車株式会社 動作制限装置及び動作制限方法
CN103926930A (zh) * 2014-05-07 2014-07-16 重庆邮电大学 一种基于Hilbert曲线探测的多机器人协作地图构建方法
US9427872B1 (en) * 2014-12-21 2016-08-30 Google Inc. Devices and methods for encoder calibration
US10201901B2 (en) * 2015-01-29 2019-02-12 Canon Kabushiki Kaisha Robot apparatus, method for controlling robot, program, and recording medium
CN108602187A (zh) * 2015-09-09 2018-09-28 碳机器人公司 机械臂系统和物体躲避方法
KR102415062B1 (ko) * 2015-12-07 2022-07-01 한화테크윈 주식회사 감시 방법
JP6782903B2 (ja) * 2015-12-25 2020-11-11 学校法人千葉工業大学 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
CN106104206A (zh) * 2016-02-29 2016-11-09 株式会社小松制作所 作业机械的控制系统、作业机械以及作业机械的管理系统
FR3048517B1 (fr) 2016-03-07 2022-07-22 Effidence Robot autonome motorise avec anticipation d'obstacle
US10196104B1 (en) 2016-05-04 2019-02-05 Schaft Inc. Terrain Evaluation for robot locomotion
JP6786264B2 (ja) * 2016-05-27 2020-11-18 株式会社東芝 情報処理装置、情報処理方法、および車両
CN106382916B (zh) * 2016-09-10 2019-06-04 上海大学 自建参考系的双六足机器人复杂地形三维立体测绘系统与方法
KR101798132B1 (ko) 2016-12-26 2017-11-16 한국생산기술연구원 로봇의 충돌 검출 고속화를 위한 작업 환경 모델링 장치 및 방법
JP6917551B2 (ja) * 2017-02-13 2021-08-11 パナソニックIpマネジメント株式会社 ロボット制御方法およびロボット
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
US10915114B2 (en) 2017-07-27 2021-02-09 AI Incorporated Method and apparatus for combining data to construct a floor plan
JP6987566B2 (ja) * 2017-08-07 2022-01-05 三菱重工業株式会社 作業システム及び作業システムの作業方法
JP7101350B2 (ja) * 2017-09-13 2022-07-15 株式会社アルファメディア 画像処理装置および移動支援装置
KR101974073B1 (ko) * 2017-12-19 2019-04-30 (주)이공감 혼합현실을 위한 바닥면 재구성 방법
KR102095120B1 (ko) * 2018-09-10 2020-03-30 한국과학기술원 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법 및 장치
JP7351079B2 (ja) * 2018-11-30 2023-09-27 ソニーグループ株式会社 制御装置、制御方法及びプログラム
CN111414786A (zh) * 2019-03-22 2020-07-14 科沃斯机器人股份有限公司 一种用于与工作机器人信息交互的方法及装置
KR102143349B1 (ko) 2019-03-27 2020-08-11 엘지전자 주식회사 이동 로봇의 제어 방법
CN110275540A (zh) * 2019-07-01 2019-09-24 湖南海森格诺信息技术有限公司 用于扫地机器人的语义导航方法及其系统
JP6995090B2 (ja) 2019-07-11 2022-01-14 日本電子株式会社 自動分析装置および自動分析装置の制御方法
CN111142514B (zh) * 2019-12-11 2024-02-13 深圳市优必选科技股份有限公司 一种机器人及其避障方法和装置
CN113494916B (zh) * 2020-04-01 2024-07-02 杭州萤石软件有限公司 地图构建方法及多足式机器人
CN113538671B (zh) * 2020-04-21 2024-02-13 广东博智林机器人有限公司 地图生成方法、装置、存储介质及处理器
CN111982127A (zh) * 2020-08-31 2020-11-24 华通科技有限公司 LightWeight-3D避障方法
CN114911221B (zh) * 2021-02-09 2023-11-28 北京小米机器人技术有限公司 机器人的控制方法、装置及机器人
CN114029953B (zh) * 2021-11-18 2022-12-20 上海擎朗智能科技有限公司 基于深度传感器确定地平面的方法、机器人及机器人系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003029832A (ja) * 2001-07-13 2003-01-31 Mayekawa Mfg Co Ltd 2次元マップ作成方法及びその装置
JP2003266349A (ja) * 2002-03-18 2003-09-24 Sony Corp 位置認識方法、その装置、そのプログラム、その記録媒体及び位置認識装置搭載型ロボット装置
JP2003266345A (ja) * 2002-03-18 2003-09-24 Sony Corp 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置
JP2005092820A (ja) * 2003-09-19 2005-04-07 Sony Corp 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP2005181099A (ja) * 2003-12-19 2005-07-07 Matsushita Electric Ind Co Ltd 経路誘導装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224986A (ja) 1989-02-22 1990-09-06 Toshiba Corp 多脚移動機構
JPH04291405A (ja) * 1991-03-20 1992-10-15 Nec Corp 走行路構造認識方法及びその装置
JP3279610B2 (ja) * 1991-11-21 2002-04-30 マツダ株式会社 環境認識装置
JPH07271978A (ja) 1994-03-29 1995-10-20 Toshiba Corp 画像処理装置
US5978504A (en) * 1997-02-19 1999-11-02 Carnegie Mellon University Fast planar segmentation of range data for mobile robots
JP4233723B2 (ja) * 2000-02-28 2009-03-04 本田技研工業株式会社 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体
JP4429461B2 (ja) * 2000-03-17 2010-03-10 本田技研工業株式会社 画像処理装置、平面検出方法、及び平面検出プログラムを記録した記録媒体
JP4409035B2 (ja) * 2000-03-22 2010-02-03 本田技研工業株式会社 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体
JP4288028B2 (ja) 2001-11-28 2009-07-01 富士通株式会社 平面領域特定方法、及び、画像計測装置
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
WO2004018159A1 (ja) * 2002-08-26 2004-03-04 Sony Corporation 環境同定装置及び環境同定方法、並びにロボット装置
US7127326B2 (en) * 2002-11-15 2006-10-24 Iguana Robotics, Inc. Certain principles of biomorphic robots including foot placement selection using non-geometric visual properties
JP4352148B2 (ja) * 2003-03-14 2009-10-28 独立行政法人科学技術振興機構 移動ロボット用地図作成システム
JP4479372B2 (ja) * 2004-06-25 2010-06-09 ソニー株式会社 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
JP2006239844A (ja) * 2005-03-04 2006-09-14 Sony Corp 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置
JP4241673B2 (ja) * 2005-06-17 2009-03-18 本田技研工業株式会社 移動体の経路生成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003029832A (ja) * 2001-07-13 2003-01-31 Mayekawa Mfg Co Ltd 2次元マップ作成方法及びその装置
JP2003266349A (ja) * 2002-03-18 2003-09-24 Sony Corp 位置認識方法、その装置、そのプログラム、その記録媒体及び位置認識装置搭載型ロボット装置
JP2003266345A (ja) * 2002-03-18 2003-09-24 Sony Corp 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置
JP2005092820A (ja) * 2003-09-19 2005-04-07 Sony Corp 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP2005181099A (ja) * 2003-12-19 2005-07-07 Matsushita Electric Ind Co Ltd 経路誘導装置

Also Published As

Publication number Publication date
EP2124122B1 (en) 2016-03-09
EP2124122A4 (en) 2015-05-06
US20100324769A1 (en) 2010-12-23
EP2124122A1 (en) 2009-11-25
JP2008197884A (ja) 2008-08-28
US7987021B2 (en) 2011-07-26
WO2008099652A1 (ja) 2008-08-21

Similar Documents

Publication Publication Date Title
JP4645601B2 (ja) 環境地図の生成方法及び移動ロボット
US8873831B2 (en) Walking robot and simultaneous localization and mapping method thereof
KR101913332B1 (ko) 이동 장치 및 이동 장치의 위치 인식 방법
JP4961860B2 (ja) ロボット装置及びロボット装置の制御方法
US8761925B2 (en) Robot and method of building map therefor
EP1975046B1 (en) Legged locomotion robot
EP2590042B1 (en) Walking robot performing position recognition using several local filters and a fusion filter
JP2009193240A (ja) 移動ロボット及び環境地図の生成方法
Klingensmith et al. Articulated robot motion for simultaneous localization and mapping (arm-slam)
KR101901588B1 (ko) 물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자 생성 장치
JP5480799B2 (ja) 移動装置およびロボットならびにこれらの制御システム
JP5404519B2 (ja) ロボット、制御システムおよび制御プログラム
KR20170138977A (ko) 보행 로봇 및 그의 위치 인식과 지도 작성을 동시에 수행하는 방법
JP4678007B2 (ja) 環境地図生成方法、及び移動ロボット
JP2014087922A (ja) ロボット制御装置及び方法
JP2008126333A (ja) 脚式移動ロボット及びその歩行計画方法
JP5456557B2 (ja) ロボット、制御システムおよび制御プログラム
Tanaka A simple method to calculate positions in pose tracking to verify work procedures
JP6647143B2 (ja) 機能装置ならびにその制御装置および制御方法
JP2008264946A (ja) 移動ロボット、及び床面形状データの補正方法
Deng et al. High-precision control of robotic arms based on active visual under unstructured scenes
Iwashita et al. Model-based motion tracking system using distributed network cameras
Yussof et al. Development of a contact interaction-based navigation strategy for a biped humanoid robot
Opaso et al. VISUAL SERVOING USING CAMARA IN EFFECTOR
Itoh et al. Development of position estimation systems of mobile robots and humans for mobile intelligent spaces

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4645601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees