JPWO2004052597A1 - ロボット制御装置、ロボット制御方法、及びロボット制御プログラム - Google Patents

Abstract

ロボットを制御するに際し、指示者が音声で指示した内容を音声認識部１３０で認識し、ジェスチャなどにより指示した内容を画像認識部１２０で認識する。障害物の位置が登録された地図データベース１５０と自己位置推定部１４０で推定した現在位置から、移動先と指示された特定位置の周辺の地図を参照し、移動容易度判断部１１２で移動容易度を判断した上で、行動を決定する。ロボットに移動指示が与えられた場合に、状況に応じた対応を可能にする。

Description

本発明は、ロボット制御装置、ロボット制御方法、及びロボット制御プログラムに関し、より詳細には、指示者からの指示内容や移動空間内の状況に応じて適切な移動や応答を行うロボット制御装置、ロボット制御方法、及びロボット制御プログラムに関する。

従来より、様々な目的に応じて行動する自律移動型のロボットが知られているが、これまでのロボットは、一般に、人（指示者）による指示に応じて、指示通りに移動することが予定されている。
しかし、指示された通りにロボットが移動しようとしても、実際には、移動が困難な場合も多くある。例えば、指示者は人であるから、指示しようと考えたことと、実際に発話して指示した内容とが錯誤により一致しない場合もある。このような場合には、指示した場所に障害物等があると、障害物によりロボットの移動が妨げられる。また、指示者が考えたとおりに発話したとしても、ロボットが移動できる能力を超えた段差がある場合もある。このような場合にも同様に、ロボットは段差に妨害されて移動できないことになる。
また、人が通常指示を行うときには、細かく物を特定するとは限らず、「それ（ｔｈａｔ）」とか、「こっち（ｔｈｉｓ）」などと指示語により指示することもある。このような場合に、ロボットが的確に指示を認識できなければ誤動作の原因となり、仮に指示を認識できたとしても、前記したような指示者による指示の錯誤や、不適切な指示によりロボットが移動に失敗したり、障害物に衝突してしまう等、適切な移動ができないこともある。また、指示者から頻繁に「左に〜ｍ、前に〜ｍ移動しろ」というような細かな移動指示が無いとロボットが正確に移動できないのでは、指示者の負荷が大きく、人とロボットの共同作業には不向きである。
このようなロボットの移動に関連する技術としては次のようなものがある。
例えば、特開平５−１１８４３号公報には、移動時の回避行動を短時間かつ簡単なアルゴリズムで実現することを目的とする軌道作成方法が開示されている。この軌道作成方法によれば、ロボットの予定軌道が線分で表現される障害物範囲と交差する場合はその軌道を避け、最短距離で障害物を回避する軌道を再計算して、障害物を回避しながらロボットが移動する。
しかし、この方法では、障害物を回避する軌道を再計算する際に、ロボットが障害物のきわを通るように計算しており、ロボットの動作等に応じたマージンが考慮されていない。そのため、予定軌道通りロボットが移動すると、ロボットの動作によっては障害物と干渉する可能性があった。
また、特開平６−６３８８３号公報には、ロボットが移動すべき領域の外に移動してしまうことを防止するロボット制御装置が開示されている。具体的には、移動領域の境界部分に予め埋設されたデータデポをロボット制御装置が読み取ることによって移動許可領域外へのロボットの移動を防止している。しかし、このロボット制御装置では、予めデータデポを移動領域の境界部分に埋設しておく必要があり、データデポが埋設されていない場所ではロボットが移動すべきでない領域へ移動してしまう可能性があった。
さらに、特開２００１−１８８５５１号公報には、指示者による指示語に応じて応答するロボットの情報処理装置が開示されている。
しかし、このロボットの情報処理装置では、適切な指示語を選択するにとどまり、その指示語により示された場所に到達可能かどうかまでは判断していない。従って、ロボットが指示された場所に移動すると、ロボットが障害物にぶつかる可能性もある。
本発明は、前記した点に鑑みてなされたものである。

本発明の例示的一側面として、マイクと、撮像装置と、自己位置検出装置とを有するロボットを制御するロボット制御装置を提供する。このロボット制御装置は、前記マイクにより集音した音に基づいて指示者の指示内容を認識する音声認識部と、前記撮像装置により撮像した画像に基づいて指示者の指示内容を認識する画像認識部と、前記自己位置検出装置からの出力に基づいて前記ロボットの現在位置を推定する自己位置推定部と、少なくとも障害物の位置が登録された地図データを保持した地図データベースと、前記音声認識部及び前記画像認識部の認識結果に基づき、特定位置への移動が必要か否かを判断する判断部と、前記判断部で、特定位置への移動が必要であると判断された場合、前記自己位置推定部で推定した現在位置と、前記地図データとに基づいて前記特定位置への移動容易度を判断する移動容易度判断部と、移動容易度判断部が判断した移動容易度に応じて行動を決定する行動決定部と、前記行動決定部の決定に応じた行動を実行する行動制御部とを有する。
このような構成を有するロボット制御装置によれば、ロボットが特定位置への移動が必要な指示が与えられた場合に、判断部が移動の必要性を判断し、移動容易度判断部が自己位置推定部で推定した現在位置と、地図データとに基づいてその特定位置への移動容易度を判断し、行動決定部が、移動容易度に応じて行動を決定する。従って、移動容易度が低い（困難な）場合に、指示者に問い合わせたり、移動を止めたり、特定位置まで近づいて止まったりすることで、安全に移動することができる。なお、移動が必要な指示とは、「Ａさんのところへ行ってください」のように特定位置へ移動する指示をする場合はもちろん、「机から資料を取ってきてください」のように移動指示そのものではないが移動が必要な指示も含む意味である。なお、特定位置への移動が必要か否かの判断にあたり、必要に応じ、前記自己位置推定部で推定したロボットの現在位置を参照するよう構成してもよい。
前記ロボット制御装置において、前記移動容易度判断部は、前記特定位置への移動ルートの周囲にある障害物の位置を前記地図データベースから読み出し、前記障害物からの距離に基づいて少なくとも２つ以上の領域を設定し、前記行動決定部は、前記特定位置が含まれる領域及び前記ロボットが存在する領域に応じて行動を決定するよう構成してもよい。
このように、障害物の距離に基づいて少なくとも２つ以上の領域に分けることで、ロボットは移動容易度を判断でき、特定位置が含まれる領域及びロボットが存在する領域に応じて行動を決定するようにすることで、移動容易度に応じた適切な対応を取ることができる。
また、前記移動容易度判断部は、前記自己位置推定部で推定した前記ロボットの現在位置及び前記地図データから、前記特定位置への移動ルートの周囲にある障害物を認識する障害物認識部と、前記障害物認識部が認識した障害物の位置に基づき、前記ロボットが存在すれば前記障害物に干渉する可能性がある領域を警戒領域として設定する警戒領域設定部と、前記警戒領域から所定距離離れるまでの領域をマージン領域として設定するマージン領域設定部と、前記障害物から前記マージン領域よりも離れた領域を安全領域として設定する安全領域設定部とを有し、前記特定位置が含まれる領域、及び前記ロボットが存在する領域が、それぞれ前記警戒領域、マージン領域、安全領域のいずれに該当するかに基づき、前記特定位置への移動容易度を判断するよう構成してもよい。
このように障害物からの距離に応じて移動容易度を警戒領域、マージン領域、安全領域の３段階にわけることで、指示者が移動指示した特定位置の状況に応じた対応を取ることが可能となる。例えば、前記移動容易度判断部で、前記特定位置への移動が困難であると判断した場合に、行動決定部が指示者に対し指示の確認をするよう判断したり、移動容易度判断部が前記特定位置への移動が容易であると判断した場合に、行動決定部がその特定位置へ移動するよう判断したりして、安全かつスムーズな対応が可能になる。つまり、移動容易度判断部で、特定位置への移動が困難であると判断した場合には、指示者の指示が間違いであることが多いので、指示者に対し指示の確認をする。一方、移動容易度判断部で、特定位置への移動が容易と判断された場合には、移動しても、ロボットが何かに干渉する可能性は無く、指示者の指示も間違いではないと考えられるので、このように指示者の指示通り移動する。このようにして、指示者との適切なコミュニケーションを可能にしつつ、スムーズな移動動作を可能にすることができる。
また、前記警戒領域設定部は、障害物の表面の代表点間を直径とする円の位置を求め、この円の位置を利用して前記警戒領域を設定するよう構成してもよい。
一般に、人工物は、直角の角を有している物が多いので、このように障害物の表面の代表点間を直径とする円の位置から警戒領域を設定することで、移動容易度をより適切に判断することができる。
さらに、前記行動決定部は、前記特定位置が含まれる領域、及び前記ロボットが存在する領域に応じて、移動、移動拒否の応答、指示の再確認、停止、減速、加速の少なくともいずれか１つの行動を決定するよう構成してもよい。
このようなロボット制御装置によれば、移動、移動拒否の応答、指示の再確認、停止、減速、加速から適切な行動が選択される。なお、移動しつつ減速のように、２つの行動を選択しても構わない。
また、前記音声認識部は、指示語により指示領域を絞り込む指示範囲特定部を有し、前記行動決定部は、前記指示範囲特定部により絞り込まれた前記指示領域と、前記画像認識部で認識した指示領域との論理積の領域を特定位置と認識するよう構成してもよい。
このようなロボット制御装置によれば、指示者が、「そこ」「これ」「あっち」（ｔｈｅｒｅ，ｔｈｉｓ，ｔｈａｔ ｗａｙ）等の指示語により移動指示をした場合にも、その指示語により示される指示領域を絞り込むことで、容易かつ正確に特定位置を認識することができる。この際、指示語で絞り込まれた指示領域と画像認識部で認識した指示領域との論理積の領域から特定位置を認識することで、より正確な位置を認識することができる。また、音声による指示と、ジェスチャによる指示に矛盾があった場合に、論理積の結果残る領域がなくなることから、矛盾に気づくことができる。
また、前記ロボット制御装置において、前記行動制御部に行動予定を出力させる行動予定伝達部をさらに有するものであってもよい。
このように、行動予定伝達部によりロボットにこれからの行動予定を画面や音声などにより出力させることで、指示者などの周囲の者に行動予定を知らせることができ、その結果、ロボットに指示が正しく伝わっているか確認できるとともに、周囲の者がロボットの動きを予測できる。
また、本発明の他の例示的側面として、ロボットの制御方法を提供する。
すなわち、本発明によるロボット制御方法は、マイクと、撮像装置と、自己位置検出装置とを有するロボットを制御するロボット制御方法であって、前記マイクにより集音した音に基づいて指示者の指示内容を認識し、前記撮像装置により撮像した画像に基づいて指示者の指示内容を認識し、前記自己位置検出装置からの出力に基づいて前記ロボットの現在位置を推定し、前記音で認識した指示内容と、前記画像から認識した指示内容から、特定位置への移動が必要な指示か否かを判断する指示内容識別ステップと、前記指示内容識別ステップにおいて、特定位置への移動が必要な指示と判断された場合に、前記自己位置検出装置からの出力に基づき推定した現在位置と、地図データベースとして備えられた地図データとに基づいて前記特定位置への移動容易度を判断する移動容易度判断ステップと、記移動容易度判断ステップが判断した移動容易度に応じて行動を決定する行動決定ステップと、前記行動決定ステップの決定に応じた行動を実行する行動制御ステップとを有する。
このようなロボット制御方法によれば、指示者が音声により指示した移動指示と、ジェスチャなどにより指示した移動指示の双方を考慮して移動先として指示された特定位置が認識され、さらに、その特定位置への移動の容易度が、地図データ上の障害物との関係で判断される。そして、特定位置がどの領域であるかによってロボットの行動が決定されるので、指示者の移動指示に対し、状況に応じた適切な対応をとることが可能となる。なお、前記指示内容識別ステップにおける特定位置への移動が必要か否かの判断にあたり、必要に応じ、前記推定したロボットの現在位置を参照するよう構成してもよい。
前記ロボット制御方法において、前記移動容易度判断ステップは、前記特定位置への移動ルートの周囲にある障害物の位置を前記地図データベースから読み出し、前記障害物からの距離に応じて所定数の領域を設定し、前記行動決定ステップは、前記特定位置が含まれる領域及び前記ロボットが存在する領域に応じて行動を決定してもよい。
このように、障害物の距離に応じて所定数の領域に分けることで、ロボットは移動容易度を判断でき、特定位置が含まれる領域及びロボットが存在する領域に応じて行動を決定するようにすることで、移動容易度に応じた適切な対応を取ることができる。
また、前記ロボット制御方法において、前記移動容易度判断ステップは、前記自己位置検出装置からの出力に基づいて推定した前記ロボットの現在位置及び前記地図データから、前記特定位置への移動ルートの周囲にある障害物を認識する障害物認識ステップと、前記障害物認識ステップで認識した障害物の位置に基づき、前記ロボットが存在すれば前記障害物に干渉する可能性がある領域を警戒領域として設定する警戒領域設定ステップと、前記警戒領域から所定距離離れるまでの領域をマージン領域として設定するマージン領域設定ステップと、前記障害物から前記マージン領域よりも離れた領域を安全領域として設定する安全領域設定ステップとを有し、前記特定位置が含まれる領域、及び前記ロボットが存在する領域が、それぞれ前記警戒領域、マージン領域、安全領域のいずれに該当するかに基づき、前記特定位置への移動容易度を判断するのが好ましい。
このように障害物からの距離に応じて移動容易度を警戒領域、マージン領域、安全領域の３段階にわけることで、指示者が移動指示した特定位置の状況に応じた対応を取ることが可能となる。
さらに、前記警戒領域設定ステップは、障害物の表面の代表点間を直径とする円の位置を求め、この円の位置を利用して前記警戒領域を設定するのが好ましい。
一般に、人工物は、直角の角を有している物が多いので、このように障害物の表面の代表点間を直径とする円の位置から警戒領域を設定することで、移動容易度をより適切に判断することができる。
また、前記行動決定ステップは、前記特定位置が含まれる領域、及び前記ロボットが存在する領域に応じて、移動、移動拒否の応答、指示の再確認、停止、減速、加速の少なくともいずれか１つの行動を決定するのが好ましい。
このようなロボット制御方法によれば、移動、移動拒否の応答、指示の再確認、停止、減速、加速から適切な行動が選択される。なお、移動しつつ減速のように、２つの行動を選択しても構わない。
また、前記指示内容認識ステップは、前記音に含まれる指示語により指示領域を絞り込む指示範囲特定ステップと、前記画像から指示領域を絞り込む画像認識ステップとを有し、前記行動決定ステップは、前記指示範囲特定ステップにより絞り込まれた指示領域と、前記画像認識ステップで認識した指示領域との論理積の領域から特定位置を認識するのが好ましい。
このようなロボット制御方法によれば、指示者が、「そこ」「これ」「あっち」（ｔｈｅｒｅ，ｔｈｉｓ，ｔｈａｔ ｗａｙ）等の指示語により移動指示をした場合にも、その指示語により示される領域を絞り込むことで、容易かつ正確に特定位置を認識することができる。この際、指示語で絞り込まれた指示領域と画像認識ステップで認識した指示領域との論理積の領域から特定位置を認識することで、より正確な位置を認識することができる。また、音声による指示と、ジェスチャによる指示に矛盾があった場合に、論理積の結果残る領域がなくなることから、矛盾に気づくことができる。
さらに、前記ロボット制御方法において、前記行動決定ステップにより決定された行動予定を出力する行動予定伝達ステップをさらに有することもできる。行動決定ステップにより決定された行動予定を、行動予定伝達ステップで、画像や音声により出力させることで、指示者などの周囲の者に行動予定を知らせることができ、その結果、ロボットに指示が正しく伝わっているか確認できるとともに、周囲の者がロボットの動きを予測できる。
また、本発明のさらに別の例示的側面として、ロボットを制御するプログラムを提供する。
すなわち、本発明のロボット制御プログラムは、マイクと、撮像装置と、自己位置検出装置と、少なくとも障害物の位置が登録された地図データを保持した地図データベースとを有するロボットを制御するため、前記ロボットに搭載されたコンピュータを、前記マイクにより集音した音に基づいて指示者の指示内容を認識する音声認識手段と、前記撮像装置により撮像した画像に基づいて指示者の指示内容を認識する画像認識手段と、前記自己位置検出装置からの出力に基づいて前記ロボットの現在位置を推定する自己位置推定手段と、前記音声認識手段及び前記画像認識手段の認識結果に基づき、特定位置への移動が必要か否かを判断する判断手段と、前記判断手段で、特定位置への移動が必要であると判断された場合、前記自前記自己位置推定手段で推定した現在位置と、前記地図データとに基づいて前記特定位置への移動容易度を判断する移動容易度判断手段と、前記移動容易度判断手段が判断した移動容易度に応じて行動を決定する行動決定手段として機能させることを特徴とする。
また、前記ロボット制御装置の構成を記載する際に言及した各機能部分を、前記コンピュータに機能させるように構成したロボット制御プログラムとすることもできる。あるいは、前記ロボット制御方法のステップをその構成要素とし、そのロボットに搭載されたコンピュータに実行させることを特徴とするロボット制御プログラムとしてもよい。
このようなロボット制御プログラムは、ロボットが有する制御用コンピュータに導入することで、前記ロボット制御装置と同様の動作を実現させる。このように、コンピュータプログラムとして構成することで、他の制御方法により駆動されていたロボットに、これらのコンピュータプログラムを導入して、容易に本発明の優れた効果を有するロボットにすることができる。また、このようにコンピュータプログラムとして構成されたロボット制御プログラムは、コンピュータ可読媒体（例えば、磁気記録媒体、光学式記録媒体等）に格納して、あるいは通信（伝送）媒体を介して、容易に流通が可能であり、また容易にアップグレードが可能となる。

第１図は、実施形態に係るロボット制御装置が適用される人間型ロボットの外観図である。
第２図は、ロボットを動作させるための内部構造を示した斜視図である。
第３図は、ロボットの構成図である。
第４図は、制御ユニットの内部構成を示す機能ブロック図である。
第５図は、指示語による指示範囲の絞り込みを説明する図である。
第６図は、指示語による指示範囲の絞り込みを説明する他の図である。
第７図は、領域を設定する方法を説明する図であり、（ａ）、（ｂ）は障害物の位置を認識する方法、（ｃ）は、警戒領域の設定方法、（ｄ）は、マージン領域と安全領域の設定方法を示す。
第８図は、ロボットの周囲に、警戒領域、マージン領域、安全領域を設定した一例を示す図である。
第９図は、指示を認識するまでの処理を示すフローチャートである。
第１０図は、認識した指示に対する応答処理を示すフローチャートである。

次に、本発明の実施形態について適宜図面を参照しながら説明する。
第１図は、本実施形態のロボット制御装置が適用される人間型のロボットＲの外観図である。第１図に示すように、ロボットＲは、人間と同じように２本の脚部Ｒ１により起立、歩行し、上体Ｒ２、腕部Ｒ３、頭部Ｒ４を有し、自律して歩行するロボットである。そして、ロボットＲは、これらの脚部Ｒ１、上体Ｒ２、腕部Ｒ３、頭部Ｒ４の動作を制御する制御装置搭載部Ｒ５を背負う形で背中に備えている。頭部Ｒ４には、後記するＣＣＤカメラ４３、マイク４４、スピーカ４５等が備えられている（第３図参照）。
第２図は、ロボットＲを動作させるための主な内部構造を示した斜視図である。
なお、第２図においては、説明の便宜のためにすべての関節はそれを駆動する電動モータにより示してある。
第２図に示すように、ロボットＲは、左右の脚部Ｒ１にそれぞれ６個の関節１１Ｒ（Ｌ）〜１６Ｒ（Ｌ）を備えている。左右１２個の関節は、股部に設けられた脚回旋用（Ｚ軸まわり）の股関節１１Ｒ，１１Ｌ（右側をＲ、左側をＬとする。以下同じ。）、股部のピッチ軸（Ｙ軸）まわりの股関節１２Ｒ，１２Ｌ、股部のロール軸（Ｘ軸）まわりの股関節１３Ｒ，１３Ｌ、膝部のピッチ軸（Ｙ軸）まわりの膝関節１４Ｒ，１４Ｌ、足首のピッチ軸（Ｙ軸）まわりの足関節１５Ｒ，１５Ｌ、足首のロール軸（Ｘ軸）まわりの足関節１６Ｒ，１６Ｌから構成されている。そして、脚部Ｒ１の下には足部１７Ｒ，１７Ｌが取り付けられている。
すなわち、脚部Ｒ１は、股関節１１Ｒ（Ｌ），１２Ｒ（Ｌ），１３Ｒ（Ｌ）、膝関節１４Ｒ（Ｌ）、足関節１５Ｒ（Ｌ），１６Ｒ（Ｌ）を備える。股関節１１〜１３Ｒ（Ｌ）と膝関節１４Ｒ（Ｌ）は大腿リンク５１Ｒ、５１Ｌで、膝関節１４Ｒ（Ｌ）と足関節１５〜１６Ｒ（Ｌ）は下腿リンク５２Ｒ，５２Ｌで連結されている。
脚部Ｒ１は、股関節１１Ｒ（Ｌ）〜１３Ｒ（Ｌ）を介して上体Ｒ２に連結される。第２図では、脚部Ｒ１と上体Ｒ２との連結部を上体リンク５３として簡略化して示す。上体Ｒ２には腕部Ｒ３及び頭部Ｒ４が連結されると共に、上体Ｒ２を回旋させるための重力軸（Ｚ軸）まわりの関節２１も設けられている。
腕部Ｒ３は、肩部のピッチ軸（Ｙ軸）まわりの肩関節３１Ｒ，３１Ｌ、肩部のロール軸（Ｘ軸）まわりの肩関節３２Ｒ，３２Ｌ、腕部Ｒ３を回旋させるための重力軸（Ｚ軸）まわりの肩関節３３Ｒ，３３Ｌ、肘部のピッチ軸（Ｙ軸）まわりの肘関節３４Ｒ，３４Ｌ、手首を回旋させるための重力軸（Ｚ軸）まわりの腕関節３５Ｒ，３５Ｌ、手首のピッチ軸（Ｙ軸）まわりの手首関節３６Ｒ，３６Ｌ、および同ロール軸（Ｘ軸）まわりの関節３７Ｒ，３７Ｌから構成される。手首の先にはハンド３８Ｒ，３８Ｌが取り付けられている。
すなわち、腕部Ｒ３は、肩関節３１Ｒ（Ｌ），３２Ｒ（Ｌ），３３Ｒ（Ｌ）、肘関節３４Ｒ（Ｌ）、腕関節３５Ｒ（Ｌ）、手首関節３６Ｒ（Ｌ）を備えている。肩関節３１〜３３Ｒ（Ｌ）と肘関節３４Ｒ（Ｌ）は、上腕リンク５４Ｒ（Ｌ）で、肘関節３４Ｒ（Ｌ）と手首関節３６Ｒ（Ｌ）は下腕リンク５５Ｒ（Ｌ）で連結されている。
そして、頭部Ｒ４は、頭部Ｒ４のチルト角を変更する首関節４１と、パンを変更する首関節４２とを有している。
このような構成により、脚部Ｒ１は左右の足について合計１２の自由度を与えられ、歩行中にこれらの６＊２＝１２個の関節を適宜な角度で駆動することで、足全体に所望の動きを与えることができ、任意に３次元空間を歩行させることができる（この明細書で「＊」は乗算を示す）。また、腕部Ｒ３も左右の腕についてそれぞれ７つの自由度を与えられ、これらの関節を適宜な角度で駆動することで所望の作業を行わせることができる。
尚、第２図に示す如く、足関節の下方の足部１７Ｒ（Ｌ）には公知の６軸力センサ６１が設けられ、ロボットに作用する外力のうち、床面からロボットに作用する床反力の３方向成分Ｆｘ，Ｆｙ，Ｆｚとモーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚとを検出する。
さらに、手首関節とハンド３８Ｒ（Ｌ）の間には同種の６軸力センサ６２が設けられ、ロボットに作用するそれ以外の外力、特に作業対象物から受ける前記した対象物反力の３方向成分Ｆｘ，Ｆｙ，Ｆｚとモーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚとを検出する。
また、上体Ｒ２には傾斜センサ６３が設置され、重力軸に対する傾きとその角速度を検出する。また各関節の電動モータは、その出力を減速・増力する減速機（図示せず）を介して前記した大腿リンク５１Ｒ（Ｌ）、下腿リンク５２Ｒ（Ｌ）などを相対変位させると共に、その回転量はロータリエンコーダ（図示せず）によって検出される。
制御装置搭載部Ｒ５には、制御ユニット１００などが収納され、制御ユニット１００には、前記した各センサ６１〜６３などの出力（図示の便宜のためロボットＲの右側についてのみ図示）が送られる。また、各電動モータは制御ユニット１００からの駆動指示信号により駆動される。なお、制御ユニット１００は、本発明のロボット制御装置に相当する。
次に、第３図を参照しながらロボットＲの構成を説明する。第３図は、ロボットＲのブロック図を示す。第３図に示すように、ロボットＲは、制御装置搭載部Ｒ５に収納された制御ユニット１００が制御の中心をなす。制御ユニット１００は、各部に配置されたセンサから信号が入力され、入力された検出値に基づいてロボットＲの行動を決定した上で、各関節などの駆動制御値を算出し、各関節などを動作させる。
制御ユニット１００は、中央制御装置（ＣＰＵ）１００Ａ、記憶装置１００Ｂ、入出力インタフェース（Ｉ／Ｆ）１００Ｃを有するコンピュータであり、記憶装置１００Ｂに格納されたプログラムに沿って入力された情報を処理することにより、後記する各機能を実行する。
脚部Ｒ１には、前記した各関節１１Ｒ（Ｌ）〜１５Ｒ（Ｌ）と、６軸力センサ６１が備えられ、６軸力センサ６１の検出信号は、制御ユニット１００に入力され、各関節１１Ｒ（Ｌ）〜１５Ｒ（Ｌ）は、制御ユニット１００により駆動される。
上体Ｒ２には、前記した関節２１、傾斜センサ６３に加え、バッテリ２５が備えられている。バッテリ２５の電力は、制御ユニット１００を介して各関節に供給されている。また、傾斜センサ６３の検出信号は、制御ユニット１００に入力され、関節２１は、制御ユニット１００により駆動される。
腕部Ｒ３には、前記した関節３１Ｒ（Ｌ）〜３７Ｒ（Ｌ）、ハンド３８Ｒ（Ｌ）、６軸力センサ６２が備えられている。６軸力センサ６２の検出信号は、制御ユニット１００に入力され、関節３１Ｒ（Ｌ）〜３７Ｒ（Ｌ）、ハンド３８Ｒ（Ｌ）は、制御ユニット１００により駆動される。
頭部Ｒ４には、前記した首関節４１，４２に加え、センサとしてのＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ４３、マイク４４、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信器４６、ジャイロセンサ４７、地磁気センサ４８と、発話のためのスピーカ４５とが備えられている。
ＣＣＤカメラ４３は、発明の開示に記載の「撮像装置」に相当し、ＧＰＳ受信器４６、ジャイロセンサ４７、地磁気センサ４８は、「自己位置検出装置」に相当する。なお、自己位置検出装置としては、これらに限定されず、また、これらのすべてを備える必要は無い。例えばジャイロセンサ４７だけでも良いし、逆に他の装置をさらに備えてもよい。
これらのＣＣＤカメラ４３、マイク４４、ＧＰＳ受信器４６、ジャイロセンサ４７、地磁気センサ４８からの検出信号は、制御ユニット１００に入力され、首関節４１，４２、スピーカ４５は、制御ユニット１００により駆動される。
次に、制御ユニット１００の内部構成をより詳細に説明する。第４図は、制御ユニット１００の内部構成を示す機能ブロック図である。なお、制御ユニット１００内に図示する各構成部の機能は、第３図の記憶装置１００Ｂに格納されたプログラム及びデータに基づいてＣＰＵ１００Ａが演算処理を行うことで実現される。また、第４図においては、各センサ６１〜６３は省略する。
第４図に示すように、制御ユニット１００は、主として画像認識部１２０、音声認識部１３０、自己位置推定部１４０、地図データベース１５０と、これらの情報に基づき行動を決定する主制御部１１０、ならびに主制御部１１０の決定に従い行動を制御する行動制御部１６０とを備えている。
なお、画像認識部１２０は発明の開示に記載の「画像認識手段」に相当し、音声認識部１３０は、「音声識別手段」に相当する。
画像認識部１２０は、２台のＣＣＤカメラ４３，４３が撮像した撮像画像が画像入力部１２７を介して入力され、撮像画像から指示者の指示等を認識する。
ＣＣＤカメラ（撮像装置）４３，４３は、視差の情報を得るために右カメラ及び左カメラの２つからなり、それぞれで撮像された画像が、画像入力部１２７に入力される。ＣＣＤカメラ４３，４３は、ロボットの左右の目に相当するものであり、互いに所定の間隔をあけて、同じ方向を向いて（光軸が平行になるように）ロボットＲの頭部Ｒ４に設置されている。
画像入力部１２７は、フレームグラバにより画像をディジタル化して取り込む部分である。
画像認識部１２０は、指示者の指示を正しく認識するため、距離認識部１２１、移動物体認識部１２２、ジェスチャ認識部１２３、姿勢認識部１２４、顔領域認識部１２５、指示領域認識部１２６を有している。
距離認識部１２１は、２つのＣＣＤカメラ４３，４３から取り込んだ同時刻の撮像画像の視差を、ＣＣＤカメラ４３，４３から撮像対象までの距離情報（より正確には、ＣＣＤカメラ４３，４３の焦点位置から撮像対象までの距離の情報）として反映させ、距離画像を生成する。
視差は、一方のＣＣＤカメラ４３を基準カメラ（例えば右カメラ）として、この右カメラで撮像された画像と、同時刻に左カメラで撮像された画像とで、特定の大きさのブロック（例えば１６×１６画素）でブロックマッチングを行うことで計算される。そして、その視差の大きさ（視差量）を基準撮像画像の各画素に対応付けた距離画像が生成される。
なお、視差をＺとしたとき、この視差Ｚに対応するＣＣＤカメラ４３から物体までの距離Ｄは、ＣＣＤカメラ４３の焦点距離をｆ、右カメラと左カメラとの距離をＢとすると、次の（１）式で求めることができる。
Ｄ＝Ｂ×ｆ／Ｚ …（１）
なお、ＣＣＤカメラ４３，４３は２台に限らず、３台以上のカメラを用いて視認距離を算出することとしてもよい。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて、撮像対象までの距離をより正確に測定することもできる。
移動物体認識部１２２は、画像入力部１２７から入力された撮像画像中において、指示者や動物、自動車など、移動する物体を認識する部分であり、例えば連続または任意の間隔の２フレーム間の差分からオプティカルフローを得て、撮像画像中の動いている物体を抽出する。
ジェスチャ認識部１２３は、指示者が発話による指示とともに行うジェスチャを撮像画像から認識する機能を有する。例えば、出願人が出願した特許出願である特願２００２−０７７６７３（特開２００３−０３９３６５号公報）に開示されているように、移動対象を認識するイメージセンサ（ＣＣＤカメラ）と、イメージセンサで捕捉されたイメージから人間を認識する人間識別部と、人間の手を認識する手認識部と、手認識部により識別された手の動きを予め記憶されている手の特徴的な動きと比較しジェスチャを認識する比較部などを備えて構成するとよい。
姿勢認識部１２４は、指示者が指示をしたときの姿勢を認識する機能を有する。例えば、出願人が出願した特許出願である特願２００２−２３４０６６に開示されているように、撮像画像から人間の候補である物体の輪郭を抽出する輪郭抽出手段と、撮像画像中における前記輪郭内の各画素ごとの距離情報から前記人間の候補である物体までの距離計算を行う距離計算手段と、前記輪郭とこの輪郭の物体までの距離に基づいて人間の手の候補を探索する探索手段と、前記手の候補と前記輪郭との相対的位置に対応する指示を判定して、この判定結果を姿勢認識結果とする姿勢判定手段とを備えて構成するとよい。
顔領域認識部１２５は、撮像画像の中から指示者の顔の領域を検出する機能を有する。例えば、出願人が出願した特許出願である特願２００１−０１３８１８（特開２００２−２１６１２９号公報）に開示されているように、ＣＣＤカメラ４３で撮像されたカラー画像から肌色領域を抽出する抽出手段と、前記カラー画像の奥行き情報を有する距離画像を用い、顔領域の輪郭を与える輪郭モデルを生成する輪郭モデル生成手段と、前記輪郭モデルと前記肌色領域との相関を利用して顔領域を特定する顔領域特定手段とを備えて構成するとよい。
指示領域認識部１２６は、撮像画像を使用して指示者の姿勢又は視線方向を認識することにより指示者が出す指示領域を検出する機能を有する。例えば、出願人が出願した特許出願である特願２００２−２３１８９９に記載されているように、撮像画像に基づいて、少なくとも距離情報を含む指示者の頭部位置を検出する手段と、撮像画像に基づいて少なくとも距離情報を含む指示者の手の位置を検出する手段と、前記検出された手の位置に基づいて手先の位置及び手の主軸を算出する手段と、前記検出された頭部位置と手先の位置及び手の主軸に基づいて、指示者が指示する方向を検出する手段を備えるように構成するとよい。また、頭部位置に基づいて目の位置を検出する手段を備え、目の位置と、手先の位置及び手の主軸に基づいて人物が指示する方向を検出するように構成してもよい。
一例として、直感的に説明すると、手の主軸から手の方向ベクトルを決定し、この手の方向ベクトルと、目と手先を結ぶベクトルの合成ベクトルから、指示した方向（位置）を決定することができる。
音声認識部１３０は、予め登録された語彙を参照して、マイク４４からの音声信号を認識して、人の命令や意図を認識する機能を有する。音声認識部１３０は、指示範囲特定部１３１（指示範囲特定手段）を有し、指示範囲特定部１３１は、「ここ」「そっち」（ｈｅｒｅ，ｔｈａｔ ｗａｙ）など、指示語により特定された領域を絞り込む機能を有する。
音声認識部１３０は、画像認識部１２０が認識した指示者とロボットＲの距離等を参考にして、指示語で示された領域を特定する。この処理の一例を第５図及び第６図を参照しながら説明する。
例えば、第５図は、指示語による指示範囲の絞り込みを説明する図である。
第５図に示すように、指示者ＭとロボットＲが十分に離れている状態で、指示者が「ここ」、「これ」、「こっち」、「こちら」（ｈｅｒｅ，ｔｈｉｓ，ｔｈｉｓ ｗａｙ，ｔｈｉｓ ｏｎｅ）などと言った場合には、指示者Ｍに近い場所や物を特定しようとしているのが通常であるから、指示者Ｍから近い距離、例えば指示者Ｍを中心とした半径１ｍの範囲が絞り込まれた領域ａ_１（斜線部分）となる。
なお、指示範囲特定部１３１は、「ここ」（ｈｅｒｅ）と言った場合には、場所を認識する用語として認識し、「これ」（ｔｈｉｓ ｏｎｅ）と言った場合には、物を認識する用語として認識し、漠然と「こっち」、「こちら」（ｔｈｉｓ）などと言った場合には、「ここ」、「これ」（ｈｅｒｅ，ｔｈｉｓ ｏｎｅ）と同義と認識したり、方向を示す用語（ｔｈｉｓ ｗａｙ）として認識したりする。特定位置の決定方法については後述するが、目標物Ｔａの位置が特定位置として決定された場合、ロボットＲから目標物Ｔａに向かう矢印ｖ_ｂ１や指示者Ｍから目標物Ｔａに向かう矢印ｖ_ａ２が「こっち」、「こちら」（ｔｈｉｓ ｏｒ ｔｈｉｓ ｗａｙ）で指示された方向と認識できる。また、特に目標物が見あたらない場合には、指示者Ｍは漠然と自分の周辺を指示しているので、特定位置は指示者Ｍの位置であり、「こっち」、「こちら」（ｔｈｉｓ ｏｒ ｔｈｉｓ ｗａｙ）の意味は指示者Ｍに向かう矢印ｖ_ａ３と認識できる。
また、第６図に示すように、指示者ＭとロボットＲが十分に離れている状態で、指示者が「そこ」、「それ」、「そっち」、「そちら」（ｔｈｅｒｅ，ｔｈａｔ，ｔｈａｔ ｗａｙ，ｔｈａｔ ｏｎｅ）などと言った場合には、指示者Ｍからある程度の距離の場所や物を特定しようとしているのが通常であるから、「ここ」、「これ」、「こっち」、「こちら」（ｈｅｒｅ，ｔｈｉｓ，ｔｈｉｓ ｗａｙ，ｔｈｉｓ ｏｎｅ）で指示するのよりも遠い距離、及び相手のいる周辺を指すのが通常である。そこで、例えば指示者Ｍを中心とした半径１ｍから３ｍの円内の領域ｂ_１（斜線部分）と、ロボットＲを中心とした半径３ｍの円内の領域ｂ_２（斜線部分）とが絞り込まれた領域となる。
なお、指示範囲特定部１３１は、「そこ」と言った場合には、場所を認識する用語として認識し、「それ」と言った場合には、物を認識する用語として認識し、「そっち」、「そちら」などは、「そこ」、「それ」と同義と認識したり、方向を示す用語として認識したりする。特定位置の決定方法については後述するが、目標物Ｔ_ｂ１や目標物Ｔ_ｂ２の位置が特定位置として決定された場合、ロボットＲから目標物Ｔ_ｂ１，目標物Ｔ_ｂ１に向かう矢印ｖ_ｂ１、矢印ｖ_ｂ２、指示者Ｍから目標物Ｔ_ｂ１，目標物Ｔ_ｂ１に向かう矢印ｖ_ｂ１、矢印ｖ_ｂ２が指示された方向と認識できる。また、特に目標物が見つからなかった場合には、漠然とある程度離れた位置を示しており、特定位置は、例えばロボットＲの位置と認識してもよい。この場合、「そっち」、「そちら」はロボットＲに向かう矢印ｖ_ｂ５と認識できる。
日本語等の言語を使用する文化圏には、「ここ」、「これ」、「こっち」、「こちら」（ｈｅｒｅ，ｔｈｉｓ，ｔｈｉｓ ｗａｙ，ｔｈｉｓ ｏｎｅ）等及び「そこ」、「それ」、「そっち」、「そちら」（ｔｈｅｒｅ，ｔｈａｔ，ｔｈａｔ ｗａｙ，ｔｈａｔ ｏｎｅ）等に対応する指示語として、後者より更に遠い領域を指すことば「あそこ」、「あれ」、「あっち」、「あちら」（英語におけるｆａｒｔｈｅｒ ｄｏｗｎ ｔｈｅｒｅ，ｏｖｅｒ ｔｈｅｒｅ，ｅｔｃ．を含意する）等があるため、これらの指示語を用いて、上述と同様の方法で第三の領域が設定される。
すなわち、「あそこ」、「あれ」、「あっち」、「あちら」などと言った場合（ｆａｒｔｈｅｒ ｄｏｗｎ ｔｈｅｒｅ，ｏｖｅｒ ｔｈｅｒｅ等を含意する指示語を使用した場合）には、「そこ」「それ」（ｔｈｅｒｅ，ｔｈａｔ ｏｎｅ）で指す領域よりも遠い領域を指すのが通常であるから、第６図で示す領域ｂ_１，ｂ_２よりも外側の領域が絞り込まれた領域となる。例えば、指示者Ｍを中心とした半径３ｍの円の外側であって、かつ、ロボットＲを中心とした半径３ｍの円の外側となる。
なお、上述同様、指示範囲特定部１３１は、使用される指示語により、場所を認識する用語として認識し、物を認識する用語として認識し、あるいは、方向を示す用語として認識したりする。そして、指示者Ｍから特定位置決定部１１１が決定した特定位置の方向や、画像認識部１２０により認識した指示の方向をその指示語により指示された方向と認識する。
なお、前記した指示語により指し示される領域の決め方は、指示者ＭとロボットＲの距離により変わる。例えば、指示者ＭとロボットＲが広い体育館や運動場などにいて、お互いに２０ｍとか１００ｍ以上離れているような場合には、「ここ」「それ」（ｔｈｉｓ，ｔｈａｔ）等で示すのに基準となる距離は当然のことながら長く設定される。指示者ＭとロボットＲの間にある物については、大きく離れていても、「あれ」（ｏｖｅｒ ｔｈｅｒｅ，ｅｔｃ）とは言わず、「それ」（ｔｈａｔ）と言うのが通常だからである。また、指示語に対応する領域の絞り込み方は必ずしも第５図、第６図を参照し上述したものに限られず、他の方法により行うことも可能である。例えば、第５図に示すように、「こっち」（ｔｈｉｓ ｏｒ ｔｈｉｓ ｗａｙ）という指示語を、ロボットＲから見て指示者Ｍの後方に所定角をもって広がる２点鎖線で示した扇形の領域ａ_３として認識することもできる。また、ロボットＲと指示者Ｍが近い場合には、両者から等距離の境界線より指示者Ｍに近い側を「ここ」「これ」（ｈｅｒｅ，ｔｈｉｓ）で示す領域と設定することもできる（図示せず）。
また、指示者ＭとロボットＲが近い場合には、「ここ」（ｈｅｒｅ）という指示語で絞り込まれる領域と、「そこ」（ｔｈｅｒｅ）という指示語に絞り込まれる領域とが重なることになる。これは、その重なった領域はどちらの指示語により指示されてもその領域内にある物（方向、場所）を認識できるということである。
マイク４４で集音された音は、音声認識部１３０だけでなく、音源定位部１３５にも入力される。音源定位部１３５は、例えばマイク４４をステレオマイクとして、２つ以上のマイク間の音圧差、及び音の到達時間差に基づき音源の位置を検知する。また、音の立ち上がり部分から、音声であるか、衝撃音であるかを推定する。音源定位部１３５で推定した音源の位置及び音声、衝撃音の推定結果は、主制御部１１０へ出力される。
自己位置推定部１４０は、前記した各センサ４６〜４８の信号に基づき自己の位置と向いている方向を推定する機能を有する。自己位置推定部１４０は、発明の開示に記載の「自己位置推定手段」に相当する。自己位置の推定方法としては、狭い部屋内を移動する場合には、ジャイロセンサ４７から算出される移動距離から部屋の地図における自己の位置を推定すればよいし、屋外で移動する場合には、ＧＰＳ受信器４６で検出した緯度、経度の情報と、地磁気センサ４８で検出した方角の検出結果をそのまま自己の位置と推定すればよい。また、各センサ４６〜４８を組み合わせてより高精度に自己位置を推定することもできる。さらに、画像認識部１２０で認識した物体の情報と、地図データベース１５０から読み出した地図データを参照し、これらの情報から推定できる自己位置と、各センサ４６〜４６から推定した自己位置と照合することで、さらに高精度に自己位置を推定することができる。
地図データベース１５０は、少なくとも障害物の位置が登録された地図データを保持している。障害物としては、部屋の中であれば、机、壁、柱、荷物等であり、屋外であれば、建物、電柱などである。また、ステージ上では、ステージの縁を障害物として登録すると、ステージ内だけでスムーズな移動をするのに都合がよい。なお、地図データベース１５０は、必ずしもロボットＲが常に所持する必要はなく、他の場所に設置された様々な地図データを有するコンピュータから無線通信によって、必要に応じてロボットＲに送信される構成としてもよい。
また、画像認識部１２０において静止物体も認識するようにして、静止物体を障害物として地図データベース１５０の地図データに逐次更新するようにすると、状況の変化に適宜対応できるので望ましい。
主制御部１１０は、特定位置決定部１１１、移動容易度判断部１１２、行動決定部１１３、及び判断部１１４を有する。
なお、移動容易度判断部１１２は、発明の開示に記載の「移動容易度判断手段」に相当し、行動決定部１１３は、「行動決定手段」に相当し、判断部１１４は、「判断手段」に相当する。
特定位置決定部１１１は、画像認識部１２０で認識した指示者の指示領域（以下、これを「画像認識指示領域」という）と、音声認識部１３０で絞り込んだ指示者が指示した領域（以下、これを「音声認識指示領域」）とから、移動の目標地として指示者が特定した特定位置を決定する機能を有する。
特定位置決定部１１１による特定位置の決定方法は、例えば３つの場合がある。
第１として、画像認識指示領域と音声認識指示領域が合致しない場合、つまり、両方の論理積の領域を計算した結果、どの領域も残らない場合には、特定位置が認識できないという決定をする。
第２として、画像認識指示領域と音声認識指示領域の論理積により絞り込んだ領域に物体がある場合は、その物体の位置を特定位置と決定する。なお、指示が「そのボールを取ってきてください」のように、「物」に関するものであれば、常に絞り込んだ領域から対象となる物体を検索することになる。検索した結果、物体、例えばボールが複数ある場合は、その中で適当な物を選ぶようにしても良いし、どれのことか指示者に問い合わせるようにしてもよい。また、物体が見つからない場合には、特定位置が認識できないという決定をする。
この第２の場合を図示すると、例えば第５図のようになる。第５図に示すように、音声認識指示領域として絞り込まれた領域ａ_１と、画像認識指示領域として特定された領域（ある幅を持った方向や、ある面積を持つ位置の場合もある）Ｖａの論理積をそれぞれとり、この論理積により絞り込まれた領域ａ_２内にある目標物Ｔａの位置を特定位置とする。
第３として、画像認識指示領域と、音声認識指示領域の論理積により絞り込んだ領域に物体が無い場合に、その絞り込んだ領域の重心位置を概算で求めて特定位置とする方法もある。もちろん、他の幾何学的方法により絞り込んだ領域の一点、例えば、指示者Ｍに最も近い点等を特定位置と決めても構わない。
この第３の場合を図示すると、例えば第６図のようになる。第６図に示すように、音声認識指示領域として絞り込まれた領域ｂ_１，ｂ_２と画像認識指示領域として絞り込まれた領域（ある幅を持った方向や、ある面積を持つ位置の場合もある）Ｖ_ｂ１，Ｖ_ｂ２の論理積をとって領域ｂ_２，ｂ_３を特定し、この領域ｂ_２，ｂ_３のそれぞれの重心を特定位置Ｔ_ｂ１，Ｔ_ｂ２とする。
移動容易度判断部１１２は、特定位置決定部１１１で決定された特定位置への移動の容易さを判断する部分である。この機能のため、移動容易度判断部１１２は、障害物認識部１１２ａ、警戒領域設定部１１２ｂ、マージン領域設定部１１２ｃ、安全領域設定部１１２ｄを有する。これらの各構成については、第７図を参照しながら説明する。
障害物認識部１１２ａ（障害物認識手段）は、地図データベース１５０から読み出したロボットＲの現在位置周辺の地図データ上において、障害物の位置を認識する機能を有する。具体的には、第７図（ａ）に示すようにロボットＲを中心として、等角度（例えば３６０°／１２８）ごとに放射状に直線を引いたと仮定し、この直線と、障害物の表面の交点を求める。地図データにおいて、障害物の表面（境界）をベクトルとして登録しておけば、容易にこの交点を求めることができる。この交点群により、ロボット周囲における障害物の位置を認識することができる。例えば、図中において、障害物の境界線ＯＢ_１０と、ロボットＲからの放射状の直線Ｌ_１０、Ｌ_１１、Ｌ_１２の交点Ｐ_１０，Ｐ_１１，Ｐ_１２を障害物の位置と認識する。
警戒領域設定部１１２ｂ（警戒領域設定手段）は、障害物認識部１１２ａで求めた交点群から、ロボットが存在すれば、障害物に干渉する可能性がある領域を警戒領域ＰＲとして設定する機能を有する。警戒領域ＰＲを設定するのは、障害物の全表面が必ずしも第７図（ａ）で示されるような直線（平面）であるとは限らず、凹凸があったり、障害物の「ずれ」などによって地図データが実状を正確に反映していない可能性もあるからである。
具体的には、第７図（ｂ）に示すように、隣り合う交点間を直径とする円を描きこの円の中心と、ロボットＲの位置とで直線を引く。例えば、図中において、交点Ｐ_１０と交点Ｐ_１１を結ぶ線分Ｄ_１０を直径とする円Ｃ_１０を描き、交点Ｐ_１１と交点Ｐ_１２を結ぶ線分Ｄ_１１を直径とする円Ｃ_１１を描く。ここで、交点間を直径とする円を描くのは、符号ＯＢで示した想定しうる障害物のように、人工物が一般に直角の角を有する場合が多いため、その直角の物がロボット側に張り出すように存在しうる範囲を求めるためである。
そして、円Ｃ_１０、円Ｃ_１１と同一中心でそれぞれ半径ｒだけ大きな円Ｃ_２０、Ｃ_２１を描く。この半径ｒは、ロボットＲの大きさなどに基づいて適宜設定される。
詳細は後述するように、警戒領域ＰＲは、およそこの仮想的障害物ＯＢの角ＡＯＢから線分Ｄ_１０，Ｄ_１１側に広がる領域に設定される。仮に実存する障害物ＯＢの角が丸みを帯びている場合は、ロボットＲが障害物ＯＢに干渉する可能性はより低くなるので、障害物ＯＢは直角の角を有するとして警戒領域ＰＲを決定すれば十分である。
そして、円Ｃ_１０の中心Ｏ_１０とロボットＲを結ぶ線分ｌ_１０、円Ｃ_１１の中心Ｏ_１１とロボットＲを結ぶ線分ｌ_１１を仮想的に描く。さらに、第７図（ｃ）に示すように、線分ｌ_１０と直交し、かつ円Ｃ_２０と接する線分Ｄ_１０′と直線Ｌ_１０，Ｌ_１１との交点Ｐ_１０′，Ｐ_１１′を求める。同様にして、線分ｌ_１１と直交し、かつ円Ｃ_２１と接する線分Ｄ_１１′と直線Ｌ_１１，Ｌ_１２との交点ｐ_１１′，ｐ_１２′を求める。そして、一つの放射状の直線上、例えば直線Ｌ_１１上において、交点Ｐ_１１′，ｐ_１１′のように２つある交点のうち、ロボットＲに近い側の交点ｐ_１１′を警戒領域ＰＲの境界線とする。このように近い側の交点を選択するのは、ロボットＲの移動時により安全な方を選択したものである。そして、このような交点を繋いでいけば、警戒領域ＰＲの境界（Ｐ_１０′−ｐ_１１′−ｐ_１２′を結んだ境界線ＰＲ_１０）が決められ、この境界より障害物側が警戒領域ＰＲとなる。
マージン領域設定部１１２ｃ（マージン領域設定手段）は、警戒領域ＰＲから所定距離離れるまでの領域をマージン領域ＭＧとして設定する部分である。具体的には、第７図（ｄ）に示すように、警戒領域ＰＲの境界線ＰＲ_１０をロボットＲ側に所定距離後退させた線ＰＲ_１１を求め、境界線ＰＲ_１０、境界線ＰＲ_１１、線分Ｌ_１０、及び線分Ｌ_１２で囲まれる領域をマージン領域ＭＧとして設定する。マージン領域ＭＧは、ロボットＲが存在することはできるが、少し警戒領域ＰＲ側へ移動すると、障害物に干渉する可能性がある領域なので、その場所への移動の場合には、それなりの対処をするようにロボットＲが判断する指標となる。
なお、後退させる所定距離は、ロボットＲの大きさ、形状、機能、移動速度、制動距離などにより適宜設定する。例えば、人型のロボット場合には、肩幅に手の振りの量を考慮して、９０ｃｍと設定するなどである。
安全領域設定部１１２ｄ（安全領域設定手段）は、障害物から、前記したマージン領域ＭＧよりさらに離れた領域を安全領域ＳＦとして設定する部分である。具体的には、第７図（ｄ）に示すように、境界線ＰＲ_１１、線分Ｌ_１０、及び線分Ｌ_１２で囲まれる領域（境界線ＰＲ_１１よりもロボットＲに近い領域）を安全領域ＳＦとして設定する。
このようにして、ある範囲について警戒領域ＰＲ、マージン領域ＭＧ、安全領域ＳＦに分割した例を図示すると、第８図のようになる。第８図では、地図データ上で、境界線ＰＲ_１０よりも障害物側を警戒領域ＰＲ、境界線ＰＲ_１０と境界線ＰＲ_１１の間をマージン領域ＭＧ、境界線ＰＲ_１１よりロボットＲに近い側を安全領域ＳＦとして３つの領域に分割している。なお、この領域の分割は、必ずしもロボットＲの周囲全周にわたってする必要は無く、指示者が移動目標地として指示した特定位置の周辺のみについて行えばよい。このように領域分割を必要な範囲（広さ）についてのみ行うことで、計算負荷が軽くなる。もちろん、領域分割を計算する広さは、ＣＰＵ１００Ａの演算能力、ロボットＲの移動能力、移動環境の広さ、環境内の障害物の数などに応じて適宜設定すると良い。また、警戒領域ＰＲは、第７図（ｃ）で例示したように障害物の外周に基づいて設定されるだけでなく、ロボットＲの歩行が困難な床面の凹凸や縁（例えば、ステージの縁）も障害物とみなされ、領域設定される。
警戒領域ＰＲ、マージン領域ＭＧ及び安全領域ＳＦは固定されずに、移動に応じていずれかの領域が拡大されたり縮小されたりするようにしてもよい。例えば、警戒領域ＰＲに実際に移動して何も支障がなかった場合は、その警戒領域ＰＲに侵入した範囲に限って警戒領域ＰＲからマージン領域ＭＧとして設定できるように地図データベース１５０を更新したり、移動速度に応じてマージン領域ＭＧなどの大きさを変化させるようにしてもよい。
また、領域設定は第８図に示したような３つの領域に分類して設定するのには限られず、他の数、例えば２つや５つの領域に分類して設定してもよい。また、障害物に接近するに従って移動容易度が連続的に低減し、それに応じてロボットＲが徐々に移動速度を弱めるように構成してもよい。逆に、ロボットＲが例えばマージン領域ＭＧ内から安全領域ＳＦ内に移動した場合、移動速度を上げてもよい。
行動決定部１１３は、移動容易度判断部１１２が判断した移動容易度に応じて行動を決定する機能を有する。行動決定部１１３の動作としては、様々なパターンを設定することができるが、例をいくつかあげると次のような場合が考えられる。
なお、以下の１）〜９）の例において、移動容易度が「困難」「要注意」「安全」の場合とは、特定位置周辺を前記した３つの領域に分類した場合で当てはめると、それぞれ警戒領域ＰＲ、マージン領域ＭＧ、安全領域ＳＦと対応させることができる。すなわち、指示者によってロボットＲが警戒領域ＰＲに移動するような指示が与えられた場合、移動容易度が「困難」とされ、マージン領域ＭＧに移動するような指示が与えられた場合、移動容易度が「要注意」とされ、安全領域ＳＦに移動するような指示が与えられた場合、移動容易度が「安全」と判断される。
なお、マージン領域ＭＧを「困難」と対応させてもよい。
１）移動容易度が「困難」であると判断された場合に、指示者に指示の再確認をするという行動を取る。例えば、指示者に対し、「移動が困難なので動きません」、「本当にそこへ移動してもいいですか？」または「もう一度指示してください」、「進路上に障害物を発見しました」などと発話する。
２）移動容易度が「困難」であると判断された場合に、とりあえず指示された特定位置に向かって移動し、安全領域ＳＦからマージン領域ＭＧ、警戒領域ＰＲと安全性の低い領域に近付くに従って、段階的に移動速度を低下させるという行動を取る。移動速度を低下させる方法として歩幅を小さくする方法が一例として採りうる。
３）移動容易度が「困難」であると判断された場合に、とりあえず指示された特定位置に近付き、ある距離まで近付いたら、停止して、指示者に確認をするという行動を取る。例えば「ここでいいですか？」、「もっと移動した方がよいですか？」、「進路上に障害物が発見されました」などと発話する。なお、「ある距離まで近付く」代わりに警戒領域ＰＲとマージン領域ＭＧの境界や、指示位置に最も近い安全領域ＳＦ又はマージン領域ＭＧ内で停止するようにしてもよい。
また、ロボットＲの問いかけに対して、所定時間指示者から何も応答が無い場合には、ロボットＲが再度問いかけたり、「応答が無いのでこの場所で停止します」と発声したり、元の位置に戻るなどのリセット行動をとるように構成してもよい。
４）移動容易度が「要注意」と判断された場合に、２）または３）で説明したような行動を取る。
５）移動容易度が「困難」と判断された場合に、移動先となる特定位置を「要注意」の領域まで自動修正し、その後、移動する。
６）移動容易度が「要注意」と判断された場合に、移動先となる特定位置を「安全」の領域まで自動修正し、その後、移動する。
７）移動容易度が「困難」または「要注意」と判断された場合に、動作の選択肢を指示者に示して指示を待つ。例えば、「中止・一歩移動・自動修正・続行のうちどれにしましょうか？」などと発話する。
８）移動容易度が「困難」または「要注意」と判断された場合に、確実な運脚方法に変更する。例えば、通常、動歩行により運脚しているロボットであっても、静歩行による運脚方法に変更する。
９）移動容易度が「安全」と判断された場合に、指示された特定位置まで移動する。
また、行動決定部１１３は、画像認識部１２０により認識された指示と、音声認識部１３０により認識された指示を比較して、指示内容が矛盾するような場合、例えば画像認識指示領域と音声認識指示領域がまったく重ならないような場合には、指示者に問い合わせをするなどの行動を決定する。このような場合には、例えば「もう一度指示してください」などと発話することを決定する。
さらに、行動決定部１１３は、移動指示に対する行動の決定だけではなく、画像認識部１２０や音声認識部１３０などから次々と入力される情報に応じて、ロボットＲの次の行動を決定する。例えば、指示者が話しかけてきたときに、音源定位部１３５が音源の位置の情報を出力してくるが、この信号の入力に応じ、ロボットＲの向きを音源の向きへ変えるように行動を決定する。
判断部１１４は、音声認識部１３０及び画像認識部１２０の認識結果に基づき、特定位置への移動が必要か否かを判断する部分である。
行動制御部１６０は、主制御部１１０で決定された行動に応じて、発話生成部１６２や移動制御部１６１に行動の指示を出力する。
移動制御部１６１は、行動制御部１６０の指示に応じ、脚部Ｒ１、上体Ｒ２、腕部Ｒ３、頭部Ｒ４の各部のアクチュエータ（関節）に駆動信号を出力し、ロボットＲを移動させる。行動制御部１６０の指示に応じたロボットＲの歩行制御は、例えば出願人が出願した特開平１０−２１７１６１号公報に開示された技術を用いて実現される。
発話生成部１６２は、行動制御部１６０の指示に応じ、記憶装置１００Ｂに記憶された発話すべき文字列データから発話すべき音声信号を合成してスピーカ４５に信号を出力する。
以上のように構成されたロボットＲ（制御ユニット１００）の動作について第９図及び第１０図のフローチャートを参照しながら説明する。なお、第９図は、指示を認識するまでの処理を示したフローチャートであり、第１０図は、認識した指示に対する応答処理を示したフローチャートである。
まず、第９図を参照して、指示を認識するまでの処理（指示内容識別ステップ）を説明する。
指示者がロボットＲに対して音声及びジャスチャにより指示を行うと、音声がマイク４４から入力される（ステップＳ１０１）。そして、音声認識部１３０で音声が言葉として認識されるとともに、音源定位部１３５において、音源（指示者）の位置が認識される（ステップＳ１０２）。次に、音声による指示の内容を認識した結果、意味が通じる内容に認識できたかどうかが主制御部１１０で判断される（ステップＳ１０３）。意味が通じない場合には（ステップＳ１０３，Ｎｏ）、聞き取り間違いがあるので、主制御部１１０（行動決定部１１３）において、指示者に聞き返すことを決定し、行動制御部１６０、発話生成部１６２を通じてスピーカ４５から指示者に音声で確認の応答をする。例えば、「もう一度言ってください」のように発話する（ステップＳ１０４）。
意味が通じる内容に認識できた場合には（ステップＳ１０３，Ｙｅｓ）、音源定位部１３５が認識した音源（指示者）の位置を注視するようにロボットＲの向きを変える（ステップＳ１０５）。なお、音声認識処理と指示者注視処理は同時に行ってもよい。
そして、指示範囲特定部１３１により、音声の指示語により指示された範囲を絞り込む（ステップＳ１０６、指示範囲特定ステップ）。例えば、指示が「そこのボールを拾ってください」であれば、「そこ」という指示語を抽出して第５図（ｃ）のｃ_１で示したような範囲に指示範囲を絞り込む。
次に、ＣＣＤカメラ４３で撮像した画像が画像入力部１２７を介して入力される（ステップＳ１０７）。そして、画像認識部１２０において、距離認識、移動物体の認識、ジェスチャの認識、指示者の姿勢の認識、指示者の顔領域の認識、指示領域の認識などを行い、これらの情報から総合して指示内容と、指示領域、方向または位置を特定する（ステップＳ１０８、画像認識ステップ）。
次に、ステップＳ１０８において画像による指示が認識できたかどうかを判断し（ステップＳ１０９）、指示者がロボットＲに近すぎて、指示者の手の動きなどが撮像範囲からはみ出す等の理由で指示を認識できないときは（ステップＳ１０９，Ｎｏ）、主制御部１１０において、例えば「もう少し離れてください」や「もう一度指示してください」と発話することが決定される。この決定に従い、行動制御部１６０、発話生成部１６２を介してスピーカ４５から発声される（ステップＳ１１０）。
次に、画像から指示が認識できた場合には、（ステップＳ１０９，Ｙｅｓ）、音声により認識した指示内容と画像により認識した指示内容が一致しているか（矛盾していないか）特定位置決定部１１１により判断される（ステップＳ１１１）。指示内容が一致していない場合には（ステップＳ１１１，Ｎｏ）、主制御部１１０において、「もう一度指示してください」や「音声とジェスチャの指示内容が一致しません」と発話することが決定される。この決定に従い、行動制御部１６０、発話生成部１６２を介してスピーカ４５から発声される（ステップＳ１１２）。指示内容が一致していた場合には（ステップＳ１１１，Ｙｅｓ）、第１０図の認識した指示に対する応答処理に進む。なお、音声認識処理と画像認識処理は同時に行うように決定してもよいし、画像認識処理を先に行うようにしてもよい。
主制御部１１０（行動決定部１１３）は、認識した指示内容が移動指示、又は、移動が必要な指示かどうかを判断し（ステップＳ２０１）、移動指示ではなかった場合には（ステップＳ２０１，Ｎｏ）、指示に対応した行動を決定する。そして、行動制御部１６０、移動制御部１６１、発話制御部１６２等に行動の指示を出し、ロボットＲが動作する（ステップＳ２０２）。たとえば、指示者が手を振って「やあ」と言った場合には、指示者の方に向いて手を振り返すなどの動作を行う。
指示者の指示が移動指示であった場合には（ステップＳ２０１，Ｙｅｓ）、地図データベース１５０を参照し、ロボットＲと指示位置の周囲の地図データを取得する（ステップＳ２０３）。
次に、特定位置決定部１１１により、画像認識指示領域と、音声認識指示領域の論理積をとり、指示範囲を絞り込む。そして、必要に応じてさらに目標物を検索するなどして（ステップＳ２０４）、移動先として指示された特定位置、又は指示領域内の特定物から決まる移動すべき特定位置を決定する（ステップＳ２０５）。
次に、特定位置の周辺の領域を移動容易度判断部１１２により、第７図及び第８図に示したような「警戒領域ＰＲ」「マージン領域ＭＧ」「安全領域ＳＦ」の３つの領域に分類する（ステップＳ２０６、障害物認識ステップ、警戒領域設定ステップ、マージン領域設定ステップ、安全領域設定ステップ）。
次に、特定位置が「安全領域ＳＦ」かどうかを判断し（ステップＳ２０７、移動容易度判断ステップ）、「安全領域ＳＦ」ではなかった場合（ステップＳ２０７，Ｎｏ）、すなわち「警戒領域ＰＲ」または「マージン領域ＭＧ」であった場合には、対応する行動を取るように主制御部（行動決定部１１３）が行動を決定する（ステップＳ２０８、行動決定ステップ）。例えば、指示者に対して「移動が困難なので動けません」などと発話するよう決定する。この決定に従い、行動制御部１６０、発話生成部１６２を通じてスピーカ４５から発声される。
特定位置が「安全領域ＳＦ」であった場合には（ステップＳ２０７，Ｙｅｓ）、第７図及び第８図に示す作成した領域データを参考にして、主制御部１１０で移動ルートを計画し（ステップＳ２０９、行動決定ステップ）、移動ルートが問題ないかどうか確認する（ステップＳ２１０、行動決定ステップ）。たとえば、移動ルートの途中に地図上に無い障害物があったり、段差があったりしないかを確認する。確認の結果、問題があった場合は（ステップＳ２１０，Ｎｏ）、対応する行動を取るように主制御部１１０（行動決定部１１３）が行動を決定し、ロボットＲを制御する。例えば、もう一度移動ルートを計画し直したり、移動できる位置まで移動した後、指示者に対しどうするか問いかけたりする。
移動ルートが問題なかった場合には（ステップＳ２１０、Ｙｅｓ）、主制御部１１０（行動決定部１１３）は特定位置まで移動するよう、行動制御部１６０、移動制御部１６１に指示を出し、移動制御部１６１により脚部Ｒ３などの各部が駆動されてロボットＲが移動する。
このように、本実施形態のロボットＲ（制御ユニット１００）によれば、ロボットに特定位置への移動指示を与えた場合に、地図データを利用してその特定位置への移動容易度を判定し、行動を決定する。そのため、ロボットＲが指示された通りに移動するのではなく、自分で特定位置の安全性を確認したうえで行動することができる。したがって、ロボットＲの安全性が高まる。別の言い方をすれば、移動先の特性（安全領域、マージン領域、警戒領域などの安全性）に応じて移動態様を変えるので、確実に移動することができる。
また、指示者が指示を誤った場合でも、同様にロボットＲ自身が特定位置への移動容易度を確認するので、障害物と接触することによるロボットＲの損傷が防止される。さらに、指示者に確認の問い合わせをするので、指示者との適切なコミュニケーションを図ることができる。
また、指示語により移動指示を出した場合でも、指示語により指示された特定位置を絞り込み、かつジェスチャなどにより指示された特定位置と照合するので、特定位置の認識が正確になるとともに、指示者が指示を間違えたことも認識でき、不要な移動を防止して安全を確保し、また指示者と適切なコミュニケーションをとることもできる。さらに、指示者が細かな指示を出さなくても簡単な指示語を用いて容易にロボットを移動させることができる。
また、移動容易度に応じて周囲の領域を３段階に分けることで、移動容易度に応じた適切な対応をとることができる。すなわち、実施形態で例示したようなマージン領域を設定することで、安全領域を極力大きくして迅速な移動ができるとともに、警戒領域を最小限にすることができる。その上で、マージン領域への移動に際し、慎重に動いたり、途中で確認したりすることで、マージン領域への移動も安全にこなすことができる。
以上、本発明の実施の形態について説明したが、本発明は前記した実施形態には限定されず、適宜変更して実施することが可能である。例えば、ロボットＲは、人間型である必要はなく、動物型でも良いし、車輪により移動するタイプでも構わない。
また、制御ユニット１００は、行動制御部１６０に行動の指示をする際に、これからロボットＲが行動しようとする予定を発話するように指示する図示しない行動予定伝達部（行動予定伝達手段）を主制御部１１０に有するように構成することもできる。このようにすれば、ロボットＲの行動が行動決定部１１３で決定されるとともに、行動予定伝達部（行動予定伝達手段）でその行動予定を出力するように決定し、この行動（移動など）と出力（発話など）を行動制御部１６０に指示する。そして、ロボットＲが移動しようとしている目的地が図示しないモニターに映し出され、もしくは発話生成部１６２を介してスピーカ４５により、例えば「前方５ｍ、右３ｍの地点に移動しようとしています」と発話される。このとき、同時に目的地を指差すようにしてもよい。したがって、指示者又は第三者は、ロボットＲが指示通りに移動しようとしているのか否かを確認することができる。指示者の意図しない移動が予定されている場合は、再度指示を出したり、移動の停止を命じたりするものとする。また、このような行動予定の出力は、指示者の問いかけにより行うように構成しても良い。なお、制御ユニット１００は、ロボットＲの外部に設けたコンピュータが有し、ロボットＲから無線通信で得られた情報に基づいて第９図及び第１０図の一部又は全部の処理を該コンピュータが実行するようにしてもよい。また、第４図に示した各機能は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。

以上詳述したとおり、本発明によれば、指示者の指示内容を音声及び画像に基づいて的確に認識し、状況に応じた行動を可能にするロボットの制御装置、ロボット制御方法、及びロボット制御プログラムを提供することができる。具体的には、本発明のロボットは、移動容易度に応じた対応をとり、ロボットの安全性の向上を図ることができる。また、障害物からの距離に応じて領域を設定し、指示された特定位置が含まれる領域に応じてロボットが行動することで、適切な対応をすることができる。また、ロボット周囲を警戒領域と、マージン領域と、安全領域の３つに分類することにより、ロボットが指示された特定位置に応じて適切な対応をすることができる。さらに、人工物の形状が考慮されるので、ロボットがより安全な行動をとることができる。また、ロボットが、自分の存在する領域に応じた適切な行動をとることができる。また、指示語を認識することで、指示者の指示が適切かどうかをより詳細に認識できるとともに、指示された特定位置を容易かつ正確に認識することができる。また、指示者が細かな指示をする必要が無くなり、指示者の負担が軽くなる。さらに、ロボットの周囲の者がロボットの行動予定を知ることができるので、指示が正確に伝わったかがわかる。
したがって、さまざまな分野の多様な目的に応じて、高度な行動制御が可能な、自律移動型のロボットを提供することが可能となる。

Claims (16)

1. マイクと、撮像装置と、自己位置検出装置とを有するロボットを制御するロボット制御装置であって、
   前記マイクにより集音した音に基づいて指示者の指示内容を認識する音声認識部と、
   前記撮像装置により撮像した画像に基づいて指示者の指示内容を認識する画像認識部と、
   前記自己位置検出装置からの出力に基づいて前記ロボットの現在位置を推定する自己位置推定部と、
   少なくとも障害物の位置が登録された地図データを保持した地図データベースと、
   前記音声認識部及び前記画像認識部の認識結果に基づき、特定位置への移動が必要か否かを判断する判断部と、
   前記判断部で、特定位置への移動が必要であると判断された場合、前記自己位置推定部で推定した現在位置と、前記地図データとに基づいて前記特定位置への移動容易度を判断する移動容易度判断部と、
   移動容易度判断部が判断した移動容易度に応じて行動を決定する行動決定部と、
   前記行動決定部の決定に応じた行動を実行する行動制御部と、
   を有して構成されたことを特徴とするロボット制御装置。
2. 前記移動容易度判断部は、前記特定位置への移動ルートの周囲にある障害物の位置を前記地図データベースから読み出し、前記障害物からの距離に基づいて少なくとも２つ以上の領域を設定し、
   前記行動決定部は、前記特定位置が含まれる領域及び前記ロボットが存在する領域に応じて行動を決定するよう構成されたことを特徴とする請求の範囲第１項に記載のロボット制御装置。
3. 前記移動容易度判断部は、
   前記自己位置推定部で推定した前記ロボットの現在位置及び前記地図データから、前記特定位置への移動ルートの周囲にある障害物を認識する障害物認識部と、
   前記障害物認識部が認識した障害物の位置に基づき、前記ロボットが存在すれば前記障害物に干渉する可能性がある領域を警戒領域として設定する警戒領域設定部と、
   前記警戒領域から所定距離離れるまでの領域をマージン領域として設定するマージン領域設定部と、
   前記障害物から前記マージン領域よりも離れた領域を安全領域として設定する安全領域設定部とを有し、
   前記特定位置が含まれる領域、及び前記ロボットが存在する領域が、それぞれ前記警戒領域、マージン領域、安全領域のいずれに該当するかに基づき、前記特定位置への移動容易度を判断することを特徴とする請求の範囲第１項に記載のロボット制御装置。
4. 前記警戒領域設定部は、障害物の表面の代表点間を直径とする円の位置を求め、この円の位置を利用して前記警戒領域を設定することを特徴とする請求の範囲第３項に記載のロボット制御装置。
5. 前記行動決定部は、移動、移動拒否の応答、指示の再確認、停止、減速、加速の少なくともいずれか１つの行動を決定することを特徴とする請求の範囲第１項に記載のロボット制御装置。
6. 前記音声認識部は、指示語により指示領域を絞り込む指示範囲特定部を有し、前記行動決定部は、前記指示範囲特定部により絞り込まれた前記指示領域と、前記画像認識部で認識した指示領域との論理積の領域から特定位置を認識するよう構成されたことを特徴とする請求の範囲第１項に記載のロボット制御装置。
7. 前記行動制御部に行動予定を出力させる行動予定伝達部をさらに有することを特徴とする請求の範囲第１項に記載のロボット制御装置。
8. マイクと、撮像装置と、自己位置検出装置とを有するロボットを制御するロボット制御方法であって、
   前記マイクにより集音した音に基づいて指示者の指示内容を認識し、前記撮像装置により撮像した画像に基づいて指示者の指示内容を認識し、前記自己位置検出装置からの出力に基づいて前記ロボットの現在位置を推定し、前記音で認識した指示内容と、前記画像から認識した指示内容から、特定位置への移動が必要な指示か否かを判断する指示内容識別ステップと、
   前記指示内容識別ステップにおいて、特定位置への移動が必要な指示と判断された場合に、前記自己位置検出装置からの出力に基づき推定した現在位置と、地図データベースとして備えられ少なくとも障害物の位置が登録された地図データとに基づいて前記特定位置への移動容易度を判断する移動容易度判断ステップと、
   前記移動容易度判断ステップが判断した移動容易度に応じて行動を決定する行動決定ステップと、
   前記行動決定ステップの決定に応じた行動を実行する行動制御ステップと、を有することを特徴とするロボット制御方法。
9. 前記移動容易度判断ステップは、
   前記特定位置への移動ルートの周囲にある障害物の位置を前記地図データベースから読み出し、前記障害物からの距離に基づいて少なくとも２つ以上の領域を設定すること、及び、
   前記行動決定ステップは、前記特定位置が含まれる領域及び前記ロボットが存在する領域に応じて行動を決定することを特徴とする請求の範囲第８項に記載のロボット制御方法。
10. 前記移動容易度判断ステップは、
    前記自己位置検出装置に基づいて推定した前記ロボットの現在位置及び前記地図データから、前記特定位置への移動ルートの周囲にある障害物を認識する障害物認識ステップと、
    前記障害物認識ステップで認識した障害物の位置に基づき、前記ロボットが存在すれば前記障害物に干渉する可能性がある領域を警戒領域として設定する警戒領域設定ステップと、
    前記警戒領域から所定距離離れるまでの領域をマージン領域として設定するマージン領域設定ステップと、
    前記障害物から前記マージン領域よりも離れた領域を安全領域として設定する安全領域設定ステップと、
    前記特定位置が含まれる領域、及び前記ロボットが存在する領域が、それぞれ前記警戒領域、マージン領域、安全領域のいずれに該当するかに基づき、前記特定位置への移動容易度を判断するステップと、を有することを特徴とする請求の範囲第８項に記載のロボット制御方法。
11. 前記警戒領域設定ステップは、障害物の表面の代表点間を直径とする円の位置を求め、この円の位置を利用して前記警戒領域を設定することを特徴とする請求の範囲第１０項に記載のロボット制御方法。
12. 前記行動決定ステップは、移動、移動拒否の応答、指示の再確認、停止、減速、加速の少なくともいずれか１つの行動を決定することを特徴とする請求の範囲第８項に記載のロボット制御方法。
13. 前記指示内容認識ステップは、前記音に含まれる指示語により指示領域を絞り込む指示範囲特定ステップと、前記画像から指示領域を絞り込む画像認識ステップとを有し、前記行動決定ステップは、前記指示範囲特定ステップにより絞り込まれた指示領域と、前記画像認識ステップで認識した指示領域との論理積の領域から特定位置を認識することを特徴とする請求の範囲第８項に記載のロボット制御方法。
14. 前記行動制御ステップは、前記行動決定ステップにより決定された行動予定を出力する行動予定伝達ステップを有することを特徴とする請求の範囲第８項に記載のロボット制御方法。
15. マイクと、撮像装置と、自己位置検出装置とを有するロボットを制御するため、前記ロボットに搭載されたコンピュータに、請求の範囲第８項から第１４項に記載の方法を実行させることを特徴とするロボット制御プログラム。
16. マイクと、撮像装置と、自己位置検出装置とを有するロボットを制御するため、前記ロボットに搭載されたコンピュータを、
    前記マイクにより集音した音に基づいて指示者の指示内容を認識する音声認識手段と、
    前記撮像装置により撮像した画像に基づいて指示者の指示内容を認識する画像認識手段と、
    前記自己位置検出装置からの出力に基づいて前記ロボットの現在位置を推定する自己位置推定手段と、
    前記音声認識手段及び前記画像認識手段の認識結果、並びに前記自己位置推定部により推定された前記ロボットの現在位置に基づき、特定位置への移動が必要か否かを判断する判断手段と、
    前記判断手段で、特定位置への移動が必要であると判断された場合、前記自己位置推定手段で推定した現在位置と、地図データベースとして備えられ少なくとも障害物の位置が登録された地図データとに基づいて前記特定位置への移動容易度を判断する移動容易度判断手段と、
    前記移動容易度判断手段が判断した移動容易度に応じて行動を決定する行動決定手段として機能させることを特徴とするロボット制御プログラム。

Images