JP4940698B2

JP4940698B2 - 自律移動型ロボット

Info

Publication number: JP4940698B2
Application number: JP2006050854A
Authority: JP
Inventors: 雅道大杉
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2006-02-27
Filing date: 2006-02-27
Publication date: 2012-05-30
Anticipated expiration: 2026-02-27
Also published as: JP2007229814A

Description

本発明は、特定人物に随伴して移動可能な自律移動型ロボットに関するものである。

近年、走行装置や歩行装置により自律的に移動して各種の作業を行うロボットの研究開発が盛んに行われており、その成果として各種の自律移動型ロボットが提案されている（例えば特許文献１、２参照）。

ここで、特許文献１には、特定の被案内者の歩行状態に応じて自律的に移動することで特定の被案内者を所定の案内先まで案内するロボットが提案されている。また、特許文献２には、移動開始地点から移動終了地点に至る複数の移動ルートから最適な移動ルートを決定して自律的に移動するロボットが提案されている。
特開２００３−３４０７６４号公報特開２００４−９８２３３号公報

ところで、特許文献１に記載された従来の自律移動型ロボットにおいては、特定の被案内者（特定人物）の歩行状態に応じて自律的に移動することはできても、特定人物の視野域と共通する視野域が得られる位置に自律的に移動することができないため、特定人物が得る視覚情報と共通する視覚情報を取得できない場合がある。特許文献２に記載された自律移動型ロボットにおいても同様の問題がある。

そこで、本発明は、特定人物に随伴して移動する際、特定人物の視野域と共通する視野域が得られる位置に自律的に移動することができる自律移動型ロボットを提供することを課題とする。

本発明に係る自律移動型ロボットは、特定人物を含む周辺状況を観測しつつその観測情報に基づき特定人物に随伴して移動可能な自律移動型ロボットにおいて、周辺状況を観測する観測手段と、特定人物の視線を観測可能な位置を視線観測位置として算出する視線観測位置算出手段と、視線観測位置算出手段により算出された視線観測位置に向けて自律移動型ロボットを移動させる視線観測位置移動手段と、視線観測位置移動手段により移動した視線観測位置にて特定人物の視線方向を検出する視線方向検出手段と、視線方向検出手段により検出された特定人物の視線方向に基づいて特定人物の視野域を推定する視野域推定手段と、視野域推定手段により推定された特定人物の視野域を観測手段により観測できる位置を視野域可視位置として算出する視野域可視位置算出手段と、視野域可視位置算出手段により算出された視野域可視位置に向けて自律移動型ロボットを移動させる視野域可視位置移動手段とを備えていることを特徴とする。

本発明に係る自律移動型ロボットでは、特定人物に随伴して移動する際、特定人物の視線を観測可能な位置を視線観測位置算出手段が視線観測位置として算出し、その視線観測位置に向けて視線観測位置移動手段が自律移動型ロボットを移動させる。その後、視線観測位置にて視線方向検出手段が特定人物の視線方向を検出し、その視線方向に基づいて視野域推定手段が特定人物の視野域を推定する。そして、推定された特定人物の視野域を観測手段により観測できる位置を視野域可視位置算出手段が視野域可視位置として算出し、その視野域可視位置に向けて視野域可視位置移動手段が自律移動型ロボットを移動させる。
この場合、視野域可視位置は、視野域推定手段により推定された特定人物の視野域と少なくとも一部が共通する視野域が得られる位置であることが好ましい。
また、観測手段が観測した観測情報から障害物を検出する障害物検出手段を更に備え、
視野域可視位置算出手段は、障害物の無い位置を視野域可視位置として算出することが好ましい。

本発明に係る自律移動型ロボットでは、特定人物に随伴して移動する際、特定人物の視線を観測可能な視線観測位置を視線観測位置算出手段が算出し、その視線観測位置に向けて視線観測位置移動手段が自律移動型ロボットを移動させる。その後、視線方向検出手段が特定人物の視線方向を検出し、視野域推定手段が特定人物の視野域を推定する。そして、推定された特定人物の視野域と共通する視野域が得られる視野域可視位置を視野域可視位置算出手段が算出し、その視野域可視位置に向けて視野域可視位置移動手段が自律移動型ロボットを移動させる。従って、本発明に係る自律移動型ロボットによれば、特定人物に随伴して移動する際、特定人物の視野域と共通する視野域が得られる位置に自律的に移動することができ、特定人物が得る視覚情報と共通する視覚情報を取得することが可能となる。

以下、図面を参照して本発明に係る自律移動型ロボットの実施形態を説明する。参照する図面において、図１は一実施形態に係る自律移動型ロボットとしてのモビルロボットおよびその主人としての特定人物を模式的に示す平面図、図２は図１に示したモビルロボットの構造を示す側面図、図３は図２に示した制御装置の構成を示すブロック図である。

一実施形態に係る自律移動型ロボットは、図１に示すように、主人としての特定人物Ｍに随伴して移動可能なモビルロボットＲとして構成されている。このモビルロボットＲは、特定人物Ｍの近傍において、特定人物Ｍおよびその周辺状況を観測しつつその観測情報に基づいて特定人物Ｍを先導し、あるいは特定人物Ｍに追従する。

図２に示すように、モビルロボットＲは、走行装置１により移動可能なボディＲ１と、このボディＲ１に対して回転可能に接続されたヘッドＲ２とを備えており、ボディＲ１には、各種のメッセージを画像や文字により表示可能なディスプレイ２が設置されている。そして、このボディＲ１には、電源としてのバッテリ３、ヘッドＲ２を回転駆動するためのヘッド駆動モータ４の他、走行装置１、ディスプレイ２、ヘッド駆動モータ４などを制御するための制御装置５が内蔵されている。

一方、モビルロボットＲのヘッドＲ２の顔面に相当する部分には、特定人物Ｍおよびその周辺に存在する障害物（他の人物や動物、構造物、設置物、車両等）などを含む視野域ＶＲ内の周辺状況をステレオ画像として観測するための左右一対のＣＣＤカメラ（または赤外線カメラ）６Ａ，６Ｂと、各種の音声メッセージを発声可能なスピーカ７とが設置されている。

図１および図２に示すように、走行装置１は、例えば、ホイールインモータ１Ａ，１Ｂにより回転方向および回転速度が左右独立に制御される左右一対の駆動車輪１Ｃ，１Ｄと、３６０度の旋回が可能なキャスタ車輪１Ｅとを有する。

この走行装置１は、左右一対の駆動車輪１Ｃ，１Ｄが同方向に前転駆動または後転駆動されることでモビルロボットＲを前進または後退させる。その際、左右一対の駆動車輪１Ｃ，１Ｄの回転速度が同速度であればモビルロボットＲを直進させ、左右一対の駆動車輪１Ｃ，１Ｄの回転速度に差があれば駆動車輪１Ｃ，１Ｄのうち回転速度の遅い側にモビルロボットＲを旋回させる。そして、この走行装置１は、左右一対の駆動車輪１Ｃ，１Ｄが同速度で相互に逆方向に回転駆動されると、モビルロボットＲをその場で左右の何れかに回転させる。

ここで、制御装置５は、ＥＣＵ（Electric Control Unit）等のマイクロコンピュータのハードウェアおよびソフトウェアを利用して構成されている。この制御装置５は、ホイールインモータ１Ａ，１Ｂやヘッド駆動モータ４の駆動回路、ディスプレイ２、ＣＣＤカメラ６Ａ，６Ｂ、スピーカ７等との間の入出力インターフェースＩ／ＯおよびＡ／Ｄコンバータの他、プログラムおよびデータを記憶したＲＯＭ（ReadOnly Memory）、入力データ等を一時記憶するＲＡＭ（Random Access Memory）、プログラムを実行するＣＰＵ（CentralProcessing Unit）等をハードウェアとして備えている。

そして、この制御装置５には、図３に示すように、画像生成部５Ａ、特定人物検出部５Ｂ、ヘッド駆動モータ制御部５Ｃ、障害物検出部５Ｄ、ホイールインモータ制御部５Ｅ、視線観測位置算出部５Ｆ、視線方向検出部５Ｇ、視野域推定部５Ｈ、視野域可視位置算出部５Ｊ、メッセージ出力部５Ｋがソフトウェアとして構成されている。

画像生成部５Ａには、モビルロボットＲの視野域ＶＲ（図１参照）内を撮影するＣＣＤカメラ６Ａ，６Ｂから左右の撮影データが所定時間毎に計測時刻情報と共に入力される。この画像生成部５Ａは、所定時間毎に入力された左右の撮影データに基づいて各計測時刻におけるモビルロボットＲの視野域ＶＲ内のステレオ画像を順次生成し、その画像データを計測時刻情報と共に特定人物検出部５Ｂ、障害物検出部５Ｄ、視線観測位置算出部５Ｆおよび視線方向検出部５Ｇへ所定時間毎に繰り返して出力する。

特定人物検出部５Ｂは、画像生成部５Ａから所定時間毎に順次入力される画像データに基づいて撮影画像のエッジ処理を行い、予め記憶されている特定人物Ｍの輪郭モデルとのマッチング処理により特定人物Ｍを検出する。そして、この特定人物検出部５Ｂは、検出された特定人物Ｍのステレオ画像をステレオマッチング処理することにより、特定人物Ｍの３次元位置を三角測量の原理で所定時間毎に推測する。

ヘッド駆動モータ制御部５Ｃには、特定人物検出部５Ｂから特定人物Ｍの３次元位置データが所定時間毎に入力される。このヘッド駆動モータ制御部５Ｃは、入力された特定人物Ｍの３次元位置データに基づき、特定人物Ｍが画像中央に位置するようにヘッド駆動モータ４の回転を制御してモビルロボットＲのヘッドＲ２を回転させる。

障害物検出部５Ｄは、画像生成部５Ａから所定時間毎に順次入力された画像データに基づいて撮影画像のエッジ処理を行うことにより、撮影画像中に存在する障害物（モビルロボットＲの走行の障害となる他の人物や動物、構造物、設置物、車両等）を検出する。そして、この障害物検出部５Ｄは、検出された障害物のステレオ画像をステレオマッチング処理することにより、障害物の３次元位置を三角測量の原理で所定時間毎に推測する。

ホイールインモータ制御部５Ｅには、特定人物検出部５Ｂから特定人物Ｍの３次元位置データが所定時間毎に入力されると共に、障害物検出部５Ｄから障害物の３次元位置データが所定時間毎に入力される。このホイールインモータ制御部５Ｅは、入力された特定人物Ｍおよび障害物の３次元位置データに基づき、モビルロボットＲが特定人物Ｍの近傍において障害物を避けつつ特定人物Ｍを先導し、あるいは特定人物Ｍに追従するように、ホイールインモータ１Ａ，１Ｂの回転を個別に制御して走行装置１の駆動車輪１Ｃ，１Ｄの回転方向および回転速度を個別に制御する。

視線観測位置算出部（本発明の視線観測位置算出手段）５Ｆは、画像生成部５Ａから所定時間毎に順次入力される画像データに基づいて撮影画像のエッジ処理を行うことにより、その撮影画像中から特定人物Ｍの頭部の画像を抽出する。また、視線観測位置算出部５Ｆは、抽出した特定人物Ｍの頭部のステレオ画像から特定人物Ｍの顔面の向きを検出すると共に、特定人物Ｍの頭部のステレオ画像をステレオマッチング処理することにより、特定人物Ｍの頭部の３次元位置を三角測量の原理で算出する。そして、この視線観測位置算出部５Ｆは、算出した特定人物Ｍの頭部の３次元位置に基づき、特定人物Ｍの顔面をＣＣＤカメラ６Ａ，６Ｂにより撮影可能な位置を特定人物Ｍの視線を観測可能な視線観測位置として算出し、その算出位置の３次元位置データをホイールインモータ制御部５Ｅに出力する。

視線方向検出部（本発明の視線検出手段）５Ｇは、画像生成部５Ａから所定時間毎に順次入力される画像データに基づいて撮影画像中から特定人物Ｍの両眼の画像を抽出し、その画像にエッジ処理を施すことで両眼の黒目の位置を検出する。そして、この視線方向検出部５Ｇは、検出した黒目の位置を予め記憶されている眼球モデルと比較することで特定人物Ｍの両眼の視線方向を検出し、その視線方向のベクトルデータを視野域推定部５Ｈへ出力する。

なお、視線方向検出部５Ｇは、画像生成部５Ａから所定時間毎に順次入力される画像データに基づいて撮影画像中から特定人物Ｍの頭部の画像を抽出し、その画像処理により特定人物Ｍの頭部の中心位置および両眼の中間位置の３次元座標を算出すると共に、その頭部の中心位置を始点として両眼の中間位置へ向かう方向ベクトルを特定人物Ｍの視線方向として検出するように構成されていてもよい。

視野域推定部（本発明の視野域推定手段）５Ｈは、視線方向検出部５Ｇにより検出された特定人物Ｍの両眼の視線方向のベクトルデータに基づき、特定人物Ｍの視野域ＶＭ（図１および図４参照）を推定する。

視野域可視位置算出部（本発明の視野域可視位置算出手段）５Ｊには、視野域推定部５Ｈから特定人物Ｍの視野域の推定データが入力されると共に、障害物検出部５Ｄから障害物の３次元位置データが所定時間毎に入力される。この視野域可視位置算出部５Ｊは、入力された特定人物Ｍの視野域ＶＭの推定データおよび障害物の３次元位置データに基づき、特定人物Ｍの視野域ＶＭと共通する視野域がモビルロボットＲの視野域ＶＲとして得られる位置、すなわち、図４に示す特定人物Ｍの視野域ＶＭをモビルロボットＲがＣＣＤカメラ６Ａ，６Ｂにより撮影できる位置であって障害物の無い位置を視野域可視位置として算出する。そして、この視野域可視位置算出部５Ｊは、算出した視野域可視位置の３次元位置データをホイールインモータ制御部５Ｅに出力する。

メッセージ出力部５Ｋは、モビルロボットＲの動作に伴う適宜のメッセージ、例えばモビルロボットＲの移動方向の予告メッセージなどを生成し、その音声メッセージをスピーカ７に出力すると共に、その画像や文字のメッセージをディスプレイ２に出力する。

ここで、ホイールインモータ制御部５Ｅは、本発明の視線観測位置移動手段および視野域可視位置移動手段として機能する。すなわち、ホイールインモータ制御部５Ｅは、視線観測位置算出部５Ｆから視線観測位置の３次元位置データが入力されると、ホイールインモータ１Ａ，１Ｂを適宜制御することにより、その視線観測位置に向けてモビルロボットＲを移動させる。また、ホイールインモータ制御部５Ｅは、視野域可視位置算出部５Ｊから視野域可視位置の３次元位置データが入力されると、ホイールインモータ１Ａ，１Ｂを適宜制御することにより、その視野域可視位置に向けてモビルロボットＲを移動させる。

以下、図３に示した制御装置５を構成する画像生成部５Ａ、障害物検出部５Ｄ、ホイールインモータ制御部５Ｅ、視線観測位置算出部５Ｆ、視線方向検出部５Ｇ、視野域推定部５Ｈおよび視野域可視位置算出部５Ｊによる処理手順を図５に示すフローチャートに沿って説明する。

まず、ステップＳ１では、モビルロボットＲの視野域ＶＲ（図１参照）内を撮影するＣＣＤカメラ６Ａ，６Ｂから所定時間毎に計測時刻情報と共に入力される左右の撮影データに基づき、各計測時刻における特定人物Ｍを含む周辺状況のステレオ画像を画像生成部５Ａが順次生成する。

つぎのステップＳ２では、画像生成部５Ａから所定時間毎に順次入力される画像データに基づき、視線観測位置算出部５Ｆが特定人物Ｍの顔面の向きを検出する。そして、検出した特定人物Ｍの顔面の向きに応じ、特定人物Ｍの顔面をＣＣＤカメラ６Ａ，６Ｂにより撮影可能な位置を視線観測位置算出部５Ｆが特定人物Ｍの視線観測位置として算出する。

続くステップＳ３では、視線観測位置算出部５Ｆから入力される視線観測位置の３次元位置データに基づき、ホイールインモータ制御部５Ｅが走行装置１のホイールインモータ１Ａ，１Ｂを適宜制御してモビルロボットＲを視線観測位置に向けて移動させる。

つぎのステップＳ４では、モビルロボットＲが視線観測位置への移動を完了したか否かが判定され、判定結果がＮＯであればステップＳ３に戻るが、判定結果がＹＥＳであれば続くステップＳ５へ進む。

ステップＳ５では、画像生成部５Ａから所定時間毎に順次入力される画像データに基づき、視線検出部５Ｇが特定人物Ｍの両眼の黒目の位置を検出する。そして、検出した黒目の位置を予め記憶されている眼球モデルと比較することにより、視線検出部５Ｇが特定人物Ｍの両眼の視線方向を検出する。

続くステップＳ６では、視線検出部５Ｇから入力される視線方向のベクトルデータに基づき、視野域推定部５Ｈが特定人物Ｍの両眼の視野域Ｖｍを推定する。

つぎのステップＳ７では、視野域推定部５Ｈにより推定された特定人物Ｍの両眼の視野域ＶＭと共通する視野域がモビルロボットＲの視野域ＶＲとして得られる位置、すなわち、特定人物Ｍの視野域ＶＭをモビルロボットＲがＣＣＤカメラ６Ａ，６Ｂにより撮影できる視野域可視位置を視野域可視位置算出部５Ｊが算出する。

続くステップＳ８では、視野域可視位置算出部５Ｊから入力される視野域可視位置の３次元位置データに基づき、ホイールインモータ制御部５Ｅが走行装置１のホイールインモータ１Ａ，１Ｂを適宜制御してモビルロボットＲを図４の矢印に示すように視野域可視位置に向けて移動させる。

つぎのステップＳ９では、モビルロボットＲが視野域可視位置への移動を完了したか否かが判定され、判定結果がＮＯであればステップＳ８に戻るが、判定結果がＹＥＳであれば一連の処理を終了する。

以上のように一実施形態の自律移動型ロボットとして構成されたモビルロボットＲ（図１、図２参照）は、特定人物Ｍを含む周辺状況をＣＣＤカメラ６Ａ，６Ｂにより撮影しつつ、その撮影画像のデータに基づき、制御装置５のホイールインモータ制御部５Ｅによりホイールインモータ１Ａ，１Ｂを制御して走行装置１の左右一対の駆動車輪１Ｃ，１Ｄの回転方向および回転速度を左右独立に制御することにより、特定人物Ｍの近傍に随伴して障害物を避けつつ特定人物Ｍを先導し、あるいは特定人物Ｍに追従する。

その際、モビルロボットＲが特定人物Ｍの視線を観測可能な視線観測位置を視線観測位置算出部５Ｆが算出し、その算出データに基づきホイールインモータ制御部５Ｅが走行装置１のホイールインモータ１Ａ，１Ｂを制御してモビルロボットＲを視線観測位置に向けて移動させる。その後、視線方向検出部５Ｇが特定人物Ｍの視線方向を検出し、視野域推定部５Ｈが特定人物Ｍの視野域を推定する。そして、推定された特定人物Ｍの視野域ＶＭと共通する視野域が得られる視野域可視位置を視野域可視位置算出部５Ｊが算出し、その算出データに基づきホイールインモータ制御部５Ｅが走行装置１のホイールインモータ１Ａ，１Ｂを制御してモビルロボットＲを図４の矢印に示すように視野域可視位置に向けて移動させる。

従って、一実施形態の自律移動型ロボットとして構成されたモビルロボットＲによれば、特定人物Ｍに随伴して移動する際、図４に示すように、特定人物Ｍの視野域ＶＭと共通する視野域ＶＲが得られる位置に自律的に移動することができ、特定人物Ｍが得る視覚情報と共通する視覚情報を取得することが可能となる。

本発明に係る自律移動型ロボットは、前述した一実施形態に限定されるものではない。例えば、図２に示したモビルロボットＲの走行装置１は、２足歩行が可能な歩行装置に変更することができる。

また、モビルロボットＲのヘッドＲ２には、特定人物およびその周辺に存在する障害物までの距離やその表面の凹凸状態などを観測するためのミリ波レーダ（またはレーザレーダ）を設置してもよい。さらに、特定人物の周辺にいる他の人物や動物を観測するための赤外線センサ、特定人物の周辺の音を観測するための集音マイク、あるいは特定人物の周辺の温度を観測するための温度センサなどを設置してもよい。

本発明の一実施形態に係る自律移動型ロボットとしてのモビルロボットおよびその主人としての特定人物を模式的に示す平面図である。図１に示したモビルロボットの構造を示す側面図である。図２に示した制御装置の構成を示すブロック図である。図１に示したモビルロボットの移動経路を示す平面図である。図３に示した制御装置による処理手順の一部を示すフローチャートである。

符号の説明

１…走行装置、２…ディスプレイ、３…バッテリ、４…ヘッド駆動モータ、５…制御装置、５Ａ…画像生成部、５Ｂ…特定人物検出部、５Ｃ…ヘッド駆動モータ制御部、５Ｄ…障害物検出部、５Ｅ…ホイールインモータ制御部、５Ｆ…視線観測位置算出部、５Ｇ…視線検出部、５Ｈ…視野域推定部、５Ｊ…視野域可視位置算出部、５Ｋ…メッセージ出力部、６Ａ，６Ｂ…ＣＣＤカメラ、７…スピーカ、Ｒ…モビルロボット、Ｍ…特定人物、ＶＭ…特定人物の視野域、ＶＲ…モビルロボットの視野域。

Claims

特定人物を含む周辺状況を観測しつつその観測情報に基づき特定人物に随伴して移動可能な自律移動型ロボットにおいて、
周辺状況を観測する観測手段と、
特定人物の視線を観測可能な位置を視線観測位置として算出する視線観測位置算出手段と、
視線観測位置算出手段により算出された視線観測位置に向けて自律移動型ロボットを移動させる視線観測位置移動手段と、
視線観測位置移動手段により移動した視線観測位置にて特定人物の視線方向を検出する視線方向検出手段と、
視線方向検出手段により検出された特定人物の視線方向に基づいて特定人物の視野域を推定する視野域推定手段と、
視野域推定手段により推定された特定人物の視野域を観測手段により観測できる位置を視野域可視位置として算出する視野域可視位置算出手段と、
視野域可視位置算出手段により算出された視野域可視位置に向けて自律移動型ロボットを移動させる視野域可視位置移動手段とを備えていることを特徴とする自律移動型ロボット。
前記視野域可視位置は、前記視野域推定手段により推定された特定人物の視野域と少なくとも一部が共通する視野域が得られる位置であることを特徴とする請求項１に記載の自律移動型ロボット。
前記観測手段が観測した観測情報から障害物を検出する障害物検出手段を更に備え、
前記視野域可視位置算出手段は、障害物の無い位置を前記視野域可視位置として算出することを特徴とする請求項１又は２に記載の自律移動型ロボット。