JP4516592B2 - 移動型ロボット - Google Patents

Description

本発明は、視覚センサが取得した撮影画像を画像処理し、認識対象に関する認識情報を生成する自律移動可能な移動型ロボットに関する。

従来から、入力画像の特徴ある部分（注目部分）を、他の部分より高い解像度とすることによって、遠距離の認識対象を、少ない演算量で正確に認識できる発明が開示されている。例えば、特許文献１に記載の発明は、最明点又は最暗点を注目部分として、他の部分より解像度を高くしている。
特開平５−１９２８９５号公報

しかし、特許文献１に記載のロボットは、ロボットの動作、ロボットの周囲に存在する人間や障害物等の認識対象の位置又はロボットが実行するタスクに基づいて注目領域を設定していないので、十分な認識精度が得られていない問題がある。例えば、特許文献１に記載のロボットでは、ロボットが右側に方向転換するときにロボットの左側の最明点を注目部分とする場合があり、十分な認識精度が得られず、結果的に、ロボットのスムーズな移動が妨げられていた。

本発明は、ロボットの動作、ロボットが実行するタスク又はロボットの周囲に存在する認識対象に対応でき、認識対象の認識精度を高くすると共に画像処理での演算量の増加を抑える移動型ロボットを提供することを目的とする。

前記した課題を解決するため、請求項１に係る移動型ロボットは、視覚センサが取得した撮影画像を画像処理し、当該撮影画像に含まれる認識対象に関する認識情報を生成する画像処理部と、前記画像処理部が生成した認識情報に基づいて統括制御を行う制御部と、を備える移動型ロボットであって、前記画像処理部は、前記視覚センサが取得した撮影画像を縮小して前記撮影画像より解像度が低い低解像度画像と、当該低解像度画像より解像度が高い１以上の高解像度画像と、を生成する複数解像度画像生成部と、前記複数解像度画像生成部が生成した低解像度画像を画像処理し、当該低解像度画像に含まれる認識対象に関する対象情報を生成する低解像度画像処理部と、所定の入力情報又は予め設定したルールに基づいて、前記高解像度画像を画像処理するか否かを判定すると共に、前記複数解像度画像生成部が２以上の高解像度画像を生成した場合には何れの解像度の前記高解像度画像を画像処理するかを判定し、前記低解像度画像の一部に解像度処理領域を設定する画像処理判定部と、前記高解像度画像における前記画像処理判定部が設定した解像度処理領域に対応する領域を画像処理し、前記高解像度画像に含まれる認識対象に関する対象情報を生成する高解像度画像処理部と、前記低解像度画像処理部が生成した対象情報と前記高解像度画像処理部が生成した対象情報とが一致するか否かを判定すると共に、両対象情報が一致する場合には前記両対象情報を用いて、前記両対象情報が一致しない場合には前記高解像度画像処理部が生成した対象情報を用いて、前記認識情報を生成する画像処理結果統合部と、を備える構成とした。

かかる構成によれば、移動型ロボットは、低解像度画像処理部によって、低解像度画像に含まれる認識対象に関する対象情報を生成する。また、移動型ロボットは、画像処理判定部によって、入力情報又はルールに基づいて、高解像度画像の画像処理の有無、及び、解像度を判定し、低解像度画像の一部に解像度処理領域を設定する。そして、移動型ロボットは、高解像度画像処理部によって、高解像度画像の一部（解像度処理領域に対応する領域）を画像処理し、高解像度画像に含まれる認識対象に関する対象情報を生成する。さらに、画像処理結果統合部によって、低解像度画像に含まれる対象情報と高解像度画像に含まれる対象情報とが一致するか否かを判定し、その判定結果に基づいて認識情報を生成する。これにより、移動型ロボットは、より鮮明な高解像度画像から認識情報を生成でき、遠距離に位置する認識対象をノイズと切り分け易くなる。また、移動型ロボットは、高解像度画像の一部のみを画像処理し、高解像度画像の全体を画像処理する必要がない。
ここで、移動型ロボットは、撮影画像の歪補正を行い、撮影画像を平均化又は撮影画像から画素を間引いて、撮影画像を縮小する。また、移動型ロボットは、視差画像の生成、過去のフレーム（画像）間で相関演算、２値化処理、エッジ抽出処理、人物の顔領域抽出等の画像処理を行う。

請求項２に係る移動型ロボットは、請求項１に係る移動型ロボットにおいて、前記画像処理判定部は、前記ルールに基づいて、前記低解像度画像の中央部分を前記解像度処理領域として設定することを特徴とする。

かかる構成によれば、移動型ロボットは、低解像度画像の中央部分に基づいて、認識情報を生成する。

請求項３に係る移動型ロボットは、請求項１に係る移動型ロボットにおいて、前記画像処理判定部は、前記ルールに基づいて、前記解像度処理領域を水平方向に移動させて繰り返し設定することを特徴とする。

かかる構成によれば、移動型ロボットは、低解像度画像の中央部分から左端側若しくは右端側、右端側から左端側又は左端側から右端側と、水平方向に解像度処理領域を移動させ、認識情報を生成する。

請求項４に係る移動型ロボットは、請求項１に係る移動型ロボットにおいて、前記低解像度画像処理部は、前記低解像度画像に含まれる人物の顔領域を前記入力情報として抽出し、前記画像処理判定部は、前記低解像度画像処理部が抽出した人物の顔領域を前記解像度処理領域として設定することを特徴とする。

かかる構成によれば、移動型ロボットは、低解像度画像に含まれる人物の顔領域に基づいて、認識情報を生成する。

請求項５に係る移動型ロボットは、請求項１に係る移動型ロボットにおいて、当該移動型ロボットの進行予定方向が前記入力情報として前記画像処理判定部に入力され、前記画像処理判定部は、入力された前記進行予定方向に基づいて、前記解像度処理領域を設定することを特徴とする。

かかる構成によれば、移動型ロボットは、移動型ロボットの進行予定方向に基づいて、認識情報を生成する。

請求項６に係る移動型ロボットは、請求項５に係る移動型ロボットにおいて、当該移動型ロボットの移動速度又は移動予定速度が前記入力情報として前記画像処理判定部に入力され、前記画像処理判定部は、入力された前記移動速度又は前記移動予定速度が速くなるほど、解像度が高い前記高解像度画像を画像処理すると判定すると共に、前記解像度処理領域の面積を狭くすることを特徴とする。

かかる構成によれば、移動型ロボットは、移動速度又は移動予定速度が速くなるほど、解像度が高い画像を画像処理すると共に、解像度処理領域を狭くすることで、その演算量の増加を抑える。

請求項７に係る移動型ロボットは、請求項１に係る移動型ロボットにおいて、認識対象が発生させる音源の方向及び音圧を特定する音源定位部から、当該音源の方向及び当該音圧が前記入力情報として前記画像処理判定部に入力され、前記画像処理判定部は、入力された前記音源の方向に基づいて、前記解像度処理領域を設定することを特徴とする。
する。

かかる構成によれば、移動型ロボットは、認識対象が発生させる音源の方向に基づいて、認識情報を生成する。

請求項８に係る移動型ロボットは、請求項７に係る移動型ロボットにおいて、前記画像処理判定部は、入力された前記音圧が小さくなるほど、解像度が高い前記高解像度画像を画像処理すると判定すると共に、前記解像度処理領域の面積を狭くすることを特徴とする。

かかる構成によれば、移動型ロボットは、音圧が小さくなるほど、解像度が高い画像を画像処理すると共に、解像度処理領域を狭くすることで、その演算量の増加を抑える。

請求項９に係る移動型ロボットは、請求項１に係る移動型ロボットにおいて、検知対象が装着したタグの方向及び前記タグまでの距離を検知する対象検知部から、当該タグの方向及び当該タグまでの距離が前記入力情報として前記画像処理判定部に入力され、前記画像処理判定部は、入力された前記タグの方向に基づいて、前記解像度処理領域を設定することを特徴とする。

かかる構成によれば、検知対象が装着したタグの方向に基づいて、認識情報を生成する。

請求項１０に係る移動型ロボットは、請求項９に係る移動型ロボットにおいて、前記画像処理判定部は、入力された前記タグまでの距離が遠くなるほど、解像度が高い前記高解像度画像を画像処理すると判定すると共に、前記解像度処理領域の面積を狭くすることを特徴とする。

かかる構成によれば、移動型ロボットは、タグまでの距離が遠くなるほど、解像度が高い画像を画像処理すると共に、解像度処理領域を狭くすることで、その演算量の増加を抑える。

請求項１１に係る移動型ロボットは、請求項１に係る移動型ロボットにおいて、当該移動型ロボットは、物品を運搬する運搬タスクを実行し、前記低解像度画像処理部は、前記低解像度画像に含まれる前記物品を載せた所定仕様の運搬容器を前記入力情報として抽出し、前記画像処理判定部は、当該移動型ロボットが実行しているタスクが前記運搬タスクであるか否かを判定すると共に、前記低解像度画像処理部が抽出した前記運搬容器を前記解像度処理領域として設定することを特徴とする。

かかる構成によれば、移動型ロボットが運搬タスクを実行する際に、運搬容器に基づいて、認識情報を生成する。

請求項１２に係る移動型ロボットは、請求項１に係る移動型ロボットにおいて、当該移動型ロボットは、人物を案内する案内タスクを実行し、前記人物を案内する案内方向が前記入力情報として前記画像処理判定部に入力され、前記画像処理判定部は、当該移動型ロボットが実行しているタスクが前記案内タスクであるか否かを判定すると共に、入力された前記案内方向に基づいて、前記解像度処理領域を設定することを特徴とする。

かかる構成によれば、移動型ロボットは案内タスクを実行する際に、案内方向に基づいて、認識情報を生成する。

本発明に係る移動型ロボットによれば、以下のような優れた効果を奏する。
請求項１に係る移動型ロボットは、高解像度画像処理部が、所定の入力情報又は予め設定されたルールに基づいて解像度処理領域を設定するので、ロボットの動作、実行タスク又は周囲に存在する認識対象に対応できる。また、請求項１に係る移動型ロボットは、高解像度画像処理部が、より鮮明な高解像度画像の一部のみを画像処理するので、認識対象の認識精度を高くすると共に画像処理での演算量の増加を抑えることができる。
請求項２に係る移動型ロボットは、ロボットの正面又は頭部の方向に位置する認識対象の認識精度を高くでき、スムーズな前進を可能とする。
請求項３に係る移動型ロボットは、人間等、水平方向に移動する認識対象の認識精度を高くすることができる。

請求項４に係る移動型ロボットは、遠距離に位置する人物の顔認識の精度を高くすることができる。
請求項５に係る移動型ロボットは、進行予定方向に位置する認識対象を素早く認識することができるため、スムーズな方向転換を可能とする。
請求項６に係る移動型ロボットは、遠距離に位置する認識対象の認識精度を高くすることができるため、移動速度を速くすることが可能となる。
請求項７に係る移動型ロボットは、音を発生させる認識対象を素早く認識することができる。
請求項８に係る移動型ロボットは、音を発生させる認識対象が遠距離に位置する場合でも、認識対象の認識精度を高くすることができる。

請求項９に係る移動型ロボットは、検知対象が装着したタグを素早く認識することができる。
請求項１０に係る移動型ロボットは、検知対象が装着したタグが遠距離に位置する場合でも、認識対象の認識精度を高くすることができる。
請求項１１に係る移動型ロボットは、運搬容器を素早く認識することができるため、運搬タスクをスムーズに実行することができる。
請求項１２に係る移動型ロボットは、案内方向に位置する認識対象を素早く認識することができるため、案内タスクをスムーズに実行することができる。

以下、図面を参照して本発明の移動型ロボット（以下「ロボット」という）を実施する
ための最良の形態（以下「実施形態」という）について詳細に説明する。まず、本発明の
実施形態に係るロボットを含むロボット制御システムＡの全体構成について図１を参照し
て説明する。図１は、本発明の実施形態に係るロボットを含むロボット制御システムの構
成を模式的に示す図である。

（ロボット制御システムＡの構成）
図１に示すように、ロボット制御システムＡは、ロボットＲと、このロボットＲと無線通信によって接続された基地局１と、この基地局１とロボット専用ネットワーク２を介して接続された管理用コンピュータ３と、この管理用コンピュータ３にネットワーク４を介して接続された端末５とから構成される。

図１に示すように、このロボット制御システムＡは、移動機能を備えた複数のロボットＲ_Ａ，Ｒ_Ｂ，Ｒ_Ｃ（ただし、ロボットを特定しない場合は、単にロボットＲという）を有しており、各ロボットＲは、管理用コンピュータ３においてロボットＲ毎に予め設定されたタスクの実行計画（タスクスケジュール）に従って、タスクを実行する。

ここでは、自律移動型の２足歩行ロボットを一例として説明する。
ロボットＲは、管理用コンピュータ３から入力された実行命令に従ってタスクを実行するものであり、ロボットＲがタスクを実行する領域として予め設定されたタスク実行エリア内に、少なくとも一台配置されている。
ここで、図１には、来訪者を会議室などの所定の場所に案内するという内容のタスク（案内タスク）を実行中のロボットＲ_Ａと、荷物をある人に渡すという内容のタスク（運搬タスク）を実行中のロボットＲ_Ｂと、新たなタスクが割り当てられるまで待機中のロボットＲ_Ｃとが、例示されている。

ロボットＲは、図２に示すように、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、胴部Ｒ４および背面格納部Ｒ５を有しており、胴部Ｒ４にそれぞれ接続された頭部Ｒ１、腕部Ｒ２、脚部Ｒ３は、それぞれアクチュエータ（駆動手段）により駆動され、自律移動制御部５０（図６参照）により２足歩行の制御がなされる。この２足歩行についての詳細は、例えば、特開２００１−６２７６０号公報に開示されている。

このロボットＲは、例えば、案内タスクを実行するときには、人物Ｈを所定の案内領域（オフィスや廊下などの移動領域）で案内する。ここでは、ロボットＲは、周囲に光（例えば、赤外光、紫外光、レーザ光など）および電波を発信して周辺領域に、タグＴを備えた人物Ｈが存在するか否かを検知し、検知した人物Ｈの位置を特定して接近し、タグＴに基づいて、人物Ｈが誰であるのかという個人識別を行う。このタグＴは、ロボットＲが人物の位置（距離および方向）を特定するために発する赤外光および電波を受信する。このタグＴは、受信した赤外光に含まれる受光方向を示す信号と、受信した電波に含まれるロボットＩＤとに基づいて、タグ識別番号を含む受信報告信号を生成し、当該ロボットＲに返信する。この受信報告信号を受信したロボットＲは、受信報告信号に基づいて、タグＴを装着した人物Ｈまでの距離と方向とを認識し、当該人物Ｈに接近することができる。

ロボットＲは、あるタスク（例えば案内タスクや運搬タスクなど）を実行するために案内領域内を自律移動する場合に、レーザスリット光または赤外線を照射して、路面状態あるいは路面上のマークを探索するようになっている。すなわち、ロボットＲは、自己が移動領域内のどこを移動しているかを把握し、通常の移動領域内にいる場合はレーザスリット光を路面に照射して路面の段差、うねり、障害物の有無などを検出し、マークＭの設置領域内にいる場合は、赤外線を路面に照射してマークＭを検出し、自己位置の確認・補正などを行うようになっている。ここで、マークＭは、例えば赤外線を再帰的に反射する反射材料で構成された部材である。また、マークＭは位置データを有しており、当該位置データは地図データに含まれる形で記憶部３０（図６参照）に記憶されている。なお、地図データは、案内領域内の特定の場所に設置されたマークＭの位置データと、当該位置データに所定の幅（範囲）を持たせたマークＭの設置領域に関するデータとを含んでいる。また、マークＭの設置領域とは、マークＭから所定距離の範囲内にある領域をいい、例えば、マークＭを中心とした半径が１〜３ｍの円形領域や、マークＭの手前（ロボット側）３ｍの矩形領域などのように任意に設定される。

図１に戻って、ロボット制御システムＡの構成の説明を続ける。
基地局１は、ロボットＲと管理用コンピュータ３との間のデータ交換を仲介するものである。具体的には、基地局１は、管理用コンピュータ３から出力された実行命令をロボットＲに送信すると共に、ロボットＲから送信されたロボットＲの状態に関するデータ（ステータス情報）やロボットＲが実行命令を受信したことを示す信号（受信報告信号）を受信して、管理用コンピュータ３に出力するものである。
基地局１は、ロボットＲと管理用コンピュータ３との間のデータ交換を確実に行えるようにするために、タスク実行エリア内に少なくとも一つ設けられている。
なお、タスク実行エリアが建物の数フロアに亘って設定されている場合には、フロア毎に設けられていることが好ましく、一つの基地局１では総てのタスク実行エリアをカバーできない場合には、複数の基地局１がタスク実行エリア内に設けられていることが好ましい。

ロボット専用ネットワーク２は、基地局１と、管理用コンピュータ３と、ネットワーク４とを接続するものであり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などにより実現されるものである。

管理用コンピュータ３は、複数のロボットＲを管理するものであり、基地局１、ロボット専用ネットワーク２を介してロボットＲの移動・発話などの各種制御を行うと共に、ロボットＲに対して必要な情報を提供する。ここで、必要な情報とは、検知された人物の氏名や、ロボットＲの周辺の地図（ローカル地図）などがこれに相当し、これらの情報は、管理用コンピュータ３の記憶部３ａに記憶されている。

図３は、図１に示したロボットシステムで用いられるローカル地図の一例を示す図である。ここでは、案内領域３０１は、図３（ａ）に示すように、建物のあるフロアの長方形の領域である。ロボットＲやロボットＲが案内すべき人物は、案内領域３０１の出入口３０２の外側の廊下３０３を通って案内領域３０１に入る。出入口３０２の内側には、ホール３０４が広がっており、ホール３０４の奥の隅には受付３０５が配置され、案内領域３０１の壁側には個室として仕切られた複数の会議室３０６（３０６ａ，３０６ｂ，３０６ｃ）が設けられている。受付３０５は、Ｌ字型のカウンタテーブル３０５ａと、受付スタッフが配置されるカウンタスペース３０５ｂとから成る。カウンタスペース３０５ｂには、基地局１が設置されている。なお、管理用コンピュータ３は、通路や部屋などのローカル地図の情報を位置座標データと関連づけて登録したローカルマップ（ローカル地図データ）と、ローカルマップを集積したタスク実行エリアの地図情報であるグローバルマップとを記憶部３ａ（図１参照）に保持している。

また、管理用コンピュータ３は、ロボットＲに実行させるタスクに関する情報（タスクデータ）を記憶するタスク情報データベースを記憶部３ａ（図１参照）に保持している。
図４に示すように、タスク情報データベース４００には、タスク毎に割り当てられた固有の識別子であるタスクＩＤ、タスクの優先度、タスクの重要度、タスクを実行させるロボットの識別子であるロボットＩＤ、案内や運搬（荷物配達）などのタスクの内容、タスク実行エリア内におけるタスクを開始する位置（開始位置）、タスク実行エリア内におけるタスクを終了する位置（終了位置）、タスクの実行に要する時間（所要時間）、そしてタスクの開始予定時刻（開始時刻）、タスクの終了予定時刻（終了時刻）、そしてタスクの状態、などが、情報項目として含まれている。

また、管理用コンピュータ３は、ロボットＲに実行させるタスクの実行計画（タスクスケジュール）を、ロボットＲ毎に設定するものである。
図５に示すように、タスクスケジュールテーブル５００は、ロボットＲに実行させるタスクの実行順位、タスク情報データベース４００（図４参照）に登録されたタスクを特定するためのタスクＩＤ、タスクの優先度、タスクの内容、そしてタスクの状態を情報項目として含むテーブルである。
このタスクスケジュールテーブル５００では、これら情報項目が、タスク実行エリア内に配置されたロボットＲ毎に整理されており、どの様なタスクが、どのような順番で各ロボットＲに割り当てられているのかを把握できるようになっている。

再び、図１に戻って、ロボット制御システムＡの構成の説明を続ける。
端末５は、ネットワーク４を介して管理用コンピュータ３に接続し、管理用コンピュータ３の記憶部３ａに、人物に関する情報などを登録する、もしくは登録されたこれらの情報を修正するものである。また、端末５は、ロボットＲに実行させるタスクの登録や、管理用コンピュータ３において設定されるタスクスケジュールの変更や、ロボットＲの動作命令の入力などを行うものである。

［ロボット］
以下、ロボットＲについて詳細に説明する。
ロボットＲは、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、胴部Ｒ４および背面格納部Ｒ５に加えて、これら各部Ｒ１〜Ｒ５の適所に、図６に示すように、カメラＣ，Ｃ、スピーカＳ、マイクＭＣ，ＭＣ、画像処理部１０、音声処理部２０、記憶部３０、主制御部（制御部）４０、自律移動制御部５０、無線通信部６０、バッテリ７０、対象検知部８０、および周辺状態検知部９０を有する。
さらに、ロボットＲは、ロボットＲの向いている方向を検出するジャイロセンサＳＲ１や、予め設定された地図上におけるロボットＲの存在する位置座標を取得するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信器ＳＲ２を有している。

［カメラ］
カメラ（視覚センサ）Ｃ，Ｃは、ロボットＲの前方移動方向側の映像をデジタルデータとして取り込むことができるものであり、例えば、カラーＣＣＤ(Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ)カメラが使用される。カメラＣ，Ｃは、左右に平行に並んで配置され、撮影した画像は画像処理部１０に出力される。このカメラＣ，Ｃと、スピーカＳおよびマイクＭＣ，ＭＣは、いずれも頭部Ｒ１の内部に配設される。スピーカ（音声出力手段）Ｓは、音声処理部２０で音声合成された所定の音声を発することができる。

［画像処理部］
画像処理部１０は、カメラＣ，Ｃが撮影した画像（撮影画像）を処理して、撮影された画像からロボットＲの周囲の状況を把握するため、周囲の障害物、人物等の認識対象を認識する部分である。この画像処理部１０は、複数解像度画像生成部１１と、低解像度画像処理部１２と、画像処理判定部１３と、高解像度画像処理部１４と、画像処理結果統合部１５と、を含んで構成される。

複数解像度画像生成部１１は、カメラＣ，Ｃが取得した撮影画像を縮小して撮影画像より解像度が低い低解像度画像と、低解像度画像より解像度が高い１以上の高解像度画像とを生成するものである。ここで、複数解像度画像生成部１１は、カメラＣ，Ｃが撮影した撮影画像を歪補正し、撮影画像において、２×２画素を１画素に平均化し又は所定間隔で画素を間引いて撮影画像を縮小する。また、複数解像度画像生成部１１は、低解像度画像を低解像度画像処理部１２に出力し、高解像度画像を画像処理判定部１３に出力する。

例えば、カメラＣ，Ｃが１２８０×９６０画素の撮影画像を撮影する場合、複数解像度画像生成部１１は、撮影画像を６４０×４８０画素に縮小した低解像度画像と、撮影画像をそのまま用いた高解像度画像と、解像度が異なる２種類の画像を生成する。
また、複数解像度画像生成部１１は、解像度が異なる３種類以上の画像を生成しても良い。例えば、複数解像度画像生成部１１は、撮影画像を６４０×４８０画素に縮小した低解像度画像と、撮影画像を８００×６００に縮小した高解像度画像（中）と、撮影画像をそのまま用いた高解像度画像（高）と、解像度が異なる３種類の画像を生成する。

なお、認識対象には、人物、障害物、及び、検知対象が装着したタグ、物品を載せる運搬容器が含まれる。また、対象情報には、対象の種別、対象の方向、対象までの距離、人物の顔領域、画像内における認識対象の領域等、認識対象に関する様々な情報が含まれる。

低解像度画像処理部１２は、複数解像度画像生成部１１が生成した低解像度画像を画像処理し、低解像度画像に含まれる認識対象に関する対象情報を生成するものである。ここで、低解像度画像処理部１２は、複数解像度画像生成部１１が生成した画像のうち、最も解像度が低い画像を画像処理する。
そして、低解像度画像処理部１２は、左右のカメラＣ，Ｃのそれぞれが撮影した２枚の撮影画像から一組の低解像度画像を生成し、ブロック相関により一組の低解像度画像中の対応する各画素の視差を計算して視差画像を生成する。なお、この視差は、ロボットＲから撮影された認識対象までの距離を表すものである。また、認識対象までの距離に関する情報が不要な場合、低解像度画像処理部１２は、前記した一組の低解像度画像のうち、一方のみを画像処理する。

低解像度画像処理部１２は、移動体（認識対象）の抽出をするために、過去の数フレーム（コマ）の画像を記憶しており、過去のフレーム（画像）間で相関演算等を行って、各画素の移動量を計算し、移動量画像を生成する。そして、視差画像と、移動量画像とから、カメラＣ，Ｃから所定の距離範囲内で、移動量の多い画素がある場合に、人物があると推定し、その所定距離範囲のみの視差画像として、移動体を抽出する。

低解像度画像処理部１２は、低解像度画像から抽出した移動体に、頭部領域を設定して顔領域および顔の位置を認識する。なお、同様にして、抽出した移動体の一部分の大きさ、形状などから手の位置も認識される。人物の顔領域の認識の詳細については、例えば、特開２００６−１７１９２９号公報に開示されている。

低解像度画像処理部１２は、障害物（認識対象）を抽出するために、低解像度画像のエッジを抽出したエッジ抽出画像を生成し、又は、その濃度値を基準として、低解像度画像の各画素を白又は黒に変換した２値化画像を生成する。さらに、ロボットＲが物品を運搬する場合（運搬タスクを実行）、低解像度画像処理部１２は、低解像度画像から、その物品が載せられた運搬容器を抽出する。
ここで、低解像度画像処理部１２は、人物の顔領域や運搬容器を入力情報として画像処理判定部１３に出力し、生成した対象情報を画像処理結果統合部１５に出力する。

画像処理判定部１３は、所定の入力情報又は予め設定したルールに基づいて、高解像度画像を画像処理するか否かを判定すると共に、複数解像度画像生成部１１が２以上の高解像度画像を生成した場合には何れの解像度の高解像度画像を画像処理するかを判定し、低解像度画像の一部に解像度処理領域を設定するものである。また、画像処理判定部１３は、高解像度画像処理部１４に、画像処理を行うと判定した解像度の高解像度画像と、解像度処理領域を高解像度画像処理部１４に出力する。一方、画像処理判定部１３は、解像度画像を画像処理しないと判定した場合には、その判定情報を画像処理結果統合部１５に出力する。
以下、画像処理判定部１３での判定及び解像度処理領域の設定について、第１例〜第１１例を示して具体的に説明する。なお、以下の例では、音源定位部２１ｃ、主制御部４０、内部状態検出部４５、行動計画管理部４６、対象検知部８０等の説明を省略し、後記することとした。

＜第１例：中央部分に解像度処理領域を設定＞
画像処理判定部１３は、ルールに基づいて、低解像度画像の中央部分を解像度処理領域として設定する。ここでは、画像処理判定部１３は、低解像度画像の中央部分に、例えば、横２００×縦１００画素の矩形状の解像度処理領域を設定する。
この場合、入力情報が入力されないので、画像処理判定部１３は、以下のルールに基づいて、解像度処理領域を設定する。例えば、ロボットＲの稼働中、常に、解像度処理領域を設定するというルールがある。また、ロボットＲが移動する場合に解像度処理領域を設定し、ロボットＲが停止する場合には解像度処理領域の設定を解除するルールとしても良い。さらに、解像度処理領域を設定し、その後、所定時間内に認識対象が認識されなかった場合、解像度処理領域の設定を解除するルールとしても良い。ここで、画像処理判定部１３は、解像度処理領域を設定する場合、高解像度画像を画像処理すると判定し、解像度処理領域の設定を解除する場合、高解像度画像を画像処理しないと判定する。
なお、解像度処理領域の大きさ（面積）、形状は特に制限されず、解像度処理領域を矩形状、円形状又は水平方向が長軸となる楕円形状としても良い。

＜第２例：水平方向に繰り返し解像度処理領域を設定＞
画像処理判定部１３は、ルールに基づいて、解像度処理領域を水平方向に移動させて繰り返し設定する。ここで、画像処理判定部１３は、先のフレームとなる低解像度画像の中央部分に解像度処理領域として設定しておき、次のフレームとなる低解像度画像では、その解像度処理領域を右側又は左側に所定画素数移動させる。そして、画像処理判定部１３は、解像度処理領域が低解像度画像の右端又は左端に達するまでこれを繰り返す。解像度処理領域が低解像度画像の右端又は左端に達した場合、画像処理判定部１３は、低解像度画像の中央部分に解像度処理領域を再度設定し、又は、反対側の端に向けて解像度処理領域を再度移動させても良い。
また、画像処理判定部１３は、予め、低解像度画像の右端又は左端に解像度処理領域を設定し、反対側の端に向けて解像度処理領域を移動させても良い。
なお、解像度処理領域の大きさ（面積）、形状は特に制限されず、解像度処理領域を矩形状、円形状又は水平方向が長軸となる楕円形状としても良い。

＜第３例：人物の顔領域に解像度処理領域を設定＞
画像処理判定部１３は、低解像度画像処理部１２が抽出した人物の顔領域を解像度処理領域として設定する。図７は、低解像度画像処理部１２が低解像度画像から顔領域を抽出した例を示す図である。ここで、低解像度画像処理部１２は、４人分の顔領域を抽出した顔領域画像を生成する。この顔領域画像が入力された画像処理判定部１３は、この顔領域を解像度処理領域（図８下段のハッチング以外の部分参照）として設定する。
なお、画像処理判定部１３は、低解像度画像に、１箇所の解像度処理領域を設定し、又は、２箇所以上の解像度処理領域を設定しても良い。

＜第４例：進行予定方向に基づいて解像度処理領域を設定＞
画像処理判定部１３は、入力された進行予定方向に基づいて、解像度処理領域を設定する。ここで、ロボットＲの進行予定方向が正面、すなわち、ロボットＲが前進する場合、画像処理判定部１３は、低解像度画像の中央部分に解像度処理領域を設定する。また、画像処理判定部１３は、ロボットＲの進行予定方向が右側、すなわち、ロボットＲが右方向に方向転換する場合、低解像度画像の右側に解像度処理領域を設定し、ロボットＲの進行予定方向が左側、すなわち、ロボットＲが左方向に方向転換する場合、低解像度画像の左側に解像度処理領域を設定する。

ロボットＲが現在向いている方向と進行予定方向との差が小さい場合、すなわち、ロボットＲの方向転換量が小さい場合、画像処理判定部１３は、低解像度画像の中央部分から進行予定方向側に少しずらして解像度処理領域を設定する。一方、ロボットＲの方向転換量が大きい場合、画像処理判定部１３は、低解像度画像において、進行予定方向側の端（右端又は左端）に近づけて解像度処理領域を設定する。
また、ロボットＲの方向転換量が大きく、その進行予定方向がカメラＣ，Ｃの撮影可能範囲から外れる場合がある。この場合、画像処理判定部１３は、進行予定方向側の端（右端又は左端）に解像度処理領域を設定する。このように解像度処理領域を設定することで、ロボットＲの頭部Ｒ１を進行予定方向に向けて、進行予定方向から認識対象を素早く認識することができ、また、認識対象を認識するためのロボットＲの方向転換量を最小限に抑えることができる。

なお、行動計画管理部４６が、管理する行動計画からロボットＲの進行予定方向を入力情報として画像処理判定部１３に出力する。また、自律移動制御部５０が、ロボットＲの進行予定方向を入力情報として情報を画像処理判定部１３に出力する。
この場合、図４に示すように、主制御部４０が、管理用コンピュータ３のタスク情報データベース４００から実行しているタスクを取得し、ロボットＲの進行予定方向を求める。主制御部４０は、例えば、ロボットＲの現在位置から見て、タスクに含まれる終了位置の方向をロボットＲの進行予定方向を入力情報として、画像処理判定部１３に出力する。
また、ロボットＲが現在向いている方向を示す情報は、主制御部４０を介してジャイロセンサＳＲ１から入力され、ロボットＲの現在位置を示す情報は、主制御部４０を介してＧＰＳ受信機ＳＲ２から入力される。

＜第５例：移動予定速度に基づいて解像度を変更＞
画像処理判定部１３は、入力された移動速度又は移動予定速度が速くなるほど、解像度が高い高解像度画像を画像処理すると判定すると共に、解像度処理領域の面積を狭くする。このように判定するのは、ロボットＲの移動速度又は移動予定速度が速くなるほど、解像度が高い画像を画像処理し、遠距離に位置する認識対象の認識精度を向上させるためのである。ここでは、解像度処理領域は、ロボットＲの進行予定方向に基づいて設定する。

画像処理判定部１３は、複数解像度画像生成部１１が２種類の画像を生成した場合、以下のように判定する。
停止時：高解像度画像を画像処理しないと判定
歩行時：高解像度画像を画像処理すると判定
走行時：高解像度画像を画像処理すると判定

画像処理判定部１３は、複数解像度画像生成部１１が３種類の画像を生成した場合、以下のように判定する。
停止時：高解像度画像を画像処理しないと判定
歩行時：高解像度画像（中）を画像処理すると判定
走行時：高解像度画像（高）を画像処理すると判定

画像処理判定部１３は、解像度処理領域を、歩行時には横２００×縦１００画素の矩形状に設定し、走行時には横１００×縦５０画素の矩形状に設定する。ここで、解像度が高い画像を画像処理する場合でも、解像度処理領域を狭くするため、高解像度画像処理部１４での演算量の増加を抑えることができる。

ここで、ロボットＲの移動予定速度の例を、以下に示す。また、移動速度が入力された場合も以下と同様である。
停止時：ロボットＲの移動予定速度＝０（ｍ／ｓ）
歩行時：０（ｍ／ｓ）＜ロボットＲの移動予定速度≦３（ｍ／ｓ）
走行時：ロボットＲの移動予定速度＞３（ｍ／ｓ）

なお、行動計画管理部４６が、管理する行動計画からロボットＲの移動予定速度を入力情報として画像処理判定部１３に出力する。また、自律移動制御部５０が、ロボットＲの移動速度を入力情報として画像処理判定部１３に出力する。
この場合、図４に示すように、主制御部４０が、管理用コンピュータ３のタスク情報データベース４００から実行しているタスクを取得し、ロボットＲの移動予定速度を求める。主制御部４０は、例えば、タスクに含まれる開始位置と終了位置との差から移動距離を求め、その移動距離を所要時間で除算した値を入力情報（移動予定速度）として画像処理判定部１３に出力する。

＜第６例：音源の方向に基づいて解像度処理領域を設定＞
画像処理判定部１３は、入力された音源の方向に基づいて、解像度処理領域を設定する。ここで、音源の方向が頭部Ｒ１の正面の場合、画像処理判定部１３は、低解像度画像の中央部分に解像度処理領域を設定する。また、画像処理判定部１３は、音源の方向が頭部Ｒ１の右側の場合、低解像度画像の右側に解像度処理領域を設定し、音源の方向が頭部Ｒ１の左側の場合、低解像度画像の左側に解像度処理領域を設定する。

頭部Ｒ１が現在向いている方向と音源の方向との差が小さい場合、画像処理判定部１３は、低解像度画像の中央部分から音源の方向側に少しずらして解像度処理領域を設定する。一方、頭部Ｒ１が現在向いている方向と音源の方向との差が大きい場合、画像処理判定部１３は、低解像度画像において、音源の方向側の端（右端又は左端）に近づけて解像度処理領域を設定する。
また、その音源がロボットＲの背面側に位置する等、その音源がカメラＣ，Ｃの撮影可能範囲から外れる場合がある。この場合、画像処理判定部１３は、音源の方向側の端（右端又は左端）に解像度処理領域を設定する。このように解像度処理領域を設定することで、ロボットＲの頭部Ｒ１を音源の方向に向けて、音源の方向から認識対象を素早く認識することができ、また、音源を認識するためのロボットＲの方向転換量を最小限に抑えることができる。
なお、主制御部４０が、音源定位部２１ｃが特定した音源の方向及び音圧を入力情報として画像処理判定部１３に出力する。また、頭部Ｒ１が現在向いている方向は、前記したロボットＲが現在向いている方向を示す情報に、自律移動制御部５０から取得できる頭部Ｒ１が現在向いている方向を示す情報を加えて求めることができる。

＜第７例：音圧に基づいて解像度を変更＞
画像処理判定部１３は、入力された音圧が小さくなるほど、解像度が高い高解像度画像を画像処理すると判定すると共に、解像度処理領域の面積を狭くする。このように判定するのは、音圧が小さくなるほど、音源となる認識対象が遠距離に位置すると考えられるためのである。ここでは、解像度処理領域は、音源の方向に基づいて設定する。

画像処理判定部１３は、複数解像度画像生成部１１が２種類の画像を生成した場合、以下のように判定する。
音圧レベル低：高解像度画像を画像処理すると判定
音圧レベル中：高解像度画像を画像処理すると判定
音圧レベル高：高解像度画像を画像処理しないと判定

画像処理判定部１３は、複数解像度画像生成部１１が３種類の画像を生成した場合、以下のように判定する。
音圧レベル低：高解像度画像（高）を画像処理すると判定
音圧レベル中：高解像度画像（中）を画像処理すると判定
音圧レベル高：高解像度画像を画像処理しないと判定

画像処理判定部１３は、解像度処理領域を、音圧レベル低のときには横２００×縦１００画素の矩形状に設定し、音圧レベル中のときには横１００×縦５０画素の矩形状に設定する。ここで、音圧レベルの例を、以下に示す。
音圧レベル低：音圧≦２０（ｄＢ）
音圧レベル中：２０（ｄＢ）＜音圧≦６０（ｄＢ）
音圧レベル高：音圧＞６０（ｄＢ）

＜第８例：タグの方向に基づいて解像度処理領域を設定＞
画像処理判定部１３は、入力されたタグＴの方向に基づいて、解像度処理領域を設定する。ここで、図８に示すように、検知対象（人物Ｈ）が装着したタグＴの方向が頭部Ｒ１の正面の場合、画像処理判定部１３は、低解像度画像の中央部分に解像度処理領域を設定する。また、画像処理判定部１３は、タグＴの方向が頭部Ｒ１の右側の場合、低解像度画像の右側に解像度処理領域を設定し、タグＴの方向が頭部Ｒ１の左側の場合、低解像度画像の左側に解像度処理領域を設定する。

頭部Ｒ１が現在向いている方向とタグＴの方向との差が小さい場合、画像処理判定部１３は、低解像度画像の中央部分からタグＴの方向側に少しずらして解像度処理領域を設定する。一方、頭部Ｒ１が現在向いている方向とタグＴの方向との差が大きい場合、画像処理判定部１３は、低解像度画像において、タグＴの方向側の端（右端又は左端）に近づけて解像度処理領域を設定する。
また、そのタグＴを装着した人物ＨがロボットＲの背面側に位置する等、タグＴがカメラＣ，Ｃの撮影可能範囲から外れる場合がある。この場合、画像処理判定部１３は、タグＴの方向側の端（右端又は左端）に解像度処理領域を設定する。このように解像度処理領域を設定することで、ロボットＲの頭部Ｒ１をタグＴの方向に向けて、タグＴの方向から人物Ｈを素早く認識することができ、また、人物Ｈを認識するためのロボットＲの方向転換量を最小限に抑えることができる。
なお、主制御部４０が、対象検知部８０が検知したタグの方向及びタグＴまでの距離を入力信号として画像処理判定部１３に出力する。

＜第９例：タグの距離に基づいて解像度を変更＞
画像処理判定部１３は、入力されたタグＴまでの距離が遠くなるほど、解像度が高い高解像度画像を画像処理すると判定すると共に、解像度処理領域の面積を狭くする。ここで、図８に示すように、ロボットＲの周辺領域は、ロボットＲからの距離に基づいて４つのエリアに区分されている。すなわち、ロボットＲからの距離が短い順に、エリア１、エリア２、エリア３、そしてエリア４と定義されている。この各エリアと電波強度（対象検知部８０が検知するタグＴまでの距離）とは、予め関連づけられている。ここでは、解像度処理領域は、タグＴの方向に基づいて設定する。

画像処理判定部１３は、複数解像度画像生成部１１が２種類の画像を生成した場合、以下のように判定する。
エリア１：高解像度画像を画像処理しないと判定
エリア２：高解像度画像を画像処理しないと判定
エリア３：高解像度画像を画像処理すると判定
エリア４：高解像度画像を画像処理すると判定

画像処理判定部１３は、複数解像度画像生成部１１が３種類の画像を生成した場合、以下のように判定する。
エリア１：高解像度画像を画像処理しないと判定
エリア２：高解像度画像（中）を画像処理すると判定
エリア３：高解像度画像（中）を画像処理すると判定
エリア４：高解像度画像（高）を画像処理すると判定

画像処理判定部１３は、解像度処理領域を、エリア２では横２００×縦１００画素の矩形状に設定し、エリア３では横１５０×縦７５画素の矩形状に設定し、エリア３では横１００×縦５０画素の矩形状に設定する。

＜第１０例：運搬タスクに連携して解像度処理領域を設定＞
画像処理判定部１３は、ロボットＲが実行しているタスクが運搬タスクであるか否かを判定する。ここで、主制御部４０が、管理用コンピュータ３のタスク情報データベース４００から実行しているタスクを取得し、その内容（種別）を画像処理判定部１３に出力する。また、内部状態検出部４５がステータス情報に格納されたタスクの内容を画像処理判定部１３に出力しても良い。このタスクの内容に基づいて、画像処理判定部１３は、ロボットＲが運搬タスクを実行しているか判定する。そして、画像処理判定部１３は、低解像度画像処理部１１が抽出した運搬容器を解像度処理領域として設定する。

ここで、図９に示すように、ロボットＲは、物品を所定仕様の運搬容器Ｎ（トレイ）に載せて運搬する。また、ロボットＲが画像認識しやすいように運搬容器Ｎの表面には所定の画像認識用パターンが付してある。図９の例では、所定のパターンとして所定のロゴを着けているが、パターンはこれに限らず、運搬容器Ｎの地の色と異なる色であれば任意の色の任意のマークまたはパターンであれば、何でもよい。運搬容器Ｎの色は、運搬容器Ｎの認識のためには、運搬容器Ｎが置かれる置き場所の表面の色とは異なる方が好ましい。なお、ロボットＲが物品を運搬することについての詳細は、例えば、特開２００７−１６０４４７号公報に開示されている。

＜第１１例：案内タスクに連携して解像度処理領域を設定＞
画像処理判定部１３は、ロボットＲが実行しているタスクが案内タスクであるか否かを判定すると共に、人物を案内する方向に基づいて、解像度処理領域を設定する。ここで、主制御部４０が、管理用コンピュータ３のタスク情報データベース４００から実行しているタスクを取得し、その内容を画像処理判定部１３に出力する。このタスクの内容に基づいて、画像処理判定部１３は、ロボットＲが運搬タスクを実行しているか判定する。また、画像処理判定部１３は、実行しているタスクに格納された終了位置（図４参照）を入力情報（案内方向）として、解像度処理領域を設定する。なお、ロボットＲが人物を案内することについての詳細は、例えば、特開２００４−２９９０２６号公報に開示されている。

以下、図６に戻り、説明を続ける。
高解像度画像処理部１４は、高解像度画像における画像処理判定部１３が設定した解像度処理領域に対応する領域を画像処理し、高解像度画像に含まれる認識対象に関する対象情報を生成するものである。ここで、高解像度画像処理部１４は、高解像度画像における解像度処理領域に対応する領域を、低解像度画像処理部１２と同様に、視差画像の生成、移動体の抽出、人物の顔領域の認識、エッジ抽出処理や２値化処理等の画像処理を行って対象情報を生成し、画像処理結果統合部１５に出力する。

画像処理結果統合部１５は、低解像度画像処理部１２が生成した対象情報と高解像度画像処理部１４が生成した対象情報とが一致するか否かを判定すると共に、両対象情報が一致する場合には両対象情報を用いて、両対象情報が一致しない場合には高解像度画像処理部１４が生成した対象情報を用いて、認識情報を生成するものである。
例えば、低解像度画像処理部１２が生成した対象情報が「ロボットの正面５メートル先に障害物有り」であり、高解像度画像処理部１４が生成した対象情報が「ロボットの正面１０メートル先に障害物有り」である場合、両対象情報が一致しないと言える。この場合、画像処理結果統合部１５は、高解像度画像処理部１４が生成した対象情報を用いて、認識情報を生成する。ここでは、画像処理結果統合部１５は、認識対象の種別が障害物、認識対象までの距離が１０メートル、及び、認識対象の方向がロボットＲの正面（ロボットＲの向いている方向を基準とした対象の相対的な方向）という認識情報を生成して主制御部４０に出力する。
一方、低解像度画像処理部１２が生成した対象情報と高解像度画像処理部１４が生成した対象情報が一致している場合には、画像処理結果統合部１５は、同一内容を示す両対象情報を用いて、認識情報を生成して主制御部４０に出力する。

なお、画像処理判定部１３が高解像度画像を画像処理しないと判定した場合には、画像処理結果統合部１５は、低解像度画像処理部１２が生成した対象情報を用いて、認識情報を生成して主制御部４０に出力する。ここでは、認識情報には、対象の種別、対象の方向、対象までの距離、人物の顔領域、画像内における認識対象の領域等、認識対象に関する様々な情報が含まれる。

［音声処理部］
音声処理部２０は、音声合成部２１ａと、音声認識部２１ｂおよび音源定位部２１ｃを有する。
音声合成部２１ａは、主制御部４０が決定し、出力してきた発話行動の指令に基づき、文字情報（テキストデータ）から音声データを生成し、スピーカＳに音声を出力する部分である。
音声認識部（音声認識手段）２１ｂは、マイクＭＣ，ＭＣから音声データが入力され、入力された音声データから文字情報（テキストデータ）を生成し、主制御部４０に出力するものである。
音源定位部２１ｃは、マイクＭＣ，ＭＣ間の音圧差および音の到達時間差に基づいて音源位置（ロボットＲが認識する平面状の位置）を特定し、主制御部４０に出力するものである。音源位置は、例えば、ロボットＲの立っている方向（ｚ軸方向）周りの回転角θzで表される。

[記憶部]
記憶部３０は、例えば、一般的なハードディスク等から構成され、管理用コンピュータ３から送信された必要な情報（ローカル地図データ、会話用データなど）を記憶するものである。また、記憶部３０は、後記するように、主制御部４０の各種動作を行うために必要な情報を記憶している。

[主制御部]
主制御部４０は、画像処理部１０、音声処理部２０、記憶部３０、自律移動制御部５０、無線通信部６０、対象検知部８０、および周辺状態検知部９０を統括制御するものである。また、ジャイロセンサＳＲ１、およびＧＰＳ受信器ＳＲ２が検出したデータは、主制御部４０に出力され、ロボットＲの行動を決定するために利用される。この主制御部４０は、例えば、管理用コンピュータ３と通信を行うための制御、管理用コンピュータ３から取得したタスク実行命令に基づいて所定のタスクを実行するための制御、ロボットＲを目的地に移動させるための制御、人物を識別するための制御、人物と対話するための制御を行うために、種々の判断を行ったり、各部の動作のための指令を生成したりする。

［自律移動制御部］
自律移動制御部５０は、主制御部４０の指示に従い頭部Ｒ１、腕部Ｒ２、脚部Ｒ３および胴部Ｒ４を駆動するものである。この自律移動制御部５０は、図示を省略するが、頭部Ｒ１の首関節を駆動させる首制御部、腕部Ｒ２の手の先の指関節を駆動させる手制御部、腕部Ｒ２の肩関節、肘関節、手首関節を駆動させる腕制御部、脚部Ｒ３に対して胴部Ｒ４を水平方向に回転駆動させる腰制御部、脚部Ｒ３の股関節、膝関節、足首関節を駆動させる足制御部を有している。これら首制御部、手制御部，腕制御部、腰制御部および足制御部は、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３および胴部Ｒ４を駆動するアクチュエータに駆動信号を出力する。

［無線通信部］
無線通信部６０は、管理用コンピュータ３とデータの送受信を行う通信装置である。無線通信部６０は、公衆回線通信装置６１ａおよび無線通信装置６１ｂを有する。
公衆回線通信装置６１ａは、携帯電話回線やＰＨＳ(Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ)回線などの公衆回線を利用した無線通信手段である。一方、無線通信装置６１ｂは、ＩＥＥＥ８０２．１１ｂ規格に準拠するワイヤレスＬＡＮなどの、近距離無線通信による無線通信手段である。
無線通信部６０は、管理用コンピュータ３からの接続要求に従い、公衆回線通信装置６１ａまたは無線通信装置６１ｂを選択して管理用コンピュータ３とデータ通信を行う。

バッテリ７０は、ロボットＲの各部の動作や処理に必要な電力の供給源である。このバッテリ７０は、充填式の構成をもつものが使用され、バッテリ補給エリア（図１参照）で電力が補給される。

［対象検知部］
対象検知部８０は、ロボットＲの周囲にタグＴを備える人物が存在するか否かを検知するものである。対象検知部８０は、複数の発光部８１（図６では１つのみ表示した）を備える。これら発光部８１は、例えば、ＬＥＤから構成され、ロボットＲの頭部Ｒ１外周に沿って前後左右などに配設される（図示は省略する）。対象検知部８０は、発光部８１から、各発光部８１を識別する発光部ＩＤを示す信号を含む赤外光をそれぞれ発信すると共に、この赤外光を受信したタグＴから受信報告信号を受信する。いずれかの赤外光を受信したタグＴは、その赤外光に含まれる発光部ＩＤに基づいて、受信報告信号を生成するので、ロボットＲは、この受信報告信号に含まれる発光部ＩＤを参照することにより、当該ロボットＲから視てどの方向にタグＴが存在するかを特定することができる。また、対象検知部８０は、タグＴから取得した受信報告信号の電波強度に基づいて、タグＴまでの距離を特定する機能を有する。したがって、対象検知部８０は、受信報告信号に基づいて、タグＴの位置（距離および方向）を、人物の位置として特定することができる。さらに、対象検知部８０は、発光部８１から赤外光を発光するだけではなく、ロボットＩＤを示す信号を含む電波を図示しないアンテナから発信する。これにより、この電波を受信したタグＴは、赤外光を発信したロボットＲを正しく特定することができる。なお、対象検知部８０およびタグＴについての詳細は、例えば、特開２００６−１９２５６３号公報に開示されている。

［周辺状態検知部］
周辺状態検知部９０は、ロボットＲの周辺状態を検知するものであり、ジャイロセンサＳＲ１やＧＰＳ受信器ＳＲ２によって検出された自己位置データを取得可能になっている。また、周辺状態検知部９０は、探索域に向かってスリット光を照射するレーザ照射部９１と、探索域に向かって赤外線を照射する赤外線照射部９２と、スリット光または赤外線が照射された探索域を撮像する床面カメラ９３とを有する。この周辺状態検知部９０は、床面カメラ９３で撮像したスリット光画像（スリット光が照射されたときの画像）を解析して路面状態を検出する。また、周辺状態検知部９０は、床面カメラ９３で撮像した赤外線画像（赤外線が照射されたときの画像）を解析してマークＭ（図２参照）を検出し、検出されたマークＭの位置（座標）からマークＭとロボットＲとの相対的な位置関係を計算する。なお、周辺状態検知部９０についての詳細は、例えば、特開２００６−１６７８４４号公報に開示されている。

［主制御部の構成］
図１０は、図６に示したロボットの主制御部の構成を示すブロック図である。
主制御部４０は、静止障害物統合部４１と、オブジェクトデータ統合部４２と、行動パターン部４３と、内部状態検出部４５と、行動計画管理部４６とを備えている。

静止障害物統合部４１は、周辺状態検知部９０で検知されたロボットＲの周辺状態に関する情報を統合し、行動パターン部４３に出力するものである。例えば、静止障害物統合部４１が、ロボットＲの進路の床面に段ボール箱などの障害物を検知した場合や、床面の段差を検知した場合には、行動パターン部４３は、この統合された障害物情報に基づいて、図示しない局所回避モジュールによって迂回経路を探索する。

オブジェクトデータ統合部４２は、ロボットＲの姿勢データ、画像処理部１０が生成した認識情報、対象検知部８０および音源定位部２１ｃからの入力データに基づいて、対象物（オブジェクト）に関する識別データ（オブジェクトデータ）を統合し、この統合したオブジェクトデータを記憶部３０のオブジェクトデータ記憶手段３１に出力するものである。これにより、オブジェクトデータ記憶手段３１には、オブジェクトデータをオブジェクト別かつ時刻別に記録したデータであるオブジェクトマップが生成される。

行動パターン部４３は、行動パターンを実行するための各種プログラム（モジュール）を格納すると共に、この行動パターンを実行するときに、記憶部３０を参照して、行動パターンに反映するものである。

本実施形態では、図７に示すように、記憶部３０に、オブジェクトデータ記憶手段３１のほかに、ローカル地図データ記憶手段３２と、シナリオ記憶手段３３と、を備えている。

ローカル地図データ記憶手段３２は、図３を参照して説明したロボットＲの周辺の地図（ローカル地図）を記憶するものである。このローカル地図は、例えば、管理用コンピュータ３から取得される。

シナリオ記憶手段３３は、各種行動パターンに対応したシナリオ（台本）を記憶するものである。シナリオは、例えば、歩行中に人物や障害物（オブジェクト）に遭遇したときにオブジェクトの１ｍ手前で立ち止まるといったもの、立ち止まってから１０秒後に腕部Ｒ２を所定位置まで上げるといったものなど動作に関するものと、発話に関するものとがある。また、シナリオ記憶手段３３は、所定の発話を行うときに頭部Ｒ１、腕部Ｒ２、脚部Ｒ３および胴部Ｒ４のうちの少なくとも１つの部位を移動させる身体動作である身振りを指定する予め作成されたシナリオを記憶する。

行動パターン部４３は、オブジェクトデータ記憶手段３１、ローカル地図データ記憶手段３２及びシナリオ記憶手段３３を適宜利用して様々な場面や状況に応じた行動パターンを実行するモジュールを備えている。モジュールの例としては、目的地移動モジュール、局所回避モジュール、デリバリモジュール、案内モジュール、人対応モジュール等がある。

目的地移動モジュールは、ロボットＲの現在位置から、例えば、タスク実行エリア内のタスク実行位置等の目的地までの経路探索（例えばノード間の経路を探索）及び移動を行うものである。この目的地移動モジュールは、地図データと現在位置とを参照しつつ、目的地までの最短距離を求める。
局所回避モジュールは、歩行中に障害物が検知されたときに、静止障害物統合部４１で統合された障害物情報に基づいて、障害物を回避する迂回経路を探索するものである。

デリバリモジュールは、荷物配達タスクを実行するときに動作するものであり、物品の運搬を依頼する人物（依頼人）から物品を受け取る（把持する）動作や、受け取った物品を受取人に渡す（物品を手放す）動作を実行するものである。
案内モジュールは、例えば、タスク実行エリア内の案内開始地点に来訪した来訪客を案内領域３０１（図３参照）の受付３０５にいる受付スタッフのもとへ案内するタスクを実行するものである。
人対応モジュールは、例えば、物品運搬タスクや案内タスクの実行時に所定のシナリオに基づいて、発話、姿勢の変更、腕部Ｒ２の上下移動や把持等を行うものである。

内部状態検出部４５は、ロボットＲの内部状態を検出するものである。本実施形態では、内部状態検出部４５は、バッテリ７０の残量を検出する。また、内部状態検出部４５は、ロボットＲの状態（現在位置、バッテリ残量、タスク実行状況など）に関するデータを所定時間間隔毎にステータス情報として生成し、生成したステータス情報を対話誘発動作制御部４７に出力する。また、内部状態検出部４５は、生成したステータス情報を無線通信部６０を介して管理用コンピュータ３に出力する。そして、管理用コンピュータ３は、入力されたステータス情報を記憶部３ａに格納された図示しないロボット情報データベースにロボットＲ毎に登録する。

行動計画管理部４６は、行動パターン部４３が備える各種モジュールを所定のスケジュールで実行する行動計画を管理するものである。本実施形態では、行動計画管理部４６は、管理用コンピュータ３から取得したタスク実行命令に基づいて予め定められたタスクを実行するための行動計画を管理し、現在実行すべき作業に必要なモジュールを適宜選択する。

［画像処理部の動作］
図１１は、図６に示した画像処理部の動作を示すフローチャートである。
まず、画像処理部１０は、複数解像度画像生成部１１によって、視覚センサが取得した撮影画像を歪補正し（ステップＳ１）、この画像を縮小して撮影画像より解像度が低い低解像度画像と、低解像度画像より解像度が高い１以上の高解像度画像と、を生成する（ステップＳ２）。また、画像処理部１０は、画像処理判定部１３によって、所定の入力情報又は予め設定したルールに基づいて、高解像度画像を画像処理するか否かを判定する（ステップＳ３）。

画像処理判定部１３が高解像度画像を画像処理すると判定した場合（ステップＳ３でＹｅｓ）、画像処理部１０は、低解像度画像処理部１２によって、複数解像度画像生成部１１が生成した低解像度画像を画像処理し、低解像度画像に含まれる認識対象に関する対象情報を生成する（ステップＳ４）。また、画像処理部１０は、画像処理判定部１３によって、複数解像度画像生成部１１が２以上の高解像度画像を生成した場合には何れの解像度の高解像度画像を画像処理するかを判定し、低解像度画像の一部に解像度処理領域を設定する（ステップＳ５）。さらに、画像処理部１０は、高解像度画像処理部１４によって、高解像度画像における画像処理判定部１３が設定した解像度処理領域に対応する領域を画像処理し、高解像度画像に含まれる認識対象に関する対象情報を生成する（ステップＳ６）。

一方、画像処理判定部１３が高解像度画像を画像処理しないと判定した場合（ステップＳ３でＮｏ）、画像処理部１０は、低解像度画像処理部１２によって、複数解像度画像生成部１１が生成した低解像度画像を画像処理し、低解像度画像に含まれる対象に関する対象情報を生成する（ステップＳ８）。なお、この場合、画像処理判定部１３による解像度処理領域の設定、及び、高解像度画像処理部１４による対象情報の生成は、行わない。

ステップＳ６に続いて、画像処理部１０は、画像処理結果統合部１５によって、低解像度画像処理部１２が生成した対象情報と高解像度画像処理部１４が生成した対象情報とが一致するか否かを判定すると共に、両対象情報が一致する場合には両対象情報を用いて、両対象情報が一致しない場合には高解像度画像処理部１４が生成した対象情報を用いて、認識情報を生成して主制御部４０に出力する（ステップＳ７）。
なお、ステップＳ８に続く場合、画像処理部１０は、画像処理結果統合部１５によって、低解像度画像処理部１２が生成した対象情報を用いて、認識情報を生成して主制御部４０に出力する。

本実施形態によれば、画像処理判定部１３が、ロボットＲの動作、ロボットＲが実行するタスク又はロボットＲの周囲に存在する認識対象に基づいて、画像処理するか否か、及び、画像処理する画像の解像度を判定し、解像度処理領域を設定する。従って、ロボットＲは、画像処理の演算量を抑えて認識対象の認識精度を高くすることができる。なお、本発明の好ましい実施形態について説明したが、本発明は前記した実施形態に限定されるものでなく、画像処理判定部１３における画像処理を行うか否かの判断、及び、解像度処理領域の形状、大きさは、一例に過ぎない。

また、本実施形態では、ロボットを、２足歩行可能な自律移動型ロボットとして説明したが、これに限定されず、車輪で移動する自律移動型ロボットへの応用も可能である。この場合には、２足歩行可能な自律移動型ロボットの「足」に該等する可動部が「車輪」となる点を除いて、本実施形態と同等の効果を奏することができる。

本発明の実施形態に係るロボットを含むロボットシステムの構成を模式的に示す図である。 本発明の実施形態に係るロボットによる自己位置検出およびオブジェクト検出の一例を模式的に示す図である。 図１に示したロボットシステムで用いられるローカル地図の一例を示す図である。 図１に示した管理用コンピュータの記憶手段に記憶されたタスク情報データベースの一例を示す図である。 図１に示した管理用コンピュータの記憶手段に記憶されたタスクスケジュールテーブルの一例を示す図である。 本発明の実施形態に係るロボットの構成を示すブロック図である。 本発明の実施形態において、低解像度画像から顔領域を抽出した例を示す図である。 本発明の実施形態において、電波強度を基に人物がどのエリアにいるのかを示す情報（エリア情報）を取得する方法を説明する説明図である。 本発明の実施形態に係るロボットが運搬タスクを実行することを説明する説明図である。 図６に示したロボットの主制御部の構成を示すブロック図である。 図６に示した画像処理部の動作を示すフローチャートである。

符号の説明

Ａ ロボットシステム
Ｒ ロボット（移動型ロボット）
Ｒ１ 頭部
Ｒ２ 腕部
Ｒ３ 脚部
Ｒ４ 胴体部
Ｒ５ 背面格納部
１ 基地局
２ ロボット専用ネットワーク
３ 管理用コンピュータ
３ａ 記憶部
４ ネットワーク
５ 端末
１０ 画像処理部
１１ 複数解像度画像生成部
１２ 低解像度画像処理部
１３ 画像処理判定部
１４ 高解像度画像処理部
１５ 画像処理結果統合部
２０ 音声処理部
２１ａ 音声合成部
２１ｂ 音声認識部
２１ｃ 音源定位部
３０ 記憶部
３１ オブジェクトデータ記憶手段
３２ ローカル地図データ記憶手段
３３ シナリオ記憶手段
４０ 主制御部
４１ 静止障害物統合部
４２ オブジェクトデータ統合部
４３ 行動パターン部
４５ 内部状態検出部
４６ 行動計画管理部
５０ 自律移動制御部
６０ 無線通信部
７０ バッテリ
８０ 対象検知部
９０ 周辺状態検知部
Ｃ カメラ（視覚センサ）
Ｈ 人物（検知対象）
ＭＣ マイク（音声入力部）
Ｍ マーク
Ｎ 運搬容器
Ｓ スピーカ（音声出力手段）
ＳＲ１ ジャイロセンサ
ＳＲ２ ＧＰＳ受信器
Ｔ タグ

Claims (12)

1. 視覚センサが取得した撮影画像を画像処理し、当該撮影画像に含まれる認識対象に関する認識情報を生成する画像処理部と、前記画像処理部が生成した認識情報に基づいて統括制御を行う制御部と、を備える移動型ロボットであって、
   前記画像処理部は、
   前記視覚センサが取得した撮影画像を縮小して前記撮影画像より解像度が低い低解像度画像と、当該低解像度画像より解像度が高い１以上の高解像度画像と、を生成する複数解像度画像生成部と、
   前記複数解像度画像生成部が生成した低解像度画像を画像処理し、当該低解像度画像に含まれる認識対象に関する対象情報を生成する低解像度画像処理部と、
   所定の入力情報又は予め設定したルールに基づいて、前記高解像度画像を画像処理するか否かを判定すると共に、前記複数解像度画像生成部が２以上の高解像度画像を生成した場合には何れの解像度の前記高解像度画像を画像処理するかを判定し、前記低解像度画像の一部に解像度処理領域を設定する画像処理判定部と、
   前記高解像度画像における前記画像処理判定部が設定した解像度処理領域に対応する領域を画像処理し、前記高解像度画像に含まれる認識対象に関する対象情報を生成する高解像度画像処理部と、
   前記低解像度画像処理部が生成した対象情報と前記高解像度画像処理部が生成した対象情報とが一致するか否かを判定すると共に、両対象情報が一致する場合には前記両対象情報を用いて、前記両対象情報が一致しない場合には前記高解像度画像処理部が生成した対象情報を用いて、前記認識情報を生成する画像処理結果統合部と、
   を備えることを特徴とする移動型ロボット。
2. 前記画像処理判定部は、前記ルールに基づいて、前記低解像度画像の中央部分を前記解像度処理領域として設定することを特徴とする請求項１に記載の移動型ロボット。
3. 前記画像処理判定部は、前記ルールに基づいて、前記解像度処理領域を水平方向に移動させて繰り返し設定することを特徴とする請求項１に記載の移動型ロボット。
4. 前記低解像度画像処理部は、前記低解像度画像に含まれる人物の顔領域を前記入力情報として抽出し、
   前記画像処理判定部は、前記低解像度画像処理部が抽出した人物の顔領域を前記解像度処理領域として設定することを特徴とする請求項１に記載の移動型ロボット。
5. 当該移動型ロボットの進行予定方向が前記入力情報として前記画像処理判定部に入力され、
   前記画像処理判定部は、入力された前記進行予定方向に基づいて、前記解像度処理領域を設定することを特徴とする請求項１に記載の移動型ロボット。
6. 当該移動型ロボットの移動速度又は移動予定速度が前記入力情報として前記画像処理判定部に入力され、
   前記画像処理判定部は、入力された前記移動速度又は前記移動予定速度が速くなるほど、解像度が高い前記高解像度画像を画像処理すると判定すると共に、前記解像度処理領域の面積を狭くすることを特徴とする請求項５に記載の移動型ロボット。
7. 認識対象が発生させる音源の方向及び音圧を特定する音源定位部から、当該音源の方向及び当該音圧が前記入力情報として前記画像処理判定部に入力され、
   前記画像処理判定部は、入力された前記音源の方向に基づいて、前記解像度処理領域を設定することを特徴とする請求項１に記載の移動型ロボット。
8. 前記画像処理判定部は、入力された前記音圧が小さくなるほど、解像度が高い前記高解像度画像を画像処理すると判定すると共に、前記解像度処理領域の面積を狭くすることを特徴とする請求項７に記載の移動型ロボット。
9. 検知対象が装着したタグの方向及び前記タグまでの距離を検知する対象検知部から、当該タグの方向及び当該タグまでの距離が前記入力情報として前記画像処理判定部に入力され、
   前記画像処理判定部は、入力された前記タグの方向に基づいて、前記解像度処理領域を設定することを特徴とする請求項１に記載の移動型ロボット。
10. 前記画像処理判定部は、入力された前記タグまでの距離が遠くなるほど、解像度が高い前記高解像度画像を画像処理すると判定すると共に、前記解像度処理領域の面積を狭くすることを特徴とする請求項９に記載の移動型ロボット。
11. 当該移動型ロボットは、物品を運搬する運搬タスクを実行し、
    前記低解像度画像処理部は、前記低解像度画像に含まれる前記物品を載せた所定仕様の運搬容器を前記入力情報として抽出し、
    前記画像処理判定部は、当該移動型ロボットが実行しているタスクが前記運搬タスクであるか否かを判定すると共に、前記低解像度画像処理部が抽出した前記運搬容器を前記解像度処理領域として設定することを特徴とする請求項１に記載の移動型ロボット。
12. 当該移動型ロボットは、人物を案内する案内タスクを実行し、
    前記人物を案内する案内方向が前記入力情報として前記画像処理判定部に入力され、
    前記画像処理判定部は、当該移動型ロボットが実行しているタスクが前記案内タスクであるか否かを判定すると共に、入力された前記案内方向に基づいて、前記解像度処理領域を設定することを特徴とする請求項１に記載の移動型ロボット。

Images