JP5171394B2

JP5171394B2 - 移動型ロボット

Info

Publication number: JP5171394B2
Application number: JP2008138942A
Authority: JP
Inventors: 龍人渡邉
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2008-05-28
Filing date: 2008-05-28
Publication date: 2013-03-27
Anticipated expiration: 2028-05-28
Also published as: JP2009285752A

Description

本発明は、自律的に移動可能な移動型ロボットに係り、特に、外界の画像を取り込む視覚センサと、視覚センサによって取り込んだ画像を処理する画像制御処理部とを有する移動型ロボットに関するものである。

従来、自律的に移動可能な移動型ロボットとして、歩行型（脚式）や車輪型の移動型ロボットが知られている（例えば、特許文献１参照）。特許文献１に記載された脚式の移動型ロボットは、４足歩行可能な犬型のペットロボットであり、頭部の鼻の位置に外界の画像を取り込む視覚センサ（ビデオカメラ）を備え、ビデオカメラによって撮影したボールの画像認識結果を用いてボールとの距離を保って追いかけることでペットらしい動きを行う。ペットロボットは、静止中にはボールまでの距離の判定に問題ないが、繰り返し運動としての歩行中には、左右への大きな重心移動を必要とするため、その頭部と胴体部にはロール方向に揺れが発生する。したがって、ペットロボットは、歩行動作に伴って左に傾くと本来画面中央にあるべきボールを画面右側上部に撮影し、歩行動作に伴って右に傾くと本来画面中央にあるべきボールを画面左側上部に撮影してしまうことになる。このように撮影したタイミングによってボール位置が異なると距離を正確に判定できなくなる。そこで、このペットロボットは、ビデオカメラを制御して、歩行中に重心が例えば左右の中心にある場合にだけボールの画像を取り込むことでロール方向の揺れの影響を低減し、このとき取り込んだ画像の処理結果を距離の算出に用いることで、立ち止まることなくボールまでの距離を判定する。ペットロボットは、通常０．５秒以上の歩行周期（つまり、重心の位置が例えば左右の中心から右側または左側に傾いて復元するまでの周期）に基づいて画像を取り込み、取り込んだボール画像の面積と所定値との大小によりボールとの距離を保つ。
特開２００５−１６１４７５号公報（段落００３４−００４３、図４）

しかしながら、特許文献１に記載された移動型ロボット（ペットロボット）は、０．５秒以上の歩行周期で１画像を取り込むため、認識すべき対象物（ボール）の位置が時間によって激しく変化する場合には画像の取り込みを充分に行うことができない。そこで、歩行周期を変えずに、取り込む画像の取込回数を増やそうとしても、特許文献１に記載された移動型ロボットは、歩行中には、左右への大きな重心移動を必要とするため、増加させた画像には周期性がなく、距離の判定に使用することはできない。そのため、移動型ロボットの行う動作を制限せざるを得なかった。

また、左右への大きな重心移動をせずに歩行する従来の移動型ロボットにおいて、取り込む画像の取込回数を単純に増やそうとする場合には、以下の問題がある。すなわち、例えば、脚式の移動型ロボットの脚部の先端が着地したときや、車輪型ロボットが段差を通過したときには、その衝撃により視覚センサが振動するため、振動した視覚センサにより取得される画像のブレが大きくなってしまう。このブレが大きい画像を用いた場合には、画像処理結果としての角度分解能や対象物の認識精度が低下してしまう。

そこで、本発明では、前記した問題を解決し、移動中の画像処理結果から画像のブレの影響を低減させつつ画像を処理するサンプリング回数を増加させることができる移動型ロボットを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、本発明のうち請求項１に記載の移動型ロボットは、外界の画像を取り込む視覚センサと、前記視覚センサによって取り込んだ画像を処理する画像制御処理部と、自律的に移動する機能を有する自律的移動手段と、前記視覚センサによって取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングの情報を含む移動計画情報を記憶する記憶部と、前記移動計画情報に基づいて当該移動型ロボットの移動を制御する指令を前記自律的移動手段に出力する移動制御部とを有した移動型ロボットにおいて、前記移動計画情報を前記画像制御処理部に通知する移動計画情報通知部を備え、前記自律的移動手段は、脚部と、前記脚部を駆動する自律移動制御部とを有し、前記移動計画情報に含まれるタイミングの情報は、前記脚部の予定着地時期の情報と、前記予定着地時期の情報に予め対応付けられた画像のブレを示す値が所定の値以下である時刻と当該ロボットの移動速度との相関関係と、を含み、前記移動計画情報通知部は、前記脚部の予定着地時期の情報を前記画像制御処理部に通知する予定着地時期通知部と、前記相関関係を前記画像制御処理部に通知する速度相関通知部と、を備え、前記画像制御処理部は、前記予定着地時期の情報と前記相関関係とを取得すると共に、当該ロボットの移動中にその移動速度を取得し、前記取得した移動速度に応じて前記相関関係を用いて、前記取得した予定着地時期の情報から、前記画像のブレを示す値が所定の値以下である時刻にて、前記視覚センサによって取り込んだ画像を処理することを特徴とする。

かかる構成によれば、移動型ロボットは、移動計画情報通知部によって、視覚センサによって取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングの情報を含む移動計画情報を画像制御処理部に通知し、画像制御処理部によって、取り込んだ画像のブレを示す値が所定の値以下になると推定される画像を処理する。したがって、移動型ロボットは、移動中の画像処理結果から画像のブレの影響を低減することができる。ここで、自律的に移動する機能を有する自律的移動手段とは、例えば、脚部、車輪、無限軌道等によるものを含む。また、取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングは、例えば、当該移動ロボットの動作目的、動作機能、性能、自律的移動手段の種類等に応じて予め定められた規則によって求められる。

かかる構成によれば、移動型ロボットは、予定着地時期通知部によって、脚部の予定着地時期の情報を画像制御処理部に通知し、画像制御処理部によって、脚部の先端が着地する前後の、視覚センサによって取り込んだ画像のブレを示す値が所定の値以下になると推定されるタイミングの画像を処理する。したがって、移動型ロボットは、移動中の画像処理結果から画像のブレの影響を低減することができる。ここで、脚部による移動とは、例えば、歩行、走行、その場で足踏み等、脚部の先端が着地、沈み込み、蹴り上げの各動作を行うことを示す。また、着地時期は、例えば、着地の瞬間、沈み込み期間、蹴り上げ期間のように区分することができる。脚部の先端が着地する前後のタイミングは、着地時期と次の着地時期との間であることが好ましいが、着地時期において沈み込み期間から蹴り上げ期間に切り替わるタイミングであってもよい。また、取り込んだ画像を処理するタイミングを複数とする場合に、等間隔にすることが好ましい。
また、かかる構成によれば、移動型ロボットは、画像制御処理部によって、予定着地時期の情報と相関関係とを取得し、取得した移動速度に応じて相関関係を用いて、取得した予定着地時期の情報から、画像のブレを示す値が所定の値以下である時刻にて、視覚センサによって取り込んだ画像を処理する。
したがって、移動型ロボットは、脚部の先端が着地する前後であって移動速度に好適な画像を取り込むように画像取込時期を決定することで、取り込んだ画像におけるブレを低減することができる。ここで、例えば、脚部の先端が着地する直前のタイミングを画像取込時期としているときに移動速度を高めた場合には、速度変更前の画像取込時期よりもタイミングを早めることができる。

また、請求項２に記載の移動型ロボットは、請求項１に記載の移動型ロボットであって、前記画像制御処理部が、前記予定着地時期に基づいて、前記視覚センサによって画像を取り込む時期を示す画像取込時期を決定する画像取込計画処理部と、前記画像取込時期になったか否かを判別する画像取込時期判別部と、前記画像取込時期になったときに取込トリガを生成して前記視覚センサに出力する取込トリガ生成部と、前記画像取込時期に取り込んだ画像を処理する画像処理部とを備えることを特徴とする。

かかる構成によれば、移動型ロボットは、画像取込計画処理部によって、予定着地時期に基づいて画像取込時期を決定し、画像取込時期になったときに、取込トリガ生成部によって、取込トリガを視覚センサに出力する。したがって、脚部の先端が着地する前後の画像を取り込むように画像取込時期を決定することで、取り込んだ画像におけるブレを低減することができる。ここで、移動型ロボットが、例えば２足歩行を行う場合には、脚部の一方の足が躯体を支持して他方の足が接地していないときに、他方の足を着地する前の１以上のタイミングを画像取込時期に設定することができる。続いて、一方の足を着地する前の１以上のタイミングを画像取込時期に設定することができる。以下同様に、交互に足を着地する前の１以上のタイミングを画像取込時期に設定することができる。

また、請求項３に記載の移動型ロボットは、請求項１または請求項２に記載の移動型ロボットであって、前記移動計画情報が、当該移動型ロボットの移動中における前記視覚センサの姿勢を示す姿勢情報として事前に測定された測定値を含み、前記移動計画情報通知部が、前記測定値を前記画像制御処理部に通知する姿勢測定値通知部をさらに備え、前記画像制御処理部が、前記予定着地時期の情報と前記測定値とを取得すると共に、前記取得した測定値と予定着地時期の情報とから推定される移動中における前記視覚センサの姿勢の推定値を求め、前記推定値が、前記視覚センサの振動を示す値が所定の値以下であるものとして予め定められた範囲内となる時期にて、前記視覚センサによって取り込んだ画像を処理することを特徴とする。
また、請求項４に記載の移動型ロボットは、外界の画像を取り込む視覚センサと、前記視覚センサによって取り込んだ画像を処理する画像制御処理部と、自律的に移動する機能を有する自律的移動手段と、前記視覚センサによって取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングの情報を含む移動計画情報を記憶する記憶部と、前記移動計画情報に基づいて当該移動型ロボットの移動を制御する指令を前記自律的移動手段に出力する移動制御部とを有した移動型ロボットにおいて、前記移動計画情報を前記画像制御処理部に通知する移動計画情報通知部を備え、前記自律的移動手段は、脚部と、前記脚部を駆動する自律移動制御部とを有し、前記移動計画情報に含まれるタイミングの情報は、前記脚部の予定着地時期の情報であり、前記移動計画情報は、当該移動型ロボットの移動中における前記視覚センサの姿勢を示す姿勢情報として事前に測定された測定値を含み、前記移動計画情報通知部は、前記脚部の予定着地時期の情報を前記画像制御処理部に通知する予定着地時期通知部と、前記測定値を前記画像制御処理部に通知する姿勢測定値通知部と、を備え、前記画像制御処理部は、前記脚部の予定着地時期の情報に基づいて前記脚部の先端が着地する前後の、前記視覚センサによって取り込んだ画像のブレを示す値が所定の値以下になると推定されるタイミングにて、前記視覚センサによって取り込んだ画像を処理し、前記画像制御処理部は、前記予定着地時期に基づいて、前記視覚センサによって画像を取り込む時期を示す画像取込時期を決定する画像取込計画処理部と、前記画像取込時期になったか否かを判別する画像取込時期判別部と、前記画像取込時期になったときに取込トリガを生成して前記視覚センサに出力する取込トリガ生成部と、前記画像取込時期に取り込んだ画像を処理する画像処理部とを備え、前記画像取込計画処理部は、前記予定着地時期の情報と前記測定値とを取得すると共に、前記取得した測定値と予定着地時期の情報とから推定される移動中における前記視覚センサの姿勢の推定値を求め、前記推定値が、前記視覚センサの振動を示す値が所定の値以下であるものとして予め定められた範囲内となる時期を前記画像取込時期として決定することを特徴とする。

かかる構成によれば、移動型ロボットは、画像取込計画処理部によって、予定着地時期に加えて視覚センサの姿勢情報に基づいて画像取込時期を決定し、画像取込時期になったときに、取込トリガ生成部によって、取込トリガを視覚センサに出力する。画像取込計画処理部は、予定着地時期の脚部の先端が着地する前後のタイミングにおいて、姿勢情報についての推定値が、視覚センサの振動を示す値が所定の値以下である時期を画像取込時期とする。したがって、移動型ロボットは、脚部の先端が着地する前後であって視覚センサの姿勢に好適な画像を取り込むように画像取込時期を決定することで、取り込んだ画像におけるブレを低減することができる。ここで、姿勢情報は、視覚センサの姿勢として、例えばピッチ角の角速度（回転角速度）の情報を含むことができる。この角速度の場合には、その絶対値が予め定められた値以下となるように画像取込時期を決定することができる。

また、請求項５に記載の移動型ロボットは、外界の画像を取り込む視覚センサと、前記視覚センサによって取り込んだ画像を処理する画像制御処理部と、自律的に移動する機能を有する自律的移動手段と、前記視覚センサによって取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングの情報を含む移動計画情報を記憶する記憶部と、前記移動計画情報に基づいて当該移動型ロボットの移動を制御する指令を前記自律的移動手段に出力する移動制御部とを有した移動型ロボットにおいて、前記移動計画情報を前記画像制御処理部に通知する移動計画情報通知部を備え、前記自律的移動手段は、脚部と、前記脚部を駆動する自律移動制御部とを有し、前記移動計画情報に含まれるタイミングの情報は、前記脚部の予定着地時期の情報であり、前記移動計画情報通知部は、前記脚部の予定着地時期の情報を前記画像制御処理部に通知する予定着地時期通知部を備え、前記画像制御処理部は、前記脚部の予定着地時期の情報に基づいて前記脚部の先端が着地する前後の、前記視覚センサによって取り込んだ画像のブレを示す値が所定の値以下になると推定されるタイミングにて、前記視覚センサによって取り込んだ画像を処理し、前記画像制御処理部が、前記脚部の先端が着地する瞬間を起点にして画像のブレを示す値が所定の値よりも大きくなると推定される予め定められた時間範囲を示す緩衝時期になったか否かを判別する緩衝時期判別部と、前記視覚センサによって周期的に取り込んだ画像のうち前記緩衝時期以外の時期に取り込んだ画像を処理する画像処理部とを備えることを特徴とする。

かかる構成によれば、移動型ロボットは、視覚センサによって周期的に画像を取り込みつつ、緩衝時期判別部によって、画像のブレが所定の値よりも大きくなると推定される緩衝時期ではないと判別したときに、画像処理部によって、視覚センサから周期的に取り込んだ画像を処理する。したがって、移動型ロボットは、移動中の画像処理結果から画像のブレの影響を低減できる。

また、請求項６に記載の移動型ロボットは、請求項５に記載の移動型ロボットであって、前記緩衝時期判別部が、当該ロボットの移動中にその移動速度を取得し、当該ロボットの移動速度が速いほど短くなるように定められた複数の前記緩衝時期の候補の中から、前記取得した移動速度に応じた緩衝時期を選択し、前記選択された緩衝時期になったか否かを判別した結果を前記画像処理部に出力することを特徴とする。

かかる構成によれば、移動型ロボットは、緩衝時期判別部によって、移動速度が速いほど短くなるように定められた複数の緩衝時期の候補の中からロボットの移動速度に応じた緩衝時期を選択する。したがって、移動型ロボットは、移動速度に応じた画像処理結果から画像のブレの影響を低減できる。

本発明によれば、移動型ロボットは、移動制御部が自律的移動手段に出力する指令を生成するために保有している移動計画情報を用いて、外界の画像として、視覚センサによって取り込んだ画像のブレを示す値が所定の値以下になると推定されるタイミングにて画像を処理するので、移動中の画像処理結果から画像のブレの影響を低減することができる。また、移動型ロボットは、移動中に画像のブレを低減させつつ画像を処理するサンプリング回数を増加させることができる。その結果、移動型ロボットは、高速移動時においても、画像処理により画像中の対象物の認識や画像中の対象物までの距離情報を精度よく求めることが可能となる。

以下、図面を参照して本発明の移動型ロボット（以下「ロボット」という）を実施するための最良の形態（以下「実施形態」という）について第１実施形態と第２実施形態に分けて詳細に説明する。まず、本発明の第１および第２実施形態に係るロボットの全体構成について説明し、次いで、第１実施形態に係るロボットの要部、第２実施形態に係るロボットの要部について順次説明する。

（ロボットの全体構成）
図１は、本発明の第１および第２実施形態に係るロボットの構成を模式的に示すブロック図であり、図２は、その外観を模式的に示す図である。ここでは、自律移動型の脚式の２足歩行ロボットを一例として説明する。ロボットＲは、ロボット制御装置１から入力された実行命令に従ってタスクを実行するものである。タスクには、例えば、来訪者（人物）Ｈを会議室などの所定の場所に案内するという内容のタスク（案内タスク）や、荷物をある人に渡すという内容のタスク（荷物配達タスク）等が存在する。図２では、ロボットＲが例えば廊下等のタスク実行エリアで案内タスクを実行している様子を示している。

ロボットＲは、図２に示すように、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、胴部Ｒ４および背面格納部Ｒ５を有しており、胴部Ｒ４にそれぞれ接続された頭部Ｒ１、腕部Ｒ２、脚部Ｒ３は、それぞれアクチュエータ（駆動手段）により駆動され、自律移動制御部５０（図１参照）により２足歩行の制御がなされる。

ロボットＲは、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、胴部Ｒ４および背面格納部Ｒ５に加えて、これら各部Ｒ１〜Ｒ５の適所に、図１に示すように、カメラＣ，Ｃ、画像制御処理部１０、音声処理部２０、主記憶部３０、主制御部４０、自律移動制御部５０、無線通信部６０、対象検知部７０、周辺状態検知部８０および姿勢検知部９０を有する。また、ロボットＲにおいて、自律移動制御部５０と脚部Ｒ３とにより、自律的移動手段が構成される。

カメラ（視覚センサ）Ｃ，Ｃは、外界の画像として、ロボットＲの前方移動方向側の映像をデジタルデータとして取り込むことができるものであり、例えば、カラーＣＣＤ(Charge-Coupled Device)カメラが使用される。カメラＣ，Ｃは、左右に平行に並んで配置され、撮影した画像は画像制御処理部１０に出力される。このカメラＣ，Ｃは、頭部Ｒ１の内部に配設される。

画像制御処理部１０は、カメラＣ，Ｃによって取り込んだ画像（撮影画像）を処理して、撮影画像からロボットＲの周囲の状況を把握するため、周囲の障害物や人物の認識を行う部分である。画像制御処理部１０の詳細については後記する。

音声処理部２０は、主制御部４０からの発話指令に基づいて図示しないスピーカに音声を出力したり、図示しないマイクから入力された音声データから文字情報（テキストデータ）を生成して主制御部４０に出力したりするものである。

主記憶部３０は、例えば、一般的なハードディスク等から構成され、ロボット制御装置１から送信された必要な情報（ローカル地図データ、会話用データなど）を記憶するものである。また、主記憶部３０は、後記するように、主制御部４０の各種動作を行うために必要な情報を記憶している。主記憶部３０は、例えば、カメラＣ，Ｃによって取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングの情報を含む移動計画情報を記憶する。ここで、取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングは、例えば、ロボットＲの動作目的、動作機能、性能、自律的移動手段の種類等に応じて予め定められた規則によって求められる。また、タイミングの推定自体は、移動前に予め行ってもよいし、予め定められた規則にしたがって何らかの情報の検出結果に基づいて移動中に行ってもよい。本実施形態では、取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングの情報として脚部Ｒ３の予定着地時期の情報を、移動計画情報に含むこととした。

主制御部４０は、画像制御処理部１０、音声処理部２０、主記憶部３０、自律移動制御部５０、無線通信部６０、対象検知部７０、周辺状態検知部８０および姿勢検知部９０を統括制御するものである。この主制御部４０は、例えば、ロボット制御装置１と通信を行うための制御、ロボット制御装置１から取得したタスク実行命令に基づいて所定のタスクを実行するための制御、ロボットＲを目的地に移動させるための制御等を行うために、種々の判断を行ったり、各部の動作のための指令を生成したりする。

自律移動制御部５０は、主制御部４０の指示に従い頭部Ｒ１、腕部Ｒ２、脚部Ｒ３および胴部Ｒ４を駆動するものである。この自律移動制御部５０は、図示を省略するが、頭部Ｒ１の首関節を駆動させる首制御部、腕部Ｒ２の手の先の指関節を駆動させる手制御部、腕部Ｒ２の肩関節、肘関節、手首関節を駆動させる腕制御部、脚部Ｒ３に対して胴部Ｒ４を水平方向に回転駆動させる腰制御部、脚部Ｒ３の股関節、膝関節、足首関節を駆動させる足制御部を有している。これら首制御部、手制御部，腕制御部、腰制御部および足制御部は、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３および胴部Ｒ４を駆動するアクチュエータに駆動信号を出力する。

無線通信部６０は、ロボット制御装置１とデータの送受信を行う通信装置である。無線通信部６０は、例えば、携帯電話回線やＰＨＳ(Personal Handyphone System)回線などの公衆回線や、IEEE802.11b規格に準拠するワイヤレスＬＡＮなどの、近距離無線通信を選択して利用する。

対象検知部７０は、ロボットＲの周囲にタグＴを備える人物が存在するか否かを検知するものである。対象検知部７０は、例えば、ＬＥＤから赤外光を発信し、この赤外光を受信したタグＴで生成された受信報告信号を受信することにより、ロボットＲから視てどの方向にタグＴを備える人物が存在するかを特定する。また、対象検知部７０は、タグＴから取得した受信報告信号の電波強度に基づいて、タグＴを備える人物までの距離を特定する。

周辺状態検知部８０は、ロボットＲの周辺状態を検知するものであり、床面の探索域に向かってスリット状のレーザ光や赤外線を照射して床面を撮像した画像を解析して路面状態を検出する。また、周辺状態検知部８０は、床面の探索域に赤外線を照射したときの画像を解析してマークＭ（図２参照）を検出し、検出されたマークＭの位置（座標）からマークＭとロボットＲとの相対的な位置関係を計算する。

姿勢検知部９０は、例えば、ロボットＲの向いている方向を検出するジャイロセンサや、予め設定された地図上におけるロボットＲの存在する位置座標を取得するためのＧＰＳ（Global Positioning System）受信器を有している。姿勢検知部９０で検知されたデータは、主制御部４０に出力され、ロボットＲの行動を決定するために利用される。

（第１実施形態）
次に、第１実施形態に係るロボットの要部について図３を参照（適宜図１および図２参照）して説明する。図３は、本発明の第１実施形態に係るロボットの要部を模式的に示すブロック図である。

＜主制御部の構成例＞
主制御部４０は、図３に示すように、行動生成部４１と、移動制御部４２と、移動計画情報通知部４３とを含んでいる。

行動生成部４１は、ロボットＲの移動や発話等の行動パターンを実行するための各種プログラム（モジュール）を格納すると共に、この行動パターンを実行するときに、主記憶部３０を参照して、必要な情報（ローカル地図データ、会話用データなど）を行動パターンに反映するものである。行動生成部４１は、各種モジュールを所定のスケジュールで実行する行動計画も管理する。モジュールの例としては、目的地移動モジュール、局所回避モジュール、配達タスク実行モジュール、案内タスク実行モジュール、人対応モジュール等がある。この行動生成部４１は、画像制御処理部１０から取得した画像認識結果（認識された顔の位置等）や距離情報を、ロボットＲが移動するときの情報として、また、認識された人物とのコミュニケーションを取るために利用して、行動パターンを実行する。

ここで、各モジュールについて簡単に説明する。目的地移動モジュールは、ロボットＲの現在位置から、例えば、予め定められたタスク実行エリア内のタスク実行位置等の目的地までの経路探索（例えばノード間の経路を探索）及び移動を行うものである。この目的地移動モジュールは、地図データと現在位置とを参照しつつ、目的地までの最短距離を求める。局所回避モジュールは、周辺状態検知部８０によって、進行方向に例えば段ボール等の障害物が検知されたときに、障害物を回避する迂回経路を探索するものである。配達タスク実行モジュールは、荷物配達タスクを実行するときに動作するものであり、物品の運搬を依頼する人物（依頼人）から物品を受け取る（把持する）動作や、受け取った物品を受取人に渡す（物品を手放す）動作を実行するものである。案内タスク実行モジュールは、例えば、タスク実行エリア内の案内開始地点に来訪した来訪客を所定位置へ案内するタスクを実行するものである。人対応モジュールは、例えば、荷物配達タスクや案内タスクの実行時に所定のシナリオに基づいて、発話、姿勢の変更、腕部Ｒ２の上下移動や把持等を行うものである。

移動制御部４２は、主記憶部３０に記憶された移動計画情報に基づいてロボットＲの移動を制御する指令を自律移動制御部５０に出力するものである。本実施形態では、移動制御部４２は、行動生成部４１がロボットＲの移動を伴う行動パターンを実行するときに、行動生成部４１から移動計画情報を取得し、自律移動制御部５０に指令を出す。移動計画情報は、脚部Ｒ３の予定着地時期の情報のほか、例えば、ロボットＲの移動速度（目標速度）、目的地の位置情報、目的地までの経路情報等を含むことができる。

ここで、脚部Ｒ３の予定着地時期の情報とは、時刻情報として、例えば次の（１）〜（３）を含むことができる。（１）脚部Ｒ３の先端（つま先または足平または踵）が着地する瞬間ｔ₁、（２）現在時刻ｔ₀から脚部Ｒ３の先端が着地する瞬間ｔ₁までの時間間隔Δｔ、（３）着地する瞬間ｔ₁と、次に着地する瞬間ｔ₂までの差分（着地周期）との両方。また、脚部Ｒ３の予定着地時期の情報とは、位置情報として、例えば、着地する瞬間ｔ₁に対応した、脚部Ｒ３の先端の次回位置の位置座標を含むことができる。なお、脚部Ｒ３の先端の次回位置は１〜２歩先の歩容計画で定められる。

本実施形態では、移動計画情報には、さらに、予定着地時期の情報に予め対応付けられたカメラＣ，Ｃで撮影した画像のブレを示す値が所定の値以下である時刻と、ロボットＲの移動速度との相関関係（以下、「着地−速度」相関という）を含むこととした。ここで、「着地−速度」相関は、例えば、時速２．７［ｋｍ／ｈ］の歩行時のときには画像のブレを示す値が所定の値以下である時刻は着地の瞬間からＰ［ｍｓ］後、時速６［ｋｍ／ｈ］の走行時のときには画像のブレを示す値が所定の値以下である時刻は着地の瞬間からＱ［ｍｓ］後のように、移動速度に応じて、予め作成されたテーブルまたは所定の決定関数により算出可能となっている。

また、本実施形態では、移動計画情報には、さらに、ロボットＲの移動中におけるカメラＣ，Ｃの姿勢を示す姿勢情報として事前に測定された測定値（以下、カメラ姿勢事前測定値という）を含むこととした。このカメラ姿勢事前測定値として、本実施形態では、カメラＣ，Ｃのピッチ角の角速度の情報を用いることとした。

移動制御部４２は、自律移動制御部５０から、脚部Ｒ３の動作状態に関する情報を取得し、ロボットＲの現在の移動速度を検知する。また、移動制御部４２は、行動生成部４１を介して、画像制御処理部１０から取得した画像認識結果を取得することで、例えば人物等の対象物との相対距離に応じてロボットＲの移動速度を変更する制御を行う。

なお、移動制御部４２は、自律移動制御部５０に出力する指令により、脚部Ｒ３のみを制御するのではなく、頭部Ｒ１や腕部Ｒ２も制御させることで、重心移動を制御する。この移動制御部４２は、姿勢検知部９０から、ロボットＲの姿勢に関する情報を取得し、自律移動制御部５０に出力する指令に反映することで、例えば、コーナリング走行時の重心移動をスムーズにする。

移動計画情報通知部４３は、移動計画情報を画像制御処理部１０に通知するものである。本実施形態では、移動計画情報通知部４３は、図３に示すように、予定着地時期通知部４３ａと、速度相関通知部４３ｂと、姿勢測定値通知部４３ｃとを備えている。予定着地時期通知部４３ａは、脚部Ｒ３の予定着地時期の情報を画像制御処理部１０に通知するものである。速度相関通知部４３ｂは、前記した「着地−速度」相関を画像制御処理部１０に通知するものである。姿勢測定値通知部４３ｃは、カメラ姿勢事前測定値を画像制御処理部１０に通知するものである。なお、移動計画情報通知部４３は、移動制御部４２から、ロボットＲの現在の移動速度の情報を取得し、画像制御処理部１０に通知する。

＜画像制御処理部の構成例＞
画像制御処理部１０は、移動計画情報通知部４３から取得した脚部Ｒ３の予定着地時期の情報、「着地−速度」相関、カメラ姿勢事前測定値に基づいて、脚部Ｒ３の先端が着地する瞬間を除くタイミングにて、カメラＣ，Ｃによって取り込んだ画像を処理する。第１実施形態と第２実施形態では、カメラＣ，Ｃの制御が異なっている。第１実施形態では、カメラＣ，Ｃは、画像制御処理部１０からのトリガを受けたときに、画像を取り込むように制御されるものである。なお、図３では、第２実施形態と区別するためにカメラの符号をＣ₀，Ｃ₀と表記した。この画像制御処理部１０は、図３に示すように、画像取込計画処理部１１と、取込時期判別部１２と、取込トリガ生成部１３と、画像補正処理部１４と、ステレオ画像処理部１５と、画像認識処理部１６とを備えている。

画像取込計画処理部１１は、予定着地時期に基づいて、カメラＣ，Ｃによって画像を取り込む時期を示す画像取込時期を決定するものである。本実施形態では、画像取込計画処理部１１は、予定着地時期に加えて、ロボットＲの移動速度およびカメラＣ，Ｃの姿勢情報に基づいて画像取込時期を決定する。

具体的には、本実施形態では、画像取込計画処理部１１は、移動計画情報として、予定着地時期の情報と、「着地−速度」相関とを取得すると共に、ロボットＲの移動中にその移動速度を取得し、取得した移動速度に応じて、「着地−速度」相関を用いて、取得した予定着地時期の情報から、画像のブレを示す値が所定の値以下である時刻を、画像取込時期として決定する。

また、本実施形態では、画像取込計画処理部１１は、カメラ姿勢事前測定値と取得した予定着地時期の情報とから推定される、移動中におけるカメラＣ，Ｃのピッチ角の角速度の推定値を求め、推定値が、カメラＣ，Ｃの振動を示す値が所定の値以下であるものとして予め定められた範囲内となる時期を画像取込時期として決定する。

ここで、画像取込時期の一例を説明する。図４は、頭部のピッチ角の角速度の時間変化の一例を示す図である。図４に示すグラフにおいて、横軸は時間、縦軸はロボットＲの頭部Ｒ１がピッチ方向に振動するときに事前に角速度センサ（姿勢検出センサ）で測定した角速度（回転角速度）の検出値を示す。一例として、ロボットＲが、歩幅４５０ｍｍで時速２．７［ｋｍ／ｈ］の移動速度で歩行する場合の実験結果を示す。ロボットＲは、時間が２００［ｍｓ］であるときに一方の足（例えば左足）を着地し、８００［ｍｓ］であるときに他方の足（例えば右足）を着地する。つまり、着地周期は６００［ｍｓ］となる。着地周期には、その初期に予定着地時期の期間を含んでいる。本実施形態では、ロボットＲが前進するときには足の踵（先端）が接地するときを着地の瞬間といい、このとき、着地後に足平の底面のほぼ全面が床に接地し、最後につま先が離床する。なお、ロボットＲが後進するときには足のつま先（先端）が接地するときを着地の瞬間とする。ただし、これに限らず、踵やつま先と同時に足平の底面のほぼ全面が床に接地する形態では、足平が接地するときを着地の瞬間とする。

図４に示すように、着地の瞬間には、振動が大きいため、角速度の絶対値は大きい。しかしながら、この着地周期の初期において角速度の絶対値が非常に小さくなるタイミングもある。図４に示す着地周期において角速度が例えば０になるタイミングは８回存在する。これらのタイミングの少なくともいずれかを、カメラＣ，Ｃの振動を示す値が所定の値以下であるものとして予め定められた範囲内となる時期とすることもできる。また、カメラＣ，Ｃの振動を示す値が所定の値以下であるものとして予め定められた範囲内となる時期を、角速度が０となる時期に限定せずに、角速度の絶対値が予め定められた値以下となるようにすれば、より多くの画像取込時期を決定することも可能である。また、複数回の画像取込時期を決定する場合には、例えば、符号３０１，３０２，３０３で示すようにほぼ等間隔のタイミングを画像取込時期とすることが好ましい。また、この中で特に３０３で示すタイミングは、一方の足の着地後において他方の足の着地直前のタイミングを示しており、移動速度が高くなって着地周期が短くなった場合においても好適に画像を取り込むことができるので、画像取込時期として最も好ましい。なお、ロボットＲが、歩幅５２５ｍｍで時速６［ｋｍ／ｈ］の移動速度で走行する場合には、両足とも離床する期間として８０［ｍｓ］の跳躍期があり、跳躍期には床反力を受けないので、この期間に１以上の画像取込時期を設定することが好ましい。

図３に示す取込時期判別部１２は、画像取込計画処理部１１で決定された画像取込時期になったか否かを判別するものである。この判別結果は、取込トリガ生成部１３に出力される。

取込トリガ生成部１３は、画像取込時期になったときにそのことをカメラＣ，Ｃに通知して撮影させるためのトリガ（取込トリガ）を生成してカメラＣ，Ｃに出力するものである。本実施形態では、取込トリガ生成部１３は、取込トリガをカメラＣ，Ｃに出力するときに、同時に別のトリガで画像認識処理部１６に対して処理タイミングであることを通知する。

画像補正処理部（画像処理部）１４は、画像取込時期に取り込んだ画像を処理するものである。画像補正処理部１４は、カメラＣ，Ｃによって取り込んだ画像から、カメラＣ，Ｃのレンズによる歪の補正と、カメラＣ，Ｃのエピポーララインをそれぞれのカメラ画像の走査線に一致させる補正（レクティファイ）とを行うことで撮影画像を補正してステレオ画像処理部１５に出力する。レンズの歪補正は、例えば、複数の直線を撮影してその画像内の線が直線になるように、５次程度の関数の近似式で中心からのずれを近似することにより行うことができる。また、画像補正処理部１４は、カメラＣ，Ｃの内部パラメータ（レンズの焦点距離や、レンズの中心位置など）と外部パラメータ（カメラＣ，Ｃ外の３Ｄ基準点に対するレンズの主点位置など）を求めてから、それらの情報を使ってレクティファイを計算する。

ここで、画像補正の一例を簡単に説明する。図５には、市松模様を撮影した画像と、この画像の歪みを補正した画像の例を示す。平面に描かれた市松模様をカメラＣ，Ｃで正面から撮影すると、図５（ａ）に示すように、補正前には、左カメラ画像２００Ｌおよび右カメラ画像２００Ｒに樽形の歪みが生じている。図５（ａ）において、直線２１０は、左カメラ画像２００Ｌおよび右カメラ画像２００Ｒの同じ走査線を示している。右カメラ画像２００Ｒでは、市松模様上の目印２２０の下縁が直線２１０に一致しているが、左カメラ画像２００Ｌでは、目印２２０の下縁が直線２１０に一致していない。このような画像の歪みを補正すると、図５（ｂ）に示すように、補正後には、左カメラ画像２００Ｌおよび右カメラ画像２００Ｒから樽形の歪みが除去される。また、図５（ｂ）において、左右の画像の同じ走査線である直線２３０は、左右の画像において目印２２０の下縁に一致する。

図３に示すステレオ画像処理部（画像処理部）１５は、画像取込時期に取り込んだ画像を処理するものである。ステレオ画像処理部１５は、ステレオ処理として、左右のカメラＣ，Ｃが撮影した２枚の画像の一方を基準としてパターンマッチングを行い、左右の画像中の対応する各画素の視差を計算して視差画像を生成し、生成した視差画像および元の画像を画像認識処理部１６に出力する。なお、この視差は、ロボットＲから撮影された物体までの距離を表すものである。また、ステレオ画像処理部１５は、左右の画像中の対応する各画素の視差を計算した結果を距離情報として主制御部４０に出力する。

画像認識処理部（画像処理部）１６は、画像取込時期に取り込んだ画像を処理するものである。画像認識処理部１６は、ステレオ画像処理部１５から出力されたデータに基づき、撮影した画像中で移動する物体（移動体）を抽出することで、移動体が人物であると推定して、人物を認識する。移動体の抽出をするために、画像認識処理部１６は、過去の数フレーム（数コマ）の画像を記憶しており、最も新しいフレーム（画像）と、過去のフレーム（画像）を比較して、パターンマッチングを行い、各画素の移動量を計算し、移動量画像を生成する。そして、視差画像と、移動量画像とから、カメラＣ，Ｃから所定の距離範囲内で、移動量の多い画素がある場合に、人物がいると推定し、その所定距離範囲のみの視差画像として、移動体を抽出する。また、画像認識処理部１６は、抽出した移動体の一部分の大きさ、形状などから例えば顔領域および顔の位置を認識し、画像認識結果として主制御部４０に出力する。

＜ロボットの動作＞
第１実施形態に係るロボットＲの動作について主に画像制御処理部１０の動作を中心に図６を参照（適宜図３参照）して説明する。図６は、図３に示した画像制御処理部の動作を示すフローチャートである。画像制御処理部１０は、移動計画情報通知部４３から、脚部Ｒ３の予定着地時期を、ロボットＲの移動速度およびカメラＣ，Ｃの姿勢情報と共に取得する（ステップＳ１）と、画像取込計画処理部１１によって、画像取込時期を決定する（ステップＳ２）。そして、画像制御処理部１０は、取込時期判別部１２によって、取込時期を判別し（ステップＳ３）、画像取込時期になったときに、取込トリガ生成部１３によって、取込トリガをカメラＣ，Ｃへ出力する（ステップＳ４）。これにより、カメラＣ，Ｃは、ロボットＲの前方移動方向側の映像（撮影画像）を取得し、画像制御処理部１０に出力する（ステップＳ５）。

そして、画像制御処理部１０は、画像補正処理部１４によって、取り込んだ画像から、カメラレンズによる歪の補正と、レクティファイとを行うことで撮影画像を補正する（ステップＳ６）。続いて、画像制御処理部１０は、ステレオ画像処理部１５によって、補正された画像に対してステレオ処理する（ステップＳ７）。そして、画像制御処理部１０は、画像認識処理部１６によって、視差画像および元の補正画像を用いて移動体としての対象物（人物）を認識し（ステップＳ８）、認識した対象物（人物）を画像処理結果として主制御部４０の行動生成部４１に出力する（ステップＳ９）。また、画像制御処理部１０は、ステップＳ７またはステップＳ９に続いて、あるいは並行して、ステレオ画像処理部１５によって算出した距離情報を主制御部４０の行動生成部４１に出力する。

第１実施形態によれば、ロボットＲは、移動計画情報通知部４３によって、脚部Ｒ３の予定着地時期の情報を画像制御処理部１０に通知し、画像制御処理部１０によって予定着地時期に基づいて決定された画像取込時期にカメラＣ，Ｃから画像を取り込む。したがって、画像取込時期を脚部の先端が着地する前後のタイミングとすることにより、取り込んだ画像のブレを示す値が所定の値以下になると推定される画像を処理することができる。したがって、ロボットＲは、移動中の画像処理結果から画像のブレの影響を低減することができる。また、ロボットＲは、画像を処理するサンプリング回数を容易に増加させることができる。

（第２実施形態）
次に、第２実施形態に係るロボットの要部について図７を参照（適宜図１、図２および図３参照）して説明する。図７は、本発明の第２実施形態に係るロボットの要部を模式的に示すブロック図である。

＜主制御部の構成例＞
第２実施形態では、主制御部４０の構成は、第１実施形態と同様なので、同じ構成には同じ符号を付して説明を省略する。ただし、図７に示す移動計画情報通知部４３Ａは、図３に示した姿勢測定値通知部４３ｃを含んでいない。すなわち、本実施形態では、移動計画情報通知部４３Ａは、脚部Ｒ３の予定着地時期のほかに、「着地−速度」相関やロボットＲの現在の移動速度の情報を画像制御処理部１０Ａに通知する。

＜画像制御処理部の構成例＞
画像制御処理部１０Ａは、図７に示すように、画像補正処理部１４と、ステレオ画像処理部１５と、画像認識処理部１６と、予定着地時期取得部１７と、緩衝時期判別部１８とを備えている。このうち、画像補正処理部１４と、ステレオ画像処理部１５と、画像認識処理部１６とは、第１実施形態と同様なので説明を省略する。ただし、第２実施形態では、カメラＣ，Ｃは、周期的に画像を取り込むように制御されるものである。そのため、ステレオ画像処理部１５および画像認識処理部１６は、カメラＣ，Ｃによって周期的に取り込んだ画像のうち、後記する緩衝時期以外の時期に取り込んだ画像を処理する。カメラＣ，Ｃは、例えば、６０［ｍｓ］間隔で画像を取り込む。なお、図７では、第１実施形態と区別するためにカメラの符号をＣ₁，Ｃ₁と表記した。

予定着地時期取得部１７は、主制御部４０の移動計画情報通知部４３Ａから、移動計画情報として予定着地時期の情報を、ロボットＲの現在の移動速度の情報と共に取得し、緩衝時期判別部１８に出力するものである。

緩衝時期判別部１８は、脚部Ｒ３の先端が着地する瞬間を起点にして画像のブレを示す値が所定の値よりも大きくなると推定される予め定められた時間範囲を示す緩衝時期になったか否かを判別するものである。本実施形態では、緩衝時期判別部１８は、ロボットＲの移動中にその移動速度を取得し、ロボットＲの移動速度が速いほど短くなるように定められた緩衝時期の候補の中から、取得した移動速度に応じた緩衝時期を選択し、選択された緩衝時期になったか否かを判別した結果を画像補正処理部１４および画像認識処理部１６に出力する。ここで、緩衝時期の候補は、例えば、テーブルとして移動速度に予め対応付けられている。例えば、移動速度が２．７［ｋｍ／ｈ］の場合には、緩衝時期を例えば、着地後３［ｍｓ］とすることができる。本実施形態では、緩衝時期判別部１８は、速度相関通知部４３ｂから取得した「着地−速度」相関を第１実施形態とは反対の観点で利用して、緩衝時期になったか否かを判別することとした。

＜ロボットの動作＞
第２実施形態に係るロボットＲの動作について主に画像制御処理部１０Ａの動作を中心に図８を参照（適宜図７参照）して説明する。図８は、図７に示した画像制御処理部の動作を示すフローチャートである。画像制御処理部１０Ａは、予定着地時期取得部１７によって、移動計画情報通知部４３Ａから、脚部Ｒ３の予定着地時期を、ロボットＲの移動速度と共に取得する（ステップＳ１１）。また、カメラＣ，Ｃは、ステップＳ１１とは独立に、ロボットＲの前方移動方向側の映像（撮影画像）を周期的に取得し、画像制御処理部１０Ａに出力し続ける（ステップＳ１２）。また、画像制御処理部１０Ａの緩衝時期判別部１８は、ステップＳ１１とは独立に、緩衝時期になったか否かを判別して判別結果を、画像補正処理部１４および画像認識処理部１６に出力し続けている。このとき、ステップＳ１１により、緩衝時期判別部１８が予定着地時期と共に取得する移動速度が変化した場合には、緩衝時期判別部１８は、その移動速度に応じた緩衝時期に切り替えて判別を続ける。これにより、緩衝時期になった場合には、画像補正処理部１４および画像認識処理部１６は、着地後の所定期間は緩衝時期としてサンプリングを中止する（ステップＳ１３）。画像制御処理部１０Ａが緩衝時期以外に実行する以下のステップＳ１４〜ステップＳ１７は、前記したステップＳ６〜ステップＳ９と同じなので説明を省略する。

第２実施形態によれば、ロボットＲは、カメラＣ，Ｃによって周期的に画像を取り込みつつ、移動計画情報通知部４３Ａによって、脚部Ｒ３の予定着地時期の情報を画像制御処理部１０Ａに通知し、画像制御処理部１０Ａによって予定着地時期に基づいて判別された緩衝時期以外の時期に、取り込んだ画像の画像処理を行う。すなわち、ロボットＲは、緩衝時期に取り込んだ画像については画像処理を行わない。したがって、ロボットＲは、移動中の画像処理結果から画像のブレの影響を低減することができる。また、ロボットＲは、画像を処理するサンプリング回数を容易に増加させることができる。さらに、ロボットＲは、画像制御処理部１０ＡからカメラＣ，Ｃに対して取込トリガを出力する必要がない。

以上、本発明の好ましい実施形態について説明したが、本発明は前記した各実施形態に限定されるものではない。例えば、各実施形態では、画像制御処理部１０（１０Ａ）に、画像処理部としての画像補正処理部１４、ステレオ画像処理部１５、画像認識処理部１６を備えるベストモードとしたが、例えば、画像補正処理部１４は必須ではない。また、各実施形態では、２台のカメラＣ，Ｃで画像を取り込むものとしたが、３台以上のカメラを用いることも可能である。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他の８台のカメラとの間で対象物の位置（距離情報）を検出し、その８個の位置で平均をとることで、対象物の位置をより正確に検出することもできる。

また、各実施形態では、カメラＣ，Ｃによって取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングの情報として脚部Ｒ３の予定着地時期の情報を、移動計画情報に含むこととしたが、この所定の値を複数種類設定できるようにしておいてもよい。また、第１実施形態では、画像取込計画処理部１１は、移動中におけるカメラＣ，Ｃのピッチ角の角速度の推定値を、カメラ姿勢事前測定値と予定着地時期の情報とから求め、求めた推定値が、カメラＣ，Ｃの振動を示す値が所定の値以下であるものとして予め定められた範囲内となる時期を画像取込時期として決定することとしたが、この所定の値を複数種類設定できるようにしておいてもよい。

また、第１実施形態では、画像取込計画処理部１１は、予定着地時期に加えて、ロボットＲの移動速度およびカメラＣ，Ｃの姿勢情報に基づいて画像取込時期を決定するものとして説明したが、本発明にとって移動速度やカメラＣ，Ｃの姿勢情報は必須ではない。

また、第１実施形態では、カメラＣ，Ｃの姿勢情報をピッチ角の角速度（回転角速度）の情報として説明したが、ヨー角やロール角の角速度（回転角速度）の情報を含んでもよい。

また、第２実施形態では、緩衝時期の候補は、テーブルとして移動速度に予め対応付けられているものとしたが、移動速度を引数とする所定の関数によりその都度計算により求めるようにしてもよい。

また、第２実施形態では、緩衝時期判別部１８は、予定着地時期に加えて、ロボットＲの移動速度に基づいて緩衝時期になったか否かを判別するものとして説明したが、本発明にとって移動速度は必須ではない。例えば、予定着地時期に加えて、路面状態に基づいて緩衝時期になったか否かを判別することも可能である。この場合、緩衝時期の候補は、テーブルとして路面状態に応じて予め対応付けられている。そして、ロボットＲは、周辺状態検知部８０により、床面を撮像した画像を解析して検出した路面状態に応じて緩衝時期を選択する。具体的には、通常の廊下よりも段差の多い床や弾性の強い床であれば、緩衝時期を長くすることが可能となる。

また、各実施形態では、ロボットＲを脚式の２足歩行ロボットとして説明したが、これに限らず、１足または多足で移動する歩行型のロボットで構成してもよい。さらに、移動機構としては、脚部のみならず、脚部に相当する移動機構、例えば、車輪や無限軌道等であっても構わない。第１実施形態のロボットＲの変形例として、例えば車輪型のロボットである場合について図９を参照（適宜図１、図３参照）して説明する。

図９は、本発明の第１実施形態に係るロボットの変形例の要部を模式的に示すブロック図である。なお、図３に示した構成と同じ構成には、同じ符号を付して説明を省略する。移動機構Ｒ３１は、例えば、複数の車輪から構成され、自律移動制御部５０により駆動される。すなわち、車輪型の移動型ロボットにおいて、自律移動制御部５０と移動機構Ｒ３１とにより、自律的移動手段が構成される。また、主制御部４０の移動制御部４２は、歩行型（脚式）の１歩を指示する代わりに、車輪回転速度を指示する。また、行動生成部４１は、例えば、障害物通過モジュールを備えることができる。この障害物通過モジュールは、周辺状態検知部８０（図１参照）によって、進行方向に例えば段差等の障害物が検知されたときに、段差を通過するために、現在時刻から段差に到達するまでの時間に関する情報（以下、段差通過時期という）を算出するものである。この算出された段差通過時期は、カメラＣ，Ｃによって取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングの情報として、画像制御処理部１０に通知される。

移動計画情報通知部４３Ｂは、図３に示した予定着地時期通知部４３ａを含んでいない。代わりに、移動計画情報通知部４３Ｂは、段差通過時期通知部４３ｄを含んでいる。段差通過時期通知部４３ｄは、行動生成部４１が備える障害物通過モジュールによって算出された段差通過時期を、移動制御部４２を介して取得し、画像制御処理部１０に通知するものである。これにより、画像制御処理部１０の画像取込計画処理部１１は、予定着地時期の代わりに、段差通過時期に基づいて、カメラＣ，Ｃによって画像を取り込む時期を示す画像取込時期を決定する。なお、画像取込計画処理部１１は、段差通過時期に加えて、ロボットＲの移動速度およびカメラＣ，Ｃの姿勢情報に基づいて画像取込時期を決定することができる。

この第１実施形態の変形例によれば、車輪型のロボットは、移動計画情報通知部４３Ｂによって、段差通過時期の情報を画像制御処理部１０に通知し、画像制御処理部１０によって段差通過時期に基づいて決定された画像取込時期にカメラＣ，Ｃから画像を取り込む。したがって、段差を通過する前後のタイミングを画像取込時期とすることにより、取り込んだ画像のブレを示す値が所定の値以下になると推定される画像を処理することができる。したがって、車輪型のロボットは、移動中の画像処理結果から画像のブレの影響を低減することができると共に、画像を処理するサンプリング回数を容易に増加させることができる。

本発明の第１および第２実施形態に係るロボットの構成を模式的に示すブロック図である。本発明の第１および第２実施形態に係るロボットの外観を模式的に示す図である。本発明の第１実施形態に係るロボットの要部を模式的に示すブロック図である。頭部のピッチ角の角速度の時間変化の一例を示す図である。画像補正前後の撮影画像の一例を示す図である。図３に示した画像制御処理部の動作を示すフローチャートである。本発明の第２実施形態に係るロボットの要部を模式的に示すブロック図である。図７に示した画像制御処理部の動作を示すフローチャートである。本発明の第１実施形態に係るロボットの変形例の要部を模式的に示すブロック図である。

符号の説明

Ｒロボット（移動型ロボット）
Ｒ１頭部
Ｒ２腕部
Ｒ３脚部
Ｒ３１移動機構
Ｒ４胴部
Ｒ５背面格納部
１ロボット制御装置
１０（１０Ａ）画像制御処理部
１１画像取込計画処理部
１２取込時期判別部
１３取込トリガ生成部
１４画像補正処理部（画像処理部）
１５ステレオ画像処理部（画像処理部）
１６画像認識処理部（画像処理部）
１７予定着地時期取得部
１８緩衝時期判別部
２０音声処理部
３０記憶部
４０主制御部
４１行動生成部
４２移動制御部
４３（４３Ａ，４３Ｂ）移動計画情報通知部
４３ａ予定着地時期通知部
４３ｂ速度相関通知部
４３ｃ姿勢測定値通知部
４３ｄ段差通過時期通知部
５０自律移動制御部
６０無線通信部
７０対象検知部
８０周辺状態検知部
９０姿勢検知部
Ｃ（Ｃ₀，Ｃ₁）カメラ（視覚センサ）

Claims

外界の画像を取り込む視覚センサと、前記視覚センサによって取り込んだ画像を処理する画像制御処理部と、自律的に移動する機能を有する自律的移動手段と、前記視覚センサによって取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングの情報を含む移動計画情報を記憶する記憶部と、前記移動計画情報に基づいて当該移動型ロボットの移動を制御する指令を前記自律的移動手段に出力する移動制御部とを有した移動型ロボットにおいて、
前記移動計画情報を前記画像制御処理部に通知する移動計画情報通知部を備え、
前記自律的移動手段は、脚部と、前記脚部を駆動する自律移動制御部とを有し、
前記移動計画情報に含まれるタイミングの情報は、
前記脚部の予定着地時期の情報と、
前記予定着地時期の情報に予め対応付けられた画像のブレを示す値が所定の値以下である時刻と当該ロボットの移動速度との相関関係と、を含み、
前記移動計画情報通知部は、
前記脚部の予定着地時期の情報を前記画像制御処理部に通知する予定着地時期通知部と、
前記相関関係を前記画像制御処理部に通知する速度相関通知部と、を備え、
前記画像制御処理部は、
前記予定着地時期の情報と前記相関関係とを取得すると共に、当該ロボットの移動中にその移動速度を取得し、前記取得した移動速度に応じて前記相関関係を用いて、前記取得した予定着地時期の情報から、前記画像のブレを示す値が所定の値以下である時刻にて、前記視覚センサによって取り込んだ画像を処理することを特徴とする移動型ロボット。
前記画像制御処理部は、
前記予定着地時期に基づいて、前記視覚センサによって画像を取り込む時期を示す画像取込時期を決定する画像取込計画処理部と、
前記画像取込時期になったか否かを判別する画像取込時期判別部と、
前記画像取込時期になったときに取込トリガを生成して前記視覚センサに出力する取込トリガ生成部と、
前記画像取込時期に取り込んだ画像を処理する画像処理部とを備えることを特徴とする請求項１に記載の移動型ロボット。
前記移動計画情報は、当該移動型ロボットの移動中における前記視覚センサの姿勢を示す姿勢情報として事前に測定された測定値を含み、
前記移動計画情報通知部は、前記測定値を前記画像制御処理部に通知する姿勢測定値通知部をさらに備え、
前記画像制御処理部は、前記予定着地時期の情報と前記測定値とを取得すると共に、前記取得した測定値と予定着地時期の情報とから推定される移動中における前記視覚センサの姿勢の推定値を求め、前記推定値が、前記視覚センサの振動を示す値が所定の値以下であるものとして予め定められた範囲内となる時期にて、前記視覚センサによって取り込んだ画像を処理することを特徴とする請求項１または請求項２に記載の移動型ロボット。
外界の画像を取り込む視覚センサと、前記視覚センサによって取り込んだ画像を処理する画像制御処理部と、自律的に移動する機能を有する自律的移動手段と、前記視覚センサによって取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングの情報を含む移動計画情報を記憶する記憶部と、前記移動計画情報に基づいて当該移動型ロボットの移動を制御する指令を前記自律的移動手段に出力する移動制御部とを有した移動型ロボットにおいて、
前記移動計画情報を前記画像制御処理部に通知する移動計画情報通知部を備え、
前記自律的移動手段は、脚部と、前記脚部を駆動する自律移動制御部とを有し、
前記移動計画情報に含まれるタイミングの情報は、前記脚部の予定着地時期の情報であり、
前記移動計画情報は、当該移動型ロボットの移動中における前記視覚センサの姿勢を示す姿勢情報として事前に測定された測定値を含み、
前記移動計画情報通知部は、
前記脚部の予定着地時期の情報を前記画像制御処理部に通知する予定着地時期通知部と、
前記測定値を前記画像制御処理部に通知する姿勢測定値通知部と、を備え、
前記画像制御処理部は、前記脚部の予定着地時期の情報に基づいて前記脚部の先端が着地する前後の、前記視覚センサによって取り込んだ画像のブレを示す値が所定の値以下になると推定されるタイミングにて、前記視覚センサによって取り込んだ画像を処理し、
前記画像制御処理部は、
前記予定着地時期に基づいて、前記視覚センサによって画像を取り込む時期を示す画像取込時期を決定する画像取込計画処理部と、
前記画像取込時期になったか否かを判別する画像取込時期判別部と、
前記画像取込時期になったときに取込トリガを生成して前記視覚センサに出力する取込トリガ生成部と、
前記画像取込時期に取り込んだ画像を処理する画像処理部とを備え、
前記画像取込計画処理部は、前記予定着地時期の情報と前記測定値とを取得すると共に、前記取得した測定値と予定着地時期の情報とから推定される移動中における前記視覚センサの姿勢の推定値を求め、前記推定値が、前記視覚センサの振動を示す値が所定の値以下であるものとして予め定められた範囲内となる時期を前記画像取込時期として決定することを特徴とする移動型ロボット。
外界の画像を取り込む視覚センサと、前記視覚センサによって取り込んだ画像を処理する画像制御処理部と、自律的に移動する機能を有する自律的移動手段と、前記視覚センサによって取り込んだ画像のブレを示す値が所定の値よりも大きくなると推定されるタイミングの情報を含む移動計画情報を記憶する記憶部と、前記移動計画情報に基づいて当該移動型ロボットの移動を制御する指令を前記自律的移動手段に出力する移動制御部とを有した移動型ロボットにおいて、
前記移動計画情報を前記画像制御処理部に通知する移動計画情報通知部を備え、
前記自律的移動手段は、脚部と、前記脚部を駆動する自律移動制御部とを有し、
前記移動計画情報に含まれるタイミングの情報は、前記脚部の予定着地時期の情報であり、
前記移動計画情報通知部は、前記脚部の予定着地時期の情報を前記画像制御処理部に通知する予定着地時期通知部を備え、
前記画像制御処理部は、前記脚部の予定着地時期の情報に基づいて前記脚部の先端が着地する前後の、前記視覚センサによって取り込んだ画像のブレを示す値が所定の値以下になると推定されるタイミングにて、前記視覚センサによって取り込んだ画像を処理し、
前記画像制御処理部は、
前記脚部の先端が着地する瞬間を起点にして画像のブレを示す値が所定の値よりも大きくなると推定される予め定められた時間範囲を示す緩衝時期になったか否かを判別する緩衝時期判別部と、
前記視覚センサによって周期的に取り込んだ画像のうち前記緩衝時期以外の時期に取り込んだ画像を処理する画像処理部とを備えることを特徴とする移動型ロボット。
前記緩衝時期判別部は、当該ロボットの移動中にその移動速度を取得し、当該ロボットの移動速度が速いほど短くなるように定められた複数の前記緩衝時期の候補の中から、前記取得した移動速度に応じた緩衝時期を選択し、前記選択された緩衝時期になったか否かを判別した結果を前記画像処理部に出力することを特徴とする請求項５に記載の移動型ロボット。