JP4715787B2

JP4715787B2 - 移動ロボット及びロボット移動制御方法

Info

Publication number: JP4715787B2
Application number: JP2007074295A
Authority: JP
Inventors: 和宏新谷
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2007-03-22
Filing date: 2007-03-22
Publication date: 2011-07-06
Anticipated expiration: 2027-03-22
Also published as: JP2008234404A

Description

本発明は、移動ロボット及びロボット移動制御方法に関し、特に追従対象に対して追従して移動する移動ロボットの移動制御に関する。

移動ロボットは、予め定められた移動経路またはリアルタイムに修正する移動経路に従って移動することができる。このような移動ロボットにおいて、人間等の追従対象の移動に追従して移動制御を行う移動ロボットが提案されている。例えば、この移動ロボットは、人間に対して追従する買い物カート型ロボットやベビーカー型ロボットとして応用される。

図８は、このような機能を有する移動ロボットと追従対象である人を上からみた模式図である。移動ロボット１は、追従対象２の前方右側の所定の相対位置に常に位置するように移動制御される。図８では、人の進行方向をｘ方向とし、それと垂直な方向をｙ方向とするｘｙ座標系により表している。そして、移動ロボット１は、追従対象２の位置座標を取得しつつ、その位置座標に対して所定の相対位置関係にある自己位置を保つように移動経路を作成する。

このように、図８に示す例では、移動ロボット１は、追従対象２の前方右側の相対位置に位置しなければならないため、追従対象２の「前方」がどちらかをを判断する必要がある。従来の技術では、これを追従対象２の移動方向を「前方」であるとみなすことによって、移動ロボット１は判断していた。

なお、特許文献１には、所定のＩＣタグより作業指示を受けて次に向かうべき他のＩＣタグに向かって移動するロボットが開示されている。しかしながら、この特許文献１においてロボットが移動する先のＩＣタグは、床面に貼り付けられたものであり、それ自身が移動するものではない。
特開２００４−１０８７８２号公報

従来の技術によれば、追従対象２の前方を判断するために、追従対象２の移動方向を「前方」であるとみなしていたが、追従対象２が後ろ方向に進む動きをした場合には、その後ろ方向が前方であると判定してしまい、所定の相対位置関係を保つことができないという問題が発生した。特に、追従対象２が前後への動きを繰り返すと、その動作の度に、移動ロボット１は、追従対象２の前方と後方に繰り返して移動しなければならず、不自然な動きとなる。

本発明は、かかる課題を解決するためになされたものであり、移動する追従対象に対して自然に追従することが可能な移動ロボット及びロボット移動制御方法を提供することを目的とする。

本発明にかかる移動ロボットは、移動する追従対象に対して相対的な所定位置を維持して追従動作を行う移動ロボットであって、前記追従対象の向きを検出する向き検出手段と、前記検出手段により検出された追従対象の向きに応じて、当該移動ロボットの目標位置を決定する目標位置決定手段とを備えたものである。

ここで、前記向き検出手段は、前記追従対象を撮影する撮影手段と、前記撮影手段により取得した画像情報に基づき関節位置を認識する認識手段と、前記認識手段によって認識された関節位置に基づき追従対象の向きを判定する判定手段とを備えたものである。

また、前記向き検出手段によって検出された追従対象の向きに応じて、当該移動ロボットの向きを制御する向き制御手段をさらに備えることが好ましい。

さらに、前記向き制御手段は、前記追従対象の向きと前記移動ロボットの向きが一致するように当該移動ロボットの向きを制御することが望ましい。

また、前記移動ロボットの現在位置から前記目標位置決定手段によって決定された移動ロボットの目標位置までの移動経路を算出する移動経路算出手段と、前記移動経路算出手段によって算出された移動経路に基づいて移動ロボットの向きを制御する向き制御手段をさらに備えるようにしてもよい。

典型的には、前記移動ロボットは、車輪型ロボットである。

本発明にかかるロボット移動制御方法は、移動する追従対象に対して相対的な所定位置を維持して追従動作を行うロボット移動制御方法であって、前記追従対象の向きを検出するステップと、検出された追従対象の向きに応じて、当該移動ロボットの目標位置を決定するステップとを備えたものである。

ここで、前記追従対象の向きを検出するステップは、前記追従対象を撮影し、画像情報を取得するステップと、前記画像情報に基づき関節位置を認識するステップと、認識された関節位置に基づき追従対象の向きを判定するステップとを備えたものであることが望ましい。

また、検出された追従対象の向きに応じて、当該移動ロボットの向きを決定するステップをさらに備えるようにしてもよい。

特に、前記追従対象の向きと前記移動ロボットの向きが一致するように当該移動ロボットの向きを決定することが望ましい。

また、前記移動ロボットの現在位置から目標位置までの移動経路を算出するステップと、算出された移動経路に基づいて移動ロボットの向きを決定するステップをさらに備えるようにしてもよい。

本発明によれば、移動する追従対象に対して自然に追従することが可能な移動ロボット及びロボット移動制御方法を提供することができる。

発明の実施の形態１．
本実施の形態１にかかるロボット移動制御方法について、図１、２を用いて説明する。図１に示されるように、移動ロボット１は追従対象２の位置座標を取得しつつ、その位置座標に対して所定の相対位置関係にある自己位置を保つように移動経路を作成する。図１における移動ロボット１の具体的な構成については後に詳述する。この移動ロボット１は、典型的には真横に動けない非ホロノミック系の車輪型ロボットであるが、自律歩行型ロボットであってもよい。追従対象２は、自ら移動する機能を有するものであり、典型的には人であるが、他のロボットや乗り物であってもよい。図において、追従対象２の向き（前方向）は、隅部を黒塗りすることで示している。

図１（ａ）に示されるように、移動ロボット１は、追従対象２の右斜め前の所定位置（ここでは、前方にｘｔ、横方向にｙｔだけ進んだ位置）を維持するように移動経路を作成し、移動制御される。図１において、Ｒ１は移動ロボット１の現在位置を示し、Ｔ１は追従対象２の現在位置を示す。移動ロボット１の現在位置Ｒ１は、ｘｙ座標系において、追従対象２の現在位置Ｔ１を原点（０，０）としたとき、（ｘｔ，ｙｔ）となる。このとき、移動ロボット１と追従対象２の位置関係について、位置Ｒ１から位置Ｔ１の距離ｄｔと、位置Ｒ１と位置Ｔ１を結ぶ線と位置Ｒ１から前後方向へ延ばした線の間の角度θｔによって特定するようにしてもよい。

このとき、紙面において上側を向いていた追従対象２が向きを変え、左回りに１８０度旋回し、紙面において下側に向いたとする。本実施の形態１にかかる移動ロボット１は、追従対象２の向きを直接検出し、このような向きの変更を認識する。例えば、移動ロボット１は、追従対象２と同じように、左回りに１８０度旋回し、同じ向きを向くように制御される。または、追従対象２の向きを検出して、その向きに応じた、移動ロボット１の目標位置を決定し、さらに、現在位置から目標位置までの移動経路を決定し、この移動経路を移動する場合に現在位置において向くべき方向（即ち、現在位置における移動経路に沿った向き）に、当該移動ロボット１が向きを変えるようにしてもよい。

追従対象２が１８０度向きを変えた場合には、図１（ｃ）に示されるように、移動ロボット１は、追従対象２の右斜め前の所定位置に位置しなければならないため、紙面の右上から左下の位置に移動する必要がある。このため、かかる左下の位置（これは、追従対象２にとって右斜め前の所定位置）を目標位置として、現在位置から線路計画を行い移動経路を決定する。図１（ｃ）における点線の矢印が移動経路であり、追従対象２を障害物として避けるように移動経路が作成されている。

移動ロボット１がこの移動経路に従って移動を開始する条件については、様々な条件が適用しうる。例えば、追従対象２がその向き（本例では紙面の下側）に動き始めたこと、若しくは予め定めた距離だけその向きに移動したことを移動ロボット１が検知したときに、移動ロボット１が移動を開始する。また、追従対象２が向きを変える動作（即ち、旋回動作）を停止した後、予め定められた時間が経過したときに、移動ロボット１が移動を開始するようにしてもよい。

図２（ａ）に示されるように、追従対象２が向きを変えずに後ずさりした場合を考える。この場合、従来の技術においては、移動方向を追従対象２の向きであると判断したため、図１（ｃ）で示したような移動経路を作成し、移動を開始する制御を行っていた。これに対して、本実施の形態によれば、移動ロボット１は、追従対象２の向きを直接検出し、後ろ方向に移動したとしても向きはそのままであることを認識するため、図１（ｃ）で示したような移動経路は作成しない。本実施の形態にかかる移動ロボット１は、単に、追従対象２との相対的な位置関係を維持するために、追従対象２の後方への移動に伴って、同じように後方へ移動するだけである。したがって、本実施の形態にかかる移動制御方法によれば、無駄な回り込み移動や旋回動作を行うことがないため、自然な追従動作を実現できる。

ここで、本実施の形態１にかかる移動ロボットの構成例を説明する。図３に示すように、移動ロボット１は、箱型の本体１ａと、１対の対向する車輪１１ａ、１１ｂと、キャスタ１２を備える対向２輪型の移動ロボットであり、これらの車輪１１ａ、１１ｂ、キャスタ１２とで本体１ａを水平に支持するものである。さらに、本体１ａの内部には、車輪１１ａ、１１ｂをそれぞれ駆動する駆動部（モータ）１３ａ、１３ｂと、車輪の回転数を検出するためのカウンタ１４と、車輪を駆動するための制御信号を作成し、駆動部１３ａ、１３ｂにその制御信号を送信する演算部１５が備えられている。本例において、演算部１５は、追従アルゴリズムに従い、前後動作出力と旋回動作出力を算出し、これらに従った動作が実行されるような動作出力値を含む制御信号を作成する。そして、演算部１５内部に備えられた記憶部としてのメモリなどの記憶領域１５ａには、制御信号に基づいて車両１０の移動速度や移動方向、移動距離などを制御するためのプログラムが記録されている。移動速度や移動距離などは、カウンタ１４で検知された車輪１１ａ、１１ｂの回転数に基づいて求められている。

また、本体１ａの前面には、移動する方向に現れた障害物等を認識するためのカメラ等の障害物検知手段１６が固定されており、この障害物検知手段１６で認識した障害物の画像や映像等の情報が演算部１５に入力される。本体１ａの上面には、自己位置を認識するためのアンテナ１７が備えられており、例えば図示しないＧＰＳ等からの位置情報を受け取り、演算部１５においてその位置情報を解析することにより、自己の位置を正確に認識することができる。その結果、プログラムに従って車両の移動する方向や速度等が決定される。また、本体１ａの後面には、追従対象２を認識するためのカメラ等の追従対象検知手段１８が固定されており、この追従対象検知手段１８で認識した追従対象２の画像や映像等の情報が演算部１５に入力される。演算部１５は、この追従対象２の画像や映像等の情報に基づき、解析を行い、追従対象２と移動ロボット１の相対的な位置を正確に認識することができる。特に、本実施の形態１においては、この追従対象検知手段１８は、追従対象の向きを検知する機能を備えている。この機能については、後に詳述する。

続いて、本実施の形態１にかかるロボット移動制御方法について、図４に示すフローチャートを用いて説明する。

最初に、移動ロボット１の演算部１５は、追従対象検知手段１８により取得された画像や映像等の情報に基づいて、追従対象２の位置計測を実行し、この結果、得られた位置情報と、過去の位置情報に基づいて、追従対象２の移動ベクトルを算出する（Ｓ１０１）。

次に、移動ロボット１の演算部１５は、算出した移動ベクトルに基づいて、追従対象２が移動しているかどうかを判定する（Ｓ１０２）。判定の結果、移動していると判定した場合には、目標位置を設定し、経路計画を行い、移動する（Ｓ１０６）。他方、移動していない、即ち静止していると判定した場合には、さらに、演算部１５は、移動ロボット１は目標位置にいるかどうかを判定する（Ｓ１０３）。

演算部１５は、移動ロボット１が目標位置にいないと判定した場合には、目標位置を設定し、経路計画を行い、移動する（Ｓ１０６）。他方、演算部１５は、移動ロボット１が目標位置にいると判定した場合には、追従対象検知手段１８により検知した追従対象２の向きが、移動ロボット１の向きと一致しているかどうかを判定する（Ｓ１０４）。

演算部１５は、追従対象２の向きが、移動ロボット１の向きと一致していると判定した場合には、ステップＳ１０１に移行する。他方、演算部１５は、追従対象２の向きが、移動ロボット１の向きと一致していないと判定した場合には、移動ロボット１を旋回させて、移動ロボット１の向きと追従対象２の向きとを一致させる（Ｓ１０５）。その後、ステップＳ１０１に移行する。

なお、移動ロボット１の向きと、追従対象２の向きについては、このように一致か不一致かを判定した上で一致するように移動制御する方法以外にも、移動ロボット１の向きと追従対象２の向きが１８０度異なる、即ち反対方向を向くようにしてもよい。移動ロボット１は、基本的に前方と後方への移動性能は変わらず、特に車輪型の場合には、前方向のみならず、後ろ方向へも移動が容易であるため、後ろ方向へ移動させることにより、用意に目標位置まで到達できるからである。このとき、移動ロボット１の向きと追従対象２の向きを一致させるのか、１８０度逆方向にするのかは、一致させるために必要な旋回角度と、１８０度逆方向にするために必要な旋回角度とを比較し、小さい方を選択するようにすればよい。

ここで、ステップＳ１０６においては、図１、図２において説明したように、演算部１５は、追従対象２の向きを反映した位置関係に設定する。さらに、追従対象２の移動速度や、移動ロボット１の走行速度により求まる到達時間もパラメータとして、追従対象２に対する所定の相対位置である目標位置に、移動ロボット１が遅れがでずに移動できるように目標位置を設定する。

図４に示すフローチャートに従うと、例えば、追従対象２が後ずさりした場合は移動ロボット１も後ずさりをし、追従対象２が止まって旋回した場合は移動ロボット１も旋回し、さらに、追従対象２が移動し始めたら（人が歩き出したら）、移動ロボット１も移動を開始する。このように、移動ロボット１は無駄な動きを行わずに、追従移動に必要な動きのみを実行する。

続いて、本実施の形態１にかかる他のロボット移動制御方法について、図５に示すフローチャートを用いて説明する。

最初に、移動ロボット１の演算部１５は、追従対象検知手段１８により取得された画像や映像等の情報に基づいて、追従対象２の位置計測を実行し、この結果、得られた位置情報と、過去の位置情報に基づいて、追従対象２の移動ベクトルを算出する（Ｓ２０１）。

次に、演算部１５は、目標位置を設定し、経路計画を行う（Ｓ２０２）。さらに、演算部１５は、ステップＳ２０１において算出した移動ベクトルに基づいて、追従対象２が移動しているかどうかを判定する（Ｓ２０３）。判定の結果、移動していると判定した場合には、ステップＳ２０２において算出した経路計画に従って移動する（Ｓ２０７）。他方、移動していない、即ち静止していると判定した場合には、さらに、演算部１５は、移動ロボット１は目標位置にいるかどうかを判定する（Ｓ２０４）。

演算部１５は、移動ロボット１が目標位置にいないと判定した場合には、ステップＳ２０２において算出した経路計画に従って移動する（Ｓ２０７）。他方、演算部１５は、移動ロボット１が目標位置にいると判定した場合には、追従対象検知手段１８により検知した追従対象２の向きが、移動ロボット１の向きと一致しているかどうかを判定する（Ｓ２０５）。

演算部１５は、追従対象２の向きが、移動ロボット１の向きと一致していると判定した場合には、ステップＳ２０１に移行する。他方、演算部１５は、追従対象２の向きが、移動ロボット１の向きと一致していないと判定した場合には、移動ロボット１を旋回させて、移動ロボット１の向きと追従対象２の向きとを一致させる（Ｓ２０６）。その後、ステップＳ１０１に移行する。

ここで、ステップＳ２０２においては、図１、図２において説明したように、演算部１５は、追従対象２の向きを反映した位置関係に設定する。さらに、追従対象２の移動速度や、移動ロボット１の走行速度により求まる到達時間もパラメータとして、追従対象２に対する所定の相対位置である目標位置に、移動ロボット１が遅れがでずに移動できるように目標位置を設定する。

続いて、追従対象検知手段１８の備える、追従対象の向きを検知する機能について、図６及び図７を用いて詳述する。

追従対象の向きを検知する手段は、例えば、図６に示されるように２台のカメラ２１ａ，２１ｂと、ステレオ画像処理部２２と、姿勢推定部２３と、頭部前後判定部２４と、身体部位２次元モデル処理部２５と、モデル適応部２６によって構成可能である。

このような構成においては、まず、カメラ２１ａ，２１ｂが追従対象２を撮影し、濃淡画像情報を取得し、ステレオ画像処理部２２に出力する。かかるステレオ画像処理部２２は、濃淡画像情報より奥行き情報を抽出して、姿勢推定部２３に出力する。姿勢推定部２３は、奥行き情報に基づいて、モデルとの線形マッチングを行い、幾何拘束（関節角）等を適用して、関節や頭部の位置認識を行い、３Ｄ位置情報及び姿勢データを取得する。この姿勢データに、関節や頭部の位置データが含まれている。このとき、モデル適応部２６は、３Ｄ位置情報や姿勢データを取得して補正データを生成し、身体部位３次元モデル処理部２５に出力する。身体部位３次元モデル処理部２５は、補正データに基づき補正したモデルデータを姿勢推定部２３に出力し、フィードバック制御を行う。また、頭部前後判定部２４は、カメラ２１ａの濃淡画像及び姿勢推定部２３より出力された頭部位置データに基づいて、頭部の前後を判定し、その判定結果を姿勢推定部２３に出力する。姿勢推定部２３はこれにより判定率を向上させることができる。姿勢推定部２３が出力した３Ｄ位置情報及び姿勢データにより人の向きを判定することができる。

２つのカメラ２１ａ，２１ｂでなくとも一つのカメラ２１ｂによって人の向きを検知することも可能である。単眼のシステム３０において、カメラ２１ｂから出力された濃淡画像情報は、特徴抽出部３１に入力される。特徴抽出部３１は、濃淡画像情報において特徴の抽出処理を行い、エッジヒストグラムを生成し、出力する。高速パターンマッチング部３２は、エッジヒストグラムを入力し、大容量２次元画像ＤＢ３３に格納された２次元画像とのパターンマッチング処理を実行し、３Ｄ位置情報や姿勢データを生成する。かかる３Ｄ位置情報や姿勢データにより人の向きを判定することができる。

次に、図７を用いて、追従対象２が人の場合における向きの検出処理について具体的に説明する。上述のジェスチャ解析によって、右肩関節４１ａと左肩関節４１ｂの位置を認識する。そして、右肩関節４１ａを起点とし左肩関節４１ｂを終点とするベクトルＶＡを算出する。さらに、右肩関節４１ａと左肩関節４１ｂ間の中点４２を求める。

また、上述のジェスチャ解析によって、右脚付け根関節４４ａと左脚付け根関節４４ｂの位置を認識する。そして、右脚付け根関節４４ａを起点とし左脚付け根関節４４ｂを終点とするベクトルＶＣを算出する。さらに、右脚付け根関節４４ａと左脚付け根関節４４ｂ間の中点４５を求める。

右肩関節４１ａと左肩関節４１ｂ間の中点４２と、右脚付け根関節４４ａと左脚付け根関節４４ｂ間の中点４５とを結ぶ線分４３を求める。そして、追従対象２の上体の向きである上体向きベクトルＶＢを、右肩関節４１ａと左肩関節４１ｂ間の中点４２を起点として、上述したベクトルＶＡと線分４３に対して垂直なベクトルとして求める。また、追従対象２の腰の向きである腰向きベクトルＶＤを、右脚付け根関節４４ａと左脚付け根関節４４ｂ間の中点４５を起点として、上述したベクトルＶＣと線分４３に対して垂直なベクトルとして求める。

このようにして求めた上体向きベクトルＶＢを人の向きとしてもよいし、腰向きベクトルＶＤを人の向きとしてもよい。さらには、上体向きベクトルＶＢと腰向きベクトルＶＤの中間（平均）方向を人の向きとしてもよい。

また、ジェスチャ解析により膝関節を求めて、その膝関節が曲がっている場合には、膝関節の軸に垂直な前方向を人の向きとすることも可能である。また、両足の膝関節が曲がっている場合には、床についている脚の方向を人の向きとすることができ、また両脚の向きの平均方向を人の向きとすることも可能である。

本発明にかかるロボット移動制御方法を説明するための説明図である。本発明にかかるロボット移動制御方法を説明するための説明図である。本発明にかかる移動ロボットの構成例を示す概略構成図である。本発明にかかるロボット移動制御方法における制御の流れを示すフローチャートである。本発明にかかるロボット移動制御方法における制御の流れを示すフローチャートである。本発明にかかる移動ロボットにおいて、追従対象の向きを検知するシステムの構成を示すブロック図である。本発明にかかる移動ロボットにおいて、追従対象の向きを検知する方法を示す説明図である。従来のロボット移動制御方法を説明するための説明図である。

符号の説明

１移動ロボット
２追従対象
１ａ本体
１１ａ，１１ｂ車輪
１２キャスタ
１３ａ，１３ｂ駆動部
１４カウンタ
１５演算部
１６障害物検知手段
１７アンテナ
１８追従対象検知手段

Claims

移動する追従対象に対して相対的な所定位置を維持して追従動作を行う移動ロボットであって、
前記追従対象の前方側が向く方向である前記追従対象の向きを検出する向き検出手段と、
前記検出手段により検出された追従対象の向きに応じて、当該移動ロボットの目標位置を決定する目標位置決定手段と、
前記向き検出手段によって検出された追従対象の向きと、前記移動ロボットの前方側が向く方向である前記移動ロボットの向きと、が一致するように当該移動ロボットの向きを制御する向き制御手段と、を備えた移動ロボット。
前記向き検出手段は、
前記追従対象を撮影する撮影手段と、
前記撮影手段により取得した画像情報に基づき関節位置を認識する認識手段と、
前記認識手段によって認識された関節位置に基づき追従対象の向きを判定する判定手段と、を備えたことを特徴とする請求項１記載の移動ロボット。
前記移動ロボットの現在位置から前記目標位置決定手段によって決定された移動ロボットの目標位置までの移動経路を算出する移動経路算出手段と、
前記移動経路算出手段によって算出された移動経路に基づいて移動ロボットの向きを制御する向き制御手段をさらに備えたことを特徴とする請求項１又は２記載の移動ロボット。
前記移動ロボットは、車輪型ロボットであることを特徴とする請求項１〜３いずれかに記載の移動ロボット。
移動する追従対象に対して相対的な所定位置を維持して追従動作を行うロボット移動制御方法であって、
前記追従対象の前方側が向く方向である前記追従対象の向きを検出するステップと、
前記検出された追従対象の向きに応じて、当該移動ロボットの目標位置を決定するステップと、
前記検出された追従対象の向きと、前記移動ロボットの前方側が向く方向である前記移動ロボットの向きが一致するように当該移動ロボットの向きを決定するステップと、
を備えたロボット移動制御方法。
前記追従対象の向きを検出するステップは、
前記追従対象を撮影し、画像情報を取得するステップと、
前記画像情報に基づき関節位置を認識するステップと、
認識された関節位置に基づき追従対象の向きを判定するステップとを備えたことを特徴とする請求項５記載のロボット移動制御方法。
前記移動ロボットの現在位置から目標位置までの移動経路を算出するステップと、
算出された移動経路に基づいて移動ロボットの向きを決定するステップをさらに備えたことを特徴とする請求項５又は６記載のロボット移動制御方法。
前記移動ロボットは、車輪型ロボットであることを特徴とする請求項５〜７いずれかに記載のロボット移動制御方法。