JP5318623B2 - 遠隔操作装置および遠隔操作プログラム - Google Patents

Description

この発明は、遠隔操作装置および遠隔操作プログラムに関し、特にたとえば複数の人間が任意に行動する場所に設置されたロボットを遠隔操作する、遠隔操作装置および遠隔操作プログラムに関する。

非特許文献１に開示されている、環境情報構造化システムには、自律行動によって人間に近づきサービスを開始することができるロボットが含まれ、そのロボットの活動範囲内に設けられるＬＲＦ（レーザーレンジファインダ）を利用して人間の歩行軌跡を計測し、その歩行軌跡から、複数の局所行動を認識する。

Takayuki Kanda, Dylan F. Glas, Masahiro Shiomi, Hiroshi Ishiguro and Norihiro Hagita, Who will be the customer?: A social robot that anticipates people’s behavior from their trajectories, Tenth International Conference on Ubiquitous Computing (UbiComp 2008), pp.380-389, 2008

このように、非特許文献１では、人間の局所行動を取得して空間をクラスタリングすることができるが、そのようなクラスタリング技術をロボットの遠隔操作と組み合わせる技術はこれまで実現されていない。

それゆえに、この発明の主たる目的は、新規な、遠隔操作装置および遠隔操作プログラムを提供することである。

この発明の他の目的は、複数の人間の行動に基づいて、ロボットの遠隔操作を行うことができる、遠隔操作装置および遠隔操作プログラムである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、複数の人間が任意に行動する場所に設置されたロボットを遠隔操作し、ロボットに動作命令に基づいた所定のコミュニケーション行動を実行させる遠隔操作装置であって、場所における前記複数の人間のそれぞれの局所行動を検出する検出手段、検出手段によって検出された所定時間分の局所行動をクラスタリングして、各々に局所行動を属性付けした複数のエリアを含む地図を作成する地図作成手段、地図作成手段によって作成された地図を表示する表示手段、表示手段に表示された地図から任意のエリアが選択されたとき、その選択されたエリアに属性付けされた局所行動に基づいて動作命令を決定する命令決定手段、および決定された動作命令を前記ロボットに付与する命令付与手段を備える、遠隔操作装置である。

第１の発明では、遠隔操作装置１０は、たとえばショッピングモールに設置されたロボット（１４）を遠隔操作することが可能である。また、ロボットが設置された場所には、検出領域（Ｅ）内に居る人間（Ａ）の位置を検出する数台のＬＲＦ（１２）が設置され、検出手段（１２，１６，Ｓ３）は、数台のＬＲＦを利用して複数の人間の局所行動を検出する。また、遠隔操作装置は、検出領域を空間グリッド化することで、空間グリッド毎に局所行動のヒストグラムを算出する。そして、地図作成手段（１６，Ｓ２３，Ｓ２５）は、局所行動のヒストグラムから算出される類似度が近い空間グリッドをクラスタリングすることで、複数のエリアを含む地図（クラスタリング地図）を作成する。作成された地図は、ロボットを遠隔操作するための操作画面（２００）の一部として、たとえばＬＣＤである表示手段（２２）に表示される。命令付与手段（１６，２６，２８，Ｓ３３，Ｓ３５）は、地図に含まれる任意のエリアが選択されると、エリアの属性である局所行動に基づいて、ロボットに動作命令を付与する。

第１の発明によれば、遠隔操作装置の使用者は、複数の人間の行動が視覚的に示される地図を参照して、ロボットを遠隔操作することができる。

第２の発明は、第１の発明に従属し、命令付与手段は、決定された動作命令と共に、その動作命令に基づいてロボットが選択されたエリアにおいて実行するコミュニケーション行動に応じた１または複数の座標情報をロボットに付与する。
第３の発明は、複数の人間が任意に行動する場所に設置されたロボットを遠隔操作し、ロボットに動作命令に基づいた所定のコミュニケーション行動を実行させるコンピュータの遠隔操作プログラムであって、コンピュータに、検出手段によって検出された場所における複数の人間のそれぞれの所定時間分の局所行動をクラスタリングして、各々に局所行動を属性付けした複数のエリアを含む地図を作成する地図作成ステップ、地図作成ステップにおいて作成された地図を表示手段に表示させる表示ステップ、表示手段に表示された地図から任意のエリアが選択されたとき、その選択されたエリアに属性付けされた局所行動に基づいて動作命令を決定する命令決定ステップ、および決定された動作命令をロボットに付与する命令付与ステップを実行させる、遠隔操作プログラムである。

第２の発明では、座標情報付与手段（１６，Ｓ３５）は、たとえば、任意のエリアにおける、両端の座標、座標範囲および重心座標などを座標情報としてロボットに付与する。

第２の発明によれば、使用者は、ロボットが移動する位置やコースを示す座標を指定しなくても、任意のエリアを選択するだけで、ロボットが移動する位置やコースを指定できる。

この発明によれば、複数の人間の局所行動を視覚的に示す地図が表示されるため、遠隔操作装置の使用者は、その地図を参照して、ロボットの遠隔操作を容易に行うことができる。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の遠隔操作装置の概要を示す図解図である。 図２は図１に示す遠隔操作装置の電気的な構成を示すブロック図である。 図３は図１に示すロボットの外観を正面から見た図解図である。 図４は図１に示すロボットの電気的な構成を示すブロック図である。 図５は図１および図２に示すＬＲＦの計測領域を示す図解図である。 図６は図１および図２に示すＬＲＦを利用して取得された人間の歩行軌跡の一例を示す図解図である。 図７は図２に示すＣＰＵによって検出される局所行動と対応する歩行軌跡の一例を示す図解図である。 図８は図１に示すＬＲＦおよびロボットが設置される或る場所の地図を示す図解図である。 図９は図２に示すＣＰＵによって作成されるクラスタリング地図の一例を示す図解図である。 図１０は図２に示すＬＣＤに表示されるクラスタリング地図の一例を示す図解図である。 図１１は図２に示す遠隔操作装置のメモリのメモリマップの一例を示す図解図である。 図１２は図２に示す遠隔操作装置のＣＰＵの位置情報記録処理を示すフロー図である。 図１３は図２に示す遠隔操作装置のＣＰＵの遠隔操作処理を示すフロー図である。

図１を参照して、この実施例の遠隔操作装置１０は、ＬＲＦ１２ａ，１２ｂを含む数台のＬＲＦを備え、ネットワーク１００を介して、自律移動ロボット（以下、単に「ロボット」と言う。）１４に動作命令を付与することが可能である。また、ＬＲＦ１２ａ，１２ｂはロボット１４と共に人間Ａが任意に行動できる場所に設置される。そして、遠隔操作装置１０はＬＲＦ１２ａ，１２ｂを利用して人間Ａの位置を検出する。たとえば、人間Ａが任意に行動できる場所とは、会社のフロア、博物館、ショッピングモールまたはアトラクション会場などであり、ＬＲＦ１２ａ，１２ｂは様々な場所（環境）に設置される。

なお、ここでは簡単のため人間は１人しか示していないが、遠隔操作装置１０は２人以上の位置を同時に検出することができる。さらに、ロボット１４も同様に１台しか示していないが、遠隔操作装置は２台以上のロボット１４を同時に管理することができる。また、ロボット１４は、相互作用指向のロボット（コミュニケーションロボット）でもあり、人間Ａのようなコミュニケーションの対象（コミュニケーション対象）との間で、身振り手振りのような身体動作および音声の少なくとも一方を含むコミュニケーション行動を実行する機能を備えている。

図２は遠隔操作装置１０の電気的な構成を示すブロック図である。この図２を参照して、遠隔操作装置１０は、ＬＲＦ１２ａ−１２ｆおよびＣＰＵ１６を含む。このＣＰＵ１６は、マイクロコンピュータ或いはプロセサとも呼ばれ、先述したＬＲＦ１２ａおよびＬＲＦ１２ｂに加えて、ＬＲＦ１２ｃ，ＬＲＦ１２ｄ，ＬＲＦ１２ｅおよびＬＲＦ１２ｆともそれぞれ接続される。さらに、ＣＰＵ１６は、メモリ１８、位置情報ＤＢ２０、ＬＣＤ２２、入力装置２４および通信ＬＡＮボード２６ともそれぞれ接続される。なお、ＬＲＦ１２ａ−１２ｆを区別する必要がない場合には、まとめて「ＬＲＦ１２」と言う。

ＬＲＦ１２は、レーザーを照射し、物体（人間も含む）に反射して戻ってくるまでの時間から当該物体ための距離を計測するものである。たとえば、トランスミッタ（図示せず）から照射したレーザーを回転ミラー（図示せず）で反射させて、前方を扇状に一定角度（たとえば、０．５度）ずつスキャンする。ここで、ＬＲＦ１２としては、SICK社製のレーザーレンジファインダ（型式 LMS200）を用いることができる。このレーザーレンジファインダを用いた場合には、距離８mを±１５mm程度の誤差で計測可能である。

メモリ１８は、図示は省略をするが、ＲＯＭ，ＨＤＤおよびＲＡＭを含み、ＲＯＭおよびＨＤＤには、遠隔操作装置１０の動作を制御するための制御プログラムが予め記憶される。たとえば、ＬＲＦ１２による人間の検出に必要なプログラムなどが記録される。また、ＲＡＭは、ワークメモリやバッファメモリとして用いられる。

位置情報データベース（位置情報ＤＢ）２０は、ＬＲＦ１２によって検出された人間の位置と局所的な行動（局所行動）とを蓄積するためのデータベースであり、ＨＤＤ（図示せず）のような記憶媒体を用いて構成される。なお、人間の値は、ｘ−ｙ座標で示される。

ＬＣＤ２２は、ロボット１４を遠隔操作する際の操作画面（図１０参照）を表示する。また、入力装置２４はマイクや、マウスおよびキーボード（図示せず）から構成される。たとえば、使用者はＬＣＤ２２に表示された操作画面を見ながら、マウスなどを使ってロボット１４を遠隔操作する。

また、ＣＰＵ１６は、通信ＬＡＮボード２６に接続される。通信ＬＡＮボード２６は、たとえばＤＳＰで構成され、ＣＰＵ１６から与えられた送信データを無線通信装置２８に与え、無線通信装置２８は送信データを、ネットワーク１００を介してロボット１４に送信する。たとえば、送信データとしては、遠隔操作装置１０からロボット１４に付与する動作命令の信号（コマンド）であったりする。また、通信ＬＡＮボード２６は、無線通信装置２８を介してデータを受信し、受信したデータをＣＰＵ１６に与える。

図３はこの実施例のロボット１４の外観を示す正面図である。図３を参照して、ロボット１４は台車３０を含み、台車３０の下面にはロボット１４を自律移動させる２つの車輪３２および１つの従輪３４が設けられる。２つの車輪３２は車輪モータ３６（図４参照）によってそれぞれ独立に駆動され、台車３０すなわちロボット１４を前後左右の任意方向に動かすことができる。また、従輪３４は車輪３２を補助する補助輪である。したがって、ロボット１４は、配置された空間内を自律制御によって移動可能である。

台車３０の上には、円柱形のセンサ取り付けパネル３８が設けられ、このセンサ取り付けパネル３８には、多数の赤外線距離センサ４０が取り付けられる。これらの赤外線距離センサ４０は、センサ取り付けパネル３８すなわちロボット１４の周囲の物体（人間や障害物など）との距離を測定するものである。

なお、この実施例では、距離センサとして、赤外線距離センサを用いるようにしてあるが、赤外線距離センサに代えて、小型のＬＲＦや、超音波距離センサおよびミリ波レーダなどを用いることもできる。

センサ取り付けパネル３８の上には、胴体４２が直立するように設けられる。また、胴体４２の前方中央上部（人の胸に相当する位置）には、上述した赤外線距離センサ４０がさらに設けられ、ロボット１４の前方の主として人間との距離を計測する。また、胴体４２には、その側面側上端部のほぼ中央から伸びる支柱４４が設けられ、支柱４４の上には、全方位カメラ４６が設けられる。全方位カメラ４６は、ロボット１４の周囲を撮影するものであり、後述する眼カメラ７０とは区別される。この全方位カメラ４６としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。なお、これら赤外線距離センサ４０および全方位カメラ４６の設置位置は、当該部位に限定されず適宜変更され得る。

胴体４２の両側面上端部（人の肩に相当する位置）には、それぞれ、肩関節４８Ｒおよび肩関節４８Ｌによって、上腕５０Ｒおよび上腕５０Ｌが設けられる。図示は省略するが、肩関節４８Ｒおよび肩関節４８Ｌは、それぞれ、直交する３軸の自由度を有する。すなわち、肩関節４８Ｒは、直交する３軸のそれぞれの軸廻りにおいて上腕５０Ｒの角度を制御できる。肩関節４８Ｒの或る軸（ヨー軸）は、上腕５０Ｒの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。同様にして、肩関節４８Ｌは、直交する３軸のそれぞれの軸廻りにおいて上腕５０Ｌの角度を制御できる。肩関節４８Ｌの或る軸（ヨー軸）は、上腕５０Ｌの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。

また、上腕５０Ｒおよび上腕５０Ｌのそれぞれの先端には、肘関節５２Ｒおよび肘関節５２Ｌが設けられる。図示は省略するが、肘関節５２Ｒおよび肘関節５２Ｌは、それぞれ１軸の自由度を有し、この軸（ピッチ軸）の軸回りにおいて前腕５４Ｒおよび前腕５４Ｌの角度を制御できる。

前腕５４Ｒおよび前腕５４Ｌのそれぞれの先端には、人の手に相当する球体５６Ｒおよび球体５６Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人間の手の形をした「手」を用いることも可能である。また、図示は省略するが、台車３０の前面、肩関節４８Ｒと肩関節４８Ｌとを含む肩に相当する部位、上腕５０Ｒ、上腕５０Ｌ、前腕５４Ｒ、前腕５４Ｌ、球体５６Ｒおよび球体５６Ｌには、それぞれ、接触センサ５８（図４で包括的に示す）が設けられる。台車３０の前面の接触センサ５８は、台車３０への人間や他の障害物の接触を検知する。したがって、ロボット１４は、その自身の移動中に障害物との接触が有ると、それを検知し、直ちに車輪３２の駆動を停止してロボット１４の移動を急停止させることができる。また、その他の接触センサ５８は、当該各部位に触れたかどうかを検知する。なお、接触センサ５８の設置位置は、当該部位に限定されず、適宜な位置（人の胸、腹、脇、背中および腰に相当する位置）に設けられてもよい。

胴体４２の中央上部（人の首に相当する位置）には首関節６０が設けられ、さらにその上には頭部６２が設けられる。図示は省略するが、首関節６０は、３軸の自由度を有し、３軸の各軸廻りに角度制御可能である。或る軸（ヨー軸）はロボット１４の真上（鉛直上向き）に向かう軸であり、他の２軸（ピッチ軸、ロール軸）は、それぞれ、それと異なる方向で直交する軸である。

頭部６２には、人の口に相当する位置に、スピーカ６４が設けられる。スピーカ６４は、ロボット１４が、それの周辺の人間に対して音声ないし音によってコミュニケーションを取るために用いられる。また、人の耳に相当する位置には、マイク６６Ｒおよびマイク６６Ｌが設けられる。以下、右のマイク６６Ｒと左のマイク６６Ｌとをまとめてマイク６６と言うことがある。マイク６６は、周囲の音、とりわけコミュニケーションを実行する対象である人間の音声を取り込む。さらに、人の目に相当する位置には、眼球部６８Ｒおよび眼球部６８Ｌが設けられる。眼球部６８Ｒおよび眼球部６８Ｌは、それぞれ眼カメラ７０Ｒおよび眼カメラ７０Ｌを含む。以下、右の眼球部６８Ｒと左の眼球部６８Ｌとをまとめて眼球部６８と言うことがある。また、右の眼カメラ７０Ｒと左の眼カメラ７０Ｌとをまとめて眼カメラ７０と言うことがある。

眼カメラ７０は、ロボット１４に接近した人間の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。また、眼カメラ７０は、上述した全方位カメラ４６と同様のカメラを用いることができる。たとえば、眼カメラ７０は、眼球部６８内に固定され、眼球部６８は、眼球支持部（図示せず）を介して頭部６２内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、２軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この２軸の一方は、頭部６２の上に向かう方向の軸（ヨー軸）であり、他方は、一方の軸に直交しかつ頭部６２の正面側（顔）が向く方向に直行する方向の軸（ピッチ軸）である。眼球支持部がこの２軸の各軸廻りに回転されることによって、眼球部６８ないし眼カメラ７０の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ６４、マイク６６および眼カメラ７０の設置位置は、当該部位に限定されず、適宜な位置に設けられてよい。

このように、この実施例のロボット１４は、車輪３２の独立２軸駆動、肩関節４８の３自由度（左右で６自由度）、肘関節５２の１自由度（左右で２自由度）、首関節６０の３自由度および眼球支持部の２自由度（左右で４自由度）の合計１７自由度を有する。

図４はロボット１４の電気的な構成を示すブロック図である。この図４を参照して、ロボット１４は、ＣＰＵ８０を含む。ＣＰＵ８０は、マイクロコンピュータ或いはプロセッサとも呼ばれ、バス８２を介して、メモリ８４、モータ制御ボード８６、センサ入力／出力ボード８８および音声入力／出力ボード９０に接続される。

メモリ８４は、図示は省略をするが、ＲＯＭおよびＲＡＭを含む。ＲＯＭには、ロボット１４の動作を制御するための制御プログラムが予め記憶される。たとえば、各センサの出力（センサ情報）を検知するための検知プログラムや、外部コンピュータ（遠隔操作装置１０）との間で必要なデータやコマンドを送受信するための通信プログラムなどが記録される。また、ＲＡＭは、ワークメモリやバッファメモリとして用いられる。

モータ制御ボード８６は、たとえばＤＳＰで構成され、各腕や首関節および眼球部などの各軸モータの駆動を制御する。すなわち、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、右眼球部６８Ｒの２軸のそれぞれの角度を制御する２つのモータ（図４では、まとめて「右眼球モータ９２」と示す）の回転角度を制御する。同様に、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、左眼球部６８Ｌの２軸のそれぞれの角度を制御する２つのモータ（図４では、まとめて「左眼球モータ９４」と示す）の回転角度を制御する。

また、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、肩関節４８Ｒの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節５２Ｒの角度を制御する１つのモータとの計４つのモータ（図４では、まとめて「右腕モータ９６」と示す）の回転角度を制御する。同様に、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、肩関節４８Ｌの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節５２Ｌの角度を制御する１つのモータとの計４つのモータ（図４では、まとめて「左腕モータ９８」と示す）の回転角度を制御する。

さらに、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、首関節６０の直交する３軸のそれぞれの角度を制御する３つのモータ（図４では、まとめて「頭部モータ１１０」と示す）の回転角度を制御する。そして、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、車輪３２を駆動する２つのモータ（図４では、まとめて「車輪モータ３６」と示す）の回転角度を制御する。なお、この実施例では、車輪モータ３６を除くモータは、制御を簡素化するためにステッピングモータ（すなわち、パルスモータ）を用いる。ただし、車輪モータ３６と同様に直流モータを用いるようにしてもよい。また、ロボット１４の身体部位を駆動するアクチュエータは、電流を動力源とするモータに限らず適宜変更されてもよい。たとえば、他の実施例では、エアアクチュエータなどが適用されてもよい。

センサ入力／出力ボード８８は、モータ制御ボード８６と同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ８０に与える。すなわち、赤外線距離センサ４０のそれぞれからの反射時間に関するデータがこのセンサ入力／出力ボード８８を通じてＣＰＵ８０に入力される。また、全方位カメラ４６からの映像信号が、必要に応じてセンサ入力／出力ボード８８で所定の処理を施してからＣＰＵ８０に入力される。眼カメラ７０からの映像信号も、同様に、ＣＰＵ８０に入力される。また、上述した複数の接触センサ５８（図４では、まとめて「接触センサ５８」と示す）からの信号がセンサ入力／出力ボード８８を介してＣＰＵ８０に与えられる。音声入力／出力ボード９０もまた、同様に、ＤＳＰで構成され、ＣＰＵ８０から与えられる音声合成データに従った音声または声がスピーカ６４から出力される。また、マイク６６からの音声入力が、音声入力／出力ボード９０を介してＣＰＵ８０に与えられる。

また、ＣＰＵ８０は、バス８２を介して通信ＬＡＮボード１１２に接続される。通信ＬＡＮボード１１２は、たとえばＤＳＰで構成され、ＣＰＵ８０から与えられた送信データを無線通信装置１１４に与え、無線通信装置１１４は送信データを、ネットワーク１００を介して外部コンピュータ（遠隔操作装置１０）に送信する。また、通信ＬＡＮボード１１２は、無線通信装置１１４を介してデータを受信し、受信したデータをＣＰＵ８０に与える。たとえば、送信データとしては、全方位カメラ４６および目カメラ７０によって撮影された周囲の映像データであったりする。

次にＬＲＦ１２について詳細に説明する。図５を参照して、ＬＲＦ１２の計測範囲は、半径Ｒ（Ｒ≒８m）の半円形状（扇形）で示される。つまり、ＬＲＦ１２は、その正面方向を中心とした場合に、左右９０°の方向を所定の距離（Ｒ）以内で計測可能である。

また、使用しているレーザーは、日本工業規格 JIS C 6802「レーザー製品の安全基準」におけるクラス１レーザーであり、人の眼に対して影響を及ぼさない安全なレベルである。また、この実施例では、ＬＲＦ１２のサンプリングレートを３７Hzとした。これは、歩行するなどにより移動する人間の位置を連続して検出するためである。

さらに、先述したように、ＬＲＦ１２は、様々な場所に配置される。具体的には、ＬＲＦ１２ａ，１２ｂの各々は、検出領域が重なるように配置され、図示は省略するが、床面から約９０cmの高さに固定される。この高さは、被験者の胴体と腕（両腕）とを検出可能とするためであり、たとえば、日本人の成人の平均身長から算出される。したがって、遠隔操作装置１０を設ける場所（地域ないし国）や被験者の年齢ないし年代（たとえば、子供，大人）に応じて、ＬＲＦ１２を固定する高さを適宜変更するようにしてよい。なお、本実施例では、設定されるＬＲＦ１２は６台としたが、２台以上であれば、任意の台数のＬＲＦ１２を設置してもよい。

このような構成の遠隔操作装置１０では、ＣＰＵ１６がＬＲＦ１２からの出力（距離データ）に基づいて、パーティクルフィルタを用いて、人間の現在位置の変化を推定する。そして、推定された現在位置の変化は歩行軌跡として記録される。

たとえば、図６を参照して、ＬＲＦ１２ａ，１２ｂは互いに向い合せに設置され、ＬＲＦ１２ａ，１２ｂの計測範囲が重なる範囲は斜線が付されて示される。斜線が付された範囲は検出領域Ｅとされ、この検出領域Ｅ内では人間の現在位置が連続的に検出される。そして、連続的に検出された現在位置のデータは歩行軌跡として示される。たとえば、歩行軌跡Ｋａおよび歩行軌跡Ｋｂのように示される。なお、歩行軌跡Ｋａ，Ｋｂを区別する必要がない場合には、まとめて「歩行軌跡Ｋ」と言う。

ここで、本実施例では、ＳＶＭ（Support Vector Machine）によって人間の歩行軌跡Ｋから人間の歩き方の判別を行い、遠隔操作装置１０は、局所行動を検出する。なお、ＳＶＭによる判別手法については、広く一般的な方法であるため、ここでは詳細な説明を省略する。

まず、歩行軌跡Ｋは特徴量データが抽出される。具体的には、歩行軌跡Ｋは、左側中央が始点となるように方向の正規化処理が施され、方向の正規化後の歩行軌跡Ｋと囲む長方形の幅（縦軸方向）および長さ（横軸方向）が算出される。また、歩行軌跡Ｋは近似する折れ線に変換され、連続する２つの直線のなす角がそれぞれ算出される。さらに、歩行軌跡Ｋにおける一定時間毎の変化量を時間で微分することで、移動軌跡Ｋの速度が算出される。そして、このように求められた、歩行軌跡Ｋの終点、歩行軌跡Ｋを囲む長方形の幅と長さ、歩行軌跡Ｋのなす角度および速度のそれぞれが歩行軌跡Ｋの特徴量データとされる。

次に、特徴量データに対してラベル付けし、ラベル付けされた特徴量データをＳＶＭに学習させる。以下、特徴量データに対するラベル付けおよびＳＶＭの学習について詳細に説明する。

本実施例では、特徴量データをラベル付けするために、「歩き方」、「歩く速さ」、「短時間の歩き方」および「短時間の歩く速さ」の４つのクラスを定義する。「歩き方」のクラスは、「まっすぐ」、「右に曲がる」、「左に曲がる」、「うろうろする」、「Ｕターン」および「不明」の６つのカテゴリから構成され、５．１秒の歩行軌跡Ｋから抽出される特徴量データがラベル付けされる。そして、ＳＶＭには、ラベル付けされた２２６個の特徴量データを学習させる。また、「歩く速さ」のクラスは、「走っている」、「忙しく歩く」、「ゆっくり歩く」、「止まっている」および「待っている」の５つのカテゴリから構成され、４．９秒の歩行軌跡Ｋから抽出される特量データがラベル付けされる。そして、ＳＶＭには、ラベル付けされた１６６個の特徴量データを学習させる。

「短時間の歩き方」のクラスは、「歩き方」と類似するカテゴリから構成さる。そして、ＳＶＭには、２．１秒の歩行軌跡Ｋであり、かつ「うろうろする」のカテゴリを除いた、１５０個の特徴量データをＳＶＭに学習させる。「短時間の歩く速さ」のクラスは、「歩く速さ」と類似するカテゴリから構成される。そして、ＳＶＭには、２．２秒の歩行軌跡Ｋであり、かつ「待っている」のカテゴリを除いた、１５９の特徴量データを学習させる。

そして、遠隔操作装置１０では、このように学習したＳＶＭによって検出される歩行軌跡Ｋから局所行動を判別し、判別結果をマージする。具体的には、「歩き方」のクラスでは「右に曲がる」、「左に曲がる」および「Ｕターン」を「うろうろする」にマージし、「歩く速さ」のクラスでは「待っている」を「止まっている」にマージする。さらに、「短時間の歩き方」のクラスは「歩き方」のクラスにマージされ、「短時間の歩く速さ」のクラスは「歩く速さ」のクラスにマージされる。これにより、遠隔操作装置１０は、「忙しく歩く」、「ゆっくり歩く」、「うろうろする」および「止まっている」の４つの局所行動を検出することができるようになる。

ここで、各局所行動のそれぞれに対応する歩行軌跡Ｋを図７（Ａ）−図７（Ｄ）に示す。図７（Ａ）は「忙しく歩く」の局所行動の一例を示しており、歩行軌跡Ｋの形状が直線的であり、始点と終点との距離が長い。また、図７（Ｂ）は「ゆっくり歩く」の局所行動の一例を示しており、歩行軌跡Ｋの形状が直線的ではあるが、始点と終点との距離が短い。また、図７（Ｃ）は「うろうろする」の局所行動の一例を示しており、歩行軌跡Ｋがおよそ９０度以下で２回曲がっている。そして、図７（Ｄ）は「止まっている」の局所行動の一例を示しており、歩行軌跡Ｋにおける始点と終点とがほぼ変わらない位置にある。

ここで、本実施例では、時刻ｔに検出されるｎ人（ｎ：自然数）の位置情報を、位置情報Ｐｎ（ｔ）と表わし、この位置情報Ｐｎ（ｔ）は人間の位置（ｘ、ｙ）に加え、４種類の局所行動の有無を表わすブール変数ｂ１−ｂ４を含むものと定義する。そして、位置情報ＤＢ２０には、位置情報Ｐｎ（ｔ）が記録される。また、位置情報Ｐｎ（ｔ）は、数１に示す式で表すことができる。

［数１］
Ｐｎ（Ｔ）＝｛ｘ，ｙ，ｂ１，ｂ２，ｂ３，ｂ４｝
ここで、ブール変数ｂ１は「忙しく歩く」の有無を表わし、ブール変数ｂ２は「ゆっくり歩く」の有無を表わし、ブール変数ｂ３は「うろうろする」の有無を表わし、ブール変数ｂ４は「止まっている」の有無を表わす。

なお、歩行軌跡Ｋから抽出される特徴量は４つだけに限らず、加重方向指数ヒストグラム法などによって抽出された特徴量が用いられてもよい。さらに、汎用性を高めるために、判別結果が全くマージされなくてもよし、マージされる判別結果が減らされてもよい。そして、検出される局所行動に応じてブール変数の数も変化するため、位置情報Ｐｎ（ｔ）が含むブール変数の数も変化する。また、本実施例におけるブール変数ｂ１−ｂ４のそれぞれは、０〜１００までの値をとる。

次に、ＬＲＦ１２によって人間の位置を検出可能な空間（検出領域Ｅ）を、２５cm四方で空間グリッド化する。ここで、遠隔操作装置１０は、位置情報ＤＢ２０に記録される位置情報Ｐｎ（ｔ）を読み出すことで、或る時刻ｔの空間グリッドｉにおいて、空間グリッドｉ内の局所行動の生起回数を集計することができる。そして、その集計結果として、「忙しく歩く」、「ゆっくり歩く」、「うろうろする」および「止まっている」の局所行動それぞれに対応する、ヒストグラムＨ１（ｉ，ｔ）、ヒストグラムＨ２（ｉ，ｔ）、ヒストグラムＨ３（ｉ，ｔ）およびヒストグラムＨ４（ｉ，ｔ）のそれぞれが算出される。

たとえば、検出領域Ｅが図８（Ａ）に示す地図に対応する場所（本実施例ではショッピングモール）に含まれる場合に、短時間の集計によって得られたヒストグラムに基づき、局所行動を空間グリッドｉ毎に視覚化すると図８（Ｂ）に示す局所行動地図のようになる。図８（Ｂ）を参照して、局所行動が検出された空間グリッドｉには、検出された局所行動に対応する色が彩色され、局所行動が検出されていない空間グリッドｉは何も彩色されない。たとえば、青色（図８（Ｂ）では、濃い右斜線示す）に彩色された空間グリッドｉは局所行動が「忙しく歩く」を示し、緑色（図８（Ｂ）では、濃い左斜線示す）に彩色された空間グリッドｉは局所行動が「ゆっくり歩く」を示し、桃色（図８（Ｂ）では、薄い右斜線示す）に彩色された空間グリッドｉは局所行動が「うろうろする」を示し、茶色（図８（Ｂ）では、網掛けで示す）に彩色された空間グリッドｉは、局所行動が「止まっている」を示す。なお、図８（Ａ）の地図に示される「案内図」と「店舗」とは、図８（Ｂ）および後述する図９（Ａ）、図９（Ｂ）では省略する。

そして、本実施例では、全ての空間グリッドｉに対して４種類の局所行動のヒストグラムを算出した後に、類似する空間グリッドを周知のＩＳＯＤＡＴＡ法によりクラスタリングし、クラスタリング地図を作成する。具体的には、ヒストグラムＨ１−Ｈ４から空間グリッドｉと隣接する空間グリッドｊの類似度をそれぞれ算出し、類似度が近い空間グリッドｉと隣接する空間グリッドｊとを併合して空間パーティション（エリア）を作成する。また、空間グリッドｉと隣接する空間グリッドｊの類似度は数２に示す式から算出される。

たとえば、図９（Ａ）を参照して、所定時間（時刻ｔ１、時刻ｔ２、時刻ｔ３，…）の位置情報Ｐｎ（ｔ）を位置情報ＤＢ２０から読み出し、各空間グリッドをクラスタリングすると、図９（Ｂ）に示すクラスタリング地図が作成される。なお、図９（Ａ）では、読み出された位置情報Ｐｎ（ｔ）を局所行動地図として表わす。

図９（Ｂ）を参照して、青色のエリアは「忙しく歩く」の局所行動を属性として持っており、この青色のエリアでは人々が早歩きで歩き去る。たとえば、この青色のエリアは通路などに多く設定されている。緑色のエリアは「ゆっくり歩く」の局所行動を属性として持っており、この緑色のエリアでは人々はゆっくり歩く。たとえば、緑色のエリアは店舗の前に比較的近い処や、案内図の前などに設定されている。桃色のエリアは「うろうろする」の局所行動を属性として持っており、この桃色のエリアでは人々はうろうろする。たとえば、この桃色のエリアは店舗の前に設定されている。茶色のエリアは「止まっている」の局所行動を属性として持っており、この茶色のエリアでは人々は立ち止まっている。たとえば、この茶色のエリアはベンチ（図示せず）の周辺や、店舗の前の一部に設定されている。

また、同じ緑色で示されるエリアＧ１およびエリアＧ２は、属性が同じ「ゆっくり歩く」ではあるが、類似度が近くなかったため、併合されていない。また、同様に、エリアＢ１およびエリアＢ２も、類似度が近くなかったため、併合されずに異なるエリアとして設定される。

そして、このように作成されたクラスタリング地図は、ＬＣＤ２２に表示される。図１０を参照して、ＬＣＤ２２はＧＵＩとして操作画面２００を表示し、その操作画面２００にはロボットアイコン２０２ａ−２０２ｃ、ロボットカメラ画像２０４および地図表示２０６が含まれる。ロボットアイコン２０２ａ−２０２ｃは、ショッピングモールに設置されている３台のロボット１４にそれぞれ対応する。たとえば、ロボットアイコン２０２ａと対応するロボット１４は、遠隔操作の動作命令が付与可能な状態である。ロボットアイコン２０２ｂと対応するロボット１４は自律行動によってショッピングモール内を巡回している。ロボットアイコン２０２ｃと対応するロボット１４は遠隔操作できない状態である。また、ロボットカメラ画像２０４には、遠隔操作中のロボット１４から送信されてくる映像データが表示される。

地図表示２０６には、作成されたクラスタリング地図が表示される。また、表示されたクラスタリング地図において、使用者によって任意に選択されたエリアが選択エリアＳＥとして選択表示される。遠隔操作装置１０は、選択エリアＳＥが選択されると、その選択エリアＳＥの属性に基づいてロボット１４に対する動作命令を決定し、さらに遠隔操作装置１０は、その動作命令と選択エリアＳＥの座標情報とをロボット１４に付与（送信）する。これにより、ロボット１４は、付与された座標情報が示すエリアに移動し、その選択エリアＳＥで動作命令に基づく動作を実行する。

たとえば、使用者がエリアＧ１（図９（Ｂ）参照）を選択すると、エリアＧ１が選択エリアＳＥとして選択表示され、さらに選択エリアＳＥの両端座標が座標Ｐ１および座標Ｐ２で示される。このとき、遠隔操作装置１０は、エリアＧ１の属性、「ゆっくり歩く」に基づいて、動作命令を「ゆっくり移動する」とし、さらに、遠隔操作装置１０は、エリアＧ１の両端を示す座標Ｐ１と座標Ｐ２を座標情報として算出する。そして、ロボット１４は、遠隔操作装置１０から付与される動作命令と座標情報とに基づいて、選択エリアＳＥ（エリアＧ１）内で座標Ｐ１から座標Ｐ２に向けてゆっくり移動する。

また、属性が「忙しく歩く」であれば動作命令を「早く移動する」とする。また、属性が「止まっている」であれば動作命令を「エリア内で待機する」とし、座標情報としてはそのエリアの一端を示す座標とする。また、属性が「うろうろする」であれば動作命令を「エリア内で待機する」とするが、座標情報としてはそのエリアの重心位置（中心）を示す座標とする。

図１１は、図２に示すメモリ１８のメモリマップ３００の一例を示す図解図である。図１１に示すように、メモリ１８はプログラム記憶領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２には、位置情報記録プログラム３１２および遠隔操作プログラム３１４が記憶される。

位置情報記録プログラム３１２は、たとえばショッピングモール内に居る人間の位置情報Ｐｎ（ｔ）を逐次記録するためのプログラムである。遠隔操作プログラム３１４は、ロボット１４を遠隔操作するためのプログラムであり、所定時間毎にクラスタリング地図を操作画面２００に表示する。

なお、図示は省略するが、遠隔操作装置１０を動作させるためのプログラムは、ネットワーク１００を介してデータ通信を行うプログラムおよび操作画面２００を表示するためのプログラムなどを含む。

また、データ記憶領域３０４には、表示画像バッファ３３０が設けられると共に、ＧＵＩデータ３３２および地図データ３３４が記録される。表示画像バッファ３３０は、ＬＣＤ２２に表示するクラスタリング地図のデータを一時的に記録するためのバッファである。ＧＵＩデータ３３２は、操作画面２００を表示するための画像データなどであり、たとえばロボットアイコン２０２を表示するために利用される。地図データ３３４は、クラスタリング地図を作成する際に元になる地図のデータであり、たとえば図８（Ａ）に示す地図である。

なお、図示は省略するが、データ記憶領域３０４には、様々な計算の結果を一時的に格納するバッファなどが設けられると共に、遠隔操作装置１０の動作に必要な他のカウンタやフラグも設けられる。

具体的には、遠隔操作装置１０のＣＰＵ１６は、図１２および図１３に示す処理を含む、複数の処理を並列的に実行する。

図１２に示すように、遠隔操作装置１０のＣＰＵ１６は、位置情報記録処理を実行すると、ステップＳ１では、現在時刻Ｔを記録する。つまり、ＣＰＵ１６が含むＲＴＣから得られる現在時刻Ｔを記録する。続いて、ステップＳ３では、各人間の位置情報Ｐｎ（Ｔ）を取得する。つまり、ＬＲＦ１２によって検出される、人間の位置およびその位置での局所行動を記録する。続いて、ステップＳ５では、現在位置Ｔと位置情報Ｐｎ（Ｔ）とを位置情報ＤＢ２０に記録し、ステップＳ１に戻る。つまり、位置情報Ｐｎ（Ｔ）と、その位置情報Ｐｎ（Ｔ）を検出した現在時刻Ｔとを対応付けて、位置情報ＤＢ２０に記録する。なお、ステップＳ３の処理を実行するＣＰＵ１６は検出手段として機能する。

図１３は、遠隔操作処理のフロー図である。図１３で示すように、ＣＰＵ１６は、ステップＳ２１では、終了操作か否かを判断する。たとえば、入力装置２４に対して、遠隔操作処理を終了する操作がされたか否かを判断する。ステップＳ２１で“ＹＥＳ”であれば、つまり終了操作がされれば、遠隔操作処理を終了する。一方、ステップＳ２１で“ＮＯ”であば、つまり終了操作がされていなければ、ステップＳ２３で所定時間分の位置情報Ｐｎ（ｔ）を読み出してクラスタリングする。たとえば、図９（Ａ），（Ｂ）で示したように、時刻ｔ１，ｔ２，ｔ３を含む所定時間分の位置情報Ｐｎ（ｔ）を位置情報ＤＢ２０から読み出し、類似度の近い空間グリッドｉをクラスタリングする。

続いて、ステップＳ２５では、クラスタリング結果に基づいて、複数のエリアを含むクラスタリング地図を作成する。つまり、地図データ３３４を読み出し、ステップＳ２３でのクラスタリング結果に基づいて、図９（Ｂ）に示すような複数のエリアを含むクラスタリング地図を作成する。また、作成されたクラスタリング地図は表示画像バッファ３３０に格納される。なお、ステップＳ２３，Ｓ２５の処理を実行するＣＰＵ１６は地図作成手段として機能する。

続いて、ステップＳ２７では、クラスタリング地図を表示する。つまり、表示画像バッファ３３０に格納されているクラスタリング地図を読み出してＬＣＤ２６に表示させる。たとえば、読み出されたクラスタリング地図は、図１０に示すように表示画面２００の地図表示２０６に表示される。なお、ステップＳ２７の処理を実行するＣＰＵ１６は表示手段として機能する。続いて、ステップＳ２９では、地図上のエリアが選択されたか否かを判断する。たとえば、クラスタリング地図におけるエリアＧ１（図９（Ｂ）参照）を選択する操作が、入力装置２４に対して行われたか否かを判断する。

ステップＳ２９で“ＮＯ”であれば、つまりエリアが選択されなければステップＳ２１に戻る。一方、ステップＳ２９で“ＹＥＳ”であれば、つまりエリアが選択されていれば、ステップＳ３１で選択されたエリアを選択表示する。たとえば、エリアＧ１は、図１０に示す選択エリアＳＥのように周囲を太線で囲われ、さらに両端を示す座標Ｐ１および座標Ｐ２が示される。

続いて、ステップＳ３３では選択されたエリアの属性に基づいて、動作命令を決定する。たとえば、エリアＧ１の属性は「ゆっくり歩く」であるため、ロボット１４に送信する動作命令の内容は、「ゆっくりと移動する」になる。続いて、ステップＳ３５では、選択されたエリアの座標情報と動作命令とを送信（付与）し、ステップＳ２１に戻る。たとえば、座標Ｐ１および座標Ｐ２を含む座標情報と、内容が「ゆっくりと移動する」である動作命令とがロボット１４に送信（付与）される。これにより、ロボット１４は、選択エリアＳＥ内で、点Ｐ１から点Ｐ２へ向けてゆっくりと移動する。

なお、ロボット１４に付与される動作命令は、「２点間をゆっくり往復する」などでもよく、この場合は点Ｐ１および点Ｐ２の間をゆっくり移動しながら往復する。

また、属性が「うろうろする」である場合には、短い距離を動いては待機する行動を繰り返しながら２点間を往復する動作命令であってもよいし、コミュニケーションを誘発させる音声（たとえば、「困ったことはありませんか？」など）を発しながら２点間を往復する動作命令であってもよい。たとえば、「うろうろする」の属性を持つエリア内の人間は興味がある物（案内図、店舗など）の近くに居る場合が多く、ガイド（案内）を必要としている可能性が高いため、使用者は、周囲の人間がロボット１４に対して話しかけやすいように動作させる。

また、属性が「止まっている」である場合には、移動しない人間に対してコミュニケーション行動を開始する動作命令であってもよい。たとえば、「止まっている」の属性を持つエリア内の人間は休憩している場合が多く、ロボット１４に興味を持ちやすい状態にあるため、使用者は、ロボット１４から積極的にコミュニケーション行動を開始させる。

また、ロボット１４が掃除を行う掃除ロボットである場合には、遠隔操作装置１０は、動作命令を「掃除する」とし、座標情報を選択エリアＳＥの座標範囲とする。

このように、遠隔操作装置１０は、選択エリアＳＥの属性に基づいて、様々な動作命令をロボット１４に付与することができる。

また、ステップＳ３３，Ｓ３５の処理を実行するＣＰＵ１６は命令付与手段として機能し、さらにステップＳ３３のみを実行するＣＰＵ１６は座標情報付与手段として機能する。

ここで、本実施例の遠隔操作装置１０は、ＣＰＵ１６に遠隔操作処理を所定時間毎に実行させることで、操作画面２００に表示されるクラスタリング地図を所定時間毎に更新する。ただし、遠隔操作装置１０は以下の手法などでクラスタリング地図を更新してもよい。

たとえば、所定時間を計測する計測カウンタをメモリ１８に設け、ステップＳ２１の処理の前に、前回のクラスタリング地図を表示してから所定時間が経過したかを判断する処理を加える。そして、ＣＰＵ１６は、その処理で“ＹＥＳ”と判断されたときに、ステップＳ２１−Ｓ３５の処理を実行する。

この実施例によれば、遠隔操作装置１０は、ショッピングモールなどに設けられるＬＲＦ１２を含み、ＬＲＦ１２と同じ場所に設けられるロボット１４を遠隔操作する。ショッピングモールでは、人間Ａの位置情報Ｐｎ（ｔ）が記録される。また、検出領域Ｅは、２５ｃｍ四方の空間グリッド化され、その空間グリッド毎に局所行動のヒストグラムＨ１−Ｈ４が算出される。そして、遠隔操作装置１０は、ヒストグラムＨ１−Ｈ４から類似度を算出し、その類似度の近い空間グリッドをクラスタリングすることで、クラスタリング地図を作成してＬＣＤ２２に表示する。使用者は、表示されたクラスタリング地図に含まれる、任意のエリアを選択することで、そのエリアの属性に基づいて動作命令と座標情報とをロボット１４に付与することができる。

このように、使用者は、複数の人間の行動が視覚的に示されるクラスタリング地図を参照して、容易にロボットを遠隔操作することができる。

また、使用者は、ロボット１４が移動する位置やコースを示す座標を詳細に指定しなくても、任意のエリアを選択するだけで、ロボット１４が移動する位置やコースを指定できる。

なお、本実施例では、空間グリッドを併合するときの類似度の閾値を変更することで、クラスタリング地図に含まれるエリアの数を変更することができる。これにより、使用者は、直感的にエリアを認識しやすくなるように、類似度の閾値を恣意的に設定できる。また、人間の位置を検出するためにＬＲＦ１２を用いたが、ＬＲＦ１２に代えて超音波距離センサやミリ波レーダなどを用いて、人間の位置を検出してもよい。

また、入力装置２４は、ＬＣＤ２２の表面を覆うタッチパネルを含んでもよく、使用者が直感的な操作で任意のエリアを選択できるようにしてもよい。

１０ …遠隔操作装置
１２ａ−１２ｆ …ＬＲＦ
１４ …ロボット
１６ …ＣＰＵ
１８ …メモリ
２０ …位置情報ＤＢ
２２ …ＬＣＤ
２４ …入力装置
２６ …通信ＬＡＮボード
２８ …無線通信装置
１００ …ネットワーク

Claims (3)

1. 複数の人間が任意に行動する場所に設置されたロボットを遠隔操作し、前記ロボットに動作命令に基づいた所定のコミュニケーション行動を実行させる遠隔操作装置であって、
   前記場所における前記複数の人間のそれぞれの局所行動を検出する検出手段、
   前記検出手段によって検出された所定時間分の局所行動をクラスタリングして、各々に局所行動を属性付けした複数のエリアを含む地図を作成する地図作成手段、
   前記地図作成手段によって作成された地図を表示する表示手段、
   前記表示手段に表示された地図から任意のエリアが選択されたとき、その選択されたエリアに属性付けされた局所行動に基づいて動作命令を決定する命令決定手段、および
   前記決定された動作命令を前記ロボットに付与する命令付与手段を備える、遠隔操作装置。
2. 前記命令付与手段は、前記決定された動作命令と共に、その動作命令に基づいて前記ロボットが前記選択されたエリアにおいて実行するコミュニケーション行動に応じた１または複数の座標情報を前記ロボットに付与する、請求項１記載の遠隔操作装置。
3. 複数の人間が任意に行動する場所に設置されたロボットを遠隔操作し、前記ロボットに動作命令に基づいた所定のコミュニケーション行動を実行させるコンピュータの遠隔操作プログラムであって、
   前記コンピュータに、
   検出手段によって検出された前記場所における前記複数の人間のそれぞれの所定時間分の局所行動をクラスタリングして、各々に局所行動を属性付けした複数のエリアを含む地図を作成する地図作成ステップ、
   前記地図作成ステップにおいて作成された地図を表示手段に表示させる表示ステップ、
   前記表示手段に表示された地図から任意のエリアが選択されたとき、その選択されたエリアに属性付けされた局所行動に基づいて動作命令を決定する命令決定ステップ、および
   前記決定された動作命令を前記ロボットに付与する命令付与ステップを実行させる、遠隔操作プログラム。

Images