JP6142307B2 - 注目対象推定システムならびにロボットおよび制御プログラム - Google Patents

Description

この発明は、注目対象推定システムならびにロボットおよびその制御プログラムに関し、特にたとえば、展示物が展示された展示会場内で、人の注目対象を推定する、注目対象推定システムならびにロボットおよびその制御プログラムに関する。

この発明の背景技術として、特許文献１には、顔画像からモデルを用いて顔方向や視線方向を計測することで、人物の注目位置を検出する方法が開示されている。特許文献２には、複数のカメラで異なる方向から同一被写体を撮影することで、被写体の正面または顔が向いている方向を検出できる装置が開示されている。非特許文献１には、視線情報から停留点を検出することで、ユーザが強い興味を示す注目点を検出する方法が開示されている。

特開２０１２−２２５３８号公報 特開２００５−２８６４１９号公報

西田謙太郎，吉高淳夫，平嶋宗，"停留点の時間的な発生頻度に着目した注目点検出法の検討"，情報処理学会研究報告，第１２１−１２６頁，２００７年２月９日

上記のような背景技術を利用して、たとえば展示会場で訪問者の注目対象、つまり訪問者が興味を持って見ている展示物の推定を行う場合、検出された顔方向，視線方向，体方向等から直接、注目対象を決定するアプローチとなる。

しかしながら、訪問者が展示物を見ながら説明員と対話している場合、背景技術を利用したのでは、展示物よりも説明員が注目対象に決定される可能性が高い。なぜなら、対話時、体方向は専ら説明員の方向を向いており、顔ないし視線の方向は、展示物と説明員との間を行き来するので、展示物よりも説明員に向かう方向の検出確率の方が高いからである。

また、訪問者は、展示物の周りをぐるぐる回りながら細部に見入る振る舞いをすることがあるが、この場合、体の向きが進行方向つまり展示物への方向と交差する向きを向いているために、展示物が注目対象として検出されない可能性がある。

それゆえに、この発明の主たる目的は、新規な、注目対象推定システムならびにロボットおよび制御プログラムを提供することである。

この発明の他の目的は、注目対象を精度よく推定できる、注目対象推定システムならびにロボットおよび制御プログラムを提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。

第１の発明は、展示物を展示した展示会場を訪問した人の注目度を推定する注目度推定システムであって、人の展示会場での振る舞いを分類して、その振る舞いごとに、人の注目対象と、これに対応する人の位置，頭向きおよび体向きの理想的な動きとを、人の振る舞いとして記述したインバースモデル、人の位置，頭向きおよび体向きを観測する観測手段、観測手段による観測値の推移とインバースモデルとの比較に基づいて注目対象を推定する注目対象推定手段を備える。

第１の発明では、注目対象推定システム（１００）は、インバースモデル（１５４），観測手段（１２ａ，１２ｂ，１４）および注目対象推定手段（Ｓ１１）を備える。インバースモデルには、人の展示会場での振る舞いを分類して、その振る舞いごとに、人の注目対象と、これに対応する人の位置（Ｐ（ｔ）），頭向き（θｈ（ｔ））および体向き（θｂ）の理想的な動きとが、人の振る舞いとして記述してある。観測手段は、人の位置，頭向きおよび体向きを観測している。注目対象推定手段は、観測手段による観測値の推移とインバースモデルとの比較に基づき注目対象（ＣＡ，ＴＡ，Ｄ）を推定する。

第１の発明によれば、観測値の推移から人の振る舞いを介して注目対象を推定するので、注目対象を精度よく推定できる。

第２の発明は、第１の発明に従属する注目対象推定システムであって、注目対象は、長期的な注目対象を示す第１変数（ＣＡ）、短期的な注目対象を示す第２変数（ＴＡ）、および目的地を示す第３変数（Ｄ）で記述され、理想的な動きは、観測手段で観測される人の位置の変化に基づく移動方向（θｖ（ｔ））および移動速度（ｖ）と、観測手段で観測される頭向き（θｈ）および体向き（θｂ）とで記述される。

第２の発明によれば、注目対象を３変数で記述することで、展示会場での人の振る舞いの分類が可能になる。

第３の発明は、第２の発明に従属する注目対象推定システムであって、振る舞いの分類は、目的地に向かって歩く第１の振る舞い、および注目している展示物に向かって歩く第２の振る舞いを含み、インバースモデルには、第１の振る舞いについて、第１変数に不存在（ＮＵＬＬ）が、第２変数に不存在が、第３変数に目的地が、移動方向として目的地への方向が、移動速度として歩行速度（ｖｐｒｅｆ）が、頭向きとして目的地に向かう向き（θＤ（ｔ））が、体向きとして目的地に向かう向きが、それぞれ記述され、第２の振る舞いについて、第１変数に展示物が、第２変数に不存在が、第３変数に展示物が、移動方向に展示物への方向が、移動速度に歩行速度よりも所定速度遅い速度（ｖｐｒｅｆ−ｖｅ）が、頭向きに展示物に向かう向き（θＤ（ｔ））が、体向きに展示物に向かう向き（θＤ（ｔ））が、それぞれ記述される。

第３の発明によれば、目的地に向かって歩く第１の振る舞いと、注目している展示物に向かって歩く第２の振る舞いとを、注目点を持つと落ちる移動速度に基づき互いに区別で
きる。

第４の発明は、第３の発明に従属する注目対象推定システムであって、振る舞いの分類は、目的地に向かって展示物をちら見しながら歩く第３の振る舞いをさらに含み、インバースモデルには、第３の振る舞いについて、第１変数に不存在が、第２変数に展示物が、第３変数に目的地が、移動方向に展示物への方向が、移動速度に歩行速度よりも所定速度遅い速度（ｖｐｒｅｆ−ｖｅ）が、頭向きに、目的地に向かう向きに対して展示物に引っ張られる向きを加えた向き（θＤ（ｔ）＋ｋｈ（θＴＡ（ｔ）−θＤ（ｔ）））が、体向きに、目的地に向かう向きに対して展示物に引っ張られる向きを加えた向き（θＤ（ｔ）＋ｋｂ（θＴＡ（ｔ）−θＤ（ｔ）））が、それぞれ記述される。

第４の発明によれば、上記第１，第２の振る舞いと、目的地に向かって展示物をちら見しながら歩く第３の振る舞いとを、ちら見により引っ張られる頭と体向きに基づき互いに区別できる。

第５の発明は、第５の発明に従属する注目対象推定システムであって、頭向きが引っ張られる程度（ｋｈ）は、体向きが引っ張られる程度（ｋｂ）よりも大きい。

第５の発明によれば、ちら見の有無をより確実に判別できる。

第６の発明は、第３ないし５のいずれかの発明に従属する注目対象推定システムであって、振る舞いの分類は、展示物を見て回る第４の振る舞いをさらに含み、インバースモデルには、第４の振る舞いについて、第１変数に展示物が、第２変数に不存在が、第３変数に不存在が、移動方向に展示物の周りを回る方向が、移動速度に閲覧状態の速度（ｖｌｏｏｋ）が、頭向きに展示物に向かう向き（θＣＡ（ｔ））が、体向きに展示物に向かう向き（θＣＡ（ｔ））が、それぞれ記述される。

ただし、上記第４の振る舞い（および下記第５の振る舞い）では、展示物の周りを単純に回る動作に限らず、適宜、逆回りしたり、展示物に近付いたり、減速ないし立ち止まったりしてもよい。

第６の発明によれば、上記第１〜第３の振る舞いと、展示物を見て回る第４の振る舞いとを、移動方向さらには移動速度の違いに基づき互いに区別できる。

第７の発明は、第６の発明に従属する注目対象推定システムであって、振る舞いの分類は、展示物を見て回りながら他の展示物もちら見する回る第５の振る舞いをさらに含み、インバースモデルには、第５の振る舞いについて、第１変数に展示物が、第２変数に別の展示物が、第３変数に不存在が、移動方向に展示物の周りを回る方向が、移動速度に閲覧状態の速度（ｖｌｏｏｋ）が、頭向きに別の展示物に向かう向き（θＴＡ（ｔ））が、体向きに展示物に向かう向き（θＣＡ（ｔ））が、それぞれ記述される。

第７の発明によれば、上記第４の振る舞いと、展示物を見て回りながら他の展示物もちら見する回る第５の振る舞いとを、頭向きの違いに基づき互いに区別できる。

第８の発明は、第１ないし７のいずれかの発明に従属する注目対象推定システムであって、人の展示会場での行動パターンを分類して、その行動パターンごとに、人が展示会場を訪問した目的と、これに対応する人の注目対象の遷移とを記述した訪問目的モデル、および、注目対象推定手段による推定結果の推移と訪問目的モデルとの比較に基づいて、人が展示会場を訪問した目的を推定する訪問目的推定手段をさらに備える。

第８の発明では、注目対象推定システムは、訪問目的モデル（１５６）および訪問目的推定手段（Ｓ１３）をさらに備える。訪問目的モデルには、人の展示会場での行動パターンの分類と、その行動パターンごとに、人が展示会場を訪問した目的と、これに対応する人の注目対象の遷移とが記述してある。訪問目的推定手段は、注目対象推定手段による推定結果の推移と訪問目的モデルとの比較に基づいて、人が展示会場を訪問した目的を推定する。

第８の発明によれば、注目対象推定手段による推定結果を利用して、大局的な訪問目的の推定が可能になる。

第９の発明は、展示物が展示された展示会場内で人とのインターラクションを行うロボットであって、人の展示会場での振る舞いを分類して、その振る舞いごとに、人の注目対象と、これに対応する人の位置，頭向きおよび体向きの理想的な動きとを記述したインバースモデル、および、人の展示会場での行動パターンを分類して、その行動パターンごとに、人が展示会場を訪問した目的と、これに対応する人の注目対象の遷移とを記述した訪問目的モデル、を記憶した記憶手段、人の位置，頭向きおよび体向きを観測する観測手段から観測値を取得する取得手段、観測値の推移とインバースモデルとの比較に基づいて人の注目対象を推定する注目対象推定手段、注目対象推定手段の推定結果の推移と訪問目的モデルとの比較に基づいて、人が展示会場を訪問した目的を推定する訪問目的推定手段、および、注目対象推定手段および訪問目的推定手段の少なくとも一方の推定結果に基づいて、人とのインターラクションを制御するインターラクション制御手段を備える。

第９の発明では、ロボット（１０）は、展示物が展示された展示会場内で人とのインターラクションを行うものであり、記憶手段（１５０）、取得手段（Ｓ３１）、注目対象推定手段（Ｓ１１）、訪問目的推定手段（Ｓ１３）、およびインターラクション制御手段（Ｓ１５）を備える。記憶手段（１５０）は、インバースモデル（１５４）および訪問目的モデル（１５６）を記憶する。インバースモデルには、人の展示会場での振る舞いを分類して、その振る舞いごとに、人の注目対象と、これに対応する人の位置，頭向きおよび体向きの理想的な動きとが記述してある。訪問目的モデルには、人の展示会場での行動パターンを分類して、その行動パターンごとに、人が展示会場を訪問した目的と、これに対応する人の注目対象の遷移とが記述してある。

外部の観測手段（１２ａ，１２ｂ，１４）が人の位置，頭向きおよび体向きを観測しており、取得手段は、この観測手段から観測値を取得する。注目対象推定手段は、観測値の推移とインバースモデルとの比較に基づいて人の注目対象を推定し、訪問目的推定手段は、注目対象推定手段の推定結果の推移と訪問目的モデルとの比較に基づいて、人が展示会場を訪問した目的を推定する。そして、インターラクション制御手段は、注目対象推定手段および訪問目的推定手段の少なくとも一方の推定結果に基づいて、人とのインターラクションを制御する。

第９の発明によれば、観測値の推移から人の振る舞いを介して注目対象を精度よく推定し、さらに、注目対象の遷移から大局的な訪問目的をも推定して、人の注目対象および／または訪問目的に応じたインターラクションをロボットに行わせることができる。

第１０の発明は、展示物が展示された展示会場内で人とのインターラクションを行うロボット（１０）の制御プログラム（１５２）であって、ロボット（１０）のコンピュータ（９０，９４）を、人の展示会場での振る舞いを分類して、その振る舞いごとに、人の注目対象と、これに対応する人の位置，頭向きおよび体向きの理想的な動きとを記述したインバースモデル（１５４）、および、人の展示会場での行動パターンを分類して、その行動パターンごとに、人が展示会場を訪問した目的と、これに対応する人の注目対象の遷移とを記述した訪問目的モデル（１５６）、を記憶した記憶手段（１５０）、人の位置，頭
向きおよび体向きを観測する観測手段（１２ａ，１２ｂ，１４）から観測値を取得する取得手段（Ｓ３１）、観測値の推移とインバースモデルとの比較に基づいて人の注目対象を推定する注目対象推定手段（Ｓ１１）、注目対象推定手段（Ｓ１１）の推定結果の推移と訪問目的モデルとの比較に基づいて、人が展示会場を訪問した目的を推定する訪問目的推定手段（Ｓ１３）、および、注目対象推定手段および訪問目的推定手段の少なくとも一方の推定結果に基づいて、人とのインターラクションを制御するインターラクション制御手段（Ｓ１５）として機能させる。

第１０の発明によっても、第９の発明と同様に、観測値の推移から人の振る舞いを介して注目対象を精度よく推定し、さらに、注目対象の遷移から大局的な訪問目的をも推定して、人の注目対象および／または訪問目的に応じたインターラクションをロボットに行わせることができる。

この発明によれば、注目対象を精度よく推定できる、注目対象推定システムならびにロボットおよび制御プログラムが実現される。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例であるロボット制御システムが適用された環境の一例（展示会場）を示す図解図である。 図１に示すロボット制御システムの構成の一例を示す図解図である。 図１に示す中央制御装置の電気的な構成の一例を示すブロック図である。 図１に示すロボットを正面から見た図解図である。 図１に示すロボットの電気的な構成の一例を示すブロック図である。 図１に示す展示会場の地図を示す図解図である。 図１の展示会場を訪れた訪問者の典型的な行動（振る舞い）を示す図解図であり、（Ａ）は訪問者が展示物を見ることなく展示会場を通り抜ける場合を、（Ｂ）は訪問者が１つ１つの展示物を見て回る場合を、（Ｃ）は訪問者が展示会場内をぶらぶらしている場合を、それぞれ示す。 図７のような行動を行う訪問者の注目対象を検出するためのインバースモデルを示す図解図である。 訪問者が出口に向かって歩く際の、観測値の時系列変化と、注目対象を示す図解図であり、（Ａ）は、展示室に入った直後の第１時点での状態を、（Ｂ）は第１展示物の前を通り過ぎる第２時点での状態を、それぞれ示している。 訪問者が注目している展示物（ここでは第２展示物Ｅ２）に向かって歩く際の、観測値の時系列変化と、注目対象を示す図解図である。 訪問者が目的地（ここでは出口）に向かって展示物（ここでは第１展示物Ｅ１）をちら見しながら歩く際の、観測値の時系列変化と、注目対象を示す図解図であり、（Ａ）は、展示室に入った直後の第１時点での状態を、（Ｂ）は第１展示物の前を通り過ぎる第２時点での状態を、それぞれ示している。 訪問者が展示物を見て回る（ただし、展示物の周りを単純に回る動作に限らず、適宜、逆回りしたり、展示物に近付いたり、減速ないし立ち止まったりしてもよい）際（ここでは第１展示物Ｅ１に注目している時点）の、観測値の時系列変化と、注目対象を示す図解図である。 訪問者が展示物（ここでは第１展示物Ｅ１）を見ながら他の展示物（ここでは第３展示物）もちら見する際（ただし、展示物を見て回る動作では、展示物の周りを単純に回る動作に限らず、適宜、逆回りしたり、展示物に近付いたり、減速ないし立ち止まったりしてもよい）の、観測値の時系列変化と、注目対象を示す図解図である。 訪問者が展示会場を訪れた大局的な訪問目的と、その行動パターンを記述する訪問目的モデルを示す図解図である。 図１に示すロボットのメモリマップを示す図解図である。 図１に示すロボットのプロセッサによる処理を示すフロー図である。 図１６の処理に含まれる注目対象推定処理の詳細を示すフロー図である。 図１６の処理に含まれる訪問目的推定処理の詳細を示すフロー図である。 図１６の処理に含まれるインターラクション制御処理の詳細を示すフロー図である。 図１８の訪問目的推定処理を概念的に示した図解図である。

図１を参照して、この実施例のロボット制御システム１００は、展示物Ｅ（ここでは第１〜第３展示物Ｅ１〜Ｅ３）が置かれた展示会場などの空間（環境）で利用される。展示会場の中では、人（ユーザ）およびロボット１０が任意に移動することができ、天井には複数の距離画像センサ１２（１２ａ，１２ｂ，…）が設けられている。

ロボット１０は、相互作用指向のロボット（コミュニケーションロボット）でもあり、人のようなコミュニケーション（インターラクションともいう）の対象との間で、身振り手振りのような身体動作および音声の少なくとも一方を含むコミュニケーション行動を実行する機能を備えている。また、ロボット１０はコミュニケーションの一環として、展示物Ｅについての説明（コンテンツ）をユーザに対して出力したり、展示会場を案内したりするサービスを行う。ロボット１０は、サービスを行う上で必要であれば、展示会場内を自律的に移動したり、中央制御装置１４が付与する行動命令に基づいて動作したりする。

また、実施例の空間は展示物Ｅが置かれた展示会場であるが、これに限らずショッピングモール、会社のフロア、博物館またはアトラクション会場などでも、ロボット制御システム１００は利用可能である。

なお、図１では簡単のため、ユーザは１人しか示していないが、展示会場にはさらに多くのユーザがいてもよい。同様にロボット１０も１台しか示していないが、ロボット制御システム１００は２台以上のロボット１０を同時に制御することができる。

図２を参照して、ロボット制御システム１００の中央制御装置１４は、一定時間（たとえば、１秒）毎に距離画像センサ１２ａ，１２ｂによって、任意に移動するユーザの位置を検出すると共に、ユーザの向き（頭の向きおよび体の向き）を検出する。また、中央制御装置１４は、ネットワーク１０００を介してロボット１０と無線通信を行い、必要であればロボット１０の行動を制御する。

図３は中央制御装置１４の電気的な構成を示すブロック図である。図３を参照して、中央制御装置１４は、距離画像センサ１２ａ，１２ｂ，プロセッサ１６，メモリ１８，通信ＬＡＮボード２０および無線通信装置２２を含む。プロセッサ１６は、マイクロコンピュータあるいはＣＰＵと呼ばれることもある。プロセッサ１６には、先述した距離画像センサ１２ａおよび距離画像センサ１２ｂに加えて、他の距離画像センサ１２が接続されてもよい。なお、距離画像センサ１２ａ，１２ｂ，…を区別する必要がない場合、単に「距離画像センサ１２」と言う。

距離画像センサ１２は、赤外光またはレーザーなどの光を照射し、対象物から反射した光（反射光）をＣＣＤセンサなどの光学センサによって捉える。距離画像センサ１２は、光が戻るまでの時間を画素ごとに計測することで、対象物までの実際の距離を測距する。実施例の距離画像センサ１２には、ＡＳＵＳ（登録商標）社製のＸｔｉｏｎと呼ばれる製品が採用されている。なお、他の実施例では、距離画像センサ１２は、Ｍｉｃｒｏｓｏｆｔ（登録商標）社製のＫｉｎｅｃｔ（登録商標）センサ、パナソニック社製（登録商標）製の３次元距離画像センサＤ−ＩＭａｇｅｒ（登録商標）などを使用することも可能である。この種のセンサは、３次元距離計測センサ、３Ｄスキャナなどと呼ばれる場合もある。

プロセッサ１６は、このような距離画像センサ１２を通じて対象の３次元情報を取得する。距離画像センサ１２からの３次元情報には、対象物の形状および対象物までの距離が含まれている。たとえば、ユーザが距離画像センサ１２によってセンシングされると、ユーザを上から見たときの頭部および両肩の形状と、頭部および両肩までの距離が３次元情報として得られる。

たとえば、空間には３５個の距離画像センサ１２が所定の位置（既知）に設置されており、コンピュータ１２は、各々から３次元情報を取得して、３次元空間（ワールド座標系）における位置（たとえば、重心など特徴点の位置座標（ｘ，ｙ，ｚ））およびユーザの向き（たとえば、頭部および両肩など特徴部位の向き）を計算することが出来る。

メモリ１８はＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、中央制御装置１４の動作を制御するための制御プログラムが予め記憶される。また、ＲＡＭは、プロセッサ１６のワークメモリやバッファメモリとして用いられる。

通信ＬＡＮボード２０は、たとえばＤＳＰで構成され、プロセッサ１６から与えられた送信データを無線通信装置２２に与え、無線通信装置２２は送信データを、ネットワーク１０００を介してロボット１０に送信する。たとえば、送信データは、ロボット１０の自立移動に必要なデータや、サービスを行うために必要なデータおよびロボット１０に指示する行動命令の信号（コマンド）などである。また、通信ＬＡＮボード２０は、無線通信装置２２を介してデータを受信し、受信したデータをプロセッサ１６に与える。

図４はこの実施例のロボット１０の外観を示す正面図である。図４を参照して、ロボット１０は台車４０を含み、台車４０の下面にはロボット１０を自律移動させる２つの車輪４２および１つの従輪４４が設けられる。２つの車輪４２は車輪モータ４６（図５参照）によってそれぞれ独立に駆動され、台車４０すなわちロボット１０を前後左右の任意方向に動かすことができる。また、従輪４４は車輪４２を補助する補助輪である。したがって、ロボット１０は、配置された空間内を自律制御によって移動可能である。

台車４０の上には、円柱形のセンサ取り付けパネル４８が設けられ、このセンサ取り付けパネル４８には、多数の赤外線距離センサ５０が取り付けられる。これらの赤外線距離センサ５０は、センサ取り付けパネル４８すなわちロボット１０の周囲の物体（人や障害物など）との距離を測定するものである。

なお、この実施例では、距離センサとして、赤外線距離センサを用いるようにしてあるが、赤外線距離センサに代えて、ＬＲＦや、超音波距離センサおよびミリ波レーダなどを用いることもできる。

センサ取り付けパネル４８の上には、胴体５２が直立するように設けられる。また、胴体５２の前方中央上部（人の胸に相当する位置）には、上述した赤外線距離センサ５０がさらに設けられ、ロボット１０の前方の主として人との距離を計測する。また、胴体５２には、その側面側上端部のほぼ中央から伸びる支柱５４が設けられ、支柱５４の上には、全方位カメラ５６が設けられる。全方位カメラ５６は、ロボット１０の周囲を撮影するものであり、後述する眼カメラ８０とは区別される。この全方位カメラ５６としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。なお、これら赤外線距離センサ５０および全方位カメラ５６の設置位置は、当該部位に限定されず適宜変更され得る。

胴体５２の両側上端部（人の肩に相当する位置）には、それぞれ、肩関節５８Ｒおよび肩関節５８Ｌによって、上腕６０Ｒおよび上腕６０Ｌが設けられる。図示は省略するが、肩関節５８Ｒおよび肩関節５８Ｌは、それぞれ、直交する３軸の自由度を有する。すなわち、肩関節５８Ｒは、直交する３軸のそれぞれの軸廻りにおいて上腕６０Ｒの角度を制御できる。肩関節５８Ｒの或る軸（ヨー軸）は、上腕６０Ｒの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。同様にして、肩関節５８Ｌは、直交する３軸のそれぞれの軸廻りにおいて上腕６０Ｌの角度を制御できる。肩関節５８Ｌの或る軸（ヨー軸）は、上腕６０Ｌの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。

また、上腕６０Ｒおよび上腕６０Ｌのそれぞれの先端には、肘関節６２Ｒおよび肘関節６２Ｌが設けられる。図示は省略するが、肘関節６２Ｒおよび肘関節６２Ｌは、それぞれ１軸の自由度を有し、この軸（ピッチ軸）の軸回りにおいて前腕６４Ｒおよび前腕６４Ｌの角度を制御できる。

前腕６４Ｒおよび前腕６４Ｌのそれぞれの先端には、手６６Ｒおよび手６６Ｌがそれぞれ設けられる。各手６６には、人と同じように親指、人差し指、中指、薬指および小指が設けられている。手６６の親指および人差し指の根本には指関節（図示せず）が設けられており、それぞれを独立して動かすことができる。また、中指、薬指および小指は一体成型され、親指および人差し指と同様、根元に指関節が設けられている。そして、中指、薬指および小指はまとめて動かすことが出来る。

また、手６６Ｒおよび手６６Ｌのそれぞれ根元には、手首が設けられる。図示は省略するが、左右の手首は、それぞれ１軸の自由度を有し、この軸（ヨー軸）の軸回りにおいて手６６Ｒおよび手６６Ｌの角度を制御できる。また、図示は省略するが手６６Ｒおよび手６６Ｌの親指、人差し指および残りの３本の指（中指、薬指および小指）の指関節は、それぞれ１自由度を有し、この軸の軸回りにおいて指の角度を制御できる。

従って、ロボット１０は、親指、中指、薬指および小指が折り曲げられた指さしの状態の手６６で任意の対象をポインティングしたり、手を開いた状態で上腕６０、前腕６４および手６６の全体を使って任意の対象をポインティングしたりすることが可能となる。そのため、上腕６０、前腕６４および手６６はポインティング手段と呼ばれることもある。

なお、他の実施例では、人と同じようにそれぞれの指が独立し、かつ人の指と同じ数の指関節を持つ手６６が採用されてもよい。この場合、ロボット１０は、ポインティングだけでなく、物を指で掴んだり、手話によるコミュニケーションを行ったりすることが可能となる。

また、図示は省略するが、台車４０の前面、肩関節５８Ｒと肩関節５８Ｌとを含む肩に相当する部位、上腕６０Ｒ、上腕６０Ｌ、前腕６４Ｒ、前腕６４Ｌ、手６６Ｒおよび手６６Ｌには、それぞれ、接触センサ６８（図５で包括的に示す）が設けられる。台車４０の前面の接触センサ６８は、台車４０への人や他の障害物の接触を検知する。したがって、ロボット１０は、自身の移動中に障害物との接触が有ると、それを検知し、直ちに車輪４２の駆動を停止してロボット１０の移動を急停止させることができる。また、その他の接触センサ６８は、当該各部位に触れたかどうかを検知する。なお、接触センサ６８の設置位置は、当該部位に限定されず、適宜な位置（人の胸、腹、脇、背中および腰に相当する位置）に設けられてもよい。

胴体５２の中央上部（人の首に相当する位置）には首関節７０が設けられ、さらにその上には頭部７２が設けられる。図示は省略するが、首関節７０は、３軸の自由度を有し、３軸の各軸廻りに角度制御可能である。或る軸（ヨー軸）はロボット１０の真上（鉛直上向き）に向かう軸であり、他の２軸（ピッチ軸、ロール軸）は、それぞれ、それと異なる方向で直交する軸である。

頭部７２には、人の口に相当する位置に、スピーカ７４が設けられる。スピーカ７４は、ロボット１０が、それの周辺の人に対して音声ないし音によってコミュニケーションを取るために用いられる。また、人の耳に相当する位置には、マイク７６Ｒおよびマイク７６Ｌが設けられる。以下、右のマイク７６Ｒと左のマイク７６Ｌとをまとめてマイク７６と言うことがある。マイク７６は、周囲の音、とりわけコミュニケーションを実行する対象である人の音声を取り込む。さらに、人の目に相当する位置には、眼球部７８Ｒおよび眼球部７８Ｌが設けられる。眼球部７８Ｒおよび眼球部７８Ｌは、それぞれ眼カメラ８０Ｒおよび眼カメラ８０Ｌを含む。以下、右の眼球部７８Ｒと左の眼球部７８Ｌとをまとめて眼球部７８と言うことがある。また、右の眼カメラ８０Ｒと左の眼カメラ８０Ｌとをまとめて眼カメラ８０と言うことがある。

眼カメラ８０は、ロボット１０に接近した人の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。また、眼カメラ８０は、上述した全方位カメラ５６と同様のカメラを用いることができる。たとえば、眼カメラ８０は、眼球部７８内に固定され、眼球部７８は、眼球支持部（図示せず）を介して頭部７２内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、２軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この２軸の一方は、頭部７２の上に向かう方向の軸（ヨー軸）であり、他方は、一方の軸に直交しかつ頭部７２の正面側（顔）が向く方向に直行する方向の軸（ピッチ軸）である。眼球支持部がこの２軸の各軸廻りに回転されることによって、眼球部７８ないし眼カメラ８０の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ７４、マイク７６および眼カメラ８０の設置位置は、当該部位に限定されず、適宜な位置に設けられてよい。

このように、この実施例のロボット１０は、車輪４２の独立２軸駆動、肩関節５８の３自由度（左右で６自由度）、肘関節６２の１自由度（左右で２自由度）、手首の１自由度（左右で２自由度）、指関節の１自由度（左右の各指で６自由度）、首関節７０の３自由度および眼球支持部の２自由度（左右で４自由度）の合計２５自由度を有する。

図５はロボット１０の電気的な構成を示すブロック図である。この図５を参照して、ロボット１０は、プロセッサ９０を含む。プロセッサ９０は、マイクロコンピュータ或いはプロセッサとも呼ばれ、バス９２を介して、メモリ９４、モータ制御ボード９６、センサ入力／出力ボード９８、音声入力／出力ボード１１０および通信ＬＡＮボード１３０に接続される。

メモリ９４はＲＯＭおよびＲＡＭを含む。ＲＯＭには、ロボット１０の動作を制御するための制御プログラムが予め記憶される。たとえば、各センサの出力（センサ情報）を検知するための検知プログラムや、外部コンピュータ（中央制御装置１４）との間で必要なデータやコマンドを送受信するための通信プログラムなどが記憶される。また、ＲＡＭは、プロセッサ９０のワークメモリやバッファメモリとして用いられる。

モータ制御ボード９６は、たとえばＤＳＰで構成され、各腕や首関節および眼球部などの各軸モータの駆動を制御する。すなわち、モータ制御ボード９６は、プロセッサ９０からの制御データを受け、右眼球部７８Ｒの２軸のそれぞれの角度を制御する２つのモータ（図５では、まとめて「右眼球モータ１１２」と示す）の回転角度を制御する。同様に、モータ制御ボード９６は、プロセッサ９０からの制御データを受け、左眼球部７８Ｌの２軸のそれぞれの角度を制御する２つのモータ（図５では、まとめて「左眼球モータ１１４」と示す）の回転角度を制御する。

また、モータ制御ボード９６は、プロセッサ９０からの制御データを受け、肩関節５８Ｒの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節６２Ｒの角度を制御する１つのモータとの計４つのモータ（図５では、まとめて「右腕モータ１１６」と示す）の回転角度を制御する。同様に、モータ制御ボード９６は、プロセッサ９０からの制御データを受け、肩関節５８Ｌの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節６２Ｌの角度を制御する１つのモータとの計４つのモータ（図５では、まとめて「左腕モータ１１８」と示す）の回転角度を制御する。

また、モータ制御ボード９６は、プロセッサ９０からの制御データを受け、右の手首の１軸の角度を制御する１つのモータと右手６６Ｒの３つの指関節のそれぞれの角度を制御する３つのモータとの４つのモータ（図５では、まとめて「右手モータ１２０」と示す）の回転角度を制御する。同様に、モータ制御ボード９６は、プロセッサ９０からの制御データを受け、左手の手首の１軸の角度を制御する１つのモータと左手６６Ｌの３つの指関節のそれぞれの角度を制御する３つのモータとの４つのモータ（図５では、まとめて「左手モータ１２２」と示す）の回転角度を制御する。

ここで、指関節の角度は、モータの回転がそのまま反映されるわけではなく、モータの回転によって動作する流体圧シリンダによって制御される。具体的には、流体圧シリンダには、動作流体を移動させるピストンが移動自在に収容されており、このピストンの位置がモータの回転によって変化する。そして、流体圧シリンダの動きに応じて指関節の角度が変化する。なお、流体圧シリンダを用いたロボットの手については、たとえば特開２０１３−９６５１４号公報に詳しく説明されているので、ここでは、その公開公報を参照することによって、詳細な説明を省略する。

さらに、モータ制御ボード９６は、プロセッサ９０からの制御データを受け、首関節７０の直交する３軸のそれぞれの角度を制御する３つのモータ（図５では、まとめて「頭部モータ１２４」と示す）の回転角度を制御する。

そして、モータ制御ボード９６は、プロセッサ９０からの制御データを受け、車輪４２を駆動する２つのモータ（図５では、まとめて「車輪モータ４６」と示す）の回転角度を制御する。なお、この実施例では、車輪モータ４６を除くモータは、制御を簡素化するためにステッピングモータ（すなわち、パルスモータ）を用いる。ただし、車輪モータ４６と同様に直流モータを用いるようにしてもよい。また、ロボット１０の身体部位を駆動するアクチュエータは、電流を動力源とするモータに限らず適宜変更されてもよい。たとえば、他の実施例では、エアアクチュエータなどが適用されてもよい。

センサ入力／出力ボード９８は、モータ制御ボード９６と同様に、ＤＳＰで構成され、各センサからの信号を取り込んでプロセッサ９０に与える。すなわち、赤外線距離センサ５０のそれぞれからの反射時間に関するデータがこのセンサ入力／出力ボード９８を通じてプロセッサ９０に入力される。また、全方位カメラ５６からの映像信号が、必要に応じてセンサ入力／出力ボード９８で所定の処理を施してからプロセッサ９０に入力される。眼カメラ８０からの映像信号も、同様に、プロセッサ９０に入力される。また、上述した複数の接触センサ６８（図５では、まとめて「接触センサ６８」と示す）からの信号がセンサ入力／出力ボード９８を介してプロセッサ９０に与えられる。

音声入力／出力ボード１１０もまた、同様に、ＤＳＰで構成され、プロセッサ９０から与えられる音声合成データに従った音声または声がスピーカ７４から出力される。また、マイク７６からの音声入力が、音声入力／出力ボード１１０を介してプロセッサ９０に与えられる。

通信ＬＡＮボード１３０は、たとえばＤＳＰで構成され、プロセッサ９０から与えられた送信データを無線通信装置１３２に与え、無線通信装置１３２は送信データを、ネットワーク１０００を介して外部コンピュータ（中央制御装置１４）に送信する。また、通信ＬＡＮボード１３０は、無線通信装置１３２を介してデータを受信し、受信したデータをプロセッサ９０に与える。たとえば、送信データとしては、全方位カメラ５６および目カメラ８０によって撮影された周囲の映像データなどである。

図６には、図１の展示会場に対応する地図が示される。図６を参照して、この展示会場には、入口付近に第１展示物Ｅ１が、出口付近には第２展示物Ｅ２および第３展示物Ｅ３が、それぞれ配置されている。地図上では、展示会場の一隅を原点Ｏとして、互いに直交する壁面沿いにＸ軸およびＹ軸が定義されており、各展示物Ｅ１〜Ｅ３等の位置は、Ｘ−Ｙ座標系で記述される。

訪問者の移動速度はｖ、移動方向はθｖ（ｔ）、頭の向きはθｈ、体の向きはθｂのように表現される。なお、移動速度ｖと移動方向θｖ（ｔ）は、訪問者の現在位置Ｐ（ｔ）（適宜“位置Ｐ（ｔ）”または単に“位置Ｐ”のように略記）の変化に基づき計算される。各種の方向θは、たとえば、Ｘ軸またはＹ軸もしくは適宜な基準線に対する角度であってもよいし、位置Ｐ（ｔ）を始点とする単位ベクトルであってもよい。

図７には、展示会場を訪れた人（訪問者）の典型的な行動（振る舞い）が示される。図７（Ａ）の訪問者は、展示物を見ることなく、足早に展示会場を通り抜けている。図７（Ｂ）の訪問者は、１つ１つの展示物をじっくり見て回っている。図７（Ｃ）の訪問者は、見るべき展示物が定まらず、展示会場内をぶらぶらしている。

言い換えると、訪問者が図７（Ａ）のような振る舞いを示す場合、訪問の目的は展示物を見ることではない（別の目的があって展示室を通過している：“出口に向かうこと”が目的とも言える）と推定される。訪問者が図７（Ｂ）のような振る舞いを示す場合、訪問の目的は展示物を見て回ることであると推定される。訪問者が図７（Ｃ）のような振る舞いを示す場合、訪問の目的は興味を引く展示物を見つけること（何を見るべきか迷っている状態）であると推定される。

なお、訪問者が特定の展示物に直行するような振る舞いを示す場合、訪問の目的はその展示物を見ることであると推定される。また、訪問者が展示物をちら見しながら展示会場を通り抜けるような振る舞いを示す場合、訪問の目的は展示物を見ることではないが、展示物に興味はあると推定される。さらに、訪問者が展示物を見ながら別の展示物（あるいはロボット）をちら見するような振る舞いを示す場合、訪問の目的は展示物を見ることであるが、ちら見の対象にも興味があると推定される。

この実施例では、まず、訪問者の振る舞いを上記のように分類して、その振る舞いごとに、注目対象と、これに対応する観測値の理想的な動きとを記述したモデルを“インバースモデル”として定義する。

図８には、インバースモデルの一例が示される。この例では、“目的地に向かって歩く”，“注目している展示物に向かって歩く”，“目的地に向かって（展示物を）ちら見しながら歩く”，“展示物を見て回る”および“展示物を見ながら別の展示物もちら見する”という５種類の振る舞い毎に、注目対象として“長期的な注目対象ＣＡ”，“短期的な注目対象ＴＡ”および“目的地Ｄ”と、これに対応する観測値として“移動方向θｖ（ｔ）”，“移動速度ｖ”，“顔の向きθｈ”および“体の向きθｂ”とが記述されている。

“目的地に向かって歩く”場合、注目対象は“ＣＡ＝ＮＵＬＬ（存在せず），ＴＡ＝ＮＵＬＬ，Ｄ＝目的地（たとえば出口）”であり、これに対応する観測値は、移動方向θｖ（ｔ）が目的地への方向（言い換えると、位置Ｐ（ｔ）が目的地Ｄつまり出口に向かう直線Ｌに沿って移動している状態：図７（Ａ）参照）、移動速度が平均的な歩行速度（ｖ＝ｖｐｒｅｆ）、そして頭の向きおよび体の向きが共に目的地Ｄつまり出口に向かう向き（θｈ＝θｂ＝θＤ（ｔ））となる。

“注目している展示物に向かって歩く”場合、注目対象は“ＣＡ＝展示物（たとえば第２展示物Ｅ２），ＴＡ＝ＮＵＬＬ，Ｄ＝展示物（たとえば第２展示物Ｅ２）”であり、これに対応する観測値は、移動方向θｖ（ｔ）が目的地Ｄつまり展示物（たとえば第２展示物Ｅ２）への方向、移動速度が“注目点を持つと落ちる速度”つまり平均的な歩行速度から一定程度減速した速度（ｖ＝ｖｐｒｅｆ−ｖｅ）、そして頭の向きおよび体の向きが共に目的地Ｄつまり展示物（たとえば第２展示物Ｅ２）に向かう向き（θｈ＝θｂ＝θＤ（ｔ））となる（図１０参照：後述）。

“目的地に向かって（展示物を）ちら見しながら歩く”場合、注目対象はＣＡ＝ＮＵＬＬ，ＴＡ＝展示物（たとえば第１展示物Ｅ１），Ｄ＝目的地（たとえば出口）であり、これに対応する観測値は、移動方向θｖ（ｔ）が目的地Ｄつまり出口への方向、移動速度が“注目点を持つことで落ちる速度”（ｖ＝ｖｐｒｅｆ−ｖｅ）、頭の向きが“展示物に引っ張られる向き”つまり目的地Ｄ（出口）に向かう向きから展示物の方向に一定程度逸れた向き（θＤ（ｔ）＋ｋｈ（θＴＡ（ｔ）−θＤ（ｔ））：これを“ちら見の頭向きモデル”と呼ぶ）、そして体の向きも“展示物に引っ張られる向き”つまり目的地Ｄ（出口）に向かう向きから展示物の方向に一定程度逸れた向き（θＤ（ｔ）＋ｋｂ（θＴＡ（ｔ）−θＤ（ｔ））：これを“ちら見の体向きモデル”と呼ぶ）となる。

なお、ちら見の頭向きモデルおよびちら見の体向きモデルにおいて、展示物に引っ張られる程度を示す係数ｋｈおよびｋｂは、一般にｋｈ＞ｋｂである。つまり、体よりも頭の向きの方が、移動に伴い展示物側に大きく逸れる（図１１（Ａ），図１１（Ｂ）参照：後述）。

“展示物を見て回る”場合（ただし、展示物の周りを単純に回る動作に限らず、適宜、逆回りしたり、展示物に近付いたり、減速ないし立ち止まったりしてもよい）、注目対象はＣＡ＝展示物（たとえば第１展示物Ｅ１），ＴＡ＝ＮＵＬＬ，Ｄ＝ＮＵＬＬであり、これに対応する観測値は、移動方向θｖ（ｔ）が展示物（たとえば第１展示物Ｅ１）の周りを回る方向（言い換えると、位置Ｐ（ｔ）が展示物を中心とする円弧Ｃに沿って移動している状態：図７（Ｂ）参照）、移動速度が閲覧状態の速度（ｖ＝ｖｌｏｏｋ：立ち止まっているか、ゆっくり移動している状態）、頭の向きおよび体の向きが共に注目対象ＣＡ（たとえば第１展示物Ｅ１）に向かう向き（θｈ＝θｂ＝θＣＡ（ｔ））となる。

“展示物を見ながら別の展示物もちら見する”場合（ただし、展示物を見て回る動作では、展示物の周りを単純に回る動作に限らず、適宜、逆回りしたり、展示物に近付いたり、減速ないし立ち止まったりしてもよい）、注目対象はＣＡ＝展示物（たとえば第１展示物Ｅ１），ＴＡ＝別の展示物（たとえば第３展示物Ｅ３），Ｄ＝ＮＵＬＬであり、これに対応する観測値は、移動方向θｖ（ｔ）が展示物（たとえば第１展示物Ｅ１）の周りを回る方向（言い換えると、位置Ｐ（ｔ）が展示物を中心とする円弧Ｃに沿って移動している状態：図７（Ｂ）参照）、移動速度が閲覧状態の速度（ｖ＝ｖｌｏｏｋ）、頭の向きが注目対象ＴＡ（たとえば第３展示物Ｅ３）に向かう向き（θｂ＝θＴＡ（ｔ））、そして体の向きが注目対象ＣＡ（たとえば第１展示物Ｅ１）に向かう向き（θｈ＝θＣＡ（ｔ））となる。

そして、このようなインバースモデルに基づき、観測値（位置Ｐ（ｔ），頭向きθｈ，体向きθｂ（ｔ））の時系列変化と最もよく一致する、振る舞いおよび注目対象（ＣＡ，ＴＡ，Ｄ）を求めることで、注目対象を推定することができる。

図９には、図７（Ａ）に示したように訪問者が出口に向かって歩く際の、観測値の時系列変化と、注目対象が示される。図９（Ａ）は、展示室に入った直後の第１時点での状態を、図９（Ｂ）は第１展示物Ｅ１の前を通り過ぎる第２時点での状態を、それぞれ示している。図９（Ａ）および図９（Ｂ）を比較すればわかるように、第１時点および第２時点のいずれでも、観測値は“移動方向＝出口への方向，ｖ＝ｖｐｒｅｆ，θｈ＝θｂ＝θＤ（ｔ）”である。つまり、観測値の時系列変化は、“移動方向＝出口への方向，ｖ＝ｖｐｒｅｆ，θｈ＝θｂ＝θＤ（ｔ）”のまま一定である。

そして、インバースモデルとの比較から、この時系列変化に最もよく一致する振る舞いおよび注目対象は“目的地に向かって歩く”および“ＣＡ＝ＮＵＬＬ，ＴＡ＝ＮＵＬＬ，Ｄ＝出口”なので、注目対象は、長期的なものも短期的なものも存在せず、訪問者は出口に向かって単に歩いている状態と推定される。

図１０には、訪問者が注目している展示物（ここでは第２展示物Ｅ２）に向かって歩く際の、観測値の時系列変化と、注目対象が示される。観測値の時系列変化は、“移動方向＝第２展示物Ｅ２への方向，ｖ＝ｖｐｒｅｆ−ｖｅ，θｈ＝θｂ＝θＤ（ｔ）”のまま一定である。インバースモデルとの比較から、この時系列変化に最もよく一致する振る舞いおよび注目対象は“目的地に向かって歩く”および“ＣＡ＝第２展示物Ｅ２，ＴＡ＝ＮＵＬＬ，Ｄ＝第２展示物Ｅ２”なので、注目対象は、長期的なものが第２展示物Ｅ２で、短期的なものは存在せず、訪問者は注目している第２展示物Ｅ２に向かって歩いている状態と推定される。

図１１には、訪問者が目的地（ここでは出口）に向かって展示物（ここでは第１展示物Ｅ１）をちら見しながら歩く際の、観測値の時系列変化と、注目対象が示される。図１１（Ａ）は、展示室に入った直後の第１時点での状態を、図１１（Ｂ）は第１展示物Ｅ１の前を通り過ぎる第２時点での状態を、それぞれ示している。図１１（Ａ）および図１１（Ｂ）を比較すればわかるように、観測値のうち移動方向θｖ（ｔ）および移動速度ｖは、第１時点および第２時点で同じ値（θｖ（ｔ）＝出口への方向，ｖ＝ｖｐｒｅｆ−ｖｅ）であるが、頭の向きθｈおよび体の向きθｂは、位置Ｐ（ｔ）の移動に伴って第１展示物Ｅ１に引っ張られるように回転していることから、θｈ＝ちら見の頭モデル，θｂ＝ちら見の体モデルとなる。

そして、インバースモデルとの比較から、この時系列変化に最もよく一致する振る舞いおよび注目対象は“目的地に向かってちら見しながら歩く”および“ＣＡ＝ＮＵＬＬ，ＴＡ＝第１展示物Ｅ１，Ｄ＝出口”なので、長期的な注目対象は存在しないが、短期的な注目対象が第１展示物Ｅ１であり、訪問者は出口に向かって第１展示物Ｅ１をちら見しながら歩いている状態と推定される。

なお、図９〜図１１から明らかなように、展示物に注目しながら歩いている状態は、“注目点を持つと落ちる速度”によって、単に目的地に向かって歩いている状態から区別される。また、展示物をちら見しながら歩いている状態は、“展示物に引っ張られる頭および体の向き”によって、単に目的地に向かって歩いている状態から区別される。

図１２には、図７（Ｂ）に示したように訪問者が展示物を見て回る際（ここでは第１展示物Ｅ１に注目している時点）の、観測値の時系列変化と、注目対象が示される。観測値の時系列変化は、“移動方向＝展示物の周りを回る方向，ｖ＝ｖｌｏｏｋ，θｈ＝θｂ＝θＣＡ”のまま一定である。インバースモデルとの比較から、この時系列変化に最もよく一致する振る舞いおよび注目対象は“展示物を見て回る”および“ＣＡ＝第１展示物Ｅ１，ＴＡ＝ＮＵＬＬ，Ｄ＝ＮＵＬＬ”なので、注目対象は、長期的なものが第１展示物Ｅ１で、短期的なものは存在せず、訪問者は展示物を見まわっている状態と推定される。

図１３には、訪問者が展示物（ここでは第１展示物Ｅ１）を見ながら他の展示物（ここでは第３展示物Ｅ３）もちら見する際の、観測値の時系列変化と、注目対象が示される。観測値のうち移動方向θｖ（ｔ），移動速度ｖおよび体の方向θｂは、“移動方向＝展示物の周りを回る方向，ｖ＝ｖｌｏｏｋ，θｂ＝θＣＡ（ｔ）”のまま一定であるが、頭の方向θｈは“θｈ＝θＣＡ（ｔ）”と“θｈ＝θＴＡ（ｔ）”の間で変化する。インバースモデルとの比較から、この時系列変化に最もよく一致する振る舞いおよび注目対象は“展示物を見ながら他の展示物もちら見する”および“ＣＡ＝第１展示物Ｅ１，ＴＡ＝第３展示物Ｅ３，Ｄ＝ＮＵＬＬ”なので、長期的な注目対象（第１展示物Ｅ１）と、短期的な注目対象（第３展示物Ｅ３）とがあり、訪問者は第１展示物Ｅ１を見ながら第３展示物Ｅ３もちら見している状態と推定される。

図１４には、訪問者が展示会場を訪れた大局的な訪問目的（以下“訪問目的”ないし“Ｇｌｏｂａｌ Ｐｕｒｐｏｓｅ”と呼ぶ）と、その行動パターンを記述するモデルが示される。この例では、訪問目的は、ｐａｓｓｉｎｇ−ｂｙ（通り抜ける），Ｅｘｈａｕｓｔｉｖｅ−ｖｉｓｉｔ（見て回る），ｗａｎｄｅｒｉｎｇ（ぶらぶらする）の３つに分類される。

ｐａｓｓｉｎｇ−ｂｙは、展示物に興味を示さず展示会場を素通りするような行動パターンであり、出口に向かうケースが尤もらしく、出口への方向から外れれば外れるほど尤度が低くなるようなモデルで表現される。

Ｅｘｈａｕｓｔｉｖｅ−ｖｉｓｉｔは、展示物に興味を持ち、１つ１つ見て回るるような行動パターンであり、未訪問の展示物に興味を示す可能性が高く、既訪問の展示物からは興味が移り易くなるようなモデルで表現される。

ｗａｎｄｅｒｉｎｇは、特に興味を持つ展示物はなく、興味を引くものを探すような行動パターンであり、注目対象（ＣＡ，ＴＡ）の移り変わり（入れ替わり）
が多い軌跡ほど尤もらしいようなモデルで表現される。

ロボット１０は、観測値（Ｐ（ｔ），θｂ，θｈ）の時系列変化に尤もよく一致する振る舞いおよび注目対象を図８に示したインバースモデルから推定し、さらには、その推定結果の時時系列変化に最もよく一致する訪問目的を図１４に示した訪問目的モデルから推定する。

そして、ロボット１０は、訪問者との間で、上記のようにして推定した注目対象および／または訪問目的に応じたインターラクション（説明，対話，挨拶，ジェスチャなど）を行う。たとえば、訪問者が展示物を見ていれば、その展示物について説明や対話を行い、場内をぶらぶら歩きまわっていれば、展示の概要やお勧めの展示物の説明を行い、ロボット１０自身をちら見していれば、視線を返したり挨拶を行う、といったインターラクションを行う。

図１５には、展示会場で活動するロボット１０のメモリ８４のマップが、図１６〜図１９には、ロボット１０のプロセッサ９０によって実行されるロボット制御処理のフローが、それぞれ示される。

図１５を参照して、メモリ９４は、非遷移領域１５０および遷移領域１７０を含み、非遷移領域１５０には、ロボット制御プログラム１５２と、インバースモデル情報１５４，訪問目的モデル情報１５６および地図情報１５８とが記憶される。ロボット制御プログラム１５２は、注目対象推定プログラム１５２ａ，訪問目的推定プログラム１５２ｂおよびインターラクション制御プログラム１５２ｃを含む。遷移領域１７０には、距離画像情報１７２，観測値情報１７４，振る舞い＆注目対象情報１７６および訪問目的情報１７８が記憶される。

ロボット制御プログラム１５２は、プロセッサ９０を介して各種ハードウェア（４０〜１３２：図４〜図５参照）を制御することで、展示会場（図１参照）内でロボット１０に上述したような処理動作を行わせるためのプログラムであり、図１６のフローに対応する。注目対象推定プログラム１５２ａは、観測値情報１７４，インバースモデル情報１５４および地図情報１５８に基づき訪問者の振る舞いを介して注目対象を推定するためのプログラムであり、図１７のフローに対応する。

訪問目的推定プログラム１５２ｂは、振る舞い＆注目対象情報１７６に基づき訪問者が展示会場を訪問した目的を推定するためのプログラムであり、図１８のフローに対応する。インターラクション制御プログラム１５２ｃは、振る舞い＆注目対象情報１７６および訪問目的情報１７８に基づき訪問者とのインターラクションを制御するためのプログラムであり、図１９のフローに対応する。

インバースモデル情報１５４は、図８に示したようなインバースモデルを示す情報であり、ロボット制御プログラム１５２（注目対象推定プログラム１５２ａ）によって定義される。ただし、インバースモデルの詳細なパラメータは、中央制御装置１４によって事前に作成され、ロボット１０が展示会場で活動するとき中央制御装置１４から取得されてよい。

訪問目的モデル情報１５６は、図１４に示したような訪問目的モデルを示す情報であり、ロボット制御プログラム１５２（訪問目的推定プログラム１５２ｂ）によって定義される。ただし、訪問目的モデルの詳細なパラメータは、中央制御装置１４によって事前に作成され、ロボット１０が展示会場で活動するとき中央制御装置１４から取得されてよい。

地図情報１５８は、図６に示した展示会場の地図に対応する情報であり、第１〜第３展示物Ｅ１〜Ｅ３および出入口の位置情報などを含む。

距離画像情報１７２は、距離画像センサ１２ａ，１２ｂ，…でリアルタイムに得られる３次元の距離画像を示す情報であり、中央制御装置１４によって所定周期たとえば１秒周期で書き込まれる（更新される）。

観測値情報１７４は、距離画像情報１７２から計算される観測値、具体的には、時刻ｔにおける訪問者の位置Ｐ（ｔ），体の方向θｂ（ｔ）および頭の方向θｈ（ｔ）等を示す情報であり、中央制御装置１４によって所定周期たとえば１秒周期で書き込まれる（更新される）。位置Ｐ（ｔ）からは、必要に応じて移動方向θｖ（ｔ）および移動速度ｖも計算される。

なお、観測値情報１７４の計算は、この実施例では中央制御装置１４のプロセッサ１４が行っているが、他の実施例では、ロボット１０のプロセッサ９０が行ってもよいし、両者で分担しても構わない。

振る舞い＆注目対象情報１７６は、訪問者の振る舞い（目的地に向かって歩く，展示物を見て回る等）および注目対象（長期的な注目対象ＣＡ，短期的な注目対象ＴＡ，目的地Ｄ）を示す情報であり、注目対象推定プログラム１５２ａによって観測値情報１７４およびインバースモデル情報１５４に基づき推定される。

訪問目的情報１７８は、訪問者が展示会場を訪問した目的を示す情報であり、訪問目的推定プログラム１５２ｂによって振る舞い＆注目対象情報１７６から推定される。訪問目的情報１７８には、ｅｘｈａｕｓｉｖｅ−ｖｉｓｉｔ，ｐａｓｓｉｎｇ−ｂｙ，ｗａｎｄｅｒｉｎｇの確率と、それに基づく尤もらしい訪問目的（ｇｒｏｂａｌ ｐｕｒｐｏｓｅ）が記述される。

図６〜図１２で説明したような注目対象推定処理，訪問目的推定処理およびインターラクション制御処理は、プロセッサ９０が、図１５に示された各種のプログラムおよび情報（１５２〜１５８）に基づき、図１６〜図１９のフローに従う処理を実行することにより実現される。

図１６を参照して、ロボット１０が展示会場で活動を開始するにあたり、ＣＰＵ９０は、最初、ステップＳ１で、地図情報１５８から第１〜第３展示物Ｅ１〜Ｅ３および出入口に関する情報を、長期的な注目対象ＣＡ，短期的な注目対象ＴＡ，目的地Ｄ（以下単にＣＡ，ＴＡ，Ｄのように略記）の候補として取得する。

次に、ステップＳ３で、訪問者の状態群Ｈの遷移を記述するインバースモデルを定義する。

具体的には、まず、時刻ｔにおける訪問者の状態Ｈ（ｔ）が、２次元位置をＰ（ｔ），体方向をθｂ（ｔ），頭方向をθｈ（ｔ）として、次式（数１）で定義される。

これを仮説として、訪問者の振る舞いは、次式（数２）で記述することができる。

ここで、inverse_modelは、要するに、現在の時刻での（ＣＡ，ＴＡ，Ｄ）が決まると、１タイムステップ後の時刻における理想的な（Ｐ，θｂ，θｈ）が計算できる、という状態遷移を表している。

この場合、時刻ｔでの注目対象は、次式（数３）により推定される。

すなわち、可能なＣＡｉ（ｔ），ＴＡｉ（ｔ），Ｄｉ（ｔ）のセットのうち、観測値と推定値との誤差が最小のものが、注目対象（ＣＡ（ｔ），ＴＡ（ｔ），Ｄ（ｔ））として出力されて、振る舞い＆注目対象情報１７６に記述されることになる。

また、このインバースモデルは、前述した５種類の振る舞いに関し以下のモデル（数４〜数１１）を含む。

次式（数４）は、移動速度（方向のみ）のモデルであり、もし目的地があればその目的地への方向に向かい（上段）、そうでなければ、長期的な注目対象への方向に向かう（下段）ことを示す。

次式（数５）は、位置の時系列変化を表すモデルであり、次のタイムステップでの位置は、速度分だけ移動したものとして計算できることを示す。

次式（数６）は、頭の向きを示すモデルであり、もし短期的な注目対象がなければ、頭の向きは進行方向を向いたままであり（上段）、そうでなければ注目対象に向かう方向に引っ張られる（下段）ことを示す（図１１参照）。

次式（数７）は、体の向きを示すモデルであり、もし短期的な注目対象がなければ、体の向きは進行方向を向いたままであり（上段）、そうでなければ注目対象に向かう方向に引っ張られる（下段）ことを示す（図１１参照）。

なお、上の２式（数６，数７）の下段に含まれる係数（注目対象に引っ張られる程度を示す比例定数）ｋｈ，ｋｂは、先に図１１で説明したようにｋｈ＞ｋｂである。

次式（数８）は、注目対象の有無による移動速度の大きさ（絶対値）の変化を示すモデルであり、注目対象がなければ、移動速度は通常の歩行速度のまま位置され（上段）、そうでなければ一定程度減速する（下段）ことを示す。

次式（数９）は、注目対象の周りをぐるぐる回る動きを示すモデルであり、ぐるぐる回る動きを表しているときに、ある程度対象に近づいたら確実にぐるぐる回る動きに入り（上段）、そうでなければぐるぐる回る動きから抜ける（下段）ことを示す。

次式（数１０）は、上式（数９）における、どの程度対象に近付いたらぐるぐる回る動きに入るかの判定基準を示す。判定基準は、所定距離ｄｌｏｏｋと、１タイムステップ前の位置および現在の注目対象の間の距離と、のうち小さい方となる。

次式（数１１）は、次のタイムステップに移ったときに注目対象がどれくらいの確率で変化するかに関するモデル（確率の変化式）を示す。

上式（数１１）では、前と同じ状態が続く（ＣＡ，ＴＡ，Ｄのいずれも変化しない）確率が“１−ｐｔｒａｎｓｉｔｉｏｎ”で、状態が変わる（ＣＡ，ＴＡ，Ｄの少なくとも１つが変化する）確率がｐｔｒａｎｓｉｔｉｏｎで、それぞれ表現される。

ｐｔｒａｎｓｉｔｉｏｎの分岐は、あまり短い間は０（上段）、じっくり見ている間はｐｌｏｏｋ（中段）、それ以外はｐｗａｌｋ（下段）となる。つまり、じっくり見ている（目的地がない）ときと、（目的地に向かって）歩いているときとで、状態が変化する確率に違いが出る。一般には、じっくり見ているときよりも歩いているときの方が目移りし易いことから、ｐｌｏｏｋ＜ｐｗａｌｋとなる。

インバースモデルの定義が完了すると、プロセッサ９０は、次に、ステップＳ５で、インバースモデルにパーティクルフィルタを適用して、状態群Ｈ内の各状態Ｓｔｉ（ＣＡ，ＴＡ，Ｄ）を初期化する。

具体的には、まず、状態Ｓ（ｔ）の内訳は、パーティクルｘｉ（ｔ）および重みｗｉ（ｔ）を用いて、次式（数１２）で記述される。

ステップＳ５では、訪問者の状態群Ｈ内の各状態Ｓｔｉ（ＣＡ，ＴＡ，Ｄ）、つまり上式（数１２）の（ＣＡｉ（ｓ），ＴＡｉ（ｓ），Ｄｉ（ｓ））が初期化される。

次に、ステップＳ６に進んで、図７に示したような訪問目的モデルを定義して、非遷移領域１５０に訪問目的モデル情報１５６として記憶する。そして、ステップＳ７で、訪問目的情報１７６に含まれるｅｘｈａｕｓｉｖｅ−ｖｉｓｉｔ，ｐａｓｓｉｎｇ−ｂｙ，ｗａｎｄｅｒｉｎｇの確率を初期化する。

その後、ステップＳ９に進んで、この処理を終了するか否かの判断を行い、ＹＥＳであれば処理を終了する。ステップＳ９でＮＯであれば、ステップＳ１１に進む。

ステップＳ１１では、インバースモデルによる注目対象の推定を行う。なお、この注目対象推定処理の詳細については、後に図１７を用いて詳しく説明する。次のステップＳ１３では、推定した注目対象の遷移に基づいて、訪問者が展示会場を訪れた目的を推定する。なお、この訪問目的推定処理の詳細については、後に図１８を用いて詳しく説明する。そして、ステップＳ１５で、推定した注目対象および／または訪問目的に基づいて、訪問者とのインターラクションを行う。なお、このインターラクション制御処理の詳細については、後に図１９を用いて詳しく説明する。その後、ステップＳ９に戻って、たとえば１秒周期で上記と同様の処理を繰り返す。

図１７を参照して、注目対象推定処理では、まず、ステップＳ３１で、遷移領域１７０の観測値情報１７４から、人位置Ｐ（ｔ），体方向θｂ（ｔ），頭方向θｈ（ｔ）を取得する。これらの観測値は、上式（数１）にセットされる。

次に、ステップＳ３３で、状態群Ｈ内の各状態Ｓｔｉについて、インバースモデルとＰ（ｔ），θｂ（ｔ），θｈ（ｔ）の比較を行い、一致度ｗｉ（ｔ）を計算する。

具体的には、まず、現在の観測値をセットした上式（数１）を仮説として、上式（数２）に基づき、現在から１タイムステップ後の状態が計算される。次式（数１３）は、その予測結果を示す。

次に、観測値と予測結果との間の尤度が、次式（数１４）の要領で計算される。

ここで、Φ（χ，μ，σ）は、正規分布ｎ（μ，σ）の累積密度関数である。

なお、上式（数１４）は、位置Ｐ（ｔ）に関する計算式であり、体方向θｂ（ｔ），頭方向θｈ（ｔ）に関する計算式は、上式（数１４）において、左辺の“ｌｉｋｌｉｈｏｏｄ”の添え字ｐをｂ，ｈに、右辺の｜Ｐ（ｔ）−Ｐｉ（ｔ）｜を｜θｂ（ｔ）−θｂｉ（ｔ）｜，｜θｈ（ｔ）−θｈｉ（ｔ）｜に、それぞれ置き換えたものとなる。

一致度ｗｉ（ｔ）は、上記３成分の尤度の積を（ｔ−ｋ＋１）〜ｔのｋタイムステップに渡って合計した値として、次式（数１５）で計算される。

こうして一致度ｗｉ（ｔ）が求まると、ステップＳ３５に進んで、（ＣＡ，ＴＡ，Ｄ）の組み合わせ毎に一致度ｗｉ（ｔ）の総和を計算して、最も大きな総和となった組み合わせを推定結果として出力する。

具体的には、まず、時刻ｔにおける（ＣＡｘ，ＴＡｙ，Ｄｚ）の尤度が、（ＣＡｘ，ＴＡｙ，Ｄｚ）と一致する状態Ｓｔｉの一致度ｗｉ（ｔ）の総和として、次式（数１６）で計算される。

上式（数１６）では、（ＣＡｘ，ＴＡｙ，Ｄｚ）と一致する状態Ｓｔｉの一致度ｗｉ（ｔ）には同じ重みｗｉ（ｔ）を与え（上段）、そうでない状態には重みを与えていない（下段）。

そして、次式（数１７）の演算によって、上式（数１６）で計算される尤度が最大となるような（ＣＡ，ＴＡ，Ｄ）が推定結果として出力され、振る舞い＆注目対象情報１７６に記述される。

その後、ステップＳ３７で、各状態Ｓｔｉの一致度ｗｉ（ｔ）に従い、各状態Ｓｔｉの数を調整（リサンプリング）した後、ステップＳ３９に進んで、状態群Ｈ内の各状態Ｓｔｉ（ＣＡ，ＴＡ，Ｄ）の次状態を予測、つまりパーティクルを移動（更新）する。そして、上位のフロー（図１６）に戻る。

したがって、たとえば１秒周期でパーティクルを移動しながら上記と同様の処理が繰り返され、遷移領域１７０の振る舞い＆注目対象情報１７６の（ＣＡ，ＴＡ，Ｄ）が更新されていく。

次に、図１８を参照して、訪問目的推定処理では、まず、ステップＳ５１で、振る舞い＆注目対象情報１７６から、時刻ｔでの（ＣＡ，ＴＡ，Ｄ）を取得する。次に、ステップＳ５３で、取得した（ＣＡ，ＴＡ，Ｄ）と訪問目的モデルとの比較に基づき、ｅｘｈａｕｓｉｖｅ−ｖｉｓｉｔ，ｐａｓｓｉｎｇ−ｂｙ，ｗａｎｄｅｒｉｎｇの確率を計算する。

具体的には、まず、取得した（ＣＡ，ＴＡ，Ｄ）から、次式（数１８）のような入力データＸが生成される。

次に、入力データＸに対して、次式（数１９）のような演算が実行される。

ここで、λは訪問目的モデルである。訪問目的情報１７８に含まれるｅｘｈａｕｓｉｖｅ−ｖｉｓｉｔ，ｐａｓｓｉｎｇ−ｂｙ，ｗａｎｄｅｒｉｎｇの確率は、上式（数１９）の演算結果に基づき更新される。

そして、ステップＳ５５に進んで、上式（数１９）の計算結果のうち、最も確率の大きい推定結果を尤もらしい訪問目的として出力する。具体的には、訪問目的（Ｇｒｏｂａｌ ｐｕｒｐｏｓｅ）は、次式（数２０）で計算される。

［数２０］
Global purpose =argmax_λlog(p(X|λ) )
なお、上の２式（数１９および数２０）による演算を“Ｃｌａｓｓｉｆｉｅｒ”と呼ぶ。Ｃｌａｓｓｉｆｉｅｒの概念を図２０に示す。図２０からわかるように、へは、ｋタイムステップ分の（ＣＡ，ＴＡ，Ｄ）のセットが順次Ｃｌａｓｓｉｆｉｅｒ入力され、Ｃｌａｓｓｉｆｉｅｒでは、（ＣＡ，ＴＡ，Ｄ）の遷移からｅｘｈａｕｓｉｖｅ−ｖｉｓｉｔ，ｐａｓｓｉｎｇ−ｂｙ，ｗａｎｄｅｒｉｎｇの確率が計算され、そのうち最も確率の高いものがＧｒｏｂａｌ ｐｕｒｐｏｓｅとして出力される。

Ｃｌａｓｓｉｆｉｅｒの出力は、訪問目的情報１７８に記述される。その後、プロセッサ９０の処理は、上位のフロー（図１６）に戻る。

したがって、たとえば１秒周期で上記と同様の処理が繰り返され、訪問目的情報１７８の内容が更新されていく。

次に、図１９を参照して、インターラクション制御処理では、プロセッサ９０は、振る舞い＆注目対象情報１７６および訪問目的情報１７８等を参照しつつ、以下の処理を行う。

まず、ステップＳ６１で、“ＣＡ＝展示物”か否かを判別する。ステップＳ６１でＹＥＳ（ＣＡが第１〜第３展示物Ｅ１〜Ｅ３のいずれか）であれば、ステップＳ６３に進む。ステップＳ６３でＮＯ（ＣＡが展示物でなく、たとえばＮＵＬＬ，ロボット，出口等）であれば、ステップＳ６１でＹＥＳと判別して、ステップＳ６９に移る。

ステップＳ６３では、眼カメラ８０等のセンシング結果に基づきモータ制御ボード９６を介して車輪モータ４６を駆動することによって、訪問者に近付く（ロボット１０自身を訪問者に向かって移動させる）。そして、ステップＳ６５で、赤外線距離センサ５０等のセンシング結果に基づき、訪問者に十分近付いたか否かを判別し、ＮＯであれば、上位のフロー（図１６）に戻る。ステップＳ６５でＹＥＳであれば、ステップＳ６７で当該展示物の説明を行い、その後、上位のフローに戻る。

ステップＳ６９では、“訪問目的＝ｗａｎｄｅｒｉｎｇ”か否かを判別する。そして、ステップＳ６９でＹＥＳであれば、ステップＳ７１に進み、ＮＯ（ｅｘｈａｕｓｔｉｖｅ−ｖｉｓｉｔまたはｐａｓｓｉｎｇ−ｂｙ）であれば、ステップＳ７７に移る。

ステップＳ７１では、訪問者に近付き、そして、ステップＳ７３で、十分近付いたか否かを判別して、ＮＯであれば、上位のフローに戻る。ステップＳ７３でＹＥＳであれば、ステップＳ６７でお勧めの展示物の説明を行った後、上位のフローに戻る。

ステップＳ７７では、“ＣＡ＝ロボット”または“ＴＡ＝ロボット”か否かを判別する。そして、ステップＳ７７でＹＥＳ（ＣＡまたはＴＡのどちらかがロボット）であれば、ステップＳ７９に進み、ＮＯ（ＣＡおよびＴＡのどちらもロボットではない）であれば、上位のフローに戻る。

ステップＳ７９では、訪問者に近付き、そして、ステップＳ８１で、十分近付いたか否かを判別して、ＮＯであれば、上位のフローに戻る。ステップＳ８１でＹＥＳであれば、ステップＳ８３で訪問者への挨拶を行った後、上位のフローに戻る。

なお、ここでは注目対象および訪問目的に応じて３種類のインターラクションを行ったが、より多くの種類のインターラクションが可能である。

したがって、たとえば１秒周期で上記と同様の処理が繰り返され、インターラクションが進行していく。たとえば、入口から入ってきた訪問者が第１展示物Ｅ１に注目し始めると、ステップＳ６１の判別結果がＮＯからＹＥＳに変化して、ステップＳ６３つまり訪問者に近付く動作（移動）が開始され、この動作は、ステップＳ６５の判別結果がＮＯからＹＥＳに変化する（十分近付く）まで継続される。ロボット１０が訪問者に十分近付くと、ステップＳ６７の説明が開始される。

なお、訪問者に十分近付く前に、訪問者が第１展示物Ｅ１への注目をやめた場合、ステップＳ６５の判別結果がＹＥＳからＮＯに変化する結果、訪問者に近付く動作はその時点で終了されることになる。

以上から明らかなように、この実施例では、ロボット１０は、展示物（Ｅ１〜Ｅ３）が展示された展示会場内で人（訪問者）とのインターラクションを行うロボットであり、インバースモデル１５４および訪問目的モデル１５６をメモリ９４に保持している。

インバースモデル１５４には、人の会場での振る舞いを分類して、その振る舞いごとに、人の注目対象（長期的な注目対象ＣＡ，短期的な注目対象ＴＡおよび目的地Ｄ）と、これに対応する人の位置（Ｐ（ｔ）），頭向き（θｈ）および体向き（θｂ）の理想的な動きとが記述してある。また、訪問目的モデル１５６には、人の会場での行動パターンを分類して、その行動パターンごとに、人が会場を訪問した目的と、これに対応する人の注目対象の遷移とが記述してある。

そして、中央制御装置１４が人の位置，頭向きおよび体向きを距離画像センサ１２ａ，１２ｂで観測しており、ロボット１０のプロセッサ９０は、中央制御装置１４から観測値（Ｐ（ｔ），θｈ，θｂ）を取得して、観測値の推移とインバースモデル１５４との比較に基づき人の注目対象（ＣＡ，ＴＡ，Ｄ）を推定する（Ｓ１１）。こうして、観測値の推移から人の振る舞いを介して注目対象を推定することで、注目対象を精度よく推定できる。

また、プロセッサ９０は、上記の推定結果つまり注目対象（ＣＡ，ＴＡ，Ｄ）の推移と訪問目的モデルとの比較に基づいて、人が会場を訪問した目的を推定する（Ｓ１３）。したがって、推定した注目対象を利用して、より大局的な訪問目的の推定が可能になる。

さらに、プロセッサ９０は、上記２種類の推定結果つまり注目対象（ＣＡ，ＴＡ，Ｄ）および訪問目的の少なくとも一方に基づいて、人とのインターラクションを制御する（Ｓ１５）。したがって、人の注目対象および／または訪問目的に応じたインターラクションをロボットに行わせることができる。

なお、実施例のロボット１０は、車輪４２で移動するロボットであるが、二足歩行を行うロボットであってもよい。この発明のロボットは、自律的にまたは遠隔制御によって移動でき、かつ人とのインターラクションが可能なものであれば、形態には依存しない。

なお、実施例では、展示会場（ロボット１０の外部）に配置された距離画像センサ１２ａ，１２ｂの出力から人の位置Ｐ（ｔ），頭向きθｈ，体向きθｂを計算しているが、ロボット１０の内部センサ群（５０，５６，８０）の出力も考慮して計算を行ってよい。ロボット１０に距離画像センサ１２を搭載するなどして、内部センサのみで計算を行うことも考えられる。

なお、実施例では、図１６〜図１９に示したロボット制御処理のうち、インバースモデルおよび訪問目的モデルを定義する処理と、人の位置および向きを距離画像センサ１２ａ，１２ｂで観測する処理のみ、中央制御装置１４のプロセッサ１６が担当し、それ以外の処理は、ロボット１０側で行ったが、大半の処理を中央制御装置１４側で行うような構成も可能である。その場合、図１５に示したメモリ９４のマップは、メモリ１６のマップとなる。

あるいは、展示会場内にロボット１０が複数台配置される場合、図１９のインターラクション制御のみ各ロボット１０のプロセッサ９０が行い、それ以外の処理は中央制御装置１４側で行うような構成も考えられる。

なお、以上の説明では、一実施例として、展示会場に適用されるロボット制御システム１００について説明したが、この発明は、各種の場所（空間）で人の注目対象を検出する注目対象検出システムに適用できる。

１０ …ロボット
１２ａ，１２ｂ …距離画像センサ
１４ …中央制御装置
５０ …赤外線距離センサ
１６，９０ …プロセッサ
１８，９４ …メモリ
Ｅ１〜Ｅ３ …第１〜第３展示物

Claims (10)

1. 展示物を展示した展示会場を訪問した人の注目度を推定する注目度推定システムであって、
   前記人の前記展示会場での振る舞いを分類して、その振る舞いごとに、前記人の注目対象と、これに対応する前記人の位置，頭向きおよび体向きの理想的な動きとを、前記人の振る舞いとして記述したインバースモデル、
   前記人の位置，頭向きおよび体向きを観測する観測手段、および
   前記観測手段による観測値の推移と前記インバースモデルとの比較に基づいて前記人の注目対象を推定する注目対象推定手段を備える、注目対象推定システム。
2. 前記注目対象は、長期的な注目対象を示す第１変数、短期的な注目対象を示す第２変数、および目的地を示す第３変数で記述され、
   前記理想的な動きは、前記観測手段で観測される前記人の位置の変化に基づく移動方向および移動速度と、前記観測手段で観測される頭向きおよび体向きとで記述される、請求項１記載の注目対象推定システム。
3. 前記振る舞いの分類は、目的地に向かって歩く第１の振る舞い、および注目している展示物に向かって歩く第２の振る舞いを含み、
   前記インバースモデルには、
   前記第１の振る舞いについて、前記第１変数に不存在が、前記第２変数に不存在が、第３変数に前記目的地が、前記移動方向として前記目的地への方向が、前記移動速度として歩行速度が、前記頭向きとして前記目的地に向かう向きが、前記体向きとして前記目的地に向かう向きが、それぞれ記述され、
   前記第２の振る舞いについて、前記第１変数に前記展示物が、前記第２変数に不存在が、前記第３変数に前記展示物が、前記移動方向に前記展示物への方向が、前記移動速度に前記歩行速度よりも所定速度遅い速度が、前記頭向きに前記展示物に向かう向きが、前記体向きに前記展示物に向かう向きが、それぞれ記述される、請求項２記載の注目対象推定システム。
4. 前記振る舞いの分類は、目的地に向かって展示物をちら見しながら歩く第３の振る舞いをさらに含み、
   前記インバースモデルには、前記第３の振る舞いについて、前記第１変数に不存在が、前記第２変数に前記展示物が、前記第３変数に前記目的地が、前記移動方向に前記展示物への方向が、前記移動速度に前記歩行速度よりも前記所定速度遅い速度が、前記頭向きに、前記目的地に向かう向きに対して前記展示物に引っ張られる向きを加えた向きが、前記体向きに、前記目的地に向かう向きに対して前記展示物に引っ張られる向きを加えた向きが、それぞれ記述される、請求項３記載の注目対象推定システム。
5. 前記頭向きが引っ張られる程度は、前記体向きが引っ張られる程度よりも大きい、請求項４記載の注目対象推定システム。
6. 前記振る舞いの分類は、展示物を見て回る第４の振る舞いをさらに含み、
   前記インバースモデルには、前記第４の振る舞いについて、前記第１変数に前記展示物が、前記第２変数に不存在が、前記第３変数に不存在が、前記移動方向に前記展示物の周りを回る方向が、前記移動速度に閲覧状態の速度が、前記頭向きに前記展示物に向かう向きが、前記体向きに前記展示物に向かう向きが、それぞれ記述される、請求項３ないし５のいずれかに記載の注目対象推定システム。
7. 前記振る舞いの分類は、展示物を見て回りながら他の展示物もちら見する回る第５の振る舞いをさらに含み、
   前記インバースモデルには、前記第５の振る舞いについて、前記第１変数に前記展示物が、前記第２変数に前記他の展示物が、前記第３変数に不存在が、前記移動方向に前記展示物の周りを回る方向が、前記移動速度に前記閲覧状態の速度が、前記頭向きに前記他の展示物に向かう向きが、前記体向きに前記展示物に向かう向きが、それぞれ記述される、請求項６記載の注目対象推定システム。
8. 前記人の前記展示会場での行動パターンを分類して、その行動パターンごとに、前記人が前記展示会場を訪問した目的と、これに対応する前記人の注目対象の遷移とを記述した訪問目的モデル、および
   前記注目対象推定手段による推定結果の推移と前記訪問目的モデルとの比較に基づいて、前記人が前記展示会場を訪問した目的を推定する訪問目的推定手段をさらに備える、請求項１ないし７のいずれかに記載の注目対象推定システム。
9. 展示物が展示された展示会場内で人とのインターラクションを行うロボットであって、
   前記人の前記展示会場での振る舞いを分類して、その振る舞いごとに、前記人の注目対象と、これに対応する前記人の位置，頭向きおよび体向きの理想的な動きとを、前記人の振る舞いとして記述したインバースモデル、および、前記人の前記展示会場での行動パターンを分類して、その行動パターンごとに、前記人が前記展示会場を訪問した目的と、これに対応する前記人の注目対象の遷移とを記述した訪問目的モデル、を記憶した記憶手段、
   前記人の位置，頭向きおよび体向きを観測する観測手段から観測値を取得する取得手段、
   前記観測値の推移と前記インバースモデルとの比較に基づいて前記人の注目対象を推定する注目対象推定手段、
   前記注目対象推定手段の推定結果の推移と前記訪問目的モデルとの比較に基づいて、前記人が前記展示会場を訪問した目的を推定する訪問目的推定手段、および
   前記注目対象推定手段および前記訪問目的推定手段の少なくとも一方の推定結果に基づいて、前記人とのインターラクションを制御するインターラクション制御手段を備える、ロボット。
10. 展示物が展示された展示会場内で人とのインターラクションを行うロボットの制御プログラムであって、前記ロボットのコンピュータを、
    前記人の前記展示会場での振る舞いを分類して、その振る舞いごとに、前記人の注目対象と、これに対応する前記人の位置，頭向きおよび体向きの理想的な動きとを、前記人の振る舞いとして記述したインバースモデル、および、前記人の前記展示会場での行動パターンを分類して、その行動パターンごとに、前記人が前記展示会場を訪問した目的と、これに対応する前記人の注目対象の遷移とを記述した訪問目的モデル、を記憶した記憶手段、
    前記人の位置，頭向きおよび体向きを観測する観測手段から観測値を取得する取得手段、
    前記観測値の推移と前記インバースモデルとの比較に基づいて前記人の注目対象を推定する注目対象推定手段、
    前記注目対象推定手段の推定結果の推移と前記訪問目的モデルとの比較に基づいて、前記人が前記展示会場を訪問した目的を推定する訪問目的推定手段、および
    前記注目対象推定手段および前記訪問目的推定手段の少なくとも一方の推定結果に基づいて、前記人とのインターラクションを制御するインターラクション制御手段として機能させる、制御プログラム。

Images