WO2020031767A1

WO2020031767A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2020031767A1
Application number: PCT/JP2019/029614
Authority: WO
Inventors: 英祐野村; 雄介中村; 山本　祐輝
Original assignee: ソニー株式会社
Priority date: 2018-08-09
Filing date: 2019-07-29
Publication date: 2020-02-13
Also published as: US20210294414A1

Abstract

【課題】ユーザと移動オブジェクトとの間に中間オブジェクトが存在しても、ユーザが移動オブジェクトを注視しているか否かの適切な判別を可能とする情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】情報処理装置は、移動オブジェクト制御部を具備する。上記移動オブジェクト制御部は、実空間に存在するユーザと移動機構を有する移動オブジェクトとの間に中間オブジェクトが存在すると判定されると、上記ユーザから見た上記移動オブジェクトと上記中間オブジェクトの相対的な位置関係が変更されるように上記移動オブジェクトを制御し、上記相対的な位置関係が変更された後に取得される上記ユーザの視線情報に基づいて、上記移動オブジェクトを制御する。

Description

情報処理装置、情報処理方法、及びプログラム

　本技術は、自律行動ロボット等の移動オブジェクトに係る情報処理装置、情報処理方法、及びプログラムに関する。

　特許文献１には、ＨＭＤ（Head Mounted Display）を用いて、ＡＲ技術に基づき、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることが記載されている。特許文献１には、ＨＭＤを装着するユーザの視線を能動的に誘導するように仮想オブジェクトを移動させることで、複数の仮想オブジェクトから、ユーザが操作対象として視線を向けていた仮想オブジェクトがどれであるかを特定し、ユーザとの間のインタラクションを好適にすることが記載されている。

国際公開第２０１７／１８７７０８号

　昨今、自律行動ロボット等の移動オブジェクトとユーザとの自然なコミュニケーションの実現が望まれている。この自然なコミュニケーションの実現のために、ユーザが移動オブジェクトを注視しているか否かを判定することが必要となる場合がある。

　なお、移動オブジェクトを制御する際、移動オブジェクトとユーザとの間に中間オブジェクトが存在する場合がある。この場合、ユーザは中間オブジェクトを注視しているにも関わらず、ユーザが移動オブジェクトを注視していると誤って判定される可能性がある。この誤判定は、移動オブジェクトにユーザの意図に反した行動を実行させる可能性がある。

　そこで、本開示では、ユーザと移動オブジェクトとの間に中間オブジェクトが存在しても、ユーザが移動オブジェクトを注視しているか否かの適切な判別を可能とする情報処理装置、情報処理方法、及びプログラムを提供する。

　本技術の一形態に係る情報処理装置は、移動オブジェクト制御部を具備する。
　上記移動オブジェクト制御部は、実空間に存在するユーザと移動機構を有する移動オブジェクトとの間に中間オブジェクトが存在すると判定されると、上記ユーザから見た上記移動オブジェクトと上記中間オブジェクトの相対的な位置関係が変更されるように上記移動オブジェクトを制御し、上記相対的な位置関係が変更された後に取得される上記ユーザの視線情報に基づいて、上記移動オブジェクトを制御する。

　このような構成によれば、ユーザから見た移動オブジェクトと中間オブジェクトの相対的な位置関係が変更されるように移動オブジェクトが制御されるので、相対的な位置関係変更時のユーザの視線の変化がより検出されやすくなる。この結果、ユーザが移動オブジェクトを注視しているか否かの判定精度が向上する。従って、その判定結果に基づいて実行される移動オブジェクトの行動は状況に適した行動となり、ユーザと移動オブジェクトとの自然なコミュニケーションが可能となる。

　上記移動オブジェクト制御部は、上記相対的な位置関係が変更された後に、上記移動オブジェクトが、上記相対的な位置関係が変更される直前の上記ユーザの視線の視線方向上以外に位置するように、上記移動オブジェクトを制御してもよい。

　このような構成によれば、ユーザの視線の変化が検出しやすくなり、ユーザが移動オブジェクトを注視しているか否かの判定精度が向上する。
　例えば、移動オブジェクトが第１の行動として視線方向上に移動した場合、ユーザからみて移動オブジェクトの動きは手前側又は奥側に移動する動きとなる。この場合、移動オブジェクトを目で追うユーザの視線の変化の検出は難しい。従って、視線方向上以外に、移動オブジェクトを移動させることにより、移動オブジェクトを目で追うユーザの視線の変化が検出しやすくなる。

　上記移動オブジェクト制御部は、上記相対的な位置関係が変更された後に、上記移動オブジェクトが上記視線方向に直交する仮想直線上に位置するように、上記移動オブジェクトを制御してもよい。
　このような構成によれば、よりユーザの視線の変化が検出しやすくなり、注視しているか否かの判定精度が向上する。

　上記ユーザは複数存在し、上記移動オブジェクト制御部は、上記相対的な位置関係が変更された後に、上記移動オブジェクトが上記相対的な位置関係が変更される直前の複数の上記ユーザそれぞれの視線の視線方向上以外に位置するように、上記移動オブジェクトを制御してもよい。

　上記移動オブジェクト制御部は、上記相対的な位置関係が変更されるように行動する上記移動オブジェクトの行動が、上記ユーザからみて上記中間オブジェクトの行動と類似しないように上記移動オブジェクトを制御してもよい。
　このような構成によれば、ユーザの視線の変化が検出しやすくなり、注視しているか否かの判定精度が向上する。

　上記移動オブジェクト制御部は、上記ユーザからみて上記中間オブジェクトの移動方向とは異なる方向に移動するように上記移動オブジェクトを制御してもよい。
　このように、中間オブジェクトの行動と類似しない行動として、中間オブジェクトの移動方向と異なる方向に移動する行動を移動オブジェクトに実行させてもよい。

　上記移動オブジェクト制御部は、移動する上記中間オブジェクトの過去の位置情報の経時変化を基に予測した上記中間オブジェクトの予測位置を用いて、上記移動オブジェクトを制御してもよい。

　このような構成によれば、中間オブジェクトが移動オブジェクトであっても、中間オブジェクトの行動を予測することにより、ユーザの視線の変化が検出しやすい行動を移動オブジェクトに実行させることができる。

　上記移動オブジェクト制御部は、上記移動オブジェクトが、上記相対的な位置関係が変更される直前に実行されていた上記移動オブジェクトの行動と異なる行動を実行し、上記相対的な位置関係が変更されるように、上記移動オブジェクトを制御してもよい。
　このような構成によれば、ユーザの視線の変化が検出しやすくなり、ユーザが移動オブジェクトを注視しているか否かの判定精度が向上する。

　上記移動オブジェクト制御部は、上記移動オブジェクトが、上記相対的な位置関係が変更される直前に実行されていた上記移動オブジェクトの移動方向と異なる移動方向に移動し、上記相対的な位置関係が変更されるように、上記移動オブジェクトを制御してもよい。

　上記移動オブジェクト制御部は、上記移動オブジェクトが、上記相対的な位置関係が変更される直前の上記移動オブジェクトの移動方向と１８０度異なる方向に移動し、上記相対的な位置関係が変更されるように、上記移動オブジェクトを制御してもよい。

　このような構成によれば、ユーザの視線方向の推定精度が低いとき、ユーザの視線が移動オブジェクトの方を向いてはいないが、移動オブジェクトを見ている可能性があるとき、複数存在するユーザそれぞれの視線方向から仮想直線の推定が困難なとき、多数の移動オブジェクトが存在し、それらと異なる行動の推定が困難なとき等であっても、ユーザが視線追従しやすく、かつ、ユーザの視線の変化が検出しやすくなる。

　上記移動オブジェクト制御部は、上記移動オブジェクトが、上記ユーザが上記移動オブジェクトを視線追従可能な速さで移動し、上記相対的な位置関係が変更されるように、上記移動オブジェクトを制御してもよい。
　このような構成によれば、ユーザは、自然な眼球運動により移動オブジェクトを目で追うことが可能となる。

　上記移動オブジェクトは上記移動機構を有する移動体であってもよい。
　上記移動オブジェクトは地上を移動可能に構成されてもよい。
　上記移動オブジェクトは飛行可能に構成されてもよい。
　上記情報処理装置は、上記移動機構と上記移動オブジェクト制御部を備える上記移動オブジェクトであってもよい。

　上記移動オブジェクトは、上記ユーザからの指示待ちを示すインジケータを備えても良い。
　このような構成によれば、ユーザに対して、インジケータにより移動オブジェクトを注視するように注意を促すことができる。

　上記移動オブジェクトは、周囲の環境の画像情報を取得する画像取得部を備え、上記移動オブジェクト制御部は、上記画像情報を用いて取得した上記ユーザの視線情報に基づいて上記移動オブジェクトを制御してもよい。

　上記画像取得部はデプスセンサを含んでも良い。
　これにより周囲の環境情報として、移動オブジェクトから各オブジェクトまでの距離情報を得ることができ、画像情報から、より高精度な人物検出、物体検出、顔検出、視線検出等を行うことができる。

　本技術の一形態に係る情報処理方法は、実空間に存在するユーザと移動機構を有する移動オブジェクトとの間に、中間オブジェクトが存在すると判定すると、上記ユーザから見た上記移動オブジェクトと上記中間オブジェクトの相対的な位置関係が変更されるように上記移動オブジェクトを制御し、上記相対的な位置関係が変更された後に取得される上記ユーザの視線情報に基づいて、上記移動オブジェクトを制御する。

　本技術の一形態に係るプログラムは、実空間に存在するユーザと移動機構を有する移動オブジェクトとの間に、中間オブジェクトが存在すると判定すると、上記ユーザから見た上記移動オブジェクトと上記中間オブジェクトの相対的な位置関係が変更されるように上記移動オブジェクトを制御するステップと、上記相対的な位置関係が変更された後に取得される上記ユーザの視線情報に基づいて、上記移動オブジェクトを制御するステップを含む処理を情報処理装置に実行させる。

　以上のように、本技術によれば、実空間にそれぞれ存在するユーザと移動オブジェクトとのより自然なコミュニケーションが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施形態に係る情報処理装置としての自律行動ロボットを使用する様子を説明する図である。上記自律行動ロボットの構成を示すブロック図である。上記自律行動ロボットにおける注視判定の一例を説明するフロー図である。上記自律行動ロボットによる注視判定のための第１の行動を説明するための図（その１）である。上記自律行動ロボットによる注視判定のための第１の行動を説明するための図（その２）である。上記自律行動ロボットによる注視判定のための第１の行動を説明するための図（その３）である。上記自律行動ロボットによる注視判定のための第１の行動を説明するための図（その４）である。上記自律行動ロボットによる注視判定のための第１の行動を説明するための図（その５）である。注視判定時の上記自律行動ロボットの第１の行動により到達する第２の目標位置の算出方法を説明するための図である。注視判定時の上記自律行動ロボットの第１の行動により到達する第２の目標位置への到達時間の算出方法を説明するための図である。周囲に移動オブジェクトが存在する場合の上記自律行動ロボットによる注視判定のための第１の行動を説明するための図（その１）である。周囲に移動オブジェクトが存在する場合の上記自律行動ロボットによる注視判定のための第１の行動を説明するための図（その２）である。周囲に移動オブジェクトが存在する場合の上記自律行動ロボットによる注視判定のための第１の行動を説明するための図（その３）である。周囲の移動オブジェクトの動きの判定を説明するための図である。上記自律行動ロボットのハードウェア構成の一例を示した図である。第２の実施形態における自律行動ロボットによる注視判定のための第１の行動を説明するための図である。第３の実施形態における自律行動ロボットによる注視判定のための第１の行動を説明するための図（その１）である。第３の実施形態における自律行動ロボットによる注視判定のための第１の行動を説明するための図（その２）である。第３の実施形態における自律行動ロボットによる注視判定のための第１の行動を説明するための図（その３）である。第３の実施形態における自律行動ロボットによる注視判定のための第１の行動を説明するための図（その４）である。

＜第１の実施形態＞
　（概略構成）
　まず、図１を参照して本技術の一実施形態に係る情報処理装置について説明する。図１は、情報処理装置としての自律行動ロボットを使用する様子を説明する図である。

　図１に示すように、例えば実空間である居間６０に、ユーザＵ１～Ｕ３と、情報処理装置としての自律行動ロボット１が存在する。居間６０には、ユーザがあまり移動させない静止オブジェクトであるソファ６１、テーブル６２、及びテレビ６３が配置されている。

　移動オブジェクトとしての移動体である自律行動ロボット１（以下、単にロボットと称する。）は、例えば、人間のパートナーとして生活を支援する、人間とのコミュニケーションを重視したロボットであり、実空間に存在する移動オブジェクトである。

　ロボット１は、ユーザがロボット１を注視しているか否かを判定し、この注視判定結果に基づいて、ユーザに対して適切な行動を行うように構成される。

　例えばユーザがロボット１を注視していると判定されると、ロボット１は、自身を注視しているユーザに対して何等かの行動を実行することができ、ユーザとの自然なコミュニケーションが可能となる。

　一方、ユーザがロボット１を注視していないと判定されると、ロボット１は、例えば、注視判定直前に実行されていた行動を続けるという行動を実行する。これにより、ロボット１に注意を向けていないユーザに対して不自然な行動を実行することが抑制される。また、ユーザがロボット１を注視していないと判定されたが、ロボット１がユーザに対して何らかの行動を実行する場合、ユーザに対して注意を喚起する行動を実行した後に、何等かの行動を実行することができ、ユーザとの自然なコミュニケーションが可能となる。

　ここでは、移動オブジェクトとして、地上を自律走行可能に構成される球型の形態の自律行動型ロボットを例にあげるが、これに限定されない。地上や空中を移動可能な移動機構を備えた移動オブジェクトであってもよく、例えばイヌやネコといった動物に模したペット型ロボットやヒト型ロボットでもよいし、空中を飛行可能に構成された飛行型ロボットでもよい。

　（ロボットの構成）
　図２は、本実施形態のロボット１の構成を示すブロック図である。
　図２に示すように、情報処理装置としてのロボット１は、制御部１０と、入出力部４０と、環境マップデータベース３０と、行動データベース３１と、データ記憶部３２と、記憶部３３と、移動機構３４と、を有する。

　移動機構３４は、後述する制御部１０のロボット制御部１５による制御の下で、移動オブジェクトであるロボット１を実空間内で移動させる移動手段である。
　移動機構３４には、脚式移動機構、車輪移動機構、無限軌道型移動機構、プロペラ移動機構等がある。脚式移動機構、車輪移動機構、無限軌道型移動機構を備えるロボットは、地上を移動可能である。プロペラ移動機構を備えるロボットは空中を飛行して移動可能である。
　移動機構は、ロボットを移動させる移動部と、当該移動部を駆動する駆動手段を有する。

　脚式移動機構は、例えばヒト型ロボット、ペット型ロボットなどに用いられる。脚式移動機構は、移動部としての脚部と、当該脚部を駆動する駆動手段としてのアクチュエータを有する。
　例えばイヌ型ペット型ロボットは、典型的には、頭部ユニットと、胴体部ユニットと、脚部ユニット（４脚分）と、尻尾部ユニットとを備える。アクチュエータは、脚部ユニット（４脚分）の関節部、脚部ユニットのそれぞれと胴体部ユニットとの連結部、頭部ユニットと胴体部ユニットとの連結部、尻尾部ユニットと胴体部ユニットとの連結部に設けられる。各アクチュエータを駆動制御することによりロボットの移動が制御される。

　車輪移動機構は、移動部としての車輪と、当該車輪を駆動する駆動手段としてのモータを有する。ロボット１の本体に取り付けられた車輪の回転駆動によりロボット１の本体を接地面上で移動させる。本実施形態では、車輪移動機構を備えたロボット１を例にあげて説明する。

　無限軌道型移動機構は、移動部としての無限軌道と、当該無限軌道を駆動する駆動手段としてのモータを有する。ロボット１の本体に取り付けられた無限軌道の回転駆動によりロボット１の本体を接地面上で移動させる。

　プロペラ移動機構は、ロボットを移動させる移動部としてのプロペラと、当該プロペラを駆動する駆動手段としてのエンジンやバッテリーを有する。

　ロボット１では、入出力部４０を構成する各種センサにより取得された周囲の環境情報を基に、ロボット１の第１の行動が制御される。第１の行動は、注視判定処理のための行動である。第１の行動は、ユーザからみたロボット１と中間オブジェクトの相対的な位置関係が変更されるように制御される。中間オブジェクトとは、実空間に存在するユーザとロボット１との間に存在するオブジェクトである。

　そして、相対的な位置関係が変更された後に取得されるユーザの視線情報に基づいて、ロボット１が第２の行動を実行するように制御される。具体的には、ユーザの視線情報に基づいて算出されるロボット１の第１の行動実行時のユーザの視線の変化からユーザがロボット１を注視しているか否かの注視判定処理が行われる。その注視判定の結果に基づき、ロボット１が第２の行動を実行するように制御される。

　入出力部４０は、入力部を構成するカメラ（撮像装置）４１、デプスセンサ４２、マイク４３、及びタッチセンサ４４と、出力部を構成するスピーカ４５及びＬＥＤ（Light Emitting Diode）インジケータ４６とを有する。なお、カメラ４１として、ＲＧＢカメラ、モノクロカメラ、赤外線カメラ、偏光カメラ、イベントベースカメラ（Event-based camera）など、様々な撮像装置が採用されてよい。なお、イベントベースカメラは、画像間に輝度などの変化が生じた場合にのみ画像を出力するカメラである。

　画像取得部としてのカメラ４１は、周囲の実空間を撮影するカメラである。カメラ４１は、イメージセンサの種類に応じて、ＲＧＢ画像、モノクロ画像、赤外画像、偏光画像、差分画像などを取得する。撮影の結果として得られる画像情報は制御部１０に供給される。カメラ４１は、１つだけでもよく、複数でもよい。カメラ４１は、例えばロボット１の頂部に搭載される。

　画像取得部としてのデプスセンサ４２は、デプスセンサ４２からオブジェクトまでの距離情報を取得する。取得された３次元距離画像情報は制御部１０に供給される。デプスセンサ４２は、例えばロボット１の頂部に搭載される。

　オブジェクトには、ユーザ等の人物の他、人物以外のオブジェクトが含まれる。人物は移動可能な移動オブジェクトである。
　人物以外のオブジェクトには、ユーザがあまり移動させないで実空間に固定されるソファ６１、テーブル６２、テレビ６３といった静止オブジェクトの他、人物以外の移動オブジェクトが含まれる。
　人物以外の移動オブジェクトの例としては、イヌ、ネコ等の動物、掃除ロボット、ユーザによって移動が容易なペットボトルやコップといった典型的には小型のオブジェクトが含まれる。

　デプスセンサ４２としては公知のものを使用することができる。例えば、赤外線等を照射し、照射した赤外線の反射光が戻るまでの時間から対象のオブジェクトまでの距離を測定する方法、赤外線等でパターンを照射し、対象のオブジェクトに映ったパターンの歪みから対象のオブジェクトまでの距離を測定する方法、またはステレオカメラにて撮像した画像をマッチングし、画像同士の視差から対象のオブジェクトまでの距離を測定する方法などを用いることができる。

　マイク４３は、周囲の音声を集音する。集音された音声情報は制御部１０に供給される。
　タッチセンサ４４は、ユーザのロボット１への接触を感知する。感知された接触情報は制御部１０に供給される。
　スピーカ４５は、制御部１０から受信したロボット制御信号である音声信号を出力する。

　インジケータとしてのＬＥＤインジケータ４６では、制御部１０から受信したロボット制御信号である発光信号に基づいてＬＥＤの点灯が制御される。ＬＥＤインジケータ４６では、ＬＥＤの点滅の組み合わせや点灯のタイミングによりロボットの感情等を形成し、また、ロボット１の状況をユーザＵに対して報知する。

　例えば、ロボット１は、ユーザＵに対して何等かの行動を実行しているときは、ＬＥＤインジケータ４６の一部を光らせることで、ユーザに視線を向けているように見せることができる。
　また、点灯する色を変えることによって喜怒哀楽等の感情をユーザに対して提示することができる。
　また、ロボット１は、ユーザからの指示を待っている間はＬＥＤインジケータ４６を点滅させることで、指示待ちであることをユーザに知らせることができる。

　ＬＥＤインジケータ４６は、球状のロボット１の全面に設けられていてもよいし、部分的に設けられていてもよい。本実施形態では、図１に示すように、ロボット１は、その表面に部分的に、２つのＬＥＤインジケータ４６を備えている。

　ロボット１は、出力部として、ＬＣＤ（Liquid Crystal Display）等の画像を表示するディスプレイを備えてもよい。これにより、所望の画像表示を介して、ユーザにロボットの感情や状況等の情報をユーザに提示することができる。

　制御部１０は、注視判定に係る一連の処理を制御する。
　制御部１０は、３次元センシング部１１と、音声情報取得部１２と、自己位置推定部１３と、環境マップ作成部１４と、移動オブジェクト制御部としてのロボット制御部１５と、オブジェクト検出部１６と、顔及び視線検出部１７と、視線判定部１８と、中間オブジェクトの有無判定部１９と、注視判定部２０と、オブジェクト位置予測部２１と、を含んでもよい。

　３次元センシング部１１は、カメラ４１により取得された画像情報と、デプスセンサ４２により取得された３次元距離画像情報とを統合し、周囲の環境の３次元形状を構築する。
　周囲の環境の３次元形状は、レーザによる３次元スキャナにより３次元座標を点群として出力し、構築してもよい。
　音声情報取得部１２は、マイク４３により集音された音声情報を取得する。

　自己位置推定部１３は、後述するデータ記憶部３２に記憶されているオブジェクトの外観の特徴点と、３次元センシング部１１で構築された３次元形状から抽出したオブジェクトの特徴点の３次元座標とを照合することで、カメラ４１及びデプスセンサ４２が搭載されているロボット１の自己位置を推定する。すなわち、自己位置推定部１３は、居間６０に存在する自分自身（ロボット１）が部屋のどの位置に存在するかを推定する。

　また、カメラ及びデプスセンサに加えて、ＩＭＵ（Inertial Measurement Unit ）やＧＰＳ（Global Positioning System）等のカメラ以外のセンサを設け、これらのセンサ情報を統合して、更に高精度の自己位置推定を行ってもよい。

　オブジェクト検出部１６は、３次元センシング部１１で構築された３次元形状から、人物領域と、人物以外のオブジェクト領域を検出する。

　人物領域を検出する手法としては、画像情報を用いて、ＨＯＧ（Histograms of Oriented Gradients）特徴量とＳＶＭ（Support Vector machine）で認識する手法、畳み込みニューラルネットワークを用いた認識手法等を用いることができる。
　また、画像情報に加え、３次元距離画像情報を用いて人物検出することにより、更に高精度な検出をすることができる。

　人物以外のオブジェクト領域を検出する手法としては、３次元形状から未知のオブジェクトを検出し、検出したオブジェクトを、形状情報を用いて分類し、オブジェクトを認識してもよい。
　また、検出対象のオブジェクト形状を既知のものとして、形状特徴量に基づく物体認識技術を用いて分類してもよく、より高精度なオブジェクトの検出を行うことができる。

　環境マップ作成部１４は、３次元センシング部１１で構築された３次元形状、自己位置推定部１３で推定されたロボット１の推定位置、及び、オブジェクト検出部１６で検出された人物領域及び人物以外のオブジェクト領域に基づいて、実空間内に存在するロボット１の位置、各オブジェクトの位置等を表現する環境マップを作成する。

　環境マップ作成部１４は、ある一定の時間毎に、ロボット１、人物、人物以外のオブジェクトの位置を表現する環境マップを作成する。作成された環境マップは、時系列に環境マップデータベース３０に蓄積される。

　ロボット１の自己位置推定と環境マップの作成は、Visual SLAM（Simultaneous Localization And Mapping）と呼ばれる技術を用いて同時に行うことができる。

　また、環境マップデータベース３０には、正解データとしての環境マップが予め登録されていてもよい。
　この正解データの環境マップと、３次元センシング部１１で構築された３次元形状とを参照することにより、ロボット１の自己位置を推定してもよい。

　また、例えば、移動オブジェクトが存在しない静止オブジェクトのみが存在する実空間が表現された環境マップが正解データとして環境マップデータベース３０に予め登録され、この正解データの環境マップと３次元センシング部１１で構築された３次元形状との背景差分から、人物領域及び人物以外の移動オブジェクト領域を検出してもよい。

　顔及び視線検出部１７は、オブジェクト検出部１６から出力された人物領域から顔領域を検出し、当該人物の顔の向き及び視線を検出する。

　顔領域の検出には、画像情報の画像特徴量（Facial Appearance）を用いた公知の方法を使用することができる。更に、画像情報に加え、３次元距離画像情報を用いて検出することにより、更に高精度な検出をすることができる。

　顔の向きの検出には公知の方法を使用することができる。例えば、鼻の向きや顎の向きを検出することにより顔の向きを検出することができる。

　視線の検出には、公知の方法を使用することができる。例えば、画像情報を用いて、目頭と黒目の中心との距離から人物の視線を検出することができる。
　また、赤外光を利用して視線の検出を行う角膜反射法を用いることもできる。角膜反射法では、赤外光が照射されてユーザの目の部分の画像が撮影され、撮影により得られた画像における、検出対象ユーザの眼球角膜上の赤外光の反射位置、すなわち赤外光の輝点と、検出対象のユーザの瞳孔との位置関係から視線方向を検出することができる。

　視線判定部１８は、顔及び視線検出部１７の検出結果に基づき、３次元形状から検出された人物がロボット１の方に顔を向けているか、人物の視線がロボット１の方に向けられているかを判定する。

　中間オブジェクトの有無判定部１９は、環境マップを用いて、ロボット１を注視しているか否かを判定する注視判定対象となる人物（ユーザ）とロボット１との間に、オブジェクトが存在するか否かを判定する。

　中間オブジェクトは、注視判定対象となる人物とロボット１との間に位置するオブジェクトを指す。本実施形態では、中間オブジェクトが実空間に存在する実オブジェクトである例をあげる。中間オブジェクトは、人物であってもよいし、人物以外のオブジェクトであってもよい。また、中間オブジェクトは、静止オブジェクトであってもよいし、移動オブジェクトであってもよい。

　注視判定部２０は、注視判定対象となる人物（以下、対象人物と称する場合がある。）がロボット１を注視しているか否かを判定する。
　ロボット１は、注視判定のために、後述するロボット制御部１５による制御のもと第１の行動を実行する。注視判定部２０により、ロボット１の第１の行動時、すなわち、第１の行動の開始時から終了時までの対象人物の視線の変化を基に、対象人物がロボット１を注視しているか否かが判定される。

　対象人物がロボット１を注視している場合、ユーザの眼球運動はロボット１の動きに追従する。
　本実施形態では、注視判定部２０は、ロボット１の第１の行動の開始時から終了時までの対象人物の視線情報を、顔及び視線検出部１７から時系列に取得し、これを基に、対象人物の視線の変化、すなわち視線軌跡を算出する。

　注視判定部２０は、第１の行動の開始時から終了時までのロボット１の移動軌跡と、算出した対象人物の視線軌跡と、デプスセンサ４２から取得した対象人物とロボット１との距離情報を基に、ロボット1の移動軌跡と対象人物の視線軌跡との相関性の有無を判定して、対象人物がロボット１を注視しているか否かを判定する。

　注視判定部２０は、相関性有りと判定すると対象人物がロボット１を注視していると判定する。一方、注視判定部２０は、相関性なしと判定すると対象人物はロボット１を注視していないと判定する。

　オブジェクト位置予測部２１は、時系列に蓄積された環境マップを基に得られる人物を含む移動オブジェクトの過去の位置情報の経時変化から、現在時刻以降の時刻の各オブジェクトの位置を予測する。

　ロボット制御部１５は、注視判定のためにロボット１が実行する第１の行動と、注視判定結果に基づいてロボット１が実行する第２の行動を制御する。ロボット制御部１５により生成されるロボット１の行動に係る制御信号をロボット制御信号と称する。

　第１の行動は、対象人物がロボット１を注視しているか否かを判定するためにロボット１により実行される行動である。
　第２の行動は、ロボット１により、第１の行動実行後に取得される対象人物の視線情報を用いて算出される第１の行動実行時の対象人物の視線の変化を基に実行される。視線の変化の検出は、上述の注視判定部２０により行われる。また、第２の行動は、ロボット１により、第１の行動実行後に取得される対象人物の視線情報に基づいて行われる。

　ロボット制御信号には、ロボット１の行動に係る移動機構３４の制御信号と、ロボット１の感情や状況等の報知に係るＬＥＤインジケータ４６の発光信号と、ロボット１からの発音に係るスピーカ４５に供給される音声信号等がある。

　ロボット制御部１５は、中間オブジェクトの有無判定部１９により中間オブジェクトなしと判定されると、後述する規定の処理によって、注視判定のための第１の行動のロボット制御信号を生成する。

　ロボット制御部１５は、中間オブジェクトの有無判定部１９により中間オブジェクト有りと判定されると、対象のユーザから見た移動オブジェクトとしてのロボット１と中間オブジェクトとの相対的な位置関係が変更されるように第１の行動のロボット制御信号を生成する。

　更に、中間オブジェクトが移動オブジェクトである場合は、ロボット制御部１５は、オブジェクト位置予測部２１により予測された中間オブジェクトの位置も加味して、第１の行動のロボット制御信号を生成する。

　例えば、図１に示す例では、ユーザＵ３は、ユーザＵ１とロボット１との間に、中間オブジェクトとして存在する。このような状況では、ユーザＵ１の顔の向きがロボット１の方を向いていたとしても、ユーザＵ１がロボット１とユーザＵ３のどちらを注視しているのか、或いは、どちらも注視していないのかを、ユーザＵ１の視線情報を基に判定することが難しい。

　そこで、ロボット１により、ユーザＵ１がロボット１を注視しているか否かを判定するため、ユーザＵ１からみたロボット１とユーザＵ３との相対的な位置関係が変更されるように第１の行動が実行される。
　そして、ロボット１の第１の行動によってユーザＵ３の視線がどのように変化するかを検出することによって、ユーザＵ１がロボット１を注視しているか否かが判定される。

　本実施形態では、ロボット１の第１の行動は、基本的には、第１の行動が実行される直前のロボット１の行動と異なる行動であって、第１の行動によりロボット１が到達する位置である第２の目標位置がユーザ（対象人物）の視線の視線方向上以外の位置であって、ロボット１を視線追従するユーザ（対象人物）の視線角度差分が３０度／秒以内となる速さ、となるように制御される。
　尚、ここで、第１の行動が実行される直前は、ユーザからみたロボットと中間オブジェクトの相対的な位置関係が変更される直前を指す。また、第１の行動が第２の目標位置に到達するときは、第１の行動の実行直後であり、相対的な位置関係が変更された後を指す。

　更に、ロボット１の第１の行動は、ロボット１の周囲の人物も含むオブジェクトや壁に衝突しない範囲で制御され、オブジェクトができるだけ存在しない空間にむかって移動するように制御される。

　基本的な第１の行動の生成方法の詳細については、規定の第１の行動の生成方法として後述する。

　ここでは、ユーザ（対象人物）の視線方向上ではない位置として、ユーザの視線方向と直交する仮想直線上の位置を例にあげる。仮想直線（例えば、図７～図１０において符号Ｌが付されている直線）は、ロボット１を通り、ロボット１の接地面に対し略平行であり、ロボット１に装着されるカメラ４１やデプスセンサ４２の装着位置付近の高さに設定される。カメラ４１やデプスセンサ４２は、ロボット１において「目」の役割を果たしており、仮想直線Ｌはロボット１の目線にあわせた高さに設定される。

　第１の行動が、直前のロボット１の行動と異なる行動となるように制御されることにより、ロボットの移動経路に対する対象人物の視線の変化を検出しやすくなる。また、直前の行動と異なる行動となるように制御されることにより、対象人物に対し、ロボット１に対しての注意を促して視線方向の動きを誘発することができる。これにより、注視判定処理の精度をより向上させることができる。

　本実施形態では、ロボット１は、第１の行動の直前の行動と異なる行動として、直前の行動における進行方向と異なる方向に移動する行動を実行する。

　直前の行動と異なる行動としては、ユーザからの注意がロボット１に向きやすい行動であることが好ましい。これにより、ロボット１が単にランダムに移動しているだけなのか、或いは、ユーザから指示を受けるために移動しているかを判別しやすくなる。

　第１の行動の直前の行動と異なる行動の他の例として、直前の行動ではＬＥＤインジケータ４６を点灯していなかったものを、第１の行動ではＬＥＤインジケータ４６を点灯するようにしてもよい。
　更に他の例として、直前の行動と異なる行動として、回転しながら移動してもよい。
　また、移動オブジェクトがイヌ型ペット型ロボットであれば、直前の行動と異なる行動として、尻尾を振りながら移動してもよい。

　また、第１の行動が、第１の行動を実行する直前の対象人物の視線方向と直交する方向への移動となるように制御されることにより、対象人物の視線の変化が大きくなる。

　例えば、対象人物の視線方向上、換言すると、対象人物の視線の視線ベクトル及び当該視線ベクトルの延長線上でロボット１が移動した場合、対象人物からみたロボット１の動きは手前側又は奥側に移動する動きとなる。この場合、ロボット１を目で追うユーザの視線はあまり変化せず、注視判定することが難しい。ここで、視線ベクトルとは、対象人物の目からロボット１に向かう有向線分であり、対象人物の視線情報である。

　従って、ユーザがロボット１を注視している場合、対象人物の視線ベクトルと直交する仮想直線上に第１の行動により到達する第２の目標位置を設定し、第２の目標位置に向かってロボット１を移動させることにより、対象人物の視線の変化が大きくなるので、視線の変化が検出しやすくなる。これにより、注視判定処理の精度をより向上させることができる。

　尚、第２の目標位置は必ずしも対象人物の視線方向と直交する仮想直線上でなくてもよく、視線方向上でないことが好ましい。
　このように、対象人物の視線方向上でない位置に第２の目標位置を設定することにより、対象人物の視線上にほぼ位置していた中間オブジェクトが対象人物の視線上からはずれることになるため、対象人物の視線が中間オブジェクトに向けられているか、或いは、ロボット１に向けられているかが検出しやすくなる。

　また、第１の行動が、対象人物の視線角度差分が３０度／秒以内となる速さに制御されることにより、対象人物は、自然な眼球運動でロボット１の動きを目で追うことが可能となる。

　更に、対象人物とロボット１との間に中間オブジェクトが存在する場合には、中間オブジェクトが移動する、移動しないにかかわらず、対象人物から見たロボット１と中間オブジェクトの相対的な位置関係が変更されるようにロボット１の第１の行動が制御される。

　また、中間オブジェクトが移動オブジェクトである場合は、ロボット１の第１の行動は、中間オブジェクトの行動と類似しないように制御されることが好ましい。これにより、注視判定の精度が向上する。

　ここでは、図１に示すように、対象人物であるユーザＵ１はソファ６１に座って静止し、ロボット１は移動するという第１の行動を実行する例を挙げるが、対象人物が動いている場合は、対象人物から見たロボット１と中間オブジェクトの相対的な位置関係が変更されるようにロボット１が静止するという第１の行動を実行するようにしてもよい。

　ロボット１の第２の行動は、注視判定結果及び周囲の状況に基づいて、行動データベース３１を用いて、対象人物に対してロボット１により実行される行動である。周囲の状況には、対象人物の行動情報や状態情報が含まれ、これら情報は対象人物の視線情報等から取得できる。

　行動情報は、本を読んでいる、テレビを見ている、音楽を聞いているといった、行動に係る情報である。
　状態情報は、ユーザの嬉しそう、悲しそう、忙しそうといった状態に係る情報である。

　行動情報は、例えば、カメラ４１から取得された画像情報から特徴点を抽出し、抽出した特徴点をトラッキングすることによって、人物がどのような行動をしているかを認識する（行動認識処理）ことにより、取得できる。

　状態情報は、例えば、カメラ４１で取得した画像情報から目や眉の動きを解析する、又は、マイク４３で取得した音声情報から声の調子を解析する、或いは、これら双方の解析結果を用いて、ユーザの嬉しそう、悲しそう、忙しそう等の状態を認識する（状態認識処理）ことにより、取得できる。また、マイク４３で取得した音声情報からユーザの発話の内容が認識されてもよく、これによりユーザの状態が認識されてもよい。

　第２の行動の一例として、注視判定でユーザはロボット１を注視していると判定された場合、行動データベース３１に基づいて、ロボット１はユーザに近づく、ＬＥＤインジケータ４６を点灯して喜びを表現する、音楽を流す等の発音をする、といったユーザに対して何等かの行動を実行する。

　一方、注視判定でユーザはロボット１を注視していないと判定されたときは、第２の行動の一例として、ロボット１は、注視判定の直前の第１の目標位置に移動するという行動を実行する。或いは、周囲の状況に適した行動を実行するようにしてもよい。例えば、ロボット１が、メール着信などユーザに通知すべき情報を受信もしくは持っている場合、ＬＥＤインジケータ４６の点灯による着信通知だけでなく、ユーザに近づき、スピーカ４５から音を発生するなど、ユーザの注意を喚起する第２の行動を実行してもよい。
　尚、行動例はこれらに限定されない。

　環境マップデータベース３０には、ソファ６１、テーブル６２、テレビ６３といった室内で認識された人物以外のオブジェクトの位置や形状等の物体に関する情報、壁の位置などの空間情報、ユーザ等の人物に係る情報が表現された環境マップが時系列に蓄積される。

　環境マップデータベース３０に時系列に蓄積された環境マップを基に、人物や人物以外の移動オブジェクトの位置変化を追跡することにより、人物や人物以外の移動オブジェクトの移動軌跡等の移動情報を得ることができる。

　行動データベース３１には、ロボット１が、周囲がどのような状況のときにどのような行動を実行すべきかを規定した行動モデルと、その行動をロボット１に実行させるためのロボット１の移動機構３４の動きを規定した行動毎のモーションファイルや、そのときロボット１が発音すべき音声の音声信号が格納されたサウンドファイル、ＬＥＤインジケータ４６により提示する発光に係る発光信号が格納されたファイルなどの各種行動内容規定ファイルが登録されている。

　本実施形態においては、各データベースは、情報処理装置であるロボット１に構築されるが、クラウドサーバ上に構築されてもよい。
　データベースをクラウドサーバ上で構築する場合、入出力部４０で取得される各種情報は、ユーザや家の場所等が特定できないようにプライバシーを排除した情報に変換されてクラウドサーバへ送信される。

　データ記憶部３２には、自己位置推定、人物や物体の検出を行う際に使用するオブジェクトの外観の特徴点や特徴量等の情報が格納されている。

　記憶部３３は、ＲＡＭ等のメモリデバイス、及びハードディスクドライブ等の不揮発性の記録媒体を含み、次に説明する注視判定に係る一連の情報処理を、情報処理装置であるロボット１に実行させるためのプログラムを記憶する。

　（注視判定に係る情報処理方法）
　図３は、情報処理装置であるロボット１により行われる注視判定に係る情報処理方法のフロー図である。

　まず、注視判定処理がスタートすると、３次元センシング部１１により、周囲の環境の３次元形状が構築される（Ｓ１）。
　次に、自己位置推定部１３により、周囲の環境の３次元形状を用いてロボット１の位置が推定され（Ｓ２）、環境マップ作成部１４により環境マップが作成される（Ｓ３）。

　次に、環境マップを基に、オブジェクト検出部１６により、人物領域及び人物以外の物体領域が検出される。更に、検出された人物領域から顔及び視線検出部１７により顔領域が検出され、当該人物の顔の向き及び視線が検出される（Ｓ４）。

　例えば図１に示す例では、人物領域としてユーザＵ１、Ｕ２、Ｕ３の領域が検出され、人物以外のオブジェクト領域としてソファ６１、テレビ６３、テーブル６２、木馬６６の領域が検出される。
　また、人物の顔の向き及び視線の検出は、抽出された人物Ｕ１～Ｕ３の人物領域全てで行われる。

　次に、視線判定部１８により、顔及び視線検出部１７による各人物の顔の向き及び視線の検出結果を基に、ロボット１の方に顔が向いている、又は、視線がロボット１に向かっている、すなわちロボット１を見ていると推定される人物がいるか否かが判定される（Ｓ５）。

　Ｓ５で人物がいないと判定されると（Ｎｏ）、Ｓ１に戻り、処理が繰り返される。
　Ｓ５で人物がいると判定されると（Ｙｅｓ）、Ｓ６に進む。図１に示す例では、検出されたユーザＵ１の視線から、ユーザＵ１がロボット１を見ていると推定され、ユーザＵ１が注視判定処理の対象の人物となる。

　Ｓ６では、中間オブジェクトの有無判定部１９により、ロボット１を見ていると推定される人物（対象人物）とロボット１との間に中間オブジェクトが存在するか否かが判定される。
　Ｓ６で中間オブジェクトが存在しないと判定されると（Ｎｏ）、Ｓ８に進む。
　Ｓ６で中間オブジェクトが存在すると判定されると（Ｙｅｓ）、Ｓ７に進む。
　図１に示す例では、ロボット１とユーザＵ１との間に中間オブジェクトとして木馬６６に乗ったユーザＵ３が存在する。

　Ｓ８では、ロボット制御部１５により、ユーザがロボット１を注視しているか否かを判定するために実行する第１の行動に係るロボット制御信号が生成される。ロボット１は、当該ロボット制御信号に基づいて制御され、第１の行動を実行する。
　中間オブジェクトが存在しない場合においては、規定の第１の行動が実行されるようにロボット１は制御される。規定の第１の行動の生成方法については後述する。

　Ｓ７では、ロボット制御部１５により、注視判定対象であるユーザがロボット１を注視しているか否かを判定するために実行する第１の行動に係るロボット制御信号が生成される。ロボット１は、当該ロボット制御信号に基づいて制御され、第１の行動を実行する。

　詳細には、Ｓ７では、中間オブジェクトが存在する場合においては、図１に示すように、ロボット制御部１５により、対象人物であるユーザＵ１から見たロボット１と木馬６６に乗るユーザＵ３との相対的な位置関係が変更されるように、ロボット１の第１の行動に係るロボット制御信号が生成される。中間オブジェクトが存在する場合の第１の行動の生成方法については後述する。

　次に、顔及び視線検出部１７により、第１の行動の開始時から終了時までの間の対象人物（ここではユーザＵ１）の顔の向き及び視線が随時検出される。注視判定部２０により、時系列の視線検出結果を基に第１の行動実行時の対象人物の視線の変化が算出され、注視判定対象である人物がロボット１を注視しているか否かが判定される（Ｓ９）。
　以上のように、注視判定が行われる。

　注視判定ステップ（Ｓ９）で対象人物はロボット１を注視していると判定されると、ロボット制御部１５により、当該対象人物に対して何等かの行動を起こすよう第２の行動に係るロボット制御信号が生成され、当該ロボット制御信号に基づいてロボット１の第２の行動が制御される。

　一方、注視判定ステップ（Ｓ９）で注視判定対象である人物はロボット１を注視していないと判定されると、ロボット制御部１５により、注視判定処理の直前の行動の第１の目標位置に移動するという第２の行動を実行するようにロボット１は制御される。

　（注視判定のための規定の第１の行動の生成方法の一例）
　次に、図４～図１０を用いて、上述した注視判定処理のＳ８で制御されるロボット１の規定の第１の行動の生成方法の一例について説明する。

　図４～図１０は、第１の行動を生成する方法を説明する図である。図４～図８は実空間である居間６０を上から見た模式図となっている。図中、丸はユーザＵを表し、四角はソファ６１、テーブル６２、テレビ６３といった固定された人物以外の静止オブジェクト等の障害物を表し、三角はロボット１を表す。

　図４は、ロボット１が、時刻Ｔｋに位置Ｐ（Ｔｋ）に位置し、第１の目標位置Ｐtarget１に向かって移動している様子を示す。
　次に、図５に示すように、ロボット１が第１の目標位置Ｐtarget１へ移動している途中、時刻Ｔｍ（Ｔｋ<Ｔｍ）に、位置Ｐ（Ｔｍ）で、顔及び視線検出部１７により視線６４が検出される。この視線６４は、第１の行動開始直前におけるユーザＵ１の視線である。

　視線判定部１８により、ユーザＵ１の視線６４がロボット１に向けられていると判定されると、ロボット制御部１５により、図６に示すように、デプスセンサ４２で測定されたロボット１とユーザＵ１との距離情報及び視線６４の視線ベクトル（視線情報）を基に、ユーザＵ１が自然にロボット１を視線追従できる領域６７が推定される。
　図６では、視線追従できる領域６７をドットパターンで示している。領域６７は、ロボット１を視線追従する対象人物の視線角度差分が３０度／秒以内となる速さの範囲となるように設定される。

　次に、ロボット制御部１５により、図７に示すように、視線６４の視線ベクトルに対して直交する方向に延在する仮想直線Ｌが算出される。

　次に、ロボット制御部１５により、図８に示すように、視線追従できる領域６７であり、仮想直線Ｌ上であり、第１の行動の移動方向が、第１の行動の直前の移動方向である位置Ｐ（Ｔｍ）から第１の目標位置Ｐtarget１へ向かう移動方向と異なるように、第２の目標位置Ｐtarget２が設定される。

　次に、ロボット制御部１５により、位置Ｐ（Ｔｍ）から第２の目標位置Ｐtarget２に時刻Ｔｎに到達するというロボット１の第１の行動のロボット制御信号が生成される。第２の目標位置Ｐtarget２と、ロボット１の時刻Ｔｎの位置となる位置Ｐ（Ｔｎ）とは同じである。

　ロボット１は、生成された第１の行動のロボット制御信号に従って、時刻Ｔｎに第２の目標位置Ｐtarget２に到達するように移動する。ロボット制御部１５は、視線判定部１８により検出されたロボット１が位置Ｐ（Ｔｍ）から出発して第２の目標位置Ｐtarget２に到達するまでの間の対象人物の視線情報を基に、第１の行動実行時のユーザの視線の変化を算出し、対象人物がロボット１を注視しているか否かを判定する。

　注視判定処理を行うための第１の行動を規定する第２の目標位置Ｐtarget２の算出方法について図９を用いて説明し、第２の目標位置Ｐtarget２への到達時刻の算出方法について図１０を用いて説明する。

　図において、時刻Ｔｍにおけるロボット１の位置をＰ（Ｔｍ）とし、ロボット１のＰ（Ｔｍ）から第１の目標位置Ｐtarget１に向かう動きベクトルをＭ（Ｔｍ）とし、視線６４の視線ベクトルをＧｚ（Ｔｍ）とする。Ｐ（Ｔｍ）から第２の目標位置Ｐtarget２に向かうロボット１の動きベクトルをＭ´（Ｔｍ）とする。ロボット１が第２の目標位置Ｐtarget２に到達する時間をＴｎ（Ｔｎ＞Ｔｍ）とする。

　図９に示すように、視線追従できる領域６７にあり、視線ベクトルＧｚ（Ｔｍ）に直交する仮想直線Ｌ上にあり、Ｍ（Ｔｍ）とＭ´（Ｔｍ）とのなす角が最大となる位置を、第２の目標位置Ｐtarget２として算出する。

　図１０において、ユーザＵ１から第２の目標位置Ｐtarget２を見た視線の予測される視線ベクトルＧｚ（Ｔｎ）と、ユーザＵ１から位置Ｐ（Ｔｍ）を見た視線の視線ベクトルＧｚ（Ｔｍ）とのなす角をθとする。

　図１０に示すように、Ｐ（Ｔｍ）から第２の目標位置Ｐtarget２に向かうロボット１の速度ベクトルδＰ（Ｔｎ）は、

と表せる。

　Ｐ（Ｔｍ）から第２の目標位置Ｐtarget２に向かうロボット１の視線ベクトルの角速度δθ（Ｔｎ）は、

と表せる。

　人間の眼球運動の追従性を考慮し、

を満たすように、Ｔｎを求めることにより、ロボット１の第２の目標位置Ｐtarget２への到達時刻を算出することができる。

　尚、ロボット１が、算出した現在位置Ｐ（Ｔｍ）から第２の目標位置Ｐtarget２までの移動経路を時刻Ｔｍから時刻Ｔｎの間に移動する際、オブジェクトや壁に衝突すると予測される場合は、視線追従できる領域６７であって、第１の行動時にオブジェクトや壁に衝突しない範囲で、第１の行動の移動方向が、直前の移動方向と異なるように第２の目標位置Ｐtarget２が設定される。

（中間オブジェクトが存在する場合の注視判定のための第１の行動の生成方法の一例）
　対象人物とロボット１との間に中間オブジェクトが存在する場合には、第１の行動が実行される直前のロボット１の行動と異なる行動であって、第１の行動時にロボット１がオブジェクトや壁に衝突しない範囲で、ロボット１を視線追従可能な領域６７内で対象人物から見たロボット１と中間オブジェクトの相対的な位置関係が変更されるように、第１の行動を規定する第２の目標位置及び第２の目標位置への到達時刻が設定される。中間オブジェクトは、移動する、移動しないにかかわらない。

　具体的には、対象人物が静止し、中間オブジェクトが静止オブジェクトである場合では、対象人物から見たロボット１と中間オブジェクトの相対的な位置関係が変更されるようにするために、第１の行動は、上記の規定の第１の行動となるように制御される。

　対象人物が静止し、中間オブジェクトが移動する場合では、対象人物から見たロボット１と中間オブジェクトの相対的な位置関係が変更されるように、次のように第１の行動を規定する第２の目標位置Ｐtarget２は設定される。

　すなわち、オブジェクト位置予測部２１により、時系列に蓄積された環境マップを基に得られる中間オブジェクトの過去の時系列の位置情報を基に、現在時刻Ｔｍより後の時刻Ｔｎでの中間オブジェクトの位置が予測される。

　そして、ロボット制御部１５により、時刻Ｔｎでの中間オブジェクトの予測位置を基に、時刻Ｔｎでの対象人物から見た中間オブジェクトとロボット１との相対的な位置関係が、現在時刻Ｔｍでの対象人物から見た中間オブジェクトとロボット１との相対的な位置関係と異なるように、ロボット１の時刻Ｔｎでの第２の目標位置Ｐtarget２が設定される。
　ここで、第２の目標位置Ｐtarget２を、対象人物の視線６４の視線方向と直交する仮想直線Ｌ上に設定できる場合は、仮想直線Ｌ上に設定する。

　対象人物と中間オブジェクトのいずれもが移動する場合では、対象人物から見たロボット１と中間オブジェクトの相対的な位置関係が変更されるように、次のように第１の行動を規定する第２の目標位置Ｐtarget２は設定される。

　すなわち、オブジェクト位置予測部２１により、時系列に蓄積された環境マップを基に得られる対象人物の過去の時系列の位置情報から、現在時刻Ｔｍより後の時刻Ｔｎでの対象人物の位置が予測される。そして、時刻Ｔｎでの中間オブジェクトの予測位置、対象人物の時刻Ｔｎでの予測位置を加味して、第２の目標位置Ｐtarget２が設定される。

　また、中間オブジェクトが移動オブジェクトである場合は、ロボット１の第１の行動は、中間オブジェクトの行動と類似しないように制御されることが好ましい。このように、移動オブジェクトの第１の行動を、中間オブジェクトの行動と類似しない行動となるように制御することにより、対象人物の注視判定をより精度よく行うことができる。

　図１に示す例では、中間オブジェクトである木馬６６に乗ったユーザＵ３は前後に繰り返し揺れる移動オブジェクトであり、オブジェクト位置予測部２１により、現在時刻Ｔｍより後の時刻Ｔｎでの中間オブジェクトの位置は前後に揺れる行動によって決定される位置になると予測される。この予測結果を基に、ロボット１の第１の行動は、木馬６６に乗ったユーザＵ３の前後に揺れる行動と類似しないように、直線に移動するように制御される。

　以下に、ロボット１の周囲に存在する移動オブジェクトの行動と類似しない第１の行動の生成方法について説明する。ロボット１の周囲に存在する移動オブジェクトには対象人物以外のオブジェクトが含まれ、中間オブジェクトも含まれる。

　（周囲の移動オブジェクトの行動と類似しない第１の行動の生成方法の一例）
　図１１～図１４を用いて、ロボット１の周囲に存在する移動オブジェクトの行動と類似しない第１の行動の生成方法の一例について説明する。

　図１１～図１４は、第１の行動を生成する方法を説明する図であり、図１１～図１３は実空間である居間６０を上から見た模式図となっている。図１４は、周囲の移動オブジェクトの行動と類似しない第１の行動を規定する第２の目標位置の算出方法を説明する図である。
　図上、丸はユーザＵを表し、四角は静止オブジェクトを表し、三角はロボット１を表し、六角形は周囲の移動オブジェクトを表す。ここでは、注視判定対象の人物以外の周囲の移動オブジェクトとして掃除ロボット６５を例にあげて説明する。

　図１１に示すように、オブジェクト位置予測部２１により、時系列に蓄積された環境マップを基に、掃除ロボット６５の過去の動きが取得される。図１１～図１３上、黒点及び破線の矢印は、掃除ロボット６５の過去の動きを示す速度ベクトル７５を示す。

　次に、図１２に示すように、オブジェクト位置予測部２１により、時系列に蓄積された環境マップを基に、現在時刻よりも後の時刻での掃除ロボット６５の動きが予測される。図上、点線は、予測された掃除ロボット６５の予測速度ベクトル６９を示す。尚、ロボット１は、自身の速度ベクトル６８を制御情報として持っているとする。

　次に、図１３に示すように、ロボット制御部１５により、デプスセンサ４２で計測されたロボット１とユーザＵ１との位置関係情報、ユーザＵ１と掃除ロボット６５との位置関係情報を基に、ユーザＵ１のロボット１に向けられる仮の視線ベクトル７０と、ユーザＵ１の掃除ロボット６５に向けられる仮の視線ベクトル（以下、仮視線ベクトルと称す。）７１が算出される。

　図１４上、点線で図示された六角形は、現在時刻Ｔｋにおける掃除ロボット６５であり、このときの仮視線ベクトルには符号７１が付されている。実線で図示された六角形は、現在時刻より後の時刻Ｔｋ+１における掃除ロボット６５´であり、このときの仮視線ベクトルには符号７１´が付されている。

　図１４上、点線で図示された三角形は、現在時刻Ｔｋにおけるロボット１であり、このときの仮視線ベクトルには符号７０が付されている。実線で図示された三角形は、現在時刻より後の時刻Ｔｋ+１におけるロボット１´であり、このときの仮視線ベクトルには符号７０´が付されている。実線で図示された三角形の位置は、ロボット１の第１の行動を規定する第２の目標位置Ｐtarget２となる。

　図１４に示すように、ロボット１の速度ベクトル６８、掃除ロボット６５の予測速度ベクトル６９、仮視線ベクトル７０、仮視線ベクトル７１を基に、現在時刻Ｔｋから時刻Ｔｋ＋１の間での、仮視線ベクトル７０から仮視線ベクトル７０´への時系列変化と、仮視線ベクトル７１から仮視線ベクトル７１´への時系列変化との相似性を計算し、閾値よりも低い相似性となるように、第１の行動のロボット制御信号が生成される。

　具体的には、ロボット１において、時刻Ｔｋ＋１における仮視線ベクトル７０´を算出し、この仮視線ベクトル７０´と時刻Ｔｋにおける仮視線ベクトル７０とのなす角θｒを算出する。同様に、掃除ロボット６５において、時刻Ｔｋ＋１における仮視線ベクトル７１´を算出し、この仮視線ベクトル７１´と時刻Ｔｋにおける仮視線ベクトル７１とのなす角θａを算出する。

　θｒとθａとの差が、ユーザの視線推定精度により決まる閾値、例えば角度分解能より低い場合は、相似性が低く、ロボット１と掃除ロボット６５の行動が類似していないと判定することができる。

　従って、ロボット１の周囲に移動オブジェクトが存在する場合は、θｒとθａとの差が閾値より高くなるように、第１の行動に係るロボット制御信号が生成される。これにより、第１の行動が周囲の移動オブジェクトの行動と類似しない行動となるので、注視判定対象の人物の視線の変化をより顕著に検出することが可能となる。これにより、対象人物がロボット１を注視しているか否かの判定精度が向上する。

　一方、θｒとθａとのを差が、視線推定精度により決まる閾値、例えば角度分解能以下である場合は、相似性が高く、ロボット１と掃除ロボット６５の行動が類似していると判定することができる。この場合、ユーザＵ１の視線の変化に基づくユーザＵ１の注視判定が難しいと考えられる。

　このように、ロボット１の周囲の移動オブジェクトである掃除ロボット６５の行動と類似しない第１の行動となるように、まず、掃除ロボット（周囲の移動オブジェクト）６５の過去の移動情報から算出された掃除ロボット６５の時刻Ｔｋから時刻Ｔｋ＋１の間の予測移動軌跡を基に、ユーザが掃除ロボット６５を注視していると想定したときのユーザの視線の仮視線ベクトルの移動角度（θａ）が算出される。

　次に、ユーザがロボット１を注視していると想定したときのユーザの視線の仮視線ベクトルの移動角度（θｒ）とθａとの差が閾値より高くなるように、時刻Ｔｋにおけるロボット１の位置及び時刻Ｔｋでの仮視線ベクトルを基に、第２の目標位置Ｐtarget２が設定される。
　これにより、移動オブジェクトは、ユーザからみて中間オブジェクトの移動方向とは異なる方向に移動するように制御され、中間オブジェクトと類似しない行動を実行する。

　（ハードウェア構成）
　上述した注視判定に係る一連の処理を、ハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれたコンピュータ、又は例えば図１５に示した汎用コンピュータなどを用いて実行される。

　図１５において、ＣＰＵ（Central Processing Unit）５１は、汎用コンピュータの動作全般を制御する。ＲＯＭ（Read Only Memory）５３には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。ＲＡＭ（Random Access Memory）５２には、処理の実行時にＣＰＵ５１により用いられるプログラムやデータなどが一時的に記憶される。

　ＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３は、バス５７を介して相互に接続される。バス５７には更に、インターフェース５４、ドライブ５５、記憶部５６が接続される。

　インターフェース５４は、例えばカメラ、デプスセンサ、マイク、タッチセンサ、スピーカ、又はＬＥＤインジケータ等の入出力部４０との間でデータ入出力を行う。また、インターフェース５４は、移動機構３４との間でデータの入出力を行う。

　ドライブ５５は、必要に応じて汎用コンピュータに設けられ、リムーバブルメディアを駆動する。リムーバブルメディアは、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体であり、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等である。
　記憶部５６は、例えばハードディスクからなり、プログラムやデータを記憶する。

　一連の処理を実行する場合には、例えば図１５に示したＲＯＭ５３、記憶部５６、又はドライブ５５に装着されたリムーバブルディアに格納されたプログラムが、実行時にＲＡＭ５２に読み込まれ、ＣＰＵ５１によって実行される。

　以上のように、本実施形態においては、注視判定対象の人物とロボット１との間に中間オブジェクトが存在していても、注視判定に適した移動経路となるようにロボット１の位置が制御されるので、精度のよい注視判定処理を行うことができる。これにより、注視判定結果に基づいて、ロボット１はユーザに対してより適切な行動を実行することができ、自然なコミュニケーションが可能となる。

＜第２の実施形態＞
　第１の実施形態では、注視判定のための第１の行動のロボット制御信号生成において、第２の目標位置がユーザの視線ベクトルと直交する仮想直線Ｌ上に設定する例をあげたが、これに限定されない。
　以下、具体的な例を、図１６を用いて説明し、上述と同様の構成については同様の符号を付し、説明を省略する場合がある。図１６は、実空間である居間６０を上から見た模式図となっている。

　本実施形態のように、第１の行動が実行される直前の行動と異なる行動で、ロボット１を視線追従するユーザの視線角度差分が３０度／秒以内となる速さという条件を満たす領域６７であって、第１の行動実行直前の動きベクトルと１８０度異なる反対方向のベクトル上であって、第１の行動が実行される直前にロボット１が存在する位置から最も離れた位置に第２の目標位置Ｐtarget２が設定されて、第１の行動が制御されてもよい。

　図１６に示すように、本実施形態では、現在時刻Ｔｍでの動きベクトルＭ（Ｔｍ）を１８０度回転した動きベクトルＭ´（Ｔｍ）上であって、ユーザが自然に視線追従できる領域６７内であって、現在位置から最も離れた位置に、第２の目標位置Ｐtarget２が設定される。すなわち、ロボット１の第１の行動の移動方向は、その直前に行われていた行動の移動方向と１８０度反対に変化させたものとなる。

　本実施形態のこのような手法を用いることにより、ユーザの視線ベクトルの推定精度が低いとき、ユーザの視線ベクトルがロボット１の方を向いてはいないが、ロボット１を見ている可能性があるとき、複数存在するユーザそれぞれの視線ベクトルから仮想直線の推定が困難なとき、多数の移動オブジェクトが存在し、それらと異なる行動の推定が困難なとき等に、ユーザが視線追従しやすく、かつ、注視判定しやすくなる。従って、視線注視判定の精度を向上させることができる。

＜第３の実施形態＞
　上述の実施形態においては、注視判定対象の人物が一人の場合を例にあげて説明した。本実施形態では注視判定対象の人物が複数いる場合について、図１７～図２０を用いて説明する。尚、注視判定対象の人物が一人の場合に行われる処理と同様の処理については説明を省略する場合がある。また、上述と同様の構成については同様の符号を付し、説明を省略する場合がある。ここでは、ユーザが複数存在する場合の仮想直線の求め方を中心に説明する。

　図１７～図２０は、いずれも実空間である居間６０を上から見た模式図となっている。居間６０では、２人のユーザＵ１、Ｕ２がソファ６１に座っている。ここでは、２人のユーザＵ１、Ｕ２が、注視判定対象の人物となる。

　図１７は、ロボット１が、時刻Ｔｋに位置Ｐ（Ｔｋ）に位置し、第１の目標位置Ｐtarget１に向かって移動している様子を示す。
　次に、図１８に示すように、ロボット１の移動途中、ロボット１が時刻Ｔｍ（Ｔｋ<Ｔｍ）に位置Ｐ（Ｔｍ）に位置するときに、顔及び視線検出部１７により、ユーザＵ１からの視線１６４とユーザＵ２からの視線１６５が検出される。視線１６４（１６５）は、第１の行動開始直前におけるユーザＵ１（ユーザＵ２）の視線である。

　視線判定部１８により、ユーザＵ１の視線１６４及びユーザＵ２の視線１６５のいずれもがロボット１に向けられていないと判定されると、注視判定処理は行われない。

　視線判定部１８により、ユーザＵ１の視線１６４、ユーザＵ２の視線１６５のいずれか一方のみがロボット１に向けられていると判定されると、視線を向けていると思われる人物を注視判定処理の対象人物として、第１の実施形態に記載の注視判定処理に係る一連の処理が行われる。

　視線判定部１８により、ユーザＵ１の視線１６４及びユーザＵ２の視線１６５のいずれもがロボット１に向けられていると判定されると、ロボット制御部１５により、図１９に示すように、デプスセンサ４２で測定されたロボット１とユーザＵ１との距離情報及び視線１６４の視線ベクトルを基に、ユーザＵ１が自然にロボット１を視線追従できる領域１６７が推定される。

　同様に、デプスセンサ４２で測定されたロボット１とユーザＵ２との距離情報及び視線１６５の視線ベクトルを基に、ユーザＵ２が自然にロボット１を視線追従できる領域１６８が推定される。

　次に、ロボット制御部１５により、推定されたユーザＵ１が視線追従できる領域１６７と、ユーザＵ２が視線追従できる領域１６８とが重なり合う共通領域１６９が推定される。図１９では、ユーザＵ１及びＵ２の双方が視線追従できると推定される共通領域１６９をドットパターンで示している。

　次に、ロボット制御部１５により、図２０に示すように、視線１６４の視線ベクトルに対して直交する仮想直線Ｌ１が推定される。同様に、視線１６５の視線ベクトルに対して直交する仮想直線Ｌ２が推定される。
　次に、互いに交差する仮想直線Ｌ１と仮想直線Ｌ２とのなす角を二等分する仮想直線Ｌ３が求められる。

　次に、ロボット制御部１５により、ユーザＵ１及びＵ２の双方が視線追従できる共通領域１６９内であり、仮想直線Ｌ３上であり、位置Ｐ（Ｔｍ）から第１の目標位置Ｐtarget１への動きベクトルと位置Ｐ（Ｔｍ）から第２の目標位置Ｐtarget２への動きベクトルとのなす角が最大となるように、第２の目標位置Ｐtarget２が設定される。

　次に、ロボット制御部１５により、位置Ｐ（Ｔｍ）から第２の目標位置Ｐtarget２に時刻Ｔｎに到達するというロボット１の第１の行動の制御信号が生成される。

　このように、注視判定対象人物が複数いる場合は、第２の目標位置Ｐtarget２は、第１の行動開始直前の複数の各注視判定対象物それぞれの視線の視線ベクトル及び当該視線ベクトルの延長線上以外に設定される。

　ここでは、注視判定対象人物が２人の場合について説明したが、注視判定対象人物が３人以上の場合、上述の仮想直線Ｌ３は次のように求めることができる。

　注視判定対象人物がｋ（ｋは３以上の整数）人存在し、各対象人物の視線ベクトルと直交する仮想直線がｋ本あるとする。隣り合う２本の仮想直線がなす角の二等分線はｋ－１本引くことができる。更に、このｋ－１本の二等分線について、隣り合う二等分線がなす角の二等分線はｋ－２本引くことができる。これをくり返すことにより最終的に1本の二等分線が求められ、これが仮想直線Ｌ３となる。

　尚、複数存在するユーザそれぞれの視線ベクトルから仮想直線の推定が困難なときは、第２の実施形態で説明した第１の行動をロボット１に実行させればよい。

＜その他の実施形態＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、上述の実施形態においては、中間オブジェクトが実空間に存在する例をあげたが、これに限定されない。
　一例として、ユーザが頭部装着型の表示装置（ＨＭＤ：Head　Mounted　Display）を装着し、ＨＭＤによりユーザに対して提示される表示画像中に、実オブジェクトであるロボット１が映し出され、更に、ＨＭＤを装着しているユーザとロボット１との間に仮想の中間オブジェクトが存在する場合にも本技術を適用することができる。

　ＨＭＤの一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。これらのＨＭＤでは、ＨＭＤの表示画像制御部により、ＡＲ（Augmented　Reality：拡張現実）技術に基づき、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像が重畳された画像が表示可能に制御される。

　ＨＭＤに適用される場合、ロボット１の制御部１０は、ＨＭＤの表示画像制御部から、中間オブジェクトの現在時刻での位置、形状等の情報を取得可能に構成される。しかし、ロボット１の制御部１０は、中間オブジェクトの動きの制御を行うことはできない。ＨＭＤにより提示される表示画像中の仮想の中間オブジェクトの動きはＨＭＤの表示画像制御部によって制御される。

　尚、ロボット１の制御部１０は、中間オブジェクトの現在時刻より後の時刻の行動情報を取得できるように構成してもよいし、取得できないように構成してもよい。

　制御部１０により、ＨＭＤの制御部から現在時刻より後の時刻の中間オブジェクトの行動情報を取得できる場合、この行動情報を用いて、注視判定のためのロボット１の第１の行動の制御信号が生成される。

　現在時刻より後の時刻の中間オブジェクトの行動情報を取得可能できない場合、第１の実施形態と同様に、制御部１０により、過去の中間オブジェクトの行動から現在時刻より後の行動が予測され、この予測結果を用いて注視判定のための第１の行動の制御信号が生成される。

　ユーザがＨＭＤを装着する場合、ユーザの視線は、ＨＭＤに搭載される視線検出部により検出されてもよい。以下説明する。
　ＨＭＤには表示画像が表示され、ユーザは左右の目でそれを見ている。ＨＭＤには、視線検出部として、赤外線ＬＥＤ、赤外線カメラ又はＰＳＤ（Position Sensitive Detector）センサ、及び画像解析装置が設けられる。

　赤外線ＬＥＤはユーザの左右の目それぞれに赤外線を照射する。赤外線カメラまたはＰＳＤセンサはユーザの左右の目それぞれを撮影し、そのデータを画像解析装置に供給する。画像解析装置は、左右の目の撮影画像から、赤外線の角膜における反射位置と瞳孔の位置とを特定し、その位置関係からユーザの視線を特定する。

　尚、視線を検出する手法はこれに限らず、例えば可視光カメラで左右の目を撮影し、そのうち目頭と虹彩の位置関係から視線を特定する技術など一般的な手法を採用してもよい。

　また、上述の実施形態においては、注視判定に係る一連の処理を行う制御部１０がロボット１に搭載されている例をあげたが、制御部１０がクラウドサーバ上や他の機器にあってもよく、この場合、クラウドサーバや他の機器が情報処理装置となる。また、制御部１０の一部がクラウドサーバ上や他の機器にあり、他がロボット１にあっても良い。

　なお、本技術は以下のような構成もとることができる。

　（１）
　実空間に存在するユーザと移動機構を有する移動オブジェクトとの間に中間オブジェクトが存在すると判定されると、上記ユーザから見た上記移動オブジェクトと上記中間オブジェクトの相対的な位置関係が変更されるように上記移動オブジェクトを制御し、上記相対的な位置関係が変更された後に取得される上記ユーザの視線情報に基づいて、上記移動オブジェクトを制御する移動オブジェクト制御部
　を具備する情報処理装置。

　（２）
　　上記（１）に記載の情報処理装置であって、
　上記移動オブジェクト制御部は、上記相対的な位置関係が変更された後に、上記移動オブジェクトが、上記相対的な位置関係が変更される直前の上記ユーザの視線の視線方向上以外に位置するように、上記移動オブジェクトを制御する
　情報処理装置。

　（３）
　上記（１）又は（２）に記載の情報処理装置であって、
　上記移動オブジェクト制御部は、上記相対的な位置関係が変更された後に、上記移動オブジェクトが上記視線方向に直交する仮想直線上に位置するように、上記移動オブジェクトを制御する
　情報処理装置。

　（４）
　上記（１）から（３）のいずれか１つに記載の情報処理装置であって、
　上記ユーザは複数存在し、
　上記移動オブジェクト制御部は、上記相対的な位置関係が変更された後に、上記移動オブジェクトが上記相対的な位置関係が変更される直前の複数の上記ユーザそれぞれの視線の視線方向上以外に位置するように、上記移動オブジェクトを制御する
　情報処理装置。

　（５）
　上記（１）から（４）のいずれか１つに記載の情報処理装置であって、
　上記移動オブジェクト制御部は、上記相対的な位置関係が変更されるように行動する上記移動オブジェクトの行動が、上記ユーザからみて上記中間オブジェクトの行動と類似しないように上記移動オブジェクトを制御する
　情報処理装置。

　（６）
　上記（１）から（５）のいずれか１つに記載の情報処理装置であって、
　上記移動オブジェクト制御部は、上記ユーザからみて上記中間オブジェクトの移動方向とは異なる方向に移動するように上記移動オブジェクトを制御する
　情報処理装置。

　（７）
　上記（１）から（６）のいずれか１つに記載の情報処理装置であって、
　上記移動オブジェクト制御部は、移動する上記中間オブジェクトの過去の位置情報の経時変化を基に予測した上記中間オブジェクトの予測位置を用いて、上記移動オブジェクトを制御する
　情報処理装置。

　（８）
　上記（１）から（７）のいずれか１つに記載の情報処理装置であって、
　上記移動オブジェクト制御部は、上記移動オブジェクトが、上記相対的な位置関係が変更される直前に実行されていた上記移動オブジェクトの行動と異なる行動を実行し、上記相対的な位置関係が変更されるように、上記移動オブジェクトを制御する
　情報処理装置。

　（９）
　上記（１）から（８）のいずれか１つに記載の情報処理装置であって、
　上記移動オブジェクト制御部は、上記移動オブジェクトが、上記相対的な位置関係が変更される直前に実行されていた上記移動オブジェクトの移動方向と異なる移動方向に移動し、上記相対的な位置関係が変更されるように、上記移動オブジェクトを制御する
　情報処理装置。

　（１０）
　上記（１）から（９）のいずれか１つに記載の情報処理装置であって、
　上記移動オブジェクト制御部は、上記移動オブジェクトが、上記相対的な位置関係が変更される直前の上記移動オブジェクトの移動方向と１８０度異なる方向に移動し、上記相対的な位置関係が変更されるように、上記移動オブジェクトを制御する
　情報処理装置。

　（１１）
　上記（１）から（１０）のいずれか１つに記載の情報処理装置であって、
　上記移動オブジェクト制御部は、上記移動オブジェクトが、上記ユーザが上記移動オブジェクトを視線追従可能な速さで移動し、上記相対的な位置関係が変更されるように、上記移動オブジェクトを制御する
　情報処理装置。

　（１２）
　上記（１）から（１１）のいずれか１つに記載の情報処理装置であって、
　上記移動オブジェクトは上記移動機構を有する移動体である
　情報処理装置。

　（１３）
　上記（１２）に記載の情報処理装置であって、
　上記移動体は地上を移動可能に構成される
　情報処理装置。

　（１４）
　上記（１２）に記載の情報処理装置であって、
　上記移動体は飛行可能に構成される
　情報処理装置。

　（１５）
　上記（１）から（１４）のいずれか１つに記載の情報処理装置であって、
　上記情報処理装置は、上記移動機構と上記移動オブジェクト制御部を備える上記移動オブジェクトである
　情報処理装置。

　（１６）
　上記（１）から（１５）のいずれか１つに記載の情報処理装置であって、
　上記移動オブジェクトは、上記ユーザからの指示待ちを示すインジケータを備える
　情報処理装置。

　（１７）
　上記（１）から（１６）のいずれか１つに記載の情報処理装置であって、
　上記移動オブジェクトは、周囲の環境の画像情報を取得する画像取得部を備え、
　上記移動オブジェクト制御部は、上記画像情報を用いて取得した上記ユーザの視線情報に基づいて上記移動オブジェクトを制御する
　情報処理装置。

　（１８）
　上記（１７）に記載の情報処理装置であって、
　上記画像取得部はデプスセンサを含む
　情報処理装置。

　（１９）
　実空間に存在するユーザと移動機構を有する移動オブジェクトとの間に、中間オブジェクトが存在すると判定すると、上記ユーザから見た上記移動オブジェクトと上記中間オブジェクトの相対的な位置関係が変更されるように上記移動オブジェクトを制御し、
　上記相対的な位置関係が変更された後に取得される上記ユーザの視線情報に基づいて、上記移動オブジェクトを制御する
　情報処理方法。

　（２０）
　実空間に存在するユーザと移動機構を有する移動オブジェクトとの間に、中間オブジェクトが存在すると判定すると、上記ユーザから見た上記移動オブジェクトと上記中間オブジェクトの相対的な位置関係が変更されるように上記移動オブジェクトを制御するステップと、
　上記相対的な位置関係が変更された後に取得される上記ユーザの視線情報に基づいて、上記移動オブジェクトを制御するステップ
　を含む処理を情報処理装置に実行させるためのプログラム。

　１…ロボット（移動オブジェクト、情報処理装置、自律行動ロボット）
　１１…３次元センシング部
　１３…自己位置推定部
　１４…環境マップ作成部
　１５…ロボット制御部（移動オブジェクト制御部）
　１６…オブジェクト検出部
　１７…顔及び視線検出部（視線検出部）
　１８…視線判定部
　２０…注視判定部
　３４…移動機構
　４１…カメラ（画像取得部）
　４２…デプスセンサ（画像取得部、デプスセンサ）
　４６…ＬＥＤインジケータ（インジケータ）
　６０…居間（実空間）
　６４、１６４，１６５…ユーザの視線
　６６…木馬（中間オブジェクト）
　Ｌ、Ｌ１、Ｌ２、Ｌ３…仮想直線
　Ｕ１…ユーザ
　Ｕ３…ユーザ（中間オブジェクト）

Claims

　実空間に存在するユーザと移動機構を有する移動オブジェクトとの間に中間オブジェクトが存在すると判定されると、前記ユーザから見た前記移動オブジェクトと前記中間オブジェクトの相対的な位置関係が変更されるように前記移動オブジェクトを制御し、前記相対的な位置関係が変更された後に取得される前記ユーザの視線情報に基づいて、前記移動オブジェクトを制御する移動オブジェクト制御部
　を具備する情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記移動オブジェクト制御部は、前記相対的な位置関係が変更された後に、前記移動オブジェクトが、前記相対的な位置関係が変更される直前の前記ユーザの視線方向上以外に位置するように、前記移動オブジェクトを制御する
　情報処理装置。
　請求項２に記載の情報処理装置であって、
　前記移動オブジェクト制御部は、前記相対的な位置関係が変更された後に、前記移動オブジェクトが前記視線方向に直交する仮想直線上に位置するように、前記移動オブジェクトを制御する
　情報処理装置。
　請求項２に記載の情報処理装置であって、
　前記ユーザは複数存在し、
　前記移動オブジェクト制御部は、前記相対的な位置関係が変更された後に、前記移動オブジェクトが前記相対的な位置関係が変更される直前の複数の前記ユーザそれぞれの視線の視線方向上以外に位置するように、前記移動オブジェクトを制御する
　情報処理装置。
　請求項２に記載の情報処理装置であって、
　前記移動オブジェクト制御部は、前記相対的な位置関係が変更されるように行動する前記移動オブジェクトの行動が、前記ユーザからみて前記中間オブジェクトの行動と類似しないように前記移動オブジェクトを制御する
　情報処理装置。
　請求項５に記載の情報処理装置であって、
　前記移動オブジェクト制御部は、前記ユーザからみて前記中間オブジェクトの移動方向とは異なる方向に移動するように前記移動オブジェクトを制御する
　情報処理装置。
　請求項６に記載の情報処理装置であって、
　前記移動オブジェクト制御部は、移動する前記中間オブジェクトの過去の位置情報の経時変化を基に予測した前記中間オブジェクトの予測位置を用いて、前記移動オブジェクトを制御する
　情報処理装置。
　請求項５に記載の情報処理装置であって、
　前記移動オブジェクト制御部は、前記移動オブジェクトが、前記相対的な位置関係が変更される直前に実行されていた前記移動オブジェクトの行動と異なる行動を実行し、前記相対的な位置関係が変更されるように、前記移動オブジェクトを制御する
　情報処理装置。
　請求項８に記載の情報処理装置であって、
　前記移動オブジェクト制御部は、前記移動オブジェクトが、前記相対的な位置関係が変更される直前に実行されていた前記移動オブジェクトの移動方向と異なる移動方向に移動し、前記相対的な位置関係が変更されるように、前記移動オブジェクトを制御する
　情報処理装置。
　請求項９に記載の情報処理装置であって、
　前記移動オブジェクト制御部は、前記移動オブジェクトが、前記相対的な位置関係が変更される直
前の前記移動オブジェクトの移動方向と１８０度異なる方向に移動し、前記相対的な位置関係が変更されるように、前記移動オブジェクトを制御する
　情報処理装置。
　請求項８に記載の情報処理装置であって、
　前記移動オブジェクト制御部は、前記移動オブジェクトが、前記ユーザが前記移動オブジェクトを視線追従可能な速さで移動し、前記相対的な位置関係が変更されるように、前記移動オブジェクトを制御する
　情報処理装置。
　請求項１１に記載の情報処理装置であって、
　前記移動オブジェクトは前記移動機構を有する移動体である
　情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記移動体は地上を移動可能に構成される
　情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記移動体は飛行可能に構成される
　情報処理装置。
　請求項１３又は請求項１４に記載の情報処理装置であって、
　前記情報処理装置は、前記移動機構と前記移動オブジェクト制御部を備える前記移動オブジェクトである
　情報処理装置。
　請求項１５に記載の情報処理装置であって、
　前記移動オブジェクトは、前記ユーザからの指示待ちを示すインジケータを備える
　情報処理装置。
　請求項１６に記載の情報処理装置であって、
　前記移動オブジェクトは、周囲の環境の画像情報を取得する画像取得部を備え、
　前記移動オブジェクト制御部は、前記画像情報を用いて取得した前記ユーザの視線情報に基づいて前記移動オブジェクトを制御する
　情報処理装置。
　請求項１７に記載の情報処理装置であって、
　前記画像取得部はデプスセンサを含む
　情報処理装置。
　実空間に存在するユーザと移動機構を有する移動オブジェクトとの間に、中間オブジェクトが存在すると判定すると、前記ユーザから見た前記移動オブジェクトと前記中間オブジェクトの相対的な位置関係が変更されるように前記移動オブジェクトを制御し、
　前記相対的な位置関係が変更された後に取得される前記ユーザの視線情報に基づいて、前記移動オブジェクトを制御する
　情報処理方法。
　実空間に存在するユーザと移動機構を有する移動オブジェクトとの間に、中間オブジェクトが存在すると判定すると、前記ユーザから見た前記移動オブジェクトと前記中間オブジェクトの相対的な位置関係が変更されるように前記移動オブジェクトを制御するステップと、
　前記相対的な位置関係が変更された後に取得される前記ユーザの視線情報に基づいて、前記移動オブジェクトを制御するステップ
　を含む処理を情報処理装置に実行させるためのプログラム。