JP7272278B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

仮想空間内のメニューアイテムや実空間内の物体等の選択対象となるオブジェクト群に対するユーザの視点を検出してオブジェクトを選択するような場合、一般的に、オブジェクト毎の注視点の滞留時間を利用して注視状態であるか否かを判定する手法が用いられている。注視点の滞留時間を利用してオブジェクト選択する方法では、注視点の滞留時間の判定閾値を小さくするほど、ユーザの意図とは異なるオブジェクトが選択されてしまう事がある。

そこで、以下の特許文献１には、ユーザの顔向き情報、距離情報、注視時間情報、解像度情報等を用いて算出される注視位置の検出精度に応じて、表示部に表示させるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の表示形態を切り替える情報処理装置が開示されている。

特開２０１６－１５１７９８号公報

しかし、特許文献１に開示されている情報処理装置は、検出精度に応じて表示形態を切り替えるものであり、十分な検出精度が得られない場合には、ユーザの注視位置近傍にあるいくつかのアイコン等を表示させるのみである。そのため、ユーザの意図するタイミングで、所定の内容を表示させることには未だ改善の余地がある。

そこで、本開示では、上記事情に鑑みて、ユーザの意図するタイミングで所定の内容を表示させることが可能な、情報処理装置、情報処理方法及びプログラムを提案する。

本開示によれば、ユーザの視点に関する視点情報を取得する視点情報取得部と、ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部と、ユーザの頭部の回転に伴う角速度と前記角速度の変化に関する頭部回転情報を取得する頭部回転情報取得部と、視点情報、位置関連情報及び頭部回転情報に応じてオブジェクト毎に算出され、オブジェクトに対するユーザの注視の程度を表す注視スコアに基づいて、ユーザが前記オブジェクトを注視しているかどうかを判定する判定部とを備える、情報処理装置が提供される。

また、本開示によれば、ユーザの視点に関する視点情報を取得することと、ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得することと、ユーザの頭部の回転に伴う角速度と角速度の変化に関する頭部回転情報を取得することと、視点情報、位置関連情報及び頭部回転情報に応じてオブジェクト毎に算出され、オブジェクトに対するユーザの注視の程度を表す注視スコアに基づいて、ユーザがオブジェクトを注視しているか否かを判定すること、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータを、ユーザの視点に関する視点情報を取得する視点取得部、ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部、ユーザの頭部の回転に伴う角速度と角速度の変化に関する頭部回転情報を取得する頭部情報取得部、及び視点情報、位置関連情報及び頭部回転情報に応じてオブジェクト毎に算出され、オブジェクトに対するユーザの注視の程度を表す注視スコアに基づいて、ユーザが前記オブジェクトを注視しているかどうかを判定する注視スコア算出部、として機能させるための、プログラムが提供される。

本開示によれば、ユーザの視点情報と、ユーザとオブジェクトの位置に関する位置関連情報と、ユーザの頭部の回転に関する頭部回転情報に応じて、オブジェクト毎に注視スコアが判定される。

以上説明したように本開示によれば、ユーザの意図するタイミングで所定の内容を表示させることが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る情報処理システム１の構成の一例を示すブロック図である。 同実施形態に係る頭部回転情報の概要を説明するための説明図である。 同実施形態に係る頭部回転情報の概要を説明するための説明図である。 同実施形態に係る頭部回転情報の概要を説明するための説明図である。 同実施形態に係る頭部回転情報の概要を説明するための説明図である。 同実施形態に係るオブジェクトｏｂの表示形態の一例を示す説明図である。 同実施形態に係るオブジェクトｏｂの表示形態の一例を示す説明図である。 同実施形態に係るオブジェクトｏｂの表示形態の一例を示す説明図である。 同実施形態に係るオブジェクトｏｂの表示形態の一例を示す説明図である。 同実施形態に係るオブジェクトｏｂの表示形態の一例を示す説明図である。 同実施形態に係るオブジェクト情報の表示方法の一例を示す説明図である。 同実施形態に係るオブジェクト情報の表示方法の一例を示す説明図である。 同実施形態に係るオブジェクト情報の表示方法の一例を示す説明図である。 同実施形態に係るオブジェクトｏｂの表示形態の一例を示す説明図である。 同実施形態に係るオブジェクトｏｂの表示形態の一例を示す説明図である。 同実施形態に係る動作の流れの一例を示す流れ図である。 同実施形態に係る動作の一例を説明するための説明図である。 同実施形態に係る動作の一例を説明するための説明図である。 同実施形態に係るユーザ情報の一例を説明するための説明図である。 同実施形態に係るオブジェクト情報の一例を説明するための説明図である。 同実施形態に係る動作の一例を説明するための説明図である。 同実施形態に係る注視スコア履歴情報の一例を説明するための説明図である。 本開示の別の実施形態に係る情報処理システム５の構成の一例を示すブロック図である。 同実施形態に係る表示制御装置５５０の構成の一例を示すブロック図である。 同実施形態に係る動作の流れの一例を示す流れ図である。 同実施形態に係る動作の一例を説明するための説明図である。 本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
＜＜＜第１の実施形態＞＞＞
＜＜構成＞＞
＜全体構成＞
＜情報処理装置１０の構成＞
＜＜動作＞＞
＜動作例１＞
＜動作例２＞
＜動作例３＞
＜動作例４＞
＜動作例５＞
＜動作例６＞
＜動作例７＞
＜＜＜第２の実施形態＞＞＞
＜＜構成＞＞
＜＜動作＞＞
＜＜＜ハードウェア構成＞＞＞
＜＜＜結び＞＞＞

＜＜＜第１の実施形態＞＞＞
＜＜構成＞＞
まず、図１、図２、および図３を参照して本開示の一実施形態に係る情報処理システム１の全体構成を説明する。図１は、本開示の一実施形態に係る情報処理システム１の構成例を示すブロック図である。図２は、同実施形態に係る頭部回転情報の概要を説明するための説明図である。図３は、同実施形態に係る頭部回転情報の概要を説明するための説明図である。

＜全体構成＞
図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０を少なくとも備える。情報処理装置１０は、必要に応じてインターネット等の公知のネットワーク３０を介して、１または複数の各種のサーバ２０と相互に通信を行うことが可能である。

本実施形態に係る情報処理装置１０は、例えばメガネ型ディスプレイやヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ：ＨＭＤ）等のような、ユーザＵが装着して使用する装置であってもよく、スマートフォンなどの情報処理端末であってもよい。情報処理装置１０は、ユーザＵの視点Ｐに関する視点情報と、ユーザＵとオブジェクトｏｂとの位置関連情報とを取得する。情報処理装置１０は、更に、取得された視点情報と位置関連情報を基にユーザＵの頭部の回転に伴う角速度と角速度の変化に関する頭部回転情報を取得する。情報処理装置１０は、取得された、視点情報、位置関連情報及び頭部回転情報に応じて、オブジェクトｏｂに対するユーザＵの注視の程度を表す注視スコアＳを算出して、ユーザＵがオブジェクトｏｂを注視しているか否かを判定する機能を有する。

サーバ２０には、ユーザＵが置かれた環境に存在する各種のオブジェクトｏｂに関する様々な情報であるオブジェクト情報が格納されている。また、サーバ２０は、情報処理装置１０を利用するユーザＵのユーザ情報等を管理していてもよい。情報処理装置１０は、必要に応じて適切なサーバ２０と相互通信を行うことで、これらの情報を適宜取得することができる。

ネットワーク３０は、例えばインターネット等のような公知の情報通信技術を用いて実現されており、情報処理装置１０と、サーバ２０とを相互に接続する。

オブジェクト情報は、オブジェクトｏｂそのものに関する情報、又はそのオブジェクトｏｂに対して設定されて利用される情報の少なくともいずれかを含む。オブジェクトｏｂそのものに関する情報は、例えば、オブジェクトｏｂの名称、カテゴリ等の情報等を含んでもよく、そのオブジェクトｏｂに対して設定されて利用される情報は、例えば、オブジェクトｏｂが商品である場合、在庫数量、販売優先度、販売期間等の情報を含んでもよい。

また、オブジェクト情報は、オブジェクトｏｂを管理する管理者、例えば、オブジェクトｏｂが商品である場合、オブジェクトｏｂのメーカーや販売会社等によってあらかじめ登録されていてもよい。

ユーザ情報とは、ユーザＵの外見や嗜好等、ユーザＵ個人を特徴づける情報である。このような情報としては、例えば、ユーザＵの性別、身長、趣味等の情報の他、更にユーザＵの予定等の情報を含んでもよい。ユーザ情報は、情報処理装置１０を使用するユーザＵ等により登録されたものであってもよいし、サーバ２０が、ユーザＵの行動等を機械学習することで自動的に蓄積されるものであってもよい。

＜情報処理装置１０の構成＞
次に、本実施形態に係る情報処理装置１０の構成について詳細に説明する。本実施形態に係る情報処理装置１０は、例えば、視点情報取得部１０１と、位置関連情報取得部１０３と、頭部回転情報取得部１０５と、注視スコア算出部１０７と、判定部１０９と、表示制御部１１１と、通信制御部１１３と、記憶部１１５とを備える。

視点情報取得部１０１は、情報処理装置１０に備えられた可視カメラや赤外カメラ等の撮像装置から得られた画像情報に基づき、情報処理装置１０を使用しているユーザＵの視点Ｐに関する視点情報を取得する。

このとき、情報処理装置１０には、情報処理装置１０の位置を原点とした３次元直交座標系が、情報処理装置１０の座標系（以降、情報処理装置１０の座標系を、単に「装置座標系」と略記する。）として予め設定されている。視点情報取得部１０１は、例えば、装置座標系におけるユーザＵの眼の位置及び視線方向等を公知の視点検出技術を用いて取得し、かかる装置座標系を空間に設定される固定の座標系であるグローバル座標系に変換して視点情報とすることができる。取得された視点情報は、頭部回転情報取得部１０５又は注視スコア算出部１０７の少なくともいずれか一方に送信される。また、取得された視点情報は、必要に応じて記憶部１１５に送信されて履歴情報として保存されてもよい。

位置関連情報取得部１０３は、ユーザＵの位置に関連する位置関連情報を取得する。位置関連情報には、ユーザＵの位置に関する様々な情報が含まれる。このような情報として、ユーザＵとオブジェクトｏｂとの離隔距離、オブジェクトｏｂに対するユーザＵの移動速度（すなわち、ユーザＵとオブジェクトｏｂとの離隔距離の時間変化）等が例示できる。

位置関連情報取得部１０３は、例えば、情報処理装置１０に備えられたカメラ等により実現され、情報処理装置１０が存在する空間に設定されるグローバル座標系から見た装置座標系の位置及び向き等をＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の公知の技術で取得してもよい。取得された装置座標系の位置及び向きは、ユーザＵの位置及び向きとして利用される。そして、取得された位置関連情報は、頭部回転情報取得部１０５又は注視スコア算出部１０７の少なくともいずれか一方に送信される。また、取得された位置関連情報は、必要に応じて記憶部１１５に送信され、履歴情報として保存されてもよい。

［頭部回転情報取得部１０５］
頭部回転情報取得部１０５は、ユーザＵの頭部の回転に伴う角速度と角速度の変化に関する頭部回転情報を取得する。

ここで、頭部回転情報取得部１０５は、例えば、位置関連情報取得部１０３で取得された装置座標系の方向を頭部の方向として取得してもよい。また、頭部回転情報取得部１０５は、頭部の方向の時間変化を検出することで、ユーザＵの頭部の回転方向を取得してもよい。より詳細には、頭部回転情報は、ユーザＵの位置とみなすことができる頭部回転中心とオブジェクト中心Ｃとを結ぶ直線と、位置関連情報取得部１０３で取得されたユーザＵの頭部方向ｕｄを基に取得される。

図２は、ユーザＵが所定のオブジェクトｏｂを注視しようとする場合を模式的に示した図である。

ユーザＵの頭部回転中心及びオブジェクトｏｂの中心は、位置関連情報取得部１０３によって公知の位置取得技術を用いて取得される。ユーザＵの頭部の回転方向は、頭部回転情報取得部１０５により、ユーザＵの位置すなわち頭部回転中心とオブジェクト中心Ｃとを結ぶ直線に対するユーザＵの頭部方向ｕｄの時間変化を検出することで取得される。

また、頭部回転情報取得部１０５は、ある時刻ｔ_１における角度α_ｔ１と、ｔ_１とは異なる時刻ｔ_２における角度α_ｔ２とを検出し、検出された角度α_ｔ１とα_ｔ２の差分α_ｔ２－α_ｔ１をｔ_２－ｔ_１で除して角速度ωを算出する。

頭部回転情報取得部１０５で取得された頭部回転情報は、注視スコア算出部１０７に送信される。また、取得された頭部回転情報は、必要に応じて記憶部１１５に送信され、履歴情報として保存されてもよい。

なお、位置関連情報取得部１０３及び頭部回転情報取得部１０５は、加速度センサ、ジャイロセンサ等のような位置情報を取得するためのセンサで構成されてもよく、かかるセンサからの出力を利用して、ユーザＵの位置関連情報及び頭部回転情報は取得されてもよい。

［注視スコア算出部１０７］
注視スコア算出部１０７は、少なくとも視点情報取得部１０１で取得された視点情報、位置関連情報取得部１０３で取得された位置関連情報、及び頭部回転情報取得部１０５で取得された頭部回転情報に応じて、オブジェクトｏｂ毎に、オブジェクトｏｂに対するユーザＵの注視の程度を表す注視スコアＳを算出する。算出された注視スコアＳは、判定部１０９又は表示制御部１１１の少なくともいずれか一方に送信される。

ここで、注視スコアＳを算出方法の概要について説明する。先だって言及したように、注視スコアＳの算出には、ユーザＵの頭部の回転方向および回転に伴う角速度ωが用いられる。

注視スコアＳの算出は、ユーザＵの頭部の回転方向および回転に伴う角速度ωに加え、本実施形態に係る情報処理装置１０が扱うあらゆる情報に基づいて設定されてもよい。例えば、位置関連情報の一つであるユーザＵとオブジェクトｏｂとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されたオブジェクト中心ＣからユーザＵの視点Ｐまでの距離ｄ、ユーザＵの特徴及びユーザＵの嗜好を特徴づける情報等を含むユーザ情報等に応じて注視スコアＳは算出されてもよい。

ユーザＵが所定のオブジェクトｏｂを注視しようとする場合、ユーザＵはオブジェクトｏｂのある方向にユーザＵの頭部の方向を一致させようとして、当該オブジェクトｏｂの中心方向に向かって頭部を回転させる。そして、ユーザＵの頭部の方向がオブジェクトｏｂのある方向に近づくと、ユーザＵは、頭部の回転速度を小さくする。つまり、ユーザＵが所定のオブジェクトｏｂを注視しようとする場合、図２に示すように、当該オブジェクト中心ＣとユーザＵを結ぶ直線に対するユーザＵの頭部方向ｕｄとの差である角度αが減少していき、角度α_１が小さくなると、ユーザＵは頭部の回転に伴う角速度ωを減少させる。

ユーザＵが所定のオブジェクトｏｂを注視しない場合、図３に示すように、当該オブジェクトｏｂが存在する方向に向かってユーザＵが頭部を回転させたとしても、ユーザＵの頭部方向ｕｄがオブジェクト中心Ｃ方向と一致する前後において、ユーザＵは角速度ωを減少させることなく頭部を回転させる。その後、ユーザＵは角度αが増大するように頭部を引き続き回転させる。

また、ユーザＵが所定のオブジェクトｏｂを注視した状態から、他のオブジェクトｏｂに注視の対称を変える場合、ユーザＵは、他のオブジェクトｏｂの方向に頭部の方向が一致するように頭部を回転させる。このとき、ユーザＵの頭部は、角速度ωが増大するように回転する。

したがって、オブジェクトｏｂに対する頭部の回転方向及び角速度ωに着目することで、ユーザＵの意図を反映させて、より正確かつ迅速に注視スコアＳを算出することができる。つまり、注視スコアＳを算出する算出式を、頭部の回転方向及び角速度ωを反映したものとすることで、注視スコアＳを正確かつ迅速に算出することができる。

また、注視スコア算出部１０７は、更に、ユーザＵの視点Ｐの位置に応じて注視スコアＳを算出することができる。

例えば、ユーザＵの視点Ｐがオブジェクトｏｂ上に位置しており、オブジェクトｏｂに対するユーザＵの頭部の回転方向が、頭部回転中心とオブジェクト中心Ｃとを結ぶ直線と、位置関連情報取得部１０３で取得されたユーザＵの頭部の方向とのなす角αが減少する方向である場合に、注視スコア算出部１０７は、注視スコアＳが増大するようにしてもよい。

また、ユーザＵの視点Ｐがオブジェクトｏｂ上に位置しており、オブジェクトｏｂに対するユーザＵの頭部の回転方向が、角度αが増大する方向である場合であっても、ユーザＵの頭部の回転に伴う角速度ωが所定の閾値ω_ｔｈ以下であれば、注視スコア算出部１０７は、注視スコアＳが増大するようにしてもよい。

注視スコア算出式は、注視スコアＳ算出タイミング毎に変化させてもよい。ユーザＵがオブジェクトｏｂを注視しようと視点Ｐを移動させ、頭部を回転させている間、注視スコアＳを算出する時刻に応じて、視点情報、位置関連情報及び頭部回転情報等は変化する。そのため、注視スコア算出部１０７は、例えば、オブジェクトｏｂとユーザＵとの離隔距離や、オブジェクト中心ＣからユーザＵの視点Ｐまでの距離ｄ、及び頭部回転中心とオブジェクト中心Ｃとを結ぶ直線と、ユーザＵが向いている方向とのなす角α等に応じて、注視スコアＳ算出タイミング毎に注視スコア算出式を変化させることができる。

例えば、ユーザＵが所定のオブジェクトｏｂを注視しようとする場合において、角度αが小さいときは、角度αが大きいときと比較して、注視スコアＳが高くなるような算出式が用いられてもよい。さらに、角度αが小さく、角速度ωも減少しているときは、より高い注視スコアＳとなるような注視スコア算出式が用いられてもよい。

また、例えば、ユーザＵの視点Ｐがオブジェクトｏｂ上に位置していない場合に、注視スコアＳが減少するような注視スコア算出式が用いられてもよい。これにより、一度ユーザＵの注視の対象から除外されたオブジェクトｏｂについて、ユーザＵの意図しないオブジェクトｏｂが選択されることが抑制される。

注視スコア算出部１０７は、取得された視点情報、位置関連情報及び頭部回転情報に応じて注視スコア加算量を算出し、その注視スコア加算量を直前に取得された注視スコアＳに加えることで、注視スコアＳを算出してもよい。

具体的には、注視スコア算出部１０７は、ある時刻ｔ_１で算出された注視スコアＳと、ｔ_１とは異なる時刻ｔ_２で取得された頭部回転情報に応じて、注視スコア加算量を算出してもよい。

また、注視スコアＳの初期値及び注視スコア加算量は、注視スコアＳが算出されるタイミング毎に変化してもよい。注視スコア算出部１０７は、例えば、オブジェクトｏｂとユーザＵとの距離や、オブジェクト中心ＣからユーザＵの視点Ｐまでの距離、及び頭部回転中心とオブジェクト中心Ｃとを結ぶ直線と、ユーザＵが向いている方向とのなす角α等に応じて、注視スコアＳの初期値及び注視スコア加算量等を変化させてもよい。

具体的には、時刻ｔにおける注視スコアＳをＳ_ｔ、注視スコア加算量をＡとしたとき、注視スコアＳは以下の式で計算してもよい。ここで、ｆ（Ｓ_ｔ）は、スコアＳ_ｔを変数とする任意の関数とすることができる。具体的な関数形は、限定されるものではないが、一次関数や二次関数などの多項式関数としてもよいし、指数関数や対数関数としてもよい。
Ｓ_ｔ２＝ｆ（Ｓ_ｔ１）＋Ａ （１）

注視スコア加算量であるＡは、固定値でもよいし、頭部回転情報によって変化させてもよい。注視スコア加算量は、頭部回転情報に加え、位置関連情報の一つであるユーザＵとオブジェクトｏｂとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されたオブジェクト中心ＣからユーザＵの視点Ｐまでの距離ｄ、ユーザＵの特徴及びユーザＵの嗜好を特徴づける情報等を含むユーザ情報等に応じて動的に変化させてもよい。

例えば、注視スコア加算量であるＡを頭部回転情報である角速度ωに反比例させる場合、時刻ｔにおける角速度ω_ｔ、調整係数ｃを用いて以下の式で求めることができる。調整係数ｃは、ユーザＵとオブジェクトｏｂとの間の離隔距離や、オブジェクト中心ＣからユーザＵの視点Ｐまでの距離ｄ、ユーザＵの特徴及びユーザ情報等に応じて変化する値とすることができる。
Ａ＝ｃ／ω_ｔ （２）
ただし、ω_ｔ≠０とする。

なお、算出された注視スコアＳは、記憶部１１５に送信され、履歴情報として保存されてもよい。

［判定部１０９］
判定部１０９は、注視スコア算出部１０７により算出された注視スコアＳに基づいて、ユーザＵがオブジェクトｏｂを注視しているかどうかを、オブジェクトｏｂ毎に判定する。具体的には、判定部１０９は、オブジェクトｏｂの注視スコアＳが予め設定された所定の判定閾値以上のときに、ユーザＵがオブジェクトｏｂを注視している注視状態であると判定することが好ましい。判定結果は、表示制御部１１１に少なくとも送信され、必要に応じて記憶部１１５に送信され、履歴情報として保存されてもよい。

ここで、図４および図５を参照しながら、注視スコア算出部１０７により算出される注視スコアＳの変化の様子及び判定部１０９による注視判定について説明する。図４は、各時刻ｔにおけるユーザＵの頭部の角速度ωの一例を示すグラフ図である。図５は、各時刻ｔと注視スコア算出部１０７により算出された注視スコアＳの関係を示すグラフ図である。図４の領域Ｒ１～Ｒ５はそれぞれ図５の領域Ｒ１’～Ｒ５’に対応する。また、図５に示すＳ１_ｔｈは、予め設定された判定閾値であり、注視スコアＳが判定閾値Ｓ１_ｔｈ以上となると、判定部１０９は、ユーザＵがオブジェクトｏｂを注視している注視状態であると判定する。

ここでは、ユーザＵの視点Ｐが注視の対象とするオブジェクトｏｂ上に位置するときに注視スコア加算量が算出される場合を例に挙げて説明する。さらに、注視スコアＳの初期値はゼロとし、注視対象のオブジェクトｏｂ（以降、単に「注視対象オブジェクトｏｂ」と略記する。）上にユーザＵの視点Ｐがない場合、注視スコア加算量は負の値とし、注視スコアＳがゼロのときは、注視スコア加算量はゼロとする。また、算出される注視スコア加算量は一定であるとして注視判定方法を説明する。

図４に示したように、時刻ｔと角速度ωによって規定される平面を領域Ｒ_１～Ｒ_５に区分することができる。領域Ｒ_１は、ユーザＵの頭部は、頭部回転中心とオブジェクト中心Ｃとを結ぶ直線と、位置関連情報取得部１０３で取得されたユーザＵの頭部方向ｕｄとのなす角αが減少する方向に回転し、頭部の回転に伴う角速度ωが所定値ω_ｔｈ以上である状態であるものの、ユーザＵの視点Ｐが注視対象オブジェクトｏｂ上にない状態を示す領域である。領域Ｒ_２は、ユーザＵの視点Ｐが注視対象オブジェクトｏｂ上にあり、角度αが減少する方向に回転し、角速度ωが所定値ω_ｔｈ以上である状態を示す領域である。領域Ｒ_３は、ユーザＵの視点Ｐが注視対象オブジェクトｏｂ上にあり、角度αが減少する方向に回転し、角速度ωが所定値ω_ｔｈ未満である状態を示す領域である。領域Ｒ_４は、ユーザＵの視点Ｐが注視対象オブジェクトｏｂ上にあり、角度αが増大する方向に回転し、角速度ωが所定値ω_ｔｈ未満である状態を示す領域である。領域Ｒ_５は、ユーザＵの視点Ｐが注視対象オブジェクトｏｂ上にない状態であり、角度αが増大する方向に回転し、角速度ωが所定値ω_ｔｈ以上である状態を示す領域である。

領域Ｒ_１において、ユーザＵの視点Ｐは対象オブジェクトｏｂにないため、図５に示したように、領域Ｒ_１に対応する領域Ｒ_１’において、注視スコア加算量はゼロであり、注視スコアＳはゼロのまま一定である。

領域Ｒ_２において、ユーザＵの視点Ｐは注視対象オブジェクトｏｂ上にあり、角速度ωは所定値ω_ｔｈ以上であるものの、角度αが減少する方向にユーザＵの頭部が回転しているため、図５の領域Ｒ２’に示すように、注視スコアＳは上昇する。ここで、注視スコアＳの上昇度合いは、式（１）のｆ（Ｓ_ｔ）の関数形によって決定される。

領域Ｒ_３において、ユーザＵの視点Ｐは注視対象オブジェクトｏｂにあり、角速度ωは所定値ω_ｔｈ未満であり、また、角度αが減少する方向にユーザＵの頭部が回転しているため、注視スコアＳは上昇する。

領域Ｒ_４において、ユーザＵの視点Ｐは注視対象オブジェクトｏｂにあり、角度αが増大する方向にユーザＵの頭部が回転しているものの、角速度ωは所定値ω_ｔｈ未満であるため、注視スコアＳは上昇する。時刻ｔ’において、注視スコアＳは判定閾値Ｓ１_ｔｈ以上となり、このとき、判定部１０９は、ユーザＵが当該オブジェクトｏｂを注視している注視状態であると判定する。

注視スコアＳが判定閾値Ｓ１_ｔｈ到達した後もスコア算出は継続されるが、注視スコアＳが判定閾値Ｓ１_ｔｈに到達した後は、注視スコアＳは閾値で維持されてもよい。

領域Ｒ_５は、ユーザＵの視点Ｐは注視状態にあったオブジェクトｏｂから他のオブジェクトｏｂに移動する状態を示している。ユーザＵの視点Ｐは注視状態にあったオブジェクトｏｂから外れたため、注視スコアＳは減少する。

注視スコアＳが閾値を超えたオブジェクトｏｂからユーザＵの視点Ｐが外れた場合、注視スコア算出部１０７は、図５に示したように注視スコアＳが減少するように注視スコアＳを計算してもよい。ユーザＵの視点Ｐがオブジェクトｏｂから外れると注視スコアＳが減少し、注視スコアＳが判定閾値Ｓ１_ｔｈ未満となったときに注視状態が解除されてもよい。視点Ｐが外れた直後に注視スコアＳがゼロとなるような処理を実行してもよい。このような処理を実行されることで、ユーザＵの注視の対象となるオブジェクトｏｂが、注視しているオブジェクトｏｂから他のオブジェクトｏｂに変更された直後に、注視状態を解除することができる。

［表示制御部１１１］
表示制御部１１１は、オブジェクトｏｂの注視スコアＳに応じて、表示画面への当該オブジェクトｏｂの表示方法及びオブジェクトｏｂの表示内容の少なくともいずれか一方を制御する。

表示制御部１１１は、例えば、図６Ａ～図６Ｅに示すように、注視スコアＳに応じてオブジェクトｏｂの表示方法を制御する。図６Ａは、オブジェクトｏｂの注視スコアＳをメータ表示で示した例である。表示制御部１１１は、オブジェクトｏｂの注視スコアＳの増減に応じてメータが増減するように表示させてもよい。

また、表示制御部１１１は、オブジェクトｏｂが選択されたときにオブジェクトｏｂを囲むようにして表現する場合において、注視スコアＳが高くなるにつれてユーザＵによる視覚的な認識が容易にされるような表現で表示させることができる。例えば、図６Ｂ及び図６Ｃに例示するように、表示制御部１１１は、注視スコアＳに応じて、オブジェクトｏｂ周辺の色、透明度、選択表現の形状を変更してオブジェクトｏｂを段階的に強調することができる。

また、表示制御部１１１は、図６Ｄに示すように、注視スコアＳに応じて対象オブジェクトｏｂの表示サイズを変更して表示させることができる。

例えば、本実施形態に係る情報処理装置１０に備えられ、外部空間を認識するカメラを用いてオブジェクトｏｂの画像を取得し、表示制御部１１１は、その画像を当該オブジェクトｏｂに重畳表示させてもよい。表示制御部１１１は、注視スコアＳに応じて重畳表示させたオブジェクトｏｂ画像のサイズを変更してユーザＵに提供することができる。

表示サイズが変化して表示されるオブジェクトｏｂは１つに限られず、複数のオブジェクトｏｂの表示サイズが変化して表示されてもよい。表示制御部１１１は、複数のオブジェクトｏｂの注視スコアＳが所定の値の範囲にある場合に、それらのオブジェクトｏｂを拡大表示させることができる。

また、表示制御部１１１は、図６Ｅに示すように、一部しか表示されていないオブジェクトｏｂを、注視スコアＳに応じて移動させて表示させることができる。

例えば、上記と同様に、本実施形態に係る情報処理装置１０に備えられ、外部空間を認識するカメラを用いて当該オブジェクトｏｂの画像を取得し、表示制御部１１１は、オブジェクトｏｂに重畳するように表示させた取得画像を、注視スコアＳに応じて移動させてユーザＵに提供することができる。

以上で説明したような選択表現は単独で用いられてもよいし、これらを複数組み合わせて用いられてもよい。また、本開示は、例示していない表現方法であっても、注視スコアＳに応じて変化するものを含むものとする。

なお、表示制御部１１１が表示させる選択表現は、注視スコアＳの増減に伴って、連続的に変化するようなものであってもよいし、予め１つ又は複数の閾値が設定され段階的に変化するような選択表現であってもよい。詳細には、表示制御部１１１は、注視スコアＳが所定の閾値以上となったときに、所定の選択表現によりオブジェクトｏｂを表示させることができる。また、注視スコアＳが所定の閾値以下となったオブジェクトｏｂについては、当該オブジェクトｏｂの選択表現はリセットされてもよい。

また、表示制御部１１１は、図７～図９に示すように、注視スコアＳに応じてオブジェクトｏｂに関連するオブジェクト情報を表示させることができる。図７は、オブジェクト情報の表示方法を説明するための説明図である。図８及び図９は、オブジェクト情報が表示された画像の一例を示す模式図である。

表示制御部１１１は、具体的には、オブジェクトｏｂの名称、カテゴリ等の情報や、そのオブジェクトｏｂに対して設定される情報、例えば、オブジェクトｏｂが商品である場合、在庫数量、販売優先度、販売期間等の情報を注視スコアＳに応じて表示させることができる。

表示制御部１１１には、図７に示すように、注視スコアＳに対してオブジェクト情報を表示させるための表示閾値Ｓ２_ｔｈが設定されており、注視スコアＳがその表示閾値Ｓ２_ｔｈ以上となったときに、ユーザＵの視界に重畳するように、該当する情報表示レベルのオブジェクト情報を表示させる。例えば、オブジェクトｏｂの注視スコアＳが表示閾値Ｓ２_ｔｈ１以上となったとき、図８左上に示すように、情報表示レベル１に属する第１のオブジェクト情報がユーザＵに対して表示される。このとき表示される第１のオブジェクト情報は、例えば、そのオブジェクトｏｂに関する基礎的な情報とすることができる。具体的には、表示制御部１１１は、かかるオブジェクトｏｂが店舗に陳列されたバッグ等の商品である場合、その商品のブランド、価格等の情報を表示させることができる。

次に、オブジェクトｏｂの注視スコアＳが、図７に示したように、Ｓ２_ｔｈ２以上となったとき、図９右下に示すように、表示レベル２に属する第２のオブジェクト情報がユーザＵに対して表示される。第２のオブジェクト情報は、第１のオブジェクト情報と比較してより詳細な情報とすることができる。例えば、オブジェクトｏｂが商品である場合は、オブジェクトｏｂと同カテゴリで、ユーザＵが既に所持している物等、オブジェクトｏｂと関連する情報等とすることができる。表示制御部１１１は、オブジェクトｏｂが商品である場合、ユーザＵの性別、身長や年齢等、その商品の使用が推奨されるユーザＵの属性や、使用が推奨される状況等の情報、該商品に類似したユーザＵの所有物等の情報を表示させることができる。

表示制御部１１１は、ユーザＵの視点Ｐが当該オブジェクトｏｂから外れた直後に表示されたオブジェクト情報を消去してもよいし、注視スコアＳが所定のＳ２_ｔｈ未満となったときに、対応する表示されたオブジェクト情報を消去してもよい。

更に、表示制御部１１１は、注視スコアＳに応じて、オブジェクト情報の提示方法を変化させることができる。図１０Ａ及び図１０Ｂは、注視スコアＳに応じたオブジェクト情報の提示方法を説明するための説明図である。

例えば、オブジェクトｏｂ上にユーザＵの視点Ｐが位置すると、図１０Ａに示すように、オブジェクトｏｂから引出線が表示される。注視スコアＳが高くなるにつれてその引出線が伸長し、情報表示レベルに達すると、オブジェクト情報が表示されるようにしてもよい。また、例えば、図１０Ｂに示すように、オブジェクトｏｂから吹き出しを表示させ、注視スコアＳに応じて、その吹き出しの透明度やぼかしの程度を変化させ、情報表示レベルに達すると、所定のオブジェクト情報が表示されるようにしてもよい。

［通信制御部１１３］
通信制御部１１３は、サーバ２０等に保存されたオブジェクト情報やユーザＵの属性に関連するユーザ情報等を、ネットワーク３０を介して取得し、受信したオブジェクト情報やユーザ情報等を表示制御部に送信する際の通信制御機能を有する。

［記憶部１１５］
記憶部１１５は、本実施形態に係る情報処理装置１０が備える記憶装置の一例である。記憶部１１５には、情報処理装置１０が、上記のような各種の処理を実施する際に利用する各種のプログラムやデータベース等が適宜記録されている。記憶部１１５には、上記のような視点情報取得部１０１や位置関連情報取得部１０３等が取得した各種の情報が履歴情報として記録されていてもよい。更に、記憶部１１５には、例えば、注視スコア算出部１０７及び判定部１０９のそれぞれがそれぞれの処理を行う際に、保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。注視スコア算出部１０７及び判定部１０９が実行する処理に限られず、本実施形態に係る情報処理装置１０が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。この記憶部１１５は、視点情報取得部１０１、位置関連情報取得部１０３、頭部回転情報取得部１０５、注視スコア算出部１０７、判定部１０９等が、自由にリード／ライト処理を実施することが可能である。

ここまで、情報処理装置１０の構成の一例について詳細に説明した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

続いて、情報処理装置１０の動作の一例について詳細に説明する。

＜＜動作＞＞
＜動作例１＞
本実施形態に係る情報処理装置１０の動作について、図１１を参照しながら説明する。図１１は、本実施形態に係る情報処理装置１０の動作の流れの一例を示す流れ図である。

まず、本実施形態に係る情報処理装置１０の初期設定がされる（Ｓ１０１）。情報処理装置１０を利用するユーザＵが存在する空間上に、所定の位置を原点とした３次元直交座標系であるグローバル座標系が設定される。また、情報処理装置１０を利用するユーザＵの位置を原点とし、グローバル座標系の座標軸と同じ方向に、情報処理装置１０に関する装置座標系が設定される。

また、注視スコアＳ算出のための初期設定がされる。詳細には、頭部回転情報に加え、位置関連情報の一つであるユーザＵとオブジェクトｏｂとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されたオブジェクト中心ＣからユーザＵの視点Ｐまでの距離ｄを反映可能な算出式が設定されてもよい。さらに、設定される算出式は、ユーザＵの特徴や嗜好を特徴づける情報等を含むユーザ情報等を反映してもよい。例えば、注視スコア算出式として、（１）式及び（２）式が設定されてもよい。

更に、かかる初期設定では、判定部１０９が注視状態を判定するための判定閾値Ｓ１_ｔｈが設定される。必要に応じて、表示制御部１１１がオブジェクト情報を表示させるための情報表示閾値Ｓ２_ｔｈが設定される。

判定閾値Ｓ１_ｔｈ及び情報表示閾値Ｓ２_ｔｈは、本実施形態に係る情報処理装置１０が扱うあらゆる情報に基づいて設定されてもよい。例えば、位置関連情報の一つであるユーザＵとオブジェクトｏｂとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されたオブジェクト中心ＣからユーザＵの視点Ｐまでの距離ｄ、ユーザＵの特徴や嗜好を特徴づける情報等を含むユーザ情報等を用いて、判定閾値Ｓ１_ｔｈ及び情報表示閾値Ｓ２_ｔｈは設定されてもよい。

情報処理装置１０の初期設定がされると、位置関連情報取得部１０３により位置関連情報が取得される（Ｓ１０３）。具体的には、ユーザＵの頭部回転中心に対応するユーザＵの位置、オブジェクト中心Ｃ、ユーザＵとオブジェクトｏｂとの離隔距離、及び頭部回転中心とオブジェクト中心Ｃとを結ぶ直線とユーザＵが向いている方向とで形成される角度α等が取得される。

次いで、視点情報取得部１０１により、ユーザＵの視点Ｐの位置に関する視点情報が取得される（Ｓ１０５）。

続いて、頭部回転情報取得部１０５により、ユーザＵの頭部の回転に伴う角速度ωと頭部の回転方向に関する頭部回転情報が取得される（Ｓ１０７）。頭部回転情報は、ユーザＵの位置に対応する頭部回転中心とオブジェクト中心Ｃとを結ぶ直線と、位置関連情報取得部１０３で取得されたユーザＵの頭部方向ｕｄとで形成される角の角度αの変化を算出して得られる。頭部回転情報取得部１０５は、所定の時刻ｔ_１における角度α_ｔ１と、時刻ｔ_２における角度α_ｔ２を検出し、検出された角度α_ｔ１とα_ｔ２を利用して角速度ω及び回転方向を算出する。

頭部回転情報が取得された後、注視スコア算出部１０７により、オブジェクトｏｂの注視スコアＳが算出される（Ｓ１０９）。詳細には、Ｓ１０１で設定された算出式が使用され、Ｓ１０３～Ｓ１０７で取得された位置関連情報、視点情報及び頭部回転情報に基づいて、オブジェクトｏｂに対する注視スコアＳが算出される。

その後、表示制御部１１１により、注視スコアＳに応じた表示方法でオブジェクトｏｂが強調表示される（Ｓ１１１）。Ｓ１０３～Ｓ１１１が順次繰り返され、オブジェクトｏｂの注視スコアＳが判定閾値Ｓ１_ｔｈ以上となったとき、注視状態であると判定される。更に、注視スコアＳが属する情報表示レベルに応じた内容のオブジェクト情報が表示される。

その後、例えば、ユーザＵの視点Ｐが注視状態と判定されたオブジェクトｏｂから外れると、注視スコアＳが減少して注視状態が解除されてもよい。また、ユーザＵの視点Ｐが、オブジェクト情報が表示されていたオブジェクトｏｂから外れると、注視スコアＳが減少して表示されていたオブジェクト情報が消去される。なお、ユーザＵの視点Ｐがそのオブジェクトｏｂから外れた直後に注視スコアＳが初期値に戻ることで、この注視状態の解除及びオブジェクト情報の消去が実行されてもよい。

ここまで、本実施形態に係る情報処理装置１０の動作の一例について詳細に説明した。続いて、他の動作例について詳細に説明する。

＜動作例２＞
動作例１では、視点情報取得部１０１により取得された視点情報に基づき、ユーザＵの視点Ｐがオブジェクトｏｂ上にあるときに、注視スコア算出部１０７が注視スコアＳを算出する場合を説明した。しかしながら、ユーザＵの視点Ｐがオブジェクトｏｂ上になくとも、そのオブジェクトｏｂについて注視スコアＳが算出されてもよい。

具体的には、図１２に示すように、オブジェクト中心ＣからユーザＵの視点Ｐまでの距離ｄ_１を算出し、この距離ｄ_１に応じて注視スコアＳが算出されるようにしてもよい。例えば、注視スコア算出部１０７は、注視スコアＳの算出に距離ｄ_１を変数の一つとする算出式を設定し、距離ｄ_１が小さいほど算出される注視スコアＳが増大するようにすればよい。

また、オブジェクト中心ＣからユーザＵの視点Ｐまでの距離に限られず、図１３に示すように、オブジェクトｏｂの所定の位置、例えば、オブジェクトｏｂの端部とユーザＵの視点Ｐとの距離ｄ_２に応じて注視スコアＳは算出されてもよい。

表示制御部１１１がオブジェクト情報を表示させる場合は、注視スコア算出部１０７は、情報表示閾値Ｓ２_ｔｈを距離ｄ_１や距離ｄ_２に依存する値とすることで、表示制御部１１１は、オブジェクト情報の表示タイミングを制御してもよい。

上記の方法で算出された注視スコアＳを利用して、判定部１０９は注視判定をすることができる。注視判定に使用する判定閾値Ｓ１_ｔｈは、距離ｄ_１や距離ｄ_２等に依存する値であってもよい。これにより、判定部１０９は、注視判定のタイミングを変更することができる。

＜動作例３＞
また、注視スコア算出部１０７は、更に、位置関連情報の一つである、ユーザＵとオブジェクトｏｂとの間の離隔距離に応じて、注視スコアＳを算出してもよい。

具体的には、位置関連情報取得部１０３は、ユーザＵとオブジェクトｏｂとの間の離隔距離を位置関連情報として取得し、この位置関連情報を注視スコア算出部１０７に送信する。注視スコア算出部１０７は、離隔距離を変数の一つとした注視スコア算出式を設定し、離隔距離が小さいほど算出される注視スコアＳが増大するように注視スコアＳを算出してもよい。

また、注視スコア算出部１０７は、位置関連情報の一つである、オブジェクトｏｂに対するユーザＵの速度ｖ（すなわちユーザＵとオブジェクトｏｂとの離隔距離の時間変化）に応じて、注視スコアＳ算出してもよい。

すなわち、位置関連情報取得部１０３は、オブジェクトｏｂに対するユーザＵの速度ｖを位置関連情報として取得し、この位置関連情報を注視スコア算出部１０７に送信する。注視スコア算出部１０７は、注視スコア算出式を速度ｖの関数とし、速度ｖが小さいほど算出される注視スコアＳ値が大きくなるように注視スコアＳを算出すればよい。

判定部１０９は、上記の方法で算出された注視スコアＳを利用して注視判定をすることができる。判定部１０９は、注視判定に使用される判定閾値Ｓ１_ｔｈを、離隔距離が反映された値とすることで、離隔距離に応じた注視判定をすることが可能である。

＜動作例４＞
注視スコア算出部１０７は、更に、予め設定された、ユーザの特徴及びユーザの嗜好を特徴づける情報等を含むユーザ情報に基づいて注視スコアＳを算出してもよい。

ユーザ情報には、例えば、図１４に示すような、性別、身長、趣味やユーザの予定等の情報が含まれる。当該ユーザ情報は、記憶部１１５、サーバ２０等の情報を記憶する機能を有する装置に保存される。

例えば、ユーザが本実施形態に係る情報処理装置を利用しながら買い物をする場合、注視スコア算出部１０７は、ユーザＵの性別や身長等のユーザ情報に相応しい衣服等、ユーザ情報に関連するようなオブジェクトｏｂに対して、高い注視スコアＳが容易に算出されるような算出式を用いてユーザ毎に注視スコアＳを算出することができる。

ユーザの予定等もユーザ情報として登録されてもよく、そのユーザがその予定に必要とする物等、登録された予定に関連するものに対して注視スコアＳが優先的に算出されてもよい。

判定部１０９は、ユーザ情報に関連するオブジェクトｏｂに対する注視判定の際、ユーザ情報と関連がないオブジェクトｏｂと比較して、判定閾値Ｓ１_ｔｈを低く設定することができる。

オブジェクトｏｂがユーザ情報と無関係のものである場合に、注視スコア算出部１０７は、注視スコアＳ上昇が小さい算出式を使用して注視スコアＳを算出してもよい。同様に、判定部１０９は、オブジェクトｏｂがユーザ情報と無関係である場合に、判定閾値Ｓ１_ｔｈを高くして注視判定されるタイミングを遅延させてもよい。

＜動作例５＞
注視スコア算出部１０７は、更に、図１５に示すような、予め設定されたオブジェクト情報に基づいて注視スコアＳを算出してもよい。また、例えば、オブジェクトｏｂがショーウインドウに展示された商品であり、その商品を販売する会社が所定のカテゴリの商品や所定の商品の販売を促進させようとする場合、オブジェクト情報に優先度情報が設定されてもよい。注視スコア算出部１０７は、設定された優先度に応じてオブジェクト毎に算出式を設定して注視スコアＳを算出することができる。

判定部１０９も同様に、更に、オブジェクト情報に基づいて注視状態を判定することができる。判定部１０９は、オブジェクト情報に優先度が設定されているときは、優先度が高いカテゴリのオブジェクトｏｂ等に対する判定閾値Ｓ１_ｔｈを、優先度が低い他のカテゴリのオブジェクトｏｂと比較して低い値に変更してもよい。

＜動作例６＞
注視スコア算出部１０７は、更に、履歴情報に基づいて注視スコアＳを算出してもよい。具体的には、ユーザＵが既に視認したことがあるオブジェクトｏｂに対して注視スコアＳが算出される場合、注視スコア算出部１０７は、そのオブジェクトｏｂに対する累積の注視スコアＳ、注視状態であると判定された回数や頻度等の履歴情報に応じて注視スコア算出式及び、情報表示閾値Ｓ２_ｔｈを変更してもよい。

判定部１０９は、上記と同様にして、オブジェクト毎に判定閾値Ｓ１_ｔｈを変更して注視判定をしてもよい。

上記のような処理は、ユーザＵが視認したことがあるオブジェクトｏｂと同一のオブジェクトｏｂに限られず、そのオブジェクトｏｂと同一のカテゴリに属するオブジェクトに対して行われてもよい。

＜動作例７＞
表示制御部１１１は、図１６に示すように、オブジェクト情報や注視スコア等の履歴情報を参照して、所定の条件に合致するオブジェクト画像を表示させてもよい。具体的には、ユーザＵは、図１７に示すような、オブジェクトを注視した日時や場所、注視スコアＳ、オブジェクトｏｂのカテゴリ等の様々な情報に基づいて、画像表示条件を設定する。そして、表示制御部１１１は、ユーザＵに対して、その検索条件に合致したオブジェクト画像を、所定の表示方法で表示させることができる。例えば、図１６に示すように、表示制御部１１１は、ユーザＵが所定の期間内に視認した所定のカテゴリに含まれるオブジェクトｏｂを、累積注視スコアＳが高いオブジェクトｏｂから順に表示させることができる。このとき、表示制御部１１１は、表示させたオブジェクト画像に対応したオブジェクト情報を表示させてもよい。

このような機能により、ユーザＵは、例えば、所定の期間内に注視したユーザＵの興味があるカテゴリのオブジェクトｏｂを後で振り返って確認することができる。

なお、オブジェクト情報を表示する装置は情報を表示可能な装置であれば特段制限されず、本実施形態にかかる情報処理装置１０にディスプレイを設け、表示制御部１１１は、そのディスプレイにオブジェクト情報を表示してもよく、例えば、スマートフォン、ＴＶ等に表示させてもよい。

本実施形態では、主に静止したオブジェクトｏｂに対する、注視スコアＳの算出及び注視状態の判定の動作を主に説明したが、移動するオブジェクトに対して本開示を適用してもよい。

例えば、プレイ中のゲームに表示される何かしらのターゲット等のオブジェクトｏｂに対して、本実施形態に係る情報処理技術は利用されてもよい。

本開示は、ユーザＵの視点情報、オブジェクトｏｂに対するユーザＵの頭部の回転方向、頭部の回転に伴う角速度等の頭部関連情報に応じて注視の程度を検出し、注視判定する技術である。したがって、本開示は、例えば、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）環境やＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）環境のような、視点だけではなく、頭部方向や位置で視野が変わるような環境において、移動しているオブジェクトに対して効果的にユーザの意図するタイミングで所定の内容を表示させることが可能である。

＜＜＜第２の実施形態＞＞＞
＜＜構成＞＞
次いで、本開示に係る第２の実施形態について説明する。図１８は、本実施形態に係る情報処理システム５の構成を示したブロック図である。情報処理システム５は、情報処理装置５０と、サーバ６０と、ネットワーク７０とで構成される。ここでサーバ６０及びネットワーク７０は、情報処理システム１のサーバ２０及びネットワーク３０と基本的に同様であるため、ここでの説明は省略する。

＜情報処理装置５０＞
情報処理装置５０は、撮像装置５１０と、表示制御装置５５０とを有する。本実施形態に係る撮像装置５１０は、情報処理装置５０が配置される空間の少なくとも一部を撮像して撮像画像を生成する機能を有する。本実施形態に係る撮像装置５１０は、例えば、デジタルスチルカメラやデジタルビデオカメラ等のような、撮像機能を有する公知の撮像装置を使用することができる。本実施形態に係る表示制御装置５５０は、撮像装置５１０で取得された、撮像画像、位置関連情報、撮像空間内に存在する人物の視点情報等に基づいて、その空間内の所定の位置に表示させる情報の表示方法及び表示内容等を制御する機能を有する。

［撮像装置５１０］
撮像装置５１０は、撮像空間内の位置関連情報及び視点情報等を取得する。

撮像装置５１０により生成された撮像画像を利用した、撮像空間内に存在する人物の位置関連情報を取得する方法としては、公知の各種の技術を利用することが可能であり、例えば、特開２０１０－１６７４３号公報、特許第５８６９８８３号公報、特開２０１７－１８２７３９号公報等に開示されているような、各種の位置推定技術を適宜利用することができる。

また、撮像装置５１０により生成された撮像画像を利用した、撮像空間内に存在する人物の視点情報の抽出方法としては、公知の各種の技術を利用することが可能であり、例えば、特開２００５－２３００４９号公報、特開２０１５－１５３３０２号公報、特開２０１７－１６９６８５号公報等に開示されているような、各種の視線推定技術を適宜利用することができる。

なお、本実施形態に係る位置関連情報及び視点情報等の取得方法は、あくまでも一例にすぎず、上記のものに限定されるものではない。

また、撮像装置５１０は、後述する、頭部回転情報取得部５５１、注視スコア算出部５５３及び判定部５５５と同等の機能を有していてもよい。

［表示制御装置５５０］
表示制御装置５５０は、図１９に示すように、表示制御部５５７と、通信制御部５５９と、記憶部５６１とを少なくとも備え、必要に応じて、頭部回転情報取得部５５１と、注視スコア算出部５５３と、判定部５５５とを備えていてもよい。図１９は、本実施形態に係る表示制御装置５５０の構成を示したブロック図である。

頭部回転情報取得部５５１、注視スコア算出部５５３、判定部５５５、表示制御部５５７、通信制御部５５９、及び記憶部５６１は、第１の実施形態に係る、頭部回転情報取得部１０５、注視スコア算出部１０７、判定部１０９、表示制御部１１１、通信制御部１１３、及び記憶部１１５と基本的に同様であるため、ここでの説明は省略する。

なお、表示制御装置５５０は、上記のような機能の全てを有している必要はなく、設置された空間に所定の情報を表示させる機能のみを有していてもよい。頭部回転情報取得部５５１、注視スコア算出部５５３及び判定部５５５は、撮像装置５１０もしくはサーバ６０に同様の機能が備えられていれば、必ずしも表示制御装置５５０に設けられる必要はない。また、頭部回転情報取得部５５１、注視スコア算出部５５３及び判定部５５５は、サーバ６０と、撮像装置５１０と、表示制御装置５５０とに分散させて実装してもよい。

＜＜動作＞＞
続いて、本実施形態に係る情報処理システム５の動作について、図２０及び図２１を参照しながら説明する。図２０は、本実施形態に係る情報処理システム５の動作の流れの一例を示す流れ図である。図２１は、本実施形態に係る情報処理システム５の動作の一例を説明するための説明図である。

まず、本実施形態に係る情報処理装置５０の初期設定がされる（Ｓ２０１）。具体的には、注視スコアＳ算出のための初期設定がされる。詳細には、頭部回転情報に加え、位置関連情報の一つであり、撮像装置５１０を用いて生成された撮像画像から取得される、情報処理装置５０が設置された空間に存在する人物とオブジェクトとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されるオブジェクト中心からその人物の視点Ｐまでの距離ｄを反映可能な算出式が設定されてもよい。また、設定される算出式は、その人物の特徴及びその人物の嗜好を特徴づける情報等を含むユーザ情報等を反映してもよい。例えば、注視スコア算出式として、（１）式及び（２）式が用いられるように設定されてもよい。

更に、かかる初期設定では、判定部５５５が注視状態を判定するための判定閾値が設定される。必要に応じて、表示制御部５５７により、オブジェクト情報を表示させるための情報表示閾値が設定されてもよい。

判定閾値及び情報表示閾値は、本実施形態に係る情報処理装置５０が扱うあらゆる情報に基づいて設定されてもよい。例えば、位置関連情報の一つである、情報処理装置５０が設置された空間に存在する人物とオブジェクトとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されたオブジェクト中心からその人物の視点Ｐまでの距離、その人物の特徴や嗜好を特徴づける情報等を含むユーザ情報を用いて、判定閾値及び情報表示閾値等は設定されてもよい。

情報処理装置５０の初期設定がされると、撮像装置５１０により、設置された空間の少なくとも一部が撮像され、撮像された画像を基に、空間に設置されたオブジェクトやその人物の位置に関する位置関連情報が取得される（Ｓ２０３）。具体的には、情報処理装置５０が設置された空間に存在する人物の位置情報、オブジェクト中心、その人物とオブジェクトとの距離情報、及びその人物の頭部回転中心とオブジェクト中心とを結ぶ直線とその人物が向いている方向とで形成される角度情報等が取得される。次いで、撮像装置５１０により、公知の視点情報取得技術を用いて、取得された画像から視点情報が取得される（Ｓ２０５）。

続いて、頭部回転情報取得部５５１により、情報処理装置５０が設置された空間に存在する人物の頭部の回転に伴う角速度と角速度の変化に関する頭部回転情報が取得される（Ｓ２０７）。具体的には、頭部回転情報取得部５５１は、撮像装置５１０で取得された画像に表示されている人物の頭部の向きの経時変化を検出して、頭部回転情報を取得する。

頭部回転情報が取得された後、注視スコア算出部５５３により、オブジェクトの注視スコアＳが算出される（Ｓ２０９）。詳細には、Ｓ２０１で設定された算出式が使用され、Ｓ２０３～Ｓ２０７で取得された位置関連情報、視点情報及び頭部回転情報に基づいて、オブジェクトｏｂに対する注視スコアＳが算出される。

そして、表示制御部５５７により、注視スコアＳに応じた表示方法でオブジェクトが強調表示される（Ｓ２１１）。Ｓ２０３～Ｓ２１１が順次繰り返され、オブジェクトの注視スコアＳが判定閾値以上となったとき、判定部５５５は、そのオブジェクトを情報処理装置５０が設置された空間に存在する人物が注視している注視状態であると判定される。また、算出された注視スコアＳが所定の情報表示閾値以上となり情報表示レベルに達したとき、図２１に示すように、表示制御装置５５０により、その情報表示レベルに応じたオブジェクト情報が表示される。表示されるオブジェクト情報は、情報処理装置５０が設置された空間に存在する人物が視認できる位置に表示されればよく、そのオブジェクト近傍に表示されてもよいし、所定のスクリーン等に表示されてもよい。なお、その人物が表示されるオブジェクト情報を見ている間は、注視スコア算出部５５３は、注視スコアを変化させず、一定値に維持してもよい。

その後、例えば、情報処理装置５０が設置された空間に存在する人物の視点Ｐが、注視状態と判定されたオブジェクト、又はオブジェクト情報が表示されたオブジェクトから移動すると、注視スコアＳが減少して注視状態が解除され、表示されていたオブジェクト情報が消去されてもよい。

＜＜ハードウェア構成＞＞
以上、本開示に係る実施形態について説明した。上述した情報処理は、ソフトウェアと、以下に説明する情報処理装置のハードウェアとの協働により実現される。

図２２は、本実施形態に係る情報処理装置のハードウェア構成を示したブロック図である。情報処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、ストレージ装置（ＨＤＤ）９１１と、ネットワークインタフェース９１３とを備える。本実施形態に係る情報処理装置は、入力装置９０８と、表示装置９０９と、音声出力装置９１０と、ドライブ９１２とを有してもよい。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３とソフトウェアとの協働により、頭部回転情報取得部１０５、注視スコア算出部１０７、判定部１０９等の機能が実現され得る。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５及び外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、タッチパネル、ボタン、マイクロフォン、センサ、スイッチ及びレバーなどメンバーが情報を入力するための入力手段と、メンバーによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成され得る。

表示装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置及びランプなどの表示装置を含む。

ストレージ装置９１１は、本実施形態にかかる情報処理装置の記憶部の一例として構成されたデータ記憶用の装置である。ストレージ装置９１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置９１１は、ストレージを駆動し、ＣＰＵ９１１が実行するプログラムや各種データを記憶する。

ドライブ９１２は、記憶媒体用リーダライタであり、情報処理装置に内蔵、あるいは外付けされる。ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９２に記録されている情報を読み出して、ＲＡＭ９０３またはストレージ装置９１１に出力する。また、ドライブ９１２は、リムーバブル記憶媒体９２に情報を書き込むこともできる。

ネットワークインタフェース９１３は、例えば、ネットワーク３０に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応端末であっても、有線による通信を行うワイヤー端末であってもよい。

＜＜５．結び＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの視点に関する視点情報を取得する視点情報取得部と、
前記ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部と、
前記ユーザの頭部の回転に伴う角速度と前記角速度の変化に関する頭部回転情報を取得する頭部回転情報取得部と、
前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザＵの注視の程度を表す注視スコアに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定する判定部と、を備える情報処理装置。
（２）
前記判定部は、前記オブジェクトの前記注視スコアが所定の閾値以上のときに、前記ユーザＵが前記オブジェクトを注視している注視状態であると判定する、（１）に記載の情報処理装置。
（３）
前記視点情報、前記位置関連情報及び前記頭部回転情報に基づいて、注視スコアを算出する注視スコア算出部を更に備える、（１）又は（２）に記載の情報処理装置。
（４）
前記注視スコア算出部は、前回の算出タイミングで算出された注視スコアと、取得された前記視点情報、前記位置関連情報及び前記頭部回転情報に応じた注視スコア加算量とに基づき、前記注視スコアを算出する、（３）に記載の情報処理装置。
（５）
前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記ユーザの視点と前記オブジェクトの所定の位置との間の距離に応じて前記注視スコアを算出する、（３）又は（４）に記載の情報処理装置。
（６）
前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記ユーザの視点と前記オブジェクトの中心との間の距離に応じて前記注視スコアを算出する、（３）～（５）のいずれか１つに記載の情報処理装置。
（７）
前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記オブジェクトの外側にある前記ユーザの視点と前記オブジェクトの端部との間の距離に応じて前記注視スコアを算出する、（３）～（６）のいずれか１つに記載の情報処理装置。
（８）
前記注視スコア算出部は、予め設定された前記オブジェクトに関するオブジェクト情報に基づいて前記注視スコアを算出する、（３）～（７）のいずれか１つに記載の情報処理装置。
（９）
前記注視スコア算出部は、予め設定された前記ユーザの嗜好を特徴づけるユーザ情報に基づいて前記注視スコアを算出する、（３）～（８）のいずれか１つに記載の情報処理装置。
（１０）
前記注視スコア算出部は、前記注視スコアの履歴に関する注視スコア履歴情報に基づいて、前記注視スコアを算出する、（３）～（９）のいずれか１つに記載の情報処理装置。
（１１）
前記位置関連情報は、前記ユーザと前記オブジェクトとの間の距離に関する距離情報を含み、
前記注視スコア算出部は、前記距離情報に応じて前記注視スコアを算出する、（３）～（１０）のいずれか１つに記載の情報処理装置。
（１２）
前記位置関連情報は、前記ユーザの前記オブジェクトに対する相対速度に関する相対速度情報を含み、
前記注視スコア算出部は、前記相対速度情報に応じて前記注視スコアを算出する、（３）に記載の情報処理装置。
（１３）
前記オブジェクトの前記注視スコアに応じた、前記オブジェクトの表示方法及び前記注視スコアに応じて提供される前記オブジェクトに関する前記オブジェクトの表示内容の少なくともいずれか一方を制御する表示制御部をさらに備える、（１）～（１２）のいずれか１つに記載の情報処理装置。
（１４）
前記判定部は、前記オブジェクトの前記注視スコアが所定の閾値以上のときに、前記ユーザが前記オブジェクトを注視している注視状態であると判定し、
前記表示制御部は、前記注視状態にある前記オブジェクトについて、当該オブジェクトの前記注視スコアが所定の閾値以上であるときに、前記注視スコアに応じて提供される前記オブジェクトに関するオブジェクト情報を表示させる、（１）～（１３）のいずれか１つに記載の情報処理装置。
（１５）
前記表示制御部は、前記注視スコアが所定の閾値以上であるときに、前記注視スコアに応じて提供される前記オブジェクトに関するオブジェクト情報を、前記ユーザの視界に重畳するように表示させる、（１）～（１４）のいずれか１つに記載の情報処理装置。
（１６）
前記表示制御部は、前記注視スコアが所定の閾値以上である前記オブジェクトを拡大して表示させる、（１）～（１５）のいずれか１つに記載の情報処理装置。
（１７）
各々の前記オブジェクトについて予め複数の情報が関連付けられたオブジェクト情報として格納されており、
前記表示制御部は、前記オブジェクト情報の中から、所定の条件に応じて前記オブジェクト情報を出力させる、（１）～（１６）のいずれか１つに記載の情報処理装置。
（１８）
前記オブジェクトの前記注視スコアに応じた、前記オブジェクトの表示方法及び前記注視スコアに応じて提供される前記オブジェクトに関する前記オブジェクトの表示内容の少なくともいずれか一方を制御する表示制御部をさらに備え、
前記注視スコア算出部により算出された前記注視スコアを有する前記オブジェクトに関するオブジェクト履歴情報として格納し、
前記表示制御部は、格納された前記オブジェクト履歴情報を参照して、所定の条件に合致する前記オブジェクト情報を出力させる、（１）～（１７）のいずれか１つに記載の情報処理装置。
（１９）
ユーザの視点に関する視点情報を取得することと、
前記ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得することと、
前記ユーザの頭部の回転に伴う角速度と前記角速度の変化に関する頭部回転情報を取得することと、
前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザの注視の程度を表す注視スコアに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定すること、を含む、情報処理方法。
（２０）
コンピュータを、
ユーザの視点に関する視点情報を取得する視点取得部、
前記ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部、
前記ユーザの頭部の回転に伴う角速度と前記角速度の変化に関する頭部回転情報を取得する頭部情報取得部、及び
前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザの注視の程度を表す注視スコアに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定する注視スコア算出部、
として機能させるためのプログラム。

１、５ 情報処理システム
１０、５０ 情報処理装置
２０、６０ サーバ
３０、７０ ネットワーク
１０１ 視点情報取得部
１０３ 位置関連情報取得部
１０５、５５１ 頭部回転情報取得部
１０７、５５３ 注視スコア算出部
１０９、５５５ 判定部
１１１、５５７ 表示制御部
１１３、５５９ 通信制御部
１１５、５６１ 記憶部
５１０ 撮像装置
５５０ 表示制御装置

Claims (20)

1. ユーザの視点であって、所定のオブジェクトの上に位置する前記視点に関する視点情報を取得する視点情報取得部と、
   前記ユーザと前記オブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部と、
   前記ユーザの頭部の回転に伴う角速度と、前記角速度の変化と、前記オブジェクトに対する前記頭部の回転方向とに関する頭部回転情報を取得する頭部回転情報取得部と、
   前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザの注視の程度を表す注視スコアであって、前記回転方向が、前記回転の中心と前記オブジェクトの中心とを結ぶ直線と、前記頭部の方向とのなす角度が減少する方向である場合に増大し、かつ、前記回転方向が前記角度が増大する方向である場合であっても前記角速度が所定の閾値以下である場合に増大する前記注視スコアに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定する判定部と、
   を備える情報処理装置。
2. 前記判定部は、前記オブジェクトの前記注視スコアが所定の閾値以上のときに、前記ユーザが前記オブジェクトを注視している注視状態であると判定する、
   請求項１に記載の情報処理装置。
3. 前記視点情報、前記位置関連情報及び前記頭部回転情報に基づいて、注視スコアを算出する注視スコア算出部を更に備える、
   請求項１に記載の情報処理装置。
4. 前記注視スコア算出部は、前回の算出タイミングで算出された注視スコアと、取得された前記視点情報、前記位置関連情報及び前記頭部回転情報に応じた注視スコア加算量とに基づき、前記注視スコアを算出する、
   請求項３に記載の情報処理装置。
5. 前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記ユーザの視点と前記オブジェクトの所定の位置との間の距離に応じて前記注視スコアを算出する、
   請求項４に記載の情報処理装置。
6. 前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記ユーザの視点と前記オブジェクトの中心との間の距離に応じて前記注視スコアを算出する、
   請求項５に記載の情報処理装置。
7. 前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記オブジェクトの外側にある前記ユーザの視点と前記オブジェクトの端部との間の距離に応じて前記注視スコアを算出する、
   請求項５に記載の情報処理装置。
8. 前記注視スコア算出部は、予め設定された前記オブジェクトに関するオブジェクト情報に基づいて前記注視スコアを算出する、
   請求項４に記載の情報処理装置。
9. 前記注視スコア算出部は、予め設定された前記ユーザの嗜好を特徴づけるユーザ情報に基づいて前記注視スコアを算出する、
   請求項４に記載の情報処理装置。
10. 前記注視スコア算出部は、前記注視スコアの履歴に関する注視スコア履歴情報に基づいて、前記注視スコアを算出する、
    請求項４に記載の情報処理装置。
11. 前記位置関連情報は、前記ユーザと前記オブジェクトとの間の距離に関する距離情報を含み、
    前記注視スコア算出部は、前記距離情報に応じて前記注視スコアを算出する、
    請求項４に記載の情報処理装置。
12. 前記位置関連情報は、前記ユーザの前記オブジェクトに対する相対速度に関する相対速度情報を含み、
    前記注視スコア算出部は、前記相対速度情報に応じて前記注視スコアを算出する、
    請求項３に記載の情報処理装置。
13. 前記オブジェクトの前記注視スコアに応じた前記オブジェクトの表示方法、及び前記注視スコアに応じて提供される前記オブジェクトに関する前記オブジェクトの表示内容の少なくともいずれか一方を制御する表示制御部をさらに備える、
    請求項１に記載の情報処理装置。
14. 前記判定部は、前記オブジェクトの前記注視スコアが所定の閾値以上のときに、前記ユーザが前記オブジェクトを注視している注視状態であると判定し、
    前記表示制御部は、前記注視状態にある前記オブジェクトについて、当該オブジェクトの前記注視スコアが所定の閾値以上であるときに、前記注視スコアに応じて提供される前記オブジェクトに関するオブジェクト情報を表示させる、
    請求項１３に記載の情報処理装置。
15. 前記表示制御部は、前記注視スコアが所定の閾値以上であるときに、前記注視スコアに応じて提供される前記オブジェクトに関するオブジェクト情報を、前記ユーザの視界に重畳するように表示させる、
    請求項１３に記載の情報処理装置。
16. 前記表示制御部は、前記注視スコアが所定の閾値以上である前記オブジェクトを拡大して表示させる、
    請求項１３に記載の情報処理装置。
17. 各々の前記オブジェクトについて予め複数の情報が関連付けられたオブジェクト情報として格納されており、
    前記表示制御部は、前記オブジェクト情報の中から、所定の条件に応じて前記オブジェクト情報を出力させる、
    請求項１３に記載の情報処理装置。
18. 前記オブジェクトの前記注視スコアに応じた、前記オブジェクトの表示方法及び前記注視スコアに応じて提供される前記オブジェクトに関する前記オブジェクトの表示内容の少なくともいずれか一方を制御する表示制御部をさらに備え、
    前記注視スコア算出部により算出された前記注視スコアを有する前記オブジェクトに関するオブジェクト履歴情報として格納し、
    前記表示制御部は、格納された前記オブジェクト履歴情報を参照して、所定の条件に合致する前記オブジェクトの画像を含むオブジェクト情報を出力させる、
    請求項３に記載の情報処理装置。
19. ユーザの視点であって、所定のオブジェクトの上に位置する前記視点に関する視点情報を取得することと、
    前記ユーザと前記オブジェクトとの位置に関連する位置関連情報を取得することと、
    前記ユーザの頭部の回転に伴う角速度と、前記角速度の変化と、前記オブジェクトに対する前記頭部の回転方向とに関する頭部回転情報を取得することと、
    前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザの注視の程度を表す注視スコアであって、前記回転方向が、前記回転の中心と前記オブジェクトの中心とを結ぶ直線と、前記頭部の方向とのなす角度が減少する方向である場合に増大し、かつ、前記回転方向が前記角度が増大する方向である場合であっても前記角速度が所定の閾値以下である場合に増大する前記注視スコアにに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定すること、
    を含む、情報処理方法。
20. コンピュータを、
    ユーザの視点であって、所定のオブジェクトの上に位置する前記視点に関する視点情報を取得する視点取得部、
    前記ユーザと前記オブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部、
    前記ユーザの頭部の回転に伴う角速度と、前記角速度の変化と、前記オブジェクトに対する前記頭部の回転方向とに関する頭部回転情報を取得する頭部情報取得部、及び
    前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザの注視の程度を表す注視スコアであって、前記回転方向が、前記回転の中心と前記オブジェクトの中心とを結ぶ直線と、前記頭部の方向とのなす角度が減少する方向である場合に増大し、かつ、前記回転方向が前記角度が増大する方向である場合であっても前記角速度が所定の閾値以下である場合に増大する前記注視スコアに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定する注視スコア算出部、
    として機能させるためのプログラム。

Images