JP2024035533A - 情報処理装置 - Google Patents

Abstract

【課題】物体に対する人物の関心度を高精度に判断することのできる技術を提供する。【解決手段】本発明の情報処理装置は、ユーザーの視線情報を取得する第１取得手段と、前記視線情報に基づいて、前記ユーザーが見ている物体を検出する検出手段と、前記物体に対応する所定の情報である、前記物体に対する前記ユーザーの関心度を判断するための基準情報を、記憶部から取得する第２取得手段と、前記視線情報と前記基準情報に基づいて、前記関心度を判断する判断手段とを有することを特徴とする。【選択図】図６

Description

本発明は情報処理装置に関し、特に物体に対する人物の関心度を判断する技術に関する。

物体に対する人物の関心度を当該人物の視線情報に基づいて判断する技術が提案されている。特許文献１には、広告表示装置を設置したエリアに存在する人物の視線方向に基づいて、広告表示装置に表示された広告コンテンツを視聴している人数を計測する技術が開示されている。特許文献２には、注視対象物体に対する搭乗者（移動体の搭乗者）の注視持続時間に基づいて、注視対象物体に対する搭乗者の興味度を判定する技術が開示されている。

特開２００８－１１２４０１号公報 特開２００７－１７２３７８号公報

従来技術（例えば特許文献１，２に開示の技術）では、人物が物体を見る行為を人物が物体に関心を持つ行為とみなして、物体に対する人物の関心度が判断される。しかしながら、人物が物体を見たからといって、当該人物が当該物体に関心を持ったとは限らない。そのため、従来技術では関心度を高精度に判断することができない。

本発明は、物体に対する人物の関心度を高精度に判断することのできる技術を提供することを目的とする。

本発明の第１の態様は、ユーザーの視線情報を取得する第１取得手段と、前記視線情報に基づいて、前記ユーザーが見ている物体を検出する検出手段と、前記物体に対応する所定の情報である、前記物体に対する前記ユーザーの関心度を判断するための基準情報を、記憶部から取得する第２取得手段と、前記視線情報と前記基準情報に基づいて、前記関心度を判断する判断手段とを有することを特徴とする情報処理装置である。

本発明の第２の態様は、ユーザーの視線情報を取得する第１取得手段と、前記視線情報に基づいて、前記ユーザーが見ている物体を検出する検出手段と、前記物体の画像を解析することによって、前記物体に対する前記ユーザーの関心度を判断するための基準情報を取得する第２取得手段と、前記視線情報と前記基準情報に基づいて、前記関心度を判断する判断手段とを有することを特徴とする情報処理装置である。

本発明の第３の態様は、ユーザーの視線情報を取得するステップと、前記視線情報に基づいて、前記ユーザーが見ている物体を検出するステップと、前記物体に対応する所定の情報である、前記物体に対する前記ユーザーの関心度を判断するための基準情報を、記憶部から取得するステップと、前記視線情報と前記基準情報に基づいて、前記関心度を判断するステップとを有することを特徴とする情報処理装置の制御方法である。

本発明の第４の態様は、ユーザーの視線情報を取得するステップと、前記視線情報に基
づいて、前記ユーザーが見ている物体を検出するステップと、前記物体の画像を解析することによって、前記物体に対する前記ユーザーの関心度を判断するための基準情報を取得するステップと、前記視線情報と前記基準情報に基づいて、前記関心度を判断するステップとを有することを特徴とする情報処理装置の制御方法である。

本発明の第５の態様は、コンピュータを、上述した情報処理装置の各手段として機能させるためのプログラムである。本発明の第６の態様は、コンピュータを、上述した情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。

本発明によれば、物体に対する人物の関心度を高精度に判断することができる。

表示システムの外観図である。 表示システムの電気的構成を示すブロック図である。 視線検出方法の原理を説明するための図である。 眼画像などを示す図である。 視線検出処理のフローチャートである。 全体処理のフローチャートである。 表示システムの機能的構成を示すブロック図である。 注目物体と関心度基準情報を示す図である。 関心度判断処理のフローチャートである。 実施例２に係る基準情報取得処理のフローチャートである。

＜＜実施例１＞＞
本発明の実施例１について説明する。

なお、本発明は、人物の視線情報（視線に関する情報）を取得可能な各種電子機器に適用可能である。例えば、本発明は、ビデオシースルー方式の表示装置にも光学シースルー方式の表示装置にも適用可能である。ビデオシースルー方式の表示装置は、現実空間を撮像した画像（仮想空間）を、必要に応じてグラフィック（例えば仮想物体）を合成して表示面（現実空間（外界）からの光を透過しない表示面）に表示する。この場合に、ユーザーは、現実空間を直接見ることはできないが、表示された画像を見ることによって、現実空間を間接的に見たり、現実空間の画像に合成されたグラフィックを見たりすることができる。光学シースルー方式の表示装置は、例えば、表示面（現実空間からの光を透過する表示面）にグラフィックを表示する。この場合に、ユーザーは、表示面を介して現実空間を直接見たり、表示面に表示されたグラフィックを見たりすることができる。

本発明は、頭部装着型表示装置にも他の表示装置にも適用可能である。例えば、本発明は、ハンドヘルド型表示装置、および据え置き型表示装置にも適用可能である。頭部装着型表示装置は、例えば、スマートグラス（ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス）またはＨＭＤ（ヘッドマウントディスプレイ）である。ハンドヘルド型表示装置は、例えば、スマートフォンまたはタブレット端末である。ユーザーが手で保持して頭部に装着する（当てる）表示装置は、ハンドヘルド型表示装置の一種であり、頭部装着型表示装置の一種でもある。ヘッドマウントアダプタ（例えばＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグル）に装着されたスマートフォンは、頭部装着型表示装置の一種である。本発明は、ユーザーが両目で画像を見る頭部装着型表示装置にも、ユーザーが片目で画像を見る頭部装着型表示装置にも適用可能である。

本発明は、現実空間をユーザーに視認させずに仮想空間のみをユーザーに視認させる方式にも適用可能である。つまり、本発明は、様々なＸＲ（Ｃｒｏｓｓ Ｒｅａｌｉｔｙ）、例えばＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）、およびＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）に適用可能である。

本発明は、表示装置以外の電子機器にも適用可能である。本発明が適用された情報処理装置は、表示装置に設けられてもよいし、表示装置とは別体の電子機器に設けられてもよい。例えば、本発明は、表示装置に接続されたコントローラーまたはＰＣ（パーソナルコンピュータ）にも適用可能である。本発明は、監視カメラにも適用可能である。

実施例１では、人物の視線情報を取得し、物体に対する人物の関心度を視線情報に基づいて判断する。実施例１では物体が現実物体であるとするが、物体は仮想物体であってもよい。従来技術では、人物が物体を見る行為を人物が物体に関心を持つ行為とみなして、物体に対する人物の関心度が判断される。しかしながら、人物が物体を見たからといって、当該人物が物体に関心を持ったとは限らない。そのため、従来技術では関心度を高精度に判断することができない。

例えば、広告媒体（例えばポスター、看板、およびデジタルサイネージ）は、アイキャッチのための広い領域（アイキャッチ領域）を有することがある。アイキャッチ領域は、例えば、人物（広告モデル）写真またはキャッチフレーズが大きく配置された領域である。ここで、アイキャッチ領域は、広告対象（例えば商品またはサービス）との関連性が低いことがある。そのため、人物がアイキャッチ領域を見たとしても、当該人物は、広告対象を連想せず、広告対象および広告媒体に対して関心を持たないことがある。なお、広告対象との関連性の低い領域は、アイキャッチ領域に限られない。

そこで、実施例１では、物体に応じた好適な判断基準で、物体に対する人物の関心度を高精度に判断する。例えば、物体の内容（物体のデザインの意図）を考慮した判断基準で、関心度を高精度に判断する。

＜構成の説明＞
図１（Ａ），１（Ｂ）は、実施例１に係る表示システム１００の外観を示す。図１（Ａ）は正面斜視図であり、図１（Ｂ）は背面斜視図である。図１（Ａ）に示すように、表示システム１００は、ＨＭＤ１１０、コントローラー１２０、およびサーバー１３０を有する。実施例１では、ＨＭＤ１１０は、ビデオシースルー方式のＨＭＤとして使用されるとする。コントローラー１２０は、ＨＭＤ１１０に有線で接続されており、サーバー１３０に無線で接続されている。コントローラー１２０は、ＨＭＤ１１０に無線で接続されてもよい。図２は、表示システム１００の電気的構成を示すブロック図である。

図１（Ａ），１（Ｂ），２に示すように、ＨＭＤ１１０は、撮影レンズ１１１、表示部１１２、光源１１３ａ，１１３ｂ、受光レンズ１１４、眼撮像素子１１５、およびツマミ１４０を有する。さらに、図２に示すように、ＨＭＤ１１０は、撮像素子１１６、測光回路１１７、光源駆動回路１１８、および表示部駆動回路１１９を有する。図１（Ｂ）に示すように、表示部１１２、光源１１３ａ，１１３ｂ、受光レンズ１１４、および眼撮像素子１１５は、ユーザーの右目と左目のそれぞれについて設けられている。

撮影レンズ１１１は、外界を撮像するためのレンズであり、撮像素子１１６は、外界を撮像するための撮像素子である。撮像素子１１６は、撮影レンズ１１１の予定結像面に配置されている。

表示部１１２は、様々な画像（情報）を表示する。例えば、表示部１１２は、撮像素子１１６によって撮像された外界の画像を表示したり、ユーザーが見ている物体に関する情報を表示したりする。表示部駆動回路１１９は、コントローラー１２０（後述するＣＰＵ１２１）によって制御され、表示部１１２を駆動する。

光源１１３ａと光源１１３ｂのそれぞれは、ユーザーの眼（目）を照明する光源であり、例えばユーザーに対して不感の赤外光を発する赤外発光ダイオードである。光源駆動回路１１８は、コントローラー１２０（ＣＰＵ１２１）によって制御され、光源１１３ａ，１１３ｂを駆動する。光源１１３ａ，１１３ｂから発せられてユーザーの眼で反射した光の一部は、受光レンズ１１４によって、眼撮像素子１１５に集光する。受光レンズ１１４は、ユーザーの眼を撮像するためのレンズであり、眼撮像素子１１５は、ユーザーの眼を撮像するための撮像素子である。

ツマミ１４０は、ユーザーの瞳孔間距離に合うように右目用の表示部１１２と左目用の表示部１１２との間隔を調整するためのツマミである。

測光回路１１７は、測光センサの役割を兼ねた撮像素子１１６から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、およびＡ／Ｄ変換を行い、その結果を被写界輝度情報としてコントローラー１２０（ＣＰＵ１２１）に送る。

コントローラー１２０は、ＣＰＵ１２１、メモリ部１２２、視線検出回路１２３、ＬＰＦ（ローパスフィルタ）１２４、表示部駆動回路１２５、操作部材１２６～１２８、および無線通信回路１２９を有する。

ＣＰＵ１２１は、コントローラー１２０に内蔵されたマイクロコンピュータの中央処理部であり、表示システム１００全体を制御する。

メモリ部１２２は、眼撮像素子１１５からの映像信号の記憶機能と、視線補正パラメータの記憶機能とを有する。視線補正パラメータは、視線の個人差を補正するパラメータである。さらに、メモリ部１２２は、関心度基準情報の記憶機能を有する。関心度基準情報は、物体に対応する所定の情報であり、物体に対するユーザーの関心度を判断するための基準情報である。メモリ部１２２は、複数の物体にそれぞれ対応する複数の関心度基準情報を記憶する。

視線検出回路１２３は、眼撮像素子１１５上に眼の光学像が結像した状態での眼撮像素子１１５の出力（眼を撮像した眼画像）をＡ／Ｄ変換し、その結果をＬＰＦ１２４を介してＣＰＵ１２１に送信する。ＣＰＵ１２１は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザーの視線を検出する。

操作部材１２６～１２８は、ユーザーからの操作を受け付け、ＣＰＵ１２１に操作信号（ユーザーによって行われた操作に応じた信号）を出力する。例えば、操作部材１２６はタッチ操作を受け付け可能なタッチパネルであり、操作部材１２７は各方向に押し倒し可能な操作レバーであり、操作部材１２８は４方向のそれぞれに押し込み可能な４方向キーである。操作部材１２６（タッチパネル）は、画像（情報）を表示する機能を有する。このように、操作部材１２６は、タッチパネルとしての機能と、表示部としての機能とを有する。表示部駆動回路１２５は、ＣＰＵ１２１によって制御され、操作部材１２６（表示部）を駆動する。ユーザーは、操作部材１２６～１２８を用いて様々な操作（指示）を行うことができる。例えば、ユーザーは、操作部材１２６～１２８を用いて、表示部１１２に表示されたＵＩ（ユーザーインターフェース、例えば指標）の位置を微調整することができる。

無線通信回路１２９は、ＣＰＵ１２１によって制御され、外部機器と通信を行う。例えば、無線通信回路１２９は、ＣＰＵ１２１によって判断された関心度（物体に対するユーザーの関心度）を、インターネットを介してサーバー１３０に送信して記録する。

＜視線検出処理の説明＞
図３，４（Ａ），４（Ｂ），５を用いて、視線検出処理（視線検出方法）について説明する。右目の視線も左目の視線も、以下の視線検出方法で検出される。図３は、視線検出方法の原理を説明するための図であり、視線を検出するための光学系の概略図である。図３に示すように、光源１１３ａ，１１３ｂは受光レンズ１１４の光軸に対して略対称に配置され、ユーザーの眼球２００を照らす。光源１１３ａ，１１３ｂから発せられて眼球２００で反射した光の一部は、受光レンズ１１４によって、眼撮像素子１１５に集光する。図４（Ａ）は、眼撮像素子１１５で撮像された眼画像（眼撮像素子１１５に投影された眼の光学像）の概略図であり、図４（Ｂ）は眼撮像素子１１５の出力強度を示す図である。図５は、視線検出処理のフローチャートである。

図５の視線検出処理が開始すると、ステップＳ１で、ＣＰＵ１２１は、ユーザーの眼球２００に向けて赤外光を発するように、光源駆動回路１１８を用いて光源１１３ａ，１１３ｂを駆動する。赤外光によって照明されたユーザーの眼の光学像は、受光レンズ１１４を通って眼撮像素子１１５上に結像し、眼撮像素子１１５によって光電変換される。これによって、処理可能な眼画像の電気信号が得られる。

ステップＳ２では、ＣＰＵ１２１は、眼撮像素子１１５から視線検出回路１２３を介して眼画像（画像データ、画像信号）を取得する。

ステップＳ３では、ＣＰＵ１２１は、ステップＳ２で得られた眼画像から、光源１１３ａ，１１３ｂの角膜反射像Ｐｄ，Ｐｅと瞳孔中心ｃに対応する点の座標を検出する。

光源１１３ａ，１１３ｂより発せられた赤外光は、ユーザーの眼球２００の角膜２０１を照明する。このとき、角膜２０１の表面で反射した赤外光の一部によって形成される角膜反射像Ｐｄ，Ｐｅは、受光レンズ１１４によって集光され、眼撮像素子１１５上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’となる。同様に瞳孔２０２の端部ａ，ｂからの光束も眼撮像素子１１５上に結像して、眼画像における瞳孔端像ａ’，ｂ’となる。

図４（Ｂ）は、図４（Ａ）の眼画像における領域αの輝度情報（輝度分布）を示す。図４（Ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。実施例１では、角膜反射像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとし、瞳孔端像ａ’，ｂ’のＸ軸方向の座標をＸａ，Ｘｂとする。図４（Ｂ）に示すように、角膜反射像Ｐｄ’，Ｐｅ’の座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔２０２の領域（瞳孔２０２からの光束が眼撮像素子１１５上に結像して得られる瞳孔像の領域）に相当する、座標Ｘａから座標Ｘｂまでの領域では、座標Ｘｄ，Ｘｅを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔２０２の外側の虹彩２０３の領域（虹彩２０３からの光束が結像して得られる、瞳孔像の外側の虹彩像の領域）では、上記２種の輝度の中間の輝度が得られる。例えば、Ｘ座標（Ｘ軸方向の座標）が座標Ｘａより大きい領域と、Ｘ座標が座標Ｘｂより小さい領域とで、上記２種の輝度の中間の輝度が得られる。

図４（Ｂ）に示すような輝度分布から、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂを得ることができる。例えば、輝度が極端に
高い座標を角膜反射像Ｐｄ’，Ｐｅ’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像ａ’，ｂ’の座標として得ることができる。受光レンズ１１４の光軸に対する眼球２００の光軸の回転角θｘが小さい場合には、瞳孔中心ｃからの光束が眼撮像素子１１５上に結像して得られる瞳孔中心像ｃ’（瞳孔像の中心）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。つまり、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂから、瞳孔中心像ｃ’の座標Ｘｃを算出できる。このようにして、角膜反射像Ｐｄ’，Ｐｅ’の座標と、瞳孔中心像ｃ’の座標とを見積もることができる。

ステップＳ４では、ＣＰＵ１２１は、眼画像の結像倍率βを算出する。結像倍率βは、受光レンズ１１４に対する眼球２００の位置によって決まる倍率で、角膜反射像Ｐｄ’，Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数を用いて算出することができる。

ステップＳ５では、ＣＰＵ１２１は、受光レンズ１１４の光軸に対する眼球２００の光軸の回転角を算出する。角膜反射像Ｐｄと角膜反射像Ｐｅの中点のＸ座標と角膜２０１の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜２０１の曲率中心Ｏから瞳孔２０２の中心ｃまでの標準的な距離をＯｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球２００の回転角θｘは、以下の式１で算出できる。Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球２００の回転角θｙも、回転角θｘの算出方法と同様の方法で算出できる。

β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ ・・・（式１）

ステップＳ６では、ＣＰＵ１２１は、視線検出に必要なパラメータをメモリ部１２２から読み出す。例えば、ＣＰＵ１２１は、パラメータｍ，Ａｘ，Ｂｘ，Ａｙ，Ｂｙ，ｎｘ，ｎｙを読み出す。パラメータｍは、視線検出処理を行うための光学系の構成で定まる定数であり、回転角θｘ，θｙを表示部１１２上での瞳孔中心ｃに対応する座標に変換する変換係数である。パラメータｍは、予め決定されてメモリ部１２２に格納されるとする。パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線の個人差を補正する視線補正パラメータであり、視線検出のキャリブレーションを行うことで取得される。パラメータＡｘはＸ軸方向のオフセット値であり、パラメータＢｘはＸ軸方向の敏感度係数であり、パラメータＡｙはＹ軸方向のオフセット値であり、パラメータＢｙはＹ軸方向の敏感度係数である。視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線検出処理が開始する前にメモリ部１２２に格納されるとする。右目の視線検出処理では、パラメータｎｘ＝ｎＲｘとパラメータｎｙ＝ｎＲｙが取得され、左目の視線検出処理では、パラメータｎｘ＝ｎＬｘとパラメータｎｙ＝ｎＬｙが取得される。パラメータｎＲｘは、右目の視線情報を得るためのＸ軸方向の補正係数であり、パラメータｎＲｙは、右目の視線情報を得るためのＹ軸方向の補正係数である。パラメータｎＬｘは、左目の視線情報を得るためのＸ軸方向の補正係数であり、パラメータｎＬｙは、左目の視線情報を得るためのＹ軸方向の補正係数である。パラメータｎＲｘ，ｎＲｙ，ｎＬｘ，ｎＬｙは、予め決定されてメモリ部１２２に格納されるとする。

ステップＳ７では、ＣＰＵ１２１は、ステップＳ５で算出した回転角θｘ，θｙと、ステップＳ６で読み出したパラメータｍ，Ａｘ，Ｂｘ，Ａｙ，Ｂｙ，ｎｘ，ｎｙとを用いて、表示部１１２上でのユーザーの視点を推定する。視点は、視線が注がれた位置と捉えたり、ユーザーが見ている位置と捉えたり、視線位置と捉えたりすることもできる。視点の座標（Ｈｘ，Ｈｙ）が瞳孔中心ｃに対応する座標であるとすると、視点の座標（Ｈｘ，Ｈｙ）は以下の式２，３で算出できる。

Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）×ｎｘ ・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）×ｎｙ ・・・（式３）

ステップＳ８では、ＣＰＵ１２１は、視点の座標（Ｈｘ，Ｈｙ）をメモリ部１２２に格納し、視線検出処理を終える。

なお、視線検出方法は上記方法に限られず、例えば、眼画像から視線情報を取得する方法であれば、どのような方法であってもよい。眼画像を用いずに、眼電位を検出して当該眼電位に基づいて視線を検出する方法のように、眼画像を用いない方法で視線を検出してもよい。最終的な視線情報として、視点を示す情報ではなく、視線方向（視線の方向）を示す情報が得られてもよい。例えば、視点の座標（Ｈｘ，Ｈｙ）を得ずに、回転角（Ａｘ×θｘ＋Ｂｘ）×ｎｘ，（Ａｙ×θｙ＋Ｂｙ）×ｎｙを得るまでの処理が行われてもよい。最終的な視線情報として、両目での視点（右目の視線と左目の視線との交点、両目で見ている位置）を示す情報が取得されてもよい。

＜全体処理の説明＞
図６，７を用いて、表示システム１００（コントローラー１２０）の全体処理について説明する。図６は、全体処理のフローチャートである。例えば、ユーザーがＨＭＤ１１０を装着して、ＨＭＤ１１０とコントローラー１２０を起動させると、図６の全体処理が開始する。図７は、表示システム１００の機能的構成を示すブロック図である。図７の各機能部は、コントローラー１２０のＣＰＵ１２１によって実現される。

図６の全体処理が開始すると、ステップＳ１０１で、外界画像取得部３０２が、撮像素子１１６によって撮像された外界の画像（外界画像）を取得する。図６，７には示されていないが、ＣＰＵ１２１は、取得した外界画像を、所定の画像処理を施して表示部１１２に表示する。

ステップＳ１０２では、視線検出部３０１が、図５の視線検出処理を行うことによって、ユーザーの視線情報を取得する。

ステップＳ１０３では、ＣＰＵ１２１が、ステップＳ１０２で取得した視線情報に基づいて、ユーザーが見ている物体（注目物体）を検出する。例えば、物体検出部３０３が、ステップＳ１０１で取得された外界画像から物体を検出する。そして、注目物体検出部３０４が、ステップＳ１０２で取得された視線情報に基づいて、物体検出部３０３によって検出された物体から、注目物体を検出する。例えば、注目物体は、時系列の複数の視線情報から得られる情報（例えば視点の軌跡、眼球のサッカード、視点が留まっている時間、および物体に対する注視の回数）に基づいて、注目物体を検出する。ステップＳ１０３の処理によって、注目物体の検出結果である注目物体情報が取得される。注目物体情報の詳細は後述する。

ステップＳ１０４では、基準情報取得部３０５が、ステップＳ１０３で取得された注目物体情報に基づいて、注目物体に対応する関心度基準情報を取得する（基準情報取得処理）。実施例１では、基準情報取得部３０５は、注目物体に対応する関心度基準情報をメモリ部１２２から取得する。関心度基準情報の詳細は後述する。

例えば、注目物体情報が注目物体の位置（現実空間内での位置、現実空間の座標系（ワールド座標系）における注目物体の位置）を示すとする。そして、メモリ部１２２に格納されている関心度基準情報に、当該関心度基準情報に対応する物体の位置が関連付けられているとする。その場合に、基準情報取得部３０５は、注目物体情報によって示された位置に最も近い位置に関連付けられている関心度基準情報をメモリ部１２２から取得してもよい。

注目物体情報は、注目物体の位置と種類を示してもよい。そして、メモリ部１２２に格納されている関心度基準情報に、当該関心度基準情報に対応する物体の位置と種類が関連付けられていてもよい。その場合に、基準情報取得部３０５は、注目物体情報によって示された種類の物体のうち、注目物体情報によって示された位置に最も近い位置に関連付けられている関心度基準情報をメモリ部１２２から取得してもよい。

注目物体情報は、注目物体を識別（特定）する識別情報（例えば識別子）を含んでもよい。そして、メモリ部１２２に格納されている関心度基準情報に、当該関心度基準情報に対応する物体の識別情報が関連付けられていてもよい。その場合に、基準情報取得部３０５は、基準情報取得部３０５は、注目物体情報に含まれた識別情報と同じ識別情報に関連付けられている関心度基準情報をメモリ部１２２から取得してもよい。

なお、複数の物体にそれぞれ対応する複数の関心度基準情報は、サーバー１３０に格納されていてもよい。その場合に、基準情報取得部３０５は、注目物体に対応する関心度基準情報をサーバー１３０から取得してもよい。注目物体情報に基づいて複数の関心度基準情報から注目物体に対応する関心度基準情報を選択する処理は、基準情報取得部３０５によって行われてもよいし、サーバー１３０によって行われてもよい。注目物体に対応する関心度基準情報を選択する処理をサーバー１３０が行う場合には、例えば、基準情報取得部３０５が注目物体情報をサーバー１３０に送信し、サーバー１３０が注目物体に対応する関心度基準情報を基準情報取得部３０５に返信する。

注目物体検出部３０４は、ユーザーの右目の視線情報と、ユーザーの左目の視線情報とに基づいて、注目物体の３次元位置を検出し、当該３次元位置を示す注目物体情報を生成してもよい。例えば、注目物体検出部３０４は、右目の視線情報、左目の視線情報、および瞳孔間距離（右目用の表示部１１２と左目用の表示部１１２との間隔）に基づいて、ユーザー（ＨＭＤ１１０）と注目物体との３次元的な位置関係を判断（推定）する。そして、注目物体検出部３０４は、ユーザー（ＨＭＤ１１０）の３次元位置と、判断した位置関係とに基づいて、注目物体の３次元位置を検出（推定）する。ユーザー（ＨＭＤ１１０）の３次元位置は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いて推定される。３次元位置を用いることによって、２次元位置を用いる場合に比べ高精度に、注目物体に対応する関心度基準情報を取得することができる（注目物体とは異なる物体の関心度基準情報が取得されるという誤動作を抑制できる）。なお、ユーザー（ＨＭＤ１１０）の３次元位置の推定方法は、ＧＰＳを用いた方法に限られない。例えば、ユーザー（ＨＭＤ１１０）の３次元位置は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）によって推定されてもよい。ユーザー（ＨＭＤ１１０）の３次元位置は、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を用いたオドメトリによって推定されてもよい。

特定の種類の物体（例えば広告媒体）に対してのみ関心度基準情報が用意されている場合には、注目物体の種類が特定の種類である場合（例えば注目媒体が広告媒体である場合）に限って、ステップＳ１０４の処理が行われてもよい。そうすることによって、処理負荷を軽減することができる。

ステップＳ１０５では、関心度判断部３０６が、ステップＳ１０２で取得された視線情報、ステップＳ１０３で取得された注目物体情報、およびステップＳ１０４で取得された関心度基準情報に基づいて、注目物体に対するユーザーの関心度を判断する。ステップＳ１０５の処理（関心度判断処理）の詳細は後述する。

ステップＳ１０６で、関心度記録部３０７が、ステップＳ１０５で判断された関心度を
、インターネットを介してサーバー１３０に送信して記録する。関心度はメモリ部１２２に記録されてもよい。

＜関心度判断処理の説明＞
図８（Ａ），８（Ｂ），９を用いて、関心度判断処理（図６のステップＳ１０５の処理）について説明する。図８（Ａ）は注目物体を示し、図８（Ｂ）は、図８（Ａ）の注目物体に対応する関心度基準情報を示す。図９は、関心度判断処理のフローチャートである。

図８（Ａ）の注目物体は広告媒体であり、アイキャッチ領域、文章領域、および画像領域を含む。注目物体の中央上部に配置されたアイキャッチ領域には、広告対象である商品との関連性が低いキャッチフレーズが記載されている。注目物体の中央下部に配置された文章領域には、広告対象である商品の説明、および当該商品の会社名が記載されている。注目物体の右下部に配置された画像領域には、広告対象である商品の画像が描かれている。

図８（Ｂ）の関心度基準情報は、注目物体の複数の領域のそれぞれについて、注目物体の複数の領域のそれぞれについて、注目物体に対するユーザーの関心度を判断するための基準を示す。図８（Ｂ）の関心度基準情報は、設定領域１～３（注目物体全体に対する設定領域１～３それぞれの相対的な配置）を示す。設定領域１は画像領域に対応し、設定領域２はアイキャッチ領域に対応し、設定領域３は文章領域に対応する。さらに、図８（Ｂ）の関心度基準情報は、設定領域１～３のそれぞれについて、種類（画像領域／アイキャッチ領域／文章領域）、重み、および関連領域を示す。図８（Ｂ）では、設定領域１の関連領域として設定領域２が設定されており、設定領域２，３には関連領域が設定されていない。

図９の関心度判断処理が開始すると、ステップＳ２０１で、関心度判断部３０６は、関心度Ｉに０を代入する（関心度Ｉの初期化）。

ステップＳ２０２では、関心度判断部３０６は、関心度Ｉの敏感度ｋを設定する。敏感度ｋが大きいほど関心度Ｉは大きくなりやすい。例えば、関心度判断部３０６は、関心を持ちやすい（関心を持ってもらいたい）ユーザーの関心度Ｉとして大きい値が得やすくなるように、ユーザーの属性に応じた値を敏感度ｋとして設定する。注目物体が広告媒体であり且つ広告対象が化粧品である場合には、関心度判断部３０６は、当該化粧品が対象とする年齢（年齢層）と性別のユーザーの関心度として大きい値が得やすくなるように敏感度ｋを設定してもよい。

ステップＳ２０３では、関心度判断部３０６は、ユーザーの視点が設定領域１に閾値時間Ｔ１以上留まっているか否かを判定する。この判定は、ユーザーの視線が設定領域１に所定の閾値時間Ｔ１以上向いているか否かの判定と捉えることもできる。例えば、注目物体情報が、外界画像における注目物体の領域（表示部１１２上での注目物体の領域）を示す。関心度判断部３０６は、注目物体情報と、注目物体の関心度基準情報（注目物体全体に対する設定領域１の相対的な配置）とに基づいて、表示部１１２上での設定領域１を判断する。そして、関心度判断部３０６は、視線情報に基づいて、表示部１１２上での設定領域１に視点が閾値時間Ｔ１以上留まっているか否かを判定する。関心度判断部３０６は、ユーザーの視点が設定領域１に閾値時間Ｔ１以上留まっていると判定した場合はステップＳ２１１に処理を進め、ユーザーの視点が設定領域１に閾値時間Ｔ１以上留まっていないと判定した場合はステップＳ２０４に処理を進める。

ステップＳ２１１では、関心度判断部３０６は、注目物体の関心度基準情報（設定領域１の重みｗ１）を用いて、関心度Ｉを更新する。関心度判断部３０６は、重みｗ１が大き
いほど大きい値に、関心度Ｉを更新する。例えば、関心度判断部３０６は、以下の式４を用いて関心度Ｉを更新する。

Ｉ＝Ｉ＋（１＋ｋ）×ｗ１ ・・・（式４）

ステップＳ２０４では、関心度判断部３０６は、設定領域２内に視点が移動するサッカードが発生しているか否かを判定する。関心度判断部３０６は、設定領域２内へのサッカードが発生していると判定した場合はステップＳ２１２に処理を進め、設定領域２内へのサッカードが発生していないと判定した場合はステップＳ２０５に処理を進める。

ステップＳ２１２では、関心度判断部３０６は、注目物体の関心度基準情報（設定領域２の重みｗ２）を用いて、関心度Ｉを更新する。例えば、関心度判断部３０６は、以下の式５を用いて関心度Ｉを更新する。

Ｉ＝Ｉ＋（１＋ｋ）×ｗ２ ・・・（式５）

ステップＳ２０５では、関心度判断部３０６は、ユーザーの視点が設定領域１に閾値時間Ｔ１’以上留まっていおり且つユーザーの視点が設定領域２に閾値時間Ｔ２以上留まっているか否かを判定する。関心度判断部３０６は、ユーザーの視点が設定領域１に閾値時間Ｔ１’以上留まっていおり且つユーザーの視点が設定領域２に閾値時間Ｔ２以上留まっていると判定した場合はステップＳ２１３に処理を進め、そうでない場合はステップＳ２０６に処理を進める。

ステップＳ２１２では、関心度判断部３０６は、注目物体の関心度基準情報（設定領域１，２の重みｗ１，ｗ２）を用いて、関心度Ｉを更新する。例えば、関心度判断部３０６は、以下の式６を用いて関心度Ｉを更新する。

Ｉ＝Ｉ＋（１＋ｋ）×（ｗ１＋ｗ２） ・・・（式６）

上述したように、設定領域２に対応するアイキャッチ領域には、広告対象である商品との関連性が低いキャッチフレーズが記載されている。そのため、ユーザーが設定領域２を見たからといって、ユーザーが注目物体に関心を持ったとは限らない。ステップＳ２０４，Ｓ２０５のように、設定領域２を、注目物体の他の部分と組み合わせることによって、注目物体に対するユーザーの関心の有無を判断することができる。上述したように、設定領域１の関連領域として設定領域２が設定されている。そのため、ステップＳ２０５では設定領域１と設定領域２を組み合わせている。

ステップＳ２０６では、関心度判断部３０６は、ユーザーの視点が設定領域３に閾値時間Ｔ３以上留まっているか否かを判定する。関心度判断部３０６は、ユーザーの視点が設定領域３に閾値時間Ｔ３以上留まっていると判定した場合はステップＳ２１４に処理を進め、ユーザーの視点が設定領域３に閾値時間Ｔ３以上留まっていないと判定した場合は図９の関心度判断処理を終了する。

ステップＳ２１４では、関心度判断部３０６は、注目物体の関心度基準情報（設定領域３の重みｗ３）を用いて、関心度Ｉを更新する。例えば、関心度判断部３０６は、以下の式７を用いて関心度Ｉを更新する。

Ｉ＝Ｉ＋（１＋ｋ）×ｗ３ ・・・（式７）

なお、閾値時間Ｔ１，Ｔ１’，Ｔ２，Ｔ３は、予め定められた固定時間であってもよいし、適宜変更される時間であってもよい。例えば、閾値時間Ｔ１，Ｔ１’，Ｔ２，Ｔ３は、ユーザーによって適宜変更される時間であってもよいし、コントローラー１２０によって適宜変更される時間であってもよい。コントローラーは、外界画像に基づいて注目物体の視認性を判断し、注目物体の視認性が低いほど長い時間を閾値時間Ｔ１，Ｔ１’，Ｔ２，Ｔ３として設定してもよい。閾値時間Ｔ１，Ｔ１’，Ｔ２，Ｔ３は同じであってもよいし、異なっていてもよい。

３つの設定領域１～３が設定されている例を説明したが、設定領域の数は特に限定されない。関心度判断処理は、図９に示すような処理に限られない。関心度基準情報は、物体に対するユーザーの関心度を判断するための基準を示していればよく、図８（Ｂ）に示すような情報に限られない。例えば、関心度基準情報は、設定領域を見る順番を示してもよいし、設定領域を見てほしい時間を示してもよい。

＜まとめ＞
以上述べたように、実施例１によれば、注目物体に対応する所定の関心度基準情報を記憶部から取得して用いることによって、注目物体に対するユーザーの関心度を高精度に判断することができる。ひいては、ユーザーが関心を持っている商品の情報をユーザーに提示するサービスを高精度に行ったり、物体に関心を持っている人の数を高精度に取得したりすることができる。

＜＜実施例２＞＞
本発明の実施例２について説明する。なお、以下では、実施例１と同じ点（例えば実施例１と同じ構成および処理）についての説明は省略し、実施例１と異なる点について説明する。実施例２の全体処理は、実施例１（図６）の全体処理と同じである。但し、実施例１と実施例２とで、ステップＳ１０４の基準情報取得処理が異なる。実施例１の基準情報取得処理では、予め用意された複数の関心度基準情報から注目物体に対応する関心度基準情報が選択される。実施例２の基準情報取得処理では、注目物体の画像を解析することによって、注目物体に対応する関心度基準情報が取得される。図１０は、実施例２に係る基準情報取得処理のフローチャートである。実施例２の関心度判断処理は、実施例１（図９）の関心度判断処理と同じである。

図１０の基準情報取得処理が開始すると、ステップＳ３０１で、基準情報取得部３０５は、図６のステップＳ１０１で取得された外界画像から、ステップＳ１０３で検出された注目物体の領域を抽出する。これによって、注目物体画像（注目物体の画像）が取得される。

ステップＳ３０２～Ｓ３０５では、基準情報取得部３０５は、ステップＳ３０１で取得した注目物体画像を解析することによって、注目物体に対応する関心度基準情報を取得する。

ステップＳ３０２では、基準情報取得部３０５は、ステップＳ３０１で取得した注目物体画像の意味的領域分割（セグメンテーション）を行う。ステップＳ３０２の処理によって、図８（Ｂ）の設定領域１～３が設定される。

ステップＳ３０３では、基準情報取得部３０５は、ステップＳ３０２で設定した設定領域ごとに、設定領域から特徴パーツ（例えば文字または物体）を検出することによって、
設定領域の種類（画像領域／アイキャッチ領域／文章領域）を決定する。

ステップＳ３０４では、基準情報取得部３０５は、ステップＳ３０２で設定した設定領域ごとに、ステップＳ３０３で検出した特徴パーツを評価することによって、設定領域の重みと関連領域を決定する。注目物体が広告媒体である場合には、広告の趣旨に沿っていると推定される設定領域では大きい重みが決定され、広告の趣旨に沿わないと推定される設定領域では小さい重みが決定されてもよい。例えば、広告対象である商品が描かれた画像領域では大きい重みが決定され、当該商品との関連性が低いキャッチフレーズのみが記載されたアイキャッチ領域では小さい重みが決定されてもよい。そして、商品の説明が記載された文章領域では中程度の重みが決定されてもよい。

ステップＳ３０５では、基準情報取得部３０５は、ステップＳ３０２～Ｓ３０４の処理結果を統合することによって、注目物体に対応する関心度基準情報を取得する。

なお、基準情報取得部３０５は、注目物体画像を入力して注目物体画像の解析結果（例えばステップＳ３０２～Ｓ３０５のいずれかの処理結果）を出力する演算器（学習済みモデル）を用いてもよい。ステップＳ３０２～Ｓ３０５のうちの１つの処理に演算器が使用されてもよいし、２つ以上の処理に演算器が使用されてもよい。ＣＰＵ１２１が演算器として機能してもよいし、コントローラー１２０が、演算器として機能するＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有してもよい。

サーバー１３０が、注目物体画像を解析して、注目物体に対応する関心度基準情報を取得してもよい。その場合には、例えば、基準情報取得部３０５が外界画像または注目物体画像をサーバー１３０に送信し、サーバー１３０が注目物体に対応する関心度基準情報を基準情報取得部３０５に返信する。

以上述べたように、実施例２によれば、注目物体画像を解析することによって注目物体に対応する関心度基準情報を取得し、取得した関心度基準情報を用いることによって、注目物体に対するユーザーの関心度を高精度に判断することができる。

なお、上記実施例（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上記実施例の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上記実施例の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜＜その他の実施例＞＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成、方法、プログラム、および媒体を含む。
（構成１）
ユーザーの視線情報を取得する第１取得手段と、
前記視線情報に基づいて、前記ユーザーが見ている物体を検出する検出手段と、
前記物体に対応する所定の情報である、前記物体に対する前記ユーザーの関心度を判断するための基準情報を、記憶部から取得する第２取得手段と、
前記視線情報と前記基準情報に基づいて、前記関心度を判断する判断手段と
を有することを特徴とする情報処理装置。
（構成２）
ユーザーの視線情報を取得する第１取得手段と、
前記視線情報に基づいて、前記ユーザーが見ている物体を検出する検出手段と、
前記物体の画像を解析することによって、前記物体に対する前記ユーザーの関心度を判断するための基準情報を取得する第２取得手段と、
前記視線情報と前記基準情報に基づいて、前記関心度を判断する判断手段と
を有することを特徴とする情報処理装置。
（構成３）
前記第２取得手段は、前記画像を入力して前記画像の解析結果を出力する学習済みモデルを用いて、前記基準情報を取得する
ことを特徴とする構成２に記載の情報処理装置。
（構成４）
前記第１取得手段は、前記ユーザーの右目の視線情報と、前記ユーザーの左目の視線情報とを取得し、
前記検出手段は、前記ユーザーの右目の視線情報と、前記ユーザーの左目の視線情報とに基づいて、前記物体の３次元位置を検出する
ことを特徴とする構成１～３のいずれか１項に記載の情報処理装置。
（構成５）
前記関心度をサーバーに記録する記録手段
をさらに有する
ことを特徴とする構成１～４のいずれか１項に記載の情報処理装置。
（構成６）
前記基準情報は、前記物体の複数の領域のそれぞれについて、前記関心度を判断するための基準を示す
ことを特徴とする構成１～５のいずれか１項に記載の情報処理装置。
（構成７）
構成１～６のいずれか１項に記載の情報処理装置と、
表示手段と、
を有することを特徴とする頭部装着型表示装置。
（方法１）
ユーザーの視線情報を取得するステップと、
前記視線情報に基づいて、前記ユーザーが見ている物体を検出するステップと、
前記物体に対応する所定の情報である、前記物体に対する前記ユーザーの関心度を判断するための基準情報を、記憶部から取得するステップと、
前記視線情報と前記基準情報に基づいて、前記関心度を判断するステップと
を有することを特徴とする情報処理装置の制御方法。
（方法２）
ユーザーの視線情報を取得するステップと、
前記視線情報に基づいて、前記ユーザーが見ている物体を検出するステップと、
前記物体の画像を解析することによって、前記物体に対する前記ユーザーの関心度を判断するための基準情報を取得するステップと、
前記視線情報と前記基準情報に基づいて、前記関心度を判断するステップと
を有することを特徴とする情報処理装置の制御方法。
（プログラム）
コンピュータを、構成１～６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
（媒体）
コンピュータを、構成１～６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

１２０：コントローラー １２１：ＣＰＵ
３０１：視線検出部 ３０４：注目物体検出部
３０５：基準情報取得部 ３０６：関心度判断部

Claims (11)

1. ユーザーの視線情報を取得する第１取得手段と、
   前記視線情報に基づいて、前記ユーザーが見ている物体を検出する検出手段と、
   前記物体に対応する所定の情報である、前記物体に対する前記ユーザーの関心度を判断するための基準情報を、記憶部から取得する第２取得手段と、
   前記視線情報と前記基準情報に基づいて、前記関心度を判断する判断手段と
   を有することを特徴とする情報処理装置。
2. ユーザーの視線情報を取得する第１取得手段と、
   前記視線情報に基づいて、前記ユーザーが見ている物体を検出する検出手段と、
   前記物体の画像を解析することによって、前記物体に対する前記ユーザーの関心度を判断するための基準情報を取得する第２取得手段と、
   前記視線情報と前記基準情報に基づいて、前記関心度を判断する判断手段と
   を有することを特徴とする情報処理装置。
3. 前記第２取得手段は、前記画像を入力して前記画像の解析結果を出力する学習済みモデルを用いて、前記基準情報を取得する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記第１取得手段は、前記ユーザーの右目の視線情報と、前記ユーザーの左目の視線情報とを取得し、
   前記検出手段は、前記ユーザーの右目の視線情報と、前記ユーザーの左目の視線情報とに基づいて、前記物体の３次元位置を検出する
   ことを特徴とする請求項１のいずれか１項に記載の情報処理装置。
5. 前記関心度をサーバーに記録する記録手段
   をさらに有する
   ことを特徴とする請求項１のいずれか１項に記載の情報処理装置。
6. 前記基準情報は、前記物体の複数の領域のそれぞれについて、前記関心度を判断するための基準を示す
   ことを特徴とする請求項１のいずれか１項に記載の情報処理装置。
7. 請求項１～６のいずれか１項に記載の情報処理装置と、
   表示手段と、
   を有することを特徴とする頭部装着型表示装置。
8. ユーザーの視線情報を取得するステップと、
   前記視線情報に基づいて、前記ユーザーが見ている物体を検出するステップと、
   前記物体に対応する所定の情報である、前記物体に対する前記ユーザーの関心度を判断するための基準情報を、記憶部から取得するステップと、
   前記視線情報と前記基準情報に基づいて、前記関心度を判断するステップと
   を有することを特徴とする情報処理装置の制御方法。
9. ユーザーの視線情報を取得するステップと、
   前記視線情報に基づいて、前記ユーザーが見ている物体を検出するステップと、
   前記物体の画像を解析することによって、前記物体に対する前記ユーザーの関心度を判断するための基準情報を取得するステップと、
   前記視線情報と前記基準情報に基づいて、前記関心度を判断するステップと
   を有することを特徴とする情報処理装置の制御方法。
10. コンピュータを、請求項１～６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
11. コンピュータを、請求項１～６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images