JP7388349B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本技術は、ユーザの視線方向の検出に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。

従来、ユーザの視線方向を検出する技術が知られている。例えば、ユーザの視線方向を用いることで、ユーザが注視している位置やユーザの状態等を検出することが可能である。

特許文献１には、ユーザの視線検出に用いられるアイウェア端末が記載されている。特許文献１では、瞳孔角膜反射法を用いてユーザの視線が検出される。アイウェア端末には、赤外光を発する光源と眼球を撮影する撮像部とが搭載される。光源により眼球に向けて赤外光が照射され、撮像部により赤外光の輝点（プルキニエ像）が映り込んだ眼球の画像が撮影される。この輝点及び瞳孔の位置等に基づいて、ユーザの視線が推定される。（特許文献１の明細書段落［００１４］［００１５］［００２１］［００２２］［００４８］図２、７等）。

国際公開第２０１６／０９８４０６号

ユーザの視線方向を検出する技術は、アミューズメント、交通、医療、マーケティング等の様々な分野での応用が期待されており、安定した視線検出を実現する技術が求められている。

以上のような事情に鑑み、本技術の目的は、安定した視線検出を実現することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、処理部とを具備する。
前記取得部は、ユーザの眼情報を取得する。
前記処理部は、前記眼情報に基づいて第１の手法により第１の視線方向を決定し、前記眼情報に基づいて前記第１の手法とは異なる第２の手法により第２の視線方向を決定し、前記第１の視線方向及び前記第２の視線方向の少なくとも１方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定する。

この情報処理装置では、ユーザの眼情報が取得され、ユーザの眼情報に基づいて、互いに異なる第１の手法及び第２の手法の各々を用いて第１の視線方向及び第２の視線方向がそれぞれ決定される。また第１及び第２の視線方向の少なくとも１方の信頼度に関する信頼度情報が算出され、信頼度情報をもとにユーザの視線方向が決定される。これにより、安定した視線検出を実現することが可能となる。

前記処理部は、前記信頼度情報に基づいて、前記第１の視線方向と前記第２の視線方向とを合成して前記ユーザの視線方向を決定してもよい。
異なる手法により決定された視線方向を合成することで、視線方向の検出結果等を安定させることが可能となる。これにより、安定した視線検出を実現することが可能となる。

前記信頼度情報は、前記第１の視線方向と前記第２の視線方向とを合成するための重み係数を含んでもよい。
これにより、各視線方向の信頼度等に応じた合成が可能となり、信頼性を向上することが可能である。この結果、信頼性の高い視線検出を安定して行うことが可能となる。

前記眼情報は、１以上の照射光を照射して前記ユーザの眼球を撮影した眼球画像を含んでもよい。この場合、前記第１の手法は、前記眼球画像から前記１以上の照射光による１以上の輝点を検出し、前記検出された１以上の輝点に基づいて前記第１の視線方向を決定する手法であってもよい。
これにより、例えば照射光による輝点を基準として視線方向を決定することが可能となり、視線方向の検出精度を向上することが可能となる。

前記１以上の照射光は、複数の照射光であってもよい。この場合、前記処理部は、前記眼球画像から前記複数の照射光による複数の輝点のうち互いに所定の配置となる輝点のペアを検出可能であってもよい。
これにより、例えば眼球モデル等を用いて視線方向を検出することが可能となる。この結果、ユーザの視線方向を十分に高い精度で検出することが可能となる。

前記処理部は、前記眼球の角膜領域を検出し、前記角膜領域内での前記輝点のペアの位置に基づいて前記重み係数を算出してもよい。
これにより、例えば輝点を用いて検出される視線方向の信頼度を適正に算出することが可能となり、重み係数等を適正に算出することが可能となる。

前記処理部は、前記眼球の瞳孔中心を検出し、前記瞳孔中心に対する前記輝点のペアの距離に基づいて前記重み係数を算出してもよい。
これにより、例えば輝点を用いて検出される視線方向の信頼度を精度よく算出することが可能となり、重み係数等を高い精度で算出することが可能となる。

前記処理部は、前記輝点の面積を算出し、算出された前記輝点の面積に基づいて前記重み係数を算出してもよい。
これにより、例えば輝点状態に応じて重み係数を算出することが可能となり、視線方向の合成等を高い精度で実行することが可能となる。

前記第１の手法は、前記複数の輝点のうち前記輝点のペアに基づいて前記第１の視線方向を決定する手法であってもよい。この場合、前記第２の手法は、前記複数の輝点のうち単一の輝点に基づいて前記第２の視線方向を決定する手法であってもよい。
これにより、例えば輝点のペアが検出されない場合であっても、視線方向を検出可能であり、安定性の高い視線検出を実現することが可能となる。

前記処理部は、前記信頼度情報に基づいて、前記第１の視線方向を決定するための第１の補正パラメータと、前記第２の視線方向を決定するための第２の補正パラメータとの少なくとも一方を更新してもよい。
これにより、補正パラメータを最新の状態に維持することが可能となり、安定した視線検出を実現することが可能である。

前記第１の手法は、前記眼球の表面に設定される基準点を基準として前記第１の視線方向を決定する手法であってもよい。前記処理部は、前記第１の視線方向に基づいて前記第２の補正パラメータを更新してもよい。
例えば基準点を用いることで、装置の位置ずれ等が起きた場合であっても精度よく視線方向を検出可能である。これにより、他の手法の補正パラメータを適正に補正可能である。

前記信頼度情報は、前記第１の視線方向の信頼度を含んでもよい。この場合、前記処理部は、前記第１の視線方向の信頼度に応じて、前記第２の補正パラメータを更新してもよい。
これにより、一方の手法の信頼度を基準として他の手法の補正パラメータを適正に補正すること可能である。

前記眼情報は、１以上の照射光を照射して前記ユーザの眼球を撮影した眼球画像を含んでもよい。この場合、前記第１の手法は、前記眼球画像から前記１以上の照射光による１以上の輝点を検出し、前記検出された１以上の輝点に基づいて前記第１の視線方向を決定する手法であってもよい。また前記処理部は、前記眼球画像に基づいて前記第１の視線方向の信頼度を算出してもよい。
これにより、第１の視線方向を精度よく算出することが可能となる。この結果、第２の補正パラメータを精度よく更新することが可能となり、安定した視線検出を実現することが可能となる。

前記１以上の照射光は、前記眼領域の中心領域及び周辺領域のどちらか一方に照射されてもよい。
これにより、例えば広い視野範囲にわたってユーザの視線方向を安定して検出することが可能となる。

前記処理部は、前記眼球画像における前記眼球を含む眼領域での瞳孔の位置に応じて前記第２の補正パラメータを更新してもよい。
これにより、例えば第１の視線方向が精度よく算出される位置で、第２の補正パラメータを更新するといったことが可能となり、更新処理の精度を向上することが可能となる。

前記信頼度情報は、前記第１の視線方向と前記第２の視線方向とを合成するための、重み係数を含んでもよい。この場合、前記処理部は、前記重み係数に基づいて、前記第２の補正パラメータを補正してもよい。
これにより、第２の補正パラメータを精度よく更新することが可能となり、十分に安定した視線検出を実現することが可能となる。

前記第２の手法は、前記眼球画像から前記眼球の所定の特徴部分の位置及び形状の少なくとも一方を検出することで、前記第２の視線方向を決定する手法であってもよい。
これにより、例えば広い視野範囲に渡ってユーザの視野方向を検出することが可能となる。この結果、視線方向の検出可能範囲を拡大することが可能となる。

前記所定の特徴部分は、前記眼球の瞳孔、角膜、及び虹彩のいずれか１つを含んでもよい。
これにより、視線方向を容易に検出することが可能である

本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、ユーザの眼情報を取得することを含む。
前記眼情報に基づいて第１の手法により第１の視線方向が決定され、前記眼情報に基づいて前記第１の手法とは異なる第２の手法により第２の視線方向が決定され、前記第１の視線方向及び前記第２の視線方向の少なくとも１方の信頼度に関する信頼度情報が算出され、算出された前記信頼度情報に基づいて前記ユーザの視線方向が決定される。

本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行さ
せる。
ユーザの眼情報を取得するステップ。
前記眼情報に基づいて第１の手法により第１の視線方向を決定し、前記眼情報に基づいて前記第１の手法とは異なる第２の手法により第２の視線方向を決定し、前記第１の視線方向及び前記第２の視線方向の少なくとも１方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定するステップ。

以上のように、本技術によれば、安定した視線検出を実現することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の外観を示す斜視図である。 ＨＭＤの構成例を示す模式図である。 赤外光が照射されたユーザの眼の状態を説明するための模式図である。 赤外カメラにより撮影される画像の一例を示す模式図である。 ＨＭＤの機能的な構成例を示すブロック図である。 角膜領域の検出処理の一例を示す模式図である。 赤外光が照射されたユーザの眼球を示す模式図である。 眼球画像の一例を示す模式図である。 キャリブレーション処理の一例を説明するための模式図である。 ＨＭＤの基本的な動作例を示すフローチャートである。 瞳孔角膜反射法を用いた第１の視線ベクトルの算出処理の一例を示す模式図である。 合成比率の算出処理の一例を説明するための模式図である。 第２の補正パラメータの更新処理について説明するための模式図である。 比較例としてあげるユーザの眼球画像の一例を示す模式図である。 比較例として挙げる赤外光の照射の一例を示す模式図である。 第３及び第４の視線ベクトルを合成する合成比率の算出処理の一例を説明するための模式図である。 ユーザの視線方向と特徴部分との関係を説明するための模式図である。 他の実施形態に係るＨＭＤの外観を示す斜視図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
図１は、本技術の第１の実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の外観を示す斜視図である。図２は、ＨＭＤ１００の構成例を示す模式図である。図２には、ＨＭＤ１００を装着したユーザ１を上方から見た場合の、ＨＭＤ１００の構成例が模式的に図示されている。

ＨＭＤ１００は、基体部１０と、装着バンド１１と、赤外光源１２と、赤外カメラ１３と、ディスプレイユニット１４とを有する。ＨＭＤ１００は、ユーザ１の頭部に装着して使用され、ユーザ１の視界に画像表示を行う表示装置として機能する。

基体部１０は、ユーザ１の左右の眼２（２Ｌ及び２Ｒ）の前方に配置される部材である。基体部１０は、ユーザ１の視界を覆うように構成され、画像表示を行うためのディスプレイユニット１４等を収納する筐体として機能する。

装着バンド１１は、ユーザ１の頭部に装着される。図１に示すように、装着バンド１１は、側頭バンド１１ａと、頭頂バンド１１ｂとを有する。側頭バンド１１ａは、基体部１０に接続され、側頭部から後頭部にかけてユーザの頭部を囲むように装着される。頭頂バンド１１ｂは、側頭バンド１１ａに接続され、側頭部から頭頂部にかけてユーザの頭部を囲むように装着される。これにより、ユーザ１の眼前に基体部１０を保持することが可能となる。

赤外光源１２は、ユーザ１の眼２に向けて赤外光１５を照射する。赤外光源１２は、ユーザ１の眼２に対向するように基体部１０に設けられる。本実施形態では、複数の赤外光源１２が用いられる。図２には基体部１０に配置された４つの赤外光源１２ａ～１２ｄが模式的に図示されている。赤外光源１２ａ及び１２ｂは、ユーザ１の右眼２Ｒに赤外光１５を照射し、赤外光源１２ｃ及び１２ｄは、ユーザ１の左眼２Ｌに赤外光１５を照射する。本実施形態では、赤外光１５は照明光に相当する。

本実施形態では、ユーザ１の眼領域の中心領域に赤外光１５が照射されるように、各赤外光源１２が配置される。本開示において眼領域とは、ユーザ１が眼を開いている場合にユーザ１の眼球が見える領域である。すなわち上下の目蓋の間の黒眼（瞳孔・角膜・虹彩等）や白目（強膜等）見える領域が、眼領域となる。従って例えば、ユーザ１が正面を見ている場合に、黒眼が存在する領域が、眼領域の中心領域となる。

赤外光源１２としては、赤外線（ＩＲ：Infrared）を出射可能なＩＲ－ＬＥＤ（Light Emitting Diode）、ＩＲ－ＬＤ（Laser Diode）等の発光素子が用いられる。赤外光源１２の具体的な構成は限定されず、例えば赤外線を出射可能な任意の光源が赤外光源として用いられてよい。また赤外光源１２の数や配置等は、例えば所望の精度で視線検出等が可能となるように適宜設定されてよい。本実施形態では、赤外光１５は、照射光に相当する。

赤外カメラ１３は、対象からの赤外光を検出して対象を撮影するカメラである。赤外カメラ１３には、例えば可視光線を吸収し赤外線を透過するフィルタ（ＩＲフィルタ）等が搭載される。これにより、赤外光１５が照射された対象からの赤外波長の反射光等が検出される。赤外カメラ１３としては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサ等を備えるデジタルカメラが用いられる。

本実施形態では、ユーザ１の左眼２Ｌ及び右眼２Ｒを撮影する赤外カメラ１３Ｌ及び赤外カメラ１３Ｒが用いられる。赤外カメラ１３Ｌ及び１３Ｒは、ユーザ１の左眼２Ｌ及び右眼２Ｒに向けて、ＨＭＤ１００の所定の位置、具体的には基体部１０の所定の位置にそれぞれ設置される。従って、ユーザ１の眼２に対する基体部１０の相対的な位置が変化すると、ユーザの眼２に対する赤外カメラ１３Ｌ及び赤外カメラ１３Ｒの相対的な位置も変化する。なお図２には、各赤外カメラ１３Ｌ及び１３Ｒの撮影範囲がそれぞれ模式的に図示されている。

図３は、赤外光１５が照射されたユーザ１の眼２の状態を説明するための模式図である。図４は、赤外カメラ１３により撮影される画像の一例を示す模式図である。図３には、ユーザ１が正面を見ている場合のユーザ１の眼２（眼領域３）が模式的に図示されている。眼領域３には、ユーザ１の眼球４が含まれる。中心の黒い円形の領域は瞳孔５であり、その周辺の灰色の円環状の領域は虹彩６である。また瞳孔５及び虹彩６を含む範囲には、透明な角膜７が存在する。

なお角膜７が存在する範囲（角膜領域８）は、虹彩６の大きさと略同様の範囲となる。従って、虹彩６と瞳孔５とを含む領域が角膜領域８となる。また例えば、虹彩６の外側の白目（強膜９）の領域ではない領域、すなわち黒眼の領域を角膜領域８と見做すことも可能である。以下では、虹彩６及び瞳孔５上の点を、角膜７上の点（角膜領域８内の点）と記載する場合がある。

図３に示すように、赤外光源１２から出射された赤外光１５は、ユーザ１の眼球４により反射される。このとき、赤外光１５の入射点（反射点）では、反射光の強度が高いために、輝点２０が生じる。赤外カメラ１３を用いることで、この反射光の輝点２０（プルキンエ像：Ｐｒｕｉｋｉｎｊｅ Ｉｍａｇｅ）を撮影することが可能である。

本実施形態では、上記したように、眼領域３の中心付近に向けて赤外光１５が照射される。従って、例えばユーザ１が正面を見ている場合、赤外光１５は、角膜領域８（図３に示す例では、瞳孔５上の領域）に照射されることになり、角膜領域８上に輝点２０が生じる。なお、ユーザ１の視線が動いた場合には、角膜領域８の外側に輝点２０が生じる場合もある。また、ＨＭＤ１００とユーザ１の眼との相対位置がずれた場合にも、輝点２０が生じる位置が変化することがあり得る。

各赤外カメラ１３Ｌ及び１３Ｒは、例えば赤外光１５が照射された状態でユーザ１の左眼２Ｌ及び右眼２Ｒを撮影する。従って、各赤外カメラ１３Ｌ及び１３Ｒからは、左右の眼球４が撮影された赤外線画像を構成する画像データがそれぞれ出力される。以下では、赤外カメラ１３により撮影される赤外画像を、眼球画像２１と記載する。

このように、赤外光１５が照射された状態で眼球４が撮影された眼球画像２１は、輝点２０が撮影された画像となる。例えば図４に示すように、赤外光１５が入射した位置では、周辺と比べ輝度の高い輝点２０が映り込む。図４では、２つの赤外光源１２により照射された赤外光１５による輝点２０ａ及び輝点２０ｂが模式的に図示されている。例えば、複数の赤外光源１２が用いられる場合には、赤外光源１２の数に応じた輝点２０が生じる。なお、ユーザ１の眼２の他の部分で反射されて生じる擬輝点等が生じる場合もある。

図２に戻り、ディスプレイユニット１４は、レンズ系１６と、ディスプレイ１７とを有する。レンズ系１６は、左眼２Ｌの前方に配置される左眼用レンズ１６Ｌと、右眼２Ｒの前方に配置される右眼用レンズ１６Ｒとを有する。左眼２Ｌ及び右眼２Ｒ各々のレンズ系１６の構成は任意であり、１枚のレンズが配置される場合に限定されず、フレネルレンズ等の種々のレンズや光学フィルタ等の任意の光学部材が複数配置されてもよい。

ディスプレイ１７は、ユーザ１の視界の少なくとも一部を覆うように基体部１０に設けられる。本実施形態では、左眼２Ｌ用の画像を表示するディスプレイ１７Ｌと右眼２Ｒ用の画像を表示するディスプレイ１７Ｒとが用いられる。ディスプレイ１７Ｌは、左眼用レンズ１６Ｌの左眼２とは反対側に配置される。ディスプレイ１７Ｒは、右眼用レンズ１６Ｒの右眼２Ｒとは反対側に配置される。

ディスプレイ１７としては、例えば有機ＥＬディスプレイやＬＣＤ（Liquid Crystal Display、液晶表示素子）ディスプレイ等が用いられる。ディスプレイ１７の具体的な構成は限定されない。例えば１つのディスプレイ１７を用いて、左眼２Ｌ用の画像と、右眼２Ｒ用の画像を表示するといった構成が用いられてもよい。

以下では、ユーザ１の左眼２Ｌ及び右眼２Ｒを区別することなく、単にユーザ１の眼と記載して説明を行う場合がある。また、赤外カメラ１３Ｌ及び赤外カメラ１３Ｒをともに赤外カメラ１３と記載し、左眼用レンズ１６Ｌ及び右眼用レンズ１６Ｒをともにレンズ１６と記載し、ディスプレイ１７Ｌ及びディスプレイ１７Ｒをともにディスプレイ１７と記載して説明を行う場合がある。

図５は、ＨＭＤ１００の機能的な構成例を示すブロック図である。ＨＭＤ１００は、さらに通信部１８と、記憶部１９と、コントローラ３０とを有する。

通信部１８は、他のデバイスとの間で、ネットワーク通信や近距離無線通信等を実行するためのモジュールである。例えばＷｉＦｉ等の無線ＬＡＮモジュールや、Bluetooth（登録商標）等の通信モジュールが設けられる。

記憶部１９は、不揮発性の記憶デバイスであり、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等が用いられる。記憶部１９には、ＨＭＤ１００の全体の動作を制御するための制御プログラムが記憶される。また記憶部１９には、補正パラメータが記憶される。補正パラメータは、ユーザ１の視線方向を検出する際に用いられるパラメータである。補正パラメータについては、後に詳しく説明する。記憶部１９には、この他ＨＭＤ１００の動作に必要となる各種のデータ及びプログラム等が適宜記憶される。制御プログラム等を、ＨＭＤ１００にインストールする方法は限定されない。

コントローラ３０は、ＨＭＤ１００が有する各ブロックの動作を制御する。コントローラ３０は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部１９に記憶されている制御プログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。本実施形態では、コントローラ３０は、情報処理装置に相当する。

コントローラ３０として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。

本実施形態では、コントローラ３０のＣＰＵが本実施形態に係るプログラムを実行することで、機能ブロックとして画像取得部３１、画像処理部３２、第１視線検出部３３、第２視線検出部３４、合成比率算出部３５、視線合成部３６、及び補正パラメータ更新部３７が実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。本実施形態では、画像処理部３２、第１視線検出部３３、第２視線検出部３４、合成比率算出部３５、視線合成部３６、及び補正パラメータ更新部３７が共動することで、本実施形態に係る処理部として機能する。

画像取得部３１は、赤外カメラ１３により生成された画像データを取得する。例えば赤外カメラ１３から所定のフレームレートで出力される画像データを適宜読み込まれる。この画像データは、ユーザ１の眼を撮影した画像（眼球画像２１）を構成するデータである。すなわち、画像取得部３１は、眼球画像２１を取得するとも言える。本実施形態では、眼球画像２１は、ユーザの眼情報の一例である。また画像取得部３１は、取得部に相当する。なお図５には、ユーザ１の眼を撮影した画像（眼球画像２１）を構成する画像データが模式的に図示されている。

画像処理部３２は、眼球画像２１（画像データ）についての各種の画像処理を実行する。画像処理部３２は、角膜領域検出部４０と、輝点検出部４１と、瞳孔中心検出部４２とを有する。

角膜領域検出部４０は、眼球画像２１に基づいて、眼球４の角膜領域８を検出する。具体的には、眼球画像２１内の眼領域３における角膜領域８となる範囲が検出される。例えば図４に示すように、虹彩６と強膜９（白目）との境界を抽出することで、角膜領域８を検出可能である。

上記したように、眼球画像２１は、赤外光１５を照射して撮影された赤外線画像である。例えば、虹彩認証等の分野で用いられる技術を用いることで、赤外線画像（眼球画像２１）から角膜領域８を容易に検出することが可能である。

図６は、角膜領域８の検出処理の一例を示す模式図である。図６の左側には、赤外カメラ１３のレンズ等に伴う歪み補正が行われた眼球画像２１が模式的に図示されている。なお図６では、虹彩６内の瞳孔５等の図示が省略されている。

図６の中央に示すように、歪み補正された眼球画像２１に対してエッジ検出が実行され、虹彩６と白目（強膜９）との境界が抽出される。そして図６の右側に示すように、抽出された虹彩６の境界に対して楕円をフィッティングする処理が実行される。このフィッティングされた領域が、角膜領域８として算出される。

角膜領域８を検出するための具体的な方法等は限定されない。例えば虹彩６の境界等に対して正円をフィッティングする方法が用いられてもよい。また例えば、機械学習の機能を備えたＡＩ（Artificial Intelligence）等の学習器を用いた画像セグメンテーションにより虹彩６を抽出する方法等が用いられてもよい。

輝点検出部４１は、眼球画像２１に基づいて、赤外光１５により生じた輝点２０（プルキンエ像）を検出する。具体的には、眼球画像２１内の眼領域３における輝点２０の位置及び形状等が検出される。例えば、眼球画像２１内で輝度の情報等に基づいて、輝点２０の位置等が検出される。上記したように、本実施形態では複数の赤外光源１２により、複数の赤外光１５が眼球４に向けて照射される。輝点検出部４１では、眼球画像２１から複数の赤外光１５による複数の輝点２０がそれぞれ検出される。

また輝点検出部４１は、眼球画像２１から複数の赤外光１５による複数の輝点２０のうち、互いに所定の配置となる輝点２０のペアを検出可能である。例えば輝点検出部４１では、複数の輝点２０の中から、各赤外光源１２の配置に応じて設定される輝点２０のペアを検出する。例えば、１つの眼２に対して２つの赤外光源１２が配置されている場合には、１組の輝点２０のペアが検出される。また例えば、１つの眼２に対して４つの赤外光源１２が配置されている場合には、２組の輝点２０のペアが検出される。なおペアとなる輝点２０は、適宜設定されてよい。

輝点２０を検出する方法は限定されず、例えば特徴点検出や機械学習等による任意の検出処理が用いられてよい。また輝点２０の位置のみならず、輝点２０の形状やサイズ等を検出する処理が実行されてもよい。

瞳孔中心検出部４２は、眼球画像２１に基づいて、眼球４の瞳孔中心２２を検出する。具体的には、眼球画像２１から瞳孔５に対応する瞳孔領域が検出され、瞳孔領域を基準として瞳孔５の中心位置（瞳孔中心２２）が検出される。図４には、眼球画像２１から検出される瞳孔中心２２が白い十字で模式的に図示されている。なお、瞳孔中心２２と、角膜領域８（虹彩６）の中心とが一致するとは限らない。

瞳孔中心２２を検出する方法は限定されない。例えば、瞳孔５に対して正円や楕円等をフィッティングすることで瞳孔中心２２を検出する方法や、機械学習等により瞳孔中心２２を検出する方法等が適宜用いられてよい。また瞳孔中心２２のみならず、瞳孔５の形状やサイズ等を検出する処理が実行されてもよい。

第１視線検出部３３は、眼球画像２１に基づいて瞳孔角膜反射法により視線方向を決定する。以下では、第１視線検出部３３により決定される視線方向を第１の視線ベクトルと記載する。本実施形態では、第１の視線ベクトルは、第１の視線方向に相当する。

瞳孔角膜反射法とは、例えばユーザ１の眼球４に向けて所定の光（例えば赤外光１５）を照射しその反射光を検出することで、視線方向等を推定する方法である。より詳しくは、瞳孔角膜反射法は、眼球画像２１から複数の赤外光１５による複数の輝点２０を検出し、検出された複数の輝点に基づいて第１の視線ベクトルを決定する方法である。本実施形態では、瞳孔角膜反射法は、第１の手法に相当する。

図７は、赤外光１５が照射されたユーザ１の眼球４を示す模式図である。図７には、２つの赤外光源１２から赤外光１５が照射されたユーザ１の眼球４が模式的に図示されている。眼球４は球状であり、その表面には角膜７が形成される。角膜７は、球状の眼球４表面の一部が膨らんだ曲面状の領域に形成される。角膜７の曲面形状は、例えば所定の曲率で表すことが可能である。なお図７に示すように、角膜７の内側には、虹彩６及び瞳孔５（虹彩６中央の開口部分）が形成される。

本実施形態では、第１視線検出部３３は、ユーザ１の眼球４の３次元モデル（眼球モデル）を用いてユーザ１の視線方向を検出する。例えば赤外光１５が照射される位置（輝点２０）を基準として眼球モデルの姿勢等が推定され、その推定結果に基づいて第１の視線ベクトルが決定される。

このように、赤外光１５により眼球４表面に生じる輝点２０は、第１の視線ベクトルを算出するための基準点として機能する。すなわち、瞳孔角膜反射法は、眼球４の表面に設定される基準点（輝点２０）を基準として第１の視線ベクトルを決定する手法であるとも言える。眼球４（角膜）表面に存在する輝点２０を基準とすることで、眼球４の向きや姿勢等を精度よく推定することが可能である。また輝点２０を用いることで、例えば装置の位置ずれ等があった場合であっても高い精度で視線方向を検出することが可能である。

なお眼球モデルの姿勢等の推定処理には、例えば画像処理部３２の輝点検出部４１及び瞳孔中心検出部４２の検出結果（輝点２０の位置や瞳孔中心２２の位置等）が用いられる。第１視線検出部３３の具体的な処理については、後に詳しく説明する。

図５に戻り、第２視線検出部３４は、眼球画像２１から瞳孔５の位置及び形状等を検出することで視線方向を決定する。以下では、第２視線検出部３４により決定される視線方向を第２の視線ベクトルと記載する。本実施形態では、第２の視線ベクトルは、第２の視線方向に相当する。

図８は、眼球画像２１の一例を示す模式図である。図８Ａ及び図８Ｂに示す眼球画像２１ａ及び２１ｂでは、ユーザ１の視線は互いに異なる方向に向けられている。眼球画像２１ａ及び２１ｂは、ユーザ１の左眼２Ｌの眼球画像２１である。

例えば、ユーザ１が自身の左方向を見た場合（図８Ａ）、左眼２Ｌの眼球画像２１ａでは、瞳孔５の位置は正面よりも右側にシフトする。反対に、ユーザ１が自身の右方向を見た場合（図８Ｂ）、左眼２Ｌの眼球画像２１ｂでは、瞳孔５の位置は正面よりも左側にシフトする。このように、ユーザ１の視線が変化すると、眼球画像２１内での瞳孔５の位置が視線に応じて移動することになる。

例えば、ユーザ１が見ている方向（視線方向）と、眼球画像２１内での瞳孔５の位置とを対応付けて記録することで、ユーザ１の視線を推定することが可能である。本実施形態では、記憶部１９には、ユーザ１の瞳孔５の位置をユーザ１の視線に変換する校正テーブル等が予め記録される。第２視線検出部３４は、校正テーブル等に基づいて、ユーザ１の瞳孔５の位置から第２の視線ベクトルを決定する。この処理は、例えば画像処理部３２による検出結果（瞳孔中心２２の位置等）を用いて実行される。

以下では、眼球画像２１から瞳孔５の位置等を検出することで、視線方向（第２の視線ベクトル）を決定する手法を、瞳孔法と記載する。従って第２視線検出部３４は、眼球画像２１に基づいて瞳孔法により第２の視線ベクトルを検出するとも言える。なお瞳孔法では、第１視線検出部３３で用いられる瞳孔角膜反射法のように輝点２０等を用いることがない。従って瞳孔法は、瞳孔角膜反射法とは異なる手法となる。本実施形態では、瞳孔法は、第２の手法に相当する。

図５に戻り、合成比率算出部３５は、第１の視線ベクトルと第２の視線ベクトルとを合成する合成比率を算出する。合成比率とは、第１の視線ベクトルと第２の視線ベクトルとを合成する際の、第１の視線ベクトルの割合と第２の視線ベクトルの割合とを表すパラメータである。すなわち、合成比率は、第１及び第２の視線ベクトルを合成する際の、各視線ベクトルの重みを表すパラメータであるとも言える。

本実施形態では、合成比率として、第１の視線ベクトルと第２の視線ベクトルとを合成するための重み係数が算出される。重み係数は、例えば、第１の視線ベクトルと第２の視線ベクトルとを合成する際の、各視線ベクトルの重み付けに用いられる係数である。

例えば第１の視線ベクトルの重み係数をｗ_cとし、第２の視線ベクトルの重み係数をｗ_iとする。この場合、合成比率は、例えば、ｗ_c：ｗ_iで表される。なお第１の視線ベクトル及び第２の視線ベクトルは、例えば各々の方法で算出された視線方向を表す単位ベクトルである。各重み係数としては、例えば、ｗ_c＋ｗ_i＝１となるよう規格化された係数が用いられる。これにより、合成された視線方向（合成視線ベクトル）も単位ベクトルとなり、各視線ベクトルを適正に合成することが可能である。

本実施形態では、第１の視線ベクトルの重み係数ｗ_c（ｗ_c＜１）を基準として合成比率が算出される。この場合、第２の視線ベクトルの重み係数は、ｗ_i＝１－ｗ_cと設定される。例えば瞳孔角膜反射法による第１の視線ベクトルの検出精度が高い場合には、重み係数ｗ_cは高い値に設定され、第１の視線ベクトルの割合が高くなる。また検出精度が低い場合には、重み係数ｗ_cは低い値に設定され、第１の視線ベクトルの割合が抑えられる。このように、重み係数ｗ_cは、第１の視線ベクトルの信頼度を表す値とも言える。本実施形態では、重み係数ｗ_cは、信頼度情報の一例である。

図５に示すように、合成比率算出部３５は、画像処理部３２の角膜領域検出部４０、輝点検出部４１、及び瞳孔中心検出部４２の各検出結果に基づいて、重み係数ｗ_cを算出する。従って第１の視線ベクトルの重み係数ｗ_cは、眼球画像２１に基づいて算出される。すなわち眼球画像２１に基づいて、第１の視線ベクトルの信頼度が算出される。重み係数ｗ_cを算出する方法については、図１２等を参照して後に詳しく説明する。

視線合成部３６は、重み係数ｗ_cに基づいて、第１の視線ベクトルと第２の視線ベクトルとを合成してユーザ１の視線方向を決定する。以下では、第１の視線ベクトルと第２の視線ベクトルとが合成された視線方向を、合成視線ベクトルと記載する。算出された合成視線方向は、コントローラ３０による視線検出結果として出力される。

補正パラメータ更新部３７は、第２の視線ベクトルを決定するための補正パラメータを更新する。具体的には、第２視線検出部３４で用いられる校正テーブルに記録されたパラメータが更新される。校正テーブルは、例えば記憶部１９に記憶されており、所定のキャリブレーション処理により生成される。

なお記憶部１９には、第１視線検出部３３で用いられる校正テーブルも記憶される。以下では、第１視線検出部３３用の校正テーブルを第１の校正テーブルと記載し、第１の校正テーブルに記録されたパラメータを第１の補正パラメータと記載する。また、第２視線検出部３４用の校正テーブルを第２の校正テーブルと記載し、第２の校正テーブルに記録されたパラメータを第２の補正パラメータと記載する。

図９は、キャリブレーション処理の一例を説明するための模式図である。図９Ａは、キャリブレーション処理時にディスプレイ１７に表示されるマーカ４５の一例を示す模式図である。図９Ｂは、キャリブレーション処理時のユーザ１の眼領域３の一例を示す模式図である。キャリブレーション処理は、例えばユーザ１がＨＭＤ１００の使用を開始するタイミングで適宜実行される。もちろん、ユーザ１の指示等に応じて任意のタイミングでキャリブレーション処理が実行されてもよい。

図９Ａに示す例では、３×３の配列で設定されたディスプレイ１７上の９つの表示位置４６ａ～４６ｉにマーカ４５が表示される。ユーザ１から見て左側の列には上から表示位置４６ａ～４６ｃが設定され、中央の列には上から表示位置４６ｄ～４６ｆが設定され、右側の列には上から表示位置４６ｇ～４６ｉが設定される。

マーカ４５は、例えば所定の順番で各表示位置４６ａ～４６ｉに表示される。すなわち１度に表示されるマーカ４５は１つである。キャリブレーション処理が実行されている間、ユーザ１には、表示されるマーカ４５を注視する旨の指示が提示される。従ってユーザ１の視線は、表示されたマーカ４５を注視するよう、マーカ４５の表示位置にあわせて移動することになる。

図９Ａでは中央の表示位置４６ｅにマーカ４５が表示されている。この場合、図９Ｂに示すように、ユーザ１は、正面（ディスプレイ１７の中央）の表示位置４６ｅに表示されたマーカ４５ｅを注視するように視線を正面に向ける。

第２視線検出部３４は、ユーザ１が表示位置４６ｅに表示されたマーカ４５を見ている際の、瞳孔中心２２ｅを検出して、第２の視線ベクトルを決定する。例えば、瞳孔中心２２ｅとマーカ４５（表示位置４６ｅ）とをつなぐベクトル（マーカベクトル）が、第２の視線ベクトルとして算出される。なお、ユーザ１から見て左上の表示位置４６ａにマーカ４５が表示された場合、眼球画像２１では、画像の右上の瞳孔中心２２ａが移動することになる。

キャリブレーション処理では、例えば９つの表示位置４６ａ～４６ｉに順次マーカ４５が表示され、各表示位置４６ａ～４６ｉに表示されたマーカ４５を注視する際の瞳孔中心２２ａ～２２ｉがそれぞれ検出される。そして、各瞳孔中心２２ａ～２２ｉから各表示位置４６ａ～２２ｉに向かうマーカベクトルが、補正用の視線ベクトルとして算出される。

第２の校正テーブルには、例えば各表示位置４６ａ～４６ｉに応じて決定された９つの補正用の視線ベクトルが瞳孔中心２２ａ～２２ｉの眼球画像２１内での座標と関連付けて記憶される。すなわち、第２の校正テーブルは、眼球画像２１における各キャリブレーション位置ごとの視線ベクトルが記録されたマップであるとも言える。この視線ベクトルが第２の補正パラメータとして用いられる。

これにより、例えば眼球画像２１において瞳孔５が眼領域３内の右上の瞳孔中心２２ａに移動した場合には、ディスプレイ１７の左上（表示位置４６ａ）に向けられた視線ベクトルを算出するといったことが可能となる。なお、各瞳孔中心２２ａ～２２ｉの間の位置に瞳孔５が存在する場合には、例えば線形補間等の方法を用いて、第２の視線ベクトルが適宜算出される。

補正パラメータ更新部３７では、キャリブレーション処理により取得された第２の補正パラメータを適宜更新する処理が実行される。従って、第２の補正パラメータはＨＭＤ１００の動作中に動的に更新されることになる。

なお、キャリブレーション処理では、第１視線検出部３３で用いられる第１の校正テーブル等も生成される。この点については、図１１等を参照して後に詳しく説明する。

図１０は、ＨＭＤ１００の基本的な動作例を示すフローチャートである。図１０に示す処理は、例えばＨＭＤ１００の起動後に継続して実行されるループ処理である。以下では、キャリブレーション処理が完了しているものとして説明をおこなう。

まず、画像取得部３１により、複数の赤外光１５を照射してユーザ１の眼球を撮影した眼球画像２１が取得される（ステップ１０１）。例えば複数の赤外光源１２から所定の強度で赤外光１５が照射され、赤外カメラ１３により赤外光１５が照射されているユーザ１の眼２が撮影される。赤外カメラ１３により、撮影された画像データ（眼球画像２１）がコントローラ３０に出力され、画像取得部３１により眼球画像２１が読み込まれる。

取得された眼球画像２１に基づいて、ユーザ１の視線方向が決定される（ステップ１０２）。まず眼球画像２１をもとに、第１視線検出部３３により瞳孔角膜反射法を用いて第１の視線ベクトルが決定され、第２視線検出部３４により瞳孔法を用いて第２の視線ベクトルが決定される。各視線ベクトルの算出処理は、並列して実行されてもよいし、順番に実行されてもよい。

図１１は、瞳孔角膜反射法を用いた第１の視線ベクトルの算出処理の一例を示す模式図である。図１１には、瞳孔角膜反射法により第１の視線ベクトルを算出するまでの処理フローが模式的に図示されている。

画像取得部３１により取得された眼球画像２１は、画像処理部３２の輝点検出部４１及び瞳孔中心検出部４２に入力される。輝点検出部４１により、眼球画像２１における輝点２０の位置及び形状が検出される。輝点検出部４１では、例えば、眼球画像２１に対する各種の画像処理、眼球画像２１内の輝度分布を取得する処理、当該輝度分布に基づいて周囲の画素との輝度値の差が比較的大きい画素を検出する処理等の一連の処理が行われる。

また瞳孔中心検出部４２により、眼球画像２１における瞳孔５の位置及び形状が検出される。瞳孔中心検出部４２では、例えば眼球画像２１に対する各種の画像処理（例えば歪みや黒レベル、ホワイトバランス等の調整処理）、眼球画像２１内の輝度分布を取得する処理等が行われる。また、取得された輝度分布に基づいて瞳孔５の像の輪郭（エッジ）を検出する処理や、検出された瞳孔５の像の輪郭を円又は楕円等の図形で近似する処理等が行われてもよい。検出された瞳孔５の像から、瞳孔中心２２が算出される。

輝点２０及び瞳孔５が検出されると、第１視線検出部３３によりユーザ１の視線方向（第１の視線ベクトル）を推定する処理が実行される。本実施形態では、眼球４の３次元モデル（眼球モデル５０）に基づいて第１の視線ベクトルが推定される。図１１には、眼球モデル５０が模式的に図示されている。

眼球モデル５０では、角膜７は球体の一部として構成される。以下では、角膜７を表す球体の中心を、角膜曲率中心５１と記載する。また角膜７を表す球体の内側には、瞳孔中心２２が存在する。図１１に示すように、角膜曲率中心５１と瞳孔中心２２とを結ぶ方向が、眼球４の中心（眼球中心５２）を通る眼球４の光軸５３の方向となる。瞳孔角膜反射法では、この眼球４の光軸５３を推定することが可能である。

一方で、ユーザ１の視線は、角膜曲率中心５１と、眼球４の内部にある中心窩５４とをつなぐ視軸５５上にある。従って、眼球４の光軸５３と視軸５５（ユーザ１の視線方向）とは、所定の角度で交差することになる。すなわちユーザ１が注視している注視点（ターゲット）に向けられるベクトルと、眼球４の中心軸（光軸５３）が向けられるベクトルとは必ずしも一致するわけではない。光軸５３と視軸５５とのずれには個人差があり、一般に４°～８°程度傾いている。以下では、光軸５３と視軸５５との間のずれ量をωと記載する。

このずれ量ωは、図９を参照して説明したキャリブレーション処理により校正される。キャリブレーション処理では、例えばあるマーカ４５を見ているときのユーザ１の視線（マーカベクトル）と、そのときの光軸５３とが算出される。このマーカベクトルと光軸５３とに基づいてずれ量ωが算出される。ずれ量ωとしては、例えば、光軸５３をマーカベクトルに変換するための、所定の面を基準とした回転角や仰角等のパラメータが用いられる。

なお、眼球４は筋肉の引っ張りにより回転するため、見る方向によってロール回転が加わる。このため、ユーザ１の視線が向けられる方向によって、回転角や仰角の値が変化する。このため、キャリブレーション処理では、複数の表示位置４６ａ～４６ｉにマーカを表示して、すれ量ω（回転角や仰角）が算出される。各位置で算出されたずれ量ωは、第１の補正パラメータとして第１の校正テーブルに記録される。

図１１に示すように、第１視線検出部３３では、第１の視線ベクトルを推定する処理として、眼球４の光軸５３を推定する光軸推定処理と、推定された光軸５３に基づいて視軸５５を推定する視軸推定処理とが実行される。

光軸推定処理では、瞳孔中心検出部４２の検出結果をもとに、眼球モデル５０における瞳孔中心２２の３次元座標が算出される。例えば赤外カメラ１３の配置位置（赤外カメラ１３と眼球４との位置関係）、角膜７表面における光の屈折、角膜曲率中心５１と瞳孔中心２２との距離等に基づいて、眼球画像２１から抽出された瞳孔５の輪郭上の各点の３次元座標が算出される。そして、瞳孔５の輪郭上の各点の中心点の座標が、瞳孔中心２２の３次元座標として算出される。これにより、瞳孔中心２２の３次元座標を高精度に算出することが可能となる。

瞳孔中心２２の３次元座標を算出する方法等は限定されず、例えば画像処理により算出された眼球画像２１における瞳孔中心２２の位置を眼球モデル５０での３次元座標に変換するといった処理が実行されてもよい。これにより、演算処理に要する時間を短縮することが可能である。この他、瞳孔中心２２の３次元座標を算出する任意の方法が用いられてよい。

また光軸推定処理では、輝点検出部４１の検出結果をもとに、眼球モデル５０における角膜曲率中心５１の３次元座標が算出される。例えば、赤外光源１２と赤外カメラ１３と眼球４との位置関係、角膜７の曲率半径等に基づき、赤外カメラ１３と輝点２０の中心とを結ぶ直線上において、角膜７の表面から眼球４の内部に向かって角膜７の曲率半径だけ進んだ位置が、角膜曲率中心５１の３次元座標として算出される。

なお図１１では、輝点２０が１つの場合を例に説明したが、複数の輝点２０（輝点２０のペア等）を用いて、角膜曲率中心５１の３次元座標を算出することも可能である。例えば赤外光は、赤外光源１２の配置に応じた所定の位置関係で眼球４に入射する。この所定の位置関係となる輝点２０のペア等を用いることで、角膜曲率中心５１等を高精度に算出することができる。また、例えばペアの一方の輝点２０が検出されない場合であっても、その輝点２０の位置を推定して、算出処理に用いることが可能である。この他、角膜曲率中心５１の３次元座標を算出する任意の方法が用いられてよい。

このように光軸推定処理では、瞳孔中心２２及び角膜曲率中心５１の３次元座標が算出される。そして算出された３次元座標に基づいて、角膜曲率中心５１と瞳孔中心２２とを結ぶ光軸ベクトル（光軸５３）が推定される。

視軸推定処理では、推定された光軸５３から眼球４の視軸５５が推定される。例えば、第１の校正テーブルに記録された第１の校正パラメータ（ずれ量ω）に基づいて、光軸５３を所定の角度（回転角及び仰角等）で回転することで、ユーザ１の視線ベクトル（視軸５５）が推定される。すなわち、視軸推定処理は、第１の校正テーブルに基づいて、瞳孔角膜反射法で推定された光軸５３を視軸５５に変換する処理とも言える。算出された視線ベクトルが第１の視線ベクトルとして出力される。

第２視線検出部３４では、瞳孔中心検出部４２により検出された瞳孔中心２２に基づいて、ユーザ１の視線ベクトル（第２の視線ベクトル）が算出される。例えば、各キャリブレーション位置での視線ベクトルのマップである第２の校正テーブルが参照され、眼球画像２１内での瞳孔中心２２の位置に応じた視線ベクトルが適宜算出される（図９参照）。算出された視線ベクトルは、第２の視線ベクトルとして出力される。

第１の視線ベクトルと第２の視線ベクトルとが算出されると、各視線ベクトルを合成する処理が実行される。まず、合成比率算出部３５により、第１の視線ベクトルと第２の視線ベクトルとの合成比率（重み係数ｗ_c等）が算出される。なお、合成比率の算出は、第１の視線ベクトルや第２の視線ベクトルの算出処理と並列して実行されてもよい。

図１２は、合成比率の算出処理の一例を説明するための模式図である。図１２Ａには、１組の輝点２０のペアが検出された眼球画像２１が模式的に図示されている。本実施形態では、角膜領域８内での輝点２０のペアの位置に基づいて第１の視線ベクトルの重み係数ｗ_cが算出される。

図１２Ａに示す例では、瞳孔中心２２を表す瞳孔中心点Ｐと、輝点２０のペアの中点Ｄと、ＰＤを通る直線と角膜円周（角膜領域８）との交点Ｃとを用いて、重み係数ｗ_cが算出される。なお、輝点２０のペアの中点Ｄは、輝点２０のペアの位置に相当する。

瞳孔中心点Ｐ及びペアの中点Ｄの間の距離（ＰＤ間の距離）をｄとし、瞳孔中心点Ｐ及び角膜円周上の交点Ｃとの距離（ＰＣ間の距離）をｒとする。このｒ及びｄを用いて、瞳孔角膜反射法により算出された第１の視線ベクトルの重み係数ｗ_cは、以下の式で表される。

…（１）

図１２Ａに示すように、ＰＣ間の距離ｒは、角膜領域８の半径と略同様の値である。従って、距離ｒは、各処理の度に大きく変化する値ではない。なお角膜領域８として楕円状の領域が検出される場合もあるため、距離ｒは一定の値とは限らない。

一方で、ＰＤ間の距離ｄは、ユーザ１の視線が変化すると瞳孔中心点Ｐの位置が変化するため、処理ごとに変化するパラメータである。従って、（１）式では、距離ｄが小さいほど、すなわち、輝点２０のペアの位置（中点Ｄ）が瞳孔中心点Ｐに近いほど、重み係数ｗ_cが大きくなる。言い換えれば、輝点２０のペアが瞳孔中心２２付近に生じている場合に、第１の視線係数の重みを高くするとも言える。

反対に、輝点２０のペアの位置（中点Ｄ）が瞳孔中心点Ｐから離れているほど、重み係数ｗ_cは小さくなる。すなわち、輝点２０のペアが瞳孔中心２２から離れた位置に生じている場合、第１の視線係数の重みが低く設定される。なお、距離ｄが角膜領域８から外れてｄ＞ｒとなった場合や、一方の輝点２０を検出できない場合等には、重み係数ｗ_cをゼロにするといった処理が実行される。

このように、合成比率算出部３５では、瞳孔中心２２に対する輝点２０のペアの距離に基づいて重み係数ｗ_cが算出される。すなわち、瞳孔中心２２から輝点２０のペアの中点Ｄまでの距離に応じて、第１の視線ベクトルの重み係数ｗ_cが決定される。

例えば、図１１を参照して説明した眼球モデル５０では、球体形状の角膜領域８が構成された。実際の眼球４では、角膜領域８の周辺では、角膜７が強膜９（白目）の領域に滑らかに接続されるため、球体形状のモデルから外れた形状となることが考えられる。従って輝点２０の位置が、角膜領域８の周縁に近い場合には、瞳孔中心２２に近い領域に比べ、第１の視線ベクトルの検出精度が低下する場合があり得る。

第１の視線ベクトルの重み係数ｗ_cは、（１）式に示すように、瞳孔中心２２からの距離が遠いほど小さくなるように設定される。従って、第１の視線ベクトルの重み係数ｗ_cは、第１の視線ベクトルの検出精度等の信頼度を表すパラメータとして機能する。すなわち合成比率算出部３５では、第１の視線ベクトルの信頼度に関する情報（重み係数ｗ_c）が算出されるとも言える。

なお重み係数ｗ_cを算出する方法は、（１）式に示す方法に限定されない。例えば、土光中心点Ｐと、各輝点２０の頂点を結ぶ３角形の面積等に基づいて、重み係数ｗ_cを設定することも可能である。この場合、３角形の面積が小さい場合には、第１の視線ベクトルの重み増加し、３角形の面積が大きい場合には、第１の視線ベクトルの重みが減少するように、重み係数が適宜設定される。これにより、輝点２０のペアと瞳孔中心との距離（三角形の高さ）のみならず、輝点２０間の距離（三角形の底辺）も含めた重み係数を設定することが可能となる。これにより、第１及び第２の視線ベクトルを精度よく合成することが可能となる。

第１の視線ベクトルの重み係数ｗ_cが算出されると、第２の視線ベクトルの重み係数（１－ｗ_c）が算出される。各視線ベクトルの重み係数の比率（ｗ_c：１－ｗ_c）が混合比率となる。

視線合成部３６により、第１の視線ベクトルと第２の視線ベクトルとが合成される。以下では、第１の視線ベクトルを表す３次元ベクトルを第１の視線ベクトルＥ_cと記載し、第２の視線ベクトルを表す３次元ベクトルを第２の視線ベクトルＥ_iと記載する。また合成された視線方向を表す３次元ベクトルを合成視線ベクトルＥと記載する。合成視線ベクトルＥは、以下のように算出される。

…（２）

上記したように、重み係数ｗ_cは、緩やかに変化する関数である。従って、重み係数ｗ_cの値に応じて第１の視線ベクトルＥ_cと第２の視線ベクトルＥ_iとをシームレスに合成したベクトル（合成視線ベクトルＥ）が算出される。このように、本実施形態では、重み係数ｗ_cに基づいてユーザ１の視線方向が決定される。算出された合成視線ベクトルＥは、コントローラ３０の検出結果として出力され、他のアプリケーション等に用いられる。

図１２Ｂには、２組の輝点２０のペアが検出された眼球画像２１が模式的に図示されている。以下では、図中の上側に生じた左右の輝点２０のペアを第１のペアと記載し、下側に生じた左右の輝点２０のペアを第２のペアと記載する。

例えば図１２Ｂに示すように、瞳孔中心点Ｐと第１のペアの中点Ｄ１との距離ｄ１を算出し、ＰＤ１を通る直線と角膜円周との交点Ｃ１までの瞳孔中心点Ｐからの距離ｒ１を算出することで、（１）式を用いて、第１のペアの重み係数ｗ_c1が設定される。また瞳孔中心点Ｐと第２のペアの中点Ｄ２との距離ｄ２を算出し、ＰＤ２を通る直線と角膜円周との交点Ｃ２までの瞳孔中心点Ｐからの距離ｒ２を算出することで、第２のペアの重み係数ｗ_c2が設定される。

このように２組の輝点２０のペアがある場合には、ペアごとの重み係数を算出することが可能である。例えば合成視線ベクトルは、第１のペアの重み係数ｗ_c1及び第２のペアの重み係数ｗ_c2を使って、以下の式を用いて算出される。

…（３）

ここでＥ_c1は、第１のペアを用いて算出される視線ベクトルであり、Ｅ_c2は、第２のペアを用いて算出される視線ベクトルである。またｍａｘ（ｗ_c1，ｗ_c2）は、各重み係数のうち値の大きい重み係数を選択する関数である。

（３）式では、第１視線検出部３３により、瞳孔角膜反射方を用いて算出された２つの視線ベクトルＥ_c1及びＥ_c2が各重み係数に応じて合成される。この合成結果を第１の視線ベクトルとして、さらに第２視線検出部３４により瞳孔法を用いて算出された第２の視線ベクトルＥ_iとの合成処理が実行される。これにより、ユーザ１の視線方向を安定して高精度に算出することが可能となる。例えばこのような方法で各視線ベクトルを合成することが可能である。

また３組以上の輝点２０のペアが存在する場合にも、本技術は適用可能である。すなわち、瞳孔角膜反射方を用いて算出される視線ベクトルと、瞳孔法を用いて算出される第２の視線ベクトルとを合成する式は、以下のように一般化することが可能である。

…（４）

これにより、３組以上の輝点２０のペアを用いた高精度な視線検出が可能である。またそのような場合であっても、瞳孔法による視線検出結果（第２の視線ベクトルＥ_i）との合成をシームレスに実行することが可能である。

また、（１）式のように輝点２０の位置（輝点２０のペアの位置）のみならず、輝点２０のサイズを基準として、重み係数を算出することも可能である。輝点２０のサイズ、すなわち輝点２０の面積（例えば画素数等）は、例えば輝点検出部４１により検出された輝点２０の形状等に基づいて適宜算出される。以下では、第１の視線ベクトルの算出に用いられる輝点２０の面積をｓ、輝点２０の面積の期待値をｓ_e、輝点２０の有効最小面積及び有効最大面積をｓ_min及びｓ_maxとする。

輝点２０の面積の期待値ｓ_eとは、例えばＨＭＤ１００を装着したユーザ１の眼球４に適正に赤外光１５が照射された状態での輝点２０の面積である。また輝点２０の有効最小面積及び有効最大面積をｓ_min及びｓ_maxは、例えば視線方向の算出処理に用いることが可能な輝点２０の最小面積及び最大面積である。面積の期待値ｓ_e、有効最小面積ｓ_min、及び有効最大面積ｓ_maxは、例えばＨＭＤ１００の特性等に応じて適宜設定される。

これらのパラメータを用いて、単一の輝点２０についての面積重みｗ_sを以下のように算出することが可能である。

…（５）

（５）式に示すように、面積重みｗ_sは、輝点２０の面積ｓが最小有効面積ｓ_minから最大有効面積ｓ_maxの間の範囲に収まっている場合、輝点２０の面積が期待値ｓ_eに近いほど、高い重みに設定される。また、輝点２０の面積ｓが最小有効面積ｓ_minから最大有効面積ｓ_maxの間の範囲から外れている場合には、面積重みｗ_sはゼロに設定される。

（５）式に基づいて設定された個々の輝点２０の面積重みｗ_sから、輝点２０のペアでの面積重みｗ_sの平均値が算出され、そのペアに関する面積重みｗ_{s_pair}として用いられる。ペアの面積重みｗ_{s_pair}は、例えば以下のように算出される。

…（６）

ここで、ｗ_s1及びｗ_s2は、ペアを構成する各基点の面積重みｗ_sである。（６）式は、各ペアの面積重みｗ_sの相乗平均となっている。これに限定されず、他の方法でペアの面積ｗ_{s_pair}重みが算出されてもよい。

この（６）式により算出されるペアの面積重みｗ_{s_pair}と、（１）式で算出されるペアの重み係数ｗ_c（ペアの距離重み）との平均（例えば相乗平均）として、ある輝点２０のペアを用いて算出された視線ベクトルの重み係数（統合重み係数ｗ_c'）が算出される。すなわち、統合重み係数ｗ_c'は以下のように算出される。

…（７）

統合重み係数ｗ_c'は、例えば輝点２０のペアの位置に応じた信頼度と、ペアを構成する各輝点２０の信頼度とを統合した信頼度を表すパラメータである。このように、本実施形態では、輝点２０の面積が算出され、算出された輝点２０の面積に基づいて重み係数ｗ_c'が算出される。これにより、瞳孔角膜反射法を用いて算出される第１の視線ベクトルの信頼度を高い精度で算出することが可能となり、視線ベクトルの合成を適正に実行することが可能となる。

統合重み係数ｗ_c'を用いて、合成視線ベクトルＥは、以下のように算出される。

…（８）

このように、本実施形態では、第１の視線ベクトルの信頼度（重み係数ｗ_c等）を基準として、第１の視線ベクトルと第２の視線ベクトルとが合成される。これにより、合成される視線ベクトルの信頼性を向上することが可能となる。

なお、第１の視線ベクトルの信頼度を基準とする場合に限定されず、第２の視線ベクトルの信頼度を用いて各視線ベクトルが合成されてもよい。第２の視線ベクトルの信頼度としては、例えば瞳孔５を検出する際のフィッティング精度や瞳孔中心２２の算出精度等を用いることが可能である。例えば第２の視線ベクトルの信頼度が高い場合には、第２の視線ベクトルの割合を増加させ、第１の視線ベクトルの割合を減少するように、各視線ベクトルの重み係数が適宜設定され、各視線ベクトルが合成される。例えばこのような処理が実行されてもよい。

図１０に戻り、ユーザ１の視線ベクトル（合成視線ベクトルＥ）が算出されると、第２の補正パラメータを更新する処理が実行される（ステップ１０３）。本実施形態では、第１の視線ベクトルに基づいて、第２の補正パラメータが更新される。

図９等を用いて説明したように、第２の補正パラメータは、瞳孔法を用いた第２の視線ベクトルの算出処理に用いられる第２の校正テーブルに記録されたパラメータである。具体的には、画像（眼球画像２１）上の各キャリブレーション位置での視線ベクトルが第２の補正パラメータとして記憶されている。

図１３は、第２の補正パラメータの更新処理について説明するための模式図である。図１１３Ａは、キャリブレーション処理時に撮影された眼球画像２１を示す模式図である。図１３Ｂは、キャリブレーション処理のあとに撮影された眼球画像２１を示す模式図である。図１３Ａ及び図１３Ｂでは、ユーザ１は同じ方向に視線を向けているものとする。

図１３Ａには、９つの位置にマーカが表示された際に、ユーザ１の瞳孔中心２２の位置（以下、校正ポイント４７と記載する）が模式的に図示されている。例えば、キャリブレーション処理が行われた直後は、各校正ポイント４７に対応して記憶された第２の補正パラメータ（視線ベクトル）は、適正な方向を示している。

従って、図１３Ａに示す瞳孔中心２２が向いている方向、すなわち第２の視線ベクトルは、瞳孔中心２２の周辺の校正ポイント４７での第２の補正パラメータに基づいて、適正に算出することが可能である。

一方で、ＨＭＤ１００の装着位置等がずれた場合には、赤外カメラ１３と眼球４との相対位置が変化する。その結果、赤外カメラ１３の撮影範囲がシフトし、図１３Ｂに示すように、眼球画像２１における眼領域３の範囲が変化する。

例えば図１３Ｂに示す瞳孔中心２２の視線方向が、更新されていないキャリブレーション時の第２の補正パラメータから算出された場合、算出結果は実際の視線方向とは異なる方向を示すことになる。

このように、ＨＭＤ１００の装着位置がずれた場合等には、第２の校正テーブルに記録された視線ベクトル（第２の補正パラメータ）の精度が低下する場合があり得る。このため、本実施形態では、瞳孔法とは異なる瞳孔角膜反射法を用いて算出される第１の視線ベクトルを使って、第２の補正パラメータが更新される。

瞳孔角膜反射法を用いた方法では、ユーザ１の眼球４に生じる輝点２０、すなわち眼球４の表面に設定された基準点を基準に第１の視線ベクトルが算出される。従って、第１視線検出部３３は、眼球画像２１における位置を基準に算出される第２の視線ベクトルに比べ、第１の視線ベクトルはＨＭＤ１００の装着位置に対するずれ等があった場合であっても、十分高精度に第１の視線ベクトルを推定することが可能である。すなわち、瞳孔角膜反射法は、眼球ずれに強く高精度な視線検出手法であると言える。

本実施形態では、補正パラメータ更新部３７により、第１の視線ベクトルの信頼度に応じて、第２の補正パラメータが更新される。具体的には、第１の視線ベクトルと第２の視線ベクトルとを合成するための重み係数に基づいて、第２の補正パラメータが更新される。重み係数としては、例えば（１）式で表される輝点２０の位置に基づいて算出される重み係数ｗ_cや、輝点２０のペアの面積重みｗ_{s_pair}、あるいは、ｗ_c及びｗ_{s_pair}が統合された統合重み係数ｗ_c'等が適宜用いられる。以下では、重み係数ｗ_cを例に説明を行う。

例えば、図１３Ｂに示す状態で第１の視線ベクトルが算出されたとする。この場合、第１の視線ベクトルの視線先に近い校正ポイント４７での第２の補正パラメータが更新される。図１３Ｂに示す例では、９つの校正ポイント４７の内、中央の校正ポイント４７ｅに記憶された補正用の視線ベクトルが、第１の視線ベクトルである第１の視線ベクトルＥ_cに合わせて更新される。

例えば、補正用の視線ベクトルが第１の視線ベクトルＥ_cに合わせて、所定の軸を基準に適宜回転される。このときの回転量（回転角や仰角等）は、第１の視線ベクトルの重み係数ｗ_cに応じて設定される。例えば、重み係数ｗ_cが高く第１の視線ベクトルＥ_cの信頼度（算出精度）が高い場合には、補正用視線ベクトルは、第１の視線ベクトルＥ_cと略平行な方向を向くように回転される。また例えば重み係数ｗ_cが低く第１の視線ベクトルＥ_cの信頼度が低い場合等には、補正用の視線ベクトルの回転量は小さい値に設定される、あるいは補正用の視線ベクトルは回転されない。

第２の補正パラメータ（補正用の視線ベクトル）を更新する方法等は限定されない。例えば重み係数ｗ_cが所定の閾値よりも大きい場合（例えばｗ_c＞０．５等）に、補正用の視線ベクトルを更新するといった閾値処理が実行されてもよい。また例えば、第１の視線ベクトルＥ_cが算出された瞳孔中心２２の位置等に応じて、線形補間等を用いて補正用の視線ベクトルの回転量が算出されてもよい。この他、第２の補正パラメータを更新する任意の方法が用いられてよい。

また、第１の視線ベクトルに近い校正ポイント４７の更新に用いられた補正用の視線ベクトルの回転量に基づいて、他の校正ポイント４７での第２の補正パラメータが適宜更新される。すなわち第２の校正テーブルに記録された各ベクトルの向きが、第１の視線ベクトルに合わせて回転される。これにより、第２の校正テーブル全体を容易に更新することが可能である。

なお、第１の視線ベクトルの信頼度として、重み係数ｗ_cを用いる場合に限定されない。例えば、眼球画像２１における眼球４を含む眼領域３での瞳孔５の位置に応じて第２の補正パラメータが更新されてもよい。上記したように、第１の視線ベクトルの算出処理（瞳孔角膜反射法）では、輝点２０の位置が瞳孔中心２２に近いほど重み係数ｗ_cが大きく設定される。

従って瞳孔中心２２の位置を用いて、第１の視線ベクトルの精度等を表すことが可能である。この場合、瞳孔中心２２の位置は、第１の視線ベクトルの信頼度を表すパラメータとして機能する。例えば輝点２０が角膜領域８に収まるような範囲に瞳孔５が存在する場合に、第２の補正パラメータを瞳孔５の位置に応じて更新される。これにより、第２の補正パラメータを容易に更新することが可能である。

この他、第１の視線ベクトルの信頼度を表す任意のパラメータ等が用いられてもよい。このように、第１の視線ベクトルの信頼度を使って、更新処理を実行することで、第２の補正パラメータを適正な値に更新することが可能である。この結果、第２の視線ベクトルの精度を向上することが可能である。

図１０に示すように、第２の補正パラメータが更新されると、ステップ１０１に戻り、次の眼球画像２１が取得される。このように本実施形態では、ループ処理ごとに、第２の補正パラメータが更新される。これにより、第２の補正パラメータを自動的に更新する自動キャリブレーションを実現することが可能である。この結果、眼球４の位置ずれ等に対して耐性の強い安定した視線検出を実現することが可能となる。

以上、本実施形態に係るコントローラ３０では、ユーザ１の眼球画像２１が取得され、ユーザ１の眼球画像２１に基づいて、互いに異なる瞳孔角膜反射法及び瞳孔法の各々を用いて第１の視線ベクトル及び第２の視線ベクトルがそれぞれ決定される。また第１及び第２の視線ベクトルの少なくとも１方の信頼度に関する重み係数が算出され、重み係数をもとにユーザの視線方向が決定される。これにより、安定した視線検出を実現することが可能となる。

眼球に照射された光の反射光を検出してユーザ１の視線方向を検出する方法では、ユーザ１の視線の位置によって、反射光を適正に検出することが難しい場合があり得る。図１４は、比較例としてあげるユーザ１の眼球画像の一例を示す模式図である。図１４に示すように、ユーザの視線が正面から外れるのに従い、輝点２０が角膜７から外れてしまうことがあり得る。このため、輝点２０の検出精度が低下し、視線方向の精度が低下する可能性がある。

またユーザ１ごとに、眼の堀の深さや鼻の高さが異なるため、カメラと眼球との距離（アイリリーフ）が異なり、輝点２０が照射される位置には個人差が生じる。このため、ユーザが正面を見ている場合であっても、角膜７上に正確に赤外光１５を照射することが難しい場合があり得る。

図１５は、比較例として挙げる赤外光１５の照射の一例を示す模式図である。図１５Ａ及び図１５Ｂには、メガネ４８を使用したユーザ１の眼球４に対して赤外光１５が照射された状態が模式的に図示されている。例えば図１５Ａに示すように、メガネ４８（レンズ）の光屈折により、赤外光１５の照射位置がずれることがあり得る。また例えば図１５Ｂに示すように、メガネ４８に対する赤外光１５の入射角が浅い場合等には、メガネ４８表面での全反射により、角膜７上に赤外光１５が到達しないといった可能性が生じる。

例えば、眼球４の画像から特徴部分（瞳孔等）を抽出することで視線方向を検出する方法では、輝点２０等を用いることなく視線方向が検出される。このため、輝点２０の照射位置等に係らず広い範囲で視線方向を検出可能である。一方でこの方法では、カメラと眼球４との位置ずれが発生すると、視線方向が正確に検出できなくなる可能性がある。

本実施形態に係るＨＭＤ１００では、瞳孔角膜反射法を用いて第１の視線ベクトルが算出され、瞳孔法を用いて第２の視線ベクトルが算出される。そして第１の視線ベクトルの信頼度（重み係数ｗ_c）の情報に基づいて、第１の視線ベクトルと第２の視線ベクトルとが合成された合成視線ベクトルが算出される。

これにより、瞳孔角膜反射法による高精度な視線検出と、瞳孔法による赤外光１５の反射状況等に依存しない環境耐性の強い視線検出とを、動的に混合して用いることが可能となる。すなわち、精度の高い第１の視線ベクトルと広範囲をカバーする第２の視線ベクトルとを連続的に合成して視線方向を検出することが可能となる。この結果、広い範囲にわたって高精度かつ安定した視線検出を行うことが可能となる。

例えば、角膜領域８に対して赤外光１５が照射される場合には、第１の視線ベクトルの割合が高い視線方向が検出される。また赤外光１５が角膜領域８から外れて照射される場合には、第２の視線ベクトルの割合が高い視線方向が検出される。このように、本実施形態では、赤外光１５の照射位置（輝点２０の位置）に応じてユーザ１の視線方向を適正に検出することが可能である。

このため、例えばアイリリーフ（眼の深さ等）が異なるユーザ１に対しても、輝点２０の照射位置に応じた適正な視線検出が可能となり、ユーザ１の個人差に伴う検出精度の差等を抑制することが可能となる。これにより、装置の信頼性を向上するとともに、安定した視聴体験等を提供することが可能となる。またユーザ１がメガネ等を使用している場合であっても、ユーザ１の視線方向を適正に検出することが可能である。これにより、装置のユーザビリティを十分に向上することが可能である。

例えば、瞳孔角膜反射法による検出結果と、瞳孔法による検出結果とを所定のタイミングで切り替えて用いるような場合には、視線検出結果が不連続に変化し、検出結果が安定しない場合がある。これに対し、本実施形態では、第１の視線ベクトルと第２の視線ベクトルとが、重み係数を用いて合成される。これにより、検出結果の不自然なとび等が抑制され、ユーザ１の視線方向を十分に安定して検出することが可能である。これにより、例えばユーザ１の使用感を向上させることが可能となり、優れた操作性を発揮することが可能となる。

また本実施形態では、眼球の位置ずれに強く精度の高い瞳孔角膜反射法を用いて、瞳孔法で用いられる第２の補正パラメータ（第２の校正テーブル）が更新される。これにより、第２の補正パラメータを精度よく修正することが可能となり、第２の視線ベクトルの検出精度等を高い水準に維持することが可能となる。

このように、第２の補正パラメータを自動的に更新することで、ＨＭＤ１００の装着のゆるみやユーザ１の動作等に伴い、眼球４の位置ずれが生じた場合であっても、高精度に第２の視線ベクトルを算出することが可能である。この結果、十分に安定した視線検出を実現することが可能となり、装置の信頼性を大幅に向上することが可能となる。これにより、ユーザ１の動きに対する耐性が向上し、ユーザ１は、ＨＭＤ１００を用いたＶＲ空間でのゲーム等を十分に楽しむことが可能となる。

＜第２の実施形態＞
本技術に係る第２の実施形態のＨＭＤについて説明する。これ以降の説明では、上記の実施形態で説明したＨＭＤ１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

本実施形態では、瞳孔角膜反射法による視線方向の算出処理として、互いに異なる２つの手法を用いた視線方向の算出が行われる。具体的には、輝点２０のペアを用いて視線方向を算出する手法と、単一の輝点２０を用いて視線方向を算出する手法とが用いられる。

輝点２０のペアを用いる手法としては、例えば図１１等を用いて説明した眼球モデル５０を使って視線方向を推定する手法が用いられる。すなわち、輝点２０の位置に基づいて眼球モデル５０の光軸５３を推定し、推定された光軸５３から視軸５５（視線ベクトル）を算出する手法が用いられる。以下では、輝点２０のペアを用いて算出される視線ベクトルを第３の視線ベクトルと記載する。本実施形態では、輝点２０のペアを用いて視線方向を推定する手法は、第１の手法に相当し、第３の視線ベクトルは、第１の視線方向に相当する。

単一の輝点２０を用いる手法としては、例えば輝点２０と瞳孔５との相対位置を算出することで視線方向を推定する手法が用いられる。例えばキャリブレーション処理により、マーカを注視している状態での瞳孔中心２２と、輝点２０との相対位置が検出される。検出された相対位置は、マーカに向けられた視線ベクトル（補正用の視線ベクトル）と関連付けて校正テーブルに記録される。

例えば、校正テーブルに記録された相対位置を適宜参照することで、算出対象となる眼球画像２１での輝点２０と瞳孔中心２２との相対位置から、その眼球画像２１におけるユーザの視線ベクトルを算出することが可能である。以下では、単一の輝点２０を用いて算出される視線ベクトルを第４の視線ベクトルと記載する。本実施形態では、単一の輝点２０を用いて視線方向を推定する手法は、第２の手法に相当し、第４の視線ベクトルは、第２の視線方向に相当する。

本実施形態では、輝点２０のペアを用いて算出された第３の視線ベクトルと、単一の輝点２０を用いて算出された第４の視線ベクトルとを合成して、合成視線ベクトルが算出される。第３の視線ベクトル及び第４の視線ベクトルは、所定の合成比率に基づいて合成される。以下具体的に説明する。

図１６は、第３及び第４の視線ベクトルを合成する合成比率の算出処理の一例を説明するための模式図である。図１６Ａでは、角膜領域８の内側に第１の輝点２０ａと第２の輝点２０ｂとが含まれる。

例えば輝点２０のペアを用いる手法により、第１の輝点２０ａと第２の輝点２０ｂとのペアに基づいて、第３の視線ベクトルが算出される。単一の輝点２０を用いる手法により、第１の輝点２０ａ（もしくは第２の輝点２０ａ）だけを用いて第４の視線ベクトルが算出される。あるいは第１の輝点２０ａから算出された視線ベクトルと、第２の輝点２０ａから算出された視線ベクトルとを適宜合成することで第４の視線ベクトルが算出されてもよい。

第３及び第４の視線ベクトルを算出する処理は、例えば並列して計算される。算出された第３及び第４の視線ベクトルは、重み係数ｗ_c（合成比率）に基づいて適宜合成される。重み係数ｗ_cは、例えば第１の輝点２０ａ及び第２の輝点２０ｂのペアに基づいて、（１）式により算出される。

例えば図１６Ｂに示すように、ペアの片方（第２の輝点２０ｂ）が角膜領域８から外れた場合には、第３の視線ベクトルの重み係数ｗ_cがゼロとなり、第４の視線ベクトルの重み係数（１－ｗ_c）が１となる。このような場合であっても合成視線ベクトルは、第４の視線ベクトルから第３の視線ベクトルにシームレスに切り替わることが可能であり、視線検出結果が不連続に変化するといった事態を十分に回避することが可能である。

＜第３の実施形態＞
本実施形態では、輝点２０を用いずに眼球４の特徴（画像特徴）を抽出して視線方向を算出する手法として、互いに異なる手法が用いられる。具体的には、眼球４の特徴部分の位置情報を用いて視線方向を算出する手法と、眼球４の特徴部分の形状情報を用いて視線方向を算出する手法とが用いられる。なお眼球４の特徴部分には、眼球４の瞳孔５、角膜７、及び虹彩６等が含まれる。

眼球４の特徴部分の位置情報を用いる手法としては、瞳孔５や角膜７等の中心位置を検出して、検出された位置から所定の校正テーブルに基づいて視線ベクトルを算出する手法が挙げられる。例えば第１の実施形態で説明した瞳孔法は、位置情報を用いて視線方向を算出する手法の一例である。

この他にも、瞳孔・虹彩（角膜領域８）の位置を利用した視線認識手法等が用いられてもよい。以下では、眼球４の特徴部分の位置情報を用いて算出される視線ベクトルを第５の視線ベクトルと記載する。本実施形態では、眼球４の特徴部分の位置情報を用いて視線方向を推定する手法は、第１の手法に相当し、第５の視線ベクトルは、第１の視線方向に相当する。

眼球４の特徴部分の形状情報を用いる手法としては、瞳孔５や角膜７等の形状を抽出して、その形状から視線方向を算出する手法が挙げられる。例えば瞳孔５や角膜７等に対して楕円形状をフィッティングし、その楕円率等に基づいて、視線方向を推定することが可能である。

以下では、眼球４の特徴部分の形状情報を用いて算出される視線ベクトルを第６の視線ベクトルと記載する。本実施形態では、眼球４の特徴部分の形状情報を用いて視線方向を推定する手法は、第２の手法に相当し、第６の視線ベクトルは、第２の視線方向に相当する。

図１７は、ユーザ１の視線方向と特徴部分との関係を説明するための模式図である。以下では、眼球４の特徴部分として、角膜領域８を検出する場合を例に説明を行う。図１７Ａは、ユーザ１の上目蓋に角膜領域８の一部が隠れている場合の眼球画像２１を示す模式図である。図１７Ｂは、ユーザ１の視線が眼領域３の周辺に向けられている場合の眼球画像２１を示す模式図である。

図１７Ａに示すように、ユーザ１の角膜領域８（黒眼）が目蓋に隠れている場合等には、角膜領域８の形状を適正に検出することが難しい場合がある。例えば、目蓋に隠れた状態の角膜領域８に対して楕円形状をフィッティングした場合、視線が正面に向けられている場合であっても、実際の角膜形状（図中の点線）と比べ、横長の楕円（図中の実線）等がフィッティングされる可能性がある。

一方で、角膜領域８が目蓋に隠れていない状態で視線が正面に向けられている場合には、角膜領域８は略真円となる。この場合、角膜領域８にフィッティングされた楕円形状の楕円率等は、視線が動いたとしても大きく変化しない。従って例えば、眼領域３の中心部では、詳細な楕円形状を求めることが難しい場合があり得る。なお、眼領域３の中心部では、楕円形状の中心位置等を算出することで、視線方向を精度よく算出することが可能である。

また、図１７Ｂに示すように、ユーザ１の視線が左右に向けられており、角膜領域８（瞳孔５）が眼領域３の周辺部にある場合には、球体状の眼球４の回転に伴い、角膜領域８は縦長の楕円形状となる。この場合、ユーザ１の視線の変化に伴い楕円形状は大きく変化し、楕円率等の変化量も大きくなる。従って眼領域３の周辺部では、角膜領域８にフィッティングされた楕円形状を参照することで、ユーザ１の視線方向を精度よく算出することが可能である。なお、眼領域３の周辺部では、角膜領域８の中心位置の変化量等は、中心部と比べて小さくなる。

第５の視線ベクトルと第６の視線ベクトルとを合成する処理では、楕円形状の楕円率等に基づいて各視線ベクトルの重み係数が設定される。例えば、角膜領域８の形状（フィッティングされる楕円形状）が真円から横長になるほど、位置情報を用いて算出される第５の視線ベクトルの重み係数が高くなり、楕円形状が縦長になるほど形状情報を用いて算出される第６の視線ベクトルの重み係数が高くなるように、重み係数を適宜設定することが可能である。

これにより、眼領域３の中心部では位置情報を用いた第５の視線ベクトルの割合が高く、周辺部では形状情報を用いた第６の視線ベクトルの割合が高い合成視線ベクトルを算出することが可能である。この結果、中心部及び周辺部の両方の領域で精度よく視線ベクトルを算出することが可能となる。また、第５及び第６の視線ベクトルは滑らかに切り替えられるため、不連続なとび等が発生しない安定した視線検出が可能となる。

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

図１０に示す処理では、第１の視線ベクトルと第２の視線ベクトルとを合成するための重み係数を用いて、第２の視線ベクトルを算出するための第２の補正パラメータが更新された。これに限定されず、第２の補正パラメータを更新する任意の処理が用いられてよい。

例えば第１の視線ベクトルが算出されているか否かを判定し、その判定結果に基づいて第２の補正パラメータが更新されてもよい。すなわち、瞳孔角膜反射法を用いて第１の視線ベクトルが検出される場合に、第２の補正パラメータを更新するといった処理が実行されてもよい。また例えば、第１の視線ベクトルと第２の視線ベクトルとの信頼度を比較し、その比較結果に基づいて第２の補正パラメータが更新されてもよい。すなわち、第２の視線ベクトルの信頼度が十分に高い場合には、第２の補正パラメータを更新しないといった処理が実行されてもよい。

また第２の視線ベクトルに基づいて、第１の視線ベクトルを算出するための第１の補正パラメータ（第１の校正テーブル）が更新されてもよい。例えば第２の視線ベクトルの信頼度が十分に高く、第１の視線ベクトルの信頼度が低下している場合等に、第２の視線ベクトルに基づいて第１の校正テーブルを更新するといった処理が実行されてもよい。

図１０に示す処理では、第１の視線ベクトルと第２の視線ベクトルとを合成して、ユーザ１の視線方向が決定された。これに限定されず、第１の視線ベクトルと第２の視線ベクトルとのどちらか一方を選択して、ユーザ１の視線方向を決定する処理が実行されてもよい。

例えば、第１及び第２の視線ベクトルの信頼度がそれぞれ算出され、信頼度が高い視線ベクトルとユーザの視線方向として決定するといった判定処理が実行されてもよい。これにより、容易にユーザの視線方向を決定することが可能となり、処理時間や演算量等を抑制することが可能となる。

また第１及び第２の視線ベクトルの判定処理とともに、第２の補正パラメータ等を更新する処理が実行されてもよい。例えば第１の視線ベクトルが所定の閾値よりも高い場合に、第１の視線ベクトルを用いて第２補正パラメータを更新する。このような処理が実行されてもよい。これにより、ユーザの動作やＨＭＤ等のゆるみに伴い眼球とカメラとの相対位置がずれた場合であっても、第２の視線ベクトルを高精度に算出することが可能となる。

また、第１の視線ベクトルと第２の視線ベクトルとが切り替わる場合に、視線検出結果が不連続に変化するといった事態を十分に回避することが可能である。これにより、位置ずれに耐性のある、安定した視線検出を実現することが可能となる。

図１２Ａに示す例では、輝点２０のペアを用いて第１の視線ベクトルの重み係数が算出された。これに限定されず単一の輝点２０を用いられる場合にも、重み係数を算出することが可能である。例えば、図１２Ａに示す輝点２０のペアの中点Ｄ１を、単一の輝点２０の中心位置に置き換えることで、単一の輝点２０で算出される第１の視線ベクトルに関する重み係数を算出することが可能である。これにより、輝点２０のペアが検出できないような場合であっても、第１の視線ベクトルと第２の視線ベクトルとを適正に合成することが可能となる。

図１８は、他の実施形態に係るＨＭＤの外観を示す斜視図である。ＨＭＤ２００は、透過型のディスプレイを備えたメガネ型の装置であり、ユーザの頭部に装着されて使用される。

ＨＭＤ２００は、フレーム２１０、複数の赤外光源２１２、左右の赤外カメラ２１３Ｌ及び２１３Ｒ、左右のレンズ２１６Ｌ及び２１６Ｒ、左右の透過ディスプレイ２１７Ｌ及び２１７Ｒを有する。またフレーム２１０の内部や所定の位置には、図５に示すのと略同様のコントローラ等が構成されている。

複数の赤外光源２１２は、ユーザ１の眼球に向けて赤外光を照射可能なように、フレーム２１０の所定の位置に配置される。図１２では、ユーザの右眼に向けて赤外光を照射する４つの赤外光源２１２と、ユーザの左眼に向けて赤外光を照射する４つの赤外光源２１２とがそれぞれ設けられる。赤外光源２１２の数や配置は限定されず、例えば赤外カメラ２１３の撮影範囲等に応じて設定されてよい。

左右の赤外カメラ２１３Ｌ及び２１３Ｒは、ユーザの左眼及び右眼を撮像可能なようにフレームの所定の位置に配置される。例えば赤外カメラ２１３Ｌ及び２１３Ｒにより撮影された左眼及び右眼の赤外線画像が、ユーザ１の眼球画像として用いられる。

左右のレンズ２１６Ｌ及び２１６Ｒは、ユーザの左眼及び右眼の前方にそれぞれ配置される。透過ディスプレイ２１７Ｌ及び２１７Ｒは、ユーザの視野を覆うように、左右のレンズ２１６Ｌ及び２１６Ｒにそれぞれ設けられる。

透過ディスプレイ２１７Ｌ及び２１７Ｒは、透過型のディスプレイであり、左眼及び右眼用の画像等がそれぞれ表示される。ＨＭＤ２００を装着するユーザは、現実の景色を視認すると同時に、各ディスプレイに表示される画像を視認することが可能となる。これにより、ユーザは拡張現実感（ＡＲ）等を体験することが可能となる。

なお各透過ディスプレイには、外からの光をさえぎる調光素子等が設けられてもより。これにより、ユーザに視認される現実の景色を規制し、各ディスプレイに表示される画像を強調してユーザに視認させることが可能である。これにより、ユーザは仮想現実（ＶＲ）等を体験することが可能となる。

例えば複数の赤外光源２１２から赤外光がユーザの眼球に照射された状態で、眼球画像が撮影される。撮影された眼球画像を用いて、瞳孔角膜反射法及び瞳孔法により、それぞれ視線ベクトルが算出される。所定の重み係数に基づいて各視線ベクトルが合成された合成視線ベクトルがユーザの視線方向として算出される。これにより、ユーザの視線方向を安定して検出することが可能である。

このようにＡＲグラス等の透過型のＨＭＤにも、本技術は適用可能である。例えばＡＲの体験時においては、ユーザの視線方向に合わせて画像表示等が実行される。例えば本技術により算出される視線結果等を用いることで、高精度でかつ安定したコンテンツ等の表示を実現することが可能である。

上記の実施形態では、ユーザの眼領域の中心領域に向けて赤外光が照射された。これに限定されず、赤外光は、眼領域の周辺領域に照射されてもよい。例えば図１８に示すような透過型のＨＭＤでは、ユーザの眼を正面から撮影できる位置に赤外カメラ等を設けることが難しい場合があり得る。このような場合、ユーザの眼を斜めから撮影するように赤外カメラが配置される。

例えば赤外光源は、赤外カメラの撮影範囲に応じて、ユーザの眼領域の周辺領域に赤外光が照射されるように配置される。これにより、ユーザの瞳孔が正面からそれている場合であっても、瞳孔角膜反射法を用いることが可能となり、ユーザの視線方向を精度よく算出することが可能である。

なお、ユーザの視線が正面に向けられている場合には、瞳孔法を用いてユーザの視線方向を算出することが可能である。すなわち、ユーザの視野中心では瞳孔法をもちいて視線方向を算出し、視野周辺では瞳孔角膜反射法を用いて視線方向を算出する。このような構成が採用されてもよい。

またこのように構成された場合であっても、瞳孔法で用いられる校正テーブル等を瞳孔角膜反射法により算出された視線方向を使って更新することが可能である。これにより、メガネ型のＨＭＤ等においても、眼球の位置ずれに耐性のある安定した視線検出を実現することが可能となる。

上記の実施形態では、おもにＨＭＤ等のアイウェア装置について説明した。これに限定されず、本技術は視線検出を行う任意の装置について適用可能である。例えば車両等に搭載されたカメラを用いて視線検出を行う車載用の運転者モニタリング装置や、医療向けの技術者用に用いられる視線操作型のＵＩ装置、あるいはＷｅｂカメラ等を用いて視線検出を行なう場合等に、本技術が適用されてもよい。例えば、互いに異なる検出手法で検出された視線ベクトルを合成することで、安定した視線検出を実現することが可能である。この他、医療現場や、エンターテイメント、マーケティング等の様々分野で応用可能である。

上記では、コントローラにより、ユーザの視線方向の決定等を含む、本技術に係る情報処理方法が実行された。これに限定されず、クラウドサーバにより、本技術に係る情報処理方法が実行されてもよい。すなわちコントローラの機能が、クラウドサーバに搭載されてもよい。この場合、当該クラウドサーバは、本技術に係る情報処理装置として動作することになる。

またＨＭＤに搭載されたコンピュータ（コントローラ）と、ネットワーク等を介して通信可能な他のコンピュータ（クラウドサーバ）とが連動することで、本技術に係る情報処理方法、及びプログラムが実行され、本技術に係る情報処理装置が構築されてもよい。

すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えばユーザの眼情報の取得、第１の視線方向の決定、第２の視線方向の決定、信頼度情報の算出、及びユーザの視線方向の決定が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。

すなわち本技術に係る情報処理方法、及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

なお、本技術は以下のような構成も採ることができる。
（１）ユーザの眼情報を取得する取得部と、
前記眼情報に基づいて第１の手法により第１の視線方向を決定し、前記眼情報に基づいて前記第１の手法とは異なる第２の手法により第２の視線方向を決定し、前記第１の視線方向及び前記第２の視線方向の少なくとも１方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定する処理部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記処理部は、前記信頼度情報に基づいて、前記第１の視線方向と前記第２の視線方向とを合成して前記ユーザの視線方向を決定する
情報処理装置。
（３）（２）記載の情報処理装置であって、
前記信頼度情報は、前記第１の視線方向と前記第２の視線方向とを合成するための重み係数を含む
情報処理装置。
（４）（３）に記載の情報処理装置であって、
前記眼情報は、１以上の照射光を照射して前記ユーザの眼球を撮影した眼球画像を含み、
前記第１の手法は、前記眼球画像から前記１以上の照射光による１以上の輝点を検出し、前記検出された１以上の輝点に基づいて前記第１の視線方向を決定する手法である
情報処理装置。
（５）（４）に記載の情報処理装置であって、
前記１以上の照射光は、複数の照射光であり、
前記処理部は、前記眼球画像から前記複数の照射光による複数の輝点のうち互いに所定の配置となる輝点のペアを検出可能である
情報処理装置
（６）（５）に記載の情報処理装置であって、
前記処理部は、前記眼球の角膜領域を検出し、前記角膜領域内での前記輝点のペアの位置に基づいて前記重み係数を算出する
情報処理装置。
（７）（５）又は（６）に記載の情報処理装置であって、
前記処理部は、前記眼球の瞳孔中心を検出し、前記瞳孔中心に対する前記輝点のペアの距離に基づいて前記重み係数を算出する
情報処理装置。
（８）（５）から（７）のうちいずれか１つに記載の情報処理装置であって、
前記処理部は、前記輝点の面積を算出し、算出された前記輝点の面積に基づいて前記重み係数を算出する
情報処理装置。
（９）（５）から（８）のうちいずれか１つに記載の情報処理装置であって、
前記第１の手法は、前記複数の輝点のうち前記輝点のペアに基づいて前記第１の視線方向を決定する手法であり、
前記第２の手法は、前記複数の輝点のうち単一の輝点に基づいて前記第２の視線方向を決定する手法である
情報処理装置。
（１０）（１）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記処理部は、前記信頼度情報に基づいて、前記第１の視線方向を決定するための第１の補正パラメータと、前記第２の視線方向を決定するための第２の補正パラメータとの少なくとも一方を更新する
情報処理装置。
（１１）（１０）に記載の情報処理装置であって、
前記第１の手法は、前記眼球の表面に設定される基準点を基準として前記第１の視線方向を決定する手法であり、
前記処理部は、前記第１の視線方向に基づいて前記第２の補正パラメータを更新する
情報処理装置。
（１２）（１０）又は（１１）に記載の情報処理装置であって、
前記信頼度情報は、前記第１の視線方向の信頼度を含み、
前記処理部は、前記第１の視線方向の信頼度に応じて、前記第２の補正パラメータを更新する
情報処理装置。
（１３）（１２）に記載の情報処理装置であって、
前記眼情報は、１以上の照射光を照射して前記ユーザの眼球を撮影した眼球画像を含み、
前記第１の手法は、前記眼球画像から前記１以上の照射光による１以上の輝点を検出し、前記検出された１以上の輝点に基づいて前記第１の視線方向を決定する手法であり、
前記処理部は、前記眼球画像に基づいて前記第１の視線方向の信頼度を算出する
情報処理装置。
（１４）（１３）に記載の情報処理装置であって、
前記１以上の照射光は、前記眼領域の中心領域及び周辺領域のどちらか一方に照射される
情報処理装置。
（１５）（１０）から（１４）のうちいずれか１つに記載の情報処理装置であって、
前記処理部は、前記眼球画像における前記眼球を含む眼領域での瞳孔の位置に応じて前記第２の補正パラメータを更新する
情報処理装置。
（１６）（１０）から（１５）のうちいずれか１つに記載の情報処理装置であって、
前記信頼度情報は、前記第１の視線方向と前記第２の視線方向とを合成するための、重み係数を含み、
前記処理部は、前記重み係数に基づいて、前記第２の補正パラメータを補正する
情報処理装置。
（１７）（１）から（１６）のうちいずれか１つに記載の情報処理装置であって、
前記第２の手法は、前記眼球画像から前記眼球の所定の特徴部分の位置及び形状の少なくとも一方を検出することで、前記第２の視線方向を決定する手法である
情報処理装置。
（１８）（１７）に記載の情報処理装置であって、
前記所定の特徴部分は、前記眼球の瞳孔、角膜、及び虹彩のいずれか１つを含む
情報処理装置。
（１９）ユーザの眼情報を取得し、
前記眼情報に基づいて第１の手法により第１の視線方向を決定し、前記眼情報に基づいて前記第１の手法とは異なる第２の手法により第２の視線方向を決定し、前記第１の視線方向及び前記第２の視線方向の少なくとも１方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定する
ことをコンピュータシステムが実行する情報処理方法。
（２０）ユーザの眼情報を取得するステップと、
前記眼情報に基づいて第１の手法により第１の視線方向を決定し、前記眼情報に基づいて前記第１の手法とは異なる第２の手法により第２の視線方向を決定し、前記第１の視線方向及び前記第２の視線方向の少なくとも１方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定するステップと
をコンピュータシステムに実行させるプログラム。

Ｅ_c…第１の視線ベクトル
Ｅ_i…第２の視線ベクトル
Ｅ…合成視線ベクトル
ｗ_c…重み係数
１…ユーザ
３…眼領域
８…角膜領域
１２、１２ａ～１２ｄ、２１２…赤外光源
１３、１３Ｌ、１３Ｒ、２１３Ｌ、２１３Ｒ…赤外カメラ
１５…赤外光
２０、２０ａ、２０ｂ…輝点
２１、２１ａ、２１ｂ…眼球画像
２２…瞳孔中心
３０…コントローラ
３１…画像取得部
３２…画像処理部
３３…第１視線検出部
３４…第２視線検出部
３５…合成比率算出部
３６…視線合成部
３７…補正パラメータ更新部
４０…角膜領域検出部
４１…輝点検出部
４２…瞳孔中心検出部
１００、２００…ＨＭＤ

Claims (19)

1. ユーザの眼情報を取得する取得部と、
   前記眼情報に基づいて第１の手法により第１の視線方向を決定し、前記眼情報に基づいて前記第１の手法とは異なる第２の手法により第２の視線方向を決定し、前記第１の視線方向及び前記第２の視線方向の少なくとも１方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて、前記第１の視線方向と前記第２の視線方向とを合成して前記ユーザの視線方向を決定する処理部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記信頼度情報は、前記第１の視線方向と前記第２の視線方向とを合成するための重み係数を含む
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記眼情報は、１以上の照射光を照射して前記ユーザの眼球を撮影した眼球画像を含み、
   前記第１の手法は、前記眼球画像から前記１以上の照射光による１以上の輝点を検出し、前記検出された１以上の輝点に基づいて前記第１の視線方向を決定する手法である
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記１以上の照射光は、複数の照射光であり、
   前記処理部は、前記眼球画像から前記複数の照射光による複数の輝点のうち互いに所定の配置となる輝点のペアを検出可能である
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記処理部は、前記眼球の角膜領域を検出し、前記角膜領域内での前記輝点のペアの位置に基づいて前記重み係数を算出する
   情報処理装置。
6. 請求項４に記載の情報処理装置であって、
   前記処理部は、前記眼球の瞳孔中心を検出し、前記瞳孔中心に対する前記輝点のペアの距離に基づいて前記重み係数を算出する
   情報処理装置。
7. 請求項４に記載の情報処理装置であって、
   前記処理部は、前記輝点の面積を算出し、算出された前記輝点の面積に基づいて前記重み係数を算出する
   情報処理装置。
8. 請求項４に記載の情報処理装置であって、
   前記第１の手法は、前記複数の輝点のうち前記輝点のペアに基づいて前記第１の視線方向を決定する手法であり、
   前記第２の手法は、前記複数の輝点のうち単一の輝点に基づいて前記第２の視線方向を決定する手法である
   情報処理装置。
9. 請求項１に記載の情報処理装置であって、
   前記処理部は、前記信頼度情報に基づいて、前記第１の視線方向を決定するための第１の補正パラメータと、前記第２の視線方向を決定するための第２の補正パラメータとの少なくとも一方を更新する
   情報処理装置。
10. 請求項９に記載の情報処理装置であって、
    前記第１の手法は、前記ユーザの眼球の表面に設定される基準点を基準として前記第１の視線方向を決定する手法であり、
    前記処理部は、前記第１の視線方向に基づいて前記第２の補正パラメータを更新する
    情報処理装置。
11. 請求項９に記載の情報処理装置であって、
    前記信頼度情報は、前記第１の視線方向の信頼度を含み、
    前記処理部は、前記第１の視線方向の信頼度に応じて、前記第２の補正パラメータを更新する
    情報処理装置。
12. 請求項１１に記載の情報処理装置であって、
    前記眼情報は、１以上の照射光を照射して前記ユーザの眼球を撮影した眼球画像を含み、
    前記第１の手法は、前記眼球画像から前記１以上の照射光による１以上の輝点を検出し、前記検出された１以上の輝点に基づいて前記第１の視線方向を決定する手法であり、
    前記処理部は、前記眼球画像に基づいて前記第１の視線方向の信頼度を算出する
    情報処理装置。
13. 請求項１２に記載の情報処理装置であって、
    前記１以上の照射光は、前記眼球画像における前記眼球を含む眼領域の中心領域及び周辺領域のどちらか一方に照射される
    情報処理装置。
14. 請求項９に記載の情報処理装置であって、
    前記眼情報は、１以上の照射光を照射して前記ユーザの眼球を撮影した眼球画像を含み、
    前記処理部は、前記眼球画像における前記眼球を含む眼領域での瞳孔の位置に応じて前記第２の補正パラメータを更新する
    情報処理装置。
15. 請求項９に記載の情報処理装置であって、
    前記信頼度情報は、前記第１の視線方向と前記第２の視線方向とを合成するための、重み係数を含み、
    前記処理部は、前記重み係数に基づいて、前記第２の補正パラメータを補正する
    情報処理装置。
16. 請求項１に記載の情報処理装置であって、
    前記眼情報は、前記ユーザの眼球を撮影した眼球画像を含み、
    前記第２の手法は、前記眼球画像から前記眼球の所定の特徴部分の位置及び形状の少なくとも一方を検出することで、前記第２の視線方向を決定する手法である
    情報処理装置。
17. 請求項１６に記載の情報処理装置であって、
    前記所定の特徴部分は、前記眼球の瞳孔、角膜、及び虹彩のいずれか１つを含む
    情報処理装置。
18. ユーザの眼情報を取得し、
    前記眼情報に基づいて第１の手法により第１の視線方向を決定し、前記眼情報に基づいて前記第１の手法とは異なる第２の手法により第２の視線方向を決定し、前記第１の視線方向及び前記第２の視線方向の少なくとも１方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて、前記第１の視線方向と前記第２の視線方向とを合成して前記ユーザの視線方向を決定する
    ことをコンピュータシステムが実行する情報処理方法。
19. ユーザの眼情報を取得するステップと、
    前記眼情報に基づいて第１の手法により第１の視線方向を決定し、前記眼情報に基づいて前記第１の手法とは異なる第２の手法により第２の視線方向を決定し、前記第１の視線方向及び前記第２の視線方向の少なくとも１方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて、前記第１の視線方向と前記第２の視線方向とを合成して前記ユーザの視線方向を決定するステップと
    をコンピュータシステムに実行させるプログラム。

Images