WO2021153577A1

WO2021153577A1 - 視線検出装置のキャリブレーション

Info

Publication number: WO2021153577A1
Application number: PCT/JP2021/002733
Authority: WO
Inventors: 野田　卓郎; 安田　亮平
Original assignee: ソニーグループ株式会社
Priority date: 2020-01-31
Filing date: 2021-01-27
Publication date: 2021-08-05

Abstract

視線検出装置は、視線検出部、キャリブレーション部、判定部、及び補正制御部を具備する。視線検出部は、センサからユーザの視線の検出結果を取得する。キャリブレーション部は、表示パラメータが予め固定された少なくとも１つの第１オブジェクトを基準に視線の検出結果を補正する第１キャリブレーション、及び、表示パラメータが動的に変化する少なくとも１つの第２オブジェクトを基準に第１キャリブレーションの結果を補正する第２キャリブレーションを行う。判定部は、第２キャリブレーションに関する特定の変化の発生を判定し、補正制御部は、特定の変化の発生に基づいて、第１及び第２キャリブレーションの少なくとも一方による補正に関する制御を行う。

Description

視線検出装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体

　本技術は、視線検出に適用可能な視線検出装置、情報処理方法、及びコンピュータが読
み取り可能な記録媒体に関する。

　従来、ユーザの眼を撮影した画像や眼球運動の測定結果等を用いて、ユーザの視線を検出する技術が開発されている。また、視線検出の精度を向上するために、ユーザの視線の個人差等を補正する視線キャリブレーションが提案されている。
　例えば、専用のマーカを表示して視線キャリブレーションを行う方法が知られている。この方法では、専用のマーカにユーザの視線を誘導し、マーカを注視する際のユーザの視線に基づいて視線キャリブレーション用のデータが生成される。このデータを用いてユーザの視線が補正される。

　また近年では、専用のマーカを表示することなく、視線キャリブレーションを行う方法が開発されている。例えば、特許文献１には、通常のユーザ操作の中で視線キャリブレーションを行う情報処理システムについて記載されている。この情報処理システムでは、例えばユーザ操作の対象となるアイコンやエリア、あるいはユーザが使用するデバイスといったユーザの注視対象の位置が検出される。この注視対象の位置と視線位置とのずれに基づいて視線キャリブレーションが行われ、ユーザの視線が補正される。これにより、装置本来の目的を遂行する操作の中で視線キャリブレーションを行うことが可能となる（特許文献１の明細書段落［００１７］［００４５］［００６６］［００７８］図１等）。

国際公開第２０１６／１３９８５０号

　このような専用のマーカを用いた視線キャリブレーションと、装置の使用中に実行可能な視線キャリブレーションとを組み合わせることで、視線検出精度の向上が期待される。一方で、各キャリブレーションに不具合があると最終的に検出される視線の精度が低下する恐れがある。このため、視線検出精度の低下を防止する技術が求められている。

　以上のような事情に鑑み、本技術の目的は、視線検出精度の低下を防止することが可能な視線検出装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体を提供することにある。

　上記目的を達成するため、本技術の一形態に係る視線検出装置は、視線検出部と、キャリブレーション部と、判定部と、補正制御部とを具備する。
　前記視線検出部は、センサから表示領域に対するユーザの視線の検出結果を取得する。
　前記キャリブレーション部は、前記表示領域における表示パラメータが予め固定された少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて前記ユーザの視線の検出結果を補正する第１キャリブレーション、及び、前記表示領域における表示パラメータが動的に変化する少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて前記第１キャリブレーションの結果を補正する第２キャリブレーションを行う。
　前記判定部は、前記第２キャリブレーションに関する特定の変化の発生を判定する。
　前記補正制御部は、前記特定の変化の発生に基づいて、前記第１キャリブレーション及び前記第２キャリブレーションの少なくとも一方による補正に関する制御を行う。

　この視線検出装置では、第１キャリブレーションと第２キャリブレーションとが実行される。第１キャリブレーションでは、表示パラメータが固定された第１オブジェクトへの視線をもとに、センサを用いたユーザの視線の検出結果が補正される。また、第２キャリブレーションでは、表示パラメータが変動する第２オブジェクトへの視線をもとに、第１キャリブレーションの結果が補正される。この第２キャリブレーションについて、特定の変化の発生が判定され、その結果に応じて、第１キャリブレーション及び第２キャリブレーションの少なくとも一方による補正に関する制御が行われる。これにより、各キャリブレーションによる補正を制御可能となり、視線検出精度の低下を防止することが可能となる。

　前記第１キャリブレーションは、前記少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて第１較正データを生成する処理と、前記第１較正データを用いて前記ユーザの視線の検出結果を補正する処理とを含んでもよい。この場合、前記第２キャリブレーションは、前記少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて第２較正データを生成する処理と、前記第２較正データを用いて前記第１キャリブレーションの結果を補正する処理とを含んでもよい。また、前記補正制御部は、前記特定の変化の発生に基づいて、前記第１較正データの生成処理の再実行に関する制御、又は前記第２較正データを用いた補正処理に関する制御の少なくとも一方を行ってもよい。

　前記特定の変化は、前記表示領域に表示される表示オブジェクトに対する前記ユーザの注視傾向の変化を含んでもよい。この場合、前記補正制御部は、前記注視傾向の変化の内容に応じて、前記第２較正データを用いて前記第１キャリブレーションの結果を補正する際の補正度合を調整してもよい。

　前記判定部は、前記注視傾向の変化として、前記第２キャリブレーションによる補正に用いられる前記少なくとも１つの第２オブジェクトに対する、前記表示オブジェクトの種類、形状、サイズ、色、動作の少なくとも１つに関する変化の発生を判定してもよい。

　前記判定部は、前記注視傾向の変化として、前記第２キャリブレーションによる補正に用いられる前記少なくとも１つの第２オブジェクトと前記ユーザの視点との距離に対する、前記表示オブジェクトと前記ユーザの視点との距離の変化の発生を判定してもよい。

　前記判定部は、前記注視傾向の変化として、前記表示オブジェクトに対する操作入力の方法の変化の発生を判定してもよい。

　前記第２較正データは、前記少なくとも１つの第２オブジェクトの各々に対する前記第１キャリブレーションの結果であるベクトルと、当該ベクトルについての補正量とが関連付けて記録されたデータであってもよい。この場合、前記補正制御部は、前記補正度合として、前記第２較正データの補正量を調整する重み係数を設定してもよい。

　前記補正制御部は、前記注視傾向の変化の発生が判定された場合、前記注視傾向の変化の発生が判定されていない場合よりも前記補正度合が低くなるように前記重み係数を設定してもよい。

　前記キャリブレーション部は、前記第２較正データと、前記第２較正データを生成する際の前記ユーザの注視傾向に関する情報とを関連付けて記録してもよい。この場合、前記判定部は、前記ユーザの注視傾向に関する情報に基づいて、前記注視傾向の変化の発生を判定してもよい。

　前記補正制御部は、前記注視傾向の変化の内容に応じて、前記第２較正データを削除してもよい。

　前記第２較正データは、前記少なくとも１つの第２オブジェクトの各々に対する前記第１キャリブレーションの結果であるベクトルと、当該ベクトルについての補正量とが関連付けて記録されたデータであってもよい。この場合、前記特定の変化は、前記第２較正データの補正量の変化を含んでもよい。また、前記補正制御部は、前記第２較正データの補正量の変化に基づいて、前記第１較正データの生成処理の再実行を要求するフラグを生成してもよい。

　前記補正制御部は、前記フラグに基づいて、前記第１較正データを生成する処理の再実行が必要である旨を通知する通知処理を行ってもよい。

　前記補正制御部は、前記ユーザが行うタスクが終了したタイミング、前記タスクが実行されているタイミング、又は視線を利用したアプリケーションの実行前のタイミングの少なくとも１つのタイミングで、前記通知処理を行ってもよい。

　前記キャリブレーション部は、前記通知処理に対する前記ユーザの応答入力に応じて、前記第１較正データを生成する処理を実行してもよい。

　前記判定部は、前記第２較正データの補正量の平均値が閾値を超えた場合、又は前記第２較正データの補正量の少なくとも１つが閾値を超えた場合、前記補正量の変化が発生したと判定してもよい。

　請求項１１に記載の視線検出装置であって、
　前記キャリブレーション部は、前記ユーザの右目及び左目ごとに前記第１キャリブレーション及び前記第２キャリブレーションを実行可能であってもよい。この場合、前記判定部は、前記ユーザの右目及び左目ごとに前記第２較正データの補正量の変化を判定してもよい。また、前記補正制御部は、前記ユーザの右目及び左目の少なくとも一方について前記第２較正データの補正量の変化が判定された場合に、前記フラグを生成してもよい。

　前記補正制御部は、前記フラグが生成された後に、前記第２較正データの補正量の変化が発生していないと判定された場合、前記フラグを破棄してもよい。

　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、センサから表示領域に対するユーザの視線の検出結果を取得することを含む。
　前記表示領域における表示パラメータが予め固定された少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて前記ユーザの視線の検出結果を補正する第１キャリブレーション、及び、前記表示領域における表示パラメータが動的に変化する少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて前記第１キャリブレーションの結果を補正する第２キャリブレーションが行われる。
　前記第２キャリブレーションに関する特定の変化の発生が判定される。
　前記特定の変化の発生に基づいて、前記第１キャリブレーション及び前記第２キャリブレーションの少なくとも一方による補正に関する制御が行われる。

　本技術の一形態に係るコンピュータが読み取り可能な記録媒体は、コンピュータシステムに以下のステップを実行させるプログラムを記録する。
　センサから表示領域に対するユーザの視線の検出結果を取得するステップ。
　前記表示領域における表示パラメータが予め固定された少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて前記ユーザの視線の検出結果を補正する第１キャリブレーション、及び、前記表示領域における表示パラメータが動的に変化する少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて前記第１キャリブレーションの結果を補正する第２キャリブレーションを行うステップ。
　前記第２キャリブレーションに関する特定の変化の発生を判定するステップ。
　前記特定の変化の発生に基づいて、前記第１キャリブレーション及び前記第２キャリブレーションの少なくとも一方による補正に関する制御を行うステップ。

本技術の第１の実施形態に係るヘッドマウントディスプレイの外観を示す斜視図である。図１に示すＨＭＤの構成例を示すブロック図である。第１キャリブレーションについて説明するための模式図である。第２キャリブレーションについて説明するための模式図である。シーンの変化について説明するための模式図である。操作入力の方法の変化について説明するための模式図である。ＨＭＤの基本的な動作の一例を示すフローチャートである。第１視線補正処理の一例を示すフローチャートである。第２視線補正処理の一例を示すフローチャートである。表示オブジェクトの表示サイズの変化について説明するための模式図である。第２の実施形態に係るＨＭＤの構成例を示すブロック図である。ＨＭＤの基本的な動作の一例を示すフローチャートである。通知画面の一例を示す模式図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　＜第１の実施形態＞
　［ＨＭＤの構成］
　図１は、本技術の第１の実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の外観を示す斜視図である。図２は、図１に示すＨＭＤ１００の構成例を示すブロック図である。ＨＭＤ１００は、ユーザの頭部に装着して使用され、ユーザの視界に画像表示を行う表示装置として機能する。ＨＭＤ１００を装着したユーザは、例えば仮想現実（ＶＲ：Virtual Reality）や拡張現実（Augmented Reality）等を体験することが可能である。
　またＨＭＤ１００は、ユーザの視線を検出するように構成される。具体的には、ユーザの視線方向を表す視線ベクトルが検出される。この視線ベクトルを用いることで、ユーザの視線を利用した操作入力等が可能となる。ＨＭＤ１００は、本実施形態に係る視線検出装置に相当する。

　図１に示すようにＨＭＤ１００は、基体部１０と、装着バンド１１とを有する。
　基体部１０は、ユーザの左右の眼の前方に配置される部材である。基体部１０は、ユーザの視界を覆うように構成され、画像表示を行うためのディスプレイ１６等を収納する筐体として機能する。
　装着バンド１１は、ユーザの頭部に装着される。図１に示すように、装着バンド１１は、側頭バンド１１ａと、頭頂バンド１１ｂとを有する。側頭バンド１１ａは、基体部１０に接続され、側頭部から後頭部にかけてユーザの頭部を囲むように装着される。頭頂バンド１１ｂは、側頭バンド１１ａに接続され、側頭部から頭頂部にかけてユーザの頭部を囲むように装着される。これにより、ユーザの眼前に基体部１０を保持することが可能となる。

　図２に示すように、ＨＭＤ１００は、さらに、内向きカメラ１２と、動作センサ１３と、通信部１４と、操作入力部１５と、ディスプレイ１６と、記憶部１７と、コントローラ１８とを有する。

　内向きカメラ１２は、ユーザの眼球を撮影する。ユーザの眼球が撮影された眼球画像は、後述する視線検出に用いられる。内向きカメラ１２は、例えばユーザの左眼及び右眼が撮影可能となるように基体部１０の内部に配置された左眼用及び右眼用カメラを用いて構成される。
　内向きカメラ１２（左眼用及び右眼用カメラ）としては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。また、例えば赤外線ＬＥＤ等の赤外線光源を搭載した赤外線カメラが用いられてもよい。これにより、眼球の赤外線画像を撮影することが可能となり、高精度な視線検出が可能となる。内向きカメラ１２の具体的な構成は限定されない。本実施形態では、内向きカメラ１２は、ユーザの視線の検出に用いられるセンサとして機能する。

　動作センサ１３は、ＨＭＤ１００の動きに関する情報を検出するセンサである。動作センサ１３は、例えば基体部１０の所定の位置に固定して配置され、ＨＭＤ１００の傾斜や回転等を検出する。従って、動作センサ１３は、ＨＭＤ１００を装着したユーザの頭部の動きに関する情報を検出するセンサであるとも言える。
　動作センサ１３としては、例えば慣性計測装置（ＩＭＵ：Inertial Measurement Unit）等が用いられる。慣性計測装置は、例えば３軸のジャイロ及び加速度計によって、３次元の角速度及び加速度を検出するセンサである。また例えば、３軸のジャイロや加速度に加え３軸の速度計を備えた９軸センサ等が動作センサ１３として用いられてもよい。動作センサ１３の種類は限定されず、ＨＭＤ１００の動作を検出可能な任意のセンサが用いられてよい。

　この他、ＨＭＤ１００に搭載されるセンサは限定されない。例えば、ＨＭＤ１００の外側の情報を検出する外部センサ等が設けられてもよい。外部センサとしては、ＨＭＤ１００の正面（ユーザの正面）を撮影するデジタルカメラ（外向きカメラ）等が用いられる。また例えば、実空間の奥行情報等を検出可能なステレオカメラやＴＯＦ（Time of Flight）センサ等を備えたカメラ等が外部センサとして用いられてもよい。例えば外部センサにより検出された画像をディスプレイ１６に表示することで、ＡＲ体験等を提供することが可能である。この他、レーダセンサやＬｉＤＡＲセンサ等が外部センサとして搭載されてもよい。

　通信部１４は、他のデバイスとの間で、ネットワーク通信や近距離無線通信等を実行するためのモジュールである。通信部１４としては、例えばＷｉＦｉ等の無線ＬＡＮモジュールや、Bluetooth（登録商標）等の通信モジュールが設けられる。この他、有線接続による通信が可能な通信モジュール等が設けられてもよい。

　操作入力部１５は、ユーザが手等を使って行う操作入力を行うための入力装置（図示省略）である。入力装置としては、例えば、選択ボタン、アナログスティック、及びスイッチ等を備えた装置（ゲームコントローラ等）が用いられる。入力装置の種類等は限定されず、例えばマウスやキーボード等が用いられてもよい。また、操作入力部１５を使って行われたユーザの操作入力を表す信号等が通信部１４を介して読み込まれてもよい。

　ディスプレイ１６は、ユーザの視界の少なくとも一部を覆うように基体部１０に設けられる。ユーザは、ディスプレイ１６の表示領域に表示された画像を視認することになる。例えば左眼用及び右眼用の画像を表示するように２つのディスプレイ１６が、ユーザの視界に配置される。あるいは、単一のディスプレイ１６を用いて左眼用及び右眼用の画像が表示される構成が採用されてもよい。またディスプレイ１６とユーザの左眼及び右眼との間には、例えばフォーカスを調整するためのレンズ等が設けられてもよい。
　ディスプレイ１６としては、例えば有機ＥＬディスプレイやＬＣＤ（Liquid Crystal Display、液晶表示素子）ディスプレイ等が用いられる。この他、ディスプレイ１６の具体的な構成は限定されない。

　記憶部１７は、不揮発性の記憶デバイスである。記憶部１７としては、例えばＳＳＤ（Solid State Drive）等の固体素子を用いた記録媒体や、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体が用いられる。この他、記憶部１７として用いられる記録媒体の種類等は限定されず、例えば非一時的にデータを記録する任意の記録媒体が用いられてよい。
　記憶部１７には、制御プログラム２０と、第１較正データ２１と、第２較正データ２２とが記憶される。本実施形態では、記憶部１７は、プログラムが記録されているコンピュータが読み取り可能な記録媒体に相当する。

　制御プログラム２０は、ＨＭＤ１００の全体の動作を制御するためのプログラムである。本実施形態では、制御プログラム２０は、記録媒体に記録されたプログラムに相当する。
　第１較正データ２１及び第２較正データ２２は、ユーザの視線ベクトルを較正する視線キャリブレーションに用いられるデータである。記憶部１７には、複数の第１較正データ２１を含む第１較正データ２１のデータベースと、複数の第２較正データ２２を含む第２較正データ２２のデータベースとが構築される。
　この他、記憶部１７に記憶される情報は限定されない。

　ここでＨＭＤ１００で行われる視線キャリブレーションについて説明する。
　視線キャリブレーションは、ＨＭＤ１００で検出された視線ベクトルと、ユーザが実際に注視していると推定された注視オブジェクトの方向との差分を補正量（較正データ）として、対象の視線ベクトルを補正する処理である。これにより、ＨＭＤ１００で検出される視線の誤差を少なくすることが可能である。
　本開示では、視線キャリブレーションには、較正データを生成する処理と、その較正データを用いて視線ベクトルを補正する処理との両方の処理が含まれるものとする。

　ＨＭＤ１００では、第１キャリブレーションと第２キャリブレーションとの２種類の視線キャリブレーションが行われる。上記した第１較正データ２１は、第１キャリブレーションでの補正に用いられるデータであり、第２較正データ２２は、第２キャリブレーションでの補正に用いられるデータである。以下、第１キャリブレーション及び第２キャリブレーションについて具体的に説明する。

　第１キャリブレーションは、専用のマーカを基準に生成された較正データ（第１較正データ２１）に基づいて、センサ（内向きカメラ１２）から検出された視線ベクトルを補正する処理である。
　以下では、内向きカメラ１２から検出された視線ベクトルを検出視線ベクトルと記載し、第１較正データ２１を用いて補正された検出視線ベクトルを第１視線ベクトルと記載する。なお検出視線ベクトルは、内向きカメラ１２の出力に基づいて、後述する視線検出部２３により算出される。
　本実施形態では、検出視線ベクトルは、ユーザの視線の検出結果に相当する。また第１視線ベクトルは、第１キャリブレーションの結果に相当する。

　第１キャリブレーションに用いられるマーカは、ディスプレイ１６の表示領域に表示される仮想オブジェクトである。第１較正データ２１を生成する際には、少なくとも１つのマーカが表示領域内に表示される。また、表示領域におけるマーカの表示位置や表示サイズ等の表示パラメータは固定されており、例えばユーザの姿勢や動作が変化してもマーカの位置等は変化しない。これらのマーカを注視するユーザの視線に基づいて第１較正データ２１が生成される。
　このように、第１キャリブレーションは、表示領域における表示パラメータが予め固定された少なくとも１つのマーカに対するユーザの視線に基づいて検出視線ベクトルを補正する処理である。なお検出視線ベクトルは、後述する視線検出部２３により算出される。
　本実施形態では、マーカは、第１オブジェクトに相当し、検出視線ベクトルは、ユーザの視線の検出結果に相当する。

　図３は、第１キャリブレーションについて説明するための模式図である。図３Ａは、第１キャリブレーションにおける第１較正データ２１の生成処理の一例を示す模式図である。図３Ｂは、第１較正データ２１の一例を示す模式図である。
　図３Ａには、第１較正データ２１を生成する際にディスプレイ１６の表示領域１９に表示されるＵＩ画面の一例が模式的に図示されている。このＵＩ画面では、表示領域１９内の所定の表示位置に円形の仮想オブジェクト３０（マーカ３１）が表示される。
　図３Ａに示す例では、９つの表示位置が設定され、各表示位置に順番にマーカ３１が表示される。この時、ユーザには、表示されているマーカ３１を注視する旨が指示され、各表示位置にマーカ３１が表示される度に、ユーザの視線ベクトル（検出視線ベクトル４０）が検出される。なお図３Ａでは、検出視線ベクトル４０を表す注視点ＰがＸの印を用いて模式的に図示されている。

　検出視線ベクトル４０が検出されると、ユーザの視点（検出視線ベクトル４０の原点）とマーカ３１の表示位置（例えば中心点Ｑ）とをつなぐマーカ３１の位置ベクトル４１が算出される。そして位置ベクトル４１に対する、検出視線ベクトル４０の補正回転量（補正量）が算出される。
　ここで補正回転量とは、例えば位置ベクトル４１と検出視線ベクトル４０とを一致させるために必要な３次元ベクトルの回転量であり、例えばロー、ピッチ、ヨーで表されるオイラー角度や、回転量を表現するクォータニオンとして算出される。
　これら検出視線ベクトル４０と、その検出視線ベクトル４０に対する補正量とのデータセットが、第１較正データ２１として生成され、記憶部１７に記録される。

　このように、表示パラメータが固定されたマーカ３１を用いて第１較正データ２１を生成する第１キャリブレーションは、静的キャリブレーションであるといえる。
　なお、マーカ３１を表示する方法等は限定されない。例えば、表示領域１９内を移動するようにマーカ３１が表示されてもよい。この場合、表示領域１９内におけるマーカ３１の移動経路（マーカ３１の軌道）や移動速度等の表示パラメータが予め固定される。例えば、移動するマーカ３１を注視する旨がユーザに指示され、マーカ３１が移動した位置ごとに複数の第１較正データ２１が生成される。このように、表示領域１９内を移動する単一のマーカ３１を基準として第１較正データ２１が生成することも可能である。

　図３Ｂには、ユーザの視界５（矩形状の外枠で囲まれた領域）における複数の第１較正データ２１が矢印を用いて模式的にプロットされている。
　各矢印の原点は、検出視線ベクトル４０（あるいは検出視線ベクトル４０の注視点Ｐ）に対応する。また矢印の長さは、補正回転量の大きさを表している。また矢印の方向は、補正回転量の向き（回転方向）を表している。図３Ｂに示す例では、図３Ａに示す９つのマーカ３１ごとに生成された９つの第１較正データ２１を含むデータベースが構成される。
　なお、図中の円形の領域は、ユーザが正面を見ている場合を円の中心（０°）として、視線を１０°、２０°、及び３０°傾けた場合の範囲を示している。

　第１較正データ２１は、典型的には、ユーザの視線を利用するアプリケーション等を実行する前に生成される。例えばユーザがＨＭＤ１００を装着してアプリケーションを起動したタイミングで、図３Ａに示すようなＵＩ画面を用いて第１較正データ２１が生成され、記憶部１７に記録される。
　なお、第１較正データ２１を生成する処理を行うタイミング等は限定されず、例えば視線を利用するアプリケーションの動作中に、アプリケーションを中断して第１較正データ２１を生成するといったことも可能である。
　また、記録された第１較正データ２１は、視線を利用するアプリケーションの動作中に適宜参照され、検出視線ベクトル４０の補正処理に用いられる。

　このように、第１キャリブレーションには、少なくとも１つのマーカ３１に対するユーザの視線に基づいて第１較正データ２１を生成する処理と、第１較正データ２１を用いて検出視線ベクトル４０を補正する処理とが含まれる。
　以下では、第１較正データ２１を生成する処理を、第１データ生成処理と記載し、第１較正データ２１を用いて検出視線ベクトル４０を補正する処理を、第１視線補正処理と記載する。

　第２キャリブレーションは、アプリケーションの動作中にユーザが注視していると推定された注視オブジェクトを基準に生成された較正データ（第２較正データ２２）に基づいて、第１キャリブレーションの結果である第１視線ベクトルを補正する処理である。
　以下では、第２較正データ２２を用いて補正された第１視線ベクトルを第２視線ベクトルと記載する。第２視線ベクトルは、例えばＨＭＤ１００において最終的に出力される視線ベクトルであり、ユーザによる視線入力等の操作に用いられる。

　第２キャリブレーションに用いられる注視オブジェクトは、例えば視線を利用するアプリケーション等の動作中に表示領域１９に表示される仮想オブジェクト３０のうち、ユーザが注視していると判定された仮想オブジェクト３０である。
　アプリケーションの動作中に表示される画面には、例えばゲームキャラクタやアイコン等の複数の仮想オブジェクト３０が表示される。これらの仮想オブジェクト３０の表示パラメータは、例えばユーザの姿勢や動作の変化、あるいはアプリケーションの進行等に応じて、動的に変化するように制御される。

　ＨＭＤ１００では、ユーザが注視している仮想オブジェクト３０（注視オブジェクト）が推定され、注視オブジェクトを注視するユーザの視線に基づいて第２較正データ２２が生成される。この処理は、典型的には、アプリケーションの動作中に継続的に実行される。このため、第２較正データ２２は、アプリケーションの動作中に蓄積される較正データであると言える。
　このように、第２キャリブレーションは、表示領域１９における表示パラメータが動的に変化する少なくとも１つの注視オブジェクトに対するユーザの視線に基づいて第１視線ベクトルを補正する処理である。
　本実施形態では、注視オブジェクトは、第２オブジェクトに相当する。

　図４は、第２キャリブレーションについて説明するための模式図である。図４Ａは、第２キャリブレーションにおける第２較正データ２２の生成処理の一例を示す模式図である。図４Ｂは、第２較正データ２２の一例を示す模式図である。
　図４Ａには、第２較正データ２２生成する際にディスプレイ１６の表示領域１９に表示されるアプリケーション画面の一例が模式的に図示されている。ここでは、星型の仮想オブジェクト３０が１つだけ表示されている場合について説明するが、複数の仮想オブジェクト３０が表示されている場合にも以下の説明は適用可能である。

　例えば図４Ａに示すように、第１キャリブレーションの結果である第１視線ベクトル４２の注視点Ｐが、仮想オブジェクト３０の近傍で検出されたとする。この場合、注視点Ｐの近傍にある仮想オブジェクト３０をユーザが注視している可能性が高いものとして、その仮想オブジェクト３０が注視オブジェクト３２として判定される。
　あるいは、星型の仮想オブジェクト３０が表示された状態で、その仮想オブジェクト３０を選択する旨の操作入力（ユーザによるボタン操作等）があった場合に、対象の仮想オブジェクト３０が注視オブジェクト３２として判定される。この他、注視オブジェクト３２を判定する方法は限定されない。

　注視オブジェクト３２が判定された場合、その注視オブジェクト３２を基準として補正量が算出される。具体的には、注視オブジェクト３２（中心点Ｑ）の位置ベクトル４１に対する第１視線ベクトル４２の補正量（補正回転量）が算出される。そして、第１視線ベクトル４２と補正量とのデータセットが第２較正データ２２として記憶部１７に記録される。
　従って、第２較正データ２２は、少なくとも１つの注視オブジェクト３２の各々に対する第１キャリブレーションの結果である第１視線ベクトル４２と、当該第１視線ベクトル４２についての補正量とが関連付けて記録されたデータであると言える。

　このように、表示パラメータが動的に変化する注視オブジェクト３２を用いて第２較正データを生成する第２キャリブレーションは、アプリケーション等の実行中に行われる動的キャリブレーションであるといえる。また注視オブジェクト３２（仮想オブジェクト３０）が表示される位置等は決まっていないため、複数の方向について、補正量と推定ベクトルとを含む複数のデータセットが形成されることになる。

　図４Ｂには、ユーザの視界５（矩形状の外枠で囲まれた領域）における複数の第２較正データ２２が矢印を用いて模式的にプロットされている。
　図４Ｂに示すように、第２キャリブレーションを実行することで、記憶部１７には、視界内の様々な方向に対応する複数の第２較正データ２２を含むデータベースが構成される。これにより、例えば第１キャリブレーション（第１データ生成処理）で記録されたデータ点の間を埋めるような較正データ等を用いることが可能となり、視線検出の精度を高めることが可能である。
　記録された第２較正データ２２は、視線を利用するアプリケーションの動作中に適宜参照され、第１視線ベクトル４２の補正処理に用いられる。

　このように、第２キャリブレーションには、少なくとも１つの注視オブジェクトに対するユーザの視線に基づいて第２較正データ２２を生成する処理と、第２較正データ２２を用いて第１視線ベクトル４２を補正する処理とが含まれる。
　以下では、第２較正データ２２を生成する処理を、第２データ生成処理と記載し、第２較正データ２２を用いて第１視線ベクトル４２を補正する処理を、第２視線補正処理と記載する。

　図２に戻り、コントローラ１８は、ＨＭＤ１００が有する各ブロックの動作を制御する。コントローラ１８は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部１７に記憶されている制御プログラム２０をＲＡＭにロードして実行することにより、種々の処理が実行される。本実施形態では、コントローラ１８は、情報処理装置に相当する。

　コントローラ１８として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。また例えばＧＰＵ（Graphics Processing Unit）等のプロセッサがコントローラ１８として用いられてもよい。
　なおコントローラ１８や記憶部１７は、ＨＭＤ１００本体とは別に設けられてもよい。例えば、通信部１４等を介して、ＨＭＤ１００本体と、コントローラ１８等が通信することにより、ＨＭＤ１００の制御が実現されてもよい。これにより、ＨＭＤ１００本体の消費電力が抑制され、ＨＭＤ１００の稼働時間を向上することが可能である。

　本実施形態では、コントローラ１８のＣＰＵが本実施形態に係るプログラムを実行することで、機能ブロックとして、視線検出部２３、第１視線補正処理部２４、第２視線補正処理部２５、アプリケーション制御部２６が実現される。またアプリケーション制御部２６として、較正データ生成部２７と、アプリケーション画面生成部２８とが実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。

　視線検出部２３は、内向きカメラ１２から表示領域１９に対するユーザの視線の検出結果（検出視線ベクトル４０）を取得する。より詳しくは、内向きカメラ１２の出力に基づいて、検出視線ベクトル４０を算出する。
　視線検出部２３では、例えば人間の眼球の３次元モデル（眼球モデル）を用いた視線検出手法により、検出視線ベクトル４０が算出される。眼球モデルを用いた視線検出手法では、典型的には、眼球の光軸（瞳孔の中心と眼球の中心とを結ぶ軸）が推定される。光軸ベクトルを推定する方法は限定されず、例えば内向きカメラ１２により撮影された眼球画像を用いた瞳孔角膜反射法や瞳孔法等を用いることが可能である。
　なお、ユーザの視線（眼球の視軸）は、眼球の光軸と一致するとは限らない。光軸と視軸とのずれには個人差があり、一般に４°～８°程度傾いている。第１キャリブレーションを用いることで、このような光軸と視軸とのずれをユーザごとに補正することが可能となる。

　第１視線補正処理部２４は、視線検出部２３により算出された検出視線ベクトル４０を第１較正データ２１を用いて補正する第１視線補正処理を実行する。
　第１視線補正処理は、例えばアプリケーションの動作中等に検出視線ベクトル４０の算出処理にあわせて適宜実行される。第１視線補正処理により算出された第１視線ベクトル４２が、静的キャリブレーション（第１キャリブレーション）による補正結果となる。

　第２視線補正処理部２５は、第１視線補正処理部２４により算出された第１視線ベクトル４２を第２較正データ２２を用いて補正する第２視線補正処理を実行する。
　第２視線補正処理は、例えばアプリケーションの動作中等に第１視線ベクトル４２の算出処理にあわせて適宜実行される。第２視線補正処理により算出された第２視線ベクトルが、動的キャリブレーション（第２キャリブレーション）による補正結果となり、視線を用いた操作入力等に用いられる。

　また第２視線補正処理部２５は、第２キャリブレーションに関する特定の変化の発生を判定する。また第２視線補正処理部２５は、特定の変化の発生に基づいて、第２キャリブレーションによる補正に関する制御を行う。
　本実施形態では、第２視線補正処理部２５は、特定の変化の発生に基づいて、第２較正データ２２を用いた補正処理（第２視線補正処理）に関する制御を行う。
　具体的には、変化の内容に応じて、第２較正データ２２を用いて第１視線ベクトル４２を補正する際の補正量が調整される。これにより、視線検出精度の低下を防止するとともに、アプリケーションのシーン等が変化した場合であっても適正な視線検出を実現することが可能となる。

　本実施形態において、第２キャリブレーションに関する特定の変化とは、第１視線ベクトル４２を補正する際に表示領域１９に表示される表示オブジェクトに対するユーザの注視傾向の変化である。
　表示オブジェクトは、例えば第１視線ベクトル４２を補正する第２視線補正処理を行うタイミングでユーザが視認する仮想オブジェクト３０である。後述するように、アプリケーションの動作中に表示オブジェクトの種類や表示位置、あるいはユーザによる操作入力の方法等が変化すると、ユーザが表示オブジェクトを注視する際の注視位置等が変化することが考えられる。このため、補正前に生成された第２較正データ２２を用いて補正処理を行った場合、補正の精度が低下する場合がある。
　このような変化が発生した場合に、第２視線補正処理部２５は、最終的な視線検出の結果（第２視線ベクトル）の精度が低下しないように、第２視線補正処理での第１視線ベクトル４２に対する補正量等を調整する。
　注視傾向の変化や、補正量の調整等については、後に詳しく説明する。本実施形態では、第２視線補正処理部２５は、判定部及び補正制御部として機能する。

　アプリケーション制御部２６は、ＨＭＤ１００で実行されるアプリケーションに関する制御を行う。例えば視線を用いるアプリケーションが実行される場合には、第２視線補正処理部２５の出力（第２視線ベクトル）に応じた表示制御等が実行される。
　図２に示すように、アプリケーション制御部２６は、較正データ生成部２７と、アプリケーション画面生成部２８とを有する。

　較正データ生成部２７は、第１較正データ２１及び第２較正データ２２を生成する。すなわち較正データ生成部２７は、第１データ生成処理及び第２データ生成処理を実行する。
　第１データ生成処理では、図３Ａを参照して説明したように、マーカ３１を含む専用のＵＩ画面が表示される。この場合、較正データ生成部２７は、各表示位置に表示されるマーカ３１ごとに第１較正データ２１（検出視線ベクトル４０及びその補正量のデータセット）を生成し、記憶部１７に記録する。

　第２データ生成処理では、図４Ａを参照して説明したように、ユーザが注視している注視オブジェクト３２を推定する処理が実行される。較正データ生成部２７は、例えば第１視線ベクトル４２の近傍に存在する仮想オブジェクト３０を、注視オブジェクト３２として判定する。あるいは、ユーザが操作入力部１５を介して行った選択操作に基づいて注視オブジェクト３２が判定されてもよい。
　較正データ生成部２７は、例えばアプリケーションの動作中にユーザが注視していると判定された注視オブジェクト３２に対する第２較正データ２２（第１視線ベクトル４２及びその補正量）を順次生成し、記憶部１７に記録する。

　また本実施形態では、較正データ生成部２７は、ユーザの注視傾向の変化を判定するための判定情報を生成する。判定情報としては、例えば第２較正データ２２の生成処理（第２データ生成処理）を行う際の状況を表す情報が用いられる。
　例えば、第２較正データ２２の基準となる注視オブジェクト３２の種類や、表示領域におけるサイズ、ユーザの視点からの距離といった情報が、判定情報として生成される。また第２較正データ２２を生成する際に、ユーザが用いていた操作入力の方法（ゲームコントローラ等を用いた操作入力、視線による操作入力等）が判定情報として生成されてもよい。

　また判定情報は、第２較正データ２２を生成する度に、各第２較正データ２２と合わせて記憶部１７に記録される。このように、較正データ生成部２７は、第２較正データ２２と、第２較正データ２２を生成する際のユーザの注視傾向に関する情報（判定情報）とを関連付けて記録する。
　従って、本実施形態では、第２データ処理を実行する度に、第１視線ベクトル４２と、第１視線ベクトル４２の補正量と、判定情報とを含むデータセットが記憶部１７に記録されることになる。この判定情報を基準にしてユーザの注視傾向の変化の発生が判定される。

　本実施形態では、第１視線補正処理部２４と、第２視線補正処理部２５と、較正データ生成部２７とにより、第１キャリブレーション及び第２キャリブレーションを行うキャリブレーション部が構成される。なお、第１視線補正処理及び第２視線補正処理は、１つの処理ブロックとして構成されてもよい。この場合、第２キャリブレーション（動的キャリブレーション）についての補正制御が選択的に行われる。

　アプリケーション画面生成部２８は、ディスプレイ１６に表示されるアプリケーション画面を生成する。アプリケーション画面生成部２８は、例えばＨＭＤ１００で実行されるアプリケーションの情報を取得し、コンテンツの進行状況や、ユーザの頭部（ＨＭＤ１００）の位置・姿勢等に応じて、仮想オブジェクト３０等の画像を生成する。
　また例えば、視線による操作入力が行われる場合には、第２視線補正処理部２５により算出された第２視線ベクトルに基づいて、注視点を表すカーソル等を表示する。あるいは、第２視線ベクトルによって選択された仮想オブジェクト３０（表示オブジェクト）等がある場合には、当該オブジェクトが選択されたことを表す強調表示等を行う。
　この他、アプリケーション画面生成部２８は、アプリケーションの動作に必要となる任意の表示処理を実行可能である。

　［注視傾向の変化］
　以下では、ユーザの注視傾向の変化について具体的に説明する。
　図５は、シーンの変化について説明するための模式図である。図５Ａ及び図５Ｂは、異なるシーンでのアプリケーション画面の一例を示す模式図であり、表示されるオブジェクトの種類が異なる。ここでは、選択対象となるオブジェクトの表現により、オブジェクトの中心位置Ｑ（表示位置）からの相対的な注視点が変化する場合について説明する。
　なお、各アプリケーション画面上のポインタ３３の中心は、ユーザが実際に注視している点（以下、実注視点Ｒと記載する）を表しているものとする。

　図５Ａには、３つのボタンオブジェクト３４が表示されている。このシーンでは、ユーザが小さなボタンオブジェクト３４に対する選択操作を行う時、ユーザが実際に見ている実注視点Ｒは、ボタンオブジェクト３４の中心位置Ｑに近くなると想定される。
　図５Ｂには、３つの鳥オブジェクト３５が表示されている。なお各鳥オブジェクト３５の中心位置Ｑは、図５Ａに示すボタンオブジェクト３４の中心位置Ｑと一致しているものとする。このシーンでは、鳥オブジェクト３５のオブジェクトサイズ（表示サイズ）が、ボタンオブジェクト３４よりも大きく、実注視点Ｒは鳥オブジェクト３５の中心位置Ｑから離れた点になる可能性がある。図５Ｂに示す例では、実注視点Ｒは鳥オブジェクト３５の頭部に向けられており、中心位置Ｑからずれている。

　このように、オブジェクトの種類が変化した場合には、両者間でオブジェクト中心からの相対的な注視点位置に相違が生じる。すなわち、オブジェクトの誘目性（ユーザの注視傾向）が変化し、ユーザが実際に見る場所が変化する。
　このため、各々のシーンで記録した第２較正データ２２による補正は、それを記録したシーン以外では適切ではなくなる可能性がある。
　もちろん、シーンの切り替わりに関わらず、第２較正データ２２の生成に用いられたオブジェクト（注視オブジェクト３２）と異なるオブジェクト（表示オブジェクト３６）が表示されている状況では、第２較正データ２２による適正な補正が難しくなり、視線検出精度の低下につながる恐れがある。

　例えば図５Ａに示すアプリケーション画面において、実注視点Ｒが向けられたボタンオブジェクト３４を注視オブジェクト３２として第２較正データ２２が生成されたとする。この第２較正データ２２を用いて、図５Ｂに示すアプリケーション画面に表示された鳥オブジェクト３５（表示オブジェクト３６）に対するユーザの視線を補正する場合を想定する。この場合、第２較正データ２２を用いた補正結果（第２視線ベクトル）は、ユーザが実際に見ている実注視点Ｒから離れた鳥オブジェクト３５の中心位置Ｑの近傍を示すことになる。
　また、鳥オブジェクト３５を基準に生成された第２較正データ２２を用いて、ボタンオブジェクト３４に対するユーザの視線を補正した場合にも、補正結果は実注視点から外れた位置を示すことになる。

　このように表示オブジェクト３６の種類が変化することで、注視傾向が変化することがあり得る。また例えば表示オブジェクト３６の種類が変わらないまま表示オブジェクト３６の形状が変化する場合（例えばキャラクタが変形する等）には、形状の変化に伴い注視傾向が変化する可能性がある。また、表示オブジェクト３６のサイズ（表示領域１９における表示サイズや仮想空間内での実際のサイズ等）が変化することで、ユーザの実注視点Ｒが変化する場合が考えられる。また、表示オブジェクト３６の色（実際の色、透明度、輝度等）が変化することで、ユーザの実注視点Ｒが変化する場合が考えられる。また、表示オブジェクト３６の動作（キャラクタの動作等）が変化することで、実注視点Ｒが変化する可能性がある。

　ＨＭＤ１００では、このようなオブジェクトの変化に伴う注視傾向の変化が予め判定される。
　具体的には、第２視線補正処理部２５により、注視傾向の変化として、第２キャリブレーションに用いられる少なくとも１つの注視オブジェクト３２に対する、表示オブジェクト３６の種類、形状、サイズ、色、動作の少なくとも１つに関する変化の発生が判定される。
　これにより、表示オブジェクト３６が変化することで生じる注視傾向の変化を容易に検出することが可能となる。

　また表示オブジェクト３６の奥行方向の距離（ユーザの視点からの距離）が変化すると、表示オブジェクト３６を視認する際のユーザの効き目が変化することがある。この場合、効き目の変化に伴い、ユーザが実際に見ている実注視点Ｒが変化する可能性がある。
　ＨＭＤ１００では、このような効き目の変化に伴う注視傾向の変化が予め判定される。
　具体的には、第２視線補正処理部２５により、注視傾向の変化として、第２キャリブレーションに用いられる少なくとも１つの注視オブジェクト３２とユーザの視点との距離に対する、表示オブジェクト３６とユーザの視点との距離の変化の発生が判定される。すなわち、各注視オブジェクト３２の奥行方向の距離に対する表示オブジェクトの奥行方向の距離が判定される。これにより、効き目の変化に伴う注視傾向の変化を容易に検出することが可能である。

　図６は、操作入力の方法の変化について説明するための模式図である。図６Ａ及び図６Ｂは、シューティングゲームのアプリケーション画面の一例を示す模式図であり、それぞれ操作入力の方法が異なる。ここでは、ユーザの操作入力の変化に伴い注視傾向が変化する場合について説明する。
　各アプリケーション画面には、シューティングの対象となるキャラクタオブジェクト３７と、キャラクタオブジェクト３７に向けられたガンオブジェクト３８が表示される。

　図６Ａでは、ユーザがキャラクタオブジェクト３７を注視することで、視線によるエイミング操作（ポインティング操作）が行われ、図示しないゲームコントローラ（操作入力部１５）のボタンにより射撃操作（選択操作）が行われる。
　シューティングゲームのエイミング手段として視線を用いる場合、ユーザが狙いたいキャラクタオブジェクト３７を見るだけで、対象をポインティングすることが可能である。このため、ユーザは視線を動かすことですぐに目に入る場所、例えばキャラクタオブジェクト３７の顔等の誘目性の高い場所を自然に見る傾向がある。

　図６Ｂでは、ユーザがキャラクタオブジェクト３７を注視することで、視線によるエイミング操作（ポインティング操作）が行われ、図示しないゲームコントローラ（操作入力部１５）等を用いたエイミング操作が行われ、同じゲームコントローラを用いて射撃操作が行われる。この場合ゲームコントローラとしては、例えばジョイスティックを備えたコントローラや銃型のガンコントローラ等が用いられる。
　ゲームコントローラによるエイミングを行う場合、例えばゲームコントローラの操作により示される位置を表現するポインタ３３（照準）が表示される。この場合、キャラクタオブジェクト３７とポインタ３３とをしっかりと重ね合わせる事にユーザの注意が向けられる。このように、ポインタ３３の位置の操作が必要であるため、ユーザは、ポインタ３３と対象とが重なるように意識的にキャラクタオブジェクト３７を見ることになる。この結果、ユーザは、キャラクタオブジェクト３７の中心位置Ｑに近い場所を見ることが予想される。
　この他、ユーザが手に持つコントローラの種類や、ゲーム内で選択中の武器の種類等が変化した場合にも、注視傾向が変化する可能性が高い。

　このように、操作入力の方法が変化すると、ユーザが注意を向ける作業が変わるため、注視傾向が変化する可能性がある。
　ＨＭＤ１００では、第２視線補正処理部２５により、注視傾向の変化として、表示オブジェクト３６に対する操作入力の方法の変化の発生が判定される。例えば、第２較正データ２２を生成した際の操作入力の方法と、補正処理を行うタイミングでの操作入力の方法とが比較される。
これにより、操作入力の方法の変化に伴う注視傾向の変化を容易に検出することが可能となる。

　［ＨＭＤ１００の基本動作］
　上記したように、本実施形態では、ユーザの注視傾向の変化が発生した場合に、第２視線補正処理の制御が行われる。具体的には、第２視線補正処理部２５により、ユーザの注視傾向の変化の内容に応じて、第２較正データ２２を用いて第１視線ベクトル４２を補正する際の補正度合が調整される。
　ここで、補正度合とは、第２キャリブレーションによる補正を加える度合である。具体的には、第２較正データ２２として記録された補正量を、第１視線ベクトル４２の補正に適用する割合が補正度合となる。
　例えば補正度合が高い場合には、第２較正データ２２として記録された補正量を用いる割合が高くなる。また補正度合が低い場合には、第２較正データ２２として記録された補正量を用いる割合が低くなり、第１キャリブレーションによる補正の結果に近い視線ベクトルが算出される。

　本実施形態では、補正度合として、第２較正データ２２の補正量を調整する重み係数が設定される。
　例えば、第２較正データ２２として記録された補正量（ベクトル回転量）がオイラー角Ｅ（ヨー、ピッチ、ロー）であるとする。第２較正データ２２の補正量の調整では、このオイラー角Ｅに、調整の度合を示す重み係数Ｃが乗算される。従って、調整後のオイラー角（調整後の補正量）をＥ'とすると、Ｅ'＝Ｃ×Ｅとなる。この重み係数Ｃにより調整された調整後の補正量Ｅ'を用いて、第２視線補正処理が行われる。なお、補正量としてクォータニオンが用いられている場合には、オイラー角に変換することで、上記の調整が可能である。
　例えば、補正度合を５０％としたい場合は、重み係数Ｃが０．５に設定される。また例えば補正度合を０％としたい場合、すなわち第２キャリブレーションによる補正を利用しない場合は、重み係数Ｃが０に設定される。
　これにより、ユーザの注視傾向が変化に合わせて、第２キャリブレーションによる補正の度合を容易に調整することが可能となる。

　図７は、ＨＭＤ１００の基本的な動作の一例を示すフローチャートである。図８は、第１視線補正処理の一例を示すフローチャートである。図９は、第２視線補正処理の一例を示すフローチャートである。
　図７に示す処理は、ユーザの視線を補正する基本的な処理であり、例えばアプリケーションの動作中に継続して実行されるループ処理である。
　なお、図７に示す処理が実行される際には、図２に示す視線検出部２３により、内向きカメラ１２の出力を用いた検出視線ベクトル４０の算出処理が適宜実行されるものとする。また、記憶部１７には、予め生成された第１較正データ２１及び第２較正データ２２のデータベースが構成されているものとする。
　以下では、図７～図９を参照して、ＨＭＤ１００の基本的な動作について説明する。

　まず、第１視線補正処理部２４により、第１視線補正処理（静的キャリブレーションによる補正処理）が実行される（ステップ１０１）。すなわち、視線検出部２３により算出された検出視線ベクトル４０が、第１較正データ２１を用いて補正される。
　図８にはステップ１０１の内部処理の一例が示されている。第１視線補正処理では、まず補正対象である検出視線ベクトル４０に適用する第１較正データ２１が選択される（ステップ２０１）。例えば、第１較正データ２１として記録されたベクトルと、補正対象となる検出視線ベクトル４０との角度間隔が算出され、角度間隔が最も小さい第１較正データ２１が選択される。あるいは、角度間隔が所定の閾値以下となる第１較正データ２１が選択される。これにより、検出視線ベクトル４０に近いベクトルを含む第１較正データ２１が少なくとも１つ選択される。

　第１較正データ２１が選択されると、第１視線補正処理部２４により、検出視線ベクトル４０が補正される（ステップ２０２）。例えば、選択された第１較正データ２１に含まれる補正量（補正回転量）を、検出視線ベクトル４０との近さに応じて加重平均することで、検出視線ベクトル４０に対する補正回転量が算出される。この補正回転量の方向及び大きさで検出視線ベクトル４０が補正（偏向）される。これにより、視軸に沿った視線ベクトル（第１視線ベクトル４２）が算出される。
　なお、加重平均の一般的な例としては、第１較正データ２１に含まれるベクトルと補正対象となる検出視線ベクトル４０との間の角度の逆数を係数とし、それらの総和が１になるように正規化して用いる方法が挙げられる。
　この他、第１視線補正処理の具体的な内容は限定されず、例えば検出視線ベクトル４０を適正に補正可能な任意の方法が用いられてよい。

　図７に戻り、第１視線補正処理が完了すると、第２視線補正処理部２５により、第２視線補正処理（動的キャリブレーションによる補正処理）が実行される（ステップ１０２）。すなわち、第１視線補正処理部２４により算出された第１視線ベクトル４２が、第２較正データ２２を用いて補正される。
　図９にはステップ１０２の内部処理の一例が示されている。第２視線補正処理では、まず補正対象である第１視線ベクトル４２に適用する第２較正データ２２が選択される（ステップ３０１）。第２較正データ２２を選択する方法は、例えばステップ２０１で説明した第１較正データ２１を選択する方法と同様である。これにより、第１視線ベクトル４２に近いベクトルを含む第２較正データ２２が少なくとも１つ選択される。

　第２較正データ２２が選択されると、第２視線補正処理部２５により、選択された第２較正データ２２の判定情報（ユーザの注視傾向に関する情報）に基づいて、注視傾向の変化の発生が判定される（ステップ３０２）。
　例えば、判定情報として記録された注視オブジェクト３２の情報と、現在の表示オブジェクト３６の情報とが比較される。具体的には、各オブジェクトの種類、サイズ、視点からの距離等が比較項目となる。これらの比較項目に差分があった場合には、注視傾向の変化が発生していると判定される。
　また例えば、判定情報として記録された操作入力の方法が比較される。例えば第２較正データ２２が生成されたタイミングで、ユーザが視線による操作を用いていたとする。この場合、現在の操作入力の方法が、ゲームコントローラ等を用いた方法に変化している場合には、注視傾向の変化が発生していると判定される。

　このように、第２キャリブレーションでは、第２較正データ２２を保存したタイミングと、それを利用して補正するタイミングの両者間において、オブジェクトに対する注視に関する特性（誘目性や操作系）の違いに関する判定情報がリアルタイムで比較される。そして判定情報が異なる場合には、注視傾向に変化が生じているものと判定される。

　注視傾向に変化が発生していると判定された場合（ステップ３０２のＹｅｓ）、第２視線補正処理部２５により、第２較正データ２２の重み係数Ｃが設定される（ステップ３０３）。本実施形態では、重み係数Ｃを設定することは、第２キャリブレーションによる補正に関する制御の一例である。
　第２視線補正処理部２５は、例えば判定情報の差分の内容に応じて、重み係数Ｃを設定する。例えば、判定情報として用いられる項目ごとに、あるいは差分の程度ごとに、重み係数Ｃに設定する値が紐づけて保存される。
　第２視線補正処理部２５は、差分の内容にあった値を選択し、重み係数Ｃとして設定する。なお、重み係数Ｃの設定は、例えばステップ２０１で選択された全ての第２較正データ２２ごとに行われる。

　典型的には、第２視線補正処理部２５は、注視傾向の変化の発生が判定された場合、注視傾向の変化の発生が判定されていない場合よりも補正度合が低くなるように重み係数Ｃを設定する。従って、重み係数Ｃは、１よりも小さい値に設定される。
　これにより、第１視線ベクトル４２を偏向する際に用いられる第２較正データ２２の補正量が小さくなり、第２キャリブレーションによる影響を低減することが可能となる。この結果、注視傾向の変化に伴う視線検出精度の低下を十分に抑制することが可能となる。

　例えば、選択対象の表示オブジェクト３６の形状の情報に差分があった場合、見る場所の傾向が変化する可能性がある。このため、例えば補正度合を一律５０%とし、重み係数Ｃを０．５に設定する。
　また例えば、表示オブジェクト３６の視点からの距離の情報に差分があった場合は、利き目が変化する可能性があり。この場合、例えば形状の変化に伴う変化よりは、注視点の変化が小さいものとして、補正度合を一律９０％とし、重み係数を０．９に設定する。
　また例えば、ユーザが用いる操作入力の情報に差分があった場合、ユーザの見る場所が変化する可能性が高い。この場合、補正度合を一律０％とし、重み係数を０に設定し、第２較正データ２２を利用しない。

　判定情報のうち、一つだけ差分がある場合は、それに紐づけられた第２較正データ２２の処理が行われる。また１つのデータについて、複数の差分がある時は、紐づけられた処理方法のうち、最も厳しいものが採用される。例えば、上記した形状の情報および視点からの距離の情報で差分があった場合、形状の情報に紐づけられた処理が採用され、補正度合が５０％に設定される。また、操作入力の情報で差分があった場合は、形状の情報および視点からの距離の情報での差分の有無に関わらず、第２較正データ２２を利用しない。

　このように、第２視線補正処理では、判定情報（オブジェクトの誘目性に関わる形状情報、ユーザ視点位置からオブジェクトまでの距離、操作入力の方法等）を第２較正データ２２が生成されたタイミングで記録しておき、これらに差分が生じていないかがチェックされる。差分がある場合には、第２較正データ２２が予め決めたルールに基づいて処理される。
　なお、上記した重み係数Ｃは、あくまで一例であって、重み係数Ｃを設定する方法は限定されず、注視傾向の変化の内容に応じて適宜設定されてよい。

　重み係数Ｃが設定されると、第２視線補正処理部２５により、重み係数Ｃを用いて選択した第２較正データ２２の補正量が調整される（ステップ３０４）。具体的には、各第２較正データ２２ごとに、対応する重み係数Ｃと補正量Ｅとが乗算され、調整後の補正量Ｅ'（＝Ｃ×Ｅ）が算出される。
　補正量が調整されると、第２視線補正処理部２５により、第１視線ベクトル４２が補正される（ステップ３０５）。
　なお、判定情報（注視傾向）に変化が発生していないと判定された場合（ステップ３０２のＮｏ）、重み係数Ｃを用いた補正量の調整は行われず、ステップ３０５が実行される。

　例えば、第２視線補正処理部２５は、第２較正データ２２の補正量（あるいは調整後の補正量）を、第１視線ベクトル４２との近さに応じて加重平均することで、第１視線ベクトル４２に対する補正回転量を算出する。この補正回転量の方向及び大きさで第１視線ベクトル４２を補正（偏向）する。加重平均の方法は、例えば第１視線補正処理で用いられる方法と同様である。
　この他、第２視線補正処理の具体的な内容は限定されず、例えば第１視線ベクトル４２を適正に補正可能な任意の方法が用いられてよい。

　このように、第２視線補正処理では、注視傾向の変化に応じて第１視線ベクトル４２を補正する補正量が調整され、視線を用いた処理等に最終的に用いられる第２視線ベクトルが算出される。第２視線ベクトルが算出されると、図７に示すステップ１０１が再度実行され、次の第１視線補正処理が実行される。

　図１０は、表示オブジェクト３６の表示サイズの変化について説明するための模式図である。上記では、表示オブジェクト３６の形状等が変化した場合に、補正度合（重み係数Ｃ）を一律に設定する場合について説明した（図９のステップ３０３参照）。表示オブジェクト３６の表示サイズの変化等にあわせて、補正度合を連続的に変化させてもよい。
　図１０には、相対的にサイズの異なる表示オブジェクト３６ａ～３６ｃが図示されている。表示オブジェクト３６ａ～３６ｃは、この順番でサイズが大きくなるオブジェクトである。例えばサイズが最も小さい表示オブジェクト３６ａについての補正度合は１００％に設定され、サイズが最も大きい表示オブジェクト３６ｃについての補正度合は２５％に設定される。また中間のサイズである表示オブジェクト３６ｂについての補正度合は、５０％に設定される。
　このように、補正量を調整する場合、オブジェクトの相対的なサイズに応じて動的に補正度合を変えてもよい。

　上記では、補正度合を０％に設定して、第２較正データ２２を使用しない場合について説明した。このような補正度合の調整の他に、現在の状況に合わない第２較正データ２２を削除する処理が実行されてもよい。
　例えば、ユーザがゲームコントローラを使用している状況では、ゲームコントローラを使用していなかった期間に生成された第２較正データ２２を用いた補正では、精度が大幅に低下する可能性があり得る。このような第２較正データ２２を削除して、ゲームコントローラを使用している時に生成されたデータを新たに用いるといったことが可能である。

　このように、注視傾向の変化の内容に応じて、第２較正データ２２が削除されてもよい。これにより、現在の状況にあった第２較正データ２２を蓄積することが可能である。第２較正データ２２削除する処理は、第２キャリブレーションによる補正を制御する処理の一例である。
　なお、過去に生成された第２較正データをクリアする場合、小さいオブジェクトを見たときに記録したキャリブデータは信頼性が高いと考えられるため削除せずに残しておいてもよい。視線検出精度を高いレベルで維持することが可能である。

　また、シーンの変化や、操作入力の方法が変化した場合、補正度合が高く設定される頻度が増えることが想定される。このような場合には、視線精度が劣化している可能性をインジケーターなどで表現して、ユーザに通知してもよい。

　またシーンの切り替えを行うアプリケーション等が実行される場合に、シーン間における判定情報の差分内容（注視傾向の変化の内容）が予め分かっている場合は、シーンの切り替わりタイミングで第２較正データ２２の処理方法（補正度合の設定等）が変更されてもよい。あるいは、シーン毎に対応する第２較正データ２２を用意しておき、シーンの切り替わりに合わせて、用いるデータを切り替えてもよい。
　また、複数のユーザごとに第２較正データ２２のデータベースを構成し、各ユーザに合わせて対応するデータベースを用いた処理が行われてもよい。

　以上、本実施形態に係るＨＭＤ１００では、第１キャリブレーションと第２キャリブレーションとが実行される。第１キャリブレーションでは、表示パラメータが固定されたマーカ３１への視線をもとに、内向きカメラ１２を用いたユーザの視線の検出結果（検出視線ベクトル４０）が補正される。また、第２キャリブレーションでは、表示パラメータが変動する表示オブジェクトへの視線をもとに、第１キャリブレーションの結果（第１視線ベクトル４２）が補正される。この第２キャリブレーションについて、特定の変化の発生が判定され、その結果に応じて、第２キャリブレーションによる補正に関する制御が行われる。これにより、視線検出精度の低下を防止することが可能となる。

　＜第２の実施形態＞
　本技術に係る第２の実施形態のＨＭＤについて説明する。これ以降の説明では、上記の実施形態で説明したＨＭＤ１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

　図１１は、第２の実施形態に係るＨＭＤ１００の構成例を示すブロック図である。
　ＨＭＤ２００は、静的に視線を補正する第１キャリブレーション（静的キャリブレーション）と、視線を用いたアプリケーションでのオブジェクト操作時などに動的に視線を補正する第２キャリブレーション（静的キャリブレーション）とが実行可能なデバイスである。
　またＨＭＤ２００では、第２キャリブレーションに関する特定の変化の発生に基づいて、第１キャリブレーションによる補正に関する制御が行われる。
　本実施形態では、第１キャリブレーションによる補正に関する制御として、特定の変化の発生に基づいて、第１較正データ２１の生成処理の再実行に関する制御が行われる。具体的には、補正量が閾値を超えた場合に、図３等を参照して説明した第１データ生成処理を再度実行する必要がある旨を通知する通知処理等が実行される。

　ＨＭＤ２００では、アプリケーション制御部２６に異常判定部５０が設けられる点で、図１及び図２を参照して説明したＨＭＤ１００と構成が異なる。以下では、ＨＭＤ２００の各部について、ＨＭＤ１００と同様の構成については同じ符号を用いて説明する。
　なお、ＨＭＤ２００では、上記した第２キャリブレーションによる補正を制御する処理（補正度合を設定する処理等）は行われないものとする。もちろん、補正度合を設定する処理等が行われる場合であっても、以下に説明する内容は適用可能である。

　異常判定部５０は、第２キャリブレーションに関する特定の変化の発生を判定する。
　本実施形態では、第２キャリブレーションに関する特定の変化とは、第２キャリブレーションによる補正（第２視線補正処理）に用いられる第２較正データ２２の補正量の変化である。
　図４Ａを参照して説明したように、第２較正データ２２の補正量は、第１キャリブレーションの結果である第１視線ベクトル４２を用いて算出される。従って、第１キャリブレーションによる補正（第１視線補正処理）の精度が低下した場合、第２較正データ２２の補正量が増大する可能性がある。異常判定部５０では、このような第２較正データ２２の補正量の変化が判定される。これにより、例えば第１キャリブレーションが適正に行われているか否か、すなわち第１キャリブレーションに関する異常を判定することが可能となる。
　このように、ＨＭＤ２００では、第２キャリブレーションに用いる第２較正データ２２を利用して、第１キャリブレーションの異常が判定される。

　また、異常判定部５０は、第２較正データ２２の補正量の変化に基づいて、第１較正データ２１の生成処理（第１データ生成処理）の再実行を要求するフラグを生成する。すなわち、第２較正データ２２の補正量が変化したと判定された場合には、第１データ生成処理の再実行を要求するフラグが発生する。このフラグは、例えば第１キャリブレーションに関する異常を検知した異常検知フラグであると言える。
　この異常検知フラグを使って、第１データ生成処理の再実行を促すための各種の処理が実行される。

　具体的には、異常検知フラグに基づいて、第１較正データ２１を生成する処理の再実行が必要である旨を通知する通知処理が実行される。例えば、第２較正データ２２の補正量の変化が発生したと判定され、異常検知フラグが生成されると、第１データ生成処理の再実行を要求する通知画像等が生成される。また通知処理は、再実行フラグが生成された後の任意のタイミングで実行することが可能である。
　通知処理の内容や、通知処理を行うタイミング等については、後に詳しく説明する。
　本実施形態では、異常判定部５０により、判定部及び補正制御部が実現される。

　また、通知処理を受けたユーザが第１データ生成処理の再実行を行う旨の操作入力をした場合、較正データ生成部２７により第１データ生成処理が実行され、新たな第１較正データ２１が生成される。
　このようにＨＭＤ２００では、通知処理に対するユーザの応答入力に応じて、第１較正データ２１を生成する処理が実行される。従って、第１データ生成処理は、ユーザが選択してはじめて実行される。これによりユーザの作業等を乱すことなく、第１データ生成処理を再実行することが可能である。

　図１２は、ＨＭＤ２００の基本的な動作の一例を示すフローチャートである。図１２に示す処理は、アプリケーションの動作中等に継続して実行されるループ処理である。以下では、図１２を参照して、ＨＭＤ２００の基本的な動作について説明する。

　まず、異常検知フラグが立っているか否かが判定される（ステップ４０１）。異常検知フラグの生成は、後述するステップ４０８で実行される。異常検知フラグが立っていると判定された場合（ステップ４０１のＹｅｓ）、異常が発生していることを通知する通知処理が実行される。通知処理としては、例えば第１キャリブレーションに異常がある旨を伝えるアイコンやインジケーター等が表示領域１９の端に表示される。
　通知処理が完了した場合、また異常検知フラグが立っていないと判定された場合（ステップ４０１のＮｏ）には、視線利用を行うアプリケーションが実行される（ステップ４０３）。例えば、初回のループ処理では、アプリケーションが起動され、それ以降のループ処理では、すでに起動しているアプリケーションの動作が継続される。なお、異常検知フラグが立っている場合には、アプリケーション画面上に異常を通知する文字データやアイコン等が表示される。

　アプリケーションが実行されると、第１較正データ２１に基づいて検出視線ベクトル４０を補正する第１視線補正処理（第１キャリブレーション）が実行され、第１視線ベクトル４２が算出される（ステップ４０４）。この第１視線ベクトル４２に基づいて、第２キャリブレーションが実行される（ステップ４０５）。
　第２キャリブレーションでは、第２視線補正処理及び第２データ生成処理の少なくとも一方が実行される。
　例えば、第２視線補正処理部２５により第２視線補正処理が実行され、予め記憶部１７に記録された第２較正データ２２に基づいて、第１視線ベクトル４２を補正して、第２視線ベクトルが算出される。
　また例えば、アプリケーション画面において、ユーザが注視している注視オブジェクト３２等が判定されている場合には、較正データ生成部２７により、第２データ生成処理が実行され、注視オブジェクト３２と、第１視線ベクトル４２とに基づいて、第２較正データ２２が新たに生成される。

　第２キャリブレーションが完了すると、異常判定部５０により、記憶部１７に記憶された第２較正データ２２の平均補正量が算出される（ステップ４０６）。すなわち、動的に蓄積された第２較正データ２２に対して補正量の平均値が算出される。例えば各第２較正データ２２の補正量の絶対値（補正回転量の大きさ）の総和を第２較正データ２２の数で割った値が、平均補正量として算出される。
　異常判定部５０により、算出された平均補正量が、所定の閾値を超えたか否かが判定される（ステップ４０７）。
　例えば平均補正量が所定の閾値を超えたと判定された場合（ステップ４０７のＹｅｓ）、第２較正データ２２の補正量の変化が発生したとして、異常検知フラグが生成される（ステップ４０８）。

　このように、本実施形態では、第２較正データ２２の補正量の平均値（平均補正量）が閾値を超えた場合、補正量の変化が発生したと判定され、異常検知フラグが生成される。これにより、例えばユーザの視野の全体にわたって第２較正データ２２の補正量が増大しているといった状態を検出することが可能となり、装置のかけずれ等による異常を検知することが可能となる。
　なお、異常検知フラグを生成する方法は限定されない。例えば閾値を超えた補正量が所定の数以上になった場合に、異常検知フラグを立ててもよい。すなわち、第２較正データ２２の補正量の少なくとも１つが閾値を超えた場合に、補正量の変化が発生したと判定されてもよい。これにより、例えば突発的なかけずれ等による異常を検知することが可能となる。
　このようにＨＭＤ２００では、登録された第２較正データ２２の補正量が大きすぎる場合等に、異常検知フラグを生成することで、静的な第１キャリブレーションのやり直しを促す通知等を行うことが可能となる。

　平均補正量や各補正量を判定するための閾値としては、例えば過去に記録された第２較正データ２２の補正量の平均値等が用いられる。あるいは、視線検出精度等に応じた閾値が適宜設定されてもよい。
　また平均補正量が、固定値（例えば、装置の想定誤差として２°等）以上だった時、あるいはその２倍など極端に悪い場合は、装置の故障の可能性があることや、視線検出が利用できない可能性があることを通知してもよい。

　平均補正量が閾値を超えていないと判定された場合（ステップ４０７のＮｏ）、又は以上検知フラグの生成が完了した場合、アプリケーションを終了するか否かが判定される（ステップ４０９）。
　例えば、ユーザがアプリケーションの終了操作等を行った場合には、アプリケーションの終了が判定され（ステップ４０９のＹｅｓ）、図１２に示すループ処理が終了する。
　また、アプリケーションを終了しないと判定された場合（ステップ４０９のＮｏ）、ステップ４０１に戻り、次のループ処理が開始される。

　図１３は、通知画面の一例を示す模式図である。図１３Ａ及び図１３Ｂに示す画面では、第１キャリブレーションのやり直し（第１データ生成処理の再実行）を通知するメッセージが表示されている。これらのメッセージを表示する処理は、通知処理の一例である。

　図１３Ａでは、表示領域１９の中央にメッセージを表示するウィンドウ３９が表示される。またウィンドウ３９には、専用の画面を用いたキャリブレーション（第１データ生成処理）を実行するか否かの選択ボタンが表示される。
　例えば、現在ユーザが行っているタスクの終了時に、図１３Ａに示すようなウィンドウ３９を表示して、キャリブレーションを実行するか否かをユーザに確認してもよい。このように、異常判定部５０は、ユーザが行うタスクが終了したタイミングで通知処理を行う。これにより、ユーザの作業を邪魔することなく適切なタイミングでキャリブレーションを促すことが可能である。
　また例えば、ユーザが現在行っているタスクを中断して、キャリブレーションを促してもよい。この場合、ユーザがタスクを行っている最中に、図１３Ａに示すようなウィンドウ３９が表示される。

　図１３Ｂでは、表示領域１９の上側の端にメッセージ４５が表示される。このメッセージ４５は、異常検知フラグが立っている場合に表示される。例えばアプリケーション画面でのユーザのタスクが実行されている最中であっても、異常検知フラグが立っている間は静的なキャリブレーションが必要なことを通知することが可能となる。
　このように、異常判定部５０は、ユーザが行うタスクが実行されているタイミングで通知処理を行ってもよい。これにより、第１キャリブレーヨンの異常を速やかに通知するといったことが可能である。

　また、次回ユーザが視線を用いたアプリケーションを実行する直前に、図１３Ａに示すようなウィンドウ３９を表示して静的なキャリブレーションが必要な旨を表示してもよい。このように、異常判定部５０は、視線を利用したアプリケーションの実行前のタイミングで、通知処理を行う。これにより、アプリケーションを利用する初期の段階から、第１キャリブレーションを適正に行うといったことが可能である。

　上記では、主にユーザの視線方向として単一の視線ベクトル（図３Ａに示す検出視線ベクトル等）が算出される場合について説明した。
　例えば片目ずつの第２較正データ２２を保存しておき、片側のズレが極端に大きくなった場合に、第１キャリブレーションの異常を検知するといった処理も可能である。
　具体的には、第１視線補正処理部２４及び第２視線補正処理部２５が、ユーザの右目及び左目ごとに第１キャリブレーション及び第２キャリブレーションを実行可能に構成される。また異常判定部５０では、ユーザの右目及び左目ごとに第２較正データ２２の補正量の変化が判定される。そして、ユーザの右目及び左目の少なくとも一方について第２較正データ２２の補正量の変化が判定された場合に、異常検知フラグが生成される。
　この場合、異常検知フラグには、どちらの目で異常が発生したのかを示す情報が付加される。これにより、例えば異常がある方の目の補正を無効化し、全体の視線検出精度が低下することを回避可能である。

　上記では、静的な第１キャリブレーションに用いる第１較正データ２１の再生成を要求する異常検知フラグを生成する処理について説明した。例えば、異常検知フラグの生成後に、その後補正量が閾値を下回った場合には、異常検知フラグを落としてもよい。
　すなわち、異常検知フラグが生成された後に、第２較正データ２２の補正量の変化が発生していないと判定された場合、異常検知フラグが破棄される。
　これにより、一時的なかけずれ等が修正された場合には、図１３に示すメッセージの通知処理が行われなくなり、不必要なキャリブレーション作業を回避することが可能である。

　以上、本実施形態に係るＨＭＤ２００では、第１キャリブレーションと第２キャリブレーションとが実行される。このうち、第２キャリブレーションについて、特定の変化の発生が判定され、その結果に応じて、第１キャリブレーションによる補正に関する制御が行われる。これにより、第１キャリブレーションによる補正を制御可能となり、視線検出精度の低下を防止することが可能となる。

　例えば、視線検出可能なアイウェアやＶＲデバイスといったユーザが頭部に装着して用いるタイプのデバイスでは、しばしばかけずれが発生する。このようにデバイスの装着の仕方が大きく変わった場合などは、視野全体で視線の誤差が増える。この場合、第１キャリブレーションによる補正の精度が低下し、第２キャリブレーションをユーザの視野全面に対して行う必要がある。
　また、眼球の経時変化や衝撃による機器の変形などによりモデルとのずれが発生し、第１キャリブレーションによる視線検出の精度が低下する場合があった。

　このように眼球形状の変化やデバイスの変形が生じた場合には、静的な第１キャリブレーションに影響があると考えられる。一方で、眼球形状の変化やデバイスの変形を検知することは難しく、また視線方向が意図したものと異なるかどうかを判定することも困難である場合が多かった。また動的な第２キャリブレーションを視野全面に対して行うと、誤差が少なくなるまで時間がかかる。本来なら静的キャリブをやり直すべきだが、ユーザの意図で再実行する必要があった。

　ＨＭＤ２００では、第２較正データ２２の補正量の変化を判定することで、視線検出における異常状態（経時変化などによって眼球形状が変化した場合や機器が変形した場合）の発生を知ることが可能である。また、静的な第１キャリブレーションをやり直すことで、動的な第２キャリブレーションのポイント数が少なくても視線検出精度を向上することが可能である。また、第２較正データ２２の変化を判定することで、例えばＨＭＤ２００を装着したユーザ（視線検出の対象者）が変わったことを推定することが可能である。これにより、ユーザが切り替わるごとに、自動的にキャリブレーションを促すといった処理が可能である。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　上記の実施形態では、主に没入型のＨＭＤついて説明した。本技術は、ユーザの視線ベクトルを検出可能な任意の装置に適用することが可能である。
　例えば、光学透過型のＨＭＤが用いられてもよい。この場合、ＨＭＤに搭載された内向きカメラ等により、ユーザの視線ベクトルが算出される。また外部カメラ等を用いて、実空間の情報が取得される。光学透過型のＨＭＤは、実空間の三次元座標、すなわちグローバル座標系を基準として、あたかも仮想オブジェクトが実空間に存在するかのように重畳することが可能である。光学透過型のＨＭＤを用いることで、ユーザは、例えばＡＲ空間を体験することが可能である。
　また例えば、ＰＣ（Personal Computer）のディスプレイ、医療現場等で用いられる据え置き型のモニター、及びＴＶ等の表示装置を用いて、視線を用いた入力操作が実行されてもよい。この場合、例えばユーザの顔（眼球）を撮影するカメラ等を用いて、ＰＣのディスプレイ等を視聴するユーザの視線ベクトルが算出される。
　また例えば、撮影装置等に搭載された片目の視線検出機能付きのＥＶＦ（Electronic View Finder）や、ディスプレイを持たないメガネ型の視線検出デバイス等が用いられる場合にも、本技術は適用可能である。

　上記ではユーザにより操作されるＨＭＤ等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザが操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザが操作するコンピュータと、他のコンピュータとが連動して、本技術に係るコンテンツ提供システムが構築されてもよい。

　すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えばユーザの視線の検出結果の取得、第１キャリブレーション及び第２キャリブレーションの実行、第２キャリブレーションに関する特定の変化の判定、及び各キャリブレーションによる補正に関する制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。

　すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

　本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。

　なお、本技術は以下のような構成も採ることができる。
（１）センサから表示領域に対するユーザの視線の検出結果を取得する視線検出部と、
　前記表示領域における表示パラメータが予め固定された少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて前記ユーザの視線の検出結果を補正する第１キャリブレーション、及び、前記表示領域における表示パラメータが動的に変化する少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて前記第１キャリブレーションの結果を補正する第２キャリブレーションを行うキャリブレーション部と、
　前記第２キャリブレーションに関する特定の変化の発生を判定する判定部と、
　前記特定の変化の発生に基づいて、前記第１キャリブレーション及び前記第２キャリブレーションの少なくとも一方による補正に関する制御を行う補正制御部と
　を具備する視線検出装置。
（２）（１）に記載の視線検出装置であって、
　前記第１キャリブレーションは、前記少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて第１較正データを生成する処理と、前記第１較正データを用いて前記ユーザの視線の検出結果を補正する処理とを含み、
　前記第２キャリブレーションは、前記少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて第２較正データを生成する処理と、前記第２較正データを用いて前記第１キャリブレーションの結果を補正する処理とを含み、
　前記補正制御部は、前記特定の変化の発生に基づいて、前記第１較正データの生成処理の再実行に関する制御、又は前記第２較正データを用いた補正処理に関する制御の少なくとも一方を行う
　視線検出装置。
（３）（２）に記載の視線検出装置であって、
　前記特定の変化は、前記表示領域に表示される表示オブジェクトに対する前記ユーザの注視傾向の変化を含み、
　前記補正制御部は、前記注視傾向の変化の内容に応じて、前記第２較正データを用いて前記第１キャリブレーションの結果を補正する際の補正度合を調整する
　視線検出装置。
（４）（３）に記載の視線検出装置であって、
　前記判定部は、前記注視傾向の変化として、前記第２キャリブレーションによる補正に用いられる前記少なくとも１つの第２オブジェクトに対する、前記表示オブジェクトの種類、形状、サイズ、色、動作の少なくとも１つに関する変化の発生を判定する
　視線検出装置。
（５）（３）又は（４）に記載の視線検出装置であって、
　前記判定部は、前記注視傾向の変化として、前記第２キャリブレーションによる補正に用いられる前記少なくとも１つの第２オブジェクトと前記ユーザの視点との距離に対する、前記表示オブジェクトと前記ユーザの視点との距離の変化の発生を判定する
　視線検出装置。
（６）（３）から（５）のうちいずれか１つに記載の視線検出装置であって、
　前記判定部は、前記注視傾向の変化として、前記表示オブジェクトに対する操作入力の方法の変化の発生を判定する
　視線検出装置。
（７）（３）から（６）のうちいずれか１つに記載の視線検出装置であって、
　前記第２較正データは、前記少なくとも１つの第２オブジェクトの各々に対する前記第１キャリブレーションの結果であるベクトルと、当該ベクトルについての補正量とが関連付けて記録されたデータであり、
　前記補正制御部は、前記補正度合として、前記第２較正データの補正量を調整する重み係数を設定する
　視線検出装置。
（８）（７）に記載の視線検出装置であって、
　前記補正制御部は、前記注視傾向の変化の発生が判定された場合、前記注視傾向の変化の発生が判定されていない場合よりも前記補正度合が低くなるように前記重み係数を設定する
　視線検出装置。
（９）（３）から（８）のうちいずれか１つに記載の視線検出装置であって、
　前記キャリブレーション部は、前記第２較正データと、前記第２較正データを生成する際の前記ユーザの注視傾向に関する情報とを関連付けて記録し、
　前記判定部は、前記ユーザの注視傾向に関する情報に基づいて、前記注視傾向の変化の発生を判定する
　視線検出装置。
（１０）（３）から（９）のうちいずれか１つに記載の視線検出装置であって、
　前記補正制御部は、前記注視傾向の変化の内容に応じて、前記第２較正データを削除する
　視線検出装置。
（１１）（２）から（１０）のうちいずれか１つに記載の視線検出装置であって、
　前記第２較正データは、前記少なくとも１つの第２オブジェクトの各々に対する前記第１キャリブレーションの結果であるベクトルと、当該ベクトルについての補正量とが関連付けて記録されたデータであり、
　前記特定の変化は、前記第２較正データの補正量の変化を含み、
　前記補正制御部は、前記第２較正データの補正量の変化に基づいて、前記第１較正データの生成処理の再実行を要求するフラグを生成する
　視線検出装置。
（１２）（１１）に記載の視線検出装置であって、
　前記補正制御部は、前記フラグに基づいて、前記第１較正データを生成する処理の再実行が必要である旨を通知する通知処理を行う
　視線検出装置。
（１３）（１２）に記載の視線検出装置であって、
　前記補正制御部は、前記ユーザが行うタスクが終了したタイミング、前記タスクが実行されているタイミング、又は視線を利用したアプリケーションの実行前のタイミングの少なくとも１つのタイミングで、前記通知処理を行う
　視線検出装置。
（１４）（１２）又は（１３）に記載の視線検出装置であって、
　前記キャリブレーション部は、前記通知処理に対する前記ユーザの応答入力に応じて、前記第１較正データを生成する処理を実行する
　視線検出装置。
（１５）（１１）から（１４）のうちいずれか１つに記載の視線検出装置であって、
　前記判定部は、前記第２較正データの補正量の平均値が閾値を超えた場合、又は前記第２較正データの補正量の少なくとも１つが閾値を超えた場合、前記補正量の変化が発生したと判定する
　視線検出装置。
（１６）（１１）から（１５）のうちいずれか１つに記載の視線検出装置であって、
　前記キャリブレーション部は、前記ユーザの右目及び左目ごとに前記第１キャリブレーション及び前記第２キャリブレーションを実行可能であり、
　前記判定部は、前記ユーザの右目及び左目ごとに前記第２較正データの補正量の変化を判定し、
　前記補正制御部は、前記ユーザの右目及び左目の少なくとも一方について前記第２較正データの補正量の変化が判定された場合に、前記フラグを生成する
　視線検出装置。
（１７）（１１）から（１６）のうちいずれか１つに記載の視線検出装置であって、
　前記補正制御部は、前記フラグが生成された後に、前記第２較正データの補正量の変化が発生していないと判定された場合、前記フラグを破棄する
　視線検出装置。
（１８）センサから表示領域に対するユーザの視線の検出結果を取得し、
　前記表示領域における表示パラメータが予め固定された少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて前記ユーザの視線の検出結果を補正する第１キャリブレーション、及び、前記表示領域における表示パラメータが動的に変化する少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて前記第１キャリブレーションの結果を補正する第２キャリブレーションを行い、
　前記第２キャリブレーションに関する特定の変化の発生を判定し、
　前記特定の変化の発生に基づいて、前記第１キャリブレーション及び前記第２キャリブレーションの少なくとも一方による補正に関する制御を行う
　ことをコンピュータシステムが実行する情報処理方法。
（１９）センサから表示領域に対するユーザの視線の検出結果を取得するステップと、
　前記表示領域における表示パラメータが予め固定された少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて前記ユーザの視線の検出結果を補正する第１キャリブレーション、及び、前記表示領域における表示パラメータが動的に変化する少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて前記第１キャリブレーションの結果を補正する第２キャリブレーションを行うステップと、
　前記第２キャリブレーションに関する特定の変化の発生を判定するステップと、
　前記特定の変化の発生に基づいて、前記第１キャリブレーション及び前記第２キャリブレーションの少なくとも一方による補正に関する制御を行うステップと
　を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。

　１７…記憶部
　１８…コントローラ
　１９…表示領域
　２０…制御プログラム
　２１…第１較正データ
　２２…第２較正データ
　２３…視線検出部
　２４…第１視線補正処理部
　２５…第２視線補正処理部
　２７…較正データ生成部
　３０…仮想オブジェクト
　３１…マーカ
　３２…注視オブジェクト
　３６…表示オブジェクト
　４０…検出視線ベクトル
　４２…第１視線ベクトル
　５０…異常判定部
　１００、２００…ＨＭＤ

Claims

　センサから表示領域に対するユーザの視線の検出結果を取得する視線検出部と、
　前記表示領域における表示パラメータが予め固定された少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて前記ユーザの視線の検出結果を補正する第１キャリブレーション、及び、前記表示領域における表示パラメータが動的に変化する少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて前記第１キャリブレーションの結果を補正する第２キャリブレーションを行うキャリブレーション部と、
　前記第２キャリブレーションに関する特定の変化の発生を判定する判定部と、
　前記特定の変化の発生に基づいて、前記第１キャリブレーション及び前記第２キャリブレーションの少なくとも一方による補正に関する制御を行う補正制御部と
　を具備する視線検出装置。
　請求項１に記載の視線検出装置であって、
　前記第１キャリブレーションは、前記少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて第１較正データを生成する処理と、前記第１較正データを用いて前記ユーザの視線の検出結果を補正する処理とを含み、
　前記第２キャリブレーションは、前記少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて第２較正データを生成する処理と、前記第２較正データを用いて前記第１キャリブレーションの結果を補正する処理とを含み、
　前記補正制御部は、前記特定の変化の発生に基づいて、前記第１較正データの生成処理の再実行に関する制御、又は前記第２較正データを用いた補正処理に関する制御の少なくとも一方を行う
　視線検出装置。
　請求項２に記載の視線検出装置であって、
　前記特定の変化は、前記表示領域に表示される表示オブジェクトに対する前記ユーザの注視傾向の変化を含み、
　前記補正制御部は、前記注視傾向の変化の内容に応じて、前記第２較正データを用いて前記第１キャリブレーションの結果を補正する際の補正度合を調整する
　視線検出装置。
　請求項３に記載の視線検出装置であって、
　前記判定部は、前記注視傾向の変化として、前記第２キャリブレーションによる補正に用いられる前記少なくとも１つの第２オブジェクトに対する、前記表示オブジェクトの種類、形状、サイズ、色、動作の少なくとも１つに関する変化の発生を判定する
　視線検出装置。
　請求項３に記載の視線検出装置であって、
　前記判定部は、前記注視傾向の変化として、前記第２キャリブレーションによる補正に用いられる前記少なくとも１つの第２オブジェクトと前記ユーザの視点との距離に対する、前記表示オブジェクトと前記ユーザの視点との距離の変化の発生を判定する
　視線検出装置。
　請求項３に記載の視線検出装置であって、
　前記判定部は、前記注視傾向の変化として、前記表示オブジェクトに対する操作入力の方法の変化の発生を判定する
　視線検出装置。
　請求項３に記載の視線検出装置であって、
　前記第２較正データは、前記少なくとも１つの第２オブジェクトの各々に対する前記第１キャリブレーションの結果であるベクトルと、当該ベクトルについての補正量とが関連付けて記録されたデータであり、
　前記補正制御部は、前記補正度合として、前記第２較正データの補正量を調整する重み係数を設定する
　視線検出装置。
　請求項７に記載の視線検出装置であって、
　前記補正制御部は、前記注視傾向の変化の発生が判定された場合、前記注視傾向の変化の発生が判定されていない場合よりも前記補正度合が低くなるように前記重み係数を設定する
　視線検出装置。
　請求項３に記載の視線検出装置であって、
　前記キャリブレーション部は、前記第２較正データと、前記第２較正データを生成する際の前記ユーザの注視傾向に関する情報とを関連付けて記録し、
　前記判定部は、前記ユーザの注視傾向に関する情報に基づいて、前記注視傾向の変化の発生を判定する
　視線検出装置。
　請求項３に記載の視線検出装置であって、
　前記補正制御部は、前記注視傾向の変化の内容に応じて、前記第２較正データを削除する
　視線検出装置。
　請求項２に記載の視線検出装置であって、
　前記第２較正データは、前記少なくとも１つの第２オブジェクトの各々に対する前記第１キャリブレーションの結果であるベクトルと、当該ベクトルについての補正量とが関連付けて記録されたデータであり、
　前記特定の変化は、前記第２較正データの補正量の変化を含み、
　前記補正制御部は、前記第２較正データの補正量の変化に基づいて、前記第１較正データの生成処理の再実行を要求するフラグを生成する
　視線検出装置。
　請求項１１に記載の視線検出装置であって、
　前記補正制御部は、前記フラグに基づいて、前記第１較正データを生成する処理の再実行が必要である旨を通知する通知処理を行う
　視線検出装置。
　請求項１２に記載の視線検出装置であって、
　前記補正制御部は、前記ユーザが行うタスクが終了したタイミング、前記タスクが実行されているタイミング、又は視線を利用したアプリケーションの実行前のタイミングの少なくとも１つのタイミングで、前記通知処理を行う
　視線検出装置。
　請求項１２に記載の視線検出装置であって、
　前記キャリブレーション部は、前記通知処理に対する前記ユーザの応答入力に応じて、前記第１較正データを生成する処理を実行する
　視線検出装置。
　請求項１１に記載の視線検出装置であって、
　前記判定部は、前記第２較正データの補正量の平均値が閾値を超えた場合、又は前記第２較正データの補正量の少なくとも１つが閾値を超えた場合、前記補正量の変化が発生したと判定する
　視線検出装置。
　請求項１１に記載の視線検出装置であって、
　前記キャリブレーション部は、前記ユーザの右目及び左目ごとに前記第１キャリブレーション及び前記第２キャリブレーションを実行可能であり、
　前記判定部は、前記ユーザの右目及び左目ごとに前記第２較正データの補正量の変化を判定し、
　前記補正制御部は、前記ユーザの右目及び左目の少なくとも一方について前記第２較正データの補正量の変化が判定された場合に、前記フラグを生成する
　視線検出装置。
　請求項１１に記載の視線検出装置であって、
　前記補正制御部は、前記フラグが生成された後に、前記第２較正データの補正量の変化が発生していないと判定された場合、前記フラグを破棄する
　視線検出装置。
　センサから表示領域に対するユーザの視線の検出結果を取得し、
　前記表示領域における表示パラメータが予め固定された少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて前記ユーザの視線の検出結果を補正する第１キャリブレーション、及び、前記表示領域における表示パラメータが動的に変化する少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて前記第１キャリブレーションの結果を補正する第２キャリブレーションを行い、
　前記第２キャリブレーションに関する特定の変化の発生を判定し、
　前記特定の変化の発生に基づいて、前記第１キャリブレーション及び前記第２キャリブレーションの少なくとも一方による補正に関する制御を行う
　ことをコンピュータシステムが実行する情報処理方法。
　センサから表示領域に対するユーザの視線の検出結果を取得するステップと、
　前記表示領域における表示パラメータが予め固定された少なくとも１つの第１オブジェクトに対する前記ユーザの視線に基づいて前記ユーザの視線の検出結果を補正する第１キャリブレーション、及び、前記表示領域における表示パラメータが動的に変化する少なくとも１つの第２オブジェクトに対する前記ユーザの視線に基づいて前記第１キャリブレーションの結果を補正する第２キャリブレーションを行うステップと、
　前記第２キャリブレーションに関する特定の変化の発生を判定するステップと、
　前記特定の変化の発生に基づいて、前記第１キャリブレーション及び前記第２キャリブレーションの少なくとも一方による補正に関する制御を行うステップと
　を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。