JP6576574B2 - 眼球モデルを生成するための角膜球追跡 - Google Patents

Description

本開示は、概して視線追跡に関し、具体的には眼球モデルを生成するための角膜球追跡に関する。

視線追跡は、仮想現実（ＶＲ）アプリケーションで使用されるシステムを含むヘッドマウントディスプレイ（ＨＭＤ）システムにとって重要な機能である。従来の追跡システムは、人間の眼球の特徴を追跡し、典型的には、光路の質によって制限される。これらの従来のシステムは、ＨＭＤシステムにおける視線追跡に必要な十分な精度を提供しない。

眼球モデルを生成し、較正するための視線追跡システムを開示する。視線追跡システムは、ＶＲシステム環境または拡張現実感（ＡＲ）システムのような他のシステム環境で使用することができる。視線追跡システムは、少なくとも２つの光源と、各眼球をモデル化するための光学センサとを含む。光学センサおよび少なくとも２つの光源は、光学センサが眼球の角膜からの反射（以下、「角膜反射」と呼ぶ）を使用して光源の画像を取り込むことができるように互いに対して位置決めされる。システムは、ユーザが眼を動かす際に（例えば、眼球モデルを生成する較正プロセス中および／または通常使用中に）データを収集する。システムは、収集されたデータに基づき各眼球の角膜球の半径および原点を特定することによって眼球をモデル化し、各眼球は、眼球全体（例えば、強膜表面部分）に近似する一方の球および角膜部分に近似する一部の他方の球（すなわち、角膜球）を有する２つの球に近似する。システムは、眼球モデルを使用して、ユーザの注視方向、輻輳角／輻輳深度、および調節深度の特定のような様々な光学的動作を実行する。

較正プロセスは、他のステップの中でも特に、各眼球について瞳孔軸を特定すること、および／または瞳孔軸と眼球の真の視線との間の角度のずれを特定することを含む。視線追跡システムは、各眼球の角膜球の半径および原点の情報を含む眼球モデルを（例えば、視線追跡システム自体で生成するか、または視線追跡システム外部から受信して）取得し、各眼球は眼球の強膜表面部分に近似する一方の球および角膜部分に近似する一部の他方の球（すなわち、角膜球）を有する２つの球に近似する。較正プロセスは、ユーザが１つまたは複数の既知のターゲット（例えば、ＶＲヘッドセットの電子ディスプレイ上の特定点）を注視する間、または通常動作モードでＨＭＤに表示されたコンテンツを見ている間に、ユーザの瞳孔の画像を取り込むことを含む。一実施形態において、ユーザが電子ディスプレイ上の１つの特定ターゲットを注視することのみを必要とする単一点較正が実行される。

視線追跡システムは、ユーザの眼球の取り込まれた画像のそれぞれにおいて瞳孔の形状を識別し、次いで、識別した瞳孔の形状と、取得した眼球モデル情報とを共に使用して、瞳孔が位置する三次元（３Ｄ）平面を特定する。その後、３Ｄ平面を起点とし、かつ角膜球の角膜表面に垂直な光線を識別する観察可能な軸が導出される。この軸は、本明細書では眼球の瞳孔軸と定義される。システムはまた、瞳孔軸と、眼球の真の視線（すなわち、中心窩の位置によって表される）との間の角度のずれを特定することができる。システムはさらに、特定された瞳孔軸および／または角度のずれと共にユーザの虹彩を追跡することによって、ユーザの眼球のねじれ状態を特定するか、またはユーザ識別を特定することができる。いくつかの実施形態において、瞳孔軸と、かつ／または瞳孔軸とユーザの真の視線との間の角度のずれと、を特定する較正プロセスは、ユーザの眼球の単一の画像に基づいており、かつ一回のみ実行される。例えば、較正プロセスは、ユーザがＶＲヘッドセットを装着した最初の時点で実行され、ＶＲヘッドセットは、ユーザに対応する較正データを同一ユーザによる将来の使用に利用するためにメモリに保存する。

本発明による実施形態は、ヘッドマウントディスプレイを対象とする添付の請求項で特に開示される。添付の請求項の従属性または後方参照は、形式上の理由でのみ選択されている。しかし、任意の先行請求項への意図的な後方参照から生じる任意の主題（特に多数項従属）は同様に請求されることができるので、添付の請求項で選ばれた従属性に関係なく、請求項およびその特徴の任意の組合せが開示され、請求されることができる。請求することのできる主題は、添付の請求項に記載される特徴の組合せだけでなく、請求項の特徴の任意の他の組合せも含み、請求項で述べられる各特徴は請求項の任意の他の特徴または他の特徴の組合せと組み合わせることができる。さらに、本明細書で記述または示される実施形態および特徴のいずれも、個別の請求項で、および／または、本明細書で記述もしくは示される任意の実施形態もしくは特徴または添付の請求項の特徴のいずれかとの任意の組合せで請求することができる。

一実施形態において、視線追跡システムを備えるヘッドマウントディスプレイが提供される。視線追跡システムは、ユーザの眼球を照明するように構成された２つ以上の光源と、ユーザの眼球に関連する角膜から反射した光を画像として捕捉するように構成された検出器と、制御モジュールとを含むことができる。

制御モジュールは、２つ以上の光源からの光でユーザの眼球を照明し、ユーザの眼球の１つまたは複数の画像を検出器で取り込み、ユーザの眼球の取り込まれた１つまたは複数の画像に基づいて眼球モデルを生成し、生成された眼球のモデルに部分的に基づいて光学的動作を実行するように構成することができる。

ヘッドマウントディスプレイの実施形態において、２つ以上の光源のそれぞれは、異なる波長の光を放射するように構成されてもよい。
ヘッドマウントディスプレイの一実施形態において、２つ以上の光源のそれぞれによって放射される光は、異なる周波数および／または異なる振幅で変調されてもよい。

ヘッドマウントディスプレイの一実施形態において、２つ以上の光源は、リングパターンを形成してもよい。
ヘッドマウントディスプレイの一実施形態において、検出器は、ユーザの眼球の複数の画像を取り込むように適合された、および／または動作可能な光学センサとすることができる。

ヘッドマウントディスプレイの一実施形態において、生成されたモデルは、眼球の強膜表面部分に近似する第１の球および角膜に近似する第２の球を含むことができる。
ヘッドマウントディスプレイの一実施形態において、眼球のモデルを生成することは、１つまたは複数の角膜反射を含むユーザの眼球の１つまたは複数の取り込まれた画像を受信することと、第１の球に関連する半径および原点、ならびに第２の球に関連する半径および原点を含む眼球モデルを生成することと、生成されたモデルをヘッドマウントディスプレイに関連付けられたデータベースに保存することと、を含むことができる。

ヘッドマウントディスプレイの一実施形態において、制御モジュールは、第１の球に関連する原点を中心とする回旋として角膜の動きをモデル化するようにさらに構成されてもよい。

ヘッドマウントディスプレイの一実施形態において、眼球モデルを生成することは、基準眼球の１つまたは複数の動きと基準眼球に関連する角膜反射との間の関連を含む基準眼球の学習モデルを読み出すこと、角膜反射を含む１つまたは複数のユーザの眼球の画像を取り込むこと、および基準眼球の１つまたは複数の角膜反射と取り込まれた画像に関連する角膜反射との間の比較に基づいて眼球モデルに関連する１つまたは複数のパラメータ値を外挿すること、を含むことができる。

一実施形態において、ヘッドマウントディスプレイは、ユーザに画像を表示するように構成された電子ディスプレイと、電子ディスプレイから受信した光を拡大するように構成された光学ブロックと、視線追跡システムとを備えることができる。視線追跡システムは、ユーザの眼球の表面を照明するように構成された２つ以上の光源と、角膜から反射した光を画像として捕捉するように構成された検出器と、制御モジュールとを含むことができる。制御モジュールは、ユーザがヘッドマウントディスプレイ内の既知の位置を見ている間に２つ以上の光源からの光でユーザの眼球を照明し、ユーザの眼球の１つまたは複数の画像を検出器で取り込み、ユーザの眼球の取り込まれた１つまたは複数の画像に基づく一回限りの単一点較正を実行し、光学的動作を実行するように構成することができる。

ヘッドマウントディスプレイの実施形態において、２つ以上の光源は、検出器が角膜反射光に基づいて２つ以上の光源の１つまたは複数の画像を取り込むことができるように、互いに対して位置決めされてもよい。

ヘッドマウントディスプレイの実施形態において、２つ以上の光源は、電子ディスプレイの一部であってもよい。
ヘッドマウントディスプレイの実施形態において、一回限りの単一点較正を実行することは、眼球の角膜球の半径および角膜球の中心位置を含む、ユーザの眼球に対応する眼球モデル情報にアクセスすることと、ユーザが電子ディスプレイ上の既知の位置を見ている間にユーザの眼球の瞳孔の画像をカメラで取り込むことと、受信した画像を処理することによって瞳孔の形状を特定することと、受信した眼球モデル情報および特定された瞳孔の形状に基づいて眼球の瞳孔を含む平面を識別することと、平面を起点とし、かつ角膜球の表面に垂直な光線を識別することによって瞳孔の瞳孔軸を特定することと、を含むことができる。

ヘッドマウントディスプレイの実施形態において、瞳孔の形状を特定することは、検出器によって取り込まれた１つまたは複数の画像におけるユーザの眼球全体に亘る反射強度の変化を特定することを含んでもよい。

ヘッドマウントディスプレイの実施形態において、一回限りの単一点較正を実行することは、特定された瞳孔の形状を反復的に修正して、角膜の屈折による歪曲を補正することをさらに含んでもよい。

ヘッドマウントディスプレイの実施形態において、一回限りの単一点較正を実行することは、瞳孔軸と眼球に関連する真の視線との間のずれを特定することをさらに含んでもよい。

ヘッドマウントディスプレイの実施形態において、１つまたは複数の光学的動作を実行することは、ユーザの輻輳角の特定と、ユーザの調節深度の特定と、ユーザの識別と、眼球のねじれ状態の特定と、またはそれらのいくつかの組み合わせと、から成る群から選択された動作を実行することを含んでもよい。

一実施形態による、ＶＲを含むシステム環境のブロック図である。 一実施形態による、ＶＲヘッドセットの図である。 一実施形態による、図２ＡのＶＲヘッドセットの前部剛体の断面図である。 一実施形態による、眼球モデルを生成するための例示的な視線追跡システムを示す図である。 一実施形態による、視線追跡システムを使用して眼球モデルを生成するための例示的なプロセスのフロー図である。 一実施形態による、眼球モデルを使用してユーザの注視方向を特定するための例示的なプロセスのフロー図である。 一実施形態による、ＨＭＤシステムの例示的な一回限りの単一点較正を示す図である。 一実施形態による、ＨＭＤシステムの一回限りの単一点較正の例示的なプロセスのフロー図である。

図面は、例示のみの目的のために、本開示の実施形態を示す。当業者は、本明細書に例示の構造および方法の代替実施形態が、本明細書に記載の開示の原理または利点から逸脱することなく採用され得ることを、以下の説明から容易に認識するであろう。

システムの概要
図１は、ＶＲコンソール１１０が動作するＶＲシステム環境１００のブロック図である。図１に示すシステム環境１００は、ＶＲヘッドセット１０５、撮像デバイス１３５、およびＶＲ入力インタフェース１４０を含み、それぞれＶＲコンソール１１０に結合される。図１は、１つのＶＲヘッドセット１０５、１つの撮像デバイス１３５、および１つのＶＲ入力インタフェース１４０を含む例示的なシステム１００を示すが、他の実施形態では、システム１００に任意の数のこれらの構成要素が含まれ得る。例えば、複数のＶＲヘッドセット１０５が存在し、複数のＶＲヘッドセット１０５のそれぞれが関連するＶＲ入力インタフェース１４０を有し、１つまたは複数の撮像デバイス１３５によって監視され、各ＶＲヘッドセット１０５、ＶＲ入力インタフェース１４０、および撮像デバイス１３５は、ＶＲコンソール１１０と通信する。代替的な構成では、異なる構成要素およびさらなる構成要素の両方または一方がシステム環境１００に含まれ得る。

ＶＲヘッドセット１０５は、ユーザにコンテンツを提示するＨＭＤである。ＶＲヘッドセットによって提示されるコンテンツの例としては、１つまたは複数の画像、映像、音声またはそれらの何らかの組合せが含まれる。いくつかの実施形態では、ＶＲヘッドセット１０５、ＶＲコンソール１１０、またはその両方からの音声情報を受信して、音声情報に基づいて音声データを提示する外部デバイス（例えば、スピーカおよびヘッドフォンの両方または一方）を介して音声が提供される。ＶＲヘッドセット１０５の実施形態は、図２Ａおよび図２Ｂと併せて以下にさらに説明する。ＶＲヘッドセット１０５は、互いに対して堅固にまたは非堅固に結合される１つまたは複数の剛体を含み得る。剛体を堅固に結合することにより、結合された剛体は単一の剛性体として機能する。これに対して、剛体を非堅固に結合することにより、剛体は互いに対して可動となる。

ＶＲヘッドセット１０５は、電子ディスプレイ１１５と、光学ブロック１１８と、１つまたは複数のロケータ１２０と、１つまたは複数の位置センサ１２５と、慣性測定ユニット（ＩＭＵ）１３０と、視線追跡システム１６０と、を含む。電子ディスプレイ１１５は、ＶＲコンソール１１０から受信したデータに従って、ユーザに画像を表示する。様々な実施形態において、電子ディスプレイ１１５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザの各眼球用のディスプレイ）を備えることができる。電子ディスプレイ１１５の例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリクス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、何らかの他のディスプレイ、またはそれらのいくつかの組み合わせを含む。

光学ブロック１１８は、電子ディスプレイ１１５からの受信光を拡大し、画像光に関連する光学誤差を補正して、補正された画像光がＶＲヘッドセット１０５のユーザに提示される。光学要素は、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、または電子ディスプレイ１１５から放射される画像光に影響を及ぼす任意の他の適切な光学要素とすることができる。さらに、光学ブロック１１８は、異なる光学要素の組み合わせを含むことができる。いくつかの実施形態において、光学ブロック１１８内の１つまたは複数の光学要素は、反射防止コーティングのような１つまたは複数のコーティングを有することができる。

光学ブロック１１８による画像光の拡大により、電子ディスプレイ１１５を、より大きなディスプレイよりも小型化、軽量化、低消費電力化することが可能となる。さらに、拡大により、表示されるコンテンツの視野を拡大することができる。例えば、表示されたコンテンツの視野は、表示されたコンテンツがユーザの視野のほぼすべて（例えば、対角１１０度）を、場合によってはすべてを使用して提示される。いくつかの実施形態において、光学ブロック１１８は、光学ブロック１１８の有効焦点距離が電子ディスプレイ１１５までの間隔よりも大きくなるように設計され、電子ディスプレイ１１５によって投影される画像光を拡大する。さらに、いくつかの実施形態において、倍率は、光学要素を追加または除去することによって調整することができる。

光学ブロック１１８は、固定パターンノイズ（すなわち、スクリーンドア効果）に加えて、１つまたは複数のタイプの光学誤差を補正するように設計されてもよい。光学誤差の例は、二次元光学誤差、３Ｄ光学誤差、またはそれらのいくつかの組み合わせを含む。二次元誤差は、二次元で生じる光学収差である。二次元誤差の種類の例は、樽型歪曲、糸巻き型歪曲、軸上色収差、横色収差、または任意の他の種類の二次元光学誤差を含む。３Ｄ誤差は、三次元で生じる光学誤差である。３Ｄ誤差の種類の例は、球面収差、コマ収差、像面湾曲、非点収差、または任意の他の種類の３Ｄ光学誤差を含む。いくつかの実施形態において、表示のために電子ディスプレイ１１５に提供されるコンテンツは、あらかじめ歪曲収差を与えられ、光学ブロック１１８が、コンテンツに基づいて生成された電子ディスプレイ１１５からの画像光を受け取るときに歪曲を補正する。

ロケータ１２０は、互いに対して、およびＶＲヘッドセット１０５上の特定の基準点に対して、ＶＲヘッドセット１０５上の特定の位置に配置された物体である。ロケータ１２０は、発光ダイオード（ＬＥＤ）、コーナーキューブリフレクタ、反射マーカー、ＶＲヘッドセット１０５が動作する環境に対してコントラストをもたらすタイプの光源、またはそれらのいくつかの組合せであり得る。ロケータ１２０が能動的（すなわち、ＬＥＤまたは他のタイプの発光デバイス）である実施形態では、ロケータ１２０は、可視光域内（約３８０ｎｍから７５０ｎｍ）、赤外（ＩＲ）域内（約７５０ｎｍから１ｍｍ）、紫外域内（１０ｎｍから３８０ｎｍ）、電磁スペクトルの他の部分、またはそれらのいくつかの組合せの光を放射し得る。

いくつかの実施形態では、ロケータ１２０は、ＶＲヘッドセット１０５の外面の下方に配置され、外面は、ロケータ１２０が放射もしくは反射した光の波長に対して透過性を有するか（ｔｒａｎｓｐａｒｅｎｔ）、またはロケータ１２０が放射もしくは反射した光の波長を実質的に減衰しないのに十分な薄さである。さらに、いくつかの実施形態では、ＶＲヘッドセット１０５の外面または他の部分は、光の波長の可視光域内で不透過性を有する（ｏｐａｑｕｅ）。したがって、ロケータ１２０は、ＩＲ域内では透過性を有するが可視光域内では不透過性を有する外面下方にＩＲ光域内の光を放射し得る。

ＩＭＵ１３０は、１つまたは複数の位置センサ１２５から受信した測定信号に基づいて高速較正データを生成する電子デバイスである。位置センサ１２５は、ＶＲヘッドセット１０５の動きに応答して１つまたは複数の測定信号を生成する。位置センサ１２５の例としては、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動きを検出する他の適切なタイプのセンサ、ＩＭＵ１３０の誤差補正に使用されるタイプのセンサ、またはそれらのいくつかの組合せが含まれる。位置センサ１２５は、ＩＭＵ１３０の外側、ＩＭＵ１３０の内側、またはそれらのいくつかの組合せに配置され得る。

１つまたは複数の位置センサ１２５からの１つまたは複数の測定信号に基づいて、ＩＭＵ１３０は、ＶＲヘッドセット１０５の初期位置に対するＶＲヘッドセット１０５の推定位置を示す高速較正データを生成する。例えば、位置センサ１２５は、並進運動（前方／後方、上方／下方、左方／右方）を測定するための複数の加速度計および回転運動（例えば、ピッチ、ヨー、ロール）を測定するための複数のジャイロスコープを含む。いくつかの実施形態では、ＩＭＵ１３０は、測定信号を迅速にサンプリングし、サンプリングしたデータからＶＲヘッドセット１０５の推定位置を計算する。例えば、ＩＭＵ１３０は、速度ベクトルを推定するために一定期間、加速度計から受信した測定信号を積分し、ＶＲヘッドセット１０５上の基準点の推定位置を判定するために一定期間、速度ベクトルを積分する。あるいは、ＩＭＵ１３０は、サンプリングした測定信号をＶＲコンソール１１０に提供し、それにより高速較正データを判定する。基準点は、ＶＲヘッドセット１０５の位置を示すために使用される点である。基準点は、一般的に空間内の点として画定されるが、実際には、基準点はＶＲヘッドセット１０５内の点（例えば、ＩＭＵ１３０の中心）として画定される。

ＩＭＵ１３０は、ＶＲコンソール１１０から１つまたは複数の較正パラメータを受信する。以下にさらに説明するように、１つまたは複数の較正パラメータは、ＶＲヘッドセット１０５のトラッキングを維持するために使用される。受信した較正パラメータに基づいて、ＩＭＵ１３０は、１つまたは複数のＩＭＵパラメータ（例えば、サンプルレート）を調整し得る。いくつかの実施形態において、特定の較正パラメータは、ＩＭＵ１３０に、基準点の次の較正点に対応するように、基準点の初期位置を更新させる。基準点の次の較正点として基準点の初期位置を更新することは、判定された推定位置に関連する蓄積された誤差の削減に役立つ。ドリフト誤差とも称される蓄積された誤差は、基準点の推定位置を、基準点の実際の位置から経時的に「ドリフト」させる。

視線追跡システム１６０は、例示的な較正プロセスを使用して眼球モデルを生成する。視線追跡システム１６０は、視線追跡ユニットおよび制御モジュールを含む。視線追跡ユニットは、ＶＲヘッドセット１０５内に配置され、他のコンポーネントの中でも特に、光源および光学センサを含む。視線追跡ユニットの光源（例えば、点光源）および光学センサ（例えば、カメラ）は、角膜球の追跡に使用されて、ユーザがＶＲヘッドセット１０５を装着している間にユーザの眼球モデルを特定する。光源および光学センサは、眼球モデルを生成して光学的動作を実行するために必要なデータ処理を行う制御モジュールに結合される。制御モジュールは、ＶＲヘッドセット１０５および／またはＶＲコンソール１１０内に配置される。

撮像デバイス１３５は、ＶＲコンソール１１０から受信した較正パラメータに従って低速較正データを生成する。低速較正データは、撮像デバイス１３５によって検出可能なロケータ１２０の観測位置を示す１つまたは複数の画像を含む。撮像デバイス１３５は、１つまたは複数のカメラ、１つまたは複数のビデオカメラ、１つまたは複数のロケータ１２０を含む画像を取り込み可能な任意の他のデバイス、またはそれらのいくつかの組合せを含み得る。さらに、撮像デバイス１３５は、（例えば、信号対雑音比を増加させるために使用される）１つまたは複数のフィルタを含み得る。撮像デバイス１３５は、撮像デバイス１３５の視野内のロケータ１２０から放射または反射された光を検出するように構成されている。ロケータ１２０が受動要素（例えば、再帰反射器）を含む実施形態では、撮像デバイス１３５は、いくつかのまたはすべてのロケータ１２０を照らす光源を含み、それにより光を撮像デバイス１３５内の光源に向けて再帰反射する。低速較正データは、撮像デバイス１３５からＶＲコンソール１１０へ通信され、撮像デバイス１３５は、ＶＲコンソール１１０から１つまたは複数の較正パラメータを受信して、１つまたは複数の撮像パラメータ（例えば、焦点距離、焦点、フレームレート、ＩＳＯ、センサ温度、シャッタ速度、アパーチャなど）を調整する。

ＶＲ入力インタフェース１４０は、ユーザがアクション要求をＶＲコンソール１１０に送信することを可能にするデバイスである。アクション要求は、アクションを実施するための要求である。例えば、アクション要求は、アプリケーションの開始または終了を行うこと、またはアプリケーション内のアクションを実施することであり得る。ＶＲ入力インタフェース１４０は、１つまたは複数の入力デバイスを含み得る。入力デバイスの例としては、キーボード、マウス、ゲームコントローラ、またはアクション要求を受信して、受信したアクション要求をＶＲコンソール１１０に通信するのに適した任意の他のデバイスが含まれ得る。ＶＲ入力インタフェース１４０によって受信されたアクション要求は、ＶＲコンソール１１０に通信され、それによりアクション要求に対応するアクションを実施する。いくつかの実施形態において、ＶＲ入力インタフェース１４０は、ＶＲコンソール１１０から受信された命令に従ってユーザに触覚フィードバックを提供し得る。例えば、触覚フィードバックは、アクション要求を受信したときに提供されるか、あるいはＶＲコンソール１１０は、ＶＲコンソール１１０がアクションを実施するときに、ＶＲ入力インタフェース１４０に触覚フィードバックを生成させる命令をＶＲ入力インタフェース１４０に通信する。

ＶＲコンソール１１０は、ＶＲヘッドセット１０５に、撮像デバイス１３５、ＶＲヘッドセット１０５、およびＶＲ入力インタフェース１４０のうちの１つまたは複数から受信した情報に従ってユーザに提示するためのコンテンツを提供する。図１に示す例では、ＶＲコンソール１１０は、アプリケーションストア１４５、トラッキングモジュール１５０、およびＶＲエンジン１５５を含む。ＶＲコンソール１１０のいくつかの実施形態は、図１に関連して説明するものとは異なるモジュールを有している。同様に、以下にさらに説明する機能は、ＶＲコンソール１１０の複数の構成要素の間で、本明細書で説明するものとは異なる方法で分散され得る。

アプリケーションストア１４５は、ＶＲコンソール１１０によって実行される１つまたは複数のアプリケーションを記憶している。アプリケーションは、プロセッサによって実行されたときにユーザに提示するためのコンテンツを生成する命令群である。アプリケーションによって生成されたコンテンツは、ＶＲヘッドセット１０５またはＶＲ入力インタフェース１４０の動きを介してユーザから受信した入力に応答し得る。アプリケーションの例としては、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションが含まれる。

トラッキングモジュール１５０は、１つまたは複数の較正パラメータを使用してＶＲシステム１００を較正し、ＶＲヘッドセット１０５の位置の判定の誤差を削減するために１つまたは複数の較正パラメータを調整し得る。例えば、トラッキングモジュール１５０は、撮像デバイス１３５の焦点を調節して、ＶＲヘッドセット１０５上の観測されたロケータのより正確な位置を得る。さらに、トラッキングモジュール１５０によって実施される較正は、ＩＭＵ１３０から受信した情報も考慮に入れる。また、ＶＲヘッドセット１０５のトラッキングが失われた場合は（例えば、撮像デバイス１３５が少なくとも閾値数のロケータ１２０の視線を失う場合）、トラッキングモジュール１４０は、一部または全体のシステム環境１００を再較正する。

トラッキングモジュール１５０は、撮像デバイス１３５からの低速較正情報を使用してＶＲヘッドセット１０５の動きをトラッキングする。トラッキングモジュール１５０は、低速較正情報からの観測されたロケータおよびＶＲヘッドセット１０５のモデルを使用して、ＶＲヘッドセット１０５の基準点の位置を判定する。トラッキングモジュール１５０はまた、高速較正情報からの位置情報を使用してＶＲヘッドセット１０５の基準点の位置を判定する。さらに、いくつかの実施形態では、トラッキングモジュール１５０は、高速較正情報、低速較正情報、またはそれらのいくつかの組合せ、の一部を使用して、ヘッドセット１０５の将来の位置を予測し得る。トラッキングモジュール１５０は、ＶＲヘッドセット１０５の推定または予測された将来の位置をＶＲエンジン１５５に提供する。

ＶＲエンジン１５５は、システム環境１００内でアプリケーションを実行し、トラッキングモジュール１５０から、ＶＲヘッドセット１０５の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらのいくつかの組合せを受信する。受信した情報に基づいて、ＶＲエンジン１５５は、ユーザへの提示用にＶＲヘッドセット１０５に提供するコンテンツを決定する。例えば、受信した情報が、ユーザが左を見たことを示す場合、ＶＲエンジン１５５は、仮想環境でユーザの動きをミラーリングする、ＶＲヘッドセット１０５のためのコンテンツを生成する。また、ＶＲエンジン１５５は、ＶＲ入力インタフェース１４０から受信したアクション要求に応答してＶＲコンソール１１０上で実行するアプリケーション内でアクションを実施し、アクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ＶＲヘッドセット１０５を介した視覚的もしくは聴覚的フィードバック、またはＶＲ入力インタフェース１４０を介した触覚フィードバックであり得る。

図２Ａは、一実施形態による、ＶＲヘッドセットの図である。ＶＲヘッドセット２００は、ＶＲヘッドセット１０５の一実施形態であり、前部剛体２０５およびバンド２１０を含む。前部剛体２０５は、電子ディスプレイ１１５（図２Ａには図示せず）、ＩＭＵ１３０、１つまたは複数の位置センサ１２５、およびロケータ１２０を含む。図２Ａに示す実施形態では、位置センサ１２５は、ＩＭＵ１３０内に配置され、ＩＭＵ１３０も位置センサ１２５もユーザには見えない。

ロケータ１２０は、互いに対しておよび基準点２１５に対して前部剛体２０５上の固定位置に配置されている。図２Ａの例では、基準点２１５は、ＩＭＵ１３０の中心に配置されている。ロケータ１２０はそれぞれ、撮像デバイス１３５によって検出可能な光を放射する。ロケータ１２０、またはロケータ１２０の一部は、図２Ａの例の前部剛体２０５の前方側２２０Ａ、上面側２２０Ｂ、底面側２２０Ｃ、右側２２０Ｄ、および左側２２０Ｅに配置されている。

図２Ｂは、図２Ａに示すＶＲヘッドセット２００の実施形態の前部剛体２０５の断面図２２５である。図２Ｂに示すように、前部剛体２０５は、変更された画像光を射出瞳２５０に提供する光学ブロック２３０を含む。射出瞳２５０は、ユーザの眼２４５が配置された前部剛体２０５の位置である。説明の目的のために、図２Ｂは、片方の眼２４５に関する断面図２２５を示しているが、光学ブロック２３０とは別個の、もう１つの光学ブロックが、ユーザのもう片方の眼に、変更された画像光を提供する。

光学系ブロック２３０は、電子ディスプレイ１１５の電子ディスプレイ要素２３５、光学ブロック１１８、および視線追跡ユニット２６０を含む。電子ディスプレイ要素２３５は、光学ブロック１１８に向けて画像光を放射する。光学ブロック１１８は、画像光を拡大し、いくつかの実施形態においては、１つまたは複数の付加的な光学誤差（例えば、歪曲、非点収差等）も補正する。光学ブロック１１８は、画像光をユーザに提示するために射出瞳２５０に導く。

ＶＲヘッドセット２００は、視線追跡ユニット２６０（例えば、図１の視線追跡システム１６０の視線追跡ユニット）を含む。視線追跡ユニット２６０は、光源および光学センサを含む。一実施形態において、図２Ｂに示すように、視線追跡ユニット２６０は、２つの光源２６２および２６４と、各眼球用の光学センサ２６６とを含む。視線追跡ユニット２６０の光源および光学センサは、眼球モデルを生成するために必要なデータ処理を行う制御モジュール（図２Ｂには図示せず）に結合される。制御モジュールは、ＶＲヘッドセット１０５および／またはＶＲコンソール１１０内に配置される。また、いくつかの実施形態において、ユーザの左眼用の少なくとも１つの視線追跡ユニット２６０と、ユーザの右眼用の少なくとも１つの視線追跡ユニット２６０と、がある。

光源２６２および２６４ならびに光学センサ２６６は、ユーザの眼球の角膜球追跡に使用される。視線追跡ユニット２６０は、光学センサ２６６（例えば、カメラ）が眼球の動きの範囲にわたってユーザの眼球（および特に眼球の角膜）の画像を取り込むことができるように、光学系ブロック２３０内に配置される。光源２６２および２６４は光を放射し、放射された光をユーザが見ている間に、放射された光がユーザの眼球から反射すると、光学センサ２６６がユーザの眼球の１つまたは複数の画像を取り込む。視線追跡ユニット２６０は、光源２６２および２６４から放射された光が光学ブロック１１８を介してユーザの眼球に到達するように、光学系ブロック２３０内に配置される。視線追跡ユニット２６０は、ユーザの視野に沿って軸上に（例えば、図２Ｂに示すように）配置されてもよいし、またはユーザの視野から軸外に（例えば、光学ブロック１１８の左側に）配置することもできる。例示的な角膜球追跡システムは、図３に関連してさらに後述する。

眼球モデル生成のための視線追跡システム
図３は、一実施形態による、例示的な視線追跡システム３００を示す。いくつかの実施形態において、視線追跡システム３００は、ＶＲヘッドセット１０５の視線追跡システム１６０の一部である。代替の実施形態において、視線追跡システム３００は、何らかの他のデバイス（例えば、ＡＲシステムのヘッドアップディスプレイ、または視線追跡を利用する何らかの他のシステム）の一部である。視線追跡システム３００は、他のコンポーネントの中でも特に、視線追跡ユニット３６０および制御モジュール３７０を含む。簡略化のために、視線追跡システム３００についての説明は、ユーザの単一の眼球に関したものである。しかし、いくつかの実施形態においては、対応する視線追跡ユニット３６０がユーザの眼球のそれぞれに対して使用されてもよい。そのような実施形態においては、単一の制御モジュール３７０が複数の視線追跡ユニット３６０を制御してもよい。

視線追跡ユニット３６０は、他のコンポーネントの中でも特に、２つ以上の光源（例えば、光源３６２および３６４）ならびに１つまたは複数の光学センサ（例えば、光学センサ３６６）を含む。視線追跡ユニットの光源（例えば、点光源）および光学センサ（例えば、カメラ）は、角膜球追跡に、およびユーザがＶＲヘッドセット１０５を装着している間にユーザの眼球モデルを特定するために使用される。光源３６２および３６４は、理想的な点光源のような周知の発光特性を有する。一実施形態において、２つの光源が使用される。あるいは、３つ以上の光源、例えばリング状の光源が使用される。例えば、リング状の光源は、基準点（例えば、ＨＭＤの入射瞳の位置または基準点２１５）に対して同一の二次元平面に、または任意の位置に配置することができる。一実施形態において、光源はユーザの視線の外側に配置することができる。基準点から任意に配置された光源は、視線追跡の精度を向上させるために、基準点から様々な深度で、および／または光源間の不均一な間隔で配置することができる。

いくつかの実施形態において、２つ以上の光源は、いずれかの光源か、すべての光源か、または光源間で異なる特性を備える。例えば、２つ以上の光源を起点とする光は、異なる波長か、異なる周波数または振幅（すなわち、強度が変化する）で変調されるか、異なる時点において２つの光波間の相関を表す異なる時間的コヒーレンスを有するか、時間領域または周波数領域のいずれかで多重化されるかのうちの、１つまたは複数を含むことができる。

光学センサ３６６は、ユーザの眼球の画像を取り込んで角膜反射を捕捉する。例えば、光学センサ３６６は、静止画像または動画を取り込むことができるカメラである。光学センサ３６６は、焦点距離、焦点、フレームレート、ＩＳＯ、センサ温度、シャッタ速度、アパーチャ、解像度等のような複数のパラメータを有する。いくつかの実施形態において、光学センサ３６６は、高フレームレートおよび高解像度を有する。光学センサ３６６は、二次元画像または３Ｄ画像のいずれかを取り込むことができる。光学センサ３６６は、眼球に入射する光源からの光に応答する角膜反射を眼球運動の範囲（例えば、最大可動範囲）にわたって捕捉することができるように配置される。例えば、リング状の光源が眼球周辺に配置される場合、光学センサ３６６は、眼球に向けてリングの中心の周り（例えば、ユーザの視線内）に配置される。あるいは、光学センサ３６６は、ユーザの主な視線の外側に存在するように軸外に配置される。一実施形態において、複数の光学センサ３６６を眼球ごとに使用して、光源からの光が眼球に入射している間に眼球の角膜反射を捕捉することができる。光学センサ３６６は、カラムセンサ、導波路等のような、角膜反射の方向を測定することができる検出器であってもよい。

光源３６２および３６４から放射された光は角膜で反射され、その後、光学センサ３６６で（例えば、画像として）捕捉される。例えば、光源３６２および３６４を起点とする矢印３６２−Ｉおよび３６４−Ｉによって表される光線は、眼球に入射する。光が人間の眼球に入射すると、眼球は角膜外表面からの反射および角膜内表面からの別の反射のような複数の反射を生じる。一実施形態において、光学センサ３６６は、取りこまれた画像における角膜外表面からの反射光を捕捉する。例えば、矢印３６２−Ｒおよび３６４−Ｒによって表される反射光は、光学センサ３６６によって取り込まれた画像において捕捉される。光学センサ３６６は、角膜内表面からの反射光を捕捉することができる。角膜からの反射（例えば、内表面および／または外表面からの反射）は、本明細書では、角膜反射と呼ばれる。角膜球視線追跡を使用して眼球モデルを生成する例示的なプロセスを、図４に関連してさらに後述する。

制御モジュール３７０は、眼球モデルを生成し、光学的動作を実行する。例えば、制御モジュール３７０は、ユーザの一方または両方の眼球の眼球モデルを生成するために較正を行う。いくつかの実施形態において、単一の制御モジュール３７０は、左眼用の１つの視線追跡ユニット３６０および右眼用の別の視線追跡ユニット３６０のような複数の視線追跡ユニット３６０を制御することができる。

図４に関連して後述する例示的な較正プロセスは、光源３６２および３６４を点灯するステップと、ユーザがＶＲヘッドセット１０５上の既知の位置を見ている間に光学センサ３６６で角膜反射を含む画像を取り込むステップと、取り込まれた画像をさらに処理して眼球モデルを生成するステップと、を含む。図５に関連して後述する例示的な通常動作モードは、ユーザが通常動作モードでＶＲヘッドセット１０５上のコンテンツを見ている間に光学センサ３６６で角膜反射を捕捉すること、および取り込まれた画像を処理して、ユーザの注視方向を決定することのような１つまたは複数の光学的動作を実行することを含む。制御モジュール３７０は、ＶＲヘッドセット１０５および／またはＶＲコンソール１１０に配置される。制御モジュール３７０は、光源３６２および３６４、ならびに光学センサ３６６が制御モジュール３７０と通信できるように、視線追跡ユニット３６０と結合される。

視線追跡システム３００は、ユーザの眼球モデルを生成する。一実施形態において、ユーザの眼球は半径の異なる２つの球３０５および３１０としてモデル化され、球３０５は眼球全体（例えば、眼球の強膜表面部分）に近似する。球３１０の一部は、眼球の角膜に近似する。球３０５の中心（または原点）は点３０６によって表され、角膜球３１０の中心は点３１１によって表される。要素３１５は眼球のレンズを表す。他の実施形態において、角膜は複雑表面としてモデル化してもよい。

人間の眼球は、眼球の表面部分を表す大きな球（すなわち、球３０５）および眼球の角膜部分を概ね表す小さな球（すなわち、球３１０）を有する２つの球を使用してモデル化することができ、２つの球は異なる半径を有し、それらの中心は互いに一致しない。角膜が眼球の小さな湾曲部分のみを形成し、それ自体球ではないことは知られているが、角膜を一部の球として近似させることができる。一実施形態において、球３０５は約２５ｍｍの半径を有し、角膜球３１０は約８ｍｍの半径を有する。球３０５と球３１０の中心は、図３に示すように互いに一致しない。ヘッドマウントディスプレイ（例えば、ＶＲヘッドセット１０５）上のコンテンツを見ている時に眼球が回旋すると、眼球回旋は角膜球３１０の中心（すなわち点３１１）の対応する変位をもたらす。追跡システム３００は、眼球回旋中の角膜球３１０の中心の動きを追跡する。いくつかの実施形態において、視線追跡システム３００は、図４に関連して後述するように、ユーザの単一の眼球のモデルを生成する。生成された眼球モデルは、角膜球３１０の半径および原点の情報を含むが、これに限定されない眼球情報を含み、本明細書では「眼球モデル情報」と呼ばれる。眼球モデル情報は、眼球の強膜表面部分に近似する球（すなわち、球３０５）の半径および原点の情報を含むことができる。一実施形態において、角膜の動きは、球３０５の固定中心３０６を中心とする回旋としてモデル化することができる。他の実施形態において、球３０５の中心３０６は、角膜位置（非球面眼球形状のモデリング、眼球運動筋肉の制御、回旋下の変形等）の関数である。生成された眼球モデル情報は、システム環境１００内またはシステム環境１００の外部に位置するデータベースに保存される。

制御モジュール３７０は、保存された眼球モデルを使用して、ユーザがコンテンツを見ている間に、通常動作モードで１つまたは複数の光学的動作（例えば、ユーザの片眼または両眼の注視方向の推定）を実行する。制御モジュール３７０は、眼球追跡情報を眼球追跡ユニット３６０から眼球モデル情報とともに受信して、ユーザの注視方向、ユーザの輻輳角（または輻輳深度）、ユーザの調節深度、ユーザの識別、眼球のねじれ状態、またはそれらのいくつかの組合せ、を特定することのような光学的動作を実行する。制御モジュール３７０は、ハードウェア、ソフトウェア、またはそれらのいくつかの組み合わせのいずれかで実施することができる。

図４は、一実施形態による、視線追跡システム（例えば、図３の視線追跡システム３００）を使用して眼球モデルを生成するための例示的な較正プロセス４００のフロー図である。図４の例示的な較正プロセス４００は、例えば、ＶＲヘッドセット１０５および／またはＶＲコンソール１１０、あるいは何らかの他のシステム（例えば、ＡＲシステム）の一部としての視線追跡システム３００によって実行されてもよい。他の実施形態において、他のエンティティがプロセスの一部または全部のステップを実行してもよい。同様に、実施形態は、異なるステップおよび／または付加的なステップを含むことができるか、または異なる順序でステップを実行することができる。図４の例示的なプロセスは、ユーザの眼球の一方の眼球モデルを生成するものであり、ユーザの他方の眼球の眼球モデルを特定するために（同時にまたは逐次に）実施されることも可能である。例示的なプロセスは、眼球モデリングのための２つの光源および１つの光学センサを使用して説明される。眼球モデルは、３つ以上の光源および／または２つ以上の光学センサを使用して生成することができる。

視線追跡システム３００は、例えば光学センサ（例えば、光学センサ３６６）に対して既知の位置に配置された２つの光源（例えば、光源３６２および３６４）を点灯することによってユーザの眼球を照明する（４１０）。これらの光源は、眼球の角膜が光を反射するようにユーザの眼球に入射する光を放射する。

視線追跡システム３００は、ユーザの眼球に入射する光の角膜反射を、１つまたは複数の画像として捕捉する（４２０）。一実施形態において、視線追跡システム３００は、角膜反射の単一の画像を取り込む。あるいは、視線追跡システム３００は、ユーザが一連の既知のターゲット（例えば、電子ディスプレイ２３５上の特定点）を注視する際に、角膜反射の複数の画像を取り込む。

視線追跡システム３００は眼球モデルを生成し、眼球モデルは、角膜球３１０の半径および原点の情報を含む。既知の位置にある２つの光源を起点とする光の角膜反射を含む、取り込まれた１つまたは複数の画像によって、取り込まれた画像のデータに適合する単一の角膜半径および角膜球の原点がもたらされる。一実施形態において、視線追跡システム３００は、基準眼球を利用する学習モデルの使用によって眼球モデルを生成する。本明細書で言及される基準眼球は、角膜球（例えば、球３１０）および眼球の強膜表面部分を表す球（例えば、球３０５）のそれぞれについて既知の半径および原点の情報を含む基準眼球モデルによる眼球である。学習モデルは、人間の眼球運動の範囲を模倣するために基準眼球を回旋させながら基準眼球の角膜反射を捕捉することを含む。学習モデルは、基準眼球の様々な動きと基準眼球の角膜反射との関連を含み、このような関連は、ユーザの眼球の眼球モデルを生成するために使用される。例えば、ステップ４２０で捕捉されたユーザの眼球の角膜反射は、基準眼球の角膜反射と比較されて、眼球モデルのためのさまざまなパラメータ（例えば、半径および原点）をユーザの眼球の角膜球３１０に外挿する。このような例においては、ユーザの眼球モデルの半径および原点の情報を推定するために、学習モデルの基準眼球モデルの半径および原点の情報が外挿される。眼球モデルの半径および原点を推定する例示的な方法を後述する。

視線追跡システム３００は、少なくとも２つの光源の角膜反射を含む取り込まれた画像に基づいて、角膜球３１０の半径を特定する（４３０）。各画像は、角膜半径および角膜位置の推定値を導出するための十分な情報を提供する。いくつかの実施形態において、眼球モデルは、固定された半径の角膜球のみを含むことができる。次いで、適切な統計モデルを使用して一連のフレームにわたる推定値を結合することによって、角膜半径推定値を精緻化することができる。例えば、角膜半径のサンプルは、一連の画像にわたる平均値について正規分布を形成することができる。一連の画像が、平均値付近の分散が小さく外れ値が少ない一組の推定値を提供する場合、角膜半径は、これらのサンプルの平均値であると仮定することができる。３つ以上の光源を用いる実施形態において、２つの光源の各セットによって予測された角膜半径の差を使用して、角膜表面の非球面モデル（例、ｂ−スプライン面、多項式面等）の情報を提供することができる。さらに他の実施形態において、一連のフレームで予測された角膜半径の差が、フレームごとの予測された注視方向と結合されて、複雑な角膜モデルの情報を提供することができる。これらのシステムにおいて、角膜は、基準原点３１１および方向によって定義される。

視線追跡システム３００は、眼球回旋の実効中心３０６および、眼球回旋中心と角膜中心とを隔てる距離（例えば、中心３０６と中心３１１との間の距離）を特定する。一実施例において、眼球中心３０６は固定点であると仮定することができる。このシステムにおいて、ユーザには基準位置から既知の角度オフセットで提示される電子ディスプレイ要素２３５上の視覚ターゲットが提示されてもよい。例えば、ターゲットは、歪曲補正されたＨＭＤの仮想レンダリング空間において、所望の角度偏差で無限遠に近づく距離に配置されてもよい。歪曲補正された仮想レンダリング空間は、ＨＭＤのユーザに対する電子ディスプレイ要素２３５上のコンテンツのコンピュータが生成した３Ｄ表現であり、表示されたコンテンツは歪曲に基づく光学誤差が補正される。視線追跡システム３００は、ユーザがこれらの較正ターゲットのそれぞれの方を注視する間に、角膜球の位置を特定し記録する（４４０）。このシステムは、眼球中心３０６から角膜中心３１１を通るベクトルに沿って位置するようにユーザの視線をモデル化することができる。眼球中心３０６の位置およびＨＭＤの仮想レンダリング空間に対する眼球の向きは、３０６から３１１までの距離が変化しないという仮定を最もよく満足し、かつ３０６から記録された角膜中心３１１への視線ベクトルが、提示されたターゲットの角度オフセットと最も一致する点３０６および向きとして推測することができる。正確な眼球中心３０６は、角膜位置（および／またはより複雑なモデルにおける角膜の向き）の関数としてモデル化することができる。さらに他の実施形態において、眼球中心３０６を使用して、注視方向が特定され、かつ球面眼球モデルから生理学的偏位がモデル化される。

眼球モデルを使用したユーザの注視方向の特定
図５は、一実施形態による、既知の眼球モデルを使用してユーザの注視方向を特定する例示的なプロセスのフロー図である。図５の例示的なプロセス５００は、例えば、ＶＲヘッドセット１０５および／またはＶＲコンソール１１０あるいは何らかの他のシステム（例えば、ＡＲシステム）の一部としての視線追跡システム３００によって実行されてもよい。他の実施形態において、他のエンティティがプロセスの一部または全部のステップを実行してもよい。同様に、実施形態は、異なるステップおよび／または付加的なステップを含むことができるか、または異なる順序でステップを実行することができる。例示的なプロセス５００は、システムが１つまたは複数の眼球モデルに部分的に基づいてユーザの眼球の動きを追跡する、視線追跡システム３００の通常動作モードを説明する。

視線追跡システム３００は、角膜球３１０の半径および原点の情報を含む眼球モデル情報を取得する（５１０）。一実施形態において、視線追跡システム３００は、視線追跡システム３００内から眼球モデル情報を取得する（例えば、図４に関連して上述したように、視線追跡システム３００は眼球モデルを生成する）。あるいは、視線追跡システム３００は、視線追跡システム３００の外部の眼球モデル情報を取得する（例えば、ＶＲコンソール１１０またはシステム環境１００の外部）。

視線追跡システム３００は、例えば光学センサ（例えば、光学センサ３６６）に対して既知の位置に配置された２つの光源（例えば、光源３６２および３６４）を点灯することによって、ユーザの眼球を照明する（５２０）。これらの光源は、眼球の角膜が光を反射するようにユーザの眼球に入射する光を放射する。

視線追跡システム３００は、視聴者がＨＭＤ（例えば、ＶＲヘッドセット１０５、ＡＲヘッドセット、または視線追跡を使用する何らかの他のシステム）上のコンテンツを見ている間に、ユーザの角膜（すなわち角膜反射）の１つまたは複数の画像を取り込む（５３０）。一実施形態において、視線追跡システム３００は角膜反射の単一の画像を取り込み、角膜反射は２つ以上の光源からの光の反射を含む。あるいは、視線追跡システム３００は角膜反射の複数の画像を取り込み、角膜反射は２つ以上の光源からの光の反射を含む。

視線追跡システム３００は、取り込まれた画像の角膜反射データを使用してユーザの注視方向を特定する（５４０）。一実施形態において、視線追跡システム３００は、角膜半径および原点の情報を含む取得した眼球モデル情報を使用して角膜反射データを外挿する。例えば、視線追跡システム３００は、導出された眼球中心３０６から角膜球３１０の中心３１１を通る光線を投射することによって、ユーザが電子ディスプレイ２３５上で注視している特定点の位置データを特定する。この光線の原点および方向は、導出された眼球の向きを使用して、ＨＭＤの歪曲補正された仮想レンダリング空間の３Ｄ座標空間に変換される。

いくつかの実施形態において、視線追跡システム３００は、ユーザの注視方向を特定することに加えて、またはそれに代えて、他の光学的動作を実行する。他の光学的動作は、例えば、ユーザの輻輳角（または輻輳深度）、ユーザの調節深度、ユーザの識別、眼球のねじれ状態、またはそれらのいくつかの組み合わせを特定することを含む。例示的な光学的動作のいくつかには、光学的動作を実行するためにユーザの眼球両方の捕捉された角膜反射データを必要とする場合があり、例示的なプロセス５００の１つまたは複数のステップは、そのような光学的動作を実行するために、ユーザの他方の眼球に対して（同時にまたは逐次に）さらに実行されてもよい。

一回限りの単一点較正
図６は、一実施形態による、視線追跡システム（例えば、視線追跡システム６００）によって実行されるＨＭＤシステム（例えば、ＶＲヘッドセット１０５を含むＶＲシステム１００）のための例示的な一回限りの単一点較正を示す。図６に示され説明された視線追跡システム６００は、図３に関連して上述した視線追跡システム３００の実施形態である。図６において、視線追跡システム６００は、視線追跡ユニット３６０および制御モジュール６７０を含む。ここで、制御モジュール６７０は、図３に関連して上述した制御モジュール３７０の実施形態である。図６の例示的な較正システムは、ユーザの眼球の１つの較正について説明する。１つまたは複数の他の実施形態において、図６の例示的な較正システムは、ユーザの他方の眼球を（同時にまたは逐次に）較正することも可能である。いくつかの実施形態において、較正プロセスは、各眼球の瞳孔軸を特定すること、および／または瞳孔軸と眼球の真の視線との間の角度のずれを特定することを含む。いくつかの実施形態において、ＨＭＤシステムの較正は、単一のユーザの眼球の画像に基づいており、１回のみ実行される。例えば、較正は、ユーザがＶＲヘッドセット１０５を装着した最初の時点で実行され、ＶＲヘッドセット１０５は、ユーザに対応する較正データを同一ユーザによる将来の使用のためにメモリに保存する。

図６は、異なる半径の２つの球３０５および３１０としてモデル化されたユーザの眼球を示す。球３０５は眼球の強膜表面部分に近似し、球３１０の一部は眼球の角膜に近似する。球３０５の中心は点３０６によって表され、角膜球３１０の中心は点３１１によって表される。図６において、要素３１５は眼球のレンズを表し、要素６１６は眼球の瞳孔を表す。すなわち、要素６１６は、光が網膜に当たることを可能にする眼球の虹彩中央の円形開口部を表す。図６はまた、要素６１６が存在する３Ｄ平面６１５と、角膜球３１０の角膜表面６１０に垂直であって３Ｄ平面６１５を起点とする光線６２０とを示す。光線６２０は、眼球の瞳孔軸を表し、図６に関連して後述する較正プロセスによって特定される。

制御モジュール６７０は、ＨＭＤシステムの較正を実行する。較正は、瞳孔が存在する３Ｄ平面および眼球の瞳孔軸を特定することを含む。本明細書で説明される３Ｄ平面は、瞳孔が存在する３Ｄ空間の平面である。３Ｄ空間は、例えば光学センサ３６６の位置のような基準点に対して定義される。較正は、角膜反射を有する眼球の画像を取り込むことと、取り込まれた画像を処理して、カメラから軸外に回旋した眼球の屈折力のある角膜を通して瞳孔を見る場合に、（眼球の軸上の観察位置における）円から複雑な形状までに及び得る瞳孔の形状を識別することとを含む。例えば、瞳孔の形状は、眼球の瞳孔および虹彩に関連する、１つまたは複数の光波長における反射強度の変化を調べることによって、瞳孔（典型的には黒色）と虹彩（典型的には、茶色、ヘーゼル、緑色、灰色、または青色のいずれか、あるいはそれらのいくつかの組み合わせ）との間の境界を特定することによって識別することができる。識別された瞳孔の形状および眼球モデル情報を使用して３Ｄ平面が特定される。

一実施形態において、瞳孔の３Ｄ平面は、眼球の軸上の観察位置からの眼球回旋の予測量に基づいて識別された瞳孔の形状を修正することによって識別される。図２Ｂに関連して上述したように、瞳孔の形状は、眼球の軸上の観察位置において円である。眼球回旋の予測量を特定する例示的な方法は、瞳孔の学習モデルに基づいており、基準眼球モデルによる基準眼球（すなわち、図３に関連して上述した基準眼球および基準眼球モデル）の瞳孔の形状は、人間の眼球運動の範囲を模倣するために眼球を回旋させながら捕捉される。基準眼球の様々な動きと識別された瞳孔の形状（例えば、様々な種類の楕円）との間の関連を学習することによって、ユーザの瞳孔の３Ｄ平面により、ユーザがＶＲヘッドセット１０５のコンテンツを見ている間に捕捉される任意の瞳孔の形状について推定することができる。一実施形態において、識別された３Ｄ平面は、瞳孔の学習モデルで使用される基準眼球モデルと、取得されたユーザの眼球の眼球モデルとの間の差を考慮するように修正される。例えば、瞳孔学習モデルで使用される基準眼球モデルの角膜球の半径および原点と、取得されたユーザの眼球モデルの角膜球の半径および原点とを比較して、瞳孔の識別された３Ｄ平面の位置を修正する。

いくつかの実施形態において、制御モジュール６７０は、特定された瞳孔軸（すなわち、光線６２０によって識別された瞳孔軸）と、眼球の中心窩領域の位置によって表されるユーザの真の視線との間の角度のずれを特定する。図６において、眼球の中心視の中心位置（例えば、中心窩領域）は点６３０で表され、眼球の真の視線は中心窩６３０の中心と要素６１６とを結ぶ線６３５で表される。眼球の中心窩は、眼球の真の視線（高精細な中心視覚または中心視とも呼ばれる）に関与する。中心窩は、眼球内の小さな、密集した錐体で構成された中心部のくぼみであり、網膜上に位置する。瞳孔軸６２０と眼球の真の視線との間に角度のずれがあるのは、瞳孔軸６２０を網膜まで後方に延長した場合、中心窩の位置が瞳孔軸６２０と一致しないためである。

瞳孔軸６２０および補正角度は、ＨＭＤシステムの較正中に特定することができる。一実施形態において、ユーザは、ＶＲヘッドセット１０５のディスプレイを介して既知の方向でユーザに提示されるターゲットを注視するように求められる。ユーザがターゲットを注視している間に、瞳孔の形状を捕捉するために、ユーザの眼球の１つまたは複数の画像が取り込まれる。ユーザの眼球の位置が既知であり（例えば、角膜球の半径および原点を有する眼球モデル情報、ならびに／または瞳孔位置を提供する３Ｄ平面および瞳孔軸）、かつ提示されたターゲットの方向も既知であることから、ターゲットを見ている間のユーザの視線は特定される。例えば、ユーザの視線は、ターゲット方向に平行な線、およびＨＭＤの座標系を基準とする光学センサ３６６の位置のような基準点に対する３Ｄ空間における既知の瞳孔位置とによって特定される。

制御モジュール６７０は、瞳孔学習モデルおよびユーザの眼球モデル情報（例えば、図４に関連して上述したように生成されたユーザの眼球モデル）を使用することによって、ユーザの眼球が行うであろう、軸上の位置（すなわち、光学センサ３６６の所与の位置の光学センサ３６６で円形の瞳孔の形状となる眼球位置）からディスプレイ上のターゲットを見る位置への予測回旋量を推定する。ユーザがターゲットを注視する間に取り込まれた瞳孔の１つまたは複数の画像から、瞳孔の形状が識別される（例えば、楕円形）。基準眼球の瞳孔学習モデルを使用して、制御モジュール６７０は、識別された瞳孔の形状について基準眼球の予測回旋量を推定する。次いで、制御モジュールは、基準眼球モデルとユーザの眼球モデルとの間の差を組み入れるために予測回旋量に補正係数を適用する。次いで、補正された予測眼球回旋量をユーザの眼球の瞳孔軸６２０に適用し、ユーザがターゲットを注視しているときの状況に対応する修正された瞳孔軸の位置を特定する。ユーザがターゲット位置を注視しているときの修正された瞳孔軸とユーザの視線との間の角度デルタは、瞳孔軸６２０と眼球の真の視線との間の角度のずれを表す。瞳孔軸および／または瞳孔軸とユーザの真の視線との間の角度のずれの特定を含む、ＨＭＤシステムを較正する例示的なプロセスを、図６を参照して後述する。

図７は、一実施形態による、ＨＭＤシステム（例えば、ＶＲヘッドセット１０５を含むＶＲシステム環境１００またはＡＲヘッドセットを含むＡＲシステム）の一回限りの単一点較正の例示的なプロセス７００のフロー図である。図７の例示的な較正プロセス７００は、例えば、ＶＲヘッドセット１０５および／またはＶＲコンソール１１０、あるいは何らかの他のシステム（例えば、ＡＲシステム）の一部としての視線追跡システム６００によって実行されてもよい。他の実施形態において、他のエンティティがプロセスのステップの一部または全部を実行してもよい。同様に、実施形態は、異なるステップおよび／または付加的なステップを含むことができるか、または異なる順序でステップを実行することができる。図７の較正プロセスは、ユーザの眼球の一方に関してＨＭＤシステムを較正するためのものであり、ユーザの他方の眼球に関してＨＭＤシステムを較正するために（同時にまたは逐次に）実施することもできる。いくつかの実施形態において、較正プロセス７００は１回のみ実行される。例えば、較正プロセス７００は、ユーザがＶＲヘッドセット１０５を装着した最初の時点で実行され、ＶＲヘッドセット１０５は、ユーザに対応する較正データを同一ユーザによる将来の使用に利用するためにメモリに保存する。

視線追跡システム６００は、ユーザの眼球の角膜球３１０の半径および原点の情報を含む眼球モデル情報を取得する（７１０）。一実施形態において、視線追跡システム６００は、視線追跡システム６００内から眼球モデル情報を取得する（例えば、図４に関連して上述したように、視線追跡システム３００は眼球モデルを生成する）。あるいは、視線追跡システム６００は、視線追跡システム６００の外部（例えば、ＶＲコンソール１１０またはシステム環境１００の外部）から眼球モデル情報を取得する。

視線追跡システム６００は、例えば光学センサ（例えば、光学センサ３６６）に対して既知の位置に配置された２つの光源（例えば、光源３６２および３６４）を点灯することによってユーザの眼球を照明する（７２０）。これらの光源は、眼球の角膜が光を反射するようにユーザの眼球に入射する光を放射する。

視線追跡システム６００は、ユーザの角膜（すなわち、角膜反射）の１つまたは複数の画像を取り込む（７３０）。角膜反射を捕捉した画像は、図４に関連して上述した画像と極めて類似する。一実施形態において、視線追跡システム６００は、１つまたは複数の画像を取り込む（７３０）。１つまたは複数の実施形態において、画像は、ユーザが１つまたは複数の既知のターゲット（例えば、電子ディスプレイ２３５上の特定点）を注視している間に取り込まれる。例えば、単一点較正の実行は、ユーザが電子ディスプレイ２３５上の１つの特定ターゲットを注視するだけでよい。あるいは、システム６００は、ユーザが通常動作モードでＶＲヘッドセット１０５に表示されたコンテンツを見ているときに画像を取り込む。

視線追跡システム６００は、取り込まれた１つまたは複数の画像に基づいて、眼球の要素６１６の形状を識別する（７４０）。眼球がコンテンツを視聴しており光学センサ３６６が軸上にある（すなわち、眼球の瞳孔軸６２０に沿う）とき、瞳孔の形状は光学センサ３６６によって取り込まれた画像において円として捕捉される。眼球がコンテンツを視聴しており光学センサ３６６が軸外にある（すなわち、眼球の瞳孔軸６２０に沿わない）とき、瞳孔の形状は楕円に近似する。一実施形態において、瞳孔の形状は、単一の取り込まれた画像を処理することによって識別される。例えば、眼球の瞳孔および虹彩に関連する様々な波長の光の反射強度の変化を調べることにより、瞳孔と虹彩との間の境界を特定することによって、瞳孔の形状を識別することができる。瞳孔は典型的には黒色であり、虹彩は、典型的には、茶色、ヘーゼル、緑色、灰色、または青色のうちの１つである。瞳孔が虹彩領域内の開口部であることから、瞳孔の形状は、黒い瞳孔と、虹彩領域に関連する１つまたは複数の光波長における異なる反射強度との間の境界を観察することによって識別することができる。あるいは、瞳孔の形状は、複数の取り込まれた画像に対応する拡散光を処理することによって識別される。

一実施形態において、識別された瞳孔の形状は、角膜の屈折による歪曲を補正するように修正される。例えば、角膜の屈折による歪曲の補正は、最初は典型的な人間の眼球に基づいて（例えば、経験的データに基づいて）実施することができ、その後、特定のユーザの眼球についてより正確に学習することができる。いくつかの実施形態において、角膜は、人間の角膜の典型的な屈折率（例えば、１．３７７）を有する球に近似することができる。瞳孔の３Ｄ平面６１５は、角膜表面６１０の後方の典型的な距離（例えば、３ｍｍ）に位置すると仮定することができる。角膜球３１０の半径および角膜球３１０までの距離は、図３、図４および図５に関連して上述したプロセスを介して知ることができる。要素６１６のエッジ上にあると特定された画像平面の所与の点に関して、既知の形状、距離、および仮定された屈折率の角膜によって屈折されたときに、この点を通過する光線を検出することができる。屈折された光線は、その後、実際の瞳孔境界の位置で平面６１５によって示される瞳孔に当たるまで、さらに仮定された距離を進む。他の実施形態において、角膜屈折率および瞳孔平面までの距離は、較正中に測定されるか、または使用経過にわたって学習されてもよい。

視線追跡システム６００は、カメラの歪曲および角膜の屈折によって引き起こされる画像センサ空間内の瞳孔エッジ形状の収差をまず補正すること、次いで静止時の瞳孔の形状（例、円）を得るための平面上の最良の投影を検出することによって、瞳孔が存在する平面６１５を識別する（７５０）。

視線追跡システム６００は、眼球の瞳孔軸（例えば、瞳孔軸６２０）を特定し、瞳孔軸６２０は、平面６１５を起点とし、かつ眼球の角膜球３１０の表面に垂直である光線を識別することによって導出される（７６０）。瞳孔の３Ｄ平面（例えば、線６１５によって表される平面）は、角膜球の中心（例えば、点３１１）からずれているため、瞳孔の３Ｄ平面を起点とし、かつ眼球の角膜球３１０の表面に垂直である単一の光線が存在する。

一実施形態において、特定された瞳孔軸６２０は、瞳孔軸６２０と、眼球の中心窩領域の中心６３０の位置によって表される眼球の真の視線との間の角度のずれを特定するために使用される。角度のずれを特定する１つの例示的な方法は、ユーザにＶＲヘッドセット１０５のディスプレイ上の既知の位置に配置されたターゲットを注視するように求め、その後、瞳孔軸（すなわち、提示されたターゲットを注視するときにユーザの眼球が受ける予測回旋量を調整した瞳孔軸６２０）と提示されたターゲットへの視線との間の角度デルタを測定するものである。測定された角度デルタは、瞳孔軸６２０と眼球の真の視線との間の角度のずれを表す。

視線追跡システム６００は、特定された瞳孔軸６２０および／または角度のずれに部分的に基づいて、１つまたは複数の光学的動作を実行する（７７０）。例示的な光学的動作は、ユーザの注視方向、ユーザの輻輳角（または輻輳深度）、ユーザの調節深度、ユーザの識別、および眼球のねじれ状態、またはそれらのいくつかの組み合わせを特定することを含む。例えば、ユーザが注視している場所（すなわち、ユーザの視線）の特定は、ユーザが特定方向を見ている間の瞳孔の画像を取り込むことによって行うことができる。上述したように、視線追跡システム６００は、取り込まれた瞳孔画像と瞳孔学習モデルの画像の瞳孔とを比較することができ、取得した眼球モデル情報を使用してユーザの視線を推定することができる。ユーザの識別および眼球のねじれ状態のような他の例示的な動作は、眼球の虹彩を追跡することによって、特定することができる。例えば、ユーザの虹彩を（例えば、１つまたは複数の眼球について）画像に取り込むことができ、（例えば、ＶＲヘッドセット１０５、ＶＲコンソール１１０、またはクラウドの）メモリに保存することができる。保存された虹彩画像は、その後、取り込まれた虹彩画像と比較することによってユーザを識別するために、将来使用することができる。例示的な光学的動作のいくつかは、光学的動作を実行するために、ユーザの眼球両方の捕捉された角膜反射のデータおよび／または較正データ（例えば、瞳孔軸および／または真の視線に対する角度のずれ）を必要とする場合があり、そのような光学的動作を実行するために、例示的なプロセス４００、５００および／または７００の１つまたは複数のステップをユーザの他方の眼球に対して（同時にまたは逐次に）実施することができる。

追加構成情報
実施形態の前述の説明は、例示の目的のために提示されており、網羅的であること、または、開示された正確な形態に特許権を限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして多くの修正および変形が可能であることを理解することができる。

本明細書で使用される言語は、主として読みやすさおよび説明を目的として選択されており、本発明の主題を線引きまたは画定するように選択されていない可能性がある。したがって、特許権の範囲は、この詳細な説明によってではなく、むしろ、これに基づいて本願について発行される任意の特許請求の範囲によって限定されるものである。したがって、実施形態の開示は、特許権の範囲を例示することを意図しているが、以下の特許請求の範囲に規定される特許権の範囲を限定するものではない。

Claims (29)

1. ＨＭＤ（ヘッドマウントディスプレイ）であって、
   視線追跡システムを備え、該視線追跡システムは、
   ユーザの眼球を照明するように構成された２つ以上の光源と、
   前記ユーザの眼球の角膜から反射した光を含むユーザの眼球の１つまたは複数の画像を捕捉するように構成された検出器と、
   制御モジュールと、を含み、該制御モジュールは、
   前記ユーザの眼球の捕捉された１つまたは複数の画像に基づいて前記ユーザの眼球のモデルを生成し、生成されたモデルが、前記ユーザの眼球の強膜表面部分に近似する第１の球と、前記ユーザの角膜に近似する第２の球とを含み、
   生成された前記ユーザの眼球のモデルに部分的に基づいて光学的動作を実行するように構成されている、ＨＭＤ。
2. 前記検出器が前記角膜から反射した光に基づいて前記２つ以上の光源の１つまたは複数の画像を捕捉することができるように、前記２つ以上の光源が互いに対して位置決めされる、請求項１に記載のＨＭＤ。
3. 前記２つ以上の光源が電子ディスプレイの一部である、請求項１に記載のＨＭＤ。
4. 前記２つ以上の光源のそれぞれが、異なる波長の光を放射するように構成される、請求項１に記載のＨＭＤ。
5. 前記２つ以上の光源のそれぞれによって放射される光が、異なる周波数および異なる振幅で変調される、請求項１に記載のＨＭＤ。
6. 前記２つ以上の光源がリングパターンを形成する、請求項１に記載のＨＭＤ。
7. 前記検出器が、前記ユーザの眼球の複数の画像を捕捉することができる光学センサである、請求項１に記載のＨＭＤ。
8. 前記制御モジュールが、
   前記ユーザの眼球の前記１つまたは複数の捕捉された画像を受信し、該画像は１つまたは複数の角膜反射を含み、
   前記第１の球に関連する半径および原点、ならびに前記第２の球に関連する半径および原点を含む前記眼球のモデルを生成し、
   生成されたモデルを前記ＨＭＤに関連付けられたデータベースに保存するようにさらに構成されている、請求項１に記載のＨＭＤ。
9. 前記制御モジュールが、前記第１の球に関連する前記原点を中心とする回旋として角膜の動きをモデル化するようにさらに構成される、請求項８に記載のＨＭＤ。
10. 前記制御モジュールが、
    基準眼球の学習モデルを読み込み、前記学習モデルは、前記基準眼球の１つまたは複数の動きと前記基準眼球に関連する角膜反射との間の関連を含み、
    前記ユーザの眼球の画像を捕捉し、１つまたは複数の画像は、１つまたは複数の角膜反射を含み、
    前記基準眼球の前記１つまたは複数の角膜反射と捕捉された画像に関連する前記角膜反射との間の比較に基づいて、前記眼球のモデルに関連する１つまたは複数のパラメータ値を外挿するようにさらに構成されている、請求項１に記載のＨＭＤ。
11. 光学的動作が、ユーザの輻輳角を特定することと、ユーザの調節深度を特定することと、前記ユーザを識別することと、眼球のねじれ状態を特定することと、またはそれらのいくつかの組み合わせとから成る群から選択される、請求項１に記載のＨＭＤ。
12. ＨＭＤ（ヘッドマウントディスプレイ）であって、
    ユーザに画像を表示するように構成された電子ディスプレイと、
    前記電子ディスプレイから受信した光を拡大するように構成された光学ブロックと、
    視線追跡システムと、を備え、該視線追跡システムは、
    前記ユーザの眼球の表面を照明するように構成された２つ以上の光源と、
    前記ユーザの眼球の角膜から反射した光を含むユーザの眼球の１つまたは複数の画像を捕捉するように構成された検出器と、
    制御モジュールと、を含み、該制御モジュールは、
    前記ユーザの眼球の捕捉された１つまたは複数の画像に基づいて前記ユーザの眼球のモデルを生成し、生成されたモデルが、前記ユーザの眼球の強膜表面部分に近似する第１の球と、前記ユーザの角膜に近似する第２の球とを含み、
    生成された前記ユーザの眼球のモデルに部分的に基づいて光学的動作を実行することを決定するように構成されている、ＨＭＤ。
13. 前記検出器が前記角膜から反射した光に基づいて前記２つ以上の光源の１つまたは複数の画像を捕捉することができるように、前記２つ以上の光源が互いに対して位置決めされる、請求項１２に記載のＨＭＤ。
14. 前記２つ以上の光源が前記電子ディスプレイの一部である、請求項１２に記載のＨＭＤ。
15. 前記制御モジュールが、
    前記ユーザの眼球の捕捉された１つまたは複数の捕捉された画像を受信し、該画像は１つまたは複数の角膜反射を含み、
    前記第１の球に関連する半径および原点、ならびに前記第２の球に関連する半径および原点を含む前記眼球のモデルを生成し、
    生成されたモデルを前記ＨＭＤに関連付けられたデータベースに保存するように構成されている、請求項１２に記載のＨＭＤ。
16. 前記制御モジュールが、前記第１の球に関連する前記原点を中心とする回旋として角膜の動きをモデル化するようにさらに構成される、請求項１５に記載のＨＭＤ。
17. 前記制御モジュールが、
    基準眼球の学習モデルを読み込み、前記学習モデルは、前記基準眼球の１つまたは複数の動きと前記基準眼球に関連する角膜反射との間の関連を含み、
    前記ユーザの眼球の画像を捕捉し、１つまたは複数の画像は、１つまたは複数の角膜反射を含み、
    前記基準眼球の前記１つまたは複数の角膜反射と捕捉された画像に関連する前記角膜反射との間の比較に基づいて、前記眼球のモデルに関連する１つまたは複数のパラメータ値を外挿するようにさらに構成されている、請求項１２に記載のＨＭＤ。
18. 光学的動作が、ユーザの輻輳角を特定することと、ユーザの調節深度を特定することと、前記ユーザを識別することと、眼球のねじれ状態を特定することと、またはそれらのいくつかの組み合わせとから成る群から選択される、請求項１２に記載のＨＭＤ。
19. 方法であって、
    ユーザの眼球を２つ以上の光源からの光で照明するステップと、
    検出器において反射したユーザの眼球の１つまたは複数の画像を捕捉するステップと、１つまたは複数の画像は、前記ユーザの眼球の角膜から反射した光を含み、
    前記ユーザの眼球の捕捉された１つまたは複数の画像に基づいて前記ユーザの眼球のモデルを生成するステップと、生成されたモデルが、前記ユーザの眼球の強膜表面部分に近似する第１の球と、前記ユーザの角膜に近似する第２の球とを含み、
    生成された前記ユーザの眼球のモデルに部分的に基づいて光学的動作を実行するステップとを含む、方法。
20. 前記検出器が前記角膜から反射した光に基づいて前記２つ以上の光源の１つまたは複数の画像を捕捉することができるように、前記２つ以上の光源が互いに対して位置決めされる、請求項１９に記載の方法。
21. 前記２つ以上の光源が電子ディスプレイの一部である、請求項１９に記載の方法。
22. ユーザの眼球を２つ以上の光源からの光で照明するステップは、ユーザの眼球を少なくとも２つの異なる波長の光で照明することを含む、請求項１９に記載の方法。
23. 前記２つ以上の光源のそれぞれによって放射される光が、異なる周波数および異なる振幅で変調される、請求項１９に記載の方法。
24. 前記２つ以上の光源がリングパターンを形成する、請求項１９に記載の方法。
25. 前記検出器が、前記ユーザの眼球の複数の画像を捕捉することができる光学センサである、請求項１９に記載の方法。
26. 前記ユーザの眼球の前記１つまたは複数の捕捉された画像を受信するステップと、該画像は１つまたは複数の角膜反射を含み、
    前記第１の球に関連する半径および原点、ならびに前記第２の球に関連する半径および原点を含む前記眼球のモデルを生成するステップと、
    生成されたモデルをＨＭＤ（ヘッドマウントディスプレイ）に関連付けられたデータベースに保存するステップとをさらに含む、請求項１９に記載の方法。
27. 前記第１の球に関連する前記原点を中心とする回旋として角膜の動きをモデル化するステップをさらに含む、請求項２６に記載の方法。
28. 基準眼球の学習モデルを読み込むステップと、前記学習モデルは、前記基準眼球の１つまたは複数の動きと前記基準眼球に関連する角膜反射との間の関連を含み、
    前記ユーザの眼球の画像を捕捉するステップと、１つまたは複数の画像は、角膜反射を含み、
    前記基準眼球の前記１つまたは複数の角膜反射と捕捉された画像に関連する前記角膜反射との間の比較に基づいて、前記眼球のモデルに関連する１つまたは複数のパラメータ値を外挿するステップとをさらに含む、請求項１９に記載の方法。
29. 光学的動作が、ユーザの輻輳角を特定することと、ユーザの調節深度を特定することと、前記ユーザを識別することと、眼球のねじれ状態を特定することと、またはそれらのいくつかの組み合わせとから成る群から選択される、請求項１９に記載の方法。