JP6586523B2 - 構造化光を用いた視線追跡 - Google Patents

Description

本開示は一般に、視線追跡に関し、具体的には、仮想現実及び／又は拡張現実の分野における視線追跡のための構造化光の使用に関する。

視線追跡とは、使用者の注視方向を検出するプロセスを指し、これは３次元（３Ｄ）空間内における眼球の角度方位の検出を含んでいてもよい。視線追跡は、眼球の位置（例えば、眼球の中心）、眼球の回旋（すなわち、瞳孔軸の周囲での眼球のロール）、眼球の形状、眼球の現在の焦点距離、瞳孔拡張、眼球の状態のその他の特徴、又はこれらの何れかの組合せの検出をさらに含んでいてもよい。１つの既知の視線追跡技術は、使用者のビデオ画像を撮影し、マシンビジョンアルゴリズムを使って使用者の瞳孔の方位を特定することである。しかしながら、この技術は、実質的な演算リソースを必要とし、睫毛と瞼により眼が塞がることによる影響を受けやすい。さらに、この方法は、虹彩と瞳孔との間のコントラストに依存し、これは異なる使用者間で不変ではない。それゆえ、ビデオに基づく瞳孔追跡は、特定の使用者の視線を正確に追跡することができないかもしれない。仮想現実ヘッドセット等の頭部装着型ディスプレイ（HMD : head-mounted display）に関して、この技術にはまた別の欠点もある。この追跡方法に必要な画像の撮影に使用される種類のカメラは、比較的高価で、大きい。同様に、この技術では、使用者の眼までのカメラの近さについて制約が設けられるかもしれない。さらに、この技術は、カメラが使用者の注視軸からずれた位置に置かれると、性能が低下するかもしれない。しかしながら、視線追跡がＨＭＤで使用される場合、視線追跡システムの検出素子は小さく、眼に近く、使用者の注視軸からずれていることが好ましいかもしれない。

使用者の眼球の方位及び／又は位置を追跡するための視線追跡ユニットが記載される。視線追跡ユニットは、１つ又は複数の構造化光発光器と、１つ又は複数のカメラと、を含む。いくつかの実施形態において、視線追跡システム又はその素子は、頭部装着型ディスプレイの一部、例えば仮想現実システムの一部であってもよい。１つ又は複数の構造化光発光器は、眼を構造化光パターン（例えば、赤外線パターン）で照明する。１つ又は複数のカメラは、構造化光パターンで照明された眼の画像を撮影する（例えば、画像をビデオストリームとして撮影する）。発光器とカメラとの間の視差により、照明パターンの画像（例えば、ビデオストリームのフレーム）において歪みが生じるかもしれない。いくつかの実施形態において、視線追跡ユニットは、眼球表面のうち、構造化光が入射する部分の形状を、撮影された画像の中に見られる歪曲に基づいて検出する。検出された眼球形状をモデルと比較することに基づいて、視線追跡ユニットは眼球の方位を推定する。眼球の方位の推定は、例えば、眼球のヨー、ピッチ、及びロール回転及び眼球の並進ベクトルの測定を含んでいてもよい。いくつかの実施形態において、眼球の方位の推定は、眼球の中心窩軸の方向の推定を含む。眼球の瞳孔軸の方向を推定し、瞳孔及び中心窩軸間のずれを利用することにより、中心窩軸の方向を間接的に推定してもよい。推定された方位は、例えば注視方向、瞳孔間距離、その他の判断に使用されてもよい。

いくつかの実施形態において、視線追跡を始める前に、システムは使用者の眼球のモデルのトレーニングによって校正されてもよい。モデルのトレーニングは、電子ディスプレイを制御して、電子ディスプレイ上のある位置に視覚インディケータを表示することと、カメラによって、発光器により眼へと投射された第二の歪曲照明パターンの第二の画像を撮影すること、及び撮影された第二の画像に基づいて、及び視覚インディケータの位置に基づいてモデルをトレーニングすることを含んでいてもよい。

ある実施形態による、仮想現実システムを含むシステム環境の略図である。 ある実施形態によるＨＭＤの略図である。 ある実施形態による、構造化光発光器とカメラを含む構造化光システムの略図である。 ある実施形態による視線追跡ユニットのブロック図である。 いくつかの実施形態による、眼球運動を追跡するためのプロセスを示すブロック図である。 いくつかの実施形態による、眼球の方位を推定するプロセスを示すブロック図である。 いくつかの実施形態による、歪曲されていない構造化光投射の１例と、構造化光パターンの５例である。

図面は、本開示の実施形態を例示の目的でのみ示している。当業者であれば以下の説明から容易にわかるように、本明細書で例示される構造と方法の代替的な実施形態も、本明細書に記載の開示の原理、又は得られる利点から逸脱せずに利用してよい。

システムの概要
図１は、仮想現実（ＶＲ : virtual reality）システム環境１００のブロック図であり、その中でＶＲコンソール１１０が動作する。図１に示されるシステム環境１００は、ＨＭＤ １０５と、イメージングデバイス１３５と、ＶＲ入力インタフェース１４０と、を含み、これらは各々、ＶＲコンソール１１０に連結されている。図１は、１つのＨＭＤ １０５、１つのイメージングデバイス１３５、及び１つのＶＲ入力インタフェース１４０を含む例示的なシステム環境１００を示しているが、他の実施形態では、システム環境１００の中にこれらのコンポーネントがいくつ含められていてもよい。例えば、各々がそれに関連付けられるＶＲ入力インタフェース１４０を有し、１つ又は複数のイメージングデバイス１３５によりモニタされる複数のＨＭＤ １０５があってもよく、各ＨＭＤ １０５、ＶＲ入力インタフェース１４０、及びイメージングデバイス１３５はＶＲコンソール１１０と通信する。代替的な構成において、異なる、及び／又は追加のコンポーネントがシステム環境１００内に含められてもよい。同様に、コンポーネントの１つ又は複数の機能は、本明細書に記載されているものとは異なる方法にてコンポーネント間で分散させることができる。例えば、ＶＲコンソール１１０の機能の一部又は全部はＨＭＤ １０５の中に含められてもよい。

ＨＭＤ １０５は頭部装着型ディスプレイであり、それが使用者に対してメディアを提供する。ＨＭＤ １０５により提供されるメディアの例には、１つ又は複数の画像、ビデオ、オーディオ、又はこれらの何れかの組合せが含まれる。いくつかの実施形態において、オーディオは、ＨＭＤ １０５、ＶＲコンソール１１０、又はその両方から音声情報を受け取ってこの音声情報に基づいて音声データを提供する外部機器（例えば、スピーカ及び／又はヘッドフォン）を介して提供される。ＨＭＤ １０５のいくつかの実施形態について、図２及び３に関して後でさらに説明する。ＨＭＤ １０５は、１つ又は複数の硬質本体（rigid body）を含んでいてもよく、これは相互に剛体的に、又は非剛体的に結合されていてもよい。硬質本体間の剛体的結合によれば、結合された硬質本体は１つの硬質物体として機能する。これに対して、硬質本体間の非剛体的結合によれば、硬質本体は相互に関して移動できる。いくつかの実施形態において、ＨＭＤ １０５はまた、拡張現実（ＡＲ : augmented reality）ＨＭＤとして機能してもよい。これらの実施形態において、ＨＭＤ １０５は、物理的な実世界の環境の表示をコンピュータ生成要素（例えば、ビデオ、音声等）で拡張する。

ＨＭＤ １０５は、電子ディスプレイ１１５と、光学系ブロック１１８と、１つ又は複数のロケータ１２０（locator）と、１つ又は複数の位置センサ１２５と、慣性計測ユニット（ＩＭＵ : inertial measurement unit）１３０と、視線追跡ユニット１６０と、を含む。ＨＭＤ １０５のいくつかの実施形態は、本明細書に記載のものとは異なるコンポーネントを有する。同様に、機能はＶＲシステム環境１００の中の他のコンポーネント間で、本明細書に記載のものとは異なる方法で分散させることができる。例えば、視線追跡ユニット１６０の機能のいくつかは、ＶＲコンソール１１０により実行されてもよい。電子ディスプレイ１１５は、ＶＲコンソール１１０から受け取ったデータに従って使用者に対して画像を表示する。

光学系ブロック１１８は、電子ディスプレイ１１５から受け取った光を拡大し、画像光に関連する光学的エラーを補正し、補正された画像光がＨＭＤ １０５の使用者に対して提供される。光学素子は、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、又は電子ディスプレイ１１５から発せられた画像光に影響を与える他のあらゆる適当な光学素子等の光学素子である。さらに、光学系ブロック１１８は、異なる光学素子の組合せを含んでいてもよい。いくつかの実施形態において、光学系ブロック１１８の中の光学素子の１つ又は複数は、部分的反射リフレクタ又は反射防止コーティング等の１つ又は複数のコーティングを有していてもよい。

光学系ブロック１１８による画像光の拡大により、電子ディスプレイ１１５を物理的に小型化、軽量化し、より大型のディスプレイよる消費電力を小さくすることができる。これに加えて、拡大によって、表示メディアの視野が拡大されるかもしれない。例えば、表示メディアの視野は、表示メディアが使用者の瞬間視野のほとんど全部（例えば、対角１１０°）、及び場合によって全部を使って提供されるというものである。いくつかの実施形態において、光学系ブロック１１８は、その有効焦点距離が電子ディスプレイ１１５までの空間より大きくなるように構成され、それによって電子ディスプレイ１１５により投射される画像光が拡大される。それに加えて、いくつかの実施形態において、拡大量は、光学素子を追加し、又は取り除くことによって調整されてもよい。

光学系ブロック１１８は、１種類又は複数種類の光学エラーを補正するように構成されてもよい。光学エラーの例としては、２次元光学エラー、３次元光学エラー、又はそれらの何れかの組合せが含まれる。２次元エラーは、２次元で発生する光学収差である。２次元エラーの種類の例には、樽型歪曲、糸巻型歪曲、縦コマ収差、横コマ収差、又は他のあらゆる種類の２次元光学エラーが含まれる。３次元エラーは、３次元で発生する光学エラーである。３次元エラーの種類の例には、球面収差、色収差、像面歪曲、非点収差、又は他のあらゆる種類の３次元光学エラーが含まれる。いくつかの実施形態におい、表示のために電子ディスプレイ１１５に提供されるコンテンツは事前に歪曲され、光学系ブロック１１８は、それがコンテンツに基づき生成される電子ディスプレイ１１５からの画像光を受け取った時にこの歪曲（distortion）を補正する。

ロケータ１２０は、ＨＭＤ １０５上の特定の位置に、相互に関して、及びＨＭＤ １０５上の具体的な基準位置に関して位置付けられるオブジェクトである。ロケータ１２０は、発光ダイオード（ＬＥＤ）、コーナキューブリフレクタ、反射マーカ、ＨＭＤ １０５が動作する環境と対照的な種類の光源、又はこれらの何れかの組合せであってもよい。ロケータ１２０がアクティブである（すなわち、ＬＥＤ又はその他の種類の発光デバイス）である実施形態において、ロケータ１２０は、可視バンド（約３８０ｎｍ〜７５０ｎｍ）、赤外（ＩＲ）バンド（約７５０ｎｍ〜１７００ｎｍ）、紫外バンド（１０ｎｍ〜３８０ｎｍ）、電磁スペクトルの他の何れかの部分、又はこれらの何れかの組合せの光を発してもよい。

いくつかの実施形態において、ロケータ１２０は、ＨＭＤ １０５の、ロケータ１２０により発せられ、もしくは反射される光の波長に対して透過性であるか、又はロケータ１２０により発せられ、もしくは反射される光の波長を実質的に減衰させないように薄い外面の下に位置付けられる。それに加えて、いくつかの実施形態において、ＨＭＤ １０５の外面又はその他の部分は、光の可視波長バンドにおいて不透過性である。それゆえ、ロケータ１２０は、ＩＲバンドでは透過性であるが、可視バンドにおいては不透過性の外面の下で、ＩＲバンドの光を発してもよい。

ＩＭＵ １３０は、位置センサ１２５の１つ又は複数から受け取った測定信号に基づいて高速校正データを生成する電子デバイスである。位置センサ１２５は、ＨＭＤ １０５の動きに応答して１つ又は複数の測定信号を生成する。位置センサ１２５の例には、１つ又は複数の加速度計、１つ又は複数のジャイロスコープ、１つ又は複数の磁力計、動きを検出する他の適当な種類のセンサ、ＩＭＵ １３０のエラー補正に使用されるある種のセンサ、又はこれらの何れかの組合せが含まれる。位置センサ１２５は、ＩＭＵ １３０の外、ＩＭＵ １３０の中、又はこれらの何れかの組合せに位置付けられてもよい。

１つ又は複数の位置センサ１２５からの１つ又は複数の測定信号に基づき、ＩＭＵ １３０は、ＨＭＤ １０５の初期位置に関するＨＭＤ １０５の推定位置を示す高速校正データを生成する。例えば、位置センサ１２５は、並進運動（translational motion）（前／後、上／下、左／右）を測定する複数の加速度計と、回転運動（例えば、ピッチ、ヨー、ロール）を測定する複数のジャイロスコープを含む。いくつかの実施形態において、ＩＭＵ １３０は、測定信号を高速サンプリングし、ＨＭＤ １０５の推定位置をサンプリングデータから計算する。例えば、ＩＭＵ １３０はある時間にわたり加速度計から受け取った測定信号を積分して速度ベクトルを推定し、ある時間わたる速度ベクトルを積分して、ＨＭＤ １０５上の基準点の推定位置を判断する。あるいは、ＩＭＵ １３０は、サンプリングされた測定信号をＶＲコンソール１１０に提供し、これが高速校正データを判断する。基準点は、ＨＭＤ １０５の位置を説明するために使用されてもよい点である。基準点は一般に、空間内のある点として定義されてもよいが、実際には、基準点はＨＭＤ １０５内のある点（例えば、ＩＭＵ １３０の中心）として定義される。

ＩＭＵ １３０は、ＶＲコンソール１１０から１つ又は複数の校正パラメータを受け取る。後でさらに説明するように、１つ又は複数の校正パラメータは、ＨＭＤ １０５の追跡を保持するために使用される。ＩＭＵ １３０は、受け取った校正パラメータに基づいて、１つ又は複数のＩＭＵパラメータ（例えば、サンプルレート）を調整してもよい。いくつかの実施形態において、特定の校正パラメータにより、ＩＭＵ １３０は基準点の初期位置を更新し、そのため、これは基準点の次の校正位置に対応する。基準点の初期位置を基準点の次の校正位置として更新することは、判断された推定点に関連する累積エラーを軽減させるのに役立つ。累積エラーは、ドリフトエラーとも呼ばれ、時間が経つと基準点の推定位置が基準点の実際の位置から「ドリフト」する原因となる。

視線追跡ユニット１６０は、使用者の眼球の角度方位（angular orientation）を推定する。眼球の方位は、ＨＭＤ １０５内での使用者の注視方向に対応する。使用者の眼球の方位は、本明細書において、中心窩（眼の網膜の光受容体の密度が最も高い領域）と眼球の瞳孔の中心との間の軸である中心窩軸の方向と定義される。一般に、使用者の眼がある点に固定されると、使用者の眼球の中心窩軸はその点と交差する。瞳孔軸は眼球のまた別の軸であり、これは瞳孔の中心を通る、角膜表面に垂直な軸と定義される。瞳孔軸は一般に、中心窩軸と直接的に整列しない。両方の軸は瞳孔の中心で交差するが、中心窩軸の方位は瞳孔軸から横方向に約−１°〜８°、縦方向に±４°だけずれる。中心窩軸は、眼球後方にある中心窩に応じて定義されるため、中心窩軸は、いくつかの視線追跡の実施形態においては直接検出することが困難又は不可能でありうる。したがって、いくつかの実施形態において、瞳孔軸の方位が検出され、中心窩軸は検出された瞳孔軸に基づいて推定される。

一般に、眼球の運動は眼球の角回転だけでなく、眼球の並進、眼球の回旋の変化、及び／又は眼球の形状の変化にも対応する。視線追跡ユニット１６０はまた、眼球の並進、すなわち眼窩に関する眼球の位置の変化も検出してよい。いくつかの実施形態において、眼球の並進は直接検出されないが、検出された角度方位からのマッピングに基づいて近似される。視線追跡ユニットの検出コンポーネントに関する眼球の位置の変化に対応する眼球の並進もまた検出されてよい。この種の並進は、例えば、使用者の頭部でのＨＭＤ １０５の位置のシフトにより発生するかもしれない。視線追跡ユニット１６０はまた、眼球回旋、すなわち瞳孔軸の周囲での眼球回転も検出してよい。視線追跡ユニット１６０は、検出された眼球回旋を用いて、瞳孔軸からの中心窩軸の方位を推定してもよい。視線追跡ユニット１６０はまた、眼球の形状の変化も追跡してよく、これは、傾斜もしくは拡大縮小線形変換又は捻り歪み（例えば、捩れ変形による）として近似されてもよい。視線追跡ユニット１６０は、瞳孔軸の角度方位、眼球の並進、眼球の回旋、及び眼球の現在の形状の何れかの組合せに基づいて中心窩を推定してもよい。

視線追跡ユニット１６０は少なくとも１つの発光器を含み、これは構造化光パターン（structured light pattern）を眼球の全体または一部に投射する。すると、このパターンは、眼球の形状に投射され、これはオフセット角度から見たときに構造化光パターンの認識可能な歪曲を発生させるかもしれない。視線追跡ユニット１６０はまた、少なくとも１つのカメラを含み、これは眼球に投射された光パターンの歪曲（もしあれば）を検出する。カメラは、発光器とは異なる軸上で方向付けられ、眼球の上の照明パターンを撮影する。このプロセスは、本明細書において、眼球の「スキャン（scanning）」と呼ぶ。眼球表面上の照明パターンの変形を検出することにより、視線追跡ユニット１６０は眼球のスキャン部分の形状を判断できる。したがって、撮影された歪曲光パターンは、眼球の照明部分の３Ｄ形状を示している。眼球の、発光器により照明された部分の３Ｄ形状を導き出すことにより、眼球の方位を導き出すことができる。視線追跡ユニットはまた、カメラにより撮影された照明パターンの画像に基づいて、瞳孔軸、眼球の並進、眼球の回旋、及び眼球の現在の形状も推定できる。

方位は使用者の両眼について判断されてもよいため、視線追跡ユニット１６０は、使用者がどこを見ているか判断できる。ＨＭＤ １０５は、例えば使用者の瞳孔間距離（IPD : inter-pupillary distance）を判断するため、注視方向を判断するため、奥行きの手がかり（例えば、使用者の主視線の外のぼやけた画像）を導入するため、ＶＲメディア内の使用者のインタラクションに関する経験則（例えば、受けた刺激に応じた何れかの特定の主題、物体、又はフレームについて費やされた時間）を収集するため、一部に使用者の眼球のうちの少なくとも一方の方位に基づく他の何れかの機能のため、又はこれらの何れかの組合せのために眼球の方位を使用できる。使用者の注視方向の判断は、使用者の左右の眼の判断された方位に基づくコンバージェンスポイント(point of convergence)の判断を含んでいてもよい。コンバージェンスポイントは、使用者の両眼の２つの中心窩軸が交差する点（又はこれら２軸間の最も近い点）であってもよい。使用者の注視方向は、コンバージェンスポイントを通り、使用者の両眼の瞳孔間の中間点を通る線の方向であってもよい。視線追跡ユニット１６０について、図３及び図４に関して以下にさらに説明する。

イメージングデバイス１３５は、ＶＲコンソール１１０から受け取った校正パラメータにしたがって低速校正データを生成する。低速校正データには、イメージングデバイス１３５により検出可能なロケータ１２０の観察位置を示す１つ又は複数の画像が含まれる。イメージングデバイス１３５は、１つ又は複数のカメラ、１つ又は複数のビデオカメラ、１つ又は複数のロケータ１２０を含む画像を撮影可能な他のあらゆる機器、又はそれらの何れかの組合せが含まれる。それに加えて、イメージングデバイス１３５は、１つ又は複数のハードウェア及びソフトウェアフィルタを含んでいてもよい（例えば、信号対ノイズ比を高めるために使用される）。イメージングデバイス１３５は、イメージングデバイス１３５の視野内で、ロケータ１２０から発せられた、又は反射された光を検出するように構成される。ロケータ１２０がパッシブ要素（例えば、再帰反射器）を含む実施形態において、イメージングデバイス１３５は、ロケータ１２０のいくつか又は全部を照明する光源を含んでいてもよく、これは光をイメージングデバイス１３５の光源に向かって再帰反射させる。低速校正データは、イメージングデバイス１３５からＶＲコンソール１１０へと伝えられ、イメージングデバイス１３５はＶＲコンソール１１０から１つ又は複数の校正パラメータを受け取って、１つ又は複数のイメージングパラメータ（例えば、焦点距離、焦点、フレームレート、ＩＳＯ、センサ温度、シャッタスピード、開口等）を調整する。

ＶＲ入力インタフェース１４０は、使用者が動作要求をＶＲコンソール１１０に送信できるようにするためのデバイスである。動作要求は、特定の動作を実行させる要求である。例えば、動作要求は、アプリケーションを開始もしくは終了するため、又はアプリケーション内の特定の動作を実行するためのものであってもよい。ＶＲ入力インタフェース１４０は、１つ又は複数の入力デバイスを含んでいてもよい。入力デバイスの例には、キーボード、マウス、ゲームコントローラ、又は動作要求を受け取り、受け取った動作要求をＶＲコンソール１１０に伝えるのに適した他のあらゆる適当なデバイスが含まれる。ＶＲ入力インタフェース１４０が受け取った動作要求はＶＲコンソール１１０に伝えられ、これが動作要求に対応する動作を実行する。いくつかの実施形態において、ＶＲ入力インタフェース１４０は、ＶＲコンソール１１０から受け取った命令にしたがって、使用者に対して触覚フィードバックを提供してもよい。例えば、触覚フィードバックは、動作要求を受け取ったときに提供され、又は、ＶＲコンソール１１０は、ＶＲ入力インタフェース１４０に命令を伝えて、ＶＲコンソール１１０がある動作を実行するとＶＲ入力インタフェース１４０に触覚フィードバックを発生させる。

ＶＲコンソール１１０は、イメージングデバイス１３５、ＨＭＤ １０５、及びＶＲ入力インタフェース１４０のうちの１つ又は複数から受け取った情報にしたがって、使用者に対して提示されるようにＨＭＤ １０５にメディアを提供する。図１に示される例では、ＶＲコンソール１１０は、アプリケーションストア１４５と、追跡モジュール１５０と、仮想現実（ＶＲ）エンジン１５５と、を含む。ＶＲコンソール１１０のいくつかの実施形態は、図１に関して説明されたものとは異なるモジュールを有する。同様に、以下にさらに説明する機能は、ＶＲコンソール１１０のコンポーネント間で、上述のものとは異なる方法で分散されてもよい。

アプリケーションストア１４５は、ＶＲコンソール１１０により実行されるための１つ又は複数のアプリケーションを保存する。アプリケーションは、プロセッサにより実行されると使用者に提示されるためのコンテンツを生成する命令群である。あるアプリケーションにより生成されるコンテンツは、ＨＭＤ １０５の動き又はＶＲ入力インタフェース１４０を介して使用者から受け取った入力に応答していてもよい。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリーション、又は他の適当なアプリケーションが含まれる。

追跡モジュール１５０は、１つ又は複数の校正パラメータを使ってＶＲシステム環境１００のセンサを校正し、１つ又は複数の校正パラメータを調整して、ＨＭＤ １０５の位置の判断におけるエラーを減らしてもよい。例えば、追跡モジュール１５０は、イメージングデバイス１３５の焦点を調整して、ＨＭＤ １０５上の観察されたロケータに関するより正確な位置を得る。さらに、追跡モジュール１５０により実行される校正はまた、ＩＭＵ １３０から受け取った情報も考慮する。それに加えて、ＨＭＤ １０５の追跡が失われると（例えば、イメージングデバイス１３５が少なくとも閾値の数のロケータ１２０の視線を見失うと）、追跡モジュール１５０はシステム環境１００の一部又は全部を再校正する。

追跡モジュール１５０は、イメージングデバイス１３５からの低速校正情報を使ってＨＭＤ １０５の運動を追跡する。追跡モジュール１５０は、低速校正情報とＨＭＤ １０５のモデルからの観察されたロケータを使ってＨＭＤ １０５の基準点の位置を判断する。追跡モジュール１５０はまた、高速校正情報からの位置情報も使ってＨＭＤ １０５の基準点の位置を判断する。それに加えて、いくつかの実施形態において、追跡モジュール１５０は、高速校正情報、低速校正情報、又はそれらの何れかの組合せの一部を使って、ＨＭＤ １０５の未来の位置を予想してもよい。追跡モジュール１５０は、ＨＭＤ １０５の推定又は予想された未来の位置をＶＲエンジン１５５に提供する。

ＶＲエンジン１５５は、システム環境１００内でアプリケーションを実行し、追跡モジュール１５０からＨＭＤ １０５の位置情報、加速度譲情報、速度情報、予想された未来の位置、又はこれらの何れかの組合せを受け取る。ＶＲエンジン１５５は、受け取った情報に基づいて、使用者に対して提示されるためにＨＭＤ １０５に提供されるべきコンテンツを判断する。例えば、受け取った情報が、使用者が左を見たことを示している場合、ＶＲエンジン１５５は、仮想環境内で使用者の運動をそのまま映すＨＭＤ １０５のためのコンテンツを生成する。それに加えて、ＶＲエンジン１５５は、ＶＲ入力インタフェース１４０から受け取った動作要求に応答してＶＲコンソール１１０上で実行されるアプリケーションの中のある動作を実行し、その動作が実行されたというフィードバックを使用者に提供する。提供されたフィードバックは、ＨＭＤ １０５を介した視覚又は聴覚フィードバックか、ＶＲ入力インタフェース１４０を介した触覚フィードバックであってもよい。

図２は、ある実施形態によるＨＭＤの略図である。ＨＭＤ ２００はＨＭＤ １０５のある実施形態であり、前側硬質本体２０５と、バンド２１０と、を含む。前側硬質本体２０５は、電子ディスプレイ１１５（図２では図示せず）の電子ディスプレイ素子と、光学系ブロック１１８（図２では図示せず）と、ＩＭＵ １３０と、１つ又は複数の位置センサ１２５と、視線追跡ユニット１６０と、ロケータ１２０と、を含む。図２により示される実施形態において、位置センサ１２５はＩＭＵ １３０の中に位置付けられ、ＩＭＵ １３０も位置センサ１２５も使用者には見えない。

ロケータ１２０は、前側硬質本体２０５上の、相互に関する、及び基準点２１５に関する固定位置に位置付けられる。図２の例では、基準点２１５はＩＭＵ １３０の中心に位置付けられている。ロケータ１２０の各々は光を発し、これはイメージングデバイス１３５により検出可能である。ロケータ１２０又はロケータ１２０の一部は、図２の例において、前面２２０Ａ、上面２２０Ｂ、下面２２０Ｃ、右面２２０Ｄ、及び左面２２０Ｅ上にある。

ＨＭＤ ２００は、視線追跡ユニット１６０を含む。視線追跡ユニット１６０は、構造化光パターンを使用者の眼に投射する構造化光発光器と、眼の照明部分を検出するためのカメラと、を含んでいてもよい。発光器とカメラは、使用者の注視軸から外して位置付けられてもよい。図２において、視線追跡ユニット１６０は、使用者の注視軸より下に位置付けられているが、視線追跡ユニット１６０は、その代わりに別の箇所に設置することもできる。また、いくつかの実施形態において、使用者の左眼のための少なくとも１つの視線追跡ユニットと使用者の右眼のための少なくとも１つの追跡ユニットがある。

図３は、眼球３３０を繰り返しスキャンすることによって使用者の眼球３３０の位置を追跡する構造化光視線追跡システム３００を示している。図３は、眼球３３０の断面を含む。いくつかの実施形態において、構造化光視線追跡システム３００は、ＨＭＤ（例えば、ＨＭＤ １０５又はＨＭＤ ２００）の視線追跡ユニット１６０のコンポーネントである。代替的な実施形態において、構造化光視線追跡システム３００は、ＡＲ ＨＭＤ、ＨＭＤではないＶＲ／ＡＲシステム、又は視線追跡を利用する他の何れかのシステムの一部である。構造化光視線追跡システム３００は、構造化光発光器３１０と、カメラ３２０と、を含む。図３は、１つの構造化光発光器３１０と、片眼３３０の方位を検出する１つのカメラ３２０を示している。しかしながら、代替的な実施形態においては、複数の構造化光発光器又は複数のカメラが片眼について利用されてもよい。同様に、使用者の眼の各々について、対応する構造化光発光器とカメラが利用されてもよい。

構造化光発光器３１０は、使用者の眼の一部に対して構造化光パターンＰを発する。構造化光発光器３１０は、赤外（ＩＲ）光源と構造化光素子を含む。ＩＲ光源（例えば、レーザダイオード、発光ダイオード等）はＩＲ光（例えば、８５０ｎｍ）を構造化光素子に向けて発し、それがＩＲ光を（角度座標内で）構造化されたＩＲ光に変換する。いくつかの実施形態において、構造化光発光器３１０のＩＲ光源は連続的スペクトルのＩＲ光を発して、光源のコヒーレンスを低下させる。いくつかの実施形態において、構造化光発光器３１０は１つの周波数又は狭帯域スペクトル光を出力する。代替的実施形態において、構造化光発光器３１０は、Ｎ個の単独周波数又は、中心周波数の異なるＮ個の狭帯域を出力する。

構造化光素子は、ＩＲ光源により照明されると構造化光を出力する光学素子である。構造化光素子は、例えばアポダイゼーション（apodization）及び／又は位相マスク、回折素子、複屈折板、ＩＲ光源により照明されると構造化光を出力する他の何れかの光学素子、又はこれらの何れかの組合せであってもよい。それに加えて、いくつかの実施形態において、ＩＲ光源は、時間、周波数、又はその両方において変調されてもよい。構造化光発光器３１０は、本明細書においてはＩＲスペクトル内の構造化光を発するものと記載されているが、代替的実施形態は、可視スペクトル（約３９０ｎｍ〜７００ｎｍ）等、非ＩＲ波長の光を発する構造化光発光器３１０を含む。

使用者の片眼に関して、構造化光パターンＰは、眼球３３０の一部の表面に入射する。構造化光パターンは、一部に、例えば照明された表面の幾何学形状及び発光器からカメラの幾何学配置に基づいて歪み、歪曲照明パターンを形成する。歪曲照明パターンの変化は、眼球３３０の表面の一部の３Ｄ構造を示している。いくつかの実施形態において、眼のその部分は強膜３４５、角膜３４０、又はその両方をカバーする。いくつかの実施形態において、複数の構造化光発光器が構造化光パターンを片眼３３０に投射する。いくつかの実施形態において、第一の構造化光発光器は第一の構造化光パターンを使用者の眼の一方に投射し、第二の構造化光発光器がもう一方の眼に第二の構造化光パターンを投射する。

カメラ３２０は、眼球３３０の、構造化光発光器３１０により照明された部分の上の歪曲光パターンを検出する。カメラ３２０は、赤外線カメラ（すなわち、赤外周波数の画像を撮影するように設計されたカメラ）であってもよい。カメラは、構造化光発光器３１０により発せられた光のバンド幅に対して感受性を有するデジタルイメージセンサを備える近赤外線カメラであってもよい。カメラ３２０は、ＣＣＤ又はＣＭＯＳデジタルイメージセンサと光学素子を含む。光学素子は、１つ又は複数のレンズ、ハイパス、ローパス、もしくはバンドパスフィルタ、偏光板、開口絞り、ダイアフラム、ＩＲ光の加工に適した他の何れかの光学素子、又はこれらの何れかの組合せであってもよい。光学素子は光を出力し、これはＣＣＤ又はＣＭＯＳデジタルセンサによって捕捉され、デジタル信号に変換される。

カメラ３２０は、歪曲照明パターンを検出して、捕捉した光をデジタル画像Ｉに変換する。デジタル画像Ｉは、二値画像（すなわち、各画素が二値を有する画像）、又はシングルチャネル画像（各画素が１つの浮動小数点又は整数の値にマッピングされる画像）であってもよい。構造化光発光器３１０がＮ個の異なる周波数又はＮ個の異なる中心周波数の光パターンを発する実施形態において、ＩはＮチャネル画像であってもよい。

カメラ３２０は、構造化光発光器３１０が投射するバンド内の電磁放射を検出するように特に構成されていてもよい。カメラ３２０は、狭帯域バンドパスフィルタを利用してもよく、これは構造化光発光器３１０により発せられるスペクトル外の光をフィルタにより除去する。このバンドか比較的小さい場合、信号対ノイズ比（ＳＮＲ）は大きく、これによって画像はカメラ ３２０により高速で撮影されることが可能となる。いくつかの実施形態において、カメラ３２０は高周波数カメラであるが、高い周波数が不要であれば、カメラ３２０は最大周波数より低い周波数で画像を撮影してもよい。画像がカメラ３２０により撮影されるときのフレームレートは一般に、６０Ｈｚ以上であるが、いくつかの実施形態では、より低いレートで画像を撮影してもよい。構造化光発光器３１０は、カメラ３２０が画像を撮影しているときにのみ光を発するように構成されてもよい。

カメラ３２０は、通常の動作条件では第一の周波数で画像を撮影してもよいが、特定の条件で、カメラ３２０がより高い周波数で画像を撮影するようにトリガしてもよい。例えば、視線追跡ユニット１６０が眼球３３０の方位を検出できない場合、そのスキャンは「不良スキャン」と考えられてもよい。「不良スキャン」は、使用者の瞬きによりトリガされるかもしれない。「不良スキャン」の場合、このスキャンは考慮されなくてもよく、カメラ３２０は、成功したスキャンが記録されるまで、眼球３３０の別のスキャンを直ちに捕捉するようにトリガすることができる。このようにして、視線追跡ユニット１６０は、確実に眼球の方位の追跡が可能なかぎり正確で最新の状態であるようにすることができ、不要な計算や電力消費を必要としない。

眼球３３０は、角膜３４０、瞳孔３４２、水晶体３４３、虹彩３４４、強膜３４５、及び中心窩３４６を含む。強膜３４５は、眼球３３０の比較的不透明な（通常、目に見えるように白い）外側部分であり、これは「白目」と呼ばれることが多い。角膜３４０は、眼の虹彩と瞳孔をカバーする湾曲面である。角膜３４０は基本的に、電磁スペクトルの可視バンド（約３８０ｎｍ〜７５０ｎｍ）及び近赤外線領域（最高約１，４００ナノメートル）において透過性である。水晶体３４３は、網膜（眼球３３０の後方）に光を収束させる役割を果たす透明な構造である。虹彩３４４は、瞳孔３４２と同心の、薄い、色の着いた円形の膜である。虹彩３４４は眼球の色の着いた部分であり、これは収縮して、光が眼球３３０に入るときに通る円形の穴である瞳孔３４２の大きさを変化させる。中心窩３４６は網膜内の窪みである。中心窩３４６は、視力の最も高い領域に対応する。

眼球３３０の回転と運動により、眼球表面のうち、構造化光発光器３１０により照明される部分は可変的であるかもしれない。いくつかの実施形態において、構造化光発光器３１０は、角膜３４０がほぼ透過性であるスペクトル（例えば、近ＩＲ又は可視スペクトル）の光を投射する。構造化光パターンの一部が角膜３４０を通り、虹彩３４４を照明する場合、その結果として得られる、虹彩の略平坦な界面上の照明パターンは、角膜３４０の表面の何れかの光学的パワーに応じて歪曲する。虹彩３４４の瞳孔３４２内の領域では、照明パターンの強度は著しく低下する。いくつかの実施形態において、瞳孔３４２への照明パターンは無視できると考えられる。視線追跡ユニット１６０はカメラ３２０により撮影された画像の歪曲した円形の照明されていない部分を瞳孔３４２として特定し、瞳孔３４２の位置に基づいて眼球３３０の角度方位を判断してもよい。

いくつかの実施形態において、構造化光発光器３１０は、角膜３４０がほぼ不透過性のスペクトル（例えば、波長が１．５μｍより大きいＩＲ光）を投射し、カメラ３２０（例えば、遠赤外線カメラ）がその結果として得られる照明パターンを検出する。角膜３４０が構造化光パターンにより照明されると、視線追跡ユニット１６０は、眼球の角度方位及び／又は並進を角膜３４０の曲率に基づいて推定してもよい。角膜３４０はほぼ楕円体の強膜３４５から外側に突出しているため、視線追跡ユニット１６０は、角膜３４０の曲率を検出することによって眼球３３０の方位を推定してもよい。視線追跡ユニット１６０はまた、角膜−強膜界面、すなわち角膜３４０の表面と強膜３４５の表面が交差する概して円形の輪郭を検出することによって、眼球の方位を推定してもよい。視線追跡ユニット１６０はまた、角膜３４０の頂点、すなわち角膜３４０のうち眼球３３０の中心から最も遠くまで延びる部分を検出することによって、眼球の方位を推定してもよい。

眼球の瞳孔軸３３５と中心窩軸３３８が図３に示されている。瞳孔軸３３５と中心窩軸３３８は、眼球３３０が動くと変化する。図３において、眼球３３０は、瞳孔軸３３５が水平な状態で描かれている。したがって、図３の中心窩軸３３８は、水平面の約６°下向きである。図３はまた、発光器３１５の軸とカメラ３２５の軸も示している。図３は、構造化光発光器３１０とカメラ３２０が瞳孔軸３３５上にも中心窩軸３３８上にもない実施形態を示している。構造化光発光３１０とカメラ３２０は、眼球３３０の視野の外にあってもよい。

図４は、１つの実施形態による視線追跡ユニット４００の詳細図を示す高レベルブロック図である。視線追跡ユニット４００のいくつかの実施形態は、本明細書に記載されているものとは異なるコンポーネントを有する。同様に、機能は、本明細書に記載されているものとは異なる方法にてコンポーネント間で分散させることができる。視線追跡ユニット４００は、モデルストア４１０と、校正モジュール４２０と、構造化光発光器４３０と、カメラ４４０と、構造化光パターンコントローラ４５０と、眼球方位推定モジュール４６０と、を含む。いくつかの実施形態において、視線追跡ユニット４００は、ＨＭＤ １０５の視線追跡ユニット１６０である。他の実施形態において、視線追跡ユニット４００は、ＡＲシステム等、使用者の眼球運動を追跡する他の何れかのシステムの一部である。視線追跡ユニット４００は、使用者の両眼を追跡してもよく、複数の構造化光発光器と複数のカメラを含んでいてもよい。しかしながら、図３と同様に、視線追跡ユニット４００は本明細書では片眼、１つの構造化光発光器４３０、及び１つのカメラ４４０に関して説明されている。

モデルストア４１０は、使用者の眼球のモデルＭを保存するメモリであり、これは、画像Ｉと比較して眼球の現在の方位を推定するために使用される。モデルストア４１０は、ＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、又はこれらの何れかの組合せ等のメモリである。モデルストア４１０は、仮想現実（ＶＲ）システム環境１００のより大きなデジタルメモリの一部であってもよい。モデルストア４１０の中に保存されているモデルＭは、眼球表面の３Ｄモデルとすることができる。使用者の両眼がスキャンされる実施形態において、モデルストア４１０は、各眼につき１つの２つのモデル、Ｍ１及びＭ２を含んでいてもよい。

いくつかの実施形態において、Ｍは眼球の表面幾何学形状を近似する３Ｄモデルである。３Ｄモデルは、画定された２つの直交軸を有していてもよく、その周囲でその眼球モデルが回転する。それゆえ、３Ｄモデルは、２つの角度α（ヨー）及びβ（ピッチ）を含んでいてもよく、これらは眼球の中心に合わせられた方位に関する眼球の方位を特定する（すなわち、α＝β＝０°はまっすぐ前を見ている眼球に対応する）。α及びβは、中心窩軸の角方向に対応してもよい。Ｍはまた、ロール角γを含んでいてもよく、これは眼球のロール（すなわち、回旋）に対応する。Ｍにはさらに、並進ベクトル［ｘ_０，ｙ_０，ｚ_０］^Ｔを取り入れてもよく、これはデカルト座標系内の３Ｄモデルの並進を特定する。いくつかの実施形態において、瞳孔軸の角度、すなわち（α，β）は並進ベクトル［ｘ_０，ｙ_０，ｚ_０］^Ｔにマッピングされる。眼球の方位の検出が瞳孔の検出を含む実施形態において、Ｍには瞳孔径ｄを取り入れていてもよい。いくつかの実施形態において、中心窩軸は、瞳孔軸の角度、［ｘ_０，ｙ_０，ｚ_０］^Ｔ、γ、及びＭに記憶された中心窩の位置に対応するパラメータに基づいて計算される。いくつかの実施形態において、視線追跡は、眼球の３Ｄモデルが眼球のスキャン部分に最も密接に適合するものになるようなα及びβの値を見つけることからなっていてもよい。いくつかの実施形態において、視線追跡は、αとβ、瞳孔軸の角度、［ｘ_０，ｙ_０，ｚ_０］^Ｔ、γ、及びｄの何れかの組合せを用いて、眼球のスキャン部分をＭにマッチさせることを含む。

モデルＭは、３Ｄ空間内に埋め込まれた眼球の２Ｄ表面の数学的モデルであってもよい。Ｍは、連続的であっても、離散点から構成されてもよい。例えば、デカルト空間内で、ｘ、ｙ、及びｚ軸はそれぞれ眼球の中心軸、眼球の中心軸と直交する水平軸、及び垂直軸に対応する。モデルは関数Ｘ（ｙ，ｚ，α，β）を含んでいてもよく、その中で（α，β）の各組は、ｙ−ｚ平面からｘ軸に突出する表面を生成する。いくつかの実施形態において、αとβは、

の表面に適用される回転変形の角度に対応する。例えば、（ｘ，ｙ，ｚ）＝（０，０，０）が眼球モデルの回転中心に対応する場合、この回転は回転マトリクスＲ_ｚ（α）Ｒ_ｙ（β）により表されてもよく、Ｒ_ｚ（α）とＲ_ｙ（β）は、従来定義されているようにヨー及びピッチマトリクスである。モデルＭはまた、眼球の並進と眼球の回旋に対応するパラメータも含んでいてよい。

同様に、Ｍは極座標の関数を含んでいてもよく、関数の形態はＲ（θ，Φ）である。極座標の原点が、眼球がその周囲で回転する点と定義されている場合、眼球表面のモデルは、Ｒ（θ−α，Φ−β）により与えられてもよい。

いくつかの実施形態において、Ｍは３Ｄ表面の数学的モデルではなく、画像生成関数である。眼球モデルＭは、画像生成関数Ｉ_Ｍ（α，β）とすることができ、これはα及びβの各値に関する２Ｄ画像を戻す。Ｉ_Ｍ（α，β）はまた、並進ベクトルとロール角（γ）等の追加の入力も含んでいてよく、それによってα、β、γ、及び［ｘ_０，ｙ_０，ｚ_０］^Ｔの何れかの組合せが画像にマッピングされる。画像生成関数Ｉ_Ｍ（α，β）は、モデルストア４１０の中に保存された画像の有限集合から１つの画像を選択してもよい。あるいは、Ｉ_Ｍ（α，β）は、連続関数（すなわち、これは整数、浮動小数点、またその他のコンピュータ実装数値方式を介して実装されるため、ほぼ連続的）であってもよい。

いくつかの実施形態において、Ｍは画像集合からなり、各画像がα及びβの値にマッピングされる。代替的実施形態において、画像生成関数Ｉ_Ｍ（α，β）にα及びβの正確な値に関する画像がない場合、α及びβに近い方位に対応する画像を合わせて補間し、合成画像を作ることができ、これはＩ_Ｍ（α，β）により戻される。視線追跡ユニット４００によって複数の構造化光パターンが使用される場合、モデルＭは各構造化光パターンについて画像生成関数を有するべきである。

Ｍは、眼球の３Ｄモデルを含んでいてもよく、これは、入力構造化光パターンＰと共に、画像の生成に使用される。この画像生成関数Ｉ_Ｍ（α，β，Ｐ）は、眼球の３Ｄモデル上に構造化光パターンの数学的モデル（例えば、光線モデル）をレンダリングすることにより具体化されてもよい。Ｉ_Ｍ（α，β，Ｐ）により出力された画像は、α、β、及びＰの所与の値についてカメラ３２０により撮影されると予想される画像の近似であってもよい。

いくつかの実施形態において、全体的表面ではなく、モデルＭは眼球の形状を近似的に特定する多数のパラメータからなる。例えば、これらのパラメータは、眼球の平均半径、眼球の強膜の平均半径、強膜の形状を楕円体として近似する３つのパラメータからなる集合、眼球の角膜半径、強膜からの角膜の突出の測定値、角膜の形状を特定するパラメータ集合、及び眼球の回転中心に対応しうる。追加のパラメータを使って、パラメータにより特定される理想モデルからの偏差を考慮してもよい。例えば、血管に起因する眼球表面上の出っ張りは、Ｍの中でこれらの追加のパラメータにより考慮されてもよい。

校正モジュール４２０は、校正シーケンス中に視線追跡の前のモデルＭを生成し、又はトレーニングする。校正モジュール４２０は、１つ又は複数のプロセッサ上に実装されるソフトウェアモジュール、専用のハードウェアユニット、又はこれらの何れかの組合せである。校正モジュール４２０により実行される校正シーケンスは、カメラ４４０と構造化光発光器４３０を用いた眼球の反復的スキャンを含んでいてもよい。１つの実施形態において、使用者は、ＨＭＤ １０５の電子ディスプレイ１１５の上に表示される特定の仮想物体又は視覚的インディケータを見るように指示される。使用者がその仮想インディケータを見ている間に眼球の一部をスキャンできる。このようにして、視線追跡ユニット４００は、眼球の既知の方位で眼球のサンプルスキャンを捕捉できる。これらのサンプルスキャンは、補間によりモデルＭとすることができ、これがモデルストア４１０の中に保存される。校正モジュール４２０がＭを生成したところで、視線追跡を始めてもよい。一般に、モデルＭを特定の使用者の眼球についてトレーニングした状態での視線追跡は、このようなモデルを用いない場合の視線追跡より正確である。いくつかの実施形態において、校正モジュール４２０は、追跡中にＭの更新を続ける。いくつかの実施形態において、システムは、人の眼球の統計的基準に基づく名目モデルＭで追跡を開始してもよく、４２０は追跡中にＭを更新する。

校正シーケンス中に収集された眼球３３０の複数のスキャンを複合して１つの３Ｄモデル、３Ｄモデル生成関数、又は画像生成関数Ｉ_Ｍ（α，β）としてもよい。３Ｄモデル又は３Ｄモデル生成関数は、校正中にカメラ３２０により撮影された画像集合を３Ｄ表面の集合｛Ｓ_１，．．．，Ｓ_Ｎ｝に変換することによって計算されてもよく、これはヨー値｛α_１，．．．，α_Ｎ｝及びピッチ値｛β_１，．．．，β_Ｎ｝の集合に対応し、｛α_１，．．．，α_Ｎ｝と｛β_１，．．．，β_Ｎ｝は、ディスプレイ上に表示される視覚的物体の位置に対応する。｛Ｓ_１，．．．，Ｓ_Ｎ｝、｛α_１，．．．，α_Ｎ｝、及び｛β_１，．．．，β_Ｎ｝は、補間によって１つの３Ｄ表面モデル生成関数にしてもよい。いくつかの実施形態において、エラーパラメータ｛Ｅ_１，．．．，Ｅ_Ｎ｝もまた、Ｍの生成に使用されてよい。各Ｅ_ｉは、Ｓ_ｉでの表面上の各点の信頼性を示す関数であってもよい。あるいは、Ｅ_ｉは、全体としてのＳ_ｉの信頼性を示す１つの値であってもよい。Ｅ_ｉは、Ｓ_ｉがモデルに与える影響の度合いがＥ_ｉに基づくように、Ｓ_ｉに重み付けするために使用できる。

校正中、眼球モデルＭを作ることに加えて、校正モジュール４２０はまた、複数の候補パターンの中から、眼球の方位を検出するのに最も適した光パターンを決定してもよい。いくつかの実施形態において、最善の構造化光パターンは眼球の方位のある範囲について決定されてもよい。視線追跡中、最適な構造化光パターンは、以前検出された眼球の方位に応答して眼球に投射されてもよい。

構造化光発光器４３０は、構造化光のパターンＰを発し、これは眼球の一部に入射する。眼球の表面の幾何学形状は、構造化光パターンを歪曲して、歪曲照明パターン形成する。構造化光発光器４３０は、図３に示される構造化光発光器３１０と同じ構造化光発光器４３０であってもよい。

カメラ４４０は、歪曲照明パターンを検出する。カメラ４４０は、撮影した光をデジタル画像Ｉに変換する。いくつかの実施形態において、カメラ４４０はカメラ３２０である。眼球モデルＭが画像生成関数Ｉ_Ｍ（α，β）である場合、Ｉ_Ｍ（α，β）により生成される画像は、Ｉと同じ種類の画像であってもよい（例えば、二値画像、シングルチャネル画像、又はマルチチャネル画像）。Ｉ_Ｍ（α，β）により出力される画像はまた、カメラ４４０により出力される画像Ｉと（例えば、画素単位で）同じ大きさであってもよい。

いくつかの実施形態において、構造化光パターンコントローラ４５０は、構造化光発光器４３０を制御する。構造化光パターンコントローラ４５０は、１つ又は複数のプロセッサ上に実装されるソフトウェアモジュール、専用のハードウェアユニット、又はこれらの何れかの組合せである。構造化光パターンコントローラ４５０は、発光される構造化光パターンＰを決定する。いくつかの実施形態において、構造化光発光器４３０は常に同じパターンを投射し、構造化光パターンコントローラ４５０は単に、構造化光発光器４３０が光を発するか否かを制御する。いくつかの実施形態において、構造化光パターンコントローラ４５０は、「不良スキャン」の報告に応答して構造化光パターンを異なるパターンに変える。いくつかの実施形態において、構造化光パターンコントローラ４５０は、視線追跡ユニット４００により報告された、以前報告された眼球方位に基づいて構造化光パターンを選択する。

眼球方位推定モジュール４６０は、入力として画像Ｉを受け取り、モデルストア４１０からのモデルＭに基づいて、眼球の方位の推定を生成する。眼球方位推定モジュール４６０は、１つ又は複数のプロセッサ上に実装されるソフトウェアモジュール、専用のハードウェアユニット、又はこれらの何れかの組合せである。

いくつかの実施形態において、眼球方位推定モジュール４６０は、眼球のうち、構造化光発光器４３０により照明された領域に対応する眼球表面Ｓの３Ｄ近似を生成する。眼球方位推定モジュール４６０は、構造化光パターンコントローラ４５０から受け取ることのできる投射構造化光パターンの既知の構造を利用して、眼球表面の形状とカメラの幾何学配置により生じる光の歪曲を判断する。この歪曲から、眼球方位推定モジュール４６０は、奥行き情報を画像の様々な部分に帰属させる。眼球方位推定モジュール４６０は、奥行き情報を利用して、眼球の３Ｄ表面Ｓの近似を生成する。Ｓは例えば、デカルト空間内の３次元点の有限集合、極座標内の点の有限集合、又は

で表面を定義する数学的関数を含んでいてもよい。眼球方位推定モジュール４６０はまた、エラー関数Ｅも出力してよく、それによって表面Ｓの上の所与の点の精度を示す推定が提供される。Ｅは例えば、２次元座標を取り入れ、平面（デカルト座標系）又は半径（極座標系）からのその点の延長の標準偏差の推定を戻す関数であってもよい。

Ｓの説明的な計算例として、疑似ランダム位置のドットのアレイを含む構造化光パターン考える。構造化光パターンがＮ個のドットからなり、各ドットが無視できる程度に小さい面積を有すると仮定すると、各ドットを生成する光は光線により表すことができる。γ_ｉがｉ番目の光線（ｉ∈｛１，．．．，Ｎ｝の場合）を表す場合、γ_ｉは以下のように表現できる：

式中、

であり、γ_ｉは媒介変数方程式の従属変数である。各光線は眼球表面に入射し、この表面と点

において交差する。この点は、光の光線により照明され、この照明はＫ個のカメラのうちの１つにより検出される。Ｋ個のカメラのうちのｋ番目は、点ｐ_ｉから発せられた光の光線を捕捉することによってこれを検出する。この光の光線は、ｙ_ｉｋとして表現でき、それによって：

となり、
式中、

であり、δ_ｉｋは媒介変数方程式の従属変数である。ｒ_ｉは先験的に既知であり、ｙ_ｉｋは、受け取ったｋ番目のカメラ上の画素位置をベクトルｃ_ｉ，ｄ_ｉにマッピングするマッピングアルゴリズムにより見つけることができる。それゆえ、すべてのｋ∈｛１，．．．，Ｋ｝についてｐ_ｉはｒ_ｉ＝ｙ_ｉｋの点であるため、以下の系を解いて、ｐ_ｉを見つけることができる：

しかしながら、上の系は過剰決定系である。その結果、測定及び先験的仮定における非理想性によって正確な解が存在しない可能性がある。それでもなお、近似を見つけることができる。ｐ_ｉに関するこのような近似の１つは、最小二乗誤差近似平均

である。

は、以下のように計算できる：

ただし、

であり、

である。

すべてのｉ∈｛１，．．．，Ｎ｝に関する

を導き出すことにより、この系は、ある程度の粒度で、構造化光のパターンが入射する物体の形状を計算できる。それゆえ、Ｓは点の集合

により表現されてもよく、又は点の集合から導き出されてもよい。この例は、Ｓを生成する説明的な例とすることのみ意図される。異なる近似方式や異なる代数的手法が使用されてもよい。また、異なる構造化光のパターンや、これらの構造化光パターンに適したアルゴリズムを使用できる。各構造化光パターンでの３Ｄマッピングに適したアルゴリズムが知られている。

眼球の表面近似Ｓは、眼球方位推定モジュール４６０によって、モデルストア４１０から読み出された眼球モデルＭと比較するために使用できる。前述のように、モデルＭは眼球表面の３Ｄモデルとすることができる。眼球方位推定モジュール４６０は、２次元相関を実行してもよく、これはＳ（眼球のスキャンにより生成される３Ｄ表面）を、従属変数として眼球のヨーα、ピッチβを変化させることによってＭに相関させる。この説明の解釈のために、αは眼球の水平角度と定義され、βは眼球の垂直角度と定義され、α＝β＝０°は使用者がまっすぐ前を見ていることに対応する。眼球の正確な方位は、眼球モデルＭが表面近似Ｓに最も密接に一致するαとβの数となるように判断されてよい。

一例として、Ｓは、極座標系の中の点の集合であってもよく、Ｓ＝｛ｐ_１，．．．，Ｐ_Ｎ｝であり、ただし、ｐ_ｉ＝［θ_ｉ Φ_ｉ ｒ_ｉ］^Ｔである。モデルＭは、極座標の関数Ｒ_Ｍ（θ，Φ）の形態をとってもよく、これは２つの角度θとΦの関数として半径を戻し、それによって、座標系の原点は眼球の回転の原点に対応する。眼球の方位は、α及びβの値の有限集合について繰り返し、以下が最大となる（α，β）の値を見つけることにより判断できる：

式中、μ_ｒはＳの平均半径（すなわち、

）であり、μ_ｍは関数Ｒ_Ｍ（θ，Φ）により定義される表面の平均半径である。眼球方位推定モジュール４６０が、Ｍ及びＳが最も密接に一致するα及びβの値を判断するために使用してもよい別の方法が数多くある。このような方法は当業者の間で知られている。

いくつかの実施形態において、集合｛（α_１，β_１），．．．，（α_Ｎ，β_Ｎ）｝からの値は、ＳとＭとの間の相関を判断するための入力として使用される。この集合の値は、特定の有界領域に限定されるかもしれない。この領域は、眼球の運動範囲と定義されてもよい。いくつかの実施形態において、この領域は、以前に計算されたヨー及びピッチからの特定の角度距離内の値に限定される。この領域は、眼球の最大速度に関する上限値に基づいて判断されてもよい。例えば、人間の眼球の最大衝動性眼球運動角速度は毎秒約９００°であるため、この領域は以前に検出された眼球の方位の１０００°／Ｆ内に限定されてもよく、Ｆはカメラ４４０のフレームレート（ヘルツ）である。

いくつかの実施形態において、眼球の表面Ｓの推定は生成されず、カメラ４４０により撮影された画像Ｉは、眼球方位推定モジュール４６０によりモデルＭと直接比較される。Ｍは、画像をヨー及びピッチ（α及びβ）の値にマッピングしたものである。いくつかの実施形態において、（α，β）の値は、αとβを入力としてとる画像生成関数によりモデル画像にマッピングされる。各々が異なる（α，β）ペアに対応する複数のモデル画像は、カメラ４４０により撮影された画像Ｉと比較されてもよい。Ｉに最も密接に一致するモデル画像に対応する（α，β）ペアが眼球の方位であると判断されてもよい。いくつかの実施形態において、最も密接に一致するモデル画像にマッピングされる（α，β）ペアの判断は２次元相関器により行われてもよく、この相関は（α，β）を従属変数として行われる。

視線追跡ユニット４００は、図１に示されるＶＲシステム環境１００の視線追跡ユニットのように、ＶＲシステムの一部とすることができる。視線追跡ユニット４００は、ＨＭＤ １０５の一部とすることができるが、視線追跡ユニット４００のうち、構造化光発光器４３０の制御とカメラ４４０から受け取った画像の処理を担当するジュールは、ＨＭＤ １０５の一部でなくてもよい。これらのコンポーネントは、仮想現実コンソール１１０に配置することができる。いくつかの実施形態において、視線追跡ユニット４００により出力されたデータの処理は、仮想現実コンソール１１０の上の１つ又は複数の汎用プロセッサにより実行される。いくつかの実施形態において、視線追跡アルゴリズムは専用のハードウェア上に実装される。いくつかの実施形態において、視線追跡ユニット４００の制御及び処理モジュールのいくつかは、ＨＭＤ １０５の一部であり、それ以外は仮想現実コンソール１１０の一部である。

図５Ａは、いくつかの実施形態による、眼球運動を追跡するためのプロセスを説明するブロック図である。図５Ａのプロセスは、視線追跡ユニット４００により実行されてもよい。他の実施形態では、他のエンティティがプロセスステップの一部又は全部を実行してもよい。同様に、実施形態は、異なる、及び／又は追加のステップを含んでいてもよく、又はこれらのステップを異なる順序で実行してもよい。

視線追跡ユニット４００は、校正シーケンスを実行する（５１０）。校正シーケンスは、校正モジュール４２０により制御され、これは構造化光発光器４３０とカメラ４４０を使って眼球を繰り返しスキャンする。眼球のスキャンにより眼球モデルＭが生成又はトレーニングされ、これはモデルストア４１０に保存される。

次に、視線追跡ユニット４００は、構造化バターンＰで眼球をスキャンする（５３０）。眼球をスキャンするステップ５３０は、構造化光発光器３１０から構造化光パターンＰを眼球へと投射するステップと、眼球の一部に投射された歪曲照明パターンをカメラ３２０で検出するステップと、を含む。カメラ３２０は、照明パターンの画像Ｉを撮影する。

すると、眼球の方位が眼球方位推定モジュール４６０によって推定される（５４０）。眼球方位推定モジュール４６０は、眼球をスキャンするステップから受け取った画像Ｉをモデルストア４１０により保存されたモデルＭと比較する。眼球方位推定モジュール４６０は次に、眼球の方位の推定を出力する。眼球の方位の推定は、それぞれ眼球のヨー及びピッチに対応するαとβの値であってもよい。眼球の方位が推定された（５４０）後、眼球は再び構造化光パターンでスキャンされる（５３０）。それゆえ、眼球をスキャンするステップ５３０と眼球の方位を推定するステップ５４０は、視線追跡ループ５２０を構成する。視線追跡ループ５２０を介して、眼球の方位を継続的に追跡できる。

いくつかの実施形態において、眼球３３０の方位を正確に推定できない場合、視線追跡ユニット４００は、方位の推定ではなく、「不良スキャン」のエラーコードを出力してもよい。「不良スキャン」は、使用者が瞬きした時、又は視線追跡システムの非理想性によって発生するかもしれない。「不良スキャン」は、眼球モデルＭが眼球のスキャン（例えば、Ｓ又はＩ）とどれだけ一致するかを判断するために使用される測定値が特定の閾値内にないと判断することによって、確率的に検出できる。いくつか実施形態において、特定の時間枠内での特定の数の「不良スキャン」は、視線追跡ループ５２０の停止をトリガしてもよく、校正シーケンスが再び実行されてもよい。

図５Ｂは、いくつかの実施形態による、眼球の方位を推定するプロセスを説明するブロック図である。いくつかの実施形態において、図５に示されるプロセスは、より大きな視線追跡プロセスの一部である。例えば、図５Ａに示されるような眼球の方位を推定するステップ５５０は、図５Ｂのプロセスを構成してもよい。図５Ｂのプロセスは、視線追跡ユニット４００により実行されてもよい。他の実施形態では、他のエンティティがプロセスのステップの一部又は全部を実行してもよい。同様に、実施形態は、異なる、及び／又は追加のステップを含んでいてもよく、又はこれらのステップを異なる順序で実行してもよい。

視線追跡ユニット４００は、画像Ｉの中のパターンＰ’を特定する。Ｉは、眼球に投射された構造化光パターンＰにより生じる照明パターンをカメラ４４０が撮影した画像である。Ｉの中のＰ’を特定するステップ５６０は、Ｐの中の特徴に対応する、画像Ｉの中に存在する特徴を特定するステップを構成してもよい。例えば、眼球方位推定モジュール４６０は、エッジ検出アルゴリズム等のマシンビジョンアルゴリズムを通じて、照明パターンの境界線を特定してもよい。眼球方位推定モジュール４６０はまた、Ｐの中の特定の極大値及び極小値に対応するＩの強度の極大値又は極小値を特定してもよい。眼球方位推定モジュール４６０はまた、Ｐの中の特定の特徴に対応するものとして、Ｉの中のドット、線、グリッド、又はその他の特徴を特定してもよい。

次に、Ｐ’とＰの特徴間の空間変化が推定される（５７０）。各特徴の空間変化を推定するステップ５７０は、表面Ｓ、すなわち

に埋め込まれた２Ｄ表面を生成するために使用されてもよい。Ｓの生成は、発光器からカメラまでの幾何学配置及びＰ’とＰの特徴間の空間変化に基づいていてもよい。構造化光発光器４３０から発せられたパターンＰと、カメラ４４０により撮影された画像Ｉに基づいて特定されたパターンＰ’との間の空間変化に基づいて表面の形状を近似するための技術は、当業者の間で知られている。

Ｓは、眼球モデルＭと比較され５８０、眼球の方位が推定される。Ｓは、Ｓが最も密接にＭと一致する眼球のピッチ及びヨー角度（α及びβ）を見つけることにより、Ｍと比較されてもよい（５８０）。いくつかの実施形態において、ＭをＳと比較するステップ５８０は、ＭをＳに最も密接に一致させるロール角（γ）の値、並進、又はこれらの何れかの組合せを見つけるステップをさらに含む。いくつかの実施形態において、Ｐ’とＰとの間の空間変化は、モデルＭに直接フィットされる。眼球の方位を推定することによって、α、β、γ、及び並進ベクトルの何れかの組合せの推定値が生成されてもよい。

図６は、ある実施形態による、構造化光を投射して、構造化光の投射６１０を形成する構造化光発光器６００を示している。構造化光の投射６１０は、照明を目的として、構造化光発光器６００の軸に直交する平坦な表面に投射されているように示されている。構造化光発光器６００は、図３に示されている構造化光発光器３１０又は図４に示される構造化光発光器４３０であってもよい。図６はまた、５つの構造化光パターン、すなわちドットマトリクス６２０、１本線６３０、正弦波状６４０、マルチトーンパターン６５０、及び格子６６０も示している。例示を目的として、これらの構造化光パターンもまた、平坦な直交面に投射されているように示されている。構造化光発光器６００は、例えば１つ又は複数のバー、１つ又は複数の長方形、又は疑似ランダムドット等、他の構造化光パターンも出力してよい。

マルチトーンパターン６５０は、複数の正弦波状パターンの組合せである。図６のマルチトーンパターン６５０は、フォームＡ［ｃｏｓ（ωｘ）＋ｃｏｓ（２ωｘ）］の強度の構造化光パターンを示しており、ｘは空間次元（［例えば、デカルト座標系又は極座標系）の位置を表す変数である。図６は、この関数の４つの周期（すなわち、０＜ｘ＜８π／ω）を示しているが、現実化された関数は、異なる数の周期を含んでいてもよい。いくつかの実施形態において、マルチトーンパターン６５０の周期は１ミリラジアンである。

一般に、マルチトーンパターン６５０は、異なる波長、位相、及び振幅を有していてもよい複数の正弦波状の構造化光パターンの重畳であってもよい（例えば、

、及び

について

）。正弦波状パターンは、１つの波長又は１つの波長バンドの光からなっていてもよい。あるいは、正弦波状パターンは、異なる波長の光からなっていてもよい。マルチトーンパターン６５０は、１つの構造化光発光器６００又は複数の構造化光発光器により発せられてもよい。マルチトーンパターン６５０は、図６に示されるように水平である必要はないことに留意されたい。いくつかの実施形態において、マルチトーンパターン６５０は楕円体パターンである（例えば、

、及び

について

であり、ｙはｘが対応する方向に直交する空間次元のある点を表す変数である）。

構造化光パターンが眼球のような曲面に入射すると、照明パターンは、構造化光発光器６００の軸上以外から見ると歪曲しているように見えるかもしれない。視線追跡ユニット４００は、歪曲した光を利用して、奥行き情報を画像に帰属させる。いくつかの実施形態において、構造化光パターンは、以前の眼球の方位に基づいてシフトされる。例えば、構造化光パターンは、構造化光パターンの中心が前回のスキャンにおいて検出された眼球の方位における強膜と角膜の境界線に対応する位置にあるようにシフトされてもよい。いくつかの実施形態において、追跡が失敗すると（例えば、「不良スキャン」）、光の構造化パターンはより大きな面積のパターンに設定される。これによって、角膜のある部分が構造化光パターンにより照明される確率が高まるかもしれない。眼球の方位が再び検出されると、構造化光パターンはより小さい面積のパターンにリセットすることができる。

構成に関する追加情報
本開示の実施形態の上記の説明は、例示を目的として提示されており、これは網羅的である、又は実施形態を開示されている正確な形態に限定すると意図されたものではない。当業者であれば、上記の開示を参照して、数多くの改造や変更が可能であることがわかる。

この説明のある部分には、開示の実施形態が情報に対する演算のアルゴリズム及び記号表現によって記載されている。これらのアルゴリズムの説明や表現は、データ処理技術の当業者によって、作業の内容を他の当業者に伝えるために一般的に使用されている。これらの演算は、機能的、計算的、又は論理的に示されているが、コンピュータプログラム又はこれと同様の電気回路、マイクロコード、又はその他により実行されると理解される。さらに、一般性を損なうことなく、これらに演算の配置をモジュールとして言及することも、時には好都合であることも分かっている。説明されている演算とそれに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、又はこれらの何れかの組合せにより具現化されてもよい。

本明細書に記載されているステップ、演算、処理の何れかが、１つ又は複数のハードウェア又はソフトウェアモジュールで、単独又は他の機器との組合せにより実行又は実装されてもよい。１つの実施形態において、ソフトウェアモジュールは、本明細書に記載されているステップ、演算、又はプロセスの何れか又は全部を実行するためにコンピュータプロセッサにより実行可能なコンピュータプログラムコードを含むコンピュータ読取可能媒体を含むコンピュータプログラム製品で実装される。

開示の実施形態はまた、本明細書における演算を実行するための装置に関していてもよい。この装置は、必要な目的のために特に構築されていてもよく、及び／又は、コンピュータ内に保存されたコンピュータプログラムにより選択的にアクティベートされ、又は再構成される汎用コンピューティングデバイスを含んでいてもよい。このようなコンピュータプログラムは、非一時的な有形のコンピュータ読取可能記憶媒体、又は電子命令を保存するのに適したあらゆる種類の媒体に保存されてもよく、これらはコンピュータシステムバスに連結されてもよい。さらに、本明細書中で言及されている何れのコンピューティングシステムも、１つのプロセッサを含んでいてもよく、又はコンピューティング能力を高めるために複数のプロセッサ設計を採用したアーキテクチャであってもよい。

本開示の実施形態はまた、本明細書に記載されているコンピューティングプロセスにより生成される製品にも関していてよい。このような製品は、コンピューティングプロセスから得られる情報を含んでいてもよく、情報は、非一時的な有形のコンピュータ読取可能記憶媒体に保存され、コンピューティングプログラム製品又は、本明細書に記載されているその他のデータの組合せの何れの実施形態を含んでいてもよい。

最後に、本明細書中で使用されている文言は、原則として読みやすさと説明を目的として選択されており、本発明の主旨を限定し、又は制限するために選択されていない。したがって、実施形態の範囲は、この詳細な説明によってではなく、本明細書に基づく出願で発行される何れかの特許請求項により限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載されている詳細な説明の範囲を限定ではなく例示することが意図されている。

Claims (26)

1. 視線追跡ユニットであって、
   使用者の眼球を構造化光パターンで照明するように構成された構造化光発光器であって、該構造化光発光器は、光源と、光源からの光を前記構造化光パターンに変換する構造化光素子と、を含み、前記構造化光パターンで照明された前記眼球の表面の一部分によって前記構造化光パターンが歪曲されて歪曲構造化光パターンを形成する、前記構造化光発光器と、
   前記眼球の表面の一部分に関連する前記歪曲構造化光パターンの画像を撮像するように構成されたカメラと、
   前記カメラにより撮像された画像と眼球のモデルに基づいて、前記眼球の方位を推定するように構成された眼球方位推定モジュールと、を含み、
   前記眼球の方位を推定することは、
   前記眼球の瞳孔軸の方向を推定すること、
   前記瞳孔軸の推定された方向を予め設定された角度だけずらして、前記眼球の中心窩軸の方向を推定すること、を含む、視線追跡ユニット。
2. 前記視線追跡ユニットは、頭部装着型ディスプレイ（ＨＭＤ）のコンポーネントであり、
   前記頭部装着型ディスプレイは、
   前記頭部装着型ディスプレイを装用する使用者に対してコンテンツを表示するように構成された表示素子と、
   前記表示素子からの光を前記頭部装着型ディスプレイの射出瞳へと方向付けるように構成された光学系ブロックと、を含む、請求項１に記載の視線追跡ユニット。
3. 校正モジュールをさらに含み、
   前記校正モジュールは、
   表示素子を制御して、前記表示素子上のある位置に視覚インディケータを表示し、
   前記カメラから、前記構造化光発光器により前記眼球に投射された第二の歪曲構造化光パターンの第二の画像を受け取り、
   前記使用者の眼球のモデルを、撮影された第二の画像に基づいて、前記視覚インディケータの位置に基づいてトレーニングするように構成されている、請求項１に記載の視線追跡ユニット。
4. 前記眼球方位推定モジュールは、
   前記眼球の表面の一部分の形状を、前記画像において撮像された構造化光パターンの歪曲に基づいて判断し、
   前記眼球のモデルを、前記眼球の表面の一部分の判断された形状と比較するように構成されている、請求項１に記載の視線追跡ユニット。
5. 前記眼球方位推定モジュールは、
   撮影された画像において複数の照明点の各々に関する位置を検出し、
   前記歪曲構造化光パターンの撮影された画像における位置を前記構造化光パターンにおける前記照明点の発光器からの対応する角度と比較することに基づいて、各照明点の３次元位置を判断し、
   前記眼球のモデルを前記照明点の判断された３次元位置と比較するように構成されている、請求項１に記載の視線追跡ユニット。
6. 前記眼球方位推定モジュールは、
   前記眼球の方位を、撮影された画像と前記眼球のモデルに基づく前記眼球のある特徴の位置を検出することに部分的に基づいて推定するように構成され、
   前記特徴は、角膜の曲率、角膜−強膜界面、角膜の下の虹彩の特徴、及び角膜の頂点からなる群より選択される、請求項１に記載の視線追跡ユニット。
7. 前記眼球方位推定モジュールは、前記眼球の方位を、前記眼球のヨー、ピッチ、ロール回転と、前記眼球の３次元並進ベクトルを判断することに部分的に基づいて推定するように構成されている、請求項１に記載の視線追跡ユニット。
8. 前記構造化光パターンは、ドットマトリクス、正弦波状、１本又は複数の線分、及びマルチトーンパターンからなる群より選択される、請求項１に記載の視線追跡ユニット。
9. 前記構造化光パターンは赤外光を含み、前記カメラは赤外線カメラである、請求項１に記載の視線追跡ユニット。
10. 視線追跡ユニットであって、
    使用者の第一の眼球を第一の構造化光パターンで照明するように構成された第一の構造化光発光器であって、該第一の構造化光発光器は、第一の光源と、光源からの光を前記第一の構造化光パターンに変換する第一の構造化光素子と、を含み、前記第一の構造化光パターンで照明された前記第一の眼球の表面の一部分によって前記第一の構造化光パターンが歪曲されて第一の歪曲構造化光パターンを形成する、前記第一の構造化光発光器と、
    前記使用者の第二の眼球を第二の構造化光パターンで照明するように構成された第二の構造化光発光器であって、該第二の構造化光発光器は、第二の光源と、光源からの光を前記第二の構造化光パターンに変換する第二の構造化光素子と、を含み、前記第二の構造化光パターンで照明された前記第二の眼球の表面の一部分によって前記第二の構造化光パターンが歪曲されて第二の歪曲構造化光パターンを形成する、前記第二の構造化光発光器と、
    前記第一の眼球の表面の一部分に関連する前記第一の歪曲構造化光パターンの第一の画像を撮像するように構成された第一のカメラと、
    前記第二の眼球の表面の一部分に関連する前記第二の歪曲構造化光パターンの第二の画像を撮像するように構成された第二のカメラと、
    眼球方位推定モジュールであって、
    前記第一の眼球の第一の方位を、前記第一のカメラにより撮影された前記第一の画像とモデルに基づいて推定し、
    前記第二の眼球の第二の方位を、前記第二のカメラにより撮影された前記第二の画像と前記モデルに基づいて推定し、
    前記第一の眼球の瞳孔軸の方向を推定し、
    前記第一の眼球の瞳孔軸の推定された方向を予め設定された角度だけずらして、前記第一の眼球の中心窩軸の方向を推定するように構成された前記眼球方位推定モジュールと、を含む視線追跡ユニット。
11. 前記視線追跡ユニットは、頭部装着型ディスプレイ（ＨＭＤ）のコンポーネントであり、
    前記頭部装着型ディスプレイは、前記第一の方位と前記第二の方位を用いて前記使用者の瞳孔間距離を判断するように構成されている、請求項１０に記載の視線追跡ユニット。
12. 前記視線追跡ユニットは、頭部装着型ディスプレイ（ＨＭＤ）のコンポーネントであり、
    前記頭部装着型ディスプレイは、前記第一の方位と前記第二の方位を用いて前記使用者の注視方向を判断するように構成されている、請求項１０に記載の視線追跡ユニット。
13. 校正モジュールをさらに含み、
    前記校正モジュールは、
    表示素子を制御して、前記表示素子上のある位置に視覚インディケータを表示し、
    前記第一のカメラから、前記第一の構造化光発光器により前記第一の眼球に投射された第三の歪曲構造化光パターンの第三の画像を受け取り、
    前記モデルを、撮影された前記第三の画像に基づいて、前記視覚インディケータの前記位置に基づいてトレーニングするように構成されている、請求項１０に記載の視線追跡ユニット。
14. 前記眼球方位推定モジュールは、
    前記第一の眼球の表面の一部分の形状を、前記第一の撮影された画像における捕捉された第一の歪曲構造化光パターンにおける歪曲に基づいて判断し、
    前記モデルを前記第一の眼球の表面の一部分の判断された形状と比較するように構成されている、請求項１０に記載の視線追跡ユニット。
15. 前記眼球方位推定モジュールは、
    前記第一の撮影された画像の中の複数の照明点の各々の位置を検出し、
    前記照明点の第一の捕捉された画像における位置を、前記第一の構造化光パターンにおける前記照明点の発光器からの対応する角度と比較することに部分的に基づいて、各々の照明点の３次元位置を判断し、
    前記モデルを前記照明点の判断された３次元位置と比較するように構成されている、請求項１０に記載の視線追跡ユニット。
16. 前記眼球方位推定モジュールは、
    前記第一の眼球の方位を、前記第一の撮影された画像と前記モデルに基づく前記第一の眼球のある特徴の位置の検出に部分的に基づいて推定するように構成され、
    前記特徴は、角膜の曲率、角膜−強膜界面、角膜の下の虹彩の特徴、及び角膜の頂点からなる群より選択される、請求項１０に記載の視線追跡ユニット。
17. 前記眼球方位推定モジュールは、前記第一の方位と前記第二の方位を、前記第一の眼球と前記第二の眼球の各々について、前記第一および第二の眼球のそれぞれのヨー、ピッチ、及びロール回転とそれぞれの並進ベクトルの判断に部分的に基づいて推定するように構成されている、請求項１０に記載の視線追跡ユニット。
18. 前記第一の構造化光パターンと前記第二の構造化光パターンは各々、ドットマトリクス、正弦波状、１本又は複数の線分、及びマルチトーンパターンからなる群より選択される、請求項１０に記載の視線追跡ユニット。
19. 方法であって、
    構造化光素子を用いて光を構造化光パターンに変換すること、
    使用者の眼球を前記構造化光パターンで照明することであって、前記構造化光パターンで照明された前記眼球の表面の一部分によって前記構造化光パターンが歪曲されて歪曲構造化光パターンを形成する、前記照明すること、
    前記眼球の表面の一部分上で前記歪曲構造化光パターンの画像を撮像すること、
    撮像された前記画像と眼球のモデルに基づいて、前記眼球の方位を推定すること、を含み、
    前記眼球の方位を推定することは、
    前記眼球の瞳孔軸の方向を推定すること、
    前記瞳孔軸の推定された方向を予め設定された角度だけずらして、前記眼球の中心窩軸の方向を推定すること、を含む、方法。
20. 表示素子を制御して、前記表示素子上のある位置に視覚インディケータを表示すること、
    前記眼球の表面の一部分に関する第二の歪曲構造化光パターンの第二の画像を撮像すること、
    前記使用者の眼球のモデルを、撮影された第二の画像に基づいて、前記視覚インディケータの位置に基づいてトレーニングすること、をさらに備える請求項１９に記載の方法。
21. 前記眼球の方位を推定することは、
    前記眼球の表面の一部分の形状を、前記撮像された画像における構造化光パターンの歪曲に基づいて判断すること、
    前記眼球のモデルを、前記眼球の表面の一部分の判断された形状と比較すること、をさらに含む、請求項１９に記載の方法。
22. 前記眼球の方位を推定することは、
    撮影された画像において複数の照明点の各々に関する位置を検出すること、
    前記歪曲構造化光パターンの撮影された画像における位置を前記構造化光パターンにおける前記照明点の発光器からの対応する角度と比較することに基づいて、各照明点の３次元位置を判断すること、
    前記眼球のモデルを前記照明点の判断された３次元位置と比較すること、をさらに含む、請求項１９に記載の方法。
23. 前記眼球の方位は、撮影された画像と前記眼球のモデルに基づく前記眼球のある特徴の位置を検出することに部分的に基づいて推定され、
    前記特徴は、角膜の曲率、角膜−強膜界面、角膜の下の虹彩の特徴、及び角膜の頂点からなる群より選択される、請求項１９に記載の方法。
24. 前記眼球の方位は、前記眼球のヨー、ピッチ、ロール回転と、前記眼球の３次元並進ベクトルを判断することに部分的に基づいて推定される、請求項１９に記載の方法。
25. 前記構造化光パターンは、ドットマトリクス、正弦波状、１本又は複数の線分、及びマルチトーンパターンからなる群より選択される、請求項１９に記載の方法。
26. 前記構造化光パターンは赤外光を含み、
    前記画像は、赤外線カメラにより撮像される、請求項１９に記載の方法。