JP7136875B2 - 眼の特徴を用いる眼ポーズ識別 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１５年１０月１６日に出願され、“ＥＹＥ ＰＯＳＥ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ ＵＳＩＮＧ ＥＹＥ ＦＥＡＴＵＲＥＳ”と題された米国仮出願第６２／２４２，８３８号に対する３５ Ｕ．Ｓ．Ｃ． § １１９（ｅ）のもとでの優先権の利益を主張するものであり、該米国仮出願は、その全体が参照により本明細書中に援用される。
（分野）
本開示は、概して、眼画像を処理するためのシステムおよび方法に関する。

（関連技術の説明）
人間の虹彩は、バイオメトリック情報の源として使用されることができる。バイオメトリック情報は、個人の認証または識別を提供することができる。広くバイオメトリックテンプレートと呼ばれる、バイオメトリック情報を抽出するプロセスは、典型的には、多くの課題を有する。

一側面では、眼ポーズ識別のための方法が、開示される。本方法は、ハードウェアコンピュータプロセッサの制御下で実施される。本方法は、眼の瞳孔および縁郭境界を取得するために、眼画像内の眼の虹彩をセグメント化するステップと、眼の瞳孔および縁郭境界を使用して、眼ポーズ測定値の２つの角座標を判定するステップと、眼の虹彩特徴を識別するステップと、識別された虹彩特徴を使用して、眼ポーズ測定値の第３の角座標を判定するステップと、画像の表示またはバイオメトリック用途のために、眼ポーズ測定値を利用するステップとを含む。別の側面では、眼ポーズ識別のための方法は、ヘッドマウントディスプレイシステムによって実施されることができる。虹彩特徴は、虹彩内のテクスチャ、パターン、またはキーポイントを含むことができる。別の側面では、虹彩特徴に加えて、またはその代替として、本方法は、強膜特徴を使用して実装されることができる。

別の側面では、眼画像から眼ポーズを識別するための方法が、説明される。本方法は、ハードウェアコンピュータプロセッサの制御下で実施され、眼画像から眼のピッチおよびヨーを判定するステップと、眼特徴から眼のロールを判定するステップと、少なくとも部分的に、ピッチ、ヨー、およびロールから、眼画像の眼ポーズを判定するステップとを含む。ウェアラブルディスプレイシステムが、本方法を実施するプロセッサを含むことができる。眼特徴は、虹彩特徴または強膜特徴を含むことができる。

別の側面では、ヘッドマウントディスプレイの動作におけるエラーを検出するための方法が、開示される。本方法は、ハードウェアコンピュータプロセッサの制御下で実施され、ヘッドマウントディスプレイの装着者の第１の眼の第１のロール角を判定するステップと、ヘッドマウントディスプレイの装着者の第２の眼の第２のロール角を判定するステップと、少なくとも部分的に、第１のロール角および第２のロール角の比較に基づいて、ヘッドマウントディスプレイ動作の動作におけるエラーを検出するステップとを含む。

本明細書に説明される主題の１つまたはそれを上回る実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点が、説明、図面、および請求項から明白となるであろう。本発明の概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを意味しない。

本発明は、例えば、以下を提供する。
（項目１）
眼画像を処理するための方法であって、前記方法は、
ハードウェアコンピュータプロセッサの制御下で、
前記眼の瞳孔および縁郭境界を取得するために、眼画像内の眼の虹彩をセグメント化するステップと、
前記眼の瞳孔および縁郭境界を使用して、第１の眼ポーズ測定値の２つの角座標を判定するステップと
前記眼の虹彩特徴を識別するステップと、
前記識別された虹彩特徴を使用して、前記第１の眼ポーズ測定値の第３の角座標を判定するステップと、
画像の表示またはバイオメトリック用途のために、前記第１の眼ポーズ測定値を利用するステップと、
を含む、方法。
（項目２）
前記眼の虹彩特徴を識別するステップは、前記虹彩特徴に関する記述子を判定するステップを含み、前記記述子は、前記虹彩特徴の数値表現を含む、項目１に記載の方法。
（項目３）
前記第３の角座標を判定するステップは、特徴ベースの追跡技法、コードベースの追跡技法、またはそれらの組み合わせを使用して、前記第３の角座標を判定するステップを含む、項目１に記載の方法。
（項目４）
前記第３の角座標を判定するステップは、少なくとも部分的に、前記虹彩特徴に基づいて、前記眼画像と基準眼画像との間のホモグラフィを判定するステップを含む、項目１に記載の方法。
（項目５）
前記第３の角座標を判定するステップは、少なくとも部分的に、前記虹彩特徴に基づいて、前記眼画像から生成される虹彩コードと基準眼画像から生成される虹彩コードとの間の偏移を判定するステップを含む、項目１－４のうちのいずれか１項に記載の方法。
（項目６）
前記虹彩特徴は、異なるテクスチャ、前記虹彩内のパターン、または前記虹彩のキーポイントを伴う虹彩の面積を含む、項目１に記載の方法。
（項目７）
前記第１の眼ポーズ測定値は、ユーザの第１の眼に関して判定され、第２の眼ポーズ測定値は、前記ユーザの第２の眼に関して判定され、前記第１の眼ポーズ測定値および前記第２の眼ポーズ測定値の平均が、前記ユーザの眼ポーズの単一の推定値として使用される、項目１に記載の方法。
（項目８）
ヘッドマウントディスプレイシステムであって、
眼画像を捕捉するように構成される、画像捕捉デバイスと、
ハードウェアプロセッサであって、
前記画像捕捉デバイスから前記眼画像を受信することと、
少なくとも部分的に、前記眼画像に基づいて、前記眼のピッチおよびヨーを判定することと、
少なくとも部分的に、前記眼画像内の眼特徴に基づいて、前記眼のロールを判定することと、
少なくとも部分的に、前記ピッチ、前記ヨー、および前記ロールに基づいて、前記眼画像の眼ポーズを判定することと
を行うようにプログラムされる、ハードウェアプロセッサと、
を備える、ヘッドマウントディスプレイシステム。
（項目９）
前記眼のロールを判定するために、前記ハードウェアプロセッサは、前記眼画像と基準眼画像との間のホモグラフィを判定するようにプログラムされる、項目８に記載のヘッドマウントディスプレイシステム。
（項目１０）
前記眼のロールを判定するために、前記ハードウェアプロセッサは、前記眼画像の極座標表現を利用するようにプログラムされる、項目８に記載のヘッドマウントディスプレイシステム。
（項目１１）
前記眼のロールを判定するために、前記ハードウェアプロセッサは、前記眼画像の虹彩コードを基準眼画像からの虹彩コードと比較するようにプログラムされる、項目８に記載のヘッドマウントディスプレイシステム。
（項目１２）
前記ハードウェアプロセッサはさらに、前記眼画像の眼ポーズを使用して、前記眼のバイオメトリックデータを判定するようにプログラムされる、項目８に記載のヘッドマウントディスプレイシステム。
（項目１３）
前記眼特徴は、虹彩特徴を含み、前記虹彩特徴は、前記虹彩内のテクスチャ、パターン、またはキーポイントを含む、項目８に記載のヘッドマウントディスプレイシステム。
（項目１４）
前記眼特徴は、強膜特徴を含み、前記強膜特徴は、血管を含む、項目８－１３のうちのいずれか１項に記載のヘッドマウントディスプレイシステム。
（項目１５）
前記プロセッサはさらに、前記眼画像内の前記眼の虹彩をセグメント化するようにプログラムされる、項目８に記載のヘッドマウントディスプレイシステム。
（項目１６）
ヘッドマウントディスプレイ（ＨＭＤ）の動作におけるエラーを検出するための方法であって、前記方法は、
ハードウェアコンピュータプロセッサの制御下で、
前記ＨＭＤの装着者の第１の眼の第１のロール角を判定するステップと、
前記ＨＭＤの装着者の第２の眼の第２のロール角を判定するステップと、
少なくとも部分的に、前記第１のロール角および前記第２のロール角の比較に基づいて、前記ヘッドマウントディスプレイ動作の動作におけるエラーを検出するステップと、
を含む、方法。
（項目１７）
前記ヘッドマウントディスプレイの動作におけるエラーを検出するステップは、前記第１のロール角と前記第２のロール角との間の差異が、あるエラー閾値を超えることを判定するステップを含む、項目１６に記載の方法。
（項目１８）
前記検出されたエラーに基づいて、エラー信号を生成するステップをさらに含む、項目１６に記載の方法。
（項目１９）
前記ヘッドマウントディスプレイ動作の動作におけるエラーを検出するステップは、前記複数の眼画像内のロール角に関する平均値を追跡するステップを含む、項目１６に記載の方法。
（項目２０）
前記第１のロール角を判定するステップまたは前記第２のロール角を判定するステップは、特徴ベースの追跡技法、コードベースの追跡技法、またはそれらの組み合わせを使用して、前記第１のロール角を判定するステップまたは前記第２のロール角を判定するステップを含む、項目１６－１９のうちのいずれか１項に記載の方法。

図１は、眼特徴を示す眼の実施例を図式的に図示し、図１Ａは、眼の自然静止状態に対する眼ポーズ方向を測定するために使用され得る３つの角度（例えば、ヨー、ピッチ、およびロール）の実施例を示す。 図２Ａ－２Ｂは、虹彩特徴を使用する例示的眼ポーズ識別システムを図式的に図示する。 図２Ａ－２Ｂは、虹彩特徴を使用する例示的眼ポーズ識別システムを図式的に図示する。 図３Ａ－３Ｂは、眼の眼ポーズを識別するための虹彩コード識別システムの実施例を図式的に図示する。 図４は、眼ポーズ識別ルーチンの実施例を図式的に図示する。 図５は、ウェアラブルディスプレイシステムの実施例を図式的に図示する。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。

（概観）
眼からバイオメトリック情報を抽出するステップは、概して、眼画像内の虹彩のセグメント化に関するプロシージャを含む。虹彩セグメント化は、虹彩の瞳孔および縁郭境界を見出すステップ、上眼瞼または下眼瞼が虹彩を閉塞する場合、それらを位置特定するステップ、睫毛、陰影、または反射の閉塞を検出および除外するステップ等を含む、虹彩境界を位置特定するステップを含む動作を伴うことができる。例えば、眼画像は、顔の画像内に含まれることができる、または眼周囲領域の画像であり得る。虹彩セグメント化を実施するために、瞳孔（虹彩の内部境界）および縁郭（虹彩の外部境界）の両方の境界が、画像データの別個のセグメントとして識別されることができる。

さらに、バイオメトリック情報（例えば、眼ポーズ）を取得するために、コンピュータのユーザの眼移動を追跡するためのアルゴリズムが、存在する。例えば、コンピュータのモニタに結合されるカメラが、眼移動を識別するための画像を提供することができる。しかしながら、眼追跡のために使用されるカメラは、ユーザの眼からある程度の距離がある。例えば、カメラは、コンピュータに結合されるユーザのモニタの上部に配置され得る。その結果、カメラによって生産される眼の画像は、多くの場合、不良な分解能で生産される。

加えて、カメラおよびユーザの頭部を関連付ける幾何学形状は、概して、眼移動を追跡するアルゴリズムに事前に提供されない。その結果、ユーザの眼ポーズを判定することは、課題を提示し得、ユーザの頭部の座標系に容易に関連しない場合がある。本明細書に開示される技法を用いて、眼ポーズ識別が、実質的に、眼の指示方向を識別するために、また、虹彩にわたる眼瞼による閉塞の面積を予測するために使用されることができる。本明細書に説明される眼ポーズ識別の実施形態は、有利なこととして、眼瞼によって閉塞される虹彩の部分を推定するために使用されることができる。加えて、いくつかの実装では、本眼ポーズ識別は、セグメント化アルゴリズムおよびユーザの頭部に関する座標フレームの識別の代わりに、またはそのための開始点としてのいずれかで使用され得る、眼瞼場所に関するモデルを生成するために使用されることができる。

ウェアラブルヘッドマウントディスプレイ（ＨＭＤ）の文脈では、カメラは、ユーザのモニタに結合されるカメラよりもユーザの眼に近接し得る。例えば、カメラは、ウェアラブルＨＭＤ上に搭載され得、これ自体が、ユーザの頭部に搭載される。そのようなカメラへの眼の近接は、より高い分解能の眼画像をもたらすことができる。故に、コンピュータビジョン技法が、ユーザの眼から、特に、虹彩（例えば、虹彩特徴）または虹彩を囲繞する強膜（例えば、強膜特徴）における視覚特徴を抽出することが可能である。例えば、眼に近接するカメラによって視認されると、眼の虹彩は、詳細な構造を示すであろう。そのような虹彩特徴は、赤外線照明下で観察されると、特に顕著であり、バイオメトリック識別のために使用されることができる。これらの虹彩特徴は、ユーザ毎に一意であり、指紋の様式で、ユーザを一意に識別するために使用されることができる。眼特徴は、眼の強膜（虹彩の外側）内の血管を含むことができ、これもまた、赤色または赤外光下で視認されると、特に顕著に見え得る。

本開示は、「記述子」と関連付けられ得る虹彩特徴を説明する。記述子は、虹彩特徴に近接する領域の数値表現であり得る。記述子は、眼の別の画像内の同一の虹彩特徴の認識のために使用されることができる。本明細書に開示されるように、そのような虹彩特徴は、一般的な意味で眼の運動を追跡するためだけではなく、また、眼のポーズ（例えば、注視方向）を判定するために使用されることができる。例えば、２つの眼画像を関連付けるホモグラフィの算出（例えば、２つの眼画像間の数学的変換）が、眼ポーズを識別するために使用されることができ、２つの画像間の虹彩特徴の変化は、（別の画像内の）初期眼ポーズに対する（例えば、１つの画像内の）新しい眼ポーズを示し得る。虹彩特徴に加えて、またはその代替として、眼の強膜内の特徴に関する記述子が、使用されることができる。

本開示はまた、眼ポーズ識別の実施例を説明する。虹彩特徴を使用して、少なくとも２つの眼画像間のホモグラフィの算出が、特徴ベースの追跡技法（ＦＢＴ）、コードベースの追跡（ＣＢＴ）技法、またはそれらの両方を使用して処理されることができる。両方の技法のある実施形態では、虹彩は、最初に、セグメント化され、例えば、虹彩の瞳孔および縁郭境界が、画像データの別個のセグメントとして識別される。本セグメント化から、眼ポーズの２つの角寸法が、判定されることができる（例えば、ピッチおよびヨー角）。虹彩特徴を比較することによって、眼ポーズの第３の角寸法が、識別されることができ（例えば、ロール）、順に、識別された全ての３つの角寸法を用いて、眼に関する眼ポーズが、識別されることができる。以下にさらに説明されるであろうように、特徴ベースの追跡技法およびコードベースの追跡技法は、各技法が眼ポーズの第３の角寸法（例えば、眼のロール角）を算出する方法において変動し得る。種々の実施形態では、眼の全ての３つの角寸法は、必ずしも、眼画像に対する虹彩セグメント化を実施することなく、種々の眼画像の虹彩特徴の比較から判定されることができる。

他の課題が、ウェアラブルＨＭＤから眼画像を処理するときに存在し得る。例えば、ＨＭＤ内に搭載されるカメラからの画像を使用して眼を追跡することは、他の問題を導入し得、眼移動は、ＨＭＤ移動またはＨＭＤに搭載されるカメラの移動と区別することが困難であり得る。しかしながら、本明細書に説明される技法を使用して、ＨＭＤから取得される画像を使用して眼を追跡する際に存在する課題は、ＨＭＤの基準フレーム内の眼の眼ポーズを判定することによって、軽減されることができる。

より具体的には、現在の眼画像処理技法は、眼のロールまたは眼ポーズの第３の角寸法を使用しない場合がある。しかしながら、眼のロールの推定が、眼移動、雑音抑制、またはＨＭＤの移動に関するエラーチェックに起因する捩れを測定するために使用されることができる。ＨＭＤに搭載されるカメラから取得される眼画像の視点から視認すると、ロール角は、その回転軸が瞳孔の光軸である眼の周囲の軌道に対するカメラのポーズ（例えば、カメラの指示方向）の変化に対応することができる。カメラの厳密な場所が（例えば、ウェアラブルＨＭＤの文脈において）眼に対して精密に把握されない限り、瞳孔のロール角の算出は、カメラ、したがって、ＨＭＤ自体のマウントの場所を判定するために使用されることができる。

加えて、眼画像を取得するカメラがＨＭＤ自体に搭載されるため、頭部の座標フレーム内のユーザの視認方向が、判定されることができる。ある実施例として、ヘッドマウント拡張現実（ＡＲ）デバイスに関して、ＨＭＤ自体の座標フレームを使用する眼ポーズ識別が、判定され得る。

本明細書で使用されるように、ビデオは、その通常の意味において使用され、限定ではないが、視覚画像のシーケンスの記録を含む。ビデオ内の各画像は、時として、画像フレームまたは単純にフレームと称される。ビデオは、オーディオチャネルの有無を問わず、複数の連続フレームまたは非連続フレームを含むことができる。ビデオは、時間において順序付けられる、または時間において順序付けられない、複数のフレームを含むことができる。故に、ビデオ内の画像は、眼画像フレームまたは眼画像と称され得る。
（眼の実施例）
図１は、眼瞼１０４、強膜１０８、虹彩１１２、および瞳孔１１６を伴う、眼１００の画像を図示する。曲線１１６ａは、瞳孔１１６と虹彩１１２との間の瞳孔境界を示し、曲線１１２ａは、虹彩１１２と強膜１０８（眼の「白眼」）との間の縁郭境界を示す。眼瞼１０４は、上眼瞼１０４ａと、下眼瞼１０４ｂとを含む。眼１００は、自然静止ポーズ（例えば、ユーザの顔および注視の両方が、それらがユーザの直前の遠隔の物体に向かうであろうように配向される）において図示される。眼１００の自然静止ポーズは、自然静止方向１２０によって示されることができ、これは、自然静止ポーズにあるとき、眼１００の表面に直交する（例えば、図１に示される眼１００に対する平面から真っ直ぐな）方向であり、本実施例では、瞳孔１１６内の中心に置かれる。

眼は、眼追跡またはバイオメトリック用途のために使用され得る、虹彩または強膜（またはその両方）内の眼特徴１２４を含むことができる。図１は、虹彩特徴１２４ａおよび強膜特徴１２４ｂを含む、眼特徴１２４の実施例を図示する。眼特徴１２４は、個々のキーポイントと称され得る。そのような眼特徴は、個人の眼に一意であり得、その個人の眼毎に固有であり得る。虹彩特徴１２４ａは、残りの虹彩色と比較して、またはその点を囲繞するある面積と比較して、特定の色密度の点であり得る。別の実施例として、虹彩のテクスチャ（例えば、その特徴の近傍の虹彩のテクスチャとは異なるテクスチャ）またはパターンが、虹彩特徴１２４ａとして識別されることができる。また別の実施例として、虹彩特徴１２４ａは、外観が虹彩とは異なる瘢痕であり得る。眼特徴１２４はまた、眼の血管と関連付けられることができる。例えば、血管は、虹彩の外側であるが、強膜内に存在し得る。そのような血管は、赤色または赤外光照明下でより顕著に可視であり得る。強膜特徴１２４ｂは、眼の強膜内の血管であり得る。いくつかの場合では、眼特徴という用語は、特徴が虹彩内にあるか、強膜内にあるか、または瞳孔を通して（例えば、網膜上に）見られる特徴であるかにかかわらず、眼の中またはその上の任意のタイプの識別特徴を指すように使用され得る。

各眼特徴１２４は、眼特徴１２４を囲繞する面積の数値表現である記述子と関連付けられることができる。記述子はまた、虹彩特徴表現とも称され得る。また別の実施例として、そのような眼特徴は、スケール不変特徴変換（ＳＩＦＴ）、高速化ロバスト特徴（ＳＵＲＦ）、加速セグメント試験からの特徴（ＦＡＳＴ）、方向付きＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、ＫＡＺＥ、加速ＫＡＺＥ（ＡＫＡＺＥ）等から導出され得る。故に、眼特徴１２４は、公知のコンピュータビジョンの分野からのアルゴリズムおよび技法から導出され得る。そのような眼特徴１２４は、キーポイントと称され得る。以下に説明される例示的実施形態のいくつかでは、眼特徴は、虹彩特徴の観点から説明されるであろう。これは、限定ではなく、任意のタイプの眼特徴（例えば、強膜特徴）が、他の実装において、加えて、または代替として、使用されることができる。

眼１００が異なる物体を見るために移動すると、眼ポーズは、自然静止方向１２０に対して変化するであろう。現在の眼ポーズは、自然静止眼ポーズ方向１２０を基準にして測定されることができる。眼１００の現在のポーズは、眼の自然静止方向１２０に対する現在の眼ポーズ方向を示す３つの角度パラメータとして表され得る。例証を目的として、図１Ａに示される例示的座標系を参照して、これらの角度パラメータは、α（ヨーと称され得る）、β（ピッチと称され得る）、およびγ（ロールと称され得る）として表されることができる。他の実装では、眼ポーズを測定するための他の技法または角度表現、例えば、任意の他のタイプのオイラー角システムが、使用されることができる。

眼画像が、任意の適切なプロセスを使用して、例えば、１つまたはそれを上回る連続フレームから画像を抽出し得るビデオ処理アルゴリズムを使用して、ビデオから取得されることができる。眼のポーズは、本明細書に説明されるような種々の眼追跡技法を使用して、眼画像から判定されることができる。
（特徴ベースの追跡を用いた眼ポーズ識別の実施例）
図２Ａ－２Ｂは、虹彩特徴を使用する例示的眼ポーズ識別システムを図式的に図示する。より具体的には、図２Ａ－２Ｂは、眼ポーズ識別に関する特徴ベースの追跡技法を図示する。描写される実施例は、セグメント化された虹彩を示す。図２Ａに描写されるように、虹彩特徴１２４ａが、虹彩１１２および瞳孔１１６を伴う眼内に識別される。曲線１１６ａは、瞳孔１１６と虹彩１１２との間の瞳孔境界を示し、曲線１１２ａは、虹彩１１２と強膜との間の縁郭境界を示す。上記に説明されるように、虹彩特徴１２４ａは、例えば、セグメント化された虹彩の面積から算出されるような数値表現と関連付けられることができる。

虹彩特徴１２４ａは、任意の特定の画像（例えば、図２Ｂの画像）を眼（例えば、図２Ａに示されるように静止位置において前方を向く眼）の基準画像に関連付けるために使用されることができる。本実施例では、図２Ａは、基準眼画像から取得されるような眼であり得る。図２Ｂは、別の眼画像から取得されるような、（指示方向に向かって）回転される同一の眼を描写する。虹彩特徴１２４ａを使用して、回転される眼画像（例えば、図２Ｂ）内の虹彩特徴１２４ａの位置を基準眼画像（例えば、図２Ａ）内の位置に関連付けるホモグラフィが、算出されることができる。例えば、２つの角寸法が、虹彩特徴１２４ａを使用して算出されることができる。または別の実施形態では、虹彩は、最初に、セグメント化され、これらの２つの角寸法は、その虹彩セグメント化後に算出され得る。虹彩は、非常に略平坦であるため、ホモグラフィは、適切なマッピングであり得るが、しかしながら、角膜からの歪みが、いくつかの実装では、より高い精度結果のために、考慮され得る。一実施形態では、２つの角寸法は、ヨーおよびピッチと称され得る。加えて、図２Ｂに描写されるように、眼の指示方向は、第３の角寸法と関連し得る。第３の角寸法は、眼のロールと称され得る。眼の全ての３つの角寸法が取得されると、３つの角寸法を備える眼ポーズが、識別されることができる。識別された眼ポーズは、３次元角座標系において表される眼の数値表現であり得る。故に、第３の角寸法における眼のロール回転の変化、例えば、図２Ａ－２Ｂに描写されるロール回転の変化が、判定され得る。少なくとも２つの画像間のホモグラフィを算出するそのようなプロセスは、虹彩特徴１２４ａの「合致」と称され得る。

算出された２つの角寸法（例えば、ヨーおよびピッチ）は、他のセグメント化技法を介して判定される虹彩セグメント化を照合するために使用され得る。例えば、セグメント化変換が、虹彩特徴（例えば、キーポイント）ホモグラフィの判定と同時に解かれ得る。一実装では、セグメント化変換が、解かれ、キーポイントが、画像から分離され、ホモグラフィが、キーポイントから解かれ、セグメント化が、照合され、最終的な解が、単一の解を算出するために、キーポイントおよび境界セグメント化を使用して（セグメント化が照合された場合）算出され得る。

虹彩特徴１２４ａの数値表現は、虹彩特徴１２４ａが画像から直接算出される場合、２つの取得された眼画像間で変化し得る。例えば、瞳孔の遠視歪みおよび拡張状態は、セグメント化された眼内の虹彩特徴１２４ａの見掛けの場所を変化させ得る。加えて、数値表現（例えば、記述子）は、歪曲され、場合によっては、画像間の虹彩特徴１２４ａの合致に課題を導入し得る。故に、一実施形態では、瞳孔は、（例えば、縁郭境界から算出されたホモグラフィを反転させることによって）同等の正面像に再マッピングされ得、その後、歪みのない画像から虹彩特徴１２４ａを算出する。そのようなマッピングはまた、瞳孔境界から縁郭境界に延在する半径方向寸法の正規化を含み得る。

さらに、取得された眼画像は、極座標表現システムに変換され得る（例えば、Ｄａｕｇｍａｎによる米国特許第５，２９１，５６０号参照）。そのような表現システムでは、ｘ座標は、歪みのない画像内の角座標に等しく、ｙ座標は、「疑似半径」（瞳孔境界からの半径方向距離）に等しい。そのような極画像は、標準サイズに正規化され得る。そのような場合では、虹彩特徴１２４ａおよび数値表現は、極画像上で算出される。２つの取得された眼画像間の合致は、その極画像によって定義される数値表現に対して算出され得る。２つの取得された眼画像間の合致を見出すために、極変換および修正変換が、反転されることができ、オリジナル画像内の虹彩特徴１２４ａの場所が、算出されることができる。一実施形態では、配向と関連付けられる虹彩特徴１２４ａは、不必要であり得る。算出された極画像では、虹彩特徴１２４ａの配向は、眼のロール回転とは無関係に固定され得る。

前述の実施例は、虹彩特徴を使用して眼ポーズを識別する文脈において説明されたが、これは、例証のためであり、限定することは意図されない。他の実装では、任意の好適な眼特徴が、眼ポーズを識別するために使用されることができる。例えば、瞳孔特徴が、眼画像間の変化を検出し、したがって、眼のロール角を算出するために使用され得る。
（コードベースの追跡を用いた眼ポーズ識別の実施例）
図３Ａ－３Ｂは、眼の眼ポーズを識別するための虹彩コード識別技法の実施例を図式的に図示する。本実施例は、図１の虹彩特徴１２４ａ等の虹彩特徴を使用するコードベースの追跡技法を図示する。図３Ａに描写されるように、静止ポーズにおける（例えば、真っ直ぐ正面を見る）眼の画像３０４ａが、虹彩特徴１２４ａ１を含むことができる。図３Ｂに描写されるように、画像３０４ｂは、量３０８ａだけの眼のロール角の変化を示し、これは、画像３０４ｂ内の虹彩特徴１２４ａ１を、静止ポーズ画像３０４ａ１のその角度位置に対して角度偏移させる。例えば、画像３０４ａ内の虹彩特徴１２４ａ１は、角度３０８ａだけ角度位置において偏移され、画像３０４ｂ内で偏移された虹彩特徴１２４ａ２として出現する。画像３０４ｂは、静止視点から（例えば、眼が真っ直ぐ正面を見ているように）示され、これは、上記に説明されるヨーおよびピッチ角を使用して達成されることができる。

画像３０４ａ、３０４ｂ内の虹彩は、上記に議論される半径方向座標ｒおよび角座標γを伴う角度表現システムにマッピングされる（例えば、「展開される」）ことができる。または別の実施形態では、虹彩は、最初に、セグメント化され、２つの角寸法が、極表現システムにマッピングされ得る。虹彩コード３１２ａ、３１２ｂが、それぞれ、画像３０４ａ、３０４ｂのそれぞれから抽出されることができる。角度３０８ａだけの眼の回転に起因して、虹彩コード３１２ｂ内の虹彩特徴は、虹彩コード３１２ａ内のその位置に対して偏移量３０８ｂだけ偏移されるであろう。虹彩コード３１２ａ、３１２ｂを比較することによって、偏移量３０８ｂは、判定されることができる。極座標系では、偏移量３０８ｂは、ピクセルにおいて測定され得、これは、角度３０８ａの測度、例えば、度に変換されることができる。

虹彩コードは、種々の方法で算出されることができる。例えば、いくつかの実施形態では、虹彩コードは、虹彩バイオメトリクスのためにＪｏｈｎ Ｄａｕｇｍａｎによって開発されたアルゴリズムに従って算出されることができる（例えば、米国特許第５，２９１，５６０号参照）。例えば、虹彩コードは、２－Ｄバンドパスフィルタ（例えば、Ｇａｂｏｒフィルタ）を用いた（極座標内の）虹彩画像の畳み込みに基づき得、虹彩コードは、（例えば、特定のＧａｂｏｒフィルタへの応答が正または負であるかを問わず）２ビット数として表されることができる。

コードベースの追跡技法の比較プロセスでは、初期虹彩コード３１２ａ（例えば、画像３０４ａ等からの開始眼位置からの虹彩コード）が、第３の角寸法における可能な平行移動（例えば、－１０ピクセルから＋１０ピクセル）のウィンドウに関して再算出されることができる。ウィンドウは、ユーザによって装着されている間、その眼ポーズが変化する際、またはＨＭＤが偏移、移動、または回転する際にユーザが体験するロール角の予期される量（虹彩コードの水平な平行移動に対応する）に基づいて選択されることができる。ウィンドウは、約５度を下回る、約１０度を下回る、約２０度を下回る、約３０度を下回る、またはある他の値のロール角を表し得る。いくつかの実装では、再算出された虹彩コードは、ハッシュされ、バイナリツリー内に記憶される。偏移量３０８ｂは、基準画像３０４ａから再算出された虹彩コードのうちの１つに対して現在測定されているような虹彩コード間の異なるビットの最小数（例えば、Ｈａｍｍｉｎｇ距離）を判定することによって計算されることができる。異なるビットの最小数は、γ軸に沿った正しい回転として選択されることができる。虹彩コード３１２ｂのγ軸方向における変位３１２ａｂから、虹彩のロール角（画像３０４ｂと画像３０４ａとの間の角度３０８ａ）は、直接算出されることができる。例えば、展開された画像が５１２ピクセル幅であり、最良の合致に対応する変位が５ピクセルであった場合、眼のロールは、

である。

前述の実施例は、虹彩特徴を使用して眼ポーズを識別する文脈において説明されたが、これは、例証のためであり、限定することは意図されない。他の実装では、任意の好適な眼特徴が、眼ポーズを識別するために使用されることができる。例えば、瞳孔特徴が、眼画像間の変化を検出し、したがって、眼のロール角を算出するために使用され得る。加えて、前述の実施例は、極表現の文脈において説明されたが、これは、例証のためであり、限定することは意図されない。他の実装では、好適な座標系にマッピングされる虹彩特徴に関する任意の好適な数値表現が、コードベースの追跡技法を実装するために使用されることができる。
（例示的眼ポーズ推定ルーチン）
図４は、上記に説明されるＦＢＴおよびＣＢＴ技法の実施形態を使用して眼ポーズを測定するための例証的ルーチン４００のフロー図４００である。ルーチン４００は、ブロック４０４において開始される。ブロック４０８において、眼画像が、受信される。眼画像は、限定ではないが、画像捕捉デバイス、ヘッドマウントディスプレイシステム、サーバ、非一過性コンピュータ可読媒体、またはクライアントコンピューティングデバイス（例えば、スマートフォン）を含む、種々の源から受信されることができる。

正常な人間の虹彩は、高い正確度で円形である。カメラが略正面角度から眼を視認するように位置付けられない場合があるため、虹彩は、概して、静止位置（例えば、真っ直ぐ正面）にあっても、カメラ画像から取得されたときに円形に見えないであろう。ある特定の画像に関して、虹彩の平面およびイメージャの平面が平行ではない場合、虹彩の境界は、長円形または楕円形に見え得る。カメラの視野角等の器具効果もまた、虹彩が円形に見えないように画像を歪曲させ得る。ブロック４１２において、眼画像からの眼の虹彩は、虹彩の縁郭境界および瞳孔境界を識別するためにセグメント化される。セグメント化の一部として、（典型的には、虹彩の一部を閉塞する）眼瞼の場所が、判定され得る。本明細書に説明されるように、虹彩をセグメント化するステップは、いくつかの実装では、実施されない場合があり、したがって、ブロック４１２は、随意である。

ブロック４１６において、眼ポーズの２つの角座標が、虹彩境界（縁郭または瞳孔）に基づいて、または概して、虹彩セグメント化に基づいて判定される。例えば、透視変換を特徴付けるカメラの固有のパラメータ（例えば、レンズの焦点距離、ピクセル座標におけるイメージャ表面上の光学的中心点等）を所与として、虹彩が２つの角寸法において視認されている透視変換を解くことが可能である。故に、判定され得る２つの角寸法は、眼のヨーおよびピッチであり得る（例えば、図１Ａに示される角度αおよびβ参照）。先に留意されるように、眼のロール（その周囲で回転が虹彩の境界を変化させない第３の角寸法）は、透視変換のみから解かれない場合がある。

ブロック４２０において、眼特徴が、眼画像内に識別される。例えば、これは、ある場所における虹彩のテクスチャまたはパターンまたはキーポイントに関して上記に説明されるように起こり得る。虹彩特徴の数値表現が、例えば、虹彩特徴の周囲の面積を算出することによって、ピクセルの密度の観点から、虹彩特徴からの半径の観点から、虹彩コードの観点から、または数値表現を虹彩特徴と関連付けるための任意の他の方法によって、算出されることができる。さらに、本明細書に説明されるように、ルーチン４００は、眼の虹彩内にある特徴のみに限定されず、眼の強膜（虹彩の外側）内の特徴に（加えて、または代替として）適用されることができる。

ブロック４２４において、眼ポーズの第３の角座標が、識別された眼特徴に基づいて判定される。図２Ａ－２Ｂにおける特徴ベースの追跡技法に関して、および図３Ａ－３Ｂにおけるコードベースの追跡技法に関して上記に説明されるように、眼ポーズの第３の角座標（例えば、図１Ａに示されるロール角γ）は、（ブロック４０８において取得された）画像と基準状態（例えば、眼が真っ直ぐ正面を見る静止状態）における眼の画像との間の眼特徴（虹彩特徴または強膜特徴）の角度位置の変化から判定されることができる。故に、眼の３つの角寸法が判定されると、眼に関する眼ポーズが、３次元角座標系によって表されるように識別されることができる。

ブロック４２８において、識別された眼ポーズが、バイオメトリック用途またはヘッドマウントディスプレイ（ＨＭＤ）に関する画像表示のために使用されることができる。したがって、本実施例から分かり得るように、眼ポーズは、虹彩のセグメント化およびセグメント化された眼から測定される識別された虹彩特徴に従って識別されることができる。

いくつかの実装では、虹彩セグメント化は、識別された眼ポーズを使用して再推定されることができ、初期虹彩セグメント化と再推定された虹彩セグメント化との間の比較が、眼ポーズ推定の一貫性を照合するために実施されることができる。例えば、再推定された虹彩セグメント化が、初期虹彩セグメント化と実質的に同一である（例えば、ある閾値差よりも小さい）場合、眼ポーズ推定値は、正確である可能性が高い。代替として、２つのポーズ測定値が、（例えば、両方の測定値を生成する最大確率を伴う潜在的ポーズを算出することによって）単一の測定値に融合され得る。

種々の実施形態では、ルーチン４００は、例えば、図５を参照して以下に説明されるように、ウェアラブルディスプレイシステム５００のハードウェアプロセッサ（例えば、ローカルまたは遠隔処理モジュール５２８、５３２）によって実施され得る。ルーチン４００は、ＨＭＤの装着者の片眼またはＨＭＤの装着者の両目に対して実施されることができる。
（ヘッドマウントディスプレイエラー回転ルーチンの実施例）
種々の実施形態では、装着者の頭部に対するヘッドマウントディスプレイの回転を判定するためのルーチンが、（眼ポーズが虹彩特徴から識別される）ルーチン４００と同様に実施されることができる。典型的には、装着者の各眼の角度ロールは、実質的に同一である。ウェアラブルヘッドマウントディスプレイの場合では、装着者の頭部に対するＨＭＤの回転は、装着者の眼毎に多少異なる眼ロールをもたらし得る。故に、眼毎の角度ロール測定値がある閾値を上回って異なる場合、エラー信号が、エラーがウェアラブルヘッドマウントディスプレイに起きたことを示すために生成されることができる。例えば、種々の実施形態では、閾値は、１～５度、５～１０度、またはある他の回転量であり得る。

種々の実施形態では、各眼の角度ロールは、一連の画像にわたって平均化され、続けて、本エラー回転技法を使用して比較されることができる。

いくつかの実施形態では、そのような比較は、目が中立静止位置にあるときのみ実施され得る。他の例では、本判定は、他の注視方向に関して実施され得る。本場合では、眼の操向筋肉（例えば、内直筋および側直筋）の自然作用の結果としての眼の予期されるロールは、２つの眼間の比較の前に明示的に減算され得る。
（眼ポーズ識別の例示的用途）
眼ポーズ識別を使用するシステムおよび方法は、ビデオ画像の文脈内で対処されると、画像処理における古典的問題の多くが改善されることを可能にする。加えて、新しい問題が、対処されることができる。例えば、眼ポーズ識別は、ビデオからの画像分類（例えば、眼の虹彩を識別すること）のために、およびビデオの１つまたはそれを上回るフレーム内の具体的物体タイプ（例えば、上眼瞼の場所）の位置特定のために使用されることができる。別の実施例として、眼ポーズ識別は、眼追跡の用途（例えば、眼の配向または方向を判定すること）のためにビデオに適用されることができる。

いくつかのそのような用途では、以下にさらに議論されるであろうように、ウェアラブルディスプレイシステムが、ウェアラブルディスプレイシステムに動作可能に結合される（例えば、それに取り付けられる、またはその中に含まれる）、画像捕捉デバイスによって取得されるビデオデータに対して眼ポーズ識別を実施するプロセッサを含むことができる。画像捕捉デバイスは、眼ポーズを識別する際に使用するために、装着者の眼または装着者の身体の他の構成要素（例えば、眉）のビデオを取得し得る。

眼ポーズ識別の使用は、有利なこととして、（例えば、ウェアラブルディスプレイシステム内の画像捕捉デバイスから取得される）ビデオ内の眼ポーズの認識を可能にし、これは、バイオメトリック情報等のビデオ内の物体の改良された認識または分類を可能にし得る。例えば、従来のバイオメトリックテンプレートは、眼の眼ポーズを判定する際に困難を有し得る。しかしながら、本明細書に説明される眼ポーズ識別アプローチは、ヨー、ピッチ、およびロール等の眼ポーズの３つの角寸法を識別することができる。したがって、バイオメトリック情報を抽出する能力を提供することによって、（図４に説明され、図２Ａ－２Ｂおよび３に図示されるような）眼ポーズ識別は、虹彩セグメント化のみを使用するときに利用可能ではない眼の部分をより良好に追跡することができ、バイオメトリック抽出において使用されるより正確な虹彩セグメント化を提供することができる。本明細書に開示される眼ポーズ識別技法は、バイオメトリック抽出のために、（例えば、図５等における）ヘッドマウントディスプレイによって使用されることができる。
（眼ポーズ識別を使用する例示的ウェアラブルディスプレイシステム）
いくつかの実施形態では、ディスプレイシステムは、ウェアラブルであり得、これは、有利なこととして、より没入型の仮想現実（ＶＲ）、拡張現実（ＡＲ）、または複合現実（ＭＲ）体験を提供し得、デジタル的に再現された画像またはその一部が、それらが現実のように見える、または現実として知覚され得る様式で装着者に提示される。

理論によって限定されるわけではないが、人間の眼は、典型的には、奥行知覚を提供するために、有限数奥行面を解釈し得ると考えられる。その結果、知覚される奥行の高度に真実味のあるシミュレーションが、これらの限定された数の奥行面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。例えば、導波管のスタックを含有するディスプレイが、ユーザまたは視認者の眼の正面に位置付けられて装着されるように構成され得る。導波管のスタックは、複数の導波管を使用し、画像投入デバイス（例えば、１つまたはそれを上回る光ファイバを介して画像情報を送る、多重化ディスプレイの離散ディスプレイまたは出力端）から、特定の導波管と関連付けられる奥行面に対応する特定の角度（および発散量）における視認者の眼に光を指向させることによって、３次元知覚を眼／脳に提供するために利用され得る。

いくつかの実施形態では、導波管の２つのスタック（視認者の眼毎に１つ）が、異なる画像を各眼に提供するために利用され得る。一実施例として、拡張現実シーンは、ＡＲ技術の装着者が、人物、木、背景の建物、およびコンクリートプラットフォームを特徴とする現実世界の公園のような設定を見るようにし得る。これらのアイテムに加えて、ＡＲ技術の装着者はまた、自身が、現実世界プラットフォーム上に立つロボットの像およびマルハナバチの擬人化のように見える飛行する漫画的アバタキャラクタを、そのロボットの像およびマルハナバチが現実世界に存在していないにもかかわらず、「見ている」と知覚し得る。導波管のスタックは、入力画像に対応するライトフィールドを生成するために使用され得、いくつかの実装では、ウェアラブルディスプレイは、ウェアラブルライトフィールドディスプレイを含む。ライトフィールド画像を提供するためのウェアラブルディスプレイデバイスおよび導波管スタックの実施例が、米国特許公開第２０１５／００１６７７７号（参照することによって、これが含有するあらゆるものに関してその全体として本明細書に組み込まれる）に説明されている。

図５は、装着者５０４にＶＲ、ＡＲ、またはＭＲ体験を提示するために使用され得る、ウェアラブルディスプレイシステム５００の実施例を図示する。ウェアラブルディスプレイシステム５００は、眼ポーズ識別を実施し、本明細書に説明される用途または実施形態のいずれかを提供するようにプログラムされ得る。ディスプレイシステム５００は、ディスプレイ５０８と、そのディスプレイ５０８の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ５０８は、フレーム５１２に結合され得、これは、ディスプレイシステム装着者または視認者５０４によってウェアラブルであり、装着者５０４の眼の正面にディスプレイ５０８を位置付けるように構成される。ディスプレイ５０８は、ライトフィールドディスプレイであり得る。いくつかの実施形態では、スピーカ５１６が、フレーム５１２に結合され、ユーザの外耳道に隣接して位置付けられ、いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する。ディスプレイ５０８は、有線導線または無線接続等によって、フレーム５１２に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ５０４に（例えば、バックパック式構成において、ベルト結合式構成において）可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール５２４に動作可能に結合される（５２０）。

フレーム５１２は、装着者の眼の画像を取得するために、フレーム５１２に取り付けられる、または搭載される１つまたはそれを上回るカメラを有することができる。一実施形態では、カメラは、眼が直接撮像され得るように、装着者の眼の正面のフレーム５１２に搭載され得る。他の実施形態では、カメラは、（例えば、装着者の耳に近接する）フレーム５１２のステムに沿って搭載されることができる。そのような実施形態では、ディスプレイ５１２は、装着者の眼からの光をカメラに向かって戻るように反射する材料を用いてコーティングされ得る。虹彩特徴は、赤外画像において顕著であるため、光は、赤外光であり得る。

ローカル処理およびデータモジュール５２４は、ハードウェアプロセッサおよび不揮発性メモリ、例えば、フラッシュメモリ等の非一過性デジタルメモリを備え得、その両方は、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロ等の（例えば、フレーム５１２に動作可能に結合される、または別様に装着者５０４に取り付けられ得る）センサから捕捉されるデータ、および／または、（ｂ）場合によってはそのような処理または読出後のディスプレイ５０８への通過のために、遠隔処理モジュール５２８および／または遠隔データリポジトリ５３２を使用して取得および／または処理されるデータ、を含む。ローカル処理およびデータモジュール５２４は、有線または無線通信リンクを介する等、通信リンク５３６、５４０によって、遠隔処理モジュール５２８および遠隔データリポジトリ５３２に動作可能に結合され得、したがって、これらの遠隔モジュール５２８、５３２は、相互に動作可能に結合され、ローカル処理およびデータモジュール５２４へのリソースとして利用可能である。画像捕捉デバイスは、眼ポーズ識別プロシージャにおいて使用される眼画像を捕捉するために使用されることができる。

いくつかの実施形態では、遠隔処理モジュール５２８は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備え得る。ビデオデータは、ローカル処理およびデータモジュール５２４内に、および／または遠隔データリポジトリ５３２内にローカルに記憶され得る。いくつかの実施形態では、遠隔データリポジトリ５３２は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール５２４において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。

いくつかの実装では、ローカル処理およびデータモジュール５２４および／または遠隔処理モジュール５２８は、本明細書に説明されるような眼ポーズを識別する実施形態を実施するようにプログラムされる。例えば、ローカル処理およびデータモジュール５２４および／または遠隔処理モジュール５２８は、図４を参照して説明されるルーチン４００の実施形態を実施するようにプログラムされることができる。ローカル処理およびデータモジュール５２４および／または遠隔処理モジュール５２８は、本明細書に開示される眼ポーズ識別技法を使用し、バイオメトリック抽出において、例えば、装着者５０４の識別を識別または認証する、または眼注視または眼瞼形状推定またはポーズ推定において、例えば、各眼が見ている方向を判定するようにプログラムされることができる。画像捕捉デバイスは、特定の用途のためのビデオ（例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手または指のビデオ）を捕捉することができる。ビデオは、処理モジュール５２４、５２８のうちの一方または両方によって、眼ポーズ識別技法を使用して分析されることができる。本分析では、処理モジュール５２４、５２８は、眼ポーズ識別または検出および／またはバイオメトリック抽出等を実施することができる。ある実施例として、ローカル処理およびデータモジュール５２４および／または遠隔処理モジュール５２８は、フレーム５１２に取り付けられたカメラから取得された眼画像を記憶するようにプログラムされることができる。加えて、ローカル処理およびデータモジュール５２４および／または遠隔処理モジュール５２８は、ウェアラブルディスプレイシステム５００の装着者の眼ポーズを識別するために、本明細書に説明される特徴ベースの追跡またはコードベースの追跡技法（例えば、ルーチン４００）を使用して、眼画像を処理するようにプログラムされることができる。いくつかの場合では、遠隔処理モジュールに眼ポーズ識別の少なくとも一部を（例えば、「クラウド」内に）オフロードすることは、算出の効率または速度を改良し得る。眼ポーズ識別に関する種々のパラメータ（例えば、加重、バイアス項、ランダムサブセットサンプリング係数、数、フィルタ（例えば、Ｓｏｂｅｌ微分演算子）のサイズ等）が、データモジュール５２４および／または５３２内に記憶されることができる。

ビデオ分析の結果（例えば、推定された眼ポーズ）は、付加的動作または処理のために、処理モジュール５２４、５２８のうちの一方または両方によって使用されることができる。例えば、種々の用途では、物体、ポーズ等のバイオメトリック識別、眼追跡、認識、または分類が、ウェアラブルディスプレイシステム５００によって使用され得る。例えば、装着者の眼のビデオは、眼ポーズ識別のために使用されることができ、これは、順に、ディスプレイ５０８を通した装着者５０４の注視の方向を判定するために、処理モジュール５２４、５２８によって使用されることができる。ウェアラブルディスプレイシステム５００の処理モジュール５２４、５２８は、本明細書に説明されるビデオまたは画像処理用途のいずれかを実施するように、眼ポーズ識別の１つまたはそれを上回る実施形態とともにプログラムされることができる。
（付加的側面）
本明細書に説明される眼ポーズ識別技法は、（例えば、ビデオフレームからの）画像に適用されることができる。眼ポーズ識別は、眼の画像を処理するための単一のプロセスおよび／または方法論としてともに見なされることができる。

第１の側面では、眼画像を処理するための方法が、開示される。本方法は、ハードウェアコンピュータプロセッサの制御下で、眼の瞳孔および縁郭境界を取得するために、眼画像内の眼の虹彩をセグメント化するステップと、眼の瞳孔および縁郭境界を使用して、第１の眼ポーズ測定値の２つの角座標を判定するステップと、眼の虹彩特徴を識別するステップと、識別された虹彩特徴を使用して、第１の眼ポーズ測定値の第３の角座標を判定するステップと、画像の表示またはバイオメトリック用途のために、第１の眼ポーズ測定値を利用するステップとを含む。

第２の側面では、眼の虹彩特徴を識別するステップは、虹彩特徴に関する記述子を判定するステップを含み、記述子は、虹彩特徴の数値表現を含む、側面１に記載の方法。

第３の側面では、第３の角座標を判定するステップは、特徴ベースの追跡技法、コードベースの追跡技法、またはそれらの組み合わせを使用して、第３の角座標を判定するステップを含む、側面１または側面２に記載の方法。

第４の側面では、第３の角座標を判定するステップは、特徴ベースの追跡技法およびコードベースの追跡技法を使用して、第３の角座標を判定するステップを含む、側面１または側面２に記載の方法。

第５の側面では、特徴ベースの眼追跡技法およびコードベースの追跡技法は、判定された眼ポーズの一貫性を照合するために、実質的に同時に実施される、側面４に記載の方法。

第６の側面では、第３の角座標を判定するステップは、少なくとも部分的に、虹彩特徴に基づいて、眼画像と基準眼画像との間のホモグラフィを判定するステップを含む、側面１－５のうちのいずれか１項に記載の方法。

第７の側面では、第３の角座標を判定するステップは、少なくとも部分的に、虹彩特徴に基づいて、眼画像から生成される虹彩コードと基準眼画像から生成される虹彩コードとの間の偏移を判定するステップを含む、側面１－６のうちのいずれか１項に記載の方法。

第８の側面では、虹彩特徴は、異なるテクスチャ、虹彩内のパターン、または虹彩のキーポイントを伴う虹彩の面積を含む、側面１－７のうちのいずれか１項に記載の方法。

第９の側面では、第１の眼ポーズ測定値は、ユーザの第１の眼に関して判定され、第２の眼ポーズ測定値は、ユーザの第２の眼に関して判定され、第１の眼ポーズ測定値および第２の眼ポーズ測定値の平均が、ユーザの眼ポーズの単一の推定値として使用される、側面１－８のうちのいずれか１項に記載の方法。

第１０の側面では、ハードウェアプロセッサが、開示される。ハードウェアプロセッサは、側面１－９のうちのいずれか１つに記載の方法を実施するようにプログラムされる。

第１１の側面では、眼ポーズを判定するためのウェアラブルディスプレイシステムであって、前記ウェアラブルディスプレイシステムは、側面１０に記載のハードウェアプロセッサと、ハードウェアプロセッサにウェアラブルディスプレイシステムの装着者の眼画像を伝送するように構成される、画像デバイスとを備える、ウェアラブルディスプレイシステム。

第１２の側面では、ハードウェアプロセッサはさらに、側面１－９のうちのいずれか１項に記載の方法を実施し、ウェアラブルディスプレイシステムの装着者の眼のバイオメトリック情報を判定するようにプログラムされる、側面１１に記載のウェアラブルディスプレイシステム。

第１３の側面では、ヘッドマウントディスプレイシステムが、開示される。ヘッドマウントディスプレイシステムは、眼画像を捕捉するように構成される、画像捕捉デバイスと、画像捕捉デバイスから眼画像を受信することと、少なくとも部分的に、眼画像に基づいて、眼のピッチおよびヨーを判定することと、少なくとも部分的に、眼画像内の眼特徴に基づいて、眼のロールを判定することと、少なくとも部分的に、ピッチ、ヨー、およびロールに基づいて、眼画像の眼ポーズを判定することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

第１４の側面では、眼のロールを判定するために、ハードウェアプロセッサは、眼画像と基準眼画像との間のホモグラフィを判定するようにプログラムされる、側面１３に記載のヘッドマウントディスプレイシステム。

第１５の側面では、眼のロールを判定するために、ハードウェアプロセッサは、眼画像の極座標表現を利用するようにプログラムされる、側面１３または側面１４に記載のヘッドマウントディスプレイシステム。

第１６の側面では、眼のロールを判定するために、ハードウェアプロセッサは、眼画像の虹彩コードを基準眼画像からの虹彩コードと比較するようにプログラムされる、側面１３－１５のうちのいずれか１項に記載のヘッドマウントディスプレイシステム。

第１７の側面では、ハードウェアプロセッサはさらに、眼画像の眼ポーズを使用して、眼のバイオメトリックデータを判定するようにプログラムされる、側面１３－１６のうちのいずれか１項に記載のヘッドマウントディスプレイシステム。

第１８の側面では、眼特徴は、虹彩特徴を含む、側面１３－１７のうちのいずれか１項に記載のヘッドマウントディスプレイシステム。

第１９の側面では、虹彩特徴は、虹彩内のテクスチャ、パターン、またはキーポイントを含む、側面１８に記載のヘッドマウントディスプレイシステム。

第２０の側面では、眼特徴は、強膜特徴を含む、側面１３－１７のうちのいずれか１項に記載のヘッドマウントディスプレイシステム。

第２１の側面では、強膜特徴は、血管を含む、側面２０に記載のヘッドマウントディスプレイシステム。

第２２の側面では、プロセッサはさらに、眼画像内の眼の虹彩をセグメント化するようにプログラムされる、側面１３－２１のうちのいずれか１項に記載のヘッドマウントディスプレイシステム。

第２３の側面では、ヘッドマウントディスプレイ（ＨＭＤ）の動作におけるエラーを検出するための方法が、開示される。本方法は、ハードウェアコンピュータプロセッサの制御下で、ＨＭＤの装着者の第１の眼の第１のロール角を判定するステップと、ＨＭＤの装着者の第２の眼の第２のロール角を判定するステップと、少なくとも部分的に、第１のロール角および第２のロール角の比較に基づいて、ヘッドマウントディスプレイ動作の動作におけるエラーを検出するステップとを含む。

第２４の側面では、ヘッドマウントディスプレイの動作におけるエラーを検出するステップは、第１のロール角と第２のロール角との間の差異が、あるエラー閾値を超えることを判定するステップを含む、側面２３に記載の方法。

第２５の側面では、検出されたエラーに基づいて、エラー信号を生成するステップをさらに含む、側面２３または２４のいずれか１項に記載の方法。

第２６の側面では、ヘッドマウントディスプレイ動作の動作におけるエラーを検出するステップは、複数の眼画像内のロール角に関する平均値を追跡するステップを含む、側面２３－２５のうちのいずれか１項に記載の方法。

第２７の側面では、第１のロール角を判定するステップまたは第２のロール角を判定するステップは、側面１－９のうちのいずれか１項に記載の方法を実施するステップを含む、側面２３－２６のうちのいずれか１項に記載の方法。

第２８の側面では、装置が、開示される。本装置は、眼の画像を取得するように構成される、カメラと、眼の画像を分析し、眼の眼ポーズを推定するようにプログラムされる、処理システムとを備える。

第２９の側面では、カメラは、デジタルカメラである、側面２８に記載の装置。

第３０の側面では、眼の画像を分析し、眼の眼ポーズを推定するために、処理システムは、現在の眼ポーズと基準眼ポーズとの間の相対的変換を判定するようにプログラムされる、側面２８－２９のうちのいずれか１項に記載の装置。

第３１の側面では、現在の眼ポーズと基準眼ポーズとの間の相対的変換を判定するために、処理システムは、眼内の眼特徴を分析するようにプログラムされる、側面３０に記載の装置。

第３２の側面では、眼内の眼特徴を分析するために、処理システムは、眼内の虹彩特徴または強膜特徴を分析するようにプログラムされる、側面３１に記載の装置。

第３３の側面では、眼内の眼特徴を分析するために、処理システムは、眼の虹彩の縁郭輪を分析するようにプログラムされる、側面３２に記載の装置。

第３４の側面では、眼の虹彩の縁郭輪を分析するために、処理システムは、縁郭境界をカメラの座標フレームに関連付ける角度変換の３つの寸法のうちの２つを判定するようにプログラムされる、側面３３に記載の装置。

第３５の側面では、処理システムはさらに、角度ウィンドウの検索を実施し、虹彩コードの最適な合致に関するオフセットを判定するようにプログラムされる、側面３４に記載の装置。

第３６の側面では、処理システムはさらに、オフセットを使用して、角度変換の第３の「ロール」自由度に対応するロール角を測定するようにプログラムされる、側面３５に記載の装置。

第３７の側面では、処理システムは、眼内の虹彩特徴または強膜特徴を分析し、連続的に、または同時最適化の一部として、眼の虹彩の縁郭輪を分析するようにプログラムされる、側面３３－３６のうちのいずれか１項に記載の装置。

第３８の側面では、処理システムはさらに、眼特徴を抽出するようにプログラムされる、側面３１－３７のうちのいずれか１項に記載の装置。

第３９の側面では、処理システムはさらに、眼特徴が抽出されることに先立って、虹彩画像を極形式に変換することと、眼特徴を画像座標に戻すように逆にマッピングすることとを行うようにプログラムされる、側面３８に記載の装置。

第４０の側面では、本装置は、ヘッドマウントディスプレイである、側面２８－３９のうちのいずれか１項に記載の装置。

第４１の側面では、眼は、ヘッドマウントディスプレイの装着者の一方の眼であり、ロール角は、ヘッドマウントディスプレイの装着者の一方の眼のロール角を含み、処理システムはさらに、ヘッドマウントディスプレイの装着者の別の眼の第３の「ロール」自由度に対応するロール角を測定することと、２つのロール角が合致しないとき、エラー信号を生成することとを行うようにプログラムされる、側面４０に記載の装置。

第４２の側面では、処理システムは、角度測定値のロール寸法の単一の推定値として、２つのロール角の平均値を判定するようにプログラムされる、側面４１に記載の装置。

第４３の側面では、眼のロール角（捩れ）は、眼の視軸を補正するために測定される、側面３６－４２のうちのいずれか１項に記載の装置。
（結論）
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み得、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴の群も、あらゆる実施形態に必要または必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されることを示唆すること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれるかまたは実施されるべきかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える」、「～を含む」、「～を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (29)

1. ヘッドマウントディスプレイ（ＨＭＤ）システムであって、
   少なくとも前記ＨＭＤシステムの装着者の第１の眼の第１の眼画像および前記ＨＭＤシステムの前記装着者の第２の眼の第２の眼画像を捕捉するように構成される１つ以上の画像捕捉デバイスと、
   ハードウェアプロセッサと
   を備え、
   前記ハードウェアプロセッサは、
   少なくとも前記第１の眼画像に基づいて、前記ＨＭＤシステムの前記装着者の前記第１の眼の第１のロール角を判定することであって、前記第１のロール角は、前記第１の眼の第１の瞳孔の中心平面に直交する第１の光軸の周りの前記第１の眼の回転に対応する、ことと、
   少なくとも前記第２の眼画像に基づいて、前記ＨＭＤシステムの前記装着者の前記第２の眼の第２のロール角を判定することであって、前記第２のロール角は、前記第２の眼の第２の瞳孔の中心平面に直交する第２の光軸の周りの前記第２の眼の回転に対応する、ことと、
   前記第１のロール角と前記第２のロール角との間の不一致に少なくとも部分的に基づいて、前記ＨＭＤシステムの動作におけるエラーを検出することと
   を行うようにプログラムされる、ＨＭＤシステム。
2. 前記ＨＭＤシステムの動作におけるエラーを検出することは、前記第１のロール角と前記第２のロール角との間の差異がエラー閾値を超えることを判定することを含む、請求項１に記載のシステム。
3. 前記エラー閾値は、１度～１０度の間の範囲内にある、請求項２に記載のシステム。
4. 前記ハードウェアプロセッサは、前記検出されたエラーに基づいてエラー信号を生成するようにさらにプログラムされる、請求項１に記載のシステム。
5. 前記エラー信号は、前記ＨＭＤシステムの前記装着者に表示される、請求項４に記載のシステム。
6. 前記ＨＭＤシステムの動作におけるエラーを検出することは、複数の眼画像内のロール角に関する平均値を追跡することを含む、請求項１に記載のシステム。
7. 前記第１のロール角を判定することまたは前記第２のロール角を判定することは、特徴ベースの追跡技法、コードベースの追跡技法、またはそれらの組み合わせを使用して、前記第１のロール角を判定することまたは前記第２のロール角を判定することを含む、請求項１に記載のシステム。
8. 前記ハードウェアプロセッサは、前記第１のロール角および前記第２のロール角の比較を使用して騒音抑制を測定するように構成される、請求項１に記載のシステム。
9. 前記動作におけるエラーは、前記ＨＭＤシステムが前記装着者の頭部に対して回転させられていることを含む、請求項１に記載のシステム。
10. 動作におけるエラーを検出することは、角度測定値のロール寸法の単一の推定値として前記第１のロール角および前記第２のロール角の平均値を判定することを含む、請求項１に記載のシステム。
11. 前記第１のロール角または前記第２のロール角は、前記眼の視軸を補正するために測定される、請求項１に記載のシステム。
12. 前記第１のロール角を判定することおよび前記第２のロール角を判定することは、前記第１の眼および前記第２の眼が中立位置にあるときに実行される、請求項１に記載のシステム。
13. 前記第１のロール角を判定することおよび前記第２のロール角を判定することは、前記第１の眼および前記第２の眼が中立位置とは異なる注視位置にあるときに実行される、請求項１に記載のシステム。
14. 前記ハードウェアプロセッサは、
    前記第１の眼の操向筋肉の自然作用の結果としての前記第１の眼の第１の予期されるロールを前記第１のロール角から減算することと、
    前記第２の眼の操向筋肉の自然作用の結果としての前記第２の眼の第２の予期されるロールを前記第２のロール角から減算することと
    を行うようにプログラムされる、請求項１３に記載のシステム。
15. ヘッドマウントディスプレイ（ＨＭＤ）の動作におけるエラーを検出するための方法であって、前記方法は、
    ハードウェアコンピュータプロセッサの制御下で、
    前記ＨＭＤの装着者の第１の眼の第１の眼画像および前記ＨＭＤの前記装着者の第２の眼の第２の眼画像を捕捉することと、
    前記第１の眼画像に基づいて、前記ＨＭＤの前記装着者の前記第１の眼の第１のロール角を判定することであって、前記第１のロール角は、前記第１の眼の第１の瞳孔の中心平面に直交する第１の光軸の周りの前記第１の眼の回転に対応する、ことと、
    前記第２の眼画像に基づいて、前記ＨＭＤの前記装着者の前記第２の眼の第２のロール角を判定することであって、前記第２のロール角は、前記第２の眼の第２の瞳孔の中心平面に直交する第２の光軸の周りの前記第２の眼の回転に対応する、ことと、
    前記第１のロール角と前記第２のロール角との間の不一致に少なくとも部分的に基づいて前記ＨＭＤの動作におけるエラーを検出することと
    を実行することを含む、方法。
16. 前記ヘッドマウントディスプレイの動作におけるエラーを検出することは、前記第１のロール角と前記第２のロール角との間の差異がエラー閾値を超えることを判定することを含む、請求項１５に記載の方法。
17. 前記エラー閾値は、１度～１０度の間の範囲内にある、請求項１６に記載の方法。
18. 前記検出されたエラーに基づいてエラー信号を生成することをさらに含む、請求項１５に記載の方法。
19. 前記ヘッドマウントディスプレイ動作の動作におけるエラーを検出することは、複数の眼画像内のロール角に関する平均値を追跡することを含む、請求項１５に記載の方法。
20. 前記第１のロール角を判定することまたは前記第２のロール角を判定することは、特徴ベースの追跡技法、コードベースの追跡技法、またはそれらの組み合わせを使用して、前記第１のロール角を判定することまたは前記第２のロール角を判定することを含む、請求項１５に記載の方法。
21. 前記第１のロール角および前記第２のロール角の比較を使用して騒音抑制を測定することをさらに含む、請求項１５に記載の方法。
22. 前記動作におけるエラーは、前記ＨＭＤが前記装着者の頭部に対して回転させられていることを含む、請求項１５に記載の方法。
23. 動作におけるエラーを検出することは、角度測定値のロール寸法の単一の推定値として前記第１のロール角および前記第２のロール角の平均値を判定することを含む、請求項１５に記載の方法。
24. 前記第１のロール角または前記第２のロール角は、前記眼の視軸を補正するために測定される、請求項１５に記載の方法。
25. 前記第１のロール角を判定することおよび前記第２のロール角を判定することは、前記第１の眼および前記第２の眼が中立位置にあるときに実行される、請求項１５に記載の方法。
26. 前記第１のロール角を判定することおよび前記第２のロール角を判定することは、前記第１の眼および前記第２の眼が中立位置とは異なる注視位置にあるときに実行される、請求項１５に記載の方法。
27. 前記第１の眼の操向筋肉の自然作用の結果としての前記第１の眼の第１の予期されるロールを前記第１のロール角から減算することと、
    前記第２の眼の操向筋肉の自然作用の結果としての前記第２の眼の第２の予期されるロールを前記第２のロール角から減算することと
    をさらに含む、請求項２６に記載の方法。
28. 前記第１の眼の前記第１のロール角は、前記第１の眼の基準画像内の虹彩特徴の基準場所と前記第１の眼画像内の前記虹彩特徴の場所との間の差異に基づいて判定される、請求項１に記載のシステム。
29. 前記第１の眼の前記第１のロール角を判定することは、前記第１の眼の基準画像内の虹彩特徴の基準場所と前記第１の眼画像内の前記虹彩特徴の場所との間の差異を判定することを含む、請求項１５に記載の方法。

Images