JP7218376B2 - 視線追跡方法および装置 - Google Patents

Description

本開示は、例えば頭部装着型ディスプレイユニット（ＨＭＤ）と共に使用するための視線追跡方法および装置に関する。

ＨＭＤが、映画、ゲーム、および他の仮想現実（ＶＲ）体験などの娯楽コンテンツを届けるためのディスプレイとして、近年においてますます一般的になってきている。これらの使用の事例においては、コンテンツを、ユーザへと、ユーザに自身が眺めている環境内に自身が存在していると信じ込ませる没入型の体験をもたらすようなやり方で、提供することが一般的である。これは、例えば、ユーザの頭部の動きに応じた視点を使用して表示をレンダリングすることによって実現できる。

そのようなコンテンツにおける制約の例は、高品質のコンテンツを提供するために、望ましくは広い帯域幅および大量の処理が必要とされることである。例えば、これらの要素は、ユーザの入力に応答した画像であって、観察者にとって本物のように見えるような充分に高い画像品質の画像を生成するために、必要とされ得る。生成されたコンテンツがこれらの特徴のいずれかを提供しない場合（例えば、低い応答性／高いレイテンシ、および／または低い画像品質）、不信を保留し、コンテンツに完全に没入することが、ユーザにとって困難になり得る。

考慮される１つの一般的な手法は、利用可能な帯域幅の使用を最適化することである。利用可能な帯域幅をより効率的に使用することにより、ハードウェアを変更することなく、より高品質の画像データをユーザに提供できる可能性があり、したがって没入感を高めることが可能である。

そのような方法の一例は、中心窩レンダリング技術である。そのような技術は、ユーザが注目している場所の高解像度の画像領域と、その他の場所の低解像度の画像領域とを提供する。表示のうちの観察者が注目している領域を、例えば、予測（例えば、ユーザが特定の表示されたオブジェクトを眺めると予想する）によって特定することができ、あるいは視線の追跡によって特定することができる。これらのうちの後者がより正確であるかもしれないが、ユーザが（例えば、まばたきの際に）眼を閉じ、眼を閉じている間に眼を動かすことで、不正確さに悩まされる可能性があり、結果として、生成された画像のうちの誤った領域が高い解像度とされ、ユーザは依然として低解像度のコンテンツを眺めることになりかねない。これにより、ユーザにとって没入感が失われ、ユーザによるＶＲ体験の享受が損なわれる可能性がある。

この場合に生じる問題を軽減するために、いくつかの解決策が提案されている。例えば、まばたきの後のユーザの眼の位置の有用な近似であり得るという理由で、「最後の既知の注視位置」を使用することが可能である。あるいは、より高解像度の領域を、ユーザの眼が閉じられている期間におけるユーザの眼の考えられるすべての動きを先取りするように、動的に広げてもよい。第３の方法は、表示画像の中央に、ユーザの眼が閉じられたときに高解像度の領域として選択されるデフォルト領域を定義することである。

当然ながら、ユーザの眼を追跡するための正確なシステムおよび方法の使用は、中心窩レンダリングの使用を超えて広がり、視線追跡データは、娯楽システムなどへのハンズフリー入力など、いくつかの他の用途に利用可能である。中心窩レンダリングの状況におけるこのようなシステムおよび方法の応用の説明は、あくまでも典型的な使用の事例として提示されているにすぎない。

以上の問題を背景に、本発明が提供される。

本開示は、請求項１によって定められる。

本開示のさらなるそれぞれの態様および特徴が、添付の特許請求の範囲に定められる。

次に、本開示の実施形態を、添付の図面を参照して説明する。

ユーザによって装着されたＨＭＤを概略的に示している。 ＨＭＤの概略の平面図である。 ＨＭＤによる仮想画像の形成を概略的に示している。 ＨＭＤにおいて使用するための別の種類のディスプレイを概略的に示している。 １対の立体画像を概略的に示している。 ＨＭＤのユーザの視野の変化を概略的に示している。 動き検出を備えたＨＭＤを概略的に示している。 動き検出を備えたＨＭＤを概略的に示している。 オプティカルフロー検出に基づく位置センサを概略的に示している。 ＨＭＤの位置または動きの検出に応答した画像の生成を概略的に示している。 中心窩レンダリング領域を概略的に示している。 中心窩レンダリング領域を概略的に示している。 眼の動きを概略的に示している。 眼の動きを概略的に示している。 ユーザのまぶたに適用されたパターンを概略的に示している。 ユーザのまぶたに適用されたパターンの変形を概略的に示している。 変形による影の生成を概略的に示している。 視線追跡および画像レンダリングシステムを概略的に示している。 視線追跡部を概略的に示している。 視線追跡および画像レンダリング方法を概略的に示している。 眼の向きを検出するための方法を概略的に示している。

本開示は、ＨＭＤの文脈においてシステムおよび方法を構成するが、ＨＭＤの使用は必須ではなく、したがって本開示の範囲をそのような実施形態に限定すべきではないことを、当業者であれば理解できるであろう。適切な精度を提供するために、ユーザの眼の近くに配置されたカメラの使用が望ましいかもしれないが、上述のように、視線の追跡は、頭部装着型の構成要素を一般的には備えないと考えられる娯楽システムなどへの入力として使用することも可能である。したがって、ディスプレイが必ずしも必要でないことは明らかであり、したがってディスプレイを備えない装置を提供することも可能である。例えば、視線追跡用のカメラを備えるが、ディスプレイユニットは備えない頭部装着型ユニットを提供することが可能である。

上述のように、本開示の実施形態は、ＨＭＤにおける使用に適しており、その趣旨で、一般的なＨＭＤシステムの動作および構造を以下に示す。

頭部装着型ディスプレイは、観察者の頭部に取り付けられるフレームを有することができ、フレームは、使用時に観察者のそれぞれの眼の前方に位置する１つまたは２つの眼表示位置を定め、それぞれのディスプレイ要素が、眼表示位置の各々に対して取り付けられ、ディスプレイ要素は、観察者の該当の眼へと、ビデオ信号ソースからのビデオ信号のビデオ表示の仮想画像を提供する。他の例において、ディスプレイは、頭部装着型ディスプレイではない。いくつかの実施形態において、ディスプレイ（頭部装着型であるか否かにかかわらず）は、通常の使用においてユーザの視野の少なくともしきい値角度範囲（例えば、少なくとも４０°）を占める点で、没入型ディスプレイと呼ばれることもある。例として、マルチプロジェクタディスプレイ、ラップアラウンド（湾曲型）ディスプレイ、などが挙げられる。

ここで図１を参照すると、ユーザ１０が、ユーザの頭部３０にＨＭＤ２０を装着している。ＨＭＤは、この例においては後部ストラップおよび上部ストラップで形成されたフレーム４０と、ディスプレイ部５０とを備える。

図１のＨＭＤは、周囲の環境をユーザにとって完全に見えなくする。ユーザは、ＨＭＤ内に表示される１対の画像だけを見ることができる。

ＨＭＤには、ユーザの左右の耳７０にはめ込まれるヘッドフォンイヤピース６０が組み合わせられている。イヤピース６０は、外部ソースからもたらされるオーディオ信号を再生し、外部ソースは、ユーザの眼へと表示されるビデオ信号をもたらすビデオ信号ソースと同じであってよい。

動作時に、ＨＭＤによる表示のためのビデオ信号がもたらされる。これを、ビデオゲーム機またはデータ処理装置（例えば、パーソナルコンピュータ）などの外部ビデオ信号ソース８０によってもたらすことができ、その場合に、信号を、有線または無線接続によってＨＭＤへと送信することができる。適切な無線接続の例として、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続が挙げられる。イヤピース６０のためのオーディオ信号も、同じ接続によって伝送することができる。同様に、ＨＭＤからビデオ（オーディオ）信号ソースへと渡される制御信号があれば、同じ接続によって伝送することができる。

したがって、図１の構成は、観察者の頭部に取り付けられ、使用時に観察者のそれぞれの眼の前方に位置する１つまたは２つの眼表示位置を定めるフレームと、眼表示位置の各々に対して取り付けられ、ビデオ信号ソースからのビデオ信号のビデオ表示の仮想画像を観察者の該当の眼へと提供するディスプレイ要素とを備える頭部装着型ディスプレイシステムの一例を提供する。

図１は、ＨＭＤの一例を示しているにすぎない。他の形式も可能であり、例えば或るＨＭＤは、従来からの眼鏡に関するフレームにさらによく似たフレームを使用することができ、すなわちディスプレイ部から後方へとユーザの耳の上部後方に延び、おそらくは耳の後ろを下方へと曲がる実質的に水平なレグを使用することができる。他の例においては、外部環境についてのユーザの視界が実際には完全には遮られていなくてもよく、表示画像を、外部環境に（ユーザの視点から）重なるように配置することができる。そのような構成の例は、図４を参照して以下で説明される。

図１の例においては、ユーザの眼ごとに別個のそれぞれのディスプレイが設けられる。これがどのように達成されるのかについての概略の平面図が、ユーザの眼の位置１００およびユーザの鼻の相対位置１１０を示す図２として示されている。ディスプレイ部５０は、概略の形態において、周辺光をユーザの眼から隠す外部シールド１２０と、一方の眼が他方の眼に向けられた表示を見ることを防止する内部シールド１３０とを備える。ユーザの顔、外部シールド１２０、および内部シールド１３０の組み合わせにより、各々の眼に１つずつ、２つのコンパートメント１４０が形成される。各々のコンパートメントに、ディスプレイ要素１５０および１つ以上の光学要素１６０が設けられる。ディスプレイ要素および光学要素が協働してユーザに表示を提供するやり方は、図３を参照して説明される。

さらに図２は、１対の内向きカメラ１６５を示しており、これらは、例えばＲＧＢ、ＩＲ、または深度カメラであってよく、あるいは本開示において説明される方法を実行するための任意の適切な代替物であってよい。

図３を参照すると、ディスプレイ要素１５０は、ユーザにとってディスプレイ要素１５０によって生成される実際の画像よりも大きくかつはるかに遠くに位置するように見える仮想画像１７０を生成するために、（この例においては）光学要素１６０（凸レンズとして概略的に示されているが、複合レンズまたは他の要素を含んでもよい）によって屈折させられる表示画像を生成する。一例として、仮想画像は、１ｍを超える見かけの画像サイズ（画像の対角線）を有することができ、ユーザの眼（または、ＨＭＤのフレーム）から１ｍを超える距離に配置されてよい。一般的には、ＨＭＤの目的に応じて、仮想画像をユーザからかなりの距離に配置することが望まれる。例えば、ＨＭＤが映画などを見るためのものである場合、そのような視聴の際にユーザの眼がリラックスした状態であることが望ましく、そのためには、少なくとも数メートルの距離（仮想画像まで）が必要である。図３においては、実線（線１８０など）が、実際の光線を示すために使用されている一方で、破線（線１９０など）が、仮想の光線を示すために使用されている。

別の構成が、図４に示されている。この構成は、外部環境についてのユーザの視界を完全には妨げないようにすることが望まれる場合に、使用することができる。しかしながら、ユーザにとって外部が完全に見えなくなるＨＭＤにも適用可能である。図４の構成においては、ディスプレイ要素１５０および光学要素２００が、ミラー２１０へと投影される画像をもたらすように協働し、ミラー２１０が、ユーザの眼の位置２２０へと画像を向ける。ユーザは、仮想画像を、ユーザの前方かつユーザから適切に離れた位置２３０に位置するように知覚する。

外部環境がユーザにとって完全に見えなくなるＨＭＤの場合、ミラー２１０は、実質的に１００％の反射ミラーであってよい。したがって、図４の構成は、ディスプレイ要素および光学要素を、ユーザの頭部の重心およびユーザの眼の側方のより近くに配置することができ、ユーザにとってより嵩張らずに装着することができるＨＭＤを生み出すことができるという利点を有する。あるいは、ＨＭＤが外部環境についてのユーザの視界を完全には隠さないように設計される場合、ユーザが、ミラー２１０を通して外部環境を、現実の外部環境に仮想画像を重ねた状態で眺めるように、ミラー２１０を部分反射であるように製作することができる。

ユーザの眼ごとに個別のそれぞれのディスプレイが用意される場合、立体画像を表示することが可能である。左眼および右眼への表示用の１対の立体画像の例が、図５に示されている。画像は、お互いに対して横方向の変位を呈し、画像の特徴の変位は、画像をキャプチャしたカメラの（実際の、またはシミュレーションによる）横方向の隔たり、カメラの角度収束、およびカメラ位置からの画像の各特徴の（実際の、またはシミュレーションによる）距離に依存する。

図５における横方向の変位（および、後述される図１５における横方向の変位）が、実際には逆であってよく、すなわち図示の左眼用の画像が、実際には右眼用の画像であってよく、図示の右眼用の画像が、実際には左眼用の画像であってよいことに、注意すべきである。これは、一部の立体ディスプレイが、ユーザが立体ウィンドウを通して向こうのシーンを見つめているという考え方をシミュレートするために、オブジェクトを右眼用の画像においては右方向に、左眼用の画像においては左方向に移動させる傾向を有するからである。しかしながら、一部のＨＭＤは、図５に示した構成を、ユーザに双眼鏡を通してシーンを眺めているという印象を与えるがゆえに使用する。これら２つの構成の間の選択は、システム設計者の裁量に任される。

いくつかの状況においては、ＨＭＤを、単に映画などを見るために使用することができる。この場合、ユーザが自身の頭部を例えば左右に回すときに、表示画像の見かけの視点を変更する必要はない。しかしながら、仮想現実（ＶＲ）または拡張現実（ＡＲ）システムに関連する用途など、他の用途においては、ユーザの視点が、ユーザが位置する現実空間または仮想空間に対する動きを追跡する必要がある。

この追跡は、ＨＭＤの動きを検出し、表示画像の見かけの視点を、見かけの視点が動きを追跡するように変化させることによって実行される。

図６が、ＶＲまたはＡＲシステムにおけるユーザの頭部の動きの影響を概略的に示している。

図６を参照すると、仮想環境が、ユーザの周囲の（仮想の）球状シェル２５０によって表されている。この構成を２次元の紙の図面で表す必要があるため、シェルは、ユーザからの距離が表示された仮想画像のユーザからの隔たりと同等である円の一部によって表される。ユーザは、最初は第１の位置２６０にあり、仮想環境の一部分２７０の方を向いている。この部分２７０が、ユーザのＨＭＤのディスプレイ要素１５０に表示される画像に表される。

次に、ユーザが頭部を新たな位置および／または向き２８０へと動かす状況を考える。仮想現実または拡張現実の表示の正しい感覚を維持するために、仮想環境のうちの表示部分も移動し、移動の終わりにおいて、新たな部分２９０がＨＭＤによって表示される。

したがって、この構成においては、仮想環境内の見かけの視点が、頭部の動きとともに移動する。例えば、図６に示されるように、頭部が右側へと回転する場合、見かけの視点も、ユーザの視点から右側へと移動する。この状況を、表示されたオブジェクト３００などの表示されたオブジェクトの見地から考慮すると、オブジェクトは、事実上、頭部の動きとは反対の方向に移動する。したがって、頭部が右側へと移動する場合、見かけの視点は右側へと移動するが、仮想環境内の静止している表示されたオブジェクト３００などのオブジェクトは、仮想環境の表示部分が右側へと移動する一方で、表示されたオブジェクト３００は仮想環境内で移動していないという単純な理由で、表示画像の左側へと移動し、最終的には表示画像の左側から消える。同様の考えが、動きの上下方向成分にも当てはまる。

図７Ａおよび図７Ｂは、動き検出を備えたＨＭＤを概略的に示している。これら２つの図は、図２に示した図と同様の形式である。すなわち、これらの図は、ディスプレイ要素１５０および光学要素１６０を単純な箱形で表したＨＭＤの概略の平面図である。図を見やすくするために、図２の多くの特徴は図示されていない。両方の図は、観察者の頭部の動きを検出するための動き検出器を備えたＨＭＤの例を示している。

図７Ａにおいては、前方を向いたカメラ３２０が、ＨＭＤの前部に設けられている。これは、必ずしもユーザへの表示用の画像をもたらすわけではない（ただし、拡張現実の構成においては、そのようにしてもよい）。代わりに、本実施形態におけるその主たる目的は、動き検出を可能にすることである。カメラ３２０によってキャプチャされた画像を使用して動き検出を行う技術は、図８に関連して後述される。これらの構成において、動き検出器は、フレームと一緒に動くように取り付けられたカメラと、カメラによってキャプチャされた連続画像を比較して画像間の動きを検出するように動作することができる画像比較器とを備える。

図７Ｂは、ハードウェア動き検出器３３０を利用している。これは、ＨＭＤ内またはＨＭＤ上の任意の場所に取り付け可能である。適切なハードウェア動き検出器の例は、圧電加速度計または光ファイバジャイロスコープである。当然ながら、ハードウェア動き検出およびカメラに基づく動き検出の両方を同じ装置において使用することができ、その場合は、一方の検出機構を他方が利用できない場合のバックアップとして使用することができ、あるいは一方の検出機構（カメラなど）が表示画像の見かけの視点を変更するためのデータを提供できる一方で、他方（加速度計など）が画像安定化のためのデータを提供できることを、理解できるであろう。

図８が、図７Ａのカメラ３２０を使用する動き検出の一例を概略的に示している。

カメラ３２０は、ビデオカメラであり、例えば毎秒２５枚の画像取り込み速度で画像を取り込む。各々の画像は、取り込まれると、保存のために画像格納部４００に渡されるとともに、画像比較器４１０によって画像格納部から取り出された先行の画像と比較される。比較においては、既知のブロックマッチング技術（いわゆる「オプティカルフロー」検出）が使用され、カメラ３２０によってキャプチャされた画像の実質的に全体が、先行の画像のキャプチャの時点から移動したかどうかが確認される。局所的な動きは、カメラ３２０の視野内のオブジェクトの動きを示している可能性があるが、実質的に画像全体の全体的な動きは、キャプチャされたシーン内の個々の特徴の動きよりもむしろ、カメラの動きを示す傾向にあると考えられ、今回の場合には、カメラはＨＭＤに取り付けられているため、カメラの動きはＨＭＤの動きに対応し、したがってユーザの頭部の動きに対応する。

画像比較器４１０によって検出された或る画像と次の画像との間の変位は、動き検出器４２０によって、動きを表す信号に変換される。必要に応じて、動き信号は、積分器４３０によって位置信号に変換される。

上述のように、ＨＭＤに組み合わせられたビデオカメラによってキャプチャされた画像の間で画像間の動きを検出することによる動きの検出に代え、あるいはこれに加えて、ＨＭＤは、加速度計などの機械式または固体検出器３３０を使用して頭部の動きを検出することができる。これは、ビデオに基づくシステムの応答時間が最大でも画像取り込み速度の逆数であることを考えると、実際には動きの現れに関してより速い応答をもたらすことができる。したがって、場合によっては、検出器３３０は、より高頻度の動き検出における使用により適している可能性がある。しかしながら、他の事例において、例えば高画像レートのカメラ（取り込み速度が２００Ｈｚのカメラなど）が使用される場合、カメラに基づくシステムがより適切かもしれない。図８に関して、検出器３３０がカメラ３２０、画像格納部４００、および比較器４１０に代わって、動き検出器４２０に直接入力をもたらすことができる。あるいは、検出器３３０は、さらに動き検出器４２０に代わって、物理的な動きを示す出力信号を直接もたらすことができる。

当然ながら、他の位置または動き検出技術も可能である。例えば、ＨＭＤを可動パンタグラフアームによって固定点（例えば、データ処理装置または家具）へと接続し、位置および方向センサによってパンタグラフアームのたわみの変化を検出する機械的な構成を使用することができる。他の実施形態においては、ＨＭＤおよび固定点に取り付けられた１つ以上の送信機および受信機のシステムを使用して、三角測量技術によるＨＭＤの位置および向きの検出を可能にすることができる。例えば、ＨＭＤに１つ以上の指向性送信機を持たせることができ、既知の点または固定点に組み合わせられた受信機のアレイが、この１つ以上の送信機からの相対信号を検出することができる。あるいは、送信機が固定され、受信機がＨＭＤに配置されてもよい。送信機および受信機の例として、赤外線トランスデューサ、超音波トランスデューサ、および無線周波数トランスデューサが挙げられる。無線周波数トランスデューサは、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンクなどのＨＭＤとの間の無線周波数データリンクの一部も形成できるという点で、二重の目的を有してもよい。

図９は、検出されたＨＭＤの位置または位置の変化に応答して実行される画像処理を概略的に示している。

図６に関連して上述したように、仮想現実および拡張現実の装置などの一部の用途においては、ＨＭＤのユーザへと表示されるビデオの見かけの視点が、ユーザの頭部の実際の位置または向きの変化に応じて変更される。

図９を参照すると、これは、動きおよび／または現在の位置を表すデータを必要画像位置検出器４６０へと供給する動きセンサ４５０（図８の構成および／または図７ｂの動き検出器３３０など）によって達成され、必要画像位置検出器４６０が、ＨＭＤの実際の位置を表示に必要な画像を定義するデータへと変換する。画像生成器４８０が、必要に応じて画像格納部４７０に保存された画像データにアクセスし、ＨＭＤによる表示のために必要な適切な視点からの画像を生成する。外部ビデオ信号ソースが、画像生成器４８０の機能を提供し、検出された動きの方向に観察者の見かけの視点を変更すべく、検出された動きの方向とは反対の方向に表示画像を移動させるように表示画像の視点を変更することにより、観察者の頭部の動きのより低い周波数の成分を補償するコントローラとして機能することができる。

画像生成器４８０は、後述されるやり方で、いわゆるビューマトリックスデータなどのメタデータに基づいて動作することができる。

図１０Ａおよび図１０Ｂが、画像に適用される中心窩レンダリング技術の例を概略的に示している。

図１０Ａは、ディスプレイ１０００を示しており、別個の領域へのディスプレイの分割を表現する図解が重ねられている。第１の領域１０１０は、ディスプレイ上のユーザの注視点を取り囲むと予想される中央焦点領域に対応し、第２の領域１０２０は、第１の領域１０１０の周囲の領域に対応する。中心窩レンダリングの適用においては、最高の画質が第１の領域１０１０で提供され、低品質のコンテンツが第２の領域１０２０で提供され、さらに低品質のコンテンツが第１および第２の領域のいずれにも対応しないディスプレイ１０００のすべての領域について提供されると予想される。

いくつかの実施形態において、第１の領域１０１０は、最高解像度のコンテンツを含み、第２の領域１０２０は、この解像度の８０％の解像度のコンテンツを含み、他の場所では、この解像度の５０％の解像度のコンテンツがレンダリングされる。当然ながら、これらの数値は完全に例示であり、当業者であれば個々の用途に適した値を使用するように自由に選択することができる。

領域１０１０および１０２０は、円形であるものとして図示されているが、これは、本開示において必須ではない。領域は、長方形または正方形の領域を提供するなど、任意の適切な形状をとることができ、実際に、２つの領域１０１０および１０２０は、互いに異なる形状であってもよい。また、そのような形状は、正多角形である必要はないが、正多角形が使用される場合、中心窩レンダリングの実装を単純にすることができる。

いくつかの構成においては、ディスプレイの中央領域が常に焦点の領域であり、したがって第１の領域１０１０が常にディスプレイの中心にあると仮定することができるが、これらの構成は、ユーザがディスプレイの中心以外の領域を注視する場合に、不適当かもしれない。したがって、視線追跡（または、他の方法）を実行して、ディスプレイ１０００上のどこをユーザが注視しているかを識別することができる。

図１０Ｂが、同じディスプレイ１０００の第２の図を示しており、ユーザの注視方向が、ディスプレイ１０００の右上隅の方を見るように変化したと判断されている。この図において、第２の領域１０２０がディスプレイ１０００の縁と交差していることが明らかであり、この場合、第２の領域１０２０について、変更された形状が使用される。

中心窩レンダリングの構成において発生する可能性がある１つの問題は、いつユーザの注視位置が変化するかという問題であるが、図１０Ａおよび図１０Ｂの領域１０１０および１０２０は、これを反映していない。これにより、ユーザが注視している領域が、望ましい解像度よりも低い解像度でレンダリングされ、したがって観察者に提供される視聴体験が低品質になる可能性がある。

例えば、ユーザがディスプレイ１０００の右上を眺めており、図１０Ａに示される中心窩レンダリングが表示用の画像の生成に使用されている場合、ユーザは、最高解像度のコンテンツはディスプレイ１０００の中央にあるため、ほとんどの画像コンテンツを最低解像度で眺めることになると考えられる。

これらの問題の原因は、例えばユーザがまばたきし、あるいは他の事情で眼を閉じたときの視線追跡情報の喪失であり得る。まばたきの最中に、ユーザの眼は依然として動いている可能性があり、したがって、まばたきの終わりにおけるディスプレイ上の注視点が、まばたきの開始時の注視点とは異なる可能性がある。したがって、ユーザのまばたきが終了したときに、現在の視線方向に対応しない表示画像がもたらされ、結果として視聴体験が損なわれる可能性がある。

既存の構成は、これらの問題を軽減しようと努めてきたが、実装される技術に関連した多くの欠点が存在する。例えば、中心窩レンダリング技術を、まばたきの直後の時間において、誤った高解像度領域の生成を回避するために中断させることができるが、これは、代わりに画像全体を最高解像度で生成しなければならないため、画像生成装置のレンダリングの負担を増加させる。

したがって、ユーザの眼が閉じている間も視線追跡を実行することが、有利であると考えられる。

図１１Ａおよび図１１Ｂが、２つのそれぞれの向きにある眼１１００を概略的に示しており、まぶた１１５０が、それぞれの変形１１６０および１１７０を示している。

図１１Ａにおいて、ユーザは、実質的に前方の方向を見つめている。角膜１１１０が、眼１１００の表面から突出し、眼１１００に非球形の表面をもたらしている。この結果として、角膜は、まぶた１１５０のほぼ中央の領域に位置するまぶた１１５０の変形１１６０を引き起こす。この変形１１６０を測定することによって、角膜１１１０の位置、ひいては眼１１００の位置／向きを推定することが可能である。この情報を使用して、眼が閉じられていないならばユーザが眺めているであろうディスプレイの部分を特定することができ、適切な画像レンダリングを実行することができる。

図１１Ｂにおいては、ユーザの眼１１００が、ユーザの前方のディスプレイの右側を見つめるように向きを変えている。ユーザの眼１１００の向きの変化、したがって角膜１１１０の位置の変化が、図１１Ａに示した変形１１６０とは異なる領域に位置して異なる輪郭を有する異なる変形１１７０を引き起こす。したがって、変形１１７０の位置、変形１１７０の形状、または両者の組み合わせのいずれかから、角膜１１１０の位置を特定することが可能であり得る。

多数の方法を使用して、ユーザのまぶたの変形の位置および輪郭を明らかにすることができ、そのいくつかが以下で説明される。この検出は、用途に応じて、ユーザの片方または両方の眼について実行することができる。いくつかの実施形態においては、検出をただ１つの眼に関して実行することができ、予測モデルおよび／または表示画像に関する情報を使用して、ユーザの他方の眼の向きを予測することができる。

いくつかの実施形態において、この検出は、深度カメラを使用して実行される。そのようなカメラの例は、ユーザのまぶたについて１対の画像をキャプチャし、キャプチャされた画像間の視差を比較して、キャプチャされた画像内の特徴の深度を決定するように動作することができる立体視カメラである。

これに代え、あるいはこれに加えて、ＲＧＢカメラを使用して、この情報を決定するために使用することができるユーザのまぶたの画像をキャプチャすることができる。各々のまばたきの最中またはユーザが眼を閉じる他の期間の最中に充分な数の画像がキャプチャされることを保証するために、高速カメラ（例えば、毎秒１００フレーム以上）を使用することが好都合かもしれない。

角膜によって引き起こされるユーザのまぶたの変形は、わずかであるかもしれず、角膜の厚さは、ほとんどの人々において０．５ミリメートル程度である。適度に高解像度なカメラなどが、そのような変形を検出できると考えられるが、そのような構成は、複雑さまたはコストの点で許されないかもしれない。したがって、上述の構成を、可能な変形の検出の精度を改善するために、他のやり方で改良することが好都合かもしれない。

図１２が、検出の精度を改善することができる方法を概略的に示している。図１２においては、ユーザのまぶた１２００に、視線追跡を実行するカメラによって画像化することができるパターン１２１０が提供される。このようなパターンの提供は、ユーザの角膜の検出を実行するためのターゲット領域の目安として使用でき、まぶたの変形をパターンによって誇張できるため、いくつかの実施形態において有益であり得る。

いくつかの実施形態においては、パターンをユーザのまぶたに物理的に適用することができ、例えば、化粧、ペン、ステッカー、または一時的な入れ墨を使用して、ユーザのまぶたにパターンを適用することができる。いくつかの例において、適用されたパターンは、人間の眼には見えず、ＩＲカメラなどによってのみ視認可能であってよい。これは、パターンが視線追跡の構成を使用していないときに他の人に見えず、したがってパターンを使用のたびごとに適用し、次いで除去する必要がないため、パターンの使用を促進することができる。

これに代え、あるいはこれに加えて、このようなパターンを、例えば構造化された光を生成するための装置を使用して、ユーザのまぶたへと投影することができる。この投影を、いくつかの実施形態においては、閉じているユーザの眼の検出に応答して実行することができる。これに代え、あるいはこれに加えて、投影をユーザの視覚に干渉することなくいつでも随意に実行できるように、可視スペクトルの外側の光周波数を使用することができる。当然ながら、これらの構成において設けられる検出器は、パターンを投影するために選択された光周波数を検出できなければならない。

図１２において、ユーザのまぶた１２００へともたらされるパターンは、交互の明るい色および暗い色（例えば、白および黒など）の正方形によるチェッカーボードパターン１２１０である。当然ながら、パターンの形状を、平面に適用されるのではないという事実を反映するように変更することができ、例えば、マッピングを使用して、パターンを検出するために使用されるカメラなどに対して平坦なパターンの見た目を与えることが可能である。

当然ながら、図１２におけるチェッカーボードパターンの使用は、完全に例示であり、任意の適切なパターンを使用することが可能である。例えば、より詳細度の高いパターンが、ユーザのまぶたの変形のより正確な測定を可能にするうえで有用となり得る。パターンは、チェッカーボードの例のように自己反復的である必要はなく、代わりに、ＡＲマーカーなどの非反復的パターンであってもよい。また、使用される色（または、単一の色とユーザの肌の色調と）の間のコントラストレベルが高いパターンが、検出プロセスにおいて有利となるかもしれない。

図１３が、ユーザの眼の動きに応じた単純なパターンの変形の例を概略的に示している。

パターン１３００は、正方形として示されており、内部の線によって４つの等しい部分に分割されている。実際には、等しい部分を別々の色で塗りつぶして、別々の部分を互いにより容易に区別することができる。

パターン１３１０は、パターン１３００の変形版であり、この変形は、角膜、したがって変形がパターン１３００の右下隅に位置するようにユーザが眼を動かした場合に、パターンがどのように見えるかの一例である。最初は直線であったパターン１３００のいくつかの線が、今やパターン１３１０において湾曲しているように見え、湾曲の程度および／または線のうちの今や湾曲しているように見える部分の長さが、変形を表し、したがって角膜の位置を表す。例えば、変形の量／場所を角膜の位置に関連付けるために処理装置によって使用されるマッピングを提供してもよい。

したがって、ユーザの角膜の位置を、ユーザのまぶたに適用されたパターンについて検出された変形に応じて割り出すことができる。

これに代え、あるいはこれに加えて、変形の検出方法は、角膜によるユーザのまぶたの変形によって投じられる影を利用することができる。いくつかの実施形態においては、これらの影を、この目的のために特別に提供される光源を使用して生じさせることができるが、他の実施形態においては、ＨＭＤのディスプレイからの光またはユーザの物理的環境における周囲光を使用して影を生じさせることが、充分であるかもしれない。図１４が、ユーザの眼の変形によって生じる影を生成する目的で光源が特別に供給される構成の例を概略的に示している。

図１４において、ユーザのまぶた１４００は、角膜１４１０によって変形している。光源１４２０は、ユーザのまぶた１４００に対して斜めの角度に設けられ、この図に示されている位置は、完全に例示であり、光源１４２０は、ユーザの眼の周りの任意の適切な位置に位置することができる。光源１４２０によって発せられた光は、影となる領域１４３０を除くユーザのまぶた１４００のすべて（または、少なくとも大部分）を照明する。この影１４３０は、光源１４２０からの光が、角膜１４１０の場所におけるまぶた１４００の変形によって遮られることによって引き起こされる。

影１４３０を、ユーザのまぶた１４００を視野に収めることができるように配置されたカメラによって検出することができ、特には影１４３０のサイズおよび形状を明らかにして、角膜１４１０の位置を特定することができる。影１４３０を、上述のとおりのパターンの一例であると考えることができる。

いくつかの実施形態において、光源１４２０は、スペクトルの可視部分の光を発するが、他の実施形態においては、他の波長（ＩＲなど）が使用される。いくつかの実施形態において、光源１４２０は常に光を発するように動作してよいが、いくつかの実施形態において、光源１４２０はパルス状（例えば、ストロボ効果において所定の周波数でオン／オフに切り替えられる）であってよく、あるいは光源１４２０を、閉じているユーザの眼の検出に応答して作動させてもよい。

いくつかの実施形態においては、２つ以上の光源を設けてもよく、これは、複数の影が生成されるという効果を有することができる。各々の影は、検出がより難しくなる可能性があるが（単一の光源が使用される場合と比べて影が弱くなる可能性があるため）、参照用に複数の影を有することで、検出プロセスの精度または正確さを向上させることができる。

これに代え、あるいはこれに加えて、ユーザの眼の最後の既知の位置または予測される位置に応じて、光源のうちの１つ以上を選択的に作動させることが可能である。これにより、予想されるユーザの角膜の位置に適するように適切な斜めの角度の光源を選択することができ、したがって視線追跡の構成の精度を向上させることができる。

同様に、所与の角膜位置に調和した対応する影パターンを有する異なる位置の２つ以上の光を素早く交代させる（例えば、ビデオフレームごとに１つの光を使用する）ことができる。同様に、異なる位置の狭帯域の赤色、緑色、および青色ＬＥＤ（または、３つのうちのちょうど２つ）を使用する照明が、所与のビデオフレームのそれぞれのカラーチャネルに異なる相補的な影画像をもたらして、やはり角膜の位置、したがって視線方向の計算を補助することができる。当然ながら、任意の適切な波長の光を使用することができ、赤色、緑色、および青色の使用は、完全に例示である。

角膜を検出する目的のための可視光を、ユーザの眼の画像がもはや瞳孔を含まなくなった（ユーザがもはや眼で何かを見ることができないことを示している）後に、作動させることができる。同様に、これらの光を、まぶたがユーザの角膜の一部（すなわち、白眼だけでなくそれ以上）を露わにするように充分に開いたならば停止させることができ、なぜならば、瞳孔が次のビデオフレームによって露わにされる可能性が高く、ユーザの瞳孔が露わになる前に可視光を停止させることが好ましいからである。

ユーザのまぶたにおける影の検出を、図１２および図１３を参照して説明したパターンの検出と組み合わせることができる。これは、より正確な結果の生成において好都合であり得、あるいは必要な処理を少なくすることができる方法で角膜の位置を特定するために好都合であり得る。

一例においては、影が所定のパターンへと投じられるとき、影の検出が簡略化され得る。例えば、チェッカーボードパターン（図１２のパターンなど）が使用されるならば、影がどこに存在するかが、より暗い正方形の検出から明らかになると考えられ、影のサイズおよび形状は、既知の参照点を有する均一な背景（パターンにおける正方形の分布およびサイズが既知であってよいという事実など）に照らして容易に割り出すことができる。

いくつかの実施形態においては、ユーザのまぶたの変形のサイズおよび／または位置の別個の決定を、ユーザのまぶたに事前に適用されたパターンおよび光源によって生成された影のそれぞれを使用して実行することができる。これらの決定の結果を比較および／または組み合わせて、ユーザの眼の位置の検出の精度を確認または改善することができる。

ユーザの眼が閉じている間のユーザの眼の位置のより効率的、精密、かつ／または正確な検出をもたらすことができるいくつかの変更を、上述の実施形態のいずれについても行うことができる。いくつかの変更は、精度を直接的には改善しないかもしれないが、検出処理の効率の向上により、検出プロセスに著しいレイテンシを導入することなく、より精密／正確な検出アルゴリズムの使用を可能にできる。そのようないくつかの変更が、以下で説明され、それらは、上述の実施形態のいずれにおいても利用可能であり、必要に応じて互いに組み合わせられてもよい。

人間の眼は、きわめて素早く動くことができ、眼の方向は、まばたきのような短い時間期間の間でもかなり大きく変化する可能性がある。しかしながら、この期間における向きの変化量には制限が存在し、このような制限を、ユーザの角膜が存在する領域を特定するために使用することができる。したがって、ユーザのまぶたの変形の位置を特定するための検出プロセスを、この領域に限定して、検出プロセスの処理負担を軽減することができる。これは、眼の動きの物理的な限界を使用して、まぶたのうちの変形が検出される可能性のある領域を予測する例である。

同様に、視線追跡装置に組み合わせられたディスプレイが完全には没入型ではない場合、ディスプレイの特定の領域を注視している観察者に対応しない眼の向きが存在する。例えば、視線追跡装置がテレビまたはコンピュータのディスプレイにおいて使用されている場合、ディスプレイから眼をそらしているユーザに対応する眼の位置が存在すると考えられる。そのような位置においては、中心窩レンダリングを適用する必要がないため、これらの眼の位置に関して閉じた眼の視線追跡を実行する必要はないと考えられる。したがって、これにより、検出プロセスにおいて考慮される領域をさらに限定して、効率を向上させることができる。

いくつかの実施形態においては、眼が開いているとき、および／または閉じているときに取得された視線追跡データを使用して、ユーザの角膜が見つかる可能性が最も高い領域を指定することができる。例えば、ユーザがまばたきの前にディスプレイの上部に向かって視線方向を変更している場合、まばたきの間も動きが続くと想定できる。したがって、検出プロセスを、この動きの後に角膜が存在すると予想される領域に限定することができる。これは、眼を閉じる動作が検出される前のユーザの眼の動きを使用して、まぶたのうちの変形が検出される可能性のある領域を予測する例である。

当然ながら、探索の領域を限定するのではなく、特定された領域において検出処理を始めることが可能であり（これは、上述の教示にも適用可能である）、これにより、変形が予想領域の外部に位置するがゆえに検出されないというリスクを冒すことなく、検出の効率を上げることがでる。

また、観察者へと表示されているコンテンツについての情報を使用して、ユーザがどこを見つめているかを予測することも可能であり、例えば、新たなキャラクタが画面上に現れ、あるいは特定のキャラクタが言葉を発している場合に、観察者はこのキャラクタを眺めるように視線を調節すると想定することができる。これは、ユーザの眼の位置を予測することができ、角膜が検出される可能性が最も高い領域を定義することができることを意味する。これは、ユーザへと表示されている画像コンテンツの分析を使用して、まぶたのうちの変形が検出される可能性のある領域を予測する例である。

さらに、検出プロセスの効率の向上において視線追跡装置を支援することができる使用データを記録することもできる。例えば、ユーザの眼がまばたきの際に特定の方向に動き、あるいは特定の量だけ動くことが多い場合、ユーザのまぶたの変形が検出されると予想される領域を、狭めることが可能である。最大移動速度の測定値、眼の動きのパターン、およびユーザが特に関心を持っている表示コンテンツの特定が、いずれも視線追跡プロセスを支援するために収集できる情報の例である。

まばたきの最中に、まばたきに関連する自動的な動作の一部として、眼が回転する可能性があることが認められている。このような動きは、例えば、まばたきが終了したときのユーザの眼の方向の予測に影響を与える可能性があるため、予測に織り込むことができる。

上述の構成の多くにおいて、検出の精度を高めるために較正プロセスを実行することが有益であり得る。このようなプロセスは、コンタクトレンズを使用しているか否か、通常は眼鏡をかけているか否か、あるいは検出に関して誤った結果の導出を引き起こしかねない他の何らかの視覚の異常を有するか否かなど、視覚に関する一連の質問をユーザに尋ねることを含むことができる。プロセスは、一連の所定の眼の動き（眼を開いた状態または閉じた状態で）を実行するユーザを追跡記録して、さらなる追跡の基礎となり得るデータセットを生成することをさらに含むことができる。視線追跡プロセスの精度は、角膜および／またはまぶたの厚さ、眼鏡の着用、ならびに／あるいは濃いメイクの使用など、ユーザに固有のいくつかの要因によって影響を受ける可能性があり、したがって較正データが、これらの問題の克服に役立ち得る。

さらに、較正データを使用して、本方法について予想される精度を判断することができる。例えば、眼の位置をＸミリメートルの範囲内で特定できると判断することができ、これに応じて、中心窩レンダリングプロセスにおいて使用される１つ以上の領域のサイズを、わずかな誤差が存在しても適切な画像の生成が保証されるように適切に変更することができる。このサイズを、まばたきの最中および／またはまばたきの直後のいくつかのフレームについて使用することができ、あるいはサイズを、ビデオコンテンツ全体の表示に使用することができる。

レンダリング領域を、眼を閉じているときの視線追跡プロセスについて判断された精度に比例させることは、この方法によれば、高解像度の領域を、まばたきの最中の眼について考えられるすべての動きをカバーするように充分に大きくするのではなく、追跡プロセスにおける不確定性と同じ大きさにすればよいため、より大きな領域（例えば、画像の全体）を高解像度でレンダリングする以前の構成と比べて有利である。これにより、全画面の高解像度画像のデータレートがソースデバイス、送信方式、および／またはＨＭＤの処理能力を超えると考えられるより高解像度のＨＭＤのより一般的な使用が可能になる。

図１５が、視線追跡および画像レンダリングシステムを概略的に示している。このシステムは、閉眼検出器１５００と、視線追跡器１５１０と、画像レンダラ１５２０とを備える。

閉眼検出器１５００は、ユーザが１つ以上の眼を閉じたときを検出するように動作可能である。これは、任意の適切なやり方で実行可能であり、例えば、標準的な視線追跡システムを閉眼検出器として使用することが可能であり、ユーザの瞳孔を追跡できないことが、眼が閉じていることを表すと考えられる。いくつかの実施形態においては、表面の反射率を割り出すように動作することができる単純な検出器を使用することができ、ユーザのまぶたは、ユーザの眼の反射とは異なる反射をもたらすであろう。ユーザの眼の開閉に関連する筋肉の動きを検出するために、電極などをユーザの顔に接続することも可能かもしれない。

視線追跡器１５１０は、閉じられていることが検出された眼に対応するまぶたの測定された変形に応じて眼の向きを検出するように動作可能である。典型的な視線追跡器１５１０の構成は、図１６を参照して後述される。

画像レンダラ１５２０は、検出された眼の向きに応じて、表示用の中心窩画像をレンダリングするように動作可能である。いくつかの実施形態において、レンダリングされた画像は、図１０Ａおよび図１０Ｂを参照して説明したように、より高い解像度の部分を有する。これらの実施形態のいくつかにおいて、より高い解像度の部分のサイズは、眼の向きの検出について判断された精度に依存する。

これらの各ユニットは、ＨＭＤまたはユーザが着用する他の頭部装着型の装置に配置されてよく、あるいは完全に別の装置に配置されてもよい。例えば、画像レンダラ１５２０は、代わりに、視線追跡器１５１０および／または閉眼検出器１５００と通信するように動作可能であるゲームコンソールなどの処理装置に配置されてよい。

図１６は、視線追跡器１５１０を概略的に示している。視線追跡器のこの例は、パターンプロジェクタ１６００と、カメラ１６１０と、向き計算器１６２０とを備えるが、いくつかの実施形態においては、追加または代替の構成要素を、視線追跡器１５１０を形成するために使用することができる。

パターンプロジェクタ１６００は、ユーザのまぶた上にパターンを生成するように動作可能である。上述のように、このパターンを、ユーザのまぶたへと投影される構造化された光を使用して生成することができ、あるいはパターンは、ユーザのまぶたの変形によって生じる影であってもよい（この場合、パターンプロジェクタは、斜めの角度からユーザのまぶたを照らすようにそれぞれ配置された１つ以上の光源であってよい）。

当然ながら、パターンプロジェクタ１６００は、パターンがユーザのまぶたに貼り付けられる実施形態においては省略可能であり、上述のように、これは、化粧または一時的な入れ墨などを使用して達成することができる。さらに、パターンがまったく使用されない場合に、パターンプロジェクタ１６００は省略されてよいが、パターンは、正確な検出の生成に必須ではないが、正確な検出の生成において助けとなり得る。

上述のように、いくつかの実施形態においては、上述の実装の組み合わせを使用することができ、例えば、両方のパターン（投影またはその他）を影と組み合わせて使用することができる。

カメラ１６１０は、ユーザのまぶたの変形を明らかにするための任意の適切な撮像デバイスであってよい。いくつかの実施形態において、これは、深度検出器または深度カメラであってよいが、他の実施形態においては、ＲＧＢまたはＩＲカメラなどを使用することができる。カメラ１６１０は、ユーザのまぶた、とりわけまぶたのうちのパターンを含む領域の画像を取得することができるように配置されるべきである。

向き計算器１６２０は、カメラ１６１０によって取得された画像および情報を使用して、ユーザのまぶたの変形を特定し、変形に関する情報を使用して、ユーザの眼の向きに関する情報を導出するように動作可能である。いくつかの実施形態において、これは、ユーザのまぶた上のパターンについて取得された画像を、パターンの参照画像と比較することを含むことができる。いくつかの実施形態では、これは、角膜の存在の結果としてのユーザのまぶたの変形を表す画像内の影を検出することを含むことができる。

図１７が、ユーザの１つ以上の眼を追跡し、視線の追跡に応じてコンテンツをレンダリングするための視線追跡および画像レンダリング方法を概略的に示している。

ステップ１７００は、ユーザが１つ以上の眼を閉じたときを検出することを含む。

ステップ１７１０は、閉じられていることが検出された眼に対応するまぶたについて測定された変形に応じて、眼の向きを検出することを含む。

ステップ１７２０は、例えば中心窩レンダリング技術を使用して、検出された眼の向きに応じて表示用の中心窩画像をレンダリングすることを含む。

図１８は、例えば図１７の方法のステップ１７１０に対応する眼の向きを検出するための方法を概略的に示している。

ステップ１８００は、例えば、構造化された光を使用し、あるいは影を生じるように斜めの角度からまぶたを照明することによって、パターンをユーザのまぶたへと投影することを含む。当然ながら、このステップは、実施形態においては省略されてよい。

ステップ１８１０は、ユーザのまぶたの画像を取得し、特にはユーザのまぶたへと投影され、あるいはユーザのまぶたへと貼り付けられたパターンの画像を取得することを含む。

ステップ１８２０は、ユーザの角膜の位置に対応するユーザのまぶたの変形を検出し、次いで検出された変形に応じてユーザの眼の向きを検出するように、取得した画像について検出を実行することを含む。

上述の技術は、ハードウェア、ソフトウェア、または両者の組み合わせにて実施可能である。実施形態の１つ以上の特徴を実施するためにソフトウェアによって制御されるデータ処理装置が使用される場合、そのようなソフトウェア、ならびにそのようなソフトウェアを提供するための非一時的な機械可読記憶媒体などの記憶媒体または伝送媒体も、本開示の実施形態と見なされることを、理解できるであろう。

Claims (15)

1. ユーザの１つ以上の眼を追跡するための視線追跡システムであって、
   ユーザが１つ以上の眼を閉じたときを検出するように動作することができる閉眼検出器と、
   閉じたと検出された眼に対応するまぶたについて測定された変形に基づいて、眼の向きを検出するように動作することができる視線追跡器と、
   前記検出された眼の向きに応じて表示用の中心窩画像をレンダリングするように動作することができる画像レンダラと
   を備えるシステム。
2. 前記まぶたの変形は、深度検出器を使用して測定される、請求項１に記載のシステム。
3. 前記まぶたの変形は、前記ユーザのまぶた上のパターンの変形を識別することによって検出される、請求項１に記載のシステム。
4. 前記パターンは、前記ユーザのまぶたへと投影される構造化された光を使用して生成される、請求項３に記載のシステム。
5. 前記パターンは、前記ユーザのまぶたの変形によって生じる影である、請求項３に記載のシステム。
6. 前記影は、前記ユーザのまぶたを斜めの角度から照明する光によって生成される、請求項５に記載のシステム。
7. 前記ユーザのまぶたを斜めの角度から照明するようにそれぞれが配置された１つ以上の光源を備える、請求項６に記載のシステム。
8. 前記パターンは、前記ユーザのまぶたに貼り付けられる、請求項３に記載のシステム。
9. 眼の動きの物理的な限界が、前記まぶたのうちの前記変形が検出され得る領域を予測するために使用される、請求項１に記載のシステム。
10. 閉眼が検出される前の前記ユーザの眼の動きが、前記まぶたのうちの前記変形が検出され得る領域を予測するために使用される、請求項１に記載のシステム。
11. ユーザへと表示される画像コンテンツの分析が、前記まぶたのうちの前記変形が検出され得る領域を予測するために使用される、請求項１に記載のシステム。
12. 前記中心窩画像の高解像度部分のサイズが、前記眼の向きの検出について判断された精度に依存する、請求項１に記載のシステム。
13. ユーザの１つ以上の眼を追跡するための視線追跡方法であって、
    ユーザが１つ以上の眼を閉じたときを検出するステップと、
    閉じたと検出された眼に対応するまぶたについて測定された変形に基づいて、眼の向きを検出するステップと、
    前記検出された眼の向きに応じて表示用の中心窩画像をレンダリングするステップと
    を含む方法。
14. コンピュータによって実行されたときに前記コンピュータに請求項１３に記載の方法を実行させるコンピュータソフトウェア。
15. 請求項１４に記載のコンピュータソフトウェアを格納する非一時的な機械可読記憶媒体。

Images