JP6983258B2 - アイトラッキングを介した拡張された有効なアイボックスを有するニアアイディスプレイ - Google Patents

Description

背景
開示の分野
本開示は一般に、ニアアイディスプレイ（near-eye display）に関し、より特定的には、ニアアイディスプレイにおける有効なアイボックス（eye-box）サイズの改善に関する。

関連技術の説明
ヘッドマウントディスプレイ（ＨＭＤ： Head-mounted display）および他のニアアイディスプレイシステムは、三次元（３Ｄ）グラフィックスの有効な表示を提供するために、ニアアイライトフィールドディスプレイ（near-eye lightfield display）または他のコンピューテイショナルディスプレイ（computational display）を利用し得る。一般に、ニアアイライトフィールドディスプレイは、１つ以上のディスプレイパネルと、当該１つ以上のディスプレイパネルに重畳される小型レンズ（lenslet）のアレイ、ピンホールまたは他の光学機構のアレイとを使用する。レンダリングシステムは要素画像のアレイをレンダリングする。各要素画像は、対応するパースペクティブまたは仮想カメラ位置からの物体またはシーンの画像または視界を表わす。アイボックスサイズは、小型レンズの焦点距離に対するアイレリーフ（eye relief）の比に比例するので、そのようなニアアイライトフィールドディスプレイは典型的に、アイボックスサイズと視野（ＦＯＶ： field of view）との間のトレードオフを示す。したがって、十分なＦＯＶを提供するために、ニアアイライトフィールドディスプレイを使用する従来のニアアイディスプレイシステムは典型的に、相対的に制限されたアイボックスを有することになり、これはしばしば、潜在ユーザの集団の間での瞳孔間距離（ＩＰＤ： inter-pupillary distance）の変動性と、ディスプレイに対するユーザの目の正確な位置決めの変動性とに鑑みると問題となる。上記変動性のいずれによっても、ユーザの瞳孔がアイボックスの境界の外に位置することになり得、これは、ユーザの目に対して表示されることが意図される画像の少なくとも部分のオクルージョンに帰着することになる。

図面の簡単な説明
本開示は、添付の図面を参照することによって、より一層理解され得、その多くの特徴および利点が当業者に明白になる。異なる図面における同じ参照符号の使用は、同様または同一の項目を示す。

いくつかの実施形態に従った、動的なアイボックスの調節を提供するためにアイトラッキングと対応する要素画像シフティングとを使用するニアアイディスプレイシステムを示す図である。 いくつかの実施形態に従った、図１のニアアイディスプレイシステムにおける動的なアイボックスの調節のための方法を示すフロー図である。 いくつかの実施形態に従った、目のポーズに基づいた動的なアイボックスの調節の例を示す図である。 いくつかの実施形態に従った、目のポーズに基づいた動的なアイボックスの調節の付加的な例を示す図である。 ニアアイディスプレイシステムにおけるアイトラッキングのための従来の斜角構成を示す図である。 いくつかの実施形態に従った、ニアアイディスプレイシステムにおける例示的なアイトラッキングコンポーネントを示す図である。 いくつかの実施形態に従った、ニアアイディスプレイシステムにおける別の例示的なアイトラッキングコンポーネントを示す図である。 いくつかの実施形態に従った、図７のアイトラッキングコンポーネントの構成の変形例を示す図である。 いくつかの実施形態に従った、アイトラッキングコンポーネントのコンポーネントによりニアアイライトフィールドディスプレイにおいて不明瞭にされた要素画像を補償するための方法を示す図である。

詳細な説明
図１〜図９は、ニアアイディスプレイシステムにおけるユーザの目のポーズに基づいた動的なアイボックスの調節のための例示的な方法およびシステムを示す。ニアアイディスプレイシステムは、少なくとも１つの実施形態において、没入型の仮想現実（ＶＲ： virtual reality)または拡張現実（ＡＲ： augmented reality）の体験をユーザに提供するよう、ユーザに対して画像のニアアイライトフィールドフレームを表示するコンピューテイショナルディスプレイを使用する。各ニアアイライトフィールドフレームは要素画像のアレイから構成されており、各要素画像は、異なる対応する視点からの物体またはシーンの視界を表わす。小型レンズのアレイが、ディスプレイパネルに重畳されており、単一のオートステレオスコピック（autostereoscopic）画像として要素画像のアレイをユーザに提示するために動作する。

アイボックス寸法または「サイズ」に関し、コンピューテイショナルディスプレイは、小型レンズ焦点距離に対するアイレリーフの比に比例するので、アイボックスサイズを増加させる試みは、一般に視野（ＦＯＶ）の低減に帰着し、その逆も発生する。ＦＯＶにおける対応する低減なく改善されたアイボックスサイズを提供するために、少なくとも１つの実施形態において、本願明細書において記載されるニアアイディスプレイシステムは、動的なアイボックス技術を利用する。当該動的なアイボックス技術において、アイトラッキングコンポーネントが、ユーザの目のポーズ（位置および／または回転）を決定するために利用され、このポーズに基づいて、要素画像のアレイが、それらが組み込まれるニアアイライトフィールドフレームに対して（すなわち、ディスプレイパネルの表示面に対して）シフトされるべきシフトベクトルを決定してユーザの目のポーズに適合するようにコンピューテイショナルディスプレイのアイボックスを有効にシフトするために利用される。例として、ディスプレイパネル上の要素画像のアレイについてのデフォルト位置が、ユーザの目の想定されるデフォルトポーズについて特定され得る。しかしながら、ユーザの目がこのデフォルトポーズから逸脱した場合、ニアアイディスプレイシステムは、（１）ディスプレイパネルに平行な面（すなわちＸ−Ｙ面）においてユーザの目のポーズにおけるシフトに適合するための、デフォルト位置からの要素画像のアレイの位置における対応するシフト、または、（２）ディスプレイパネルに垂直な軸（すなわちＺ軸）に沿ったユーザの目のポーズにおけるシフトに適合するための、アレイの要素画像のサイズの対応するスケーリングのうちの一方または両方を導入することにより当該逸脱したポーズを補償する。要素画像のアレイの位置におけるシフトおよび／または要素画像のスケーリングによって、小型レンズアレイを介した要素画像の投射方向が有効にシフトされ、要素画像のアレイの位置のシフトによってアイボックスが有効にシフトされる。したがって、ユーザにおける目のポーズにおけるシフトに応答して要素画像アレイを動的にシフト／スケーリングすることによって、ニアアイディスプレイシステムのＦＯＶにおける対応する低減を必要とすることなく「より大きな」アイボックスが有効に提供される。

図１は、少なくとも１つの実施形態に従った、動的なアイボックス位置調節を組み込むニアアイディスプレイシステム１００を示す。示された例において、ニアアイディスプレイシステム１００は、コンピューテイショナルディスプレイサブシステム１０２と、レンダリングコンポーネント１０４と、ユーザの左目をトラッキングするためのアイトラッキングコンポーネント１０６およびユーザの右目をトラッキングするためのアイトラッキングコンポーネント１０８のうちの一方または両方といった１つ以上のアイトラッキングコンポーネントとを含む。コンピューテイショナルディスプレイサブシステム１０２は、ユーザの左目および右目の前にディスプレイ１１０および１１２をそれぞれ配置する装置１１４（たとえばゴーグル、眼鏡など）にマウントされた左目ディスプレイ１１０および右目ディスプレイ１１２を含む。

図１１６によって示されるように、ディスプレイ１１０，１１２の各々は、各々が要素画像１２２のアレイ１２０を含むニアアイライトフィールドフレーム（以下、参照のしやすさのために「ライトフィールドフレーム」と称する）のシーケンスまたは連続したものを表示するために少なくとも１つのディスプレイパネル１１８を含む。参照のしやすさのために、要素画像１２２のアレイ１２０は、本願明細書においてライトフィールドフレーム１２０とも称され得る。ディスプレイ１１０および１１２の各々はさらに、ディスプレイパネル１１８に重畳される小型レンズ１２６（一般的に「マイクロレンズ」とも称される）のアレイ１２４を含む。典型的に、小型レンズアレイ１２４における小型レンズ１２６の数は、アレイ１２０における要素画像１２２の数と等しいが、他の実現例では、小型レンズ１２６の数は、要素画像１２２の数よりも少なくてもよく、または、多くてもよい。なお、例示の容易さのため、図１の例は、要素画像１２２の５×４アレイおよび小型レンズ１２６の対応する５×４アレイ１２０を示しているが、典型的な実現例において、ライトフィールドフレーム１２０における要素画像１２２の数および小型レンズアレイ１２４における小型レンズ１２６の数は典型的にずっと多い。さらに、いくつかの実施形態では、別個のディスプレイパネル１１８がディスプレイ１１０，１１２の各々のために実現され、その一方、他の実施形態では、左目ディスプレイ１１０および右目ディスプレイ１１２が単一のディスプレイパネル１１８を共有し、ディスプレイパネル１１８の左半分が左目ディスプレイ１１０のために使用され、ディスプレイパネル１１８の右半分が右目ディスプレイ１１２のために使用される。

図１の断面図１２８は、ディスプレイパネル１１８に重畳される小型レンズアレイ１２４の線Ａ−Ａに沿った断面図を示しており、小型レンズアレイ１２４が、ディスプレイパネル１１８の表示面１３０とユーザの対応する目１３２との間に配置されるように表示面１３０に重畳される。この構成において、各小型レンズ１２６は、表示面１３０の対応する領域を目の瞳孔１３４にフォーカスを合わせ、各そのような領域が少なくとも部分的に１つ以上の隣接する領域にオーバーラップする。したがって、そのようなコンピューテイショナルディスプレイ構成において、要素画像１２２のアレイ１２０がディスプレイパネル１１８の表示面１３０に表示され、その後、小型レンズアレイ１２４を通じて目１３２によって見られると、ユーザは、要素画像１２２のアレイ１２０をあるシーンの単一の画像として認識する。したがって、このプロセスが、ユーザの左目および右目の両方について、適切な視差がその間に実現された状態で並列で行なわれると、結果として、相対的に広いＦＯＶと、そのようなコンピューテイショナルディスプレイによってしばしば提供される浅いフォームファクタとを伴って、ユーザにオートステレオスコピック三次元（３Ｄ）画像が提示される。

さらに図１に示されるように、レンダリングコンポーネント１０４は、示される中央処理装置（ＣＰＵ）１３６およびグラフィック処理装置（ＧＰＵ）１３８，１４０のような１つ以上のプロセッサのセットと、本願明細書に記載されるようにさまざまなタスクを行なうためにプロセッサ１３６，１３８，１４０のうちの１つ以上を操作するようプロセッサ１３６，１３８，１４０によってアクセスおよび実行されるソフトウェアプログラムまたは他の実行可能命令を格納する、システムメモリ１４２のような１つ以上のストレージコンポーネントとを含む。そのようなソフトウェアプログラムはたとえば、後述されるようにライトフィールドフレームレンダリングプロセスのための実行可能命令を含むレンダリングプログラム１４４と、後述されるようにアイトラッキングプロセスのための実行可能命令を含むアイトラッキングプログラム１４６とを含む。

動作において、レンダリングコンポーネント１０４は、ローカルまたはリモートのコンテンツソース１６０からレンダリング情報１４８を受け取る。レンダリング情報１４８は、ディスプレイサブシステム１０２においてレンダリングおよび表示される画像の対象である物体またはシーンを表すグラフィックスデータ、ビデオデータまたは他のデータを表わす。レンダリングプログラム１４４を実行すると、ＣＰＵ１３６はレンダリング情報１４８を使用してＧＰＵ１３８，１４０に描画命令を送り、ＧＰＵ１３８，１４０は、当該描画命令を利用して、左目ディスプレイ１１０での表示のためのライトフィールドフレーム１５１の連なりと、右目ディスプレイ１１２での表示のためのライトフィールドフレーム１５３の連なりとを、さまざまな周知のＶＲ／ＡＲコンピュータ／ライトフィールドレンダリングプロセスのいずれかを使用して並列にレンダリングする。このレンダリングプロセスの一部分として、ＣＰＵ１３６は、ディスプレイサブシステム１０２のポーズを表わすポーズ情報１５０を慣性管理装置（ＩＭＵ： inertial management unit)１５４から受け取り得、当該ポーズからの物体またはシーンの視点を反映するようにライトフィールドフレーム１５１，１５３の１つ以上のペアのレンダリングを制御し得る。

以下に詳細に記載されるように、レンダリングコンポーネント１０４はさらに、アイトラッキングコンポーネント１０６，１０８の一方または両方からの目のポーズ情報を使用して、表示されるべきライトフィールドフレーム内の要素画像１２２のアレイ１２０の位置をシフトすること、または、表示されるべきライトフィールドフレームの要素画像１２２のサイズをスケーリングすることにより、そのように表示されるライトフィールドフレームについてのアイボックスの位置を有効にシフトすることのいずれかまたは両方を行い得る。この目的のために、アイトラッキングコンポーネント１０６，１０８は各々、ＩＲ光を対応する目に照射する１つ以上の赤外線（ＩＲ）光源（本願明細書において「ＩＲ照射器」と称される）と、対応する目から反射されるＩＲ光を対応する目画像（目画像情報１５６）としてキャプチャする１つ以上の撮像カメラと、反射されたＩＲ光を撮像カメラに方向付ける１つ以上のミラー、導波路およびビームスプリッタなどと、キャプチャされた目画像から、対応する目の現在位置、現在の方位またはその両方（本願明細書において単体でまたは集合的に「ポーズ」と称される）を決定するようにアイトラッキングプログラム１４６を実行する１つ以上のプロセッサとを含み得る。さまざまな周知のアイトラッキング装置および技術のうちのいずれも、ユーザの片目または両目をトラッキングするアイトラッキングコンポーネント１０６，１０８として使用され得、その例が図５を参照して以下に記載される。代替的には、性能が向上したアイトラッキングコンポーネント１０６，１０８の光学コンポーネントのための例示的な構成が図６〜図１０を参照して後述される。

少なくとも１つの実施形態では、ニアアイディスプレイシステム１００は、過去の目のポーズ、現在の目のポーズ、予測された（未来の）目のポーズ、または、その組合せとして目のポーズを決定し得る。特に、未来の目のポーズの予測は、改善された性能または応答時間を提供し得、未来の目のポーズを予測するためにさまざまな眼球運動予測アルゴリズムのうちのいずれかが実現され得る。さらに、いくつかの場合において、アイトラッキングコンポーネント１０６，１０８は、シーン情報（たとえばレンダリングされるべき画像内の顔の位置またはサリエンシーヒューリスティックス（saliency heuristics））を、目のポーズの計算のためのユーザの目の未来の視線の予測における入力として利用し得る。したがって、本願明細書において使用されるような「目のポーズ」という用語は、以前の目のポーズ、現在の目のポーズ、予測された目のポーズ、または、その何らかの組合せを指し得る。

従来のコンピューテイショナルディスプレイベースのニアアイシステムにおいて、ディスプレイパネルにて要素画像の各々が表示される位置が固定され（すなわち、要素画像のアレイの位置が固定され、また、表示される各ライトフィールドフレームについても同じである）、これにより、コンピューテイショナルディスプレイについての対応するアイボックスの位置も同様に固定される。結果として、ユーザの目の位置または方位がこの固定されたアイボックスの境界の外に出る場合、表示された画像のユーザの認知は、たとえば画像のクリッピングもしくはケラレ（vignetting）またはフォーカスの損失を通じてしばしば影響を受ける。

本願明細書に記載されるように、少なくとも１つの実施形態において、ニアアイディスプレイシステム１００は、ユーザの目のポーズにさらに精密に整列するようアイボックスの位置を有効に「シフト」することによって、アイボックス制約に対する非最適なユーザの目のポーズの影響を緩和する。これは、表示されるべき対応するライトフィールドフレームについての目の一方または両方のポーズを決定するようにユーザの片目または両目をトラッキングするために、アイトラッキングコンポーネント１０６，１０８を使用することにより達成される。次いで、ポーズが決定された状態で、レンダリングコンポーネント１０４は、対応するディスプレイパネル１１８において表示される際にデフォルト位置に対して対応する方向にレンダリングされるライトフィールドフレーム内における要素画像１２２の位置をシフトする。ディスプレイパネル１１８の表示面１３０に対する要素画像１２２のアレイ１２０の位置におけるこのシフトは、小型レンズアレイ１２４に対するアレイ１２０の視角をシフトする効果を有しており、したがって、アイボックスの位置をシフトする効果を有する。要素画像の位置をシフトすることに加えて、または、要素画像の位置をシフトすることの代わりに、レンダリングコンポーネント１０４は、ユーザの目のポーズのＺ軸成分に応答して、目のポーズのＺ位置に関わらず仮想平面において表わされる画像の一定サイズを維持することを試みるようライトフィールドフレーム内の要素画像１２２の寸法をスケーリングし得る。これにより、アイボックスの位置は、ユーザの目のポーズにより良好に適合するように動的に調節され得る。

図２は、いくつかの実施形態に従った、動的なアイボックス位置調節を提供するよう調節された位置決めによりライトフィールドフレームをレンダリングするためのニアアイディスプレイシステム１００の動作の方法２００を示す。理解を促進するために、方法２００は、図３によって示される例示的なシナリオを頻繁に参照して以下に記載される。方法２００は、左目ディスプレイ１１０または右目ディスプレイ１１２のうちの１つのためにライトフィールドフレームをレンダリングおよび表示するためのプロセスの１つの反復を示しており、したがって、示されるプロセスは、ディスプレイ１１０，１１２の各々について並列で繰り返し行なわれ、これにより、異なる時点において各目についてライトフィールドフレームの異なるストリームまたはシーケンスを生成および表示し、したがってユーザに３ＤのオートステレオスコピックＶＲまたはＡＲ体験を提供する。

生成および表示されるべきライトフィールドフレームのために、方法２００はブロック２０２において開始され、これにより、レンダリングコンポーネント１０４は、ライトフィールドフレームとしてユーザの対応する目に対して表示される画像コンテンツを識別する。少なくとも１つの実施形態において、レンダリングコンポーネント１０４は、ジャイロスコープ、加速度計、磁力計、およびグローバルポジショニングシステム（ＧＰＳ： Global Positioning System）センサなどのようなさまざまなポーズ関連センサからのデータを表わすＩＭＵ情報１５２を受け取り、ユーザの目の近くにディスプレイ１１０，１１２をマウントするために使用される装置１１４（たとえばＨＭＤ）のポーズをＩＭＵ情報１５０から決定する。このポーズから、レンダリングプログラム１４４を実行するＣＰＵ１３６は、対象のシーンまたは物体の対応する現在の視点を決定し得、この視点とレンダリング情報１４８として提供されるシーンまたは物体のグラフィカルおよび空間的な記述とから、当該ポーズについてレンダリングされるべき画像を決定し得る。

ブロック２０４では、アイトラッキングプログラム１４６を実行するＣＰＵ１３６は、ユーザの対応する目のポーズを決定する。本願明細書において説明されるように、目のポーズはさまざまなアイトラッキング技術のうちのいずれかを使用して決定され得る。一般に、そのような技術は、目の瞳孔および角膜から反射されるＩＲ光の１つ以上の画像のキャプチャを含む。その後、アイトラッキングプログラム１４６は、瞳孔反射または角膜反射の一方または両方の対応する位置に基づいて目のポーズを決定するよう画像を分析するためにＣＰＵ１３６またはＧＰＵ１３８，１４０を操作し得る。さらに、角膜に対する瞳孔の方位は、目の方位（すなわち目の視線の方向）を決定するために使用され得る。なお、ブロック２０４はブロック２０２に続くものとして図２に示されているが、ブロック２０４のプロセスは、ブロック２０２のプロセスの前、プロセス中、または、プロセスの後に行なわれてもよい。

ユーザの目のポーズが決定された状態で、ブロック２０６において、レンダリングプログラム１４４は、ユーザの目のポーズに基づいて、本願明細書において「ＳＶ＿ＥＬＥＭ」と示されるシフトベクトルを決定するためにＣＰＵ１３６を操作する。上で説明したように、シフトベクトルＳＶ＿ＥＬＥＭは、レンダリングされるライトフィールドフレーム内における要素画像に適用される位置のシフトを表わしており、ユーザの目のポーズの対応するシフトを補償する。特に、シフトベクトルによって表わされる補償のシフトは実際に、アイボックスによって表わされる領域において目が相対的にセンタリングされるようにそのポーズでの目のまわりにコンピューテイショナルディスプレイのアイボックスを配置するように意図される。すなわち、シフトベクトルは、目のポーズとマッチするようアイボックスを動的にシフトするように機能するものである。

少なくとも１つの実施形態において、シフトベクトルＳＶ＿ＥＬＥＭの計算は、ユーザの目のデフォルトポーズの推定または特定と、表示面１３０を基準とする要素画像１２２のアレイ１２０についての対応するデフォルト位置とに基づく。例示すると、図３の断面図３００によって示される例示的なシナリオを参照して、対応するディスプレイパネル１１８に対するユーザの目３０４についてのデフォルトポーズ３０２は、表示面１３０に対してＸ−Ｙ面においてセンタリング（すなわち目３０４の視線軸が表示面１３０の中心軸３０６と整列）され、かつ、Ｚ軸に沿った表示面１３０または小型レンズアレイ１２４からの推定またはデフォルトの距離に位置されるようにセットまたは定義され得る。このデフォルトポーズ３０２の目３０４により、ライトフィールドフレームの要素画像１２２のアレイ１２０についてのデフォルト位置も同様に表示面１３０に対してセンタリングされるように定義され得る。例示すると、断面図３００において、ライトフィールドフレームは要素画像の３×３アレイから構成されており、断面図３００に存在する３つの要素画像がディスプレイパネル１１８の領域３０８，３０９，３１０によって表わされ、これらの領域３０８，３０９，３１０は、目３０４がデフォルトポーズ３０２にある（この例では、小型レンズアレイ１２４からの特定された距離にて軸３０６に沿ってセンタリングされる）場合、中心軸３０６についてセンタリングされる示されたデフォルト位置３１２を有する。

この例示的な３×３の要素画像構成（および対応する３×３小型レンズアレイ構成）により、対応するアイボックスは、垂直線３１４によって表わされるように、表示面１３０と平行な面における寸法を有する。すなわち、目３０４が表示面１３０から同じ距離でポーズ３１６とポーズ３１８との間に位置決めされる限り、ユーザは、領域３０９において表示される要素画像がクリッピングされておらずまたはオクルージョンされていない視界を有するはずである。しかしながら、図３に示される例示的なシナリオは、ディスプレイパネル１１８に対するアイボックスのサイズを誇張している。さらに多くの要素画像と、さらに多くの小型レンズと、ディスプレイパネルからの目のより大きな距離とを有する典型的な構成においては、アイボックスは、ディスプレイパネル１１８に対してさらに小さくなる可能性があり、そのため、デフォルトＩＰＤ範囲からのユーザＩＰＤの動きまたは逸脱がわずかであっても、ユーザの目はアイボックスの外に出てしまい、これにより、表示されているライトフィールドフレームのユーザの視界に影響を与えることになる。

目３０４についてのこのデフォルトポーズ３０２と、そのように定義または別の態様でセットされるライトフィールドフレームについての対応するデフォルト位置３１２とにより、レンダリングコンポーネント１０４は、目３０４のポーズによって表わされるデフォルトポーズ３０２からの変化に基づいて、デフォルト位置３１２に対するシフトベクトルＳＶ＿ＥＬＥＭを決定し得る。例示すると、断面図３００は、アイトラッキングコンポーネント１０６が目３０４をトラッキングしており、ブロック２０４においてそのポーズが位置３２０にあることを決定している例示的なシナリオを示している。位置３２０は、中心軸３０６についてセンタリングされるデフォルトポーズ３０２からの上方向のシフトを表わす（このシフトは矢印３２２によって表わされている）。目３０４の位置のこの上方向のシフトを補償するために、ブロック２０６において、レンダリングコンポーネント１０４は、図３の方位において反対方向、すなわち、下方向の補償シフトベクトルＳＶ＿ＥＬＥＭ（矢印３２４によって表わされる）を決定する。

少なくとも１つの実施形態では、レンダリングコンポーネント１０４は、下記式に基づいてシフトベクトルＳＶ＿ＥＬＥＭを決定する。

式中、ＳＶ＿ＥＬＥＭは、シフトベクトルを表わし、ＥＹＥ＿ＳＨＩＦＴは、ベクトル形式で目のポーズのシフトを表わし、Ｆ＿Ａは、小型レンズ１２６の焦点距離（すなわち表示面１３０８と小型レンズ１２６の面との間の距離）を表わし、Ｄ＿ＥＲはアイレリーフ（すなわち小型レンズ１２６の面と目３０４との間の距離）を表わす。なお、目３０４がデフォルトポーズにポージングされる状況では、項ＥＹＥ＿ＳＨＩＦＴは０となり、したがって、シフトベクトルＳＶ＿ＥＬＥＭも同様に０になる（すなわちシフトなし）。なお、上記の記載は、要素画像のすべてが同じ程度または量だけシフトされる実現例に向けられているが、他の実現例では、要素画像の位置のシフティングは要素画像同士間で異なり得る。すなわち、異なる要素画像は、異なるパースペクティブシフト（たとえば視差シフト）に対応するように異なる位置シフトを有し得る。

いくつかの場合では、デフォルトポーズからの目のポーズのシフトは、Ｚ方向のシフトを含み得る。そのような場合において、ブロック２０６では、レンダリングコンポーネント１０４はさらに、レンダリングされるライトフィールドフレームの要素画像に適用するスケーリング（または拡大）の量を決定する。例示すると、ｘ次元（ｘ＝ＸまたはＹ）においてレンダリングされる要素画像のサイズを表わすｘ＿ｅｌｅｍは、以下の式によって決定され得る。

図２を参照して、シフトベクトルＳＶ＿ＥＬＥＭと要素画像のスケーリングとが決定された状態で、適宜、ブロック２０８において、レンダリングプログラム１４４は、ＣＰＵ１３６を操作して、ブロック２０２において識別された画像コンテンツを使用してアレイ１２０を有するライトフィールドフレームをレンダリングするようＧＰＵ１３８，１４０の対応するものに命令する。ライトフィールドフレームは要素画像のアレイを含んでいる。このプロセスの一部分として、ＣＰＵ１３６は、シフトベクトルＳＶ＿ＥＬＥＭと、要素画像の寸法に適用される任意のスケーリングの指示とをＧＰＵに提供し、要素画像がフレーム内のそれらのデフォルト位置に対してシフトベクトルＳＶ＿ＥＬＥＭだけシフトされ、かつ、供給されたスケーリング情報があればスケーリング情報に従ってスケーリングされるようにライトフィールドフレームをレンダリングするようにＧＰＵに命令する。したがって、ＧＰＵは、シフトおよび／またはスケーリングされた要素画像のアレイによりライトフィールドフレームをレンダリングし、ブロック２１０において、ＧＰＵは、ユーザの目３０４に対する表示のために、コンピューテイショナルディスプレイ１１０，１１２の対応するものにライトフィールドフレームを提供する。

例示すると、図３を再び参照して、ＧＰＵが矢印３２４によって表わされるシフトベクトルＳＶ＿ＥＬＥＭを実現する場合、要素画像の結果得られるアレイは、断面図３００に示される３つの要素画像が、シフト部分３０８’，３０９’および３１０’にて表示されるように、フレームまたは表示面１３０に対して下方向にシフト位置３２６へとシフトされる。したがって、結果得られるアイボックス（垂直線３２８によって表わされる）は、目３０４のポーズ３２０上のほぼ中心に位置するように、デフォルトポーズ３０２にて提示されるアイボックスに対して有効に上方向にシフトされ、これにより、表示された画像のケラレまたは他の曖昧化なしで、目３０４がポーズ３３０とポーズ３３２との間のいずれかの位置に動くことを可能にする。なお、ポーズ３３０はオリジナルのアイボックスの外にあり、表示されたライトフィールドフレームの要素画像の相補的なシフティングを介したアイボックスのこの動的なシフティングによって、別の態様で固定されたアイボックスで達成可能であるよりも目の位置および方位におけるより大きな変動が可能になるということが理解されるであろう。

図４は、いくつかの実施形態に従った、動的なアイボックスのシフティングを促進する、表示されたライトフィールドの要素画像の付加的および例示的である相補的なシフティングを示す。図４０２によって示されるように、目４０４のポーズは、ディスプレイパネル１１８に対するデフォルトポーズにあり、したがって、要素画像４０８のアレイ４０６はライトフィールドフレーム内のデフォルト位置にレンダリングされる。しかしながら、図４１０によって示されるように、デフォルトポーズの右側への目４０４のポーズのシフトによって、ライトフィールドフレーム内におけるデフォルト位置の左側へのアレイ４０６の位置の相補的なシフトが行われる。同様に、図４１２によって示されるように、上方向への目４０４のポーズのシフトによって、アレイ４０６についてライトフィールドフレーム内でのデフォルト位置からの下方向への相補的なシフトが行われる。目３０４のポーズのシフトは単一の基本的な方向におけるシフトに限定されておらず、アレイ４０６の位置における対応するシフトも同様である。たとえば、図４１４は、デフォルトポーズから右および下方向への目のポーズのシフトによって、ライトフィールドフレーム内において左および上方向へのアレイ４０６の位置の相補的なシフトが行われることを示す。アレイ４０６の位置のこれらのシフトはさらに、Ｚ軸に沿ったデフォルト位置からの目４０４のシフトに応答したアレイ内での要素画像４０８の拡大または他のスケーリングを伴い得る。

なお、記載された動的なアイボックスプロセスによって、ユーザの目のポーズに依存してニアアイライトフィールドフレーム内での要素画像のアレイ１２０のシフトが行われるので、ニアアイライトフィールドフレームは典型的に、要素画像のクリッピングなしでアレイ１２０の位置がさまざまな方向のうちのいずれかにシフトされることが可能になるよう、そのデフォルト位置またはセンタリングされた位置においてアレイ１２０を取り囲む小さなバッファゾーンを利用する。このバッファゾーンは典型的に、小型レンズ１２６の倍率項（magnification term）を考えると、相対的に適度であり、一般に全体の表示面１３０の非常に小さな部分のみを構成する。代替的には、他の実施形態において、当該バッファゾーンが除外されてもよく、アレイ１２０の位置のシフトが実現される場合、先端部上の要素画像がクリッピングすることが許可され得る。

さらに、目の方位の変化は、目の位置の変化に加えてまたは当該変化の代わりに、要素画像の位置の対応するシフトをトリガし得る。本願明細書において考慮されるニアアイライトフィールドディスプレイのタイプは典型的に視線方向に対して感度が低いため、目方位の変化は、本願明細書において目位置の変化に対して記載されるのと同じ態様で扱われ得る。すなわち、本願明細書において記載される動的なアイボックスシフティングプロセスは、目のポーズの任意の局面（すなわち目方位、目位置またはその組合せ）に有効に適用され得る。

上で説明したように、本願明細書において記載される動的なアイボックスシフティングプロセスは、対応する目のポーズを決定するために、アイトラッキングコンポーネント（たとえばアイトラッキングコンポーネント１０６，１０８）を利用する。このアイトラッキングコンポーネントは典型的に、目に照射を行う１つ以上のＩＲ照射器と、目からのＩＲ反射の画像をキャプチャする撮像カメラと、目から反射されたＩＲ光を撮像カメラへガイドする１つ以上のレンズ、導波路または他の光学要素と、キャプチャされた画像を分析するためにソフトウェアプログラムを実行する１つ以上のプロセッサとを含む。

図５は、ニアアイディスプレイシステム１００におけるアイトラッキングコンポーネントとして利用され得るアイトラッキングコンポーネントの光学コンポーネントのための従来の構成を示す。断面図５００によって示されるように、この従来のアプローチでは、ＩＲ照射器５０２が、小型レンズアレイ１２４の一端部に配置されるか、または、対応する小型レンズアレイ１２４とともに小型レンズアレイ１２４の一端部の近傍に配置される一方、撮像カメラ５０６および１つ以上のレンズ５０８または他の光学要素を含む撮像アセンブリ５０４が小型レンズアレイ１２４の他端部に配置されており、ＩＲ照射器５０２および撮像アセンブリ５０４は、小型レンズアレイ１２４を通じて見た際にディスプレイパネル１１８に対して目５１０のＦＯＶ内に存在していないため、ディスプレイパネル１１８の閲覧に干渉しない。動作において、ＩＲ照射器５０２はＩＲ光を目５１０に照射し、目５１０からのこのＩＲ光の反射が撮像アセンブリ５０４によって１つ以上の画像としてキャプチャされる。しかしながら、撮像アセンブリ５０４の位置によって、目５１０およびＩＲ反射に対して斜角で撮像アセンブリ５０４が配置されることになり、これにより、そのようにキャプチャされたいずれの画像のアイトラッキング分析についても困難さが示され得る。この問題に対する典型的な１つの解決策は、上記斜角を低減するように最小のアイレリーフを課すことであるが、これはそうでない場合に必要とされるよりも厚いフォームファクタにつながるため、ユーザがディスプレイシステムを楽しむことを損ない得る。

図６は、いくつかの実施形態に従った、ニアアイディスプレイシステム１００において利用され得るアイトラッキングコンポーネントの光学コンポーネントのための改善された構成を示す。図６の断面図６００によって示されるように、この構成において、ＩＲ照射器６０２，６０４のような１つ以上のＩＲ照射器が、そこから発されるＩＲ光がより小さい斜角で目６１０上に到達するように、小型レンズアレイ１２４の小型レンズ１２６同士の間に配置される。さらに、図６の構成は、目６１０から反射されたＩＲ光を直接的にキャプチャすることを試みるのではなく、小型レンズアレイ１２５とディスプレイパネル１１８との間に配置される平らなまたは曲がった反射要素６０８（ＩＲ反射器／ミラーまたはビームスプリッタを含み得る）を使用する。撮像カメラ６１４および１つ以上のレンズ６１６または他の光学要素を含む撮像アセンブリ６１２が反射要素６０８上にフォーカスされる。このアプローチにおいて、目６１０から反射されたＩＲ光は、小型レンズアレイ１２４の１つ以上の隣接した小型レンズ１２６によって反射要素６０８上にフォーカスされ、反射要素６０８は、１つ以上の画像としてのキャプチャのために、撮像アセンブリ６１２に向かってこの入射ＩＲ光を反射する。したがって、このアプローチにおいて、画像のためにキャプチャされたＩＲ光は、図５によって示される従来の構成においてキャプチャされたものより小さい斜角から得られ、これにより、ユーザの視覚の周辺部において撮像アセンブリ６１２を維持しつつ、より正確なアイトラッキングを促進する。なお、図６の例において単一の撮像アセンブリ６１２が示されているが、他の実施形態において、小型レンズアレイ１２４の周辺部における複数の撮像アセンブリ６１２が、アイトラッキング精度の向上のための異なる視点から、目６１０の反射されたＩＲ画像をキャプチャするために使用されてもよい。

反射要素６０８が目６１０のＦＯＶの内にあることが認識されるであろう。しかしながら、反射要素６０８は、ディスプレイパネル１１８と小型レンズアレイ１２４との間に配置される（すなわち、小型レンズ１２６の焦点距離より近い）ので、目６１０からフォーカスがずれることになる。しかしながら、反射要素６０８は、反射要素６０８の後ろに位置する１つ以上の要素画像の目の視界を不明瞭にする。しかしながら、図９を参照してさらに詳しく以下に記載されるように、コンピューテイショナルディスプレイは実際にオーバーラッピングプロジェクタのアレイであるので、不明瞭にされないオーバーラッピングプロジェクタの輝度は、不明瞭にされる要素画像を計算により補償するために使用され得る。

図７は、いくつかの実施形態に従った、ニアアイディスプレイシステム１００において利用され得るアイトラッキングコンポーネントの光学コンポーネントのための別の改善された構成を示す。断面図７００によって示されるように、この構成において、ＩＲ照射器７０２，７０４のような１つ以上のＩＲ照射器が、そこから発せられるＩＲ光がより小さい斜角で目７１０上に到達するように、小型レンズアレイ１２４の小型レンズ１２６同士の間に位置決めされる。さらに、図７の構成は、反射されたＩＲ光を撮像のために目７１０から周辺部に再方向付けするのではなく、撮像アセンブリ７０６を小型レンズアレイ１２４とディスプレイパネル１１８との間に配置する。撮像アセンブリ７０６は、撮像カメラ７０８および１つ以上のレンズ７１２または他の光学要素を含み、目７１０に向かってフォーカスされる。このアプローチにおいて、目６１０から反射されたＩＲ光は、小型レンズアレイ１２４の介在する小型レンズ１２６によって、撮像アセンブリの１つ以上の光学要素を介して撮像カメラ７０８上に直接的に（すなわち反射することなく）フォーカスされる。したがって、このアプローチにおいて、撮像アセンブリ７０８は、目７１０の瞳孔および角膜の直接的または鋭角の視界を有し、これにより、非常に正確なアイトラッキングが促進される。なお、図７の例において単一の撮像アセンブリ７０６が示されているが、他の実施形態では、小型レンズアレイ１２４とディスプレイパネル１１８との間に配置される複数の撮像アセンブリ７０６が、アイトラッキング精度の向上のための異なる視点から、目６１０の反射されたＩＲ画像をキャプチャするために使用され得る。さらに、図６の構成と同様に、目７１０に対してフォーカスがずれているが、撮像カメラアセンブリ７０６の存在によって、撮像カメラアセンブリ７０６の後ろの要素画像が不明瞭になる。しかしながら、オーバーラッピングプロジェクタ効果により、１つ以上の隣接した要素画像の少なくとも一部分の明るさが計算方法を通じて選択的に増加され得、後述されるように、不明瞭にされた要素画像を補償する。

図８は、断面図８００によって示されるように、より大きい有効なディスプレイパネルを形成するために、単一のディスプレイパネル１１８を使用するのではなく、複数のタイルドディスプレイパネル（tiled display panels）８１８が利用される、図７の構成に対する修正例を示す。このアプローチにおいて、タイルドディスプレイパネル８１８は、撮像カメラアセンブリ７０６がディスプレイパネル８１８同士の間のギャップに位置決めされるように分離され、これにより、撮像カメラアセンブリ７０６が目７１０の視界から１つ以上の要素画像を不明瞭にすることを防止する。

図６〜図８によって示されるアイトラッキングコンポーネントの構成は、目の瞳孔および角膜のより小さい傾斜しているまたはより直接的な視点を提供し、これによりアイトラッキング精度の改善を促進するという有用性を有する。しかしながら、これらの構成はさらに、目とディスプレイパネルとの間に要素を配置するので、ディスプレイパネルに表示される要素画像のうちの１つ以上について目の視界が不明瞭にされる。レンダリングコンポーネント１０４は、本願明細書において考慮されるコンピューテイショナルディスプレイのようなニアアイライトフィールドディスプレイのオーバーラッピングプロジェクタの性質を活用することによって、１つ以上の不明瞭にされた要素画像を補償し得る。

例示すると、図９は、ニアアイディスプレイシステム１００において利用されるもののようなコンピューテイショナルディスプレイの断面図９００を示す。この図に示されるように、小型レンズアレイ１２４の小型レンズ１２６の各々が目９０２上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、ディスプレイパネル１１８に表示される要素画像のアレイから複合仮想画像９０４を形成する際に、１つ以上の隣接したプロジェクタとオーバーラップする。例示すると、小型レンズ１２６−１は、仮想画像９０４の領域９１４に、対応する要素画像（領域９０６によって表わされる）を投射し、小型レンズ１２６−２は、仮想画像９０４の領域９１５に、対応する要素画像（領域９０７によって表わされる）を投射し、小型レンズ１２６−３は、仮想画像９０４の領域９１６に、対応する要素画像（領域９０８によって表わされる）を投射し、図９によってさらに示されるように、領域９１４および９１５はサブ領域９１７においてオーバーラップし、領域９１６および９１６はサブ領域９１８においてオーバーラップし、すべての３つの領域９１４，９１５，９１６はサブ領域９１９においてオーバーラップする。

したがって、この例において、領域９０７と小型レンズアレイ１２４との間に配置された撮像装置により、ディスプレイパネル１１８の領域９０７に位置決めされる要素画像が目９０２から不明瞭になると仮定すると、領域９０７の不明瞭にされた要素画像によって引き起こされる輝度の損失を補償するために、周囲の要素画像のうちの１つ以上の輝度が計算により増加され得る。たとえば、示された面において、領域９０６および９０８の要素画像は輝度が増加され得、ディスプレイパネル１１８の方向の他の面における他の隣接した要素画像も輝度が増加され得、領域９０７における不明瞭にされた要素画像を計算により補償する。なお、図９は、直に隣接した要素画像のみとのオーバーラッピング領域を有する簡素化された例を示している。多くの実現例において、不明瞭にされた要素画像に直に隣接している要素画像以外の要素画像が、不明瞭にされた要素画像における不明瞭にされたピクセルとオーバーラップするピクセルの領域を有し得る。したがって、一般に、不明瞭にされた要素画像についての計算による補償は、不明瞭にされた要素画像におけるどのピクセルが周囲の要素画像において再現(replicate)されるかを識別することと、その後、除算（Ｎ＋１）／Ｎによって、周囲の要素画像内の再現された（すなわちオーバーラップされた）ピクセルの輝度をスケーリングすることとを含み、式中、Ｎは、そのピクセルを共有する要素画像の数を表わす。

いくつかの実施形態では、上記技術のある局面は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実現され得る。ソフトウェアは、一時的でないコンピュータ読取可能記憶媒体上に格納されるかまたは有形的に具現化される実行可能命令の１つ以上のセットを含む。ソフトウェアは、１つ以上のプロセッサによって実行されると、上記技術の１つ以上の局面を行なうために１つ以上のプロセッサを操作する命令およびあるデータを含み得る。一時的でないコンピュータ読取可能記憶媒体はたとえば、磁気または光学ディスクストレージデバイス、フラッシュメモリのようなソリッドステートストレージデバイス、キャッシュ、および、ランダムアクセスメモリ（ＲＡＭ）または他の１つまたは複数の非揮発性メモリデバイスなどを含み得る。一時的でないコンピュータ読取可能記憶媒体上に格納される実行可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または、１つ以上のプロセッサによって解釈または別の態様で実行可能な他の命令フォーマットの形態にあり得る。

コンピュータ読取可能記憶媒体は、コンピュータシステムに命令および／またはデータを提供するよう使用の間にコンピュータシステムによってアクセス可能である任意の記憶媒体または記憶媒体の組合せを含み得る。そのような記憶媒体は、光学媒体（たとえばコンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク）、磁気媒体（たとえばフロッピー（登録商標）ディスク、磁気テープまたは磁気ハードドライブ）、揮発性メモリ（たとえばランダムアクセスメモリ（ＲＡＭ）またはキャッシュ）、不揮発性メモリ（たとえばリードオンリメモリ（ＲＯＭ）またはフラッシュメモリ）、または、微小電気機械システム（ＭＥＭＳ： microelectromechanical system）ベースの記憶媒体を含み得るがこれらに限定されない。コンピュータ読取可能記憶媒体は、コンピューティングシステムに埋め込まれてもよく（たとえばシステムＲＡＭまたはＲＯＭ）、コンピューティングシステムに固定的に取り付けられてもよく（たとえば磁気ハードドライブ）、コンピューティングシステムに除去可能に取り付けられてもよく（たとえば光学ディスクまたはユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）、または、有線ネットワークまたは無線ネットワークを介してコンピュータシステムに結合されてもよい（たとえばネットワークアクセス可能ストレージ（ＮＡＳ： network accessible storage））。

なお、一般的な記載において上述されるアクティビティまたは要素のすべてが必要であるわけではなく、特定のアクティビティまたはデバイスの部分が必要ではない場合があり、上記されたものに加えて、１つ以上のさらに別のアクティビティが行なわれてもよく、要素が含まれてもよい。またさらに、アクティビティがリスティングされる順番は必ずしもそれらが行なわれる順番ではない。さらに、特定の実施形態を参照して概念が説明された。しかしながら、当業者は、添付の請求の範囲において記載される本開示の範囲から逸脱することがなければ、さまざまな修正および変化が行なわれ得るということを理解する。従って、明細書および図面は、限定的な意味ではなく、例示的な意味で解釈されるべきであり、すべてのそのような修正例は本開示の範囲内に含まれることが意図される。

有用性、他の利点および問題の解決手段は、特定の実施形態に関して上で説明されている。しかしながら、有用性、利点、問題の解決手段、および、任意の有用性、利点または解決手段をもたらし得るまたはより顕著にし得る任意の特徴は、請求項のいずれかまたはすべての重要、必要または必須である特徴として解釈されるべきでない。さらに、開示された主題は、本願明細書における教示の利益を有する当業者に明白であり異なるが同等である態様で修正および実施されてもよいので、上で開示された特定の実施形態は単に例示的である。添付の請求の範囲に記載されるもの以外の、本願明細書において示された構造または設計の詳細に対する限定は意図されない。したがって、上で開示された特定の実施形態が変更または修正されてもよく、すべてのそのような変更は開示された主題の範囲内にあると考慮されることは明白である。従って、本願明細書において要求される保護は、添付の請求の範囲において記載される。

Claims (20)

1. ニアアイディスプレイシステムにおいて行われる方法であって、
   撮像カメラを使用してユーザの目の画像をキャプチャすることによって、前記ニアアイディスプレイシステムのアイトラッキングコンポーネントを使用して、前記ユーザの目の第１のポーズを決定することと、
   前記ユーザの目の前記第１のポーズに基づいてニアアイライトフィールドフレームを形成する要素画像のアレイについてのシフトベクトルを決定することと、
   前記シフトベクトルに基づく前記ニアアイライトフィールドフレーム内の位置に前記要素画像のアレイをレンダリングすることと、
   前記ニアアイディスプレイシステムのディスプレイパネルに前記ニアアイライトフィールドフレームを表示することとを含み、小型レンズのアレイが前記ディスプレイパネルに重畳され、前記撮像カメラは、前記ディスプレイパネルと前記小型レンズのアレイとの間に配置され、
   前記撮像カメラは、前記ユーザの目からの前記ニアアイライトフィールドフレームの要素画像を不明瞭にし、
   前記要素画像のアレイをレンダリングすることは、不明瞭にされた前記要素画像によって引き起こされる輝度損失を補償するために、不明瞭にされた前記要素画像に隣接する１つ以上の要素画像が増加した輝度を有するように、前記要素画像のアレイをレンダリングすることを含む、方法。
2. 前記シフトベクトルを決定することは、
   前記第１のポーズによって表わされる前記ユーザの目についてのデフォルトポーズからのシフトを決定することと、
   前記ユーザの目についての前記デフォルトポーズからの前記シフトに基づいて、前記ニアアイライトフィールドフレーム内の前記要素画像のアレイについてのデフォルト位置からのシフトを表わすものとして前記シフトベクトルを決定することとを含む、請求項１に記載の方法。
3. 前記シフトベクトルを決定することは、式
   ＳＶ＿ＥＬＥＭ＝−ＥＹＥ＿ＳＨＩＦＴ×（Ｆ＿Ａ／Ｄ＿ＥＲ）
   に基づいて前記シフトベクトルを決定することを含み、
   式中、ＳＶ＿ＥＬＥＭは、前記シフトベクトルを表わし、ＥＹＥ＿ＳＨＩＦＴは、前記ユーザの目についての前記デフォルトポーズからの前記シフトを表わし、Ｆ＿Ａは、前記小型レンズの焦点距離を表わし、Ｄ＿ＥＲは、前記小型レンズのアレイと前記ユーザの目との間の距離を表わす、請求項２に記載の方法。
4. ニアアイディスプレイシステムにおいて行われる方法であって、
   撮像カメラを使用してユーザの目の画像をキャプチャすることによって、前記ニアアイディスプレイシステムのアイトラッキングコンポーネントを使用して、前記ユーザの目の第１のポーズを決定することと、
   前記ユーザの目の前記第１のポーズに基づいてニアアイライトフィールドフレームを形成する要素画像のアレイについてのシフトベクトルを決定することと、
   前記シフトベクトルに基づく前記ニアアイライトフィールドフレーム内の位置に前記要素画像のアレイをレンダリングすることと、
   前記ニアアイディスプレイシステムのディスプレイパネルに前記ニアアイライトフィールドフレームを表示することとを含み、小型レンズのアレイが前記ディスプレイパネルに重畳され、前記撮像カメラは、前記ディスプレイパネルと前記小型レンズのアレイとの間に配置され、前記方法は、
   前記ディスプレイパネルに垂直な軸に沿った前記ユーザの目の位置を決定することと、
   前記位置に基づいて前記アレイの前記要素画像のサイズをスケーリングすることとをさらに含む、方法。
5. ニアアイディスプレイシステムにおいて行われる方法であって、
   撮像カメラを使用してユーザの目の画像をキャプチャすることによって、前記ニアアイディスプレイシステムのアイトラッキングコンポーネントを使用して、前記ユーザの目の第１のポーズを決定することと、
   前記ユーザの目の前記第１のポーズに基づいてニアアイライトフィールドフレームを形成する要素画像のアレイについてのシフトベクトルを決定することと、
   前記シフトベクトルに基づく前記ニアアイライトフィールドフレーム内の位置に前記要素画像のアレイをレンダリングすることと、
   前記ニアアイディスプレイシステムのディスプレイパネルに前記ニアアイライトフィールドフレームを表示することとを含み、小型レンズのアレイが前記ディスプレイパネルに重畳され、前記撮像カメラは、前記ディスプレイパネルと前記小型レンズのアレイとの間に配置され、
   前記方法はさらに、
   第１の時間において、前記ニアアイディスプレイシステムの前記アイトラッキングコンポーネントを使用して、前記ニアアイディスプレイシステムの前記ディスプレイパネルに対する前記ユーザの目のデフォルトポーズを決定することと、
   前記ディスプレイパネルに重畳される小型レンズのアレイを使用して、要素画像の第１のアレイを含む第１のニアアイライトフィールドフレームをレンダリングおよび表示することとを含み、前記第１のアレイは、前記ユーザの目の前記デフォルトポーズに基づく前記第１のニアアイライトフィールドフレーム内に第１の位置を有し、
   ユーザの目の第１のポーズを決定することは、
   第２の時間において、前記アイトラッキングコンポーネントを使用して、前記ディスプレイパネルに対する前記ユーザの目の前記第１のポーズを決定することを含み、前記第１のポーズは前記デフォルトポーズと異なっており、
   前記ニアアイライトフィールドフレームは、第２のニアアイライトフィールドフレームであり、前記要素画像のアレイは、要素画像の第２のアレイであり、前記ニアアイライトフィールドフレーム内の前記位置は、前記第２のニアアイライトフィールドフレーム内の第２の位置であり、前記第２の位置は前記ユーザの目の第２のポーズに基づいており、前記第２の位置は前記第１の位置と異なり、
   前記第１のニアアイライトフィールドフレームをレンダリングおよび表示することは、前記撮像カメラによって不明瞭にされた要素画像によって引き起こされる輝度損失を補償するために、不明瞭にされた前記要素画像に隣接する前記第１のアレイの１つ以上の要素画像が増加した輝度を有するように、前記第１のニアアイライトフィールドフレームをレンダリングすることを含む、方法。
6. 前記第１の位置はデフォルト位置であり、
   前記方法はさらに、
   前記第１のポーズによって表わされる前記デフォルトポーズからのシフトを決定することと、
   前記ユーザの目についての前記デフォルトポーズからの前記シフトに基づいて前記シフトベクトルを決定することと、
   前記シフトベクトルに基づいて前記第１の位置からのシフトとしての前記第２の位置を決定することとを含む、請求項５に記載の方法。
7. 前記シフトベクトルを決定することは、式
   ＳＶ＿ＥＬＥＭ＝−ＥＹＥ＿ＳＨＩＦＴ×（Ｆ＿Ａ／Ｄ＿ＥＲ）
   に基づいて前記シフトベクトルを決定することを含み、
   式中、ＳＶ＿ＥＬＥＭは、前記シフトベクトルを表わし、ＥＹＥ＿ＳＨＩＦＴは、前記ユーザの目についての前記デフォルトポーズからの前記シフトを表わし、Ｆ＿Ａは、前記ディスプレイパネルに重畳される小型レンズアレイの小型レンズの焦点距離を表わし、Ｄ＿ＥＲは、前記小型レンズアレイと前記ユーザの目との間の距離を表わす、請求項６に記載の方法。
8. 前記ユーザの目の前記デフォルトポーズを決定することと、前記ユーザの目の前記第１のポーズを決定することとは、前記ディスプレイパネルと前記ディスプレイパネルに重畳される小型レンズアレイとの間に配置される撮像カメラを使用して前記ユーザの目の画像をキャプチャすることを含む、請求項５〜７のいずれか１項に記載の方法。
9. 前記要素画像の第２のアレイをレンダリングすることは、前記撮像カメラによって不明瞭にされた要素画像によって引き起こされる輝度損失を補償するために、不明瞭にされた前記要素画像に隣接する前記第２のアレイの１つ以上の要素画像が増加した輝度を有するように、前記第２のニアアイライトフィールドフレームをレンダリングすることを含む、請求項８に記載の方法。
10. ニアアイディスプレイシステムであって、
    要素画像のアレイを含むニアアイライトフィールドフレームを表示するように構成されるディスプレイパネルと、
    前記ディスプレイパネルに重畳される小型レンズのアレイと、
    ユーザの目のポーズをトラッキングするように構成されるアイトラッキングコンポーネントとを含み、前記アイトラッキングコンポーネントは、前記小型レンズのアレイの周辺部に配置される撮像カメラと、前記小型レンズのアレイと前記ディスプレイパネルとの間に配置される反射要素とを含み、前記反射要素は、前記ユーザの目からの光を前記撮像カメラに反射するように方位付けされ、前記ニアアイディスプレイシステムはさらに、
    前記ユーザの目の前記ポーズに基づいて前記ニアアイライトフィールドフレーム内で前記要素画像のアレイを位置決めするために、前記ニアアイライトフィールドフレームを表示するよう前記ディスプレイパネルを制御するように構成されるレンダリングコンポーネントとを含み、
    前記レンダリングコンポーネントは、前記反射要素によって不明瞭にされた要素画像によって引き起こされる輝度損失を補償するために、不明瞭にされた前記要素画像に隣接する１つ以上の要素画像が増加した輝度を有するように、前記要素画像のアレイをレンダリングするように構成される、ニアアイディスプレイシステム。
11. 前記レンダリングコンポーネントは、
    前記ユーザの目の前記ポーズに基づいてシフトベクトルを決定することと、
    前記シフトベクトルに基づいて、前記ニアアイライトフィールドフレーム内における前記要素画像のアレイの位置をデフォルト位置からシフトすることと、
    によって前記ニアアイライトフィールドフレーム内において前記要素画像のアレイを位置決めするように構成される、請求項１０に記載のニアアイディスプレイシステム。
12. 前記レンダリングコンポーネントは、
    前記ユーザの目のトラッキングされた前記ポーズによって表わされる前記ユーザの目についてのデフォルトポーズからのシフトを決定することと、
    前記ユーザの目についての前記デフォルトポーズからの前記シフトに基づいて前記シフトベクトルを決定することと、
    によって前記シフトベクトルを決定するように構成される、請求項１１に記載のニアアイディスプレイシステム。
13. 前記レンダリングコンポーネントは、式
    ＳＶ＿ＥＬＥＭ＝−ＥＹＥ＿ＳＨＩＦＴ×（Ｆ＿Ａ／Ｄ＿ＥＲ）
    に基づいて前記シフトベクトルを決定するように構成され、
    式中、ＳＶ＿ＥＬＥＭは、前記シフトベクトルを表わし、ＥＹＥ＿ＳＨＩＦＴは、前記ユーザの目についての前記デフォルト位置からの前記シフトを表わし、Ｆ＿Ａは、前記ディスプレイパネルに重畳される小型レンズアレイの小型レンズの焦点距離を表わし、Ｄ＿ＥＲは、前記小型レンズアレイと前記ユーザの目との間の距離を表わす、請求項１１に記載のニアアイディスプレイシステム。
14. 前記アイトラッキングコンポーネントは、
    前記ユーザの目に光を照射するように構成される１つ以上の赤外線（ＩＲ）照射器のセットを含む、請求項１０〜１３のいずれか１項に記載のニアアイディスプレイシステム。
15. 前記アイトラッキングコンポーネントは、
    前記ユーザの目に光を照射する１つ以上の赤外線（ＩＲ）照射器のセットと、
    前記ディスプレイパネルに重畳される小型レンズアレイと前記ディスプレイパネルとの間に配置され、かつ、前記小型レンズアレイを通じて前記ユーザの目に向かって方位付けされた撮像カメラとを含む、請求項１０〜１３のいずれか１項に記載のニアアイディスプレイシステム。
16. ニアアイディスプレイシステムであって、
    要素画像のアレイを含むニアアイライトフィールドフレームを表示するように構成されるディスプレイパネルと、
    前記ディスプレイパネルに重畳される小型レンズのアレイと、
    ユーザの目のポーズをトラッキングするように構成されるアイトラッキングコンポーネントとを含み、前記アイトラッキングコンポーネントは、前記小型レンズのアレイの周辺部に配置される撮像カメラと、前記小型レンズのアレイと前記ディスプレイパネルとの間に配置される反射要素とを含み、前記反射要素は、前記ユーザの目からの光を前記撮像カメラに反射するように方位付けされ、前記ニアアイディスプレイシステムはさらに、
    前記ユーザの目の前記ポーズに基づいて前記ニアアイライトフィールドフレーム内で前記要素画像のアレイを位置決めするために、前記ニアアイライトフィールドフレームを表示するよう前記ディスプレイパネルを制御するように構成されるレンダリングコンポーネントとを含み、
    前記レンダリングコンポーネントは、前記撮像カメラによって不明瞭にされた要素画像によって引き起こされる輝度損失を補償するために、不明瞭にされた前記要素画像に隣接する１つ以上の要素画像が増加した輝度を有するように、前記要素画像のアレイをレンダリングするように構成される、ニアアイディスプレイシステム。
17. レンダリングシステムであって、
    少なくとも１つのプロセッサと、
    ニアアイディスプレイパネルに対するユーザの目のポーズを示すデータをアイトラッキングコンポーネントから受け取るように構成される入力とを含み、小型レンズのアレイが前記ニアアイディスプレイパネルに重畳されており、前記レンダリングシステムはさらに、
    実行可能命令のセットを格納するように構成されるストレージコンポーネントを含み、前記実行可能命令のセットは、前記ユーザの目の前記ポーズに基づいて、ニアアイライトフィールドフレームをレンダリングするために前記少なくとも１つのプロセッサを操作するように構成されており、前記ニアアイライトフィールドフレームは、前記ニアアイライトフィールドフレーム内の位置を有する要素画像のアレイを含み、前記ユーザの目のポーズは撮像カメラによってキャプチャされる画像に基づいており、前記撮像カメラおよび反射要素のうちの少なくとも１つは、前記ニアアイディスプレイパネルと前記小型レンズのアレイとの間に配置され、
    前記実行可能命令のセットはさらに、
    前記ニアアイディスプレイパネルに垂直な軸に沿った前記ユーザの目の位置を決定することと、
    前記位置に基づいて前記アレイの前記要素画像のサイズをスケーリングすることと、によって前記ニアアイライトフィールドフレームをレンダリングするために前記少なくとも１つのプロセッサを操作するように構成される、レンダリングシステム。
18. 前記実行可能命令のセットは、
    前記ユーザの目の前記ポーズに基づいてシフトベクトルを決定することと、
    前記シフトベクトルに基づいて、前記ニアアイライトフィールドフレーム内における前記要素画像のアレイの位置をデフォルト位置からシフトすることと、
    によって前記ニアアイライトフィールドフレームをレンダリングするために前記少なくとも１つのプロセッサを操作するように構成される、請求項１７に記載のレンダリングシステム。
19. 前記実行可能命令のセットは、
    前記ユーザの目のトラッキングされた前記ポーズによって表わされる前記ユーザの目についてのデフォルトポーズからのシフトを決定することと、
    前記ユーザの目についての前記デフォルトポーズからの前記シフトに基づいて前記シフトベクトルを決定することと、
    によって前記シフトベクトルを決定するために前記少なくとも１つのプロセッサを操作するように構成される、請求項１８に記載のレンダリングシステム。
20. 前記実行可能命令のセットは、式
    ＳＶ＿ＥＬＥＭ＝−ＥＹＥ＿ＳＨＩＦＴ×（Ｆ＿Ａ／Ｄ＿ＥＲ）
    に基づいて前記シフトベクトルを決定するために前記少なくとも１つのプロセッサを操作するように構成され、
    式中、ＳＶ＿ＥＬＥＭは、前記シフトベクトルを表わし、ＥＹＥ＿ＳＨＩＦＴは、前記ユーザの目についての前記デフォルトポーズからの前記シフトを表わし、Ｆ＿Ａは、前記ニアアイディスプレイパネルに重畳される小型レンズアレイの小型レンズの焦点距離を表わし、Ｄ＿ＥＲは、前記小型レンズアレイと前記ユーザの目との間の距離を表わす、請求項１９に記載のレンダリングシステム。

Images