JP6661832B2 - 眼の特徴付けのための反射波面分析に基づくフレームレンダリングを有するニアアイディスプレイ - Google Patents

Description

背景
開示の分野
本発明は、一般にニアアイディスプレイに関し、より具体的に、コンピュータ計算のニアアイディスプレイのためのフレームレンダリングに関する。

関連技術の説明
３次元（３Ｄ）グラフィクスの実行的なディスプレイを提供するために、ヘッドマウントディスプレイ（ＨＭＤ）およびその他のニアアイディスプレイシステムは、ニアアイライトフィールドディスプレイまたはその他のコンピュータ計算のディスプレイを利用することができる。一般に、ニアアイライトフィールドディスプレイは、１つまたは複数のディスプレイパネルと、当該１つまたは複数のディスプレイパネルに重畳する、小型レンズ、ピンホール、または、その他の光学系機構のアレイを用いる。レンダリングシステムは、要素画像のアレイをレンダリングし、各要素画像は、対応する視点または仮想カメラ位置からの対象物またはシーンの画像またはビューを表す。

一般に、要素画像の各アレイは、特定の焦点面を参照してレンダリングされ、ユーザの眼が実質的に収差を有さないという仮定に基づきレンダリングされる。しかし、ユーザの眼が屈折異常またはその他収差に影響される場合、表示されるイメージは、ぼやけるか歪められて見え得る。そのような問題を避けるため、ニアアイディスプレイデバイスは、ユーザが矯正的眼鏡を装着することを可能とするために設計されることができるが、典型的に、結果として生じるフォームファクタは、重量、慣性、および大きさの理由のために実用性がない。同様に、要素画像のアレイがレンダリングされる焦点面と、ユーザの眼の現在の調整状態とが一致しない場合、不一致の奥行き手掛りをもたらし、その結果、ユーザに対して認知疲労をもたらし、このためユーザエクスペリエンスを損ない得る。

図面の簡単な説明
添付の図面を参照することによって、本開示はよりよく理解されることができ、その多数の特徴および利点は、当業者に明らかとなるであろう。異なる図面における同じ参照符号の使用は、類似のまたは同一の項目を示す。

いくつかの実施形態に従う、波面歪み推計を介する眼の特徴付けに基づくライトフィールドフレームレンダリングを採用するニアアイディスプレイシステムを例示する図である。 いくつかの実施形態に従う、図１のニアアイディスプレイシステムのディスプレイパネルおよび重畳する小型レンズアレイをより詳細に例示する図である。 いくつかの実施形態に従う、波面歪み推計に基づきユーザの眼を特徴付けるための、および眼の特徴付けに基づきイメージレンダリング処理を制御するための方法を例示するフロー図である。 いくつかの実施形態に従う、眼の特徴付け処理中のディスプレイパネルおよび重畳する小型レンズアレイの断面図を例示する図である。 いくつかの実施形態に従う、ユーザの眼からの図２のディスプレイパネルによって投影された光スポットパターンの反射をキャプチャする画像を例示する図である。

詳細な説明
図１〜図５は、ニアアイディスプレイシステムにおいて波面歪み推計を使用したユーザの眼の特徴付けに基づく、改善された画像レンダリングのための例のシステムおよび技術を例示する。少なくとも１つの実施形態では、ユーザに没入型の仮想現実（ＶＲ）または拡張現実（ＡＲ）エクスペリエンスを提供するために、ニアアイディスプレイシステムは、ユーザに対してイメージのニアアイライトフィールドフレームを表示するための１つまたは複数のディスプレイパネルから構成されるコンピュータ計算ディスプレイを用いる。各ニアアイライトフィールドフレームは、要素画像のアレイで構成され、各要素画像は、異なる対応する視点からの対象物またはシーンのビューを表す。小型レンズのアレイは、各ディスプレイパネルに重畳し、要素画像のアレイをユーザに単一のオートステレオスコピック画像として提示するために動作する。

ＡＲまたはＶＲビデオイメージをユーザに表示することに加えて、ディスプレイパネルはまた、波面歪み推計処理を介して一方または両方のユーザの眼の特徴付けを容易にする。この目的のため、少なくとも１つの実施形態では、ディスプレイパネルは、小型レンズアレイを通して眼に向かって光スポットのパターンを伝播するための投光素子（たとえば赤外（ＩＲ）光投影ダイオード）のアレイと、眼の構造からの光スポットパターンの反射をパターン反射画像としてキャプチャするための光検出素子（たとえばフォトダイオード）のアレイの両方を組み込む。

収差を有さない眼では、光スポットパターンの反射の結果として眼を出る波面は、完全に平坦であり、このため波面小型レンズアレイの小型レンズに真直に当たるであろう。結果として、反射された光スポットパターンのキャプチャされた画像における光スポットのパターンは、投光素子のアレイによって投影された光スポットパターン内の光スポットのパターンと合致するだろう。すなわち、完全な眼においては、完全に平坦な波面を仮定して、当該キャプチャされた反射されたパターンにおける光スポットの実際の位置は、対応する光スポットの予測される位置に合うだろう。対照的に、角膜、網膜、または眼の形状またはその他の眼の収差のうちの１つまたは複数における不完全性は、眼を出る波面を歪める。次いで、波面内のこれらの歪みは、波面の対応する光線が小型レンズアレイの対応する小型レンズに角度をなしてぶつかることを引き起こし、次いで対応する反射された光スポットの実際の位置が反射されたパターン画像における対応する予測される位置からずれることを引き起こす。

反射された光スポットの予測される位置からの実際の位置の変位の大きさは、対応する小型レンズにおける波面の位置領域の傾きに比例し、一方、変位角度は、この傾きの方向または角度に基づく。これらの原理を考慮して、ニアアイディスプレイシステムは、波面の形状を反射された光スポットの実際の／予測される位置変位から決定することができる。そしてニアアイディスプレイシステムは、いくつかのまたはすべての識別された波面歪み（すなわち、平坦な波面からの波面の形状の逸脱）をユーザの眼を特徴付けるために使用してもよい。このユーザの眼の特徴付けは、たとえば、ユーザの眼に存在する収差の識別、ユーザの眼の現在の調整状態の識別等を含むことができる。

ニアアイディスプレイシステムは、ディスプレイパネルにおいて表示されるべきライトフィールドフレームのシーケンスのためのレンダリング処理の１つまたは複数の態様を制御するために、眼の特徴付けを利用する。実例を示すために、いくつかの実施形態では、ニアアイディスプレイシステムは、ユーザの眼内において検出された収差を補正するために、ライトフィールドフレームのレンダリングを制御する。そのような方法では、ニアアイディスプレイシステムは、さもなければユーザが矯正目的のために眼鏡、コンタクトレンズ、またはその他の矯正レンズを装着することを要する眼の様々な不完全性に対する規範的な矯正を提供してもよく、このためユーザがニアアイディスプレイシステムを利用している間にそのような矯正レンズを装着する必要性を除去する。このため、ニアアイディスプレイシステムは、ユーザが使用中に眼鏡をかけることを容易にする必要性をもはや有さないので、ニアアイディスプレイシステムは、小型レンズアレイおよびディスプレイパネルをユーザの眼のより近くに配置する構成を実現でき、このため、より小さく軽量のフォームファクタをもたらす。別の例として、いくつかの実施形態では、ニアアイディスプレイシステムは、特定された焦点面に基づいてライトフィールドフレームをレンダリングし、ニアアイディスプレイシステムは、眼の現在の調整状態を決定するために眼の特徴付けを使用してもよく、この現在の調整状態からライトフィールドフレームの適切なレンダリングのための焦点面を選択してもよく、これにより、ユーザは現在の調整状態と一致したライトフィールドフレーム内の奥行き手掛りを提示され、このためユーザに対して没入型エクスペリエンスを効果的に有効にする。

図１は、少なくとも１つの実施形態に従う、眼の特徴付けに基づくグラフィクスレンダリングを組み込む、ニアアイディスプレイシステム１００を例示する。例示される例では、ニアアイディスプレイシステム１００は、コンピュータ計算ディスプレイサブシステム１０２と、レンダリングコンポーネント１０４と、ユーザの左眼を特徴付けるための眼の特徴付けコンポーネント１０６およびユーザの右眼を特徴付けるための眼の特徴付けコンポーネント１０８の一方または両方といった１つまたは複数の眼の特徴付けコンポーネントとを含む。コンピュータ計算ディスプレイサブシステム１０２は、装置１１４（たとえば、ゴーグル、眼鏡等）内に取り付けられる、左眼ディスプレイ１１０および右眼ディスプレイ１１２を含み、装置１１４は、ユーザの左眼と右眼それぞれの正面にディスプレイ１１０，１１２を配置する。

図２を簡単に参照して、少なくとも１つの実施形態に従うディスプレイ１１０の拡張図が図示される。ディスプレイ１１２は、同様に構成される。示されるように、ディスプレイ１１０は、ニアアイライトフィールドフレームのシーケンスまたは連続物（以降、参照の容易さのために「ライトフィールドフレーム」）を表示するために、少なくとも１つのディスプレイパネル１１８を含み、その各々は、要素画像のアレイを備える。参照の容易さのために、要素画像のアレイは、ここではライトフィールドフレームとも称され得る。ディスプレイ１１０は、ディスプレイパネル１１８に重畳する（一般的に「マイクロレンズ」とも称される）小型レンズ２０６のアレイ１２０をさらに含む。例示的に、小型レンズアレイ１２０内の小型レンズ２０６の数は、ライトフィールドフレーム内の要素画像の数に等しいが、その他の実施においては、小型レンズ２０６の数は、要素画像の数よりも多くても少なくてもよい。図１の例は、図示の容易さのために５×４の小型レンズ２０６のアレイ１２０を図示するが、典型的な実施において、ライトフィールドフレーム内の要素画像の数および小型レンズアレイ１２０内の小型レンズ２０６の数は、典型的にはるかにより多いということに留意すべきである。さらに、いくつかの実施形態では、ディスプレイ１１０，１１２の各々に対して別個のディスプレイパネル１１８が実装され、その他の実施形態では、左眼ディスプレイ１１０および右眼ディスプレイ１１２は、単一のディスプレイパネル１１８を共有し、ディスプレイパネル１１８の左半分は、左眼ディスプレイ１１０のために使用され、ディスプレイパネル１１８の右半分は、右眼ディスプレイ１１２のために使用される。

図２に示されるように、ディスプレイパネル１１８は、ディスプレイ素子２０４（たとえば、「ピクセル」）のアレイ２０２を実装し、各ディスプレイ素子２０４は、赤、緑、青、および白サブピクセルのセットといった１つまたは複数のカラーサブピクセルを備え、これらは、強度において制御され、これにより、それらの組み合わせられた光出力は、特定のカラーの単一の「ピクセル」として眼によって知覚される。このようにして、レンダリングコンポーネント１０４は、シーンのイメージを表すライトフィールドフレームのシーケンスをディスプレイするために、アレイ２０２を制御できる。

さらに、ここにより詳細に説明するように、ニアアイディスプレイシステム１００は、小型レンズアレイ１２０を通してユーザの眼に光スポットパターンを投影し、小型レンズアレイ１２０を通して光スポットパターンの反射の画像をキャプチャし、これにより、収差の検出のために、調整状態の推計のために、またはその他の方法で眼を特徴付けるために、眼を分析する。少なくとも１つの実施形態では、ニアアイディスプレイシステム１００は、ディスプレイパネル１１８を、光スポットパターンを投影するためと、結果として生じる反射された光スポットパターンの画像をキャプチャするためとの両方に使用する。この目的のため、ディスプレイパネル１１８はまた、作動されたときに、小型レンズアレイ１２０を介してユーザの眼に向かって光スポットパターンを投影する光投影素子のセットと、駆動されると、ユーザの眼から小型レンズアレイ１２０を通して投影された光スポットパターンの反射を表す画像を一緒にキャプチャする光検出素子のセットとを組み込む。

少なくとも１つの実施形態では、光投影素子のセットおよび光検出素子のセットは、ディスプレイ素子２０４のアレイ２０２内に組み込まれ、これによりディスプレイ素子２０４のサブセットは、光投影素子のセットのうちの１つの光投影素子を組み込み、ディスプレイ素子２０４のサブセットは、光検出素子のセットのうちの１つの光検出素子を組み込む。アレイ２０２のディスプレイ素子２０４のサブセットは、たとえば、ディスプレイ素子２０４−１として実施されてもよく、これは、拡大図２０８によって示されるように、赤（Ｒ）サブピクセル２１０、緑（Ｇ）サブピクセル２１２、青（Ｂ）サブピクセル２１４、および白（Ｗ）サブピクセル２１６といった、カラーサブピクセルのセットを含む。このサブセットのディスプレイ素子２０４−１は、投影された光スポットパターンの一部としてＩＲ光を射出するように動作する赤外（ＩＲ）サブピクセル２１８（光投影素子の１つの実施形態）をさらに含む。ＩＲサブピクセル２１８は、たとえば、ＩＲ投影垂直共振器面発光レーザ（ＶＥＣＳＥＬ）、ＩＲ光投影ダイオード（ＬＥＤ）等として実施される。いくつかのまたはすべてのディスプレイ素子２０４−１は、ディスプレイパネル１１８上のＩＲ光入射と、特に対応する光スポットパターン内のディスプレイ素子２０４−１のＩＲサブピクセル２１８によって投影されたＩＲ光の反射とを検出するように動作するＩＲ検出フォトダイオード（ＰＤ）２２０（光検出素子の１つの実施形態）をさらに含むことができる。さらに、アレイ２０２のディスプレイ素子２０４の別のサブセットは、ディスプレイ素子２０４−２として実施されてもよく、これは、拡大図２２１によって示されるように、赤サブピクセル２２２、緑サブピクセル２２４，２２６、青サブピクセル２２８、白サブピクセル２３０、および（光検出素子の１つとしての）ＩＲフォトダイオード２２０といった、カラーサブピクセルのセットを含む。ディスプレイ素子２０４−１および２０４−２内のサブピクセルの構成および種類は、例にすぎず、その他のサブピクセルの構成、編成、および組み合わせが実施されてもよいことに留意すべきである。

ＩＲ投影能力を有するディスプレイ素子２０４−１は、特定のパターンにおいてアレイ２０２全体に分散され、これにより、ディスプレイ素子２０４−１のＩＲサブピクセル２１８が一緒に作動されるときに、結果として生じる投影されたＩＲ光は、光スポットのパターン（たとえば、等間隔に配置されたスポットの長方形のまたはその他多角形グリッド）内に投影され、この例は、以下に図５を参照して説明される。さらに、以下に説明するように、ディスプレイ素子２０４−１は、小型レンズアレイ１２０の対応する小型レンズ２０６と同軸となるように配置され、これにより、投影されたＩＲ光は、対応する小型レンズに真直にぶつかる。ＩＲ検出能力を有するディスプレイ素子２０４−１および２０４−２は、フォトダイオード２２０の位置に対応するディスプレイパネル１１８の領域上のＩＲ光入射をキャプチャするために、これらのディスプレイ素子のフォトダイオード２２０が一緒に作動されることを可能とする方法でアレイ２０２全体に分散され、キャプチャの時間におけるこの入射ＩＲ光が主にユーザの眼から離れる投影されたＩＲ光スポットパターンの反射で構成されるので、フォトダイオード２２０は、この反射されたＩＲ光スポットパターンの画像をキャプチャするために一緒に動作する。こうして、この画像は、ここでは「反射されたスポットパターン画像」とも称され、この例は、図５を参照して以下に説明される。

再び図１を参照して、レンダリングコンポーネント１０４は、図示される中央処理ユニット（ＣＰＵ）１３６およびグラフィックス処理ユニット（ＧＰＵ）１３８，１４０といった１つまたは複数のプロセッサのセット、および１つまたは複数のプロセッサ１３６，１３８，１４０がここで説明される様々なタスクを行うよう操作するために、プロセッサ１３６，１３８，１４０によってアクセスされ実行されるソフトウェアプログラムまたはその他実行可能な命令を格納するための、システムメモリ１４２といった、１つまたは複数のストレージコンポーネントを含む。そのようなソフトウェアプログラムは、たとえば、以下に説明するようなライトフィールドフレームレンダリング処理のための実行可能な命令を備えるレンダリングプログラム１４４、並びにまた以下に説明されるような波面歪み分析に基づきユーザの眼の一方または両方を特徴付けるための実行可能な命令を備える眼の特徴付けプログラム１４６を含む。

動作において、レンダリングコンポーネント１０４は、レンダリング情報１４８をローカルまたはリモートコンテンツソース１５０から受信し、レンダリング情報１４８は、対象物またはシーン、すなわちディスプレイサブシステム１０２においてレンダリングされ表示されるべき被写イメージを表す、グラフィクスデータ、ビデオデータ、またはその他データを表す。レンダリングプログラム１４４を実行するために、ＣＰＵ１３６は、レンダリング情報１４８を使用してＧＰＵ１３８，１４０への描画命令を送信し、次いで描画命令を利用して、任意の様々な既知のＶＲ／ＡＲコンピュータ計算／ライトフィールドレンダリング処理を使用し、左眼ディスプレイ１１０においてディスプレイするためのライトフィールドフレーム１５１のシリーズと右眼ディスプレイ１１２においてディスプレイするためのライトフィールドフレーム１５３のシリーズとを並列にレンダリングする。このレンダリング処理の一部として、ＣＰＵ１３６は、慣性管理ユニット（ＩＭＵ）１５４から姿勢情報１５２を受信してもよく、姿勢情報１５２は、ディスプレイサブシステム１０２の姿勢を表し、ＣＰＵ１３６は、ライトフィールドフレーム１５１，１５３の１つまたは複数の対のレンダリングがその姿勢からの対象物またはシーンの視点を反映するように制御してもよい。

眼の特徴付けコンポーネント１０６，１０８は並列に動作し、ここで説明される波面歪み分析処理を使用してユーザの両眼を動的に特徴付け、決定される眼の特徴付けを左眼および右眼それぞれに対する眼の特徴付け情報１５６，１５８としてレンダリングコンポーネント１０４に提供する。特徴付け処理は、小型レンズアレイ１２０を通してユーザの眼にディスプレイパネル１１８からＩＲ光スポットパターンを投影することと、そしてディスプレイパネルを介して反射された光パターンの画像キャプチャすることと、キャプチャされた画像内で反射される光スポットが予測される場所とキャプチャされた画像内で反射された光スポットが実際に位置された場所との間の変位を決定することとを含む。これらの変位は、ユーザの眼からの光スポットパターンの反射を表す波面内の歪みを表し、このため、眼の屈折収差、現在の調整状態、またはその他の特徴付けを識別するために使用されてもよく、これらは、対応する眼の特徴付け情報１５６，１５８のうちの１つに表される。

この動作を容易にするために、眼の特徴付けコンポーネント１０６は、制御コンポーネント１６０および画像解析コンポーネント１６２を実装する。制御コンポーネント１６０は、光スポットパターンを投影するために、ディスプレイパネル１１８の投光素子のセットの作動をトリガするように動作し、投影された光スポットパターンの結果として生じる反射を表す反射されたスポットパターン画像１６４をキャプチャするために、ディスプレイパネル１１８の光検出素子の作動をトリガするように動作する。画像解析コンポーネント１６２は、左眼を特徴付けるためにスポットパターン画像１６４を分析するように動作し、レンダリングコンポーネント１０４のための眼の特徴付け情報１５６を生成する。眼の特徴付けコンポーネント１０８は、同様に反射されたスポットパターン画像１６６をキャプチャし分析するための制御コンポーネントおよび画像解析コンポーネントから構成され、右眼のための眼の特徴付け情報１５８を生成する。制御コンポーネントおよび画像解析コンポーネントは、ハードウェア、プログラマブルロジック、ソフトウェアを実行するプロセッサ、またはそれらの組み合わせとして実装されてもよい。実例を示すために、１つの実施形態では、制御コンポーネント１６０は、少なくとも部分的にディスプレイパネル１１８のためのディスプレイ制御部（図示しない）のハードウェア内に実装され、画像解析コンポーネント１６２は、眼の特徴付けプログラム１４６の命令の対応するセットを実行する１つまたは複数のプロセッサ１３６，１３８，１４０によって実装される。

以下に詳細に説明されるように、レンダリングコンポーネント１０４は、一方または両方の眼の特徴付けコンポーネント１０６，１０８からの一方または両方の眼の特徴付け情報１５６，１５８を使用し、ライトフィールドフレーム１５１，１５３のシーケンスの生成においてライトフィールドフレームレンダリング処理の様々な態様を制御する。実例を示すために、眼の特徴付け情報１５６は、左眼内の１つまたは複数の収差を識別する情報を含んでもよく、このためＣＰＵ１３６は、これらの収差を補正するためにライトフィールドフレーム１５１のレンダリングを調節するようにＧＰＵ１３８の動作を制御してもよく、これによってユーザがニアアイディスプレイシステム１００を使用している間に矯正レンズの装着をやめることを可能とする。別の例として、眼の特徴付け情報１５６は、眼の現在の調整状態を識別する情報を含んでもよく、レンダリングコンポーネント１０４は、これを、現在の調整状態と一致する焦点面のためのライトフィールドフレーム１５１をレンダリングするために使用してもよい。

図３は、ユーザの眼を特徴付け１つまたは複数のレンダリング動作をそれに従って制御するための、ニアアイディスプレイシステム１００の動作の例の方法３００を例示する。図示の容易さのために、方法３００は、小型レンズアレイ１２０に重畳し、ユーザの眼４０４に面したＡ−Ａ切断線（図２）に沿うディスプレイパネル１１８の断面図４００，４０２を示す図４と、反射されたスポットパターン画像１６４の例を示す図５とを参照して説明される。さらに、方法３００は、眼の特徴付けコンポーネント１０６を含む、左眼（眼４０４）に関するニアアイディスプレイシステム１００の動作を特に参照して説明される。しかし、これと同じ方法が、眼の特徴付けコンポーネント１０８を有する右眼に対するニアアイディスプレイシステム１００の動作に対して適用され得る。

図３に例示されるように、方法３００は、並列に行われる、ブロック３０２，３０４，３０６，３０８によって表される眼の特徴付け処理と、ブロック３１０によって表されるライトフィールドフレームレンダリング処理との２つの処理を含む。始めに、眼の特徴付け処理に着目して、ブロック３０２において、制御コンポーネント１６０は、ディスプレイパネル１１８を制御し、図４の断面図４００によって例示されるような小型レンズアレイ１２０を介して眼４０４に向けられた光スポットパターン内のＩＲ光を射出するようにディスプレイパネル１１８のフォトダイオード２２０（図４内に例示されるフォトダイオード２２０−１，２２０−２，２２０−３，２２０−４を含む）をトリガする。光スポットパターンの発光と同時に、ブロック３０４において、制御コンポーネント１６０は、（光検出素子のセットとして）ディスプレイパネル１１８のフォトダイオード２２０を作動し、眼４０４から離れる投影された光スポットパターンの反射を表した、小型レンズアレイ１２０を介してディスプレイパネル１１８上に焦点を合わされた、反射されたスポットパターン画像１６４をキャプチャする。

断面図４００によって例示されるように、例示的に光スポットパターン生成のために使用されるフォトダイオード２２０の各々は、対応する小型レンズ２０６の光学軸と実質的に同軸であり（たとえば、フォトダイオード２２０−１は、図４内の小型レンズ２０６−１の光学軸４０６軸と同軸であり）、こうして、フォトダイオード２２０によって投影されたＩＲ光は、対応する小型レンズ２０６に真直にぶつかり、このため小型レンズアレイ１２０から眼４０４に向かって実質的に平坦な波面４０８として伝播される（すなわち、光スポットパターンは、眼４０４に向かって著しい歪みなしに伝播される）。

断面図４０２によって例示されるように、そのように伝播される光スポットパターンは、眼４０４の瞳孔、水晶体、角膜、網膜、およびその他構造にぶつかり、波面４１０によって表される反射された光スポットパターンとして、小型レンズアレイ１２０およびディスプレイパネルに向かって後方に反射される。理想的な眼では、収差がないことにより、反射された光スポットパターンは何らの歪みを有さず、このため波面４１０は、歪められない。そのような状況では、小型レンズアレイ１２０上に入射する歪められない反射された波面は、結果的に反射された光パターンの中のスポットを表す光線がディスプレイパネル１１８の予測される位置にぶつかることになる。実例を示すために、仮に眼４０４が収差のない理想的な眼だったとすれば、反射された波面４１０は、歪められず、このため結果的に（反射された光スポットパターン内の対応するスポットを表す）光線４１１，４１２，４１３，４１４は、予測される位置４２１，４２２，４２３，４２４それぞれにおいてディスプレイパネル１１８にぶつかる。

しかし、眼４０４といった現実の眼では、眼内の収差は、反射された光スポットパターン内の局部歪みをもたらし、すなわち、反射された波面４１０は、眼４０４内の収差によって歪められる。反射された波面４１０内の局所的な歪みは、波面４１０の歪められた領域が対応する小型レンズ２０６に真直というよりはむしろ角度をなしてぶつかることを引き起こし、結果として生じる光線は、ディスプレイパネル１１８に予測される位置とは異なる位置においてぶつかる。実例を示すために、断面図４０２において、眼４０４は、波面４１０を歪める収差を有し、これにより、小型レンズアレイ１２０によって伝播される実際の光線４３１，４３２，４３３，４３４は、対応する光線に対して予測される位置とは異なり得る、実際の位置４４１，４４２，４４３，４４４においてディスプレイパネル１１８にぶつかる。小型レンズアレイ１２０が瞳孔共役面であるので、波面４１０の形状は、眼４０４の瞳孔の形状を表し、キャプチャされた反射されたスポットパターン画像内の光スポットの実際の位置と予測される位置との間の線形変位の大きさは、対応する小型レンズ２０６にぶつかった波面４１０の局所領域の傾きに比例し、同時に、線形変位の方向は、波面４１０の局所領域の傾きの方向を表す。次いで波面４１０の局所領域の傾きの大きさおよび方向は、眼４０４に存在する任意の屈折収差並びに現在の調整状態を含む、眼４０４の特徴付けを表す。

実例を示すために、図５は、反射されたスポットパターン画像１６４の例を説明する。示されるように、反射されたスポットパターン画像１６４は、スポット（たとえば、スポット５０４）のアレイ５０２を備え、各スポットは、ブロック３０２において、光スポットパターンの伝播中に、眼４０４から反射された検出された光スポットの実際の位置を反映する。比較の目的のために、図５はまた、眼４０４内の任意の収差が存在しない場合の（すなわち、眼４０４が理想的な眼だった場合の）、スポットの予測される位置（たとえば、予測される位置５０８）のアレイ５０６を含む。図示されるように、ディスプレイパネル１１８の投光素子のアレイが規則的な等間隔パターンにおいて光スポットのパターンを投影するように配置されることを仮定して、予測される位置のアレイ５０６は、同様に規則的な等間隔パターンを表す。しかし、ユーザの眼４０４が理想的な眼であることはまず無いので、ユーザの眼４０４内の収差は、反射される波面４１０を歪め、このため、キャプチャされたスポットパターン画像１６４内の少なくともいくつかのスポットの実際の位置は、それらの予測される位置からずらされることになるだろう。実例を示すために拡張図５１０を参照して、眼４０４内の収差が波面４１０内の局所的な歪みを引き起こし、このことは次いで、（変位Ｄ（Ｋ１）とも付された）変位５１６の分だけその予測される位置５１４から変位される、実際の位置５１２において入射する対応する反射されたスポットをもたらす。別の例として、拡張図５２０によって示されるように、眼４０４内の同じまたは異なる収差が波面４１０内の局所的な歪みを引き起こし、このことは、（変位Ｄ（Ｋ２）とも付された）変位５２６の分だけその予測される位置５２４から変位される、実際の位置５２２において入射する反射されたスポットをもたらす。

そのため、反射されたスポットパターン画像１６４内の反射されたスポットの実際の位置、およびそれらの対応する予測される位置からのそれらの変位は、眼４０４のある特徴付けを表す。したがって、ブロック３０８において、画像解析コンポーネント１６２は、反射されたスポットパターン画像１６４内にキャプチャされた反射されたスポットの実際の位置と予測される位置との間の変位を分析し、眼４０４を特徴付け、決定された眼の特徴付けを表すデータをレンダリングコンポーネント１０４に眼の特徴付け情報１５６として提供する。

眼４０４の任意の様々な特徴付けが決定され得、そのような特徴付けを決定するために任意の様々な波面歪み分析処理が用いられ得る。実例を示すために、反射されたスポットパターン画像１６４が従来型のシャックハルトマン波面センサによってキャプチャされた歪められた波面に類似し得るので、そのような従来型のシャックハルトマン波面センサを使用して一般的に適用される任意の様々な既知の眼収差計技術（たとえば、Complete Ophthalmic AnalysisSystem、またはＣＯＡＳ技術）は、眼４０４内の低次収差および／または高次収差を特徴付けるために、同様に適合され用いられてもよい。実例を示すために、上述のように、スポットの変位は、波面異常の局所的勾配に直接関連付けられ（Δｘ＝ｆ×［ｄＷ／ｄｘ］）、このためスポット変位マップを空間的に統合することによって、画像解析コンポーネント１６２は、波面異常Ｗを（重要性の低い）いくらかの一定のオフセットにまで回復させることができる。波面異常の多項式展開における項は、異なる収差（たとえば焦点ぼけ、非点収差、球状等）に対応する。このため画像解析コンポーネント１６２は、測定された波面異常に多項式を当てはめ、ライトフィールドレンダリング内の、異なる収差の係数または相対重みを決定するか、波面異常の逆関数をエンコードすることができる。

別の例として、画像解析コンポーネント１６２は、眼４０４の現在の調整状態を決定するために、反射されたスポットパターン画像１６４内の変位を分析してもよい。上記の段落に概略された収差検出手法と同様に、調整状態は、波面異常の二次項（すなわちＷ＝Ｗ＿焦点ぼけ×ｒ＾２）である。そのため、非点収差は、ｘ、ｙ方向に沿って異なる量の焦点ぼけ、または二次係数を可能とする。

ブロック３０２，３０４，３０６，３０８によって表される眼の特徴付け処理は、任意の様々な方法でトリガされ得る。たとえば眼の特徴付け処理は、スタートアップ時においてユーザの眼内の収差を特徴付けるだめに一度トリガされ得、結果として生じる眼の特徴付け情報は、ニアアイディスプレイシステム１００がリセットされるまで、または別のユーザがニアアイディスプレイシステム１００を使用し始めるまで固定され得る。その他実施形態では、眼の特徴付け処理は、特に幾分かの頻度で変化することが予測される眼の現在の調整状態または眼のその他パラメータを特徴付けにおいて決定すること含む実装では、周期的にまたはその他の基準に基づき繰り返されてもよい。

眼の特徴付け処理と並列に、レンダリングコンポーネント１０４は、ブロック３１０によって表されるレンダリング処理を行い、これによって、左眼のためのディスプレイパネル１１８においてディスプレイするためのライトフィールドフレーム１５１のシリーズが生成される（また同様に、右眼のためのディスプレイのためにライトフィールドフレーム１５３のシリーズが生成される）。ライトフィールドフレームが生成され表示されるために、レンダリングコンポーネント１０４は、ライトフィールドフレームとしてユーザの対応する眼に表示されるべき画像コンテンツを識別する。少なくとも１つの実施形態では、レンダリングコンポーネント１０４は、ジャイロスコープ、加速度計、磁力計、全地球測位システム（ＧＰＳ）センサ等といった姿勢に関連付けられた様々なセンサからのデータを表す姿勢情報１５２を受信し、姿勢情報１５２からディスプレイ１１０，１１２をユーザの眼の近くに取り付けるために使用された装置１１４（たとえば、ＨＭＤ）の姿勢を決定する。この姿勢から、レンダリングプログラム１４４を実行するＣＰＵ１３６は、被写シーンまたは対象物の対応する現在の視点を決定することができ、この視点とレンダリング情報１４８として提供されるシーンまたは対象物のグラフィカルなおよび空間的な描写とから、その姿勢に対してレンダリングされるべきイメージを決定する。

少なくとも１つの実施形態では、プロセッサ１３６，１３８，１４０は、眼の特徴付け処理の現在のイタレーションのブロック３０８において生成される眼の特徴付け情報に基づき、このレンダリング処理を制御する。すなわち、ライトフィールドフレームは、レンダリングコンポーネント１０４によって、ユーザの眼の１つまたは複数の識別された特徴付けに基づきレンダリングされる。実例を示すために、眼４０４のための眼の特徴付け情報１５６が眼４０４内の識別された収差を表すデータを含むとき、レンダリングコンポーネント１０４は、ライトフィールドフレームのレンダリング１５１を、それが識別された収差を補正するように調節することができる。実例を示すために、波面異常（たとえば焦点ぼけ、調整状態）が測定された後に、ライトフィールドレンダリングを構成する要素画像間の相対的シフトの関係が画像解析コンポーネント１６４によって決定され（ｄｘ＝ｄ＿レンズ×ｆ＿レンズ×φ、ここでＷ＿焦点ぼけ＝φ／２）、ライトフィールドフレームをレンダリングするときにレンダリングコンポーネント１０４によって実装され得る。より直接的に、ライトフィールドフレームのレンダリング中に、レンダリングコンポーネント１０４は、波面異常の逆関数をエンコードすることができる。

上述のように、眼の特徴付け情報は、眼４０４の現在の調整状態を含むことができる。現在の調整状態は、眼の光学システムの現在の光学的屈折力を反映し、このため、眼４０４の現在の焦点距離を表す。眼４０４に表示されるライトフィールド画像の焦点面とこの焦点距離との間の不一致は、ヒトの視力システムがこの不一致または矛盾を考慮するためにかなりの認知努力を費やすことを引き起こしかねず、このことは次いでユーザを疲労させかねない。したがって、そのような調整／焦点面不一致を最小化するために、少なくとも１つの実施形態では、レンダリングコンポーネント１０４は、眼の特徴付け情報１５６内に表される眼４０４の現在の調整状態を利用し、現在の調整状態と一致した焦点距離／焦点面を識別し、識別された焦点距離／焦点面に基づいて１つまたは複数のライトフィールドフレーム１５１の次のセットをレンダリングし、このため表示されるイメージは、眼４０４の現在の焦点距離により良好に合致し、これにより表示されるイメージを見ているユーザが費やす認知努力を削減させる。実例を示すために、眼の既知の調整状態がライトフィールドレンダリングを容易にし得る、少なくとも２つのシナリオが存在する。第１に、ライトフィールドディスプレイは、調整状態のダイナミックレンジを有し、それは、小型レンズのための被写界深度が与えられると、ｄφ＝２ｃ／（ｄ＿レンズ×ｆ＿レンズ）を同時に提示することができ、式中ｃは、システムの最小のスポット／ピクセルサイズである。この深度ダイナミックレンジと横方向の空間分解能との間にトレードオフが存在するため、調整レンジは、任意に大きくされることはできない。バリフォーカル技術（たとえば、ＬＣ光路差変調器、レンズディスプレイ距離変調）は、制限されたダイナミックレンジをユーザが焦点を合わせようと試みている平面に対してシフトするために使用されることができる。第２のシナリオは、レンダリングライトフィールド画像のためのコンピュータ計算の帯域幅要件に関連し、計算は、表されるＮ個の平面に線形的に比例し、このことは、モバイルプラットフォームまたは比較的制限された計算リソースを有する他のシステムにとって大きな課題である。このため、レンダリングコンポーネント１０４は、単一のｚ平面において各ライトフィールドフレームをレンダリングし得、バリフォーカルモダリティ（撮画手段）とは別個にまたはそれに合わせて、ライトフィールドレンダリングをその平面にシフトするために、測定された調整状態を使用し得る。

いくつかの実施形態では、上述の技術のある態様は、ソフトウェアを実行する処理システムの１つまたは複数のプロセッサによって実施されてもよい。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に格納されるかそうでなければそこに有形に具現化された実行可能な命令の１つまたは複数のセットを備える。ソフトウェアは、１つまたは複数のプロセッサによって実行されると、当該１つまたは複数のプロセッサに上述の技術の１つまたは複数の態様を行わせるように操作するための、命令および特定のデータを含むことができる。非一時的コンピュータ可読記憶媒体は、例えば、磁気または光ディスク記憶装置、フラッシュメモリなどの固体記憶装置、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、またはその他の１つまたは複数の不揮発性メモリ装置等を含むことができる。非一時的コンピュータ可読記憶媒体に記憶された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つまたは複数のプロセッサによって解釈されるかそうでなければ実行可能である他の命令フォーマットであり得る。

コンピュータ可読記憶媒体は、命令および／またはデータをコンピュータシステムに提供するために、コンピュータシステムによって使用中にアクセス可能な任意の記憶媒体または記憶媒体の組み合わせを含むことができる。そのような記憶媒体は、光媒体（例えばコンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク）磁気媒体（例えばフロッピー（登録商標）ディスク、磁気テープ、または磁気ハードドライブ）揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）またはキャッシュ）不揮発性メモリ（例えば、読み出し専用メモリ（ＲＯＭ）またはフラッシュメモリ）、または微小電気機械システム（ＭＥＭＳ）ベースの記憶媒体を含むことができるが、これらに限定されない。コンピュータ可読記憶媒体は、コンピューティングシステムに埋め込まれるか（例えば、システムのＲＡＭまたはＲＯＭ）、コンピューティングシステムに固定的に取り付けられるか（例えば、磁気ハードドライブ）、コンピューティングシステムに取り外し可能に取り付けられるか（例えば、光ディスクまたはユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）、有線または無線ネットワークを介してコンピュータシステムに結合され（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ））てもよい。

一般的な説明において上述されたすべての動作または要素が必須とされるわけではなく、特定の動作または装置の一部は必須ではなく、説明したものに加えて、１つ以上のさらに他の動作が実行され得、または１つ以上のさらに他の要素が含められ得る。さらにまた、動作が列挙される順序は、必ずしもそれらが実行される順序とは限らない。また、概念は、特定の実施形態を参照して説明された。しかし、当業者は、本開示の範囲から逸脱することなく、下記の特許請求の範囲に記載されるように、様々な修正および変更が可能であることを理解するであろう。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味において考慮されるべきであり、そのような修正は、すべて本開示の範囲内に含まれることが意図される。

利益、他の利点、および問題に対する解決策は、特定の実施形態に関して上記で説明された。しかし、利益、利点、問題に対する解決策、および任意の利益、利点、解決策を生ずるかより顕著にし得る特徴は、任意のまたはすべての請求項の、決定的なまたは必須のまたは不可欠の機能の特徴として解釈されるべきではない。さらに、本明細書の教示の利益を享受する当業者にとって明らかなように、異なる均等の方法で本開示の主題を修正し実施することができるため、上記に開示した特定の実施形態は例示にすぎない。下記の特許請求の範囲に記載されているもの以外に、本明細書に示されている構造または設計の詳細に対する限定は意図されていない。したがって、上記に開示された特定の実施形態は、変更または変形されてもよく、そのような変形形態は、すべて開示された主題の範囲内にあると考えられることが明らかである。したがって、ここで求められる保護は、下記の特許請求の範囲に記載の通りである。

Claims (17)

1. ニアアイディスプレイシステム（１００）であって、
   小型レンズ（２０６）のアレイ（１２０）と、
   前記小型レンズのアレイに面したディスプレイパネル（１１８）とを備え、前記ディスプレイパネルは、
   投光素子（２１８）のアレイを備え、各投光素子は、前記小型レンズのアレイのうちの対応する小型レンズの軸と同軸であり、前記ディスプレイパネルはさらに、
   光検出素子（２２０）のアレイと、
   サブピクセル素子（２１０，２１２，２１４，２１６，２２２，２２４，２２６，２２８，２３０）のアレイと、
   光スポット（５０４）のパターン（５０６）をユーザの眼に向かって投影するために、および前記眼からの前記投影された光スポットのパターンの反射を表す画像（１６４）をキャプチャするように前記光検出素子のアレイを制御するために、前記ディスプレイパネルに結合され、前記投光素子のアレイを作動させるように構成される制御コンポーネント（１６０）と、
   前記キャプチャされた画像内の光スポットのうちの少なくともサブセットの予測される位置（５１４，５２４）と実際の位置（５１２，５２２）との間の変位（５１６，５２６）を決定し、前記変位に基づき前記眼を特徴付けるための分析コンポーネント（１６２）とを備える、ニアアイディスプレイシステム。
2. 前記分析コンポーネントは、前記変位に基づき前記眼における屈折収差を検出することによって前記眼を特徴付けるためのものである、請求項１に記載のニアアイディスプレイシステム。
3. 前記分析コンポーネントは、前記変位に基づき前記眼の調整状態を検出することによって前記眼を特徴付けるためのものである、請求項１に記載のニアアイディスプレイシステム。
4. 前記ディスプレイパネルに結合され、前記サブピクセル素子のアレイを介して前記ユーザに表示するためのライトフィールドフレーム（１５３）のシーケンスをレンダリングするように構成されたレンダリングコンポーネント（１０４）をさらに備える、請求項１〜３のいずれかに記載のニアアイディスプレイシステム。
5. 前記レンダリングコンポーネントは、前記眼の前記特徴付けに基づき前記ライトフィールドフレームのシーケンスのためのレンダリング処理の少なくとも１つの態様を調節するためのものである、請求項４に記載のニアアイディスプレイシステム。
6. 前記分析コンポーネントは、前記変位に基づき前記眼の収差を検出することによって前記眼を特徴付けるためのものであり、
   前記レンダリングコンポーネントは、前記検出された収差を補正するように、前記ライトフィールドフレームのシーケンスをレンダリングするためのものである、請求項５に記載のニアアイディスプレイシステム。
7. 前記分析コンポーネントは、前記変位に基づき前記眼の現在の調整状態を検出することによって前記眼を特徴付けるためのものであり、
   前記レンダリングコンポーネントは、前記ライトフィールドフレームのシーケンスを前記現在の調整状態から決定される焦点面に基づきレンダリングするためのものである、請求項５に記載のニアアイディスプレイシステム。
8. 前記投光素子のアレイは、前記光スポットのパターンを赤外光スポットのパターンとして投影するように構成される、請求項１〜７のいずれかに記載のニアアイディスプレイシステム。
9. 前記ディスプレイパネルは、ディスプレイ素子（２０４−１，２０４−２）のアレイ（２０２）を備え、各ディスプレイ素子（２０４−１，２０４−２）は、前記サブピクセル素子（２１０，２１２，２１４，２１６，２２２，２２４，２２６，２２８，２３０）のアレイのうちの少なくとも１つのサブピクセル素子を備え、前記ディスプレイ素子（２０４−１，２０４−２）のアレイのうちの少なくとも第１のサブセットの各ディスプレイ素子は、前記光検出素子のアレイのうちの１つの光検出素子（２２０）をさらに含み、前記ディスプレイ素子（２０４−１）のアレイのうちの少なくとも第２のサブセットの各ディスプレイ素子は、前記投光素子（２１８）のアレイのうちの１つの投光素子（２１８）をさらに含む、請求項８に記載のニアアイディスプレイシステム。
10. 請求項１のニアアイディスプレイシステム（１００）において実行される方法であって、
    小型レンズアレイ（２０２）を通してユーザの眼に向かってディスプレイパネル（１１８）の投光素子（２１８）のアレイから光スポット（５０４）のパターン（５０６）を投影することと、
    前記ディスプレイパネルの光検出素子（２２０）のアレイを介して、前記光スポットのパターンの前記眼からの反射を表す画像（１６４）をキャプチャすることと、
    前記画像の光スポットのうちの少なくともサブセットの各光スポットに対して、前記キャプチャされた画像内の前記光スポットの予測される位置（５１４，５２４）と実際の位置（５１２，５２２）との間の変位（５１６，５２６）を決定することと、
    前記光スポットの前記サブセットに対する前記変位に基づき、前記眼の１つまたは複数の特徴付けを決定することとを含む、方法。
11. 前記眼の１つまたは複数の特徴付けを決定することは、前記変位に基づき前記眼における屈折収差を検出することを含む、請求項１０に記載の方法。
12. 前記眼の１つまたは複数の特徴付けを決定することは、前記変位に基づき前記眼の調整状態を検出することを含む、請求項１０に記載の方法。
13. 前記ディスプレイパネルを介して前記ユーザに表示するためのライトフィールドフレーム（１５３）のシーケンスをレンダリングすることをさらに含む、請求項１０〜１２のいずれかに記載の方法。
14. 前記ライトフィールドフレームのシーケンスの前記レンダリングを、前記眼の前記特徴付けに基づき調節することをさらに含む、請求項１３に記載の方法。
15. 前記眼の１つまたは複数の特徴付けを決定することは、前記変位に基づき前記眼の収差を検出することを含み、
    前記レンダリングを調節することは、前記検出された収差を補正するように前記ライトフィールドフレームのシーケンスの前記レンダリングを制御することを含む、請求項１４に記載の方法。
16. 前記眼の１つまたは複数の特徴付けを決定することは、前記変位に基づき前記眼の現在の調整状態を検出することを含み、
    前記レンダリングを調節することは、前記現在の調整状態から決定される焦点面に基づき、前記ライトフィールドフレームのシーケンスの前記レンダリングを制御することを含む、請求項１４に記載の方法。
17. 前記光スポットのパターンを投影することは、赤外光スポットのパターンを投影することを含む、請求項１０〜１６のいずれかに記載の方法。

Images