JP2023529606A - 画像のニューラルネットワーク分析に基づいて向上された眼追跡技法 - Google Patents

Abstract

拡張または仮想現実ディスプレイシステムのための向上された眼追跡技法。例示的方法は、ウェアラブルシステムのユーザの眼の画像を取得することであって、画像は、個別の光エミッタによって生じる眼上の閃光を描写し、画像は、低ダイナミックレンジ（ＬＤＲ）画像である、ことと、画像を使用して、機械学習モデルのフォワードパスの算出を介して、高ダイナミックレンジ（ＨＤＲ）画像を生成することと、ＨＤＲ画像に描写されるような閃光と関連付けられる、場所情報を決定することであって、場所情報は、眼の眼姿勢を知らせるために使用可能である、こととを含む。

Description

本開示は、ディスプレイシステムに関し、より具体的には、拡張および仮想現実システムおよびデバイスに関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」シナリオは、一種のＡＲシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、ＭＲシナリオは、実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚される、ＡＲ画像コンテンツを含んでもよい。

図１を参照すると、ＡＲ場面１０が、描写されている。ＡＲ技術のユーザには、人々、木々、背景における建物、コンクリートプラットフォーム３０を特徴とする、実世界公園状設定２０が見える。ユーザはまた、実世界プラットフォーム３０上に立っているロボット像４０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ５０等の「仮想コンテンツ」を「見ている」と知覚する。これらの要素５０、４０は、実世界には存在しないという点で、「仮想」である。ヒトの視知覚系は、複雑であるため、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然な感覚で、かつ豊かな提示を促進する、ＡＲ技術を生産することは、困難である。

例示的実施形態は、１つまたはそれを上回るプロセッサの拡張または仮想現実ウェアラブルシステムによって実装される方法を含む。本方法は、ウェアラブルシステムのユーザの眼の画像を取得することであって、画像は、個別の光エミッタによって生じる眼上の閃光を描写し、画像は、低ダイナミックレンジ（ＬＤＲ）画像である、ことと、画像を使用して、機械学習モデルのフォワードパスの算出を介して、高ダイナミックレンジ（ＨＤＲ）画像を生成することと、ＨＤＲ画像に描写されるような閃光と関連付けられる、場所情報を決定することであって、場所情報は、眼の眼姿勢を知らせるために使用可能である、こととを含む。

例示的実施形態は、１つまたはそれを上回るプロセッサのシステムによって実装される方法を含む。本方法は、眼球制御リグと関連付けられる、１つまたはそれを上回るパラメータを設定することを含み、眼球制御リグは、眼球の表現（または「眼球複製」）、複数の光エミッタ、および１つまたはそれを上回る結像デバイスを備え、１つまたはそれを上回るパラメータは、少なくとも、眼球の表現と関連付けられる、配向を示す、ことと、眼球の表現の複数の画像を取得することであって、画像は、異なる露光において取得される、低ダイナミックレンジ（ＬＤＲ）画像である、ことと、取得された画像に基づいて、高ダイナミックレンジ（ＨＤＲ）画像を生成することと、機械学習モデルを取得された画像およびＨＤＲ画像に基づいて訓練させることであって、機械学習モデルは、ＨＤＲ画像を入力ＬＤＲ画像から生成するように訓練される。

図１は、ＡＲデバイスを通した拡張現実（ＡＲ）のユーザのビューを図示する。

図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。

図３Ａ－３Ｃは、曲率半径と焦点半径との間の関係を図示する。

図４Ａは、ヒト視覚系の遠近調節－輻輳・開散運動応答の表現を図示する。

図４Ｂは、一対のユーザの眼の異なる遠近調節状態および輻輳・開散運動状態の実施例を図示する。

図４Ｃは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の実施例を図示する。

図４Ｄは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。

図５は、波面発散を修正することによって３次元画像をシミュレートするためのアプローチの側面を図示する。

図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。

図７は、導波管によって出力された出射ビームの実施例を図示する。

図８は、スタックされた接眼レンズの実施例を図示し、各深度面は、複数の異なる原色を使用して形成される画像を含む。

図９Ａは、それぞれ、内部結合光学要素を含む、スタックされた導波管のセットの実施例の断面側面図を図示する。

図９Ｂは、図９Ａの複数のスタックされた導波管の実施例の斜視図を図示する。

図９Ｃは、図９Ａおよび９Ｂの複数のスタックされた導波管の実施例の上下平面図を図示する。

図９Ｄは、複数のスタックされた導波管の別の実施例の上下平面図を図示する。

図９Ｅは、ウェアラブルディスプレイシステムの実施例を図示する。

図１０Ａは、ディスプレイシステムの結像デバイスを介して取得される、眼の画像を図示する。

図１０Ｂは、ＨＤＲ画像を低ダイナミックレンジ（ＬＤＲ）画像から生成するために使用可能な高ダイナミックレンジ（ＨＤＲ）変換モデルのブロック図を図示する。

図１１は、ＨＤＲ画像をＬＤＲ画像から生成するために使用可能な例示的機械学習モデルを図示する。

図１２は、ＬＤＲ画像内に表される閃光と関連付けられる、場所情報を決定するための例示的プロセスのフローチャートである。

図１３は、ＨＤＲ変換モデルを訓練するための例示的プロセスのフローチャートである。

図１４Ａは、本明細書に説明される技法による、眼球カメラリグのＬＤＲ画像の実施例を図示する。

図１４Ｂは、本明細書に説明される技法による、眼球カメラリグのＨＤＲ画像の実施例を図示する。

図１５は、眼球カメラリグのパラメータを調整することに基づく、眼球カメラリグの画像の実施例である。

詳細な説明
本明細書は、拡張または仮想現実ディスプレイシステム内で使用されるような眼追跡の向上のための技法を説明する。下記に説明されるであろうように、機械学習モデルが、眼追跡と関連付けられる、正確度を増加させるために使用されてもよい。例示的機械学習モデルは、畳み込みニューラルネットワーク等のニューラルネットワークを含んでもよい。これらの畳み込みニューラルネットワークは、拡張または仮想現実ディスプレイシステムのユーザの眼の画像等の入力画像を分析するために使用されてもよい。例えば、畳み込みニューラルネットワークは、高ダイナミックレンジ（ＨＤＲ）画像をユーザの眼の低または標準的ダイナミックレンジ（ＬＤＲ）画像から生成するために使用されてもよい。本実施例では、ＨＤＲ画像は、ＬＤＲ画像の過剰露光または露光不足部分の発生を低減させ得る。これらの部分は、拡張または仮想現実ディスプレイシステム（および／または他の光源）に固定されるＬＥＤからのユーザの眼内の光の反射（例えば、閃光）に対応し得る。これらの閃光および／または他の画像データの場所に基づいて、ユーザの眼の配向が、決定されてもよい。したがって、これらの閃光の過剰露光部分を低減させることは、閃光の場所を決定する増加された正確度、したがって、改良された眼姿勢決定を可能にし得る。
例示的眼追跡技法

視覚的に現実的な仮想コンテンツを提供するために、拡張または仮想現実ディスプレイシステムまたはウェアラブルシステム（以降、「ディスプレイシステム」と称される）が、ユーザの眼を正確に追跡（例えば、監視）することが有利である。例えば、各眼の配向（本明細書では、眼姿勢と称される）に関する正確な決定は、提示される仮想コンテンツの現実性を向上させ得る。実際、仮想場面（例えば、図１に図示される拡張現実場面１０）は、ユーザの眼が場面のための「レンダリングカメラ」として割り当てられていることに基づいて、ディスプレイシステムによってレンダリングされてもよい。例えば、ユーザの眼の中心が、レンダリングカメラとして割り当てられてもよい。したがって、仮想場面内の仮想コンテンツの場所は、その眼の視線方向および輻輳・開散運動とともに、ユーザの眼の中心に結び付けられてもよい。ユーザが、その眼を移動させ、例えば、仮想コンテンツまたは実世界コンテンツを視認するにつれて、ディスプレイシステムは、適宜、仮想コンテンツを調節してもよい。したがって、ユーザの眼を追跡するための向上された技法は、そのようなディスプレイシステムの機能性を実質的に向上させ、より良好な視認体験をユーザのために提供し得る。

ユーザの眼を追跡することは、輻輳・開散運動、視線方向、ユーザの眼球の個別の中心等を決定することを含んでもよい。これらの決定のうちの少なくともいくつかは、ユーザの眼に関する個別の眼姿勢の識別に基づいてもたらされ得る。例えば、眼の配向に基づいて、ディスプレイシステムは、眼から延在する軸（例えば、光学および／または視軸）を決定してもよい。本軸は、ユーザの眼の視線方向を表し得る。ユーザの両方の眼に関する眼姿勢を使用して、ディスプレイシステムは、ユーザの眼が輻輳している、３次元空間内の場所を識別してもよい。

視線方向追跡は、ユーザに表示するための仮想コンテンツを決定するために利用されてもよいことを理解されたい。例えば、実世界に結び付けられる、仮想コンテンツは、ユーザが見ている場所を追跡することによって、実世界と正しい対応を提供するように調節されてもよい。加えて、仮想コンテンツを異なる深度面上に提供する、ディスプレイシステムでは、ユーザの眼が輻輳している点が、その上に仮想コンテンツを表示するための適切な深度面を決定するために利用されてもよい。

眼姿勢を決定するためのいくつかの既存の技法は、ディスプレイシステム上に位置付けられる、１つまたはそれを上回るカメラを利用して、ユーザの眼の画像を取得する。そのようなカメラベースのシステムは、いくつかの発光ダイオード（ＬＥＤ）を使用して、光をユーザの眼に投影してもよい。ＬＥＤは、ＬＥＤからの光がユーザの眼の特定の部分（例えば、瞳孔）から反射されるように、ディスプレイシステム上に位置付けられてもよい。カメラは、ディスプレイシステム上に位置付けられ、眼を結像し、反射された光の位置を決定してもよい。ユーザが、その眼を移動させる（例えば、眼姿勢を変化させる）につれて、反射された光の画像および位置も同様に、変化し得る。眼の捕捉された画像の分析に基づいて、ディスプレイシステムは、眼姿勢を決定してもよい。

反射された光の位置を決定するために、ディスプレイシステムは、ユーザの眼内に反射されるにつれて、各ＬＥＤからの光の重心を決定してもよい。例えば、ディスプレイシステムは、ユーザの眼から取得される画像のＸおよびＹ軸における重心を決定してもよい。このように、ディスプレイシステムは、各ＬＥＤと関連付けられる、場所を決定してもよい。画像に関する多数のこれらの場所に基づいて、ディスプレイシステムは、ユーザの眼と関連付けられる、眼姿勢を決定してもよい。

眼追跡に関連するさらなる議論は、米国仮特許出願第６２／９４０７８５号および米国特許公開第２０１９／０３２４２７６号（参照することによってその全体として本明細書に組み込まれる）内に含まれる。
例示的ＨＤＲ変換

上記に説明される例示的技法は、ユーザの眼姿勢の正確な決定を可能にし得る。しかしながら、それらは、ある技術的課題を提示する。例えば、ＬＥＤからの光は、ユーザの眼内で異なる反射を受け得る。これは、ＬＥＤから反射された光が不規則的形状であるように結像され得るように、ある光学アーチファクトを導入し得る。例えば、反射された光は、略長円形ではあり得ず、円形または長円形部分から延在する、後尾部を含み得る。反射された光の実施例は、図１０Ｂに含まれる。

これらの光学アーチファクトは、少なくとも部分的に、ユーザの眼の画像が低ダイナミックレンジ（ＬＤＲ）内にあることによって、生じ得る。したがって、画像の一部は、光輝部および陰影部に関する詳細の損失をもたらし得る。理解され得るように、ＬＥＤからの光を描写する、画像の一部は、画像の光輝部を表し得る。例えば、ユーザの瞳孔の画像内で再現されるような光の光度は、画像の他の部分のものを上回り得る。したがって、光のために利用可能なダイナミックレンジは、これらの光輝部における詳細の損失が存在し得るように、限定され得る。詳細の本損失は、ユーザの眼の画像内のＬＥＤの反射を表す、明確に定義されていない、または不規則的に成形されている、光をもたらし得る。反射された光の位置を決定することは、したがって、悪影響を及ぼされ得る。

高ダイナミックレンジ（ＨＤＲ）画像は、ＬＤＲ画像と比較して、光度のより優れたダイナミックレンジの再現を可能にする。ユーザの眼のＨＤＲ画像に関して、ＬＥＤから反射された光は、ＬＤＲ画像と比較して、より多くの詳細を有し得る。したがって、眼追跡技法を実施するとき、ＨＤＲ画像を使用することが有利であり得る。

ＨＤＲ画像を生成するための例示的技法は、実質的に固定された場面の複数のＬＤＲ画像を取得することを含んでもよい。ＬＤＲ画像は、異なる露光を用いて取得され、次いで、ともに組み合わせられてもよい。本例示的技法が、一般に、使用されるが、いくつかの実施形態では、これは、拡張または仮想現実ディスプレイシステムにとって不利であり得る。正確な眼追跡のために、ディスプレイシステムは、眼姿勢を閾値を上回る周波数（例えば、６０Ｈｚ、１２０Ｈｚ、１，０００Ｈｚ）において決定することが要求され得る。複数のＬＤＲ画像を組み合わせるために、カメラは、複数の画像を閾値周波数を実質的に上回るレートにおいて取得することが要求され得る。理解され得るように、ユーザの眼は、複数の画像を取得するために十分な時間にわたって、実質的に固定されたままであることが可能である可能性が低い。眼は、実質的に固定された眼の複数の画像を取得することが非実践的であり得るほどの高速移動が可能である。したがって、複数のＬＤＲ画像から生成されたＨＤＲ画像は、ＬＤＲ画像に描写されるように、ＬＥＤから反射された光のスミアまたは移動を反映させ得る。

本明細書に説明されるように、機械学習モデルが、ＨＤＲ画像をＬＤＲ画像から生成するために活用されてもよい。例示的機械学習モデルは、畳み込みニューラルネットワーク等のニューラルネットワークを含んでもよい。例示的畳み込みニューラルネットワークは、ＬＤＲ画像を潜在的特徴表現にエンコーディングするように訓練される、自動エンコーダを含んでもよい。自動エンコーダは、次いで、表現をＨＤＲ画像にコーディングしてもよい。スキップ接続が、随意に、ドメイン変換情報をエンコーダネットワークからデコーダネットワークに提供するために利用されてもよい。例示的ネットワークは、図１１に関して下記にさらに詳細に説明される。

機械学習モデルを介して、ディスプレイシステムは、実施例として、ＨＤＲ画像の利益を取得しながら、単一ＬＤＲ画像を利用し得る。このように、ディスプレイシステムは、ＬＥＤから反射された光の位置をより正確に決定し得る。
例示的ウェアラブルシステム

図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、離間されており、空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する、眼２１０、２２０毎に１つの同一仮想オブジェクトの若干異なるビューを伴う２つの明確に異なる画像１９０、２００を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するために解釈し得る、両眼キューを提供する。

図２を継続して参照すると、画像１９０、２００は、ｚ－軸上で距離２３０だけ眼２１０、２２０から離間される。ｚ－軸は、その眼が視認者の直前の光学無限遠におけるオブジェクトを固視している状態の視認者の光学軸と平行である。画像１９０、２００は、平坦であって、眼２１０、２２０から固定距離にある。それぞれ、眼２１０、２２０に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、必然的に、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように回転し得る。本回転は、眼２１０、２２０のそれぞれの視線を仮想オブジェクトが存在するように知覚される空間内の点上に収束させ得る。その結果、３次元画像の提供は、従来、ユーザの眼２１０、２２０の輻輳・開散運動を操作し得、ヒト視覚系が深度の知覚を提供するように解釈する、両眼キューを提供することを伴う。

しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。図３Ａ－３Ｃは、距離と光線の発散との間の関係を図示する。オブジェクトと眼２１０との間の距離は、減少距離Ｒ１、Ｒ２、およびＲ３の順序で表される。図３Ａ－３Ｃに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に言えば、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点（オブジェクトまたはオブジェクトの一部）によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率は、オブジェクトと眼２１０との間の距離の減少に伴って増加する。単眼２１０のみが、例証を明確にするために、図３Ａ－３Ｃおよび本明細書の種々の他の図に図示されるが、眼２１０に関する議論は、視認者の両眼２１０および２２０に適用され得る。

図３Ａ－３Ｃを継続して参照すると、視認者の眼が固視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なるように集束され得、これは、ひいては、水晶体に、異なる形状をとり、集束された画像を眼の網膜上に形成することを要求し得る。集束された画像が、網膜上に形成されない場合、結果として生じる網膜ぼけは、集束された画像が網膜上に形成されるまで、眼の水晶体の形状に変化を生じさせる、遠近調節のためのキューとして作用する。例えば、遠近調節のためのキューは、眼の水晶体を囲繞する毛様筋の弛緩または収縮をトリガし、それによって、水晶体を保持する提靱帯に印加される力を変調し、したがって、固視されているオブジェクトの網膜ぼけが排除または最小限にされるまで、眼の水晶体の形状を変化させ、それによって、固視されているオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、固視されているオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。

ここで図４Ａを参照すると、ヒト視覚系の遠近調節－輻輳・開散運動応答の表現が、図示される。オブジェクトを固視するための眼の移動は、眼にオブジェクトからの光を受光させ、光は、画像を眼の網膜のそれぞれ上に形成する。網膜上に形成される画像内の網膜ぼけの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、輻輳・開散運動のためのキューを提供し得る。遠近調節するためのキューは、遠近調節を生じさせ、眼の水晶体のそれぞれがオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成する特定の遠近調節状態をとる結果をもたらす。一方、輻輳・開散運動のためのキューは、各眼の各網膜上に形成される画像が単一両眼視を維持する対応する網膜点にあるように、輻輳・開散運動移動（眼の回転）を生じさせる。これらの位置では、眼は、特定の輻輳・開散運動状態をとっていると言え得る。図４Ａを継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、輻輳・開散運動は、眼が特定の輻輳・開散運動状態を達成するプロセスであると理解され得る。図４Ａに示されるように、眼の遠近調節および輻輳・開散運動状態は、ユーザが別のオブジェクトを固視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがｚ－軸上の異なる深度における新しいオブジェクトを固視する場合、変化し得る。

理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動および遠近調節の組み合わせに起因して、オブジェクトを「３次元」であると知覚し得ると考えられる。上記に記載されるように、２つの眼の相互に対する輻輳・開散運動移動（例えば、瞳孔が相互に向かって、またはそこから移動し、眼の視線を収束させ、オブジェクトを固視するような眼の回転）は、眼の水晶体の遠近調節と密接に関連付けられる。正常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の形状の変化は、「遠近調節－輻輳・開散運動反射」として知られる関係下、同一距離への輻輳・開散運動の合致する変化を自動的に生じさせるであろう。同様に、輻輳・開散運動の変化は、正常条件下、水晶体形状における合致する変化を誘起するであろう。

ここで図４Ｂを参照すると、眼の異なる遠近調節および輻輳・開散運動状態の実施例が、図示される。対の眼２２２ａは、光学無限遠におけるオブジェクトを固視する一方、対の眼２２２ｂは、光学無限遠未満におけるオブジェクト２２１を固視する。着目すべきこととして、各対の眼の輻輳・開散運動状態は、異なり、対の眼２２２ａは、まっすぐ指向される一方、対の眼２２２は、オブジェクト２２１上に収束する。各対の眼２２２ａおよび２２２ｂを形成する眼の遠近調節状態もまた、水晶体２１０ａ、２２０ａの異なる形状によって表されるように異なる。

望ましくないことに、従来の「３－Ｄ」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節と輻輳・開散運動状態との間の不整合に起因して、そのような従来のシステムを不快であると見出す、または奥行感を全く知覚しない場合がある。上記に記載されるように、多くの立体視または「３－Ｄ」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の輻輳・開散運動状態に変化を生じさせるが、それらの眼の遠近調節状態における対応する変化を伴わないため、多くの視認者にとって不快である。むしろ、画像は、眼が全ての画像情報を単一遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態における整合する変化を伴わずに輻輳・開散運動状態に変化を生じさせることによって、「遠近調節－輻輳・開散運動反射」に逆らう。本不整合は、視認者不快感を生じさせると考えられる。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態では、異なる提示は、輻輳・開散運動のためのキューおよび遠近調節するための整合するキューの両方を提供し、それによって、生理学的に正しい遠近調節－輻輳・開散運動整合を提供してもよい。

図４Ｂを継続して参照すると、眼２１０、２２０からの空間内の異なる距離に対応する、２つの深度面２４０が、図示される。所与の深度面２４０に関して、輻輳・開散運動キューが、眼２１０、２２０毎に適切に異なる視点の画像を表示することによって提供されてもよい。加えて、所与の深度面２４０に関して、各眼２１０、２２０に提供される画像を形成する光は、その深度面２４０の距離におけるある点によって生成されたライトフィールドに対応する波面発散を有してもよい。

図示される実施形態では、点２２１を含有する、深度面２４０のｚ－軸に沿った距離は、１ｍである。本明細書で使用されるように、ｚ－軸に沿った距離または深度は、ユーザの眼の射出瞳に位置するゼロ点を用いて測定されてもよい。したがって、１ｍの深度に位置する深度面２４０は、眼が光学無限遠に向かって指向される状態におけるそれらの眼の光学軸上のユーザの眼の射出瞳から１ｍ離れた距離に対応する。近似値として、ｚ－軸に沿った深度または距離は、ユーザの眼の正面のディスプレイ（例えば、導波管の表面）から測定され、デバイスとユーザの眼の射出瞳との間の距離に関する値が加えられてもよい。その値は、瞳距離と呼ばれ、ユーザの眼の射出瞳と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応し得る。実際は、瞳距離に関する値は、概して、全ての視認者に関して使用される、正規化された値であってもよい。例えば、瞳距離は、２０ｍｍであると仮定され得、１ｍの深度における深度面は、ディスプレイの正面の９８０ｍｍの距離にあり得る。

ここで図４Ｃおよび４Ｄを参照すると、整合遠近調節－輻輳・開散運動距離および不整合遠近調節－輻輳・開散運動距離の実施例が、それぞれ、図示される。図４Ｃに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼２１０、２２０に提供してもよい。画像は、眼２１０、２２０に、眼が深度面２４０上の点１５上に収束する、輻輳・開散運動状態をとらせ得る。加えて、画像は、その深度面２４０における実オブジェクトに対応する波面曲率を有する光によって形成され得る。その結果、眼２１０、２２０は、画像がそれらの眼の網膜上に合焦された遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度面２４０上の点１５にあるように知覚し得る。

眼２１０、２２０の遠近調節および輻輳・開散運動状態はそれぞれ、ｚ－軸上の特定の距離と関連付けられることを理解されたい。例えば、眼２１０、２２０からの特定の距離におけるオブジェクトは、それらの眼に、オブジェクトの距離に基づいて、特定の遠近調節状態をとらせる。特定の遠近調節状態と関連付けられる距離は、遠近調節距離Ａ_ｄと称され得る。同様に、特定の輻輳・開散運動状態または相互に対する位置における眼と関連付けられる特定の輻輳・開散運動距離Ｖ_ｄが、存在する。遠近調節距離および輻輳・開散運動距離が整合する場合、遠近調節と輻輳・開散運動との間の関係は、生理学的に正しいと言え得る。これは、視認者のために最も快適なシナリオと見なされる。

しかしながら、立体視ディスプレイでは、遠近調節距離および輻輳・開散運動距離は、常時、整合しない場合がある。例えば、図４Ｄに図示されるように、眼２１０、２２０に表示される画像は、深度面２４０に対応する波面発散を伴って表示され得、眼２１０、２２０は、その深度面上の点１５ａ、１５ｂが合焦する、特定の遠近調節状態をとり得る。しかしながら、眼２１０、２２０に表示される画像は、眼２１０、２２０を深度面２４０上に位置しない点１５上に収束させる、輻輳・開散運動のためのキューを提供し得る。その結果、いくつかの実施形態では、遠近調節距離は、眼２１０、２２０の射出瞳から深度面２４０までの距離に対応する一方、輻輳・開散運動距離は、眼２１０、２２０の射出瞳から点１５までのより大きい距離に対応する。遠近調節距離は、輻輳・開散運動距離と異なる。その結果、遠近調節－輻輳・開散運動不整合が存在する。そのような不整合は、望ましくないと見なされ、不快感をユーザに生じさせ得る。不整合は、距離（例えば、Ｖ_ｄ－Ａ_ｄ）に対応し、ジオプタを使用して特徴付けられ得ることを理解されたい。

いくつかの実施形態では、同一参照点が遠近調節距離および輻輳・開散運動距離のために利用される限り、眼２１０、２２０の射出瞳以外の参照点が、遠近調節－輻輳・開散運動不整合を決定するための距離を決定するために利用されてもよいことを理解されたい。例えば、距離は、角膜から深度面まで、網膜から深度面まで、接眼レンズ（例えば、ディスプレイデバイスの導波管）から深度面まで等で測定され得る。

理論によって限定されるわけではないが、ユーザは、不整合自体が有意な不快感を生じさせずに、依然として、最大約０．２５ジオプタ、最大約０．３３ジオプタ、および最大約０．５ジオプタの遠近調節－輻輳・開散運動不整合が生理学的に正しいとして知覚し得ると考えられる。いくつかの実施形態では、本明細書に開示されるディスプレイシステム（例えば、ディスプレイシステム２５０、図６）は、約０．５ジオプタまたはそれ未満の遠近調節－輻輳・開散運動不整合を有する画像を視認者に提示する。いくつかの他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節－輻輳・開散運動不整合は、約０．３３ジオプタまたはそれ未満である。さらに他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節－輻輳・開散運動不整合は、約０．２５ジオプタまたはそれ未満であって、約０．１ジオプタまたはそれ未満を含む。

図５は、波面発散を修正することによって、３次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光７７０を受光し、その光をユーザの眼２１０に出力するように構成される、導波管２７０を含む。導波管２７０は、所望の深度面２４０上のある点によって生成されたライトフィールドの波面発散に対応する定義された波面発散量を伴って光６５０を出力してもよい。いくつかの実施形態では、同一量の波面発散が、その深度面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、類似導波管からの画像情報を提供され得るように図示されるであろう。

いくつかの実施形態では、単一導波管が、単一または限定数の深度面に対応する設定された波面発散量を伴う光を出力するように構成されてもよく、および／または導波管は、限定された範囲の波長の光を出力するように構成されてもよい。その結果、いくつかの実施形態では、複数またはスタックの導波管が、異なる深度面のための異なる波面発散量を提供し、および／または異なる範囲の波長の光を出力するために利用されてもよい。本明細書で使用されるように、深度面は、平面であり得る、または湾曲表面の輪郭に追従し得ることを理解されたい。

図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム２５０は、複数の導波管２７０、２８０、２９０、３００、３１０を使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ２６０を含む。ディスプレイシステム２５０は、いくつかの実施形態では、ライトフィールドディスプレイと見なされてもよいことを理解されたい。加えて、導波管アセンブリ２６０はまた、接眼レンズとも称され得る。

いくつかの実施形態では、ディスプレイシステム２５０は、輻輳・開散運動するための実質的に連続キューおよび遠近調節するための複数の離散キューを提供するように構成されてもよい。輻輳・開散運動のためのキューは、異なる画像をユーザの眼のそれぞれに表示することによって提供されてもよく、遠近調節のためのキューは、選択可能離散量の波面発散を伴う画像を形成する光を出力することによって提供されてもよい。換言すると、ディスプレイシステム２５０は、可変レベルの波面発散を伴う光を出力するように構成されてもよい。いくつかの実施形態では、波面発散の各離散レベルは、特定の深度面に対応し、導波管２７０、２８０、２９０、３００、３１０のうちの特定の１つによって提供されてもよい。

図６を継続して参照すると、導波管アセンブリ２６０はまた、複数の特徴３２０、３３０、３４０、３５０を導波管の間に含んでもよい。いくつかの実施形態では、特徴３２０、３３０、３４０、３５０は、１つまたはそれを上回るレンズであってもよい。導波管２７０、２８０、２９０、３００、３１０および／または複数のレンズ３２０、３３０、３４０、３５０は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス３６０、３７０、３８０、３９０、４００は、導波管のための光源として機能してもよく、画像情報を導波管２７０、２８０、２９０、３００、３１０の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼２１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス３６０、３７０、３８０、３９０、４００の出力表面４１０、４２０、４３０、４４０、４５０から出射し、導波管２７０、２８０、２９０、３００、３１０の対応する入力表面４６０、４７０、４８０、４９０、５００の中に投入される。いくつかの実施形態では、入力表面４６０、４７０、４８０、４９０、５００はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部（すなわち、世界５１０または視認者の眼２１０に直接面する導波管表面のうちの１つ）であってもよい。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼２１０に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。いくつかの実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００のうちの単一の１つは、複数（例えば、３つ）の導波管２７０、２８０、２９０、３００、３１０と関連付けられ、その中に光を投入してもよい。

いくつかの実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００はそれぞれ、対応する導波管２７０、２８０、２９０、３００、３１０の中への投入のための画像情報をそれぞれ生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００は、例えば、１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス３６０、３７０、３８０、３９０、４００のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス３６０、３７０、３８０、３９０、４００によって提供される画像情報は、異なる波長または色（例えば、本明細書に議論されるように、異なる原色）の光を含んでもよいことを理解されたい。

いくつかの実施形態では、導波管２７０、２８０、２９０、３００、３１０の中に投入される光は、光投影システム５２０によって提供され、これは、光モジュール５３０を備え、これは、発光ダイオード（ＬＥＤ）等の光エミッタを含んでもよい。光モジュール５３０からの光は、ビームスプリッタ５５０を介して、光変調器５４０、例えば、空間光変調器によって指向および修正されてもよい。光変調器５４０は、導波管２７０、２８０、２９０、３００、３１０の中に投入される光の知覚される強度を変化させ、光を画像情報でエンコードするように構成されてもよい。空間光変調器の実施例は、シリコン上液晶（ＬＣＯＳ）ディスプレイを含む、液晶ディスプレイ（ＬＣＤ）を含む。いくつかの他の実施形態では、空間光変調器は、デジタル光処理（ＤＬＰ）デバイス等のＭＥＭＳデバイスであってもよい。画像投入デバイス３６０、３７０、３８０、３９０、４００は、図式的に図示され、いくつかの実施形態では、これらの画像投入デバイスは、光を導波管２７０、２８０、２９０、３００、３１０の関連付けられるものの中に出力するように構成される、共通投影システム内の異なる光経路および場所を表し得ることを理解されたい。いくつかの実施形態では、導波管アセンブリ２６０の導波管は、導波管の中に投入された光をユーザの眼に中継しながら、理想的レンズとして機能し得る。本概念では、オブジェクトは、空間光変調器５４０であってもよく、画像は、深度面上の画像であってもよい。

いくつかの実施形態では、ディスプレイシステム２５０は、光を種々のパターン（例えば、ラスタ走査、螺旋走査、リサジューパターン等）で１つまたはそれを上回る導波管２７０、２８０、２９０、３００、３１０の中に、最終的には、視認者の眼２１０に投影するように構成される、１つまたはそれを上回る走査ファイバを備える、走査ファイバディスプレイであってもよい。いくつかの実施形態では、図示される画像投入デバイス３６０、３７０、３８０、３９０、４００は、光を１つまたは複数の導波管２７０、２８０、２９０、３００、３１０の中に投入するように構成される、単一走査ファイバまたは走査ファイバの束を図式的に表し得る。いくつかの他の実施形態では、図示される画像投入デバイス３６０、３７０、３８０、３９０、４００は、複数の走査ファイバまたは走査ファイバの複数の束を図式的に表し得、それぞれ、光を導波管２７０、２８０、２９０、３００、３１０のうちの関連付けられる１つの中に投入するように構成される。１つまたはそれを上回る光ファイバは、光を光モジュール５３０から１つまたはそれを上回る導波管２７０、２８０、２９０、３００、３１０に透過させるように構成されてもよいことを理解されたい。１つまたはそれを上回る介在光学構造が、走査ファイバまたは複数のファイバと、１つまたはそれを上回る導波管２７０、２８０、２９０、３００、３１０との間に提供され、例えば、走査ファイバから出射する光を１つまたはそれを上回る導波管２７０、２８０、２９０、３００、３１０の中に再指向してもよいことを理解されたい。

コントローラ５６０は、画像投入デバイス３６０、３７０、３８０、３９０、４００、光源５３０、および光変調器５４０の動作を含む、スタックされた導波管アセンブリ２６０のうちの１つまたはそれを上回るものの動作を制御する。いくつかの実施形態では、コントローラ５６０は、ローカルデータ処理モジュール１４０の一部である。コントローラ５６０は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管２７０、２８０、２９０、３００、３１０への画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性媒体内の命令）を含む。いくつかの実施形態では、コントローラは、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ５６０は、いくつかの実施形態では、処理モジュール１４０または１５０（図９Ｅ）の一部であってもよい。

図６を継続して参照すると、導波管２７０、２８０、２９０、３００、３１０は、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管２７０、２８０、２９０、３００、３１０はそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管２７０、２８０、２９０、３００、３１０はそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼２１０に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素５７０、５８０、５９０、６００、６１０を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素５７０、５８０、５９０、６００、６１０は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明を容易にし、図面を明確にするために、導波管２７０、２８０、２９０、３００、３１０の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、本明細書にさらに議論されるように、上部および／または底部主要表面に配置されてもよく、および／または導波管２７０、２８０、２９０、３００、３１０の容積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、透明基板に取り付けられ、導波管２７０、２８０、２９０、３００、３１０を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管２７０、２８０、２９０、３００、３１０は、材料のモノリシック片であってもよく、外部結合光学要素５７０、５８０、５９０、６００、６１０は、その材料片の表面上および／または内部に形成されてもよい。

図６を継続して参照すると、本明細書に議論されるように、各導波管２７０、２８０、２９０、３００、３１０が、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管２７０は、眼２１０にコリメートされた光（そのような導波管２７０の中に投入された）を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管２８０は、眼２１０に到達し得る前に、第１のレンズ３５０（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第１のレンズ３５０は、眼／脳が、その次の上方の導波管２８０から生じる光を光学無限遠から眼２１０に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管２９０は、眼２１０に到達する前に、その出力光を第１のレンズ３５０および第２のレンズ３４０の両方を通して通過させる。第１のレンズ３５０および第２のレンズ３４０の組み合わせられた屈折力は、眼／脳が、第３の導波管２９０から生じる光が次の上方の導波管２８０からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。

他の導波管層３００、３１０およびレンズ３３０、３２０も同様に構成され、スタック内の最高導波管３１０が、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ２６０の他側の世界５１０から生じる光を視認／解釈するとき、レンズ３２０、３３０、３４０、３５０のスタックを補償するために、補償レンズ層６２０が、スタックの上部に配置され、下方のレンズスタック３２０、３３０、３４０、３５０の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい（すなわち、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。

いくつかの実施形態では、導波管２７０、２８０、２９０、３００、３１０のうちの２つまたはそれを上回るものは、同一の関連付けられる深度面を有してもよい。例えば、複数の導波管２７０、２８０、２９０、３００、３１０が、同一深度面に設定される画像を出力するように構成されてもよい、または導波管２７０、２８０、２９０、３００、３１０の複数のサブセットが、深度面毎に１つのセットを伴う、同一の複数の深度面に設定される画像を出力するように構成されてもよい。これは、それらの深度面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供し得る。

図６を継続して参照すると、外部結合光学要素５７０、５８０、５９０、６００、６１０は、導波管と関連付けられる特定の深度面のために、光をそれらの個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられる深度面を有する導波管は、外部結合光学要素５７０、５８０、５９０、６００、６１０の異なる構成を有してもよく、これは、関連付けられる深度面に応じて、異なる量の発散を伴って光を出力する。いくつかの実施形態では、光抽出光学要素５７０、５８０、５９０、６００、６１０は、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素５７０、５８０、５９０、６００、６１０は、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。いくつかの実施形態では、特徴３２０、３３０、３４０、３５０は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空隙を形成するためのクラッディング層および／または構造）。

いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、回折パターンを形成する回折特徴または「回折光学要素」（また、本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼２１０に向かって偏向される一方、残りがＴＩＲを介して、導波管を通して移動し続けるように、十分に低回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼２１０に向かって非常に均一なパターンの出射放出となる。

いくつかの実施形態では、１つまたはそれを上回るＤＯＥは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体中に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられてもよい（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられてもよい（その場合、パターンは、入射光を能動的に回折させる）。

いくつかの実施形態では、カメラアセンブリ６３０（例えば、可視光および赤外線光カメラを含む、デジタルカメラ）が、眼２１０および／または眼２１０の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出する、および／またはユーザの生理学的状態を監視するために提供されてもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ６３０は、画像捕捉デバイスと、光（例えば、赤外線光）を眼に投影し、次いで、その光が眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブリ６３０は、フレームまたは支持構造８０（図９Ｅ）に取り付けられてもよく、カメラアセンブリ６３０からの画像情報を処理し得る、処理モジュール１４０および／または１５０と電気通信してもよい。いくつかの実施形態では、１つのカメラアセンブリ６３０が、眼毎に利用され、各眼を別個に監視してもよい。

カメラアセンブリ６３０は、いくつかの実施形態では、ユーザの眼移動等のユーザの移動を観察してもよい。実施例として、カメラアセンブリ６３０は、眼２１０の画像を捕捉し、眼２１０の瞳孔（または眼２１０のある他の構造）のサイズ、位置、および／または配向を決定してもよい。カメラアセンブリ６３０は、所望に応じて、ユーザが見ている方向（例えば、眼姿勢または視線方向）を決定するために使用される、画像（本明細書に説明されるタイプの処理回路網によって処理される）を取得してもよい。いくつかの実施形態では、カメラアセンブリ６３０は、複数のカメラを含んでもよく、そのうちの少なくとも１つは、眼毎に利用され、独立して、各眼の眼姿勢または視線方向を別個に決定してもよい。カメラアセンブリ６３０は、いくつかの実施形態では、コントローラ５６０またはローカルデータ処理モジュール１４０等の処理回路網と組み合わせて、カメラアセンブリ６３０内に含まれる光源から反射された光（例えば、赤外線光）の閃光（例えば、反射）に基づいて、眼姿勢または視線方向を決定してもよい。

ここで図７を参照すると、導波管によって出力された出射ビームの実施例が、示される。１つの導波管が図示されるが、導波管アセンブリ２６０（図６）内の他の導波管も同様に機能し得、導波管アセンブリ２６０は、複数の導波管を含むことを理解されたい。光６４０が、導波管２７０の入力表面４６０において導波管２７０の中に投入され、ＴＩＲによって導波管２７０内を伝搬する。光６４０がＤＯＥ５７０上に衝突する点において、光の一部が、出射ビーム６５０として導波管から出射する。出射ビーム６５０は、略平行として図示されるが、本明細書に議論されるように、また、導波管２７０と関連付けられる深度面に応じて（例えば、発散出射ビームを形成する）ある角度で眼２１０に伝搬するように再指向されてもよい。略平行出射ビームは、眼２１０からの遠距離（例えば、光学無限遠）における深度面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットが、より発散する、出射ビームパターンを出力してもよく、これは、眼２１０がより近い距離に遠近調節し、網膜上に合焦させることを要求し、光学無限遠より眼２１０に近い距離からの光として脳によって解釈されるであろう。

いくつかの実施形態では、フルカラー画像が、原色、例えば、３つまたはそれを上回る原色のそれぞれに画像をオーバーレイすることによって、各深度面において形成されてもよい。図８は、スタックされた導波管アセンブリの実施例を図示し、各深度面は、複数の異なる原色を使用して形成される画像を含む。図示される実施形態は、深度面２４０ａ－２４０ｆを示すが、より多いまたはより少ない深度もまた、検討される。各深度面は、第１の色Ｇの第１の画像、第２の色Ｒの第２の画像、および第３の色Ｂの第３の画像を含む、それと関連付けられる３つまたはそれを上回る原色画像を有してもよい。異なる深度面は、文字Ｇ、Ｒ、およびＢに続くジオプタ（ｄｐｔ）に関する異なる数字によって図に示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ（１／ｍ）、すなわち、視認者からの深度面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度面の正確な場所は、変動してもよい。例えば、所与の深度面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得、および／または色収差を減少させ得る。

いくつかの実施形態では、各原色の光は、単一専用導波管によって出力されてもよく、その結果、各深度面は、それと関連付けられる複数の導波管を有してもよい。そのような実施形態では、文字Ｇ、Ｒ、またはＢを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、３つの導波管は、深度面毎に提供されてもよく、３つの原色画像が、深度面毎に提供される。各深度面と関連付けられる導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に１つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、複数の原色が、例えば、単一導波管のみが深度面毎に提供され得るように、同一導波管によって出力されてもよい。

図８を継続して参照すると、いくつかの実施形態では、Ｇは、緑色であって、Ｒは、赤色であって、Ｂは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられる他の色も、赤色、緑色、または青色のうちの１つまたはそれを上回るものに加えて使用されてもよい、またはそれらに取って代わってもよい。

本開示全体を通した所与の光の色の言及は、その所与の色として視認者によって知覚される、光の波長の範囲内の１つまたはそれを上回る波長の光を包含するものと理解されると理解されたい。例えば、赤色光は、約６２０～７８０ｎｍの範囲内である１つまたはそれを上回る波長の光を含んでもよく、緑色光は、約４９２～５７７ｎｍの範囲内である１つまたはそれを上回る波長の光を含んでもよく、青色光は、約４３５～４９３ｎｍの範囲内である１つまたはそれを上回る波長の光を含んでもよい。

いくつかの実施形態では、光源５３０（図６）は、視認者の視覚的知覚範囲外の１つまたはそれを上回る波長、例えば、赤外線および／または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ２５０の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、結像および／またはユーザ刺激アプリケーションのために、本光をディスプレイからユーザの眼２１０に向かって指向および放出するように構成されてもよい。

ここで図９Ａを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。図９Ａは、それぞれ、内部結合光学要素を含む、複数またはセット６６０のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、１つまたはそれを上回る異なる波長または１つまたはそれを上回る異なる波長範囲の光を出力するように構成されてもよい。スタック６６０は、スタック２６０（図６）に対応し得、スタック６６０の図示される導波管は、複数の導波管２７０、２８０、２９０、３００、３１０の一部に対応してもよいが、画像投入デバイス３６０、３７０、３８０、３９０、４００のうちの１つまたはそれを上回るものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。

スタックされた導波管の図示されるセット６６０は、導波管６７０、６８０、および６９０を含む。各導波管は、関連付けられる内部結合光学要素（導波管上の光入力面積とも称され得る）を含み、例えば、内部結合光学要素７００は、導波管６７０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７１０は、導波管６８０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７２０は、導波管６９０の主要表面（例えば、上側主要表面）上に配置される。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０のうちの１つまたはそれを上回るものは、個別の導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい（特に、１つまたはそれを上回る内部結合光学要素は、反射性偏向光学要素である）。図示されるように、内部結合光学要素７００、７１０、７２０は、その個別の導波管６７０、６８０、６９０の上側主要表面（または次の下側導波管の上部）上に配置されてもよく、特に、それらの内部結合光学要素は、透過性偏向光学要素である。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０は、個別の導波管６７０、６８０、６９０の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、他の光の波長を透過しながら、１つまたはそれを上回る光の波長を選択的に再指向するような波長選択的である。その個別の導波管６７０、６８０、６９０の片側または角に図示されるが、内部結合光学要素７００、７１０、７２０は、いくつかの実施形態では、その個別の導波管６７０、６８０、６９０の他の面積内に配置されてもよいことを理解されたい。

図示されるように、内部結合光学要素７００、７１０、７２０は、これらの内部結合光学要素に伝搬する光の方向における、図示される真正面図に見られるように、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過せずに、光を受光するようにオフセットされてもよい。例えば、各内部結合光学要素７００、７１０、７２０は、図６に示されるように、光を異なる画像投入デバイス３６０、３７０、３８０、３９０、および４００から受光するように構成されてもよく、光を内部結合光学要素７００、７１０、７２０の他のものから実質的に受光しないように、他の内部結合光学要素７００、７１０、７２０から分離されてもよい（例えば、側方に離間される）。

各導波管はまた、関連付けられる光分散要素を含み、例えば、光分散要素７３０は、導波管６７０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７４０は、導波管６８０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７５０は、導波管６９０の主要表面（例えば、上部主要表面）上に配置される。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられる導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられる導波管６７０、６８０、６９０の上部および底部両方の主要表面上に配置されてもよい、または光分散要素７３０、７４０、７５０は、それぞれ、異なる関連付けられる導波管６７０、６８０、６９０内の上部および底部主要表面の異なるもの上に配置されてもよい。

導波管６７０、６８０、６９０は、例えば、材料のガス、液体、および／または固体層によって離間および分離されてもよい。例えば、図示されるように、層７６０ａは、導波管６７０および６８０を分離してもよく、層７６０ｂは、導波管６８０および６９０を分離してもよい。いくつかの実施形態では、層７６０ａおよび７６０ｂは、低屈折率材料（すなわち、導波管６７０、６８０、６９０の直近のものを形成する材料より低い屈折率を有する材料）から形成される。好ましくは、層７６０ａ、７６０ｂを形成する材料の屈折率は、導波管６７０、６８０、６９０を形成する材料の屈折率の０．０５またはそれを上回る、または０．１０またはそれを下回る。有利なこととして、より低い屈折率層７６０ａ、７６０ｂは、導波管６７０、６８０、６９０を通して光の全内部反射（ＴＩＲ）（例えば、各導波管の上部および底部主要表面間のＴＩＲ）を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層７６０ａ、７６０ｂは、空気から形成される。図示されないが、導波管の図示されるセット６６０の上部および底部は、直近クラッディング層を含んでもよいことを理解されたい。

好ましくは、製造および他の考慮点を容易にするために、導波管６７０、６８０、６９０を形成する材料は、類似または同一であって、層７６０ａ、７６０ｂを形成する材料は、類似または同一である。いくつかの実施形態では、導波管６７０、６８０、６９０を形成する材料は、１つまたはそれを上回る導波管間で異なってもよい、および／または層７６０ａ、７６０ｂを形成する材料は、依然として、前述の種々の屈折率関係を保持しながら、異なってもよい。

図９Ａを継続して参照すると、光線７７０、７８０、７９０が、導波管のセット６６０に入射する。光線７７０、７８０、７９０は、１つまたはそれを上回る画像投入デバイス３６０、３７０、３８０、３９０、４００（図６）によって導波管６７０、６８０、６９０の中に投入されてもよいことを理解されたい。

いくつかの実施形態では、光線７７０、７８０、７９０は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素７００、７１０、７２０はそれぞれ、光が、ＴＩＲによって、導波管６７０、６８０、６９０のうちの個別の１つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０はそれぞれ、他の波長を下層導波管および関連付けられる内部結合光学要素に透過させながら、１つまたはそれを上回る特定の光の波長を選択的に偏向させる。

例えば、内部結合光学要素７００は、それぞれ、異なる第２および第３の波長または波長範囲を有する、光線７８０および７９０を透過させながら、第１の波長または波長範囲を有する、光線７７０を偏向させるように構成されてもよい。透過された光線７８０は、第２の波長または波長範囲の光を偏向させるように構成される、内部結合光学要素７１０に衝突し、それによって偏向される。光線７９０は、第３の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素７２０によって偏向される。

図９Ａを継続して参照すると、偏向された光線７７０、７８０、７９０は、対応する導波管６７０、６８０、６９０を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素７００、７１０、７２０は、光をその対応する導波管６７０、６８０、６９０の中に偏向させ、光を対応する導波管の中に内部結合する。光線７７０、７８０、７９０は、光をＴＩＲによって個別の導波管６７０、６８０、６９０を通して伝搬させる角度で偏向される。光線７７０、７８０、７９０は、導波管の対応する光分散要素７３０、７４０、７５０に衝突するまで、ＴＩＲによって個別の導波管６７０、６８０、６９０を通して伝搬する。

ここで図９Ｂを参照すると、図９Ａの複数のスタックされた導波管の実施例の斜視図が、図示される。上記に記載されるように、内部結合された光線７７０、７８０、７９０は、それぞれ、内部結合光学要素７００、７１０、７２０によって偏向され、次いで、それぞれ、導波管６７０、６８０、６９０内でＴＩＲによって伝搬する。光線７７０、７８０、７９０は、次いで、それぞれ、光分散要素７３０、７４０、７５０に衝突する。光分散要素７３０、７４０、７５０は、それぞれ、外部結合光学要素８００、８１０、８２０に向かって伝搬するように、光線７７０、７８０、７９０を偏向させる。

いくつかの実施形態では、光分散要素７３０、７４０、７５０は、直交瞳エクスパンダ（ＯＰＥ）である。いくつかの実施形態では、ＯＰＥは、光を外部結合光学要素８００、８１０、８２０に偏向または分散し、いくつかの実施形態では、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、光分散要素７３０、７４０、７５０は、省略されてもよく、内部結合光学要素７００、７１０、７２０は、光を直接外部結合光学要素８００、８１０、８２０に偏向させるように構成されてもよい。例えば、図９Ａを参照すると、光分散要素７３０、７４０、７５０は、それぞれ、外部結合光学要素８００、８１０、８２０と置換されてもよい。いくつかの実施形態では、外部結合光学要素８００、８１０、８２０は、光を視認者の眼２１０（図７）に指向させる、射出瞳（ＥＰ）または射出瞳エクスパンダ（ＥＰＥ）である。ＯＰＥは、少なくとも１つの軸においてアイボックスの寸法を増加させるように構成されてもよく、ＥＰＥは、ＯＰＥの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。例えば、各ＯＰＥは、光の残りの部分が導波管を辿って伝搬し続けることを可能にしながら、ＯＰＥに衝打する光の一部を同一導波管のＥＰＥに再指向するように構成されてもよい。ＯＰＥへの衝突に応じて、再び、残りの光の別の部分は、ＥＰＥに再指向され、その部分の残りの部分は、導波管等を辿ってさらに伝搬し続ける。同様に、ＥＰＥへの衝打に応じて、衝突光の一部は、導波管からユーザに向かって指向され、その光の残りの部分は、ＥＰに再び衝打するまで、導波管を通して伝搬し続け、その時点で、衝突する光の別の部分は、導波管から指向される等となる。その結果、内部結合された光の単一ビームは、その光の一部がＯＰＥまたはＥＰＥによって再指向される度に、「複製」され、それによって、図６に示されるように、クローン化された光のビーム野を形成し得る。いくつかの実施形態では、ＯＰＥおよび／またはＥＰＥは、光のビームのサイズを修正するように構成されてもよい。

故に、図９Ａおよび９Ｂを参照すると、いくつかの実施形態では、導波管のセット６６０は、原色毎に、導波管６７０、６８０、６９０と、内部結合光学要素７００、７１０、７２０と、光分散要素（例えば、ＯＰＥ）７３０、７４０、７５０と、外部結合光学要素（例えば、ＥＰ）８００、８１０、８２０とを含む。導波管６７０、６８０、６９０は、各１つの間に空隙／クラッディング層を伴ってスタックされてもよい。内部結合光学要素７００、７１０、７２０は（異なる波長の光を受光する異なる内部結合光学要素を用いて）入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波管６７０、６８０、６９０内にＴＩＲをもたらすであろう角度で伝搬する。示される実施例では、光線７７０（例えば、青色光）は、前述の様式において、第１の内部結合光学要素７００によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素（例えば、ＯＰＥ）７３０、次いで、外部結合光学要素（例えば、ＥＰ）８００と相互作用する。光線７８０および７９０（例えば、それぞれ、緑色および赤色光）は、導波管６７０を通して通過し、光線７８０は、内部結合光学要素７１０上に衝突し、それによって偏向される。光線７８０は、次いで、ＴＩＲを介して、導波管６８０を辿ってバウンスし、その光分散要素（例えば、ＯＰＥ）７４０、次いで、外部結合光学要素（例えば、ＥＰ）８１０に進むであろう。最後に、光線７９０（例えば、赤色光）は、導波管６９０を通して通過し、導波管６９０の光内部結合光学要素７２０に衝突する。光内部結合光学要素７２０は、光線が、ＴＩＲによって、光分散要素（例えば、ＯＰＥ）７５０、次いで、ＴＩＲによって、外部結合光学要素（例えば、ＥＰ）８２０に伝搬するように、光線７９０を偏向させる。外部結合光学要素８２０は、次いで、最後に、光線７９０を視認者に外部結合し、視認者はまた、他の導波管６７０、６８０からの外部結合した光も受光する。

図９Ｃは、図９Ａおよび９Ｂの複数のスタックされた導波管の実施例の上下平面図を図示する。本上下図は、内部結合光学要素８００、８１０、８２０に向かう光の伝搬方向に見られるように、真正面図とも称され得る、すなわち、上下図は、画像光がページに対して法線に入射する、導波管の図であることを理解されたい。図示されるように、導波管６７０、６８０、６９０は、各導波管の関連付けられる光分散要素７３０、７４０、７５０および関連付けられる外部結合光学要素８００、８１０、８２０とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する（例えば、上下図に見られるように、側方に離間される）。本明細書でさらに議論されるように、本非重複空間配列は、１対１ベースで異なるソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管に一意に結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。

空間的に重複する面積は、上下図に見られるように、その面積の７０％またはそれを上回る、８０％またはそれを上回る、または９０％またはそれを上回る側方重複を有し得ることを理解されたい。他方では、側方に偏移される面積は、上下図に見られるように、その面積の３０％未満が重複する、２０％未満が重複する、または１０％未満が重複する。いくつかの実施形態では、側方に偏移される面積は、重複を有していない。

図９Ｄは、複数のスタックされた導波管の別の実施例の上下平面図を図示する。図示されるように、導波管６７０、６８０、６９０は、垂直に整合されてもよい。しかしながら、図９Ｃの構成と比較して、別個の光分散要素７３０、７４０、７５０および関連付けられる外部結合光学要素８００、８１０、８２０は、省略される。代わりに、光分散要素および外部結合光学要素が、事実上、重畳され、上下図に見られるように、同一面積を占有する。いくつかの実施形態では、光分散要素（例えば、ＯＰＥ）が、導波管６７０、６８０、６９０の１つの主要表面上に配置されてもよく、外部結合光学要素（例えば、ＥＰＥ）が、それらの導波管の他の主要表面上に配置されてもよい。したがって、各導波管６７０、６８０、６９０は、集合的に、それぞれ、組み合わせられたＯＰＥ／ＥＰＥ １２８１、１２８２、１２８３と称される、重畳された光分散および外部結合光学要素を有してもよい。そのような組み合わせられたＯＰＥ／ＥＰＥに関するさらなる詳細は、２０１８年１２月１４日に出願された、米国特許出願第１６／２２１，３５９号（その開示全体は、参照することによって本明細書に組み込まれる）に見出され得る。内部結合光学要素７００、７１０、７２０は、光を内部結合し、それぞれ、組み合わせられたＯＰＥ／ＥＰＥ １２８１、１２８２、１２８３に指向する。いくつかの実施形態では、図示されるように、内部結合光学要素７００、７１０、７２０は、偏移された瞳空間配列を有する場合、側方に偏移されてもよい（例えば、それらは、図示される上下図に見られるように、側方に離間される）。図９Ｃの構成と同様に、本側方に偏移された空間配列は、１対１のベースで、異なる導波管の中への異なる波長の光の投入を促進する（例えば、異なる光源から）。

図９Ｅは、本明細書に開示される種々の導波管および関連システムが統合され得る、ウェアラブルディスプレイシステム６０の実施例を図示する。いくつかの実施形態では、ディスプレイシステム６０は、図６のシステム２５０であって、図６は、そのシステム６０のいくつかの部分をより詳細に図式的に示す。例えば、図６の導波管アセンブリ２６０は、ディスプレイ７０の一部であってもよい。

図９Ｅを継続して参照すると、ディスプレイシステム６０は、ディスプレイ７０と、そのディスプレイ７０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ７０は、フレーム８０に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者９０によって装着可能であって、ディスプレイ７０をユーザ９０の眼の正面に位置付けるように構成される。ディスプレイ７０は、いくつかの実施形態では、アイウェアと見なされ得る。ディスプレイ７０は、内部結合される画像光を中継し、その画像光をユーザ９０の眼に出力するように構成される、導波管２７０等の１つまたはそれを上回る導波管を含んでもよい。いくつかの実施形態では、スピーカ１００が、フレーム８０に結合され、ユーザ９０の外耳道に隣接して位置付けられるように構成される（いくつかの実施形態では、示されない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供してもよい）。ディスプレイシステム６０はまた、１つまたはそれを上回るマイクロホン１１０または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンドをシステム６０に提供することを可能にするように構成され（例えば、音声メニューコマンドの選択、自然言語質問等）、および／または他の人物（例えば、類似ディスプレイシステムの他のユーザ）とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ（例えば、ユーザおよび／または環境からの音）を収集してもよい。いくつかの実施形態では、ディスプレイシステム６０はさらに、オブジェクト、刺激、人々、動物、場所、またはユーザの周囲の世界の他の側面を検出するように構成される、１つまたはそれを上回る外向きに指向される環境センサ１１２を含んでもよい。例えば、環境センサ１１２は、１つまたはそれを上回るカメラを含んでもよく、これは、例えば、ユーザ９０の通常の視野の少なくとも一部に類似する画像を捕捉するように外向きに向いて位置してもよい。いくつかの実施形態では、ディスプレイシステムはまた、周辺センサ１２０ａを含んでもよく、これは、フレーム８０と別個であって、ユーザ９０の身体（例えば、ユーザ９０の頭部、胴体、四肢等）上に取り付けられてもよい。周辺センサ１２０ａは、いくつかの実施形態では、ユーザ９０の生理学的状態を特徴付けるデータを入手するように構成されてもよい。例えば、センサ１２０ａは、電極であってもよい。

図９Ｅを継続して参照すると、ディスプレイ７０は、有線導線または無線コネクティビティ等の通信リンク１３０によって、ローカルデータ処理モジュール１４０に動作可能に結合され、これは、フレーム８０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ９０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載されてもよい。同様に、センサ１２０ａは、通信リンク１２０ｂ、例えば、有線導線または無線コネクティビティによって、ローカルプロセッサおよびデータモジュール１４０に動作可能に結合されてもよい。ローカル処理およびデータモジュール１４０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリまたはハードディスクドライブ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。随意に、ローカルプロセッサおよびデータモジュール１４０は、１つまたはそれを上回る中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含んでもよい。データは、ａ）センサ（画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ、および／または本明細書に開示される他のセンサ（例えば、フレーム８０に動作可能に結合される、または別様にユーザ９０に取り付けられ得る））から捕捉されるデータ、および／またはｂ）可能性として、処理または読出後にディスプレイ７０への通過のために、遠隔処理モジュール１５０および／または遠隔データリポジトリ１６０（仮想コンテンツに関連するデータを含む）を使用して入手および／または処理されるデータを含んでもよい。ローカル処理およびデータモジュール１４０は、これらの遠隔モジュール１５０、１６０が相互に動作可能に結合され、ローカル処理およびデータモジュール１４０に対するリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク１７０、１８０によって、遠隔処理モジュール１５０および遠隔データリポジトリ１６０に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール１４０は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープのうちの１つまたはそれを上回るものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの１つまたはそれを上回るものは、フレーム８０に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール１４０と通信する、独立構造であってもよい。

図９Ｅを継続して参照すると、いくつかの実施形態では、遠隔処理モジュール１５０は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよく、例えば、１つまたはそれを上回る中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含む。いくつかの実施形態では、遠隔データリポジトリ１６０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、遠隔データリポジトリ１６０は、１つまたはそれを上回る遠隔サーバを含んでもよく、これは、情報、例えば、仮想コンテンツを生成するための情報をローカル処理およびデータモジュール１４０および／または遠隔処理モジュール１５０に提供する。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。随意に、ＣＰＵ、ＧＰＵ等を含む、外部システム（例えば、１つまたはそれを上回るプロセッサ、１つまたはそれを上回るコンピュータのシステム）が、処理（例えば、画像情報を生成する、データを処理する）の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール１４０、１５０、１６０に提供し、情報をそこから受信してもよい。
向上された眼追跡技法

上記に説明されるように、ディスプレイシステム（例えば、ディスプレイシステム６０）は、ユーザの眼を追跡し、ユーザへの仮想コンテンツの提示を知らせてもよい。ユーザの眼を追跡するための例示的技法は、多数の発光ダイオード（ＬＥＤ）の使用を含んでもよい。例えば、ＬＥＤは、ＬＥＤからの光がユーザの眼上に投影されるように、ディスプレイシステム上に位置付けられてもよい。いくつかの実施形態では、光は、ユーザの瞳孔上に投影されてもよい。１つまたはそれを上回る結像デバイス（例えば、カメラ）が、ユーザの眼の画像を取得するために使用されてもよい。ユーザの眼の画像は、したがって、ＬＥＤのうちの少なくともいくつかから眼上に反射された光を含むであろう。本反射された光は、ＬＥＤからの閃光を表し得、閃光は、画像内に再現され得る。閃光の位置に基づいて、眼の眼姿勢が、決定されてもよい。例えば、眼の配向が、決定されてもよい。

ユーザの眼の画像を取得するために使用される結像デバイスは、限定されたダイナミックレンジを有してもよい。例えば、画像は、特定の露光（例えば、特定の露光時間、Ｆ値、ＩＳＯ値等）を使用して取得される、低ダイナミックレンジ（ＬＤＲ）画像であってもよい。したがって、ＬＤＲ画像のある部分は、限定されたダイナミックレンジを前提として、露光不足または過剰露光であり得る。これらの部分は、同一または類似し、したがって、詳細の損失を有する、ピクセル値を割り当てられ得る。

上記に説明される部分は、一般に、ＬＥＤからの閃光を含み得る。例えば、閃光は、ユーザの眼の異種部分を通した反射を含み得る。ＬＤＲ画像では、これらの反射は、限定されたダイナミックレンジに基づいて、同一または類似ピクセル値として割り当てられ得ない。したがって、閃光および眼内のその対応しない反射の一貫した識別に関する正確な決定は、困難であり得る。このように、ＬＤＲ画像内に含まれる閃光は、サイズが不正確に拡張される、または不規則的詳細（例えば、後尾部）を含み得る。閃光の位置を決定することと関連付けられる正確度は、したがって、低減され得る。本低減された正確度は、眼姿勢を決定することと関連付けられる正確度の損失に変換され得る。

説明されるであろうように、ディスプレイシステムは、例示的機械学習技法を利用して、高ダイナミックレンジ（ＨＤＲ）画像をＬＤＲ画像から生成してもよい。これらのＨＤＲ画像は、少なくとも、上記に説明される閃光に関して、より優れたダイナミックレンジを可能にし得る。したがって、ディスプレイシステムは、閃光の位置をより正確に決定し得る。例えば、閃光と関連付けられる形状が、ＨＤＲ画像内でより正確に再現され得る。別の実施例として、ある不規則的特徴（例えば、後尾部）は、ＬＤＲ画像と比較して、低減され得る。

有利なこととして、ディスプレイシステムは、ある機械学習モデルを利用してもよく、これは、ＨＤＲ画像を生成するように事前に訓練される。例えば、ディスプレイシステムは、畳み込みニューラルネットワークのフォワードパスを算出してもよく、これは、様々な画像を使用して、事前に訓練されてもよい。本実施例では、畳み込みニューラルネットワークは、ネットワークが容易に取得され（例えば、第三者から）、ディスプレイシステム内で利用されることを可能にしながら、眼追跡に対して増加された正確度を可能にし得る。

いくつかの実施形態では、説明されるであろうように、システムが、閃光を描写する画像を使用して、機械学習モデルを訓練してもよい。機械学習モデルを訓練する、システムは、ＬＤＲ画像および対応するＨＤＲ画像を取得してもよい。機械学習モデルは、次いで、入力としてのＬＤＲ画像を前提として、ＨＤＲ画像を再現するように訓練されてもよい。実施例として、機械学習モデルは、図１１に図示される自動エンコーダを表し得る。ＬＤＲ画像および対応するＨＤＲ画像を取得することは、ユーザの眼を結像するとき、非実践的であり得る。例えば、ＨＤＲ画像を生成するために、本システムは、異なる露光を伴う複数のＬＤＲ画像を要求し得る。上記に説明されるように、ユーザの眼は、非常に急速に移動するため、その中で眼が実質的に固定される、複数のＬＤＲ画像を取得することができ得ない。

有利なこととして、本システムは、眼球カメラリグを使用して、ＬＤＲ画像を取得してもよい。眼球カメラリグは、ＬＥＤおよび１つまたはそれを上回る結像デバイスとともに、ヒトの眼の表現（例えば、偽の眼球）を含んでもよい。眼球カメラリグは、本明細書に説明されるディスプレイシステム内でユーザの眼を実質的に模倣するように準備されてもよい。眼球カメラリグは、眼の配向等のパラメータを設定するように制御されてもよい。このように、本システムは、ヒトの眼の表現を特定の配向に設定させてもよい。本システムは、次いで、多数のＬＤＲ画像を特定の配向において取得してもよい。これらのＬＤＲ画像は、次いで、ＨＤＲ画像に組み合わせられてもよい。

このように、本システムは、機械学習モデルを訓練するために使用可能な訓練データを取得してもよい。訓練データは、拡張または仮想現実眼追跡に特有であるため、ＨＤＲ画像を生成する結果として生じる正確度は、「既製品」機械学習モデルと比較して、向上され得る。眼球カメラリグのさらなる説明は、例えば、米国仮特許出願第６２／８７３，６４１号に説明されるシステム１００に対する米国仮特許出願第６２／８７３，６４１号内に含まれる。米国仮特許出願第６２／８７３，６４１号は、参照することによってその全体として本明細書に組み込まれる。

図１０Ａは、ディスプレイシステムの結像デバイスを介して取得される、眼１００２の画像１０００を表す。眼１００２の画像１０００は、ディスプレイシステムの発光ダイオード（ＬＥＤ）から反射された光を描写する。いくつかの実施形態では、ＬＥＤは、赤外線光を出力してもよい。本明細書に説明されるように、ＬＥＤから反射された光は、閃光（例えば、閃光１００４－１００６）と称され得る。

眼１００２と関連付けられる姿勢を決定するために、ディスプレイシステムは、閃光１００４－１００６の位置を決定してもよい。いくつかの実施形態では、ＬＥＤは、光を眼１００２の瞳孔１００８に提供してもよい。したがって、瞳孔１００８は、その上に閃光１００４－１００６が結像され得る、対比背景を表し得る。

閃光１００４－１００６は、画像１０００内で過剰露光され得る。例えば、画像１０００は、眼１００２の低ダイナミックレンジ（ＬＤＲ）画像であり得る。本実施例では、眼１００２の画像は、画像１０００のダイナミックレンジが限定され得るような特定の露光において取得され得る。瞳孔は、いくつかの実施形態では、閃光１００４－１００６より実質的に暗くあり得るため、閃光は、画像１０００内で類似ピクセル値を割り当てられ得る。

ピクセル値の本類似割当は、不正確性を画像１０００内の結果として生じる閃光に導入し得る。例えば、ＬＥＤの光は、眼（例えば、眼の異なる層または部分）内で反射され得る。限定されたダイナミックレンジに起因して、画像１０００は、類似ピクセル値を伴って、光およびその種々の反射を描写し得る。例えば、光および反射は、画像１０００内の光輝部として描写され得る。このように、ＬＥＤの光の描写は、反射に起因して、拡張され得る。加えて、反射は、不規則的特徴が画像１０００内に描写される閃光に追加される結果をもたらし得る。例えば、ＬＥＤの光は、後尾部が閃光の長円形または円形部分から延在する閃光として、画像１０００に描写され得る。

したがって、閃光１００４－１００６と関連付けられる、個別の形状は、少なくとも部分的に、これらの反射の追加に起因して、正しくなくなり得る。ＬＤＲ画像を前提として、ディスプレイシステムは、眼の特定の表面（例えば、上部表面層）上に反射されるようなＬＥＤの光と眼１００２内の他の表面から反射されるようなＬＥＤの光との間で弁別することが不可能であり得る。したがって、ディスプレイシステムは、閃光１００４－１００６の位置を決定することと関連付けられる正確度において制約され得る。

図１０Ｂは、ＨＤＲ画像１０１４を低ダイナミックレンジ（ＬＤＲ）画像１０１２から生成するために使用可能な高ダイナミックレンジ（ＨＤＲ）変換モデル１０１０のブロック図を図示する。いくつかの実施形態では、ＨＤＲ変換モデル１０１０は、図１１に図示されるモデルであってもよい。

図示される実施例では、ＬＤＲ画像１０１２は、閃光１０１６の表現を含み、これは、過剰露光されている。閃光１０１６は、ユーザの眼内のＬＥＤの光の反射から生じ得る、後尾部１０１８とともに、画像１０１２に図示される。後尾部のサイズは、不規則的であり得、ＬＥＤに対する眼の配向に伴って変動し得る。

ディスプレイシステムは、ＨＤＲ変換モデル１０１０を介して、ＨＤＲ画像１０１４を生成し、ダイナミックレンジの拡張をシミュレートしてもよい。図示されるように、閃光１０１６は、サイズが低減されている。例えば、上側長円形または円形部分は、面積が低減されている。加えて、後尾部１０１２は、ＬＤＲ画像１０１２と比較して、サイズが低減されている。

図１２に関して下記にさらに詳細に説明されるであろうように、ＨＤＲ画像１０１４は、眼姿勢のより正確な決定を可能にし得る。例えば、閃光１０１６の位置は、ＨＤＲ画像１０１４内では、ＬＤＲ画像１０１２と比較して、より正確に決定され得る。

図１１は、ＨＤＲ画像をＬＤＲ画像から生成するために使用可能な例示的機械学習モデル１１００を図示する。例示的モデル１１００は、自動エンコーダを表し得、その中でエンコーダ部分１１０２は、ＬＤＲ画像の潜在的特徴表現を生成する。デコーダ部分１１０４は、次いで、潜在的特徴表現に基づいて、ＨＤＲ画像を生成してもよい。

エンコーダ部分１１０２は、多数の層を含む。例示的層は、畳み込み層と、プーリング層とを含む。いくつかの実施形態では、入力層１１０６は、特定の幅および高さ（例えば、３２０×３２０）である、ＬＤＲ画像を受信してもよい。ＬＤＲ画像は、加えて、閾値数のチャネル（例えば、３２０×３２０×３）が存在するように、色情報を含んでもよい。本明細書に説明されるディスプレイシステム等のシステムは、次いで、フォワードパスを算出し、潜在的特徴表現を生成してもよい。

入力層１１０６は、いくつかの実施形態では、あるサイズ（例えば、３２０×３２０×３）のＬＤＲ画像を受信するように図示されるが、幅および高さは、異なってもよい。実施例として、幅および高さは、ディスプレイシステムの結像デバイスを介して取得される、画像の幅および高さに対応し得る。いくつかの実施形態では、本幅および高さは、４００×４００であってもよい。本増加された幅および高さは、潜在的空間表現のサイズを増加させることによって、より優れたモデル予測正確度を可能にし得る。加えて、入力層を結像デバイスによって生成された画像のサイズに合致させることは、正確度を増加させる結果をもたらし得る。随意に、いくつかの実施形態では、入力ＬＤＲ画像は、モノクロであってもよい。したがって、入力画像は、４００×４００×１であってもよい。いくつかの実施形態では、入力画像の値と関連付けられるビット深度が、設定されてもよい。例えば、８ビットが、ビット深度として使用されてもよい。

例示的モデル１１００では、スキップ接続が、含まれる（例えば、接続１１０８）。これらのスキップ接続は、入力ＬＤＲ画像から生成された情報をデコーダ部分１１０４に提供するために使用されてもよい。例えば、スキップ接続は、ＬＤＲディスプレイ値から対数ＨＤＲへのドメイン変換を含んでもよい。スキップ接続の融合は、スキップ層（例えば、層１１１０）における追加を実施するために初期化されてもよい。例えば、スキップ層１１１０は、特徴寸法に沿って、１１０８から受信された情報とデコーダ部分１１０４の層を連結してもよい。

図１１に図示されるモデル１１００は、実施例であることを理解されたい。したがって、層が、追加され、または除去されても、本明細書の本開示の範囲内に該当することになり得る。加えて、フィルタサイズ、活性化関数等が、調節されても、本明細書の本開示の範囲内に該当することになり得る。

図１２は、ＬＤＲ画像内に表される閃光と関連付けられる、場所情報を決定するための例示的プロセス１２００のフローチャートである。便宜上、プロセス１２００は、１つまたはそれを上回るプロセッサのディスプレイシステム（例えば、ディスプレイシステム６０）によって実施されるものとして説明されるであろう。プロセス１２００はまた、較正プロセスの間に実施されてもよく、１つまたはそれを上回るプロセッサのシステムによって実施されてもよい。本システムは、下記にさらに詳細に説明されるように、眼球カメラリグを制御してもよい。

ブロック１２０２では、ディスプレイシステムが、ＬＤＲ画像を取得する。上記に説明されるように、ディスプレイシステムは、画像捕捉アセンブリ６３０を含み、ユーザの眼の画像を取得してもよい。画像捕捉アセンブリ６３０は、カメラ等の１つまたはそれを上回る画像捕捉デバイスを含んでもよい。カメラからの画像は、制約されたダイナミックレンジを伴う、標準的画像等のＬＤＲ画像であってもよい。

ディスプレイシステムの動作の間、ディスプレイシステムは、眼追跡において使用するためのＬＤＲ画像を取得してもよい。例えば、ＬＥＤが、ＬＥＤからの光がユーザの眼上に提供されるように、ディスプレイシステム上に位置付けられてもよい。ＬＤＲ画像は、したがって、ＬＥＤから反射された光を表す、閃光を含み得る。閃光を描写する例示的画像は、図１０Ａに関して上記に説明される。

ブロック１２０４では、ディスプレイシステムが、ＨＤＲ変換モデルのフォワードパスを算出する。ディスプレイシステムは、ローカルでフォワードパスを算出し得るように、ＨＤＲ変換モデルを記憶されてもよい（例えば、モデル１１００）。いくつかの実施形態では、ディスプレイシステムは、ＬＤＲ画像を外部デバイスまたはシステムに提供してもよい（例えば、有線または無線接続を介して）。外部デバイスまたはシステムは、次いで、フォワードパスを算出してもよい。

いくつかの実施形態では、ディスプレイシステムは、ニューラルネットワークの層を通したフォワードパスを要求しない、機械学習技法または他の技法を使用してもよい。例えば、トーンマップの適用に依拠する、技法が、採用されてもよい。

ブロック１２０６では、ディスプレイシステムが、結果として生じるＨＤＲ画像を取得する。ＨＤＲ変換モデルに基づいて、ディスプレイシステムは、拡張されたダイナミックレンジをシミュレートするように調節されている、ＨＤＲ画像を取得してもよい。いくつかの実施形態では、ディスプレイシステムは、ＨＤＲ画像の付加的処理を実施してもよい。例えば、画像は、鮮明化されてもよい（例えば、脱マスク鮮明化が、適用されてもよい）。別の実施例として、ディスプレイシステムは、あるタイプの歪曲を補正してもよい。本実施例では、ディスプレイシステムは、ディスプレイシステムの結像デバイスと関連付けられることが既知である、歪曲（例えば、レンズ歪曲）を補正してもよい。例えば、バレルまたはピンクッション歪曲が、補正されてもよい。随意に、上記に説明される付加的処理は、ＬＤＲ画像上で実施されてもよい。

ブロック１２０８では、ディスプレイシステムが、閃光と関連付けられる、場所情報を決定する。いくつかの実施形態では、ディスプレイシステムは、ＨＤＲ画像内の各閃光と関連付けられる、着目領域を決定することができる。例えば、ディスプレイシステムは、閃光と背景眼との間の分離を決定してもよい。本実施例では、眼は、閃光より実質的に暗くあり得ることを理解されたい。ディスプレイシステムは、次いで、特定の着目領域と関連付けられる、平均Ｘ値および平均Ｙ値を決定してもよい。特定の着目領域は、関連付けられる閃光の境界を表し得る。例えば、特定の着目領域は、関連付けられる閃光の境界を示す、境界ボックスであってもよい、またはポリゴンまたは曲線であってもよい。

例えば、特定の着目領域に関して、ディスプレイシステムは、ピクセル値をＹ方向に追加してもよい。本実施例では、ディスプレイシステムは、これらの値に基づいて、分布（例えば、ガウス分布）を決定してもよい。ディスプレイシステムは、次いで、分布に基づいて、最高ピクセル値を選択してもよく、最高ピクセル値は、Ｙ方向における重心に対応する。このように、ディスプレイシステムは、閃光の位置に対応する、Ｘ値およびＹ値を決定してもよい。

いくつかの実施形態では、ディスプレイシステムは、機械学習技法を使用して、位置をＨＤＲ画像内に表される各閃光に割り当ててもよい。例えば、ニューラルネットワークは、閃光の画像と、閃光の位置を示すグラウンドトゥルース標識とに基づいて、訓練されてもよい。訓練機械学習モデルの使用に関連する付加的説明は、下記に含まれる。

図１２は、ＨＤＲ画像をユーザの眼のＬＤＲ画像から生成するためのディスプレイシステムの使用を説明する。いくつかの実施形態では、プロセス１２００は、較正プロセスの一部として実施されてもよい。例えば、ＬＥＤ、結像デバイス等の位置が、較正されてもよい。本較正プロセスは、初期設定プロセスの間、ユーザによって実施されてもよい。較正プロセスはさらに、システムによって実施され、ディスプレイシステムによって使用されるべき設定またはディスプレイシステムのＬＥＤまたは結像デバイスの位置を知らせてもよい。例えば、本システムは、較正のために、眼球カメラリグを制御してもよい。

眼球カメラリグの実施例に関して、眼球カメラリグのＬＤＲ画像が、取得されてもよい。説明されるであろうように、眼球カメラリグは、眼球の表現を含んでもよく、これは、本システムによって、特定の眼姿勢（例えば、配向）に設定されてもよい。眼球カメラリグはさらに、ＬＥＤと、１つまたはそれを上回る結像デバイスとを含んでもよい。したがって、本システムは、眼球カメラリグに、眼の表現のＬＤＲ画像を取得させてもよい。本システムは、次いで、ＨＤＲ画像を生成し、ＨＤＲ画像内の閃光の位置を決定してもよい。

いくつかの実施形態では、本システムは、決定された位置に基づいて、較正プロセスを実施してもよい。例えば、本システムは、あるＬＥＤが場所において調節される必要があることを決定し得る（例えば、それらが表現の瞳孔の外側にあり得る、ある眼姿勢に関して）。別の実施例として、本システムは、各ＬＥＤと関連付けられる、パルス幅変調を更新してもよい。例えば、本システムは、ＬＥＤの明度が、高すぎるまたは低すぎることを決定し得る。別の実施例として、本システムは、結像デバイスに関する露光情報を決定してもよい。例えば、本システムは、シャッタ速度がより高くあるべきであること、またはＩＳＯ値が調節されるべきであることを決定し得る。

較正プロセスは、工場内較正を可能にし得る。例えば、これは、本明細書に説明される閃光の重心を見出すことを向上させる、したがって、較正正確度を向上させ得る。製造ラインにおいて可能性として考えられる、過剰露光または露光不足を回避するために、本明細書に説明される技法は、閃光強度をより良好な範囲に調節すること、故に、より良好なドット重心の発見およびより正確な較正に役立つことができる。
訓練データを生成するための技法

ＨＤＲ画像を生成するために、事前に訓練された機械学習モデルが、使用されてもよい。例えば、ディスプレイシステムは、機械学習モデルのために事前に訓練された加重を取得してもよい。本実施例では、加重は、可変主題のＬＤＲおよびＨＤＲ画像を備える、訓練データを使用して決定されている場合がある。これは、閃光の位置を決定することに関して向上された正確度を提供し得るが、いくつかの実施形態では、眼追跡に特有の訓練データが、使用されてもよい。

例えば、説明されるであろうように、閃光のＬＤＲ画像および対応するＨＤＲ画像が、取得されてもよい。本実施例では、眼球カメラリグが、使用されてもよい。眼球カメラリグを使用して取得される例示的画像は、図１４Ａ－１４Ｂに図示される。眼球カメラリグは、眼の表現を含んでもよく、表現に関する配向（例えば、眼姿勢）を規定するように調節可能であってもよい。本実施例では、多数のＬＤＲ画像が、特定の配向において、眼球カメラリグから取得されてもよい。結果として生じるＨＤＲ画像が、次いで、これらのＬＤＲ画像から生成されてもよい。ＬＤＲ画像および結果として生じるＨＤＲ画像は、次いで、訓練データとして使用されてもよい。

いくつかの実施形態では、転移学習技法が、機械学習モデルの事前に訓練された加重を調節するために使用されてもよい。例えば、システムは、逆伝搬技法を使用して、加重の値を更新してもよい。

随意に、機械学習モデルは、最初に、第三者ソースから取得される多数の訓練画像を使用して訓練されてもよい。本実施例では、訓練画像は、本明細書に説明される眼追跡画像とある類似性を共有すると識別され得る。実施例として、それらは、光輝部を伴う、実質的に暗い背景を描写すると識別され得る。本実施例では、機械学習モデルが、画像の大規模な公的に入手可能なデータセットを分析することを介して、これらの画像を識別するために使用されてもよい。随意に、画像と関連付けられる標識が、初期訓練画像の選択を知らせるために使用されてもよい。

初期訓練画像は、次いで、機械学習モデルを訓練するために使用されてもよい。続いて、本システムは、上記に説明される眼球カメラを使用して取得される画像に基づいて、加重を更新してもよい。このように、実施例として、訓練画像における変動に起因して、結果として生じるモデルは、よりロバストなネットワークを提供し、ＨＤＲ画像を生成し得る。

図１３は、ＨＤＲ変換モデルを訓練するための例示的プロセスのフローチャートである。便宜上、プロセス１３００は、１つまたはそれを上回るプロセッサのシステムによって実施されるものとして説明されるであろう。いくつかの実施形態では、本システムは、機械学習モデルと関連付けられる加重を生成してもよい。本システムは、加えて、１つまたはそれを上回るディスプレイシステムによる生成された加重へのアクセスを有効にしてもよい。

ブロック１３０２では、本システムが、眼球カメラリグのパラメータを設定する。上記に説明されるように、眼球カメラリグは、ディスプレイシステムから取得され得る、実際（例えば、ヒト）の眼の画像を模倣する、画像を取得するために使用可能なシステムを表し得る。例えば、眼球カメラリグは、ヒトの眼球に近似的に類似する、１つまたはそれを上回るレンズおよび／または他の光学コンポーネントから形成され得るような眼球の表現（「眼球複製」とも称される）を含んでもよい。別の実施例として、眼球カメラリグは、ＬＥＤと、１つまたはそれを上回る結像デバイスとを含んでもよい。眼球カメラリグに関連する付加的説明は、米国仮特許出願第６２／８７３，６４１号（参照することによってその全体として本明細書に組み込まれる）内に含まれる。

眼球カメラリグは、本システムによって、眼球複製の配向（例えば、「姿勢」）を規定するように制御されてもよい。例えば、本システムは、眼球複製が１つまたはそれを上回る軸の周囲で平行移動および／または回転するように示し得る。本システムによって制御され得る、付加的パラメータは、各ＬＥＤのパルス幅変調、結像デバイスの露光情報（例えば、シャッタ速度、利得等のＩＳＯ値、およびＦ値）、背景光（例えば、眼球カメラリグの外側の背景光の強度、背景光の位置、背景光の色または波長スペクトル情報）等を含む。

十分な訓練データを作成するために、本システムは、周期的に、パラメータを調節し、広範囲の訓練画像を取得してもよい。例えば、本システムは、眼の表現を離散ステップにおいて調節し、多数の配向を伴う画像を取得してもよい。例えば、眼球複製の姿勢は、眼球複製の画像が既知の眼姿勢において取得される間、Ｘ秒（例えば、１、２、１０、３０、６０秒、またはそれを上回る）毎に、若干異なる姿勢に調節されてもよい。別の実施例として、配向毎に、本システムは、各ＬＥＤの強度を調節してもよい。別の実施例として、配向毎に、ディスプレイシステムは、露光値を調節してもよい。別の実施例として、配向毎に、ディスプレイシステムは、背景光を調節し、その中にユーザが位置し得る、異なる実世界環境をシミュレートしてもよい。

ブロック１３０４では、本システムが、パラメータに関する多数の画像を取得する。眼球複製の特定の配向において、本システムは、多数の画像（例えば、２つの画像、３つの画像、５つの画像）を取得してもよい。上記に説明されるように、パラメータは、異なる露光値を示してもよい。したがって、本システムは、異なる露光値を伴う、多数のＬＤＲ画像を取得してもよい。

ブロック１３０６では、本システムが、ＨＤＲ画像を生成する。特定の配向に関する多数のＬＤＲ画像を使用して、本システムは、ＨＤＲ画像を生成してもよい。例えば、ＬＤＲ画像は、組み合わせられ、表されることが可能なダイナミックレンジを増加させてもよい。

ブロック１３０８では、本システムが、ＨＤＲ変換モデルを訓練する。図１１に図示される自動エンコーダに関して、本システムは、モデル１１００を訓練し、ＬＤＲ画像を前提として生成されたＨＤＲ画像を再現してもよい。随意に、本システムは、モデル１１００を訓練し、同様に生産環境内で使用される露光を使用する、ＬＤＲ画像のみを前提として生成されたＨＤＲ画像を再現してもよい。例えば、本システムは、ディスプレイシステムのエンドユーザを結像するとき、結像デバイスによって使用される同一または実質的に類似する露光に対応する、ＬＤＲ画像を選択してもよい。訓練の実施例として、逆伝搬技法が、モデル１１００の加重を更新するために使用されてもよい。加えて、潜在的特徴変数と関連付けられる分布（例えば、ガウス分布）が、更新されてもよい。

図１４Ａは、本明細書に説明される技法による、眼球複製１４０６を含む、眼球カメラリグ１４０２のＬＤＲ画像１４００の実施例を図示する。ＬＤＲ画像１４００は、眼球カメラリグ１４０２の結像デバイスによって取得される画像を表し得る。例えば、図１３に説明されるシステムは、設定パラメータを有し、眼球カメラリグ１４０２に、眼球複製１４０６の平行移動および／または回転を定義させてもよい。本システムは、次いで、結像デバイスをトリガし、ＬＤＲ画像１４００を取得してもよい。

画像１４００は、眼球複製１４０６上に描写される、多数の閃光１４０４Ａ－１４０４Ｄを含む。図１３に説明されるように、ＬＤＲ画像１４００は、ＨＤＲ変換モデルに関する訓練情報として使用されてもよい。例えば、ＬＤＲ画像１４００は、特定の露光において取得されてもよい。本システムは、眼球複製１４０６が同一姿勢のままである間、異なる露光において、１つまたはそれを上回る他のＬＤＲ画像を取得させてもよい。

いくつかの実施形態では、ＬＤＲ画像１４００は、訓練デーとして使用されることに先立って、処理されてもよい。例えば、眼球複製１４０６は、ＬＤＲ画像１４００内に留保され得る一方、他の部分は、種々のデジタル画像処理技法等を通して、除去されてもよい。

図１４Ｂは、本明細書に説明される技法による、眼球カメラリグのＨＤＲ画像１４１０の実施例を図示する。ＨＤＲ画像１４１０は、本システムによって多数のＬＤＲ画像から生成されたＨＤＲ画像を表し得る。ＨＤＲ画像１４１０はまた、ＬＤＲ画像１４００をＨＤＲ変換モデルへの入力としてを使用して、本システムによって生成されたＨＤＲ画像を表し得る。図示されるように、ＬＤＲ画像１４００内の閃光１４０４Ｄは、ＨＤＲ画像１４１０内で更新されてもよい。例えば、対応する閃光１４１４Ｄは、閃光１４１４Ｄの位置がより容易に決定され得るように調節されてもよい。

図１３－１４Ｂの説明は、訓練データを生成し、ＨＤＲ画像を生成することに焦点を当てるが、いくつかの実施形態では、訓練データは、閃光の位置を反映させてもよい。例えば、ＬＤＲ画像を生成することに加え、本システムは、閃光の位置をＬＤＲ画像内で標識してもよい。本実施例では、位置は、本システムによって設定されたパラメータに基づいて決定されてもよい。例えば、本システムは、眼球複製の、特定の平行移動および／または回転を示す、パラメータを設定してもよい。本システムはまた、ＬＥＤの既知の位置へのアクセスを有してもよい。したがって、本システムは、そこでＬＥＤが結像デバイスによって取得される画像内で可視であるべき、位置を識別してもよい。実施例として、本システムは、ＬＥＤを結像デバイスと関連付けられる画像空間の中に平行移動させてもよい。

これらの位置は、ＨＤＲ変換モデル等の機械学習モデルによって、グラウンドトゥルース標識として使用されてもよい。このように、モデルは、ある位置に対応するものとして、閃光を標識するように訓練されてもよい。随意に、いくつかの実施形態では、機械学習モデルは、ＬＤＲ画像をＨＤＲ画像に変換せずに、閃光の位置を標識するように訓練されてもよい。ＨＤＲ画像を伴わずに、閃光の位置を標識するための技法は、図１５に関して下記にさらに詳細に説明される。

図１５は、ニューラルネットワークを訓練するためのグラウンドトゥルース画像を取得するために設定される結像パラメータを伴う、眼球カメラリグの画像１５００の実施例である。例えば、結像パラメータ（例えば、カメラ露光、利得、ＰＷＭ等）が、非常に暗く、閃光の中心以外の特徴を実質的に除外する、画像を取得するために設定されてもよい。随意に、そのような画像は、ＣＮＮ訓練において使用され、ＬＤＲ画像をＨＤＲ画像により正確に変換し得る、ニューラルネットワークを展開するために使用されてもよい。画像１５００は、その中でニューラルネットワークは、ＨＤＲ画像を入力ＬＤＲ画像から生成し、位置を入力画像内の閃光に割り当てるように訓練される、エンドツーエンド訓練技法の一部として使用されてもよい。

いくつかの実施形態では、機械学習モデルは、閃光を描写する入力画像に基づいて、閃光の位置を標識するように訓練されてもよい。これらの実施形態では、眼球カメラリグは、眼球カメラリグの眼球の配向を設定するために利用されてもよい。例えば、１つまたはそれを上回る軸を中心とした回転および／または平行移動が、設定されてもよい。

いったん配向が、設定されると、上記に説明されるシステムは、取得された画像内の閃光が十分に暗くなるまで、パラメータを調節してもよい。閃光を暗くさせるために、本システムは、ＬＥＤのパルス幅変調を低減させてもよく、および／または結像デバイスの露光を調節してもよい。例えば、画像１５００は、閃光１５０２Ａ－１５０２Ｄを描写し、これは、十分に暗く、閃光の過露光を排除する。加えて、図示されるように、閃光１５０２Ａ－１５０２Ｄは、図１０Ｂにおいて含まれる不規則的部分（例えば、後尾部部分）を含まない。

本システムは、したがって、ＸおよびＹ次元において、各閃光の重心を決定し得る。例えば、本システムは、各次元に沿って、ガウス分布を決定し、最高値を伴う、画像１５００内の場所を識別してもよい。これは、本システムが、サブピクセル正確度を伴って、各閃光の場所を決定することを可能にし得る。

続いて、本システムは、パルス幅変調または露光を増加させ、閃光をより明るくさせてもよい。本システムは、図１０Ｂに図示される閃光１０１６により類似した状態になる、閃光を描写する、１つまたはそれを上回る画像を取得してもよい。暗い閃光を有することは、生産およびユーザによるディスプレイシステムの使用の間は、非実践的であり得るため、本システムは、閃光１０１６のものに類似するまで、閃光の明度を上昇させ得る。

畳み込みまたは全結合ニューラルネットワーク等の機械学習モデルが、次いで、決定された閃光場所を画像のそれぞれに割り当てるように訓練されてもよい。したがって、機械学習モデルは、閃光１５０２Ａ－１５０２Ｄと個別の決定された場所を関連付けてもよい。加えて、機械学習モデルはまた、後続画像内で明化された閃光と個別の決定された場所を関連付けてもよい。これらの明化された閃光は、後尾部等の不規則的部分を有し得るため、機械学習モデルは、不規則的部分に関係なく、正しい場所を決定するように学習し得る。

結果として生じる機械学習モデルは、次いで、実装のためのディスプレイシステムに提供され得る。
例示的実装

本明細書に説明されるシステム、方法、およびデバイスはそれぞれ、いくつかの側面を有するが、そのうちの単一のいずれかのみが、その望ましい属性に関与するわけではなく。本開示の範囲を限定することなく、いくつかの非限定的特徴が、ここで、簡単に議論されるであろう。以下の段落は、本明細書に説明されるデバイス、システム、および方法の種々の例示的実装を説明する。１つまたはそれを上回るコンピュータのシステムは、動作時、システムに、アクションを実施させる、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせをシステム上にインストールさせることによって、特定の動作またはアクションを実施するように構成されることができる。１つまたはそれを上回るコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実施させる、命令を含むことによって、特定の動作またはアクションを実施するように構成されることができる。

実施例１：１つまたはそれを上回るプロセッサの拡張または仮想現実ウェアラブルシステムによって実装される方法であって、ウェアラブルシステムのユーザの眼の画像を取得することであって、画像は、個別の光エミッタによって生じる眼上の閃光を描写し、画像は、低ダイナミックレンジ（ＬＤＲ）画像である、ことと、画像を使用して、機械学習モデルのフォワードパスの算出を介して、高ダイナミックレンジ（ＨＤＲ）画像を生成することと、ＨＤＲ画像に描写されるような閃光と関連付けられる、場所情報を決定することであって、場所情報は、眼の眼姿勢を知らせるために使用可能である、こととを含む、方法。

実施例２：画像は、ウェアラブルシステムの結像デバイスと関連付けられる、特定の露光を用いて取得される、実施例１に記載の方法。

実施例３：光エミッタは、発光ダイオードである、実施例１に記載の方法。

実施例４：光エミッタは、赤外線発光ダイオードである、実施例１に記載の方法。

実施例５：機械学習モデルは、畳み込みニューラルネットワークである、実施例１に記載の方法。

実施例６：機械学習モデルは、複数の畳み込み層を伴う、自動エンコーダであって、自動エンコーダは、画像と関連付けられる潜在的特徴表現を生成する、エンコーダ部分と、潜在的特徴表現に基づいて、ＨＤＲ画像を生成する、デコーダ部分とを含む、実施例１に記載の方法。

実施例７：１つまたはそれを上回るスキップ接続が、エンコーダ部分およびデコーダ部分を接続し、スキップ接続は、ドメイン転送情報をエンコーダ部分からデコーダ部分に提供する、実施例６に記載の方法。

実施例８：ドメイン転送情報は、画像のＬＤＲディスプレイ値から生成された対数ＨＤＲ値を備える、実施例７に記載の方法。

実施例９：閃光は、眼の瞳孔上に描写される、実施例１に記載の方法。

実施例１０：画像内に描写される閃光は、ＨＤＲ画像に描写される閃光のサイズを上回る、実施例１に記載の方法。

実施例１１：画像内に描写される各閃光は、ＨＤＲ画像内に含まれる対応する閃光より大きい不規則的部分を含む、実施例１に記載の方法。

実施例１２：不規則的部分は、閃光の長円形または円形部分から延在する、後尾部である、実施例１１に記載の方法。

実施例１３：機械学習モデルは、訓練データに基づいて、ＨＤＲ画像を対応するＬＤＲ画像から生成するように訓練され、訓練データは、多数のＬＤＲ画像およびＨＤＲ画像対を備え、ＬＤＲ画像およびＨＤＲ画像対は、眼球カメラリグを使用して生成される、実施例１に記載の方法。

実施例１４：眼球カメラリグは、眼球の表現、複数の光エミッタ、および１つまたはそれを上回る結像デバイスを備える、実施例１３に記載の方法。

実施例１５：眼球カメラリグは、１つまたはそれを上回るプロセッサのシステムによって制御可能であって、本システムは、眼球カメラリグを制御するためのパラメータを規定し、パラメータは、眼球複製の配向、光エミッタのパルス幅変調、または結像デバイスに関する露光情報のうちの１つまたはそれを上回るものを備える、実施例１４に記載の方法。

実施例１６：訓練データは、複数の第１のＬＤＲ画像および第１のＨＤＲ画像を備え、第１のＬＤＲ画像は、眼球複製を特定の配向に伴う、眼球カメラリグから取得され、第１のＬＤＲ画像は、異なる露光を用いて取得される、実施例１４に記載の方法。

実施例１７：第１のＨＤＲ画像は、第１のＬＤＲ画像を組み合わせることを介して生成され、機械学習モデルは、第１のＨＤＲ画像を第１のＬＤＲ画像のそれぞれから生成するように訓練される、実施例１６に記載の方法。

実施例１８：閃光の場所を決定することは、閃光と関連付けられる、着目領域を識別することであって、着目領域は、ＨＤＲ画像に描写されるような閃光の境界を表す、ことと、ＨＤＲ画像の２つの軸に沿って、個別の分布を決定することであって、分布は、着目領域内に含まれるピクセル値に基づいて決定される、ことと、決定された分布に基づいて、場所を割り当てることとを含む、実施例１に記載の方法。

実施例１９：割り当てられる場所は、２つの軸に沿った分布の最高値に対応する、実施例１８に記載の方法。

実施例２０：分布は、ガウス分布である、実施例１８に記載の方法。

実施例２１：眼姿勢は、眼の眼追跡のために使用可能である、実施例１に記載の方法。

実施例２２：眼姿勢は、ユーザの２つの眼毎に決定される、実施例１に記載の方法。

実施例２３：１つまたはそれを上回るプロセッサのディスプレイシステムであって、複数の光エミッタであって、光をディスプレイシステムのユーザの眼上に提供するように位置付けられる、光エミッタと、眼の１つまたはそれを上回る画像を取得するように構成される、結像デバイスと、１つまたはそれを上回るプロセッサと、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、実施例１－２２に記載の方法を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体とを備える、ディスプレイシステム。

実施例２４：１つまたはそれを上回るプロセッサのシステムによって実装される方法であって、眼球制御リグと関連付けられる、１つまたはそれを上回るパラメータを設定することであって、眼球制御リグは、眼球の表現、複数の光エミッタ、および１つまたはそれを上回る結像デバイスを備え、１つまたはそれを上回るパラメータは、少なくとも、眼球複製と関連付けられる配向を示す、ことと、眼球複製の複数の画像を取得することであって、画像は、異なる露光において取得される、低ダイナミックレンジ（ＬＤＲ）画像である、ことと、取得された画像に基づいて、高ダイナミックレンジ（ＨＤＲ）画像を生成することと、取得された画像およびＨＤＲ画像のうちの少なくとも１つに基づいて、機械学習モデルを訓練させることであって、機械学習モデルは、ＨＤＲ画像を入力ＬＤＲ画像から生成するように訓練される、こととを含む、方法。

実施例２５：パラメータはさらに、光エミッタのパルス幅変調または結像デバイスに関する露光情報を備える、実施例２４に記載の方法。

実施例２６：ＨＤＲ画像は、取得された画像を組み合わせることを介して生成される、実施例２４に記載の方法。

実施例２７：機械学習モデルは、複数の畳み込み層を伴う、自動エンコーダであって、自動エンコーダは、画像と関連付けられる、潜在的特徴表現を生成する、エンコーダ部分と、潜在的特徴表現に基づいて、ＨＤＲ画像を生成する、デコーダ部分とを含む、実施例２４に記載の方法。

実施例２８：１つまたはそれを上回るスキップ接続が、エンコーダ部分およびデコーダ部分を接続し、スキップ接続は、ドメイン転送情報をエンコーダ部分からデコーダ部分に提供する、実施例２７に記載の方法。

実施例２９：ドメイン転送情報は、取得された画像のＬＤＲディスプレイ値から生成された対数ＨＤＲ値を備える、実施例２８に記載の方法。

実施例３０：光エミッタは、取得された画像のそれぞれ内の閃光として描写され、閃光は、眼球複製上の異なる位置にある、実施例２４に記載の方法。

実施例３１：閃光の異なる位置は、光エミッタの場所情報および眼球複製の配向に基づいて決定され、機械学習モデルは、異なる位置における閃光を標識するように訓練される、実施例３０に記載の方法。

実施例３２：本システムは、眼球複製の配向を調節するように構成される、実施例２４に記載の方法。

実施例３３：機械学習モデルを取得された画像およびＨＤＲ画像のうちの少なくとも１つに基づいて訓練させることは、拡張または仮想現実ディスプレイシステムの結像デバイスと関連付けられる露光を伴う、取得された画像の特定の画像を選択することと、機械学習モデルを選択された特定の画像およびＨＤＲ画像に基づいて訓練させることとを含む、実施例２４に記載の方法。

実施例３４：１つまたはそれを上回るプロセッサと、１つまたはそれを上回るプロセッサによって実行されると、プロセッサに、実施例２４－３３に記載の方法を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体とを備える、システム。
他の実施形態

本発明の種々の例示的実施形態が、本明細書に説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。

例えば、有利なこととして、複数の深度面を横断して画像を提供する、ＡＲディスプレイとともに利用されるが、本明細書に開示される仮想コンテンツはまた、画像を単一深度面上に提供する、システムによって表示されてもよい。

加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例はそれぞれ、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを意図している。

本発明は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、ユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順番およびイベントの列挙された順序で行なわれてもよい。

加えて、本明細書に説明される、および／または添付の図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定アプリケーション向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため（適切な特殊化された実行可能命令を利用する）特定アプリケーション向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたはアプリケーションを提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール（１４０）、遠隔処理モジュール（１５０）、および遠隔データリポジトリ（１６０）のうちの１つまたはそれを上回るものの一部であってもよい。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写される任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切である他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実施形態における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。

本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本発明の他の詳細に関して、これらは、上記で参照された特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの実施形態に関しても当てはまり得る。

加えて、本発明は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して検討されるように説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれていないかにかかわらず）が、本発明の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本発明内に包含されるものと理解されたい。

また、説明される本発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つまたはそれを上回るものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、存在する複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられる請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題の項目のうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「～を備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の付加的な要素を含むことを可能にするものとする。

故に、請求項は、本明細書に示される実施形態に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

Claims (35)

1. １つまたはそれを上回るプロセッサの拡張または仮想現実ウェアラブルシステムによって実装される方法であって、前記方法は、
   前記ウェアラブルシステムのユーザの眼の画像を取得することであって、前記画像は、個別の光エミッタによって生じる前記眼上の閃光を描写し、前記画像は、低ダイナミックレンジ（ＬＤＲ）画像である、ことと、
   前記画像を使用して、機械学習モデルのフォワードパスの算出を介して、高ダイナミックレンジ（ＨＤＲ）画像を生成することと、
   前記ＨＤＲ画像に描写されるような前記閃光と関連付けられる場所情報を決定することであって、前記場所情報は、前記眼の眼姿勢を知らせるために使用可能である、ことと
   を含む、方法。
2. 前記画像は、前記ウェアラブルシステムの結像デバイスと関連付けられる特定の露光を用いて取得される、請求項１に記載の方法。
3. 前記光エミッタは、発光ダイオードである、請求項１に記載の方法。
4. 前記光エミッタは、赤外線発光ダイオードである、請求項１に記載の方法。
5. 前記機械学習モデルは、畳み込みニューラルネットワークである、請求項１に記載の方法。
6. 前記機械学習モデルは、複数の畳み込み層を伴う自動エンコーダであり、前記自動エンコーダは、前記画像と関連付けられる潜在的特徴表現を生成するエンコーダ部分と、前記潜在的特徴表現に基づいて前記ＨＤＲ画像を生成するデコーダ部分とを含む、請求項１に記載の方法。
7. １つまたはそれを上回るスキップ接続が、前記エンコーダ部分および前記デコーダ部分を接続し、前記スキップ接続は、ドメイン転送情報を前記エンコーダ部分から前記デコーダ部分に提供する、請求項６に記載の方法。
8. 前記ドメイン転送情報は、前記画像のＬＤＲディスプレイ値から生成された対数ＨＤＲ値を備える、請求項７に記載の方法。
9. 前記閃光は、前記眼の瞳孔上に描写される、請求項１に記載の方法。
10. 前記画像内に描写される閃光は、前記ＨＤＲ画像に描写される閃光のサイズを上回る、請求項１に記載の方法。
11. 前記画像内に描写される各閃光は、前記ＨＤＲ画像内に含まれる対応する閃光より大きい不規則的部分を含む、請求項１に記載の方法。
12. 前記不規則的部分は、前記閃光の長円形または円形部分から延在する後尾部である、請求項１１に記載の方法。
13. 前記機械学習モデルは、訓練データに基づいて、ＨＤＲ画像を対応するＬＤＲ画像から生成するように訓練され、前記訓練データは、多数のＬＤＲ画像およびＨＤＲ画像対を備え、前記ＬＤＲ画像およびＨＤＲ画像対は、眼球カメラリグを使用して生成される、請求項１に記載の方法。
14. 前記眼球カメラリグは、眼球の表現、複数の光エミッタ、および１つまたはそれを上回る結像デバイスを備える、請求項１３に記載の方法。
15. 前記眼球カメラリグは、１つまたはそれを上回るプロセッサのシステムによって制御可能であり、前記システムは、前記眼球カメラリグを制御するためのパラメータを規定し、前記パラメータは、前記眼球複製の配向、前記光エミッタのパルス幅変調、または前記結像デバイスに関する露光情報のうちの１つまたはそれを上回るものを備える、請求項１４に記載の方法。
16. 前記訓練データは、複数の第１のＬＤＲ画像および第１のＨＤＲ画像を備え、前記第１のＬＤＲ画像は、前記眼球複製を特定の配向に伴う前記眼球カメラリグから取得され、前記第１のＬＤＲ画像は、異なる露光を用いて取得される、請求項１４に記載の方法。
17. 前記第１のＨＤＲ画像は、前記第１のＬＤＲ画像を組み合わせることを介して生成され、前記機械学習モデルは、前記第１のＨＤＲ画像を前記第１のＬＤＲ画像のそれぞれから生成するように訓練される、請求項１６に記載の方法。
18. 閃光の場所を決定することは、
    前記閃光と関連付けられる着目領域を識別することであって、前記着目領域は、前記ＨＤＲ画像に描写されるような前記閃光の境界を表す、ことと、
    前記ＨＤＲ画像の２つの軸に沿って、個別の分布を決定することであって、前記分布は、前記着目領域内に含まれるピクセル値に基づいて決定される、ことと、
    前記決定された分布に基づいて、場所を割り当てることと
    を含む、請求項１に記載の方法。
19. 前記割り当てられた場所は、前記２つの軸に沿った前記分布の最高値に対応する、請求項１８に記載の方法。
20. 前記分布は、ガウス分布である、請求項１８に記載の方法。
21. 前記眼姿勢は、前記眼の眼追跡のために使用可能である、請求項１に記載の方法。
22. 眼姿勢は、前記ユーザの２つの眼毎に決定される、請求項１に記載の方法。
23. １つまたはそれを上回るプロセッサのディスプレイシステムであって、前記ディスプレイシステムは、
    複数の光エミッタであって、前記光エミッタは、光を前記ディスプレイシステムのユーザの眼上に提供するように位置付けられる、複数の光エミッタと、
    前記眼の１つまたはそれを上回る画像を取得するように構成される結像デバイスと、
    １つまたはそれを上回るプロセッサおよび非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、請求項１－２２に記載の方法を実施させる、１つまたはそれを上回るプロセッサおよび非一過性コンピュータ記憶媒体と
    を備える、ディスプレイシステム。
24. １つまたはそれを上回るプロセッサのシステムによって実装される方法であって、前記方法は、
    眼球制御リグと関連付けられる１つまたはそれを上回るパラメータを設定することであって、前記眼球制御リグは、眼球の表現、複数の光エミッタ、および１つまたはそれを上回る結像デバイスを備え、前記１つまたはそれを上回るパラメータは、少なくとも、前記眼球複製と関連付けられる配向を示す、ことと、
    前記眼球複製の複数の画像を取得することであって、前記画像は、異なる露光において取得される低ダイナミックレンジ（ＬＤＲ）画像である、ことと、
    前記取得された画像に基づいて、高ダイナミックレンジ（ＨＤＲ）画像を生成することと、
    機械学習モデルを前記取得された画像および前記ＨＤＲ画像のうちの少なくとも１つに基づいて訓練させることであって、前記機械学習モデルは、ＨＤＲ画像を入力ＬＤＲ画像から生成するように訓練される、ことと
    を含む、方法。
25. 前記パラメータはさらに、前記光エミッタのパルス幅変調または前記結像デバイスに関する露光情報を備える、請求項２４に記載の方法。
26. 前記ＨＤＲ画像は、前記取得された画像を組み合わせることを介して生成される、請求項２４に記載の方法。
27. 前記機械学習モデルは、複数の畳み込み層を伴う自動エンコーダであり、前記自動エンコーダは、前記画像と関連付けられる潜在的特徴表現を生成するエンコーダ部分と、前記潜在的特徴表現に基づいてＨＤＲ画像を生成するデコーダ部分とを含む、請求項２４に記載の方法。
28. １つまたはそれを上回るスキップ接続が、前記エンコーダ部分および前記デコーダ部分を接続し、前記スキップ接続は、ドメイン転送情報を前記エンコーダ部分から前記デコーダ部分に提供する、請求項２７に記載の方法。
29. 前記ドメイン転送情報は、取得された画像のＬＤＲディスプレイ値から生成された対数ＨＤＲ値を備える、請求項２８に記載の方法。
30. 前記光エミッタは、前記取得された画像のそれぞれ内の閃光として描写され、前記閃光は、前記眼球複製上の異なる位置にある、請求項２４に記載の方法。
31. 前記閃光の前記異なる位置は、前記光エミッタの場所情報および前記眼球複製の配向に基づいて決定され、前記機械学習モデルは、前記異なる位置における閃光を標識するように訓練される、請求項３０に記載の方法。
32. 前記システムは、前記眼球複製の配向を調節するように構成される、請求項２４に記載の方法。
33. 機械学習モデルを前記取得された画像および前記ＨＤＲ画像のうちの少なくとも１つに基づいて訓練させることは、
    拡張または仮想現実ディスプレイシステムの結像デバイスと関連付けられる露光を伴う前記取得された画像の特定の画像を選択することと、
    前記機械学習モデルを前記選択された特定の画像および前記ＨＤＲ画像に基づいて訓練させることと
    を含む、請求項２４に記載の方法。
34. システムであって、前記システムは、１つまたはそれを上回るプロセッサと、非一過性コンピュータ記憶媒体とを備え、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記１つまたはそれを上回るプロセッサによって実行されると、前記プロセッサに、請求項２４－３３に記載の方法を実施させる、システム。
35. 本願の明細書に開示されるシステム、方法、装置、およびコンピュータ可読記憶媒体。

Images