JP2024026574A - 動的フレネルプロジェクタ - Google Patents

Abstract

【課題】変調アレイを備えている、マルチ深度画像シーケンスを生成するためのシステムの提供。【解決手段】複数の光変調器を備えている変調アレイは、変調器に入射する光を数度シフトさせ得る。複数の光変調器は、変調シフトパターンに従って、一斉に光をシフトさせ得る。変調シフトパターンは、入射光をボクセルに集中させるように、または３－Ｄ画像を形成するように構成されることができる。１つ以上の変調シフトパターンは、１つ以上の画像オブジェクトを１つ以上の画像深度平面においてラスタするように変化または循環させられることができる。【選択図】なし

Description

（関連出願の引用）
本願は、米国仮特許出願第６２／２７６，０９９号（２０１６年１月７日出願、名称「ＤＹＮＡＭＩＣ ＦＲＥＳＮＥＬ ＰＲＯＪＥＣＴＯＲ」、代理人事件番号ＭＬ．３００３３．００）からの優先権を主張する。上記特許出願の内容は、その全体が参照により本明細書に引用される。

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、ユーザに提示され、現実として知覚され得る、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実（「ＶＲ」）シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実（「ＡＲ」）シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。

例えば、図１Ａを参照すると、拡張現実場面１００が、描写され、ＡＲ技術デバイスのユーザは、人々、木々、背景内の建物、およびコンクリートプラットフォーム１０４を特徴とする実世界公園状設定１０２を見る。これらのアイテムに加え、ＡＲ技術のユーザは、実世界プラットフォーム１０４上に立っているロボット像１０６と、飛んでいる漫画のようなアバターキャラクタ１０８が「見えている」ことも知覚するが、これらの要素は、実世界には存在しない。結論から言うと、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進するＶＲまたはＡＲ技術を生成することは、困難である。

図１Ｂを参照すると、概して、３次元遠近画がヒトの視覚系によって知覚されるように、若干異なる要素の提示を伴う画像を表示するように構成される２つのディスプレイ（例えば、１１４ａ、１１４ｂ）を特徴とする立体視装着式眼鏡１１２タイプ構成が、開発されている。そのような構成は、画像を３次元で知覚するために克服されなければならない、両眼離反運動と遠近調節との間のミスマッチに起因して、多くのユーザにとって不快であることが見出されている。実際、一部のユーザは、立体視構成に耐えることができない。加えて、いくつかの結像デバイスでは、画像（例えば、ディスプレイ１１４ａ、１１４ｂのため）を処理する１つ以上の結像モジュール１１６が、デバイスの中に統合され得る。デバイスを「装着可能」に保つために、結像モジュール１１６は、典型的には、小型でなければならず、したがって、画質とデバイスサイズとの間のトレードオフが存在し得る。例えば、より大きい結像モジュールは、同時に、より高い品質の画像出力をディスプレイ（１１４ａ、１１４ｂ）上に生成し、グラス１１２を扱いにくくおよび／または重くし得る。

図１Ｃを参照すると、角膜１２０、虹彩１２２、レンズ、すなわち、「水晶体」１２４、強膜１２６、脈絡膜層１２８、黄斑１３０、網膜１３２、および脳への視神経経路１３４を特徴とするヒトの眼１１８の簡略化された断面図が、描写される。黄斑は、網膜の中枢であり、それは、中程度の詳細を見るために利用される。黄斑の中枢には、「中心窩」があり、最も細かい詳細を見るために使用される。中心窩は、網膜の任意の他の部分より多くの視細胞（視度あたり約１２０個の錐体）を含む。

ヒトの視覚系は、受動的センサタイプのシステムではない。それは、環境を能動的に走査するように構成されている。フラットベッドスキャナを用いた画像の走査または紙から点字を読み取るための指の使用に若干類似する様式において、眼の視細胞は、一定刺激状態に一定に応答するのではなく、刺激の変化に応答して、信号を発する。したがって、視細胞情報を脳に提示するための運動が、要求される（フラットベッドスキャナ内で紙片を横切る線形スキャナアレイの運動、または紙に刻印された点字の単語を横切る指の運動のように）。

実際、眼の筋肉を麻痺させるために利用されたコブラ毒等の物質を用いた実験は、ヒト対象が、その眼が開かれ、毒によって誘発され麻痺した眼で静的場面を視認したまま位置付けられる場合、盲目を経験するであろうことを示している。言い換えると、刺激の変化がない場合、視細胞は、脳に入力を提供せず、盲目が経験される。これは、正常なヒトの眼が、「マイクロサッカード」と呼ばれる横運動において、往復移動または微動することが観察されていることの少なくとも１つの理由であると考えられる。

前述のように、網膜の中心窩は、視細胞の最大密度を含み、ヒトは、典型的には、ヒトがその視野全体を通して高分解能可視化能力を持つという理解を有するが、概して、ヒトは、実際には、中心窩で直近で捕捉された高分解能情報の持続的記憶とともに、何度も機械的に掃引し回る小さい高分解能中心しか有していない。

若干類似する様式において、眼の焦点距離制御機構（毛様体弛緩が、毛様体結合線維の緊張を生じさせ、より離れた焦点距離のためにレンズを平坦化させ、毛様体収縮が、毛様体結合線維の弛緩を生じさせ、レンズがより近い焦点距離のためにより丸い幾何学形状をとることを可能にする様式で水晶体に動作可能に結合される毛様筋）は、標的焦点距離の近側および遠側の両方に、少量の「ジオプトリックぼやけ（ｄｉｏｐｔｒｉｃ ｂｌｕｒ）」と呼ばれるものを循環的に誘発するために、約１／４～１／２ジオプタだけ往復微動する。これは、針路を常に補正し、固定されたオブジェクトの網膜画像をほぼ焦点が合ったままにするために役立つ、循環的負のフィードバックとして、脳の遠近調節制御回路によって利用される。

脳の可視化中枢は、両眼およびその構成要素の互いに対する運動からも有益な知覚情報を得る。互いに対する両眼の両眼離反運動（すなわち、眼の視線を収束させ、オブジェクトに固定するための互いに向かう、またはそこから離れる瞳孔の転動）は、眼のレンズの焦点合わせ（または「遠近調節」）と密接に関連付けられる。正常条件下では、眼のレンズの焦点を変化させる、すなわち、眼を遠近調節させ、異なる距離におけるオブジェクトに焦点を合わせることは、「遠近調節－両眼離反運動反射作用」として知られる関係下、自動的に、同一距離に対する両眼離反運動における整合変化を生じさせるであろう。同様に、両眼離反運動の変化は、正常条件下では、遠近調節の整合変化も誘起するであろう。この反射作用に逆らう働きは、（従来の立体視ＡＲまたはＶＲ構成の大部分におけるように）眼疲労、頭痛、または他の形態の不快感をユーザにもたらすことが知られている。

眼を格納する頭部の移動も、オブジェクトの可視化に重要な影響を及ぼす。ヒトは、その頭部を移動させ、その周囲の世界を視覚化する。多くの場合、かなり絶えず、着目オブジェクトに対して頭部を再位置付けおよび向け直す状態にある。さらに、大部分の人々は、人々の視線が、特定のオブジェクトに焦点を合わせるために、中心から約２０度を上回って移動する必要があるとき、その頭部を移動させることを好む（すなわち、人々は、典型的には、「眼の端から」物を見ることを好まない）。ヒトは、典型的には、音との関連でその頭部を走査または移動させ、オーディオ信号捕捉を改善し、頭部に対する耳の幾何学形状を利用する。ヒトの視覚系は、「頭部運動視差」と呼ばれるものから優れた深度の手掛かりを得、それは、頭部の運動および眼の両眼離反運動距離の関数として、異なる距離におけるオブジェクトの相対運動に関連する（すなわち、人がその頭部を横移動させ、オブジェクトに対して固定状態を維持する場合、そのオブジェクトからより遠いアイテムは、頭部と同一方向に移動し、そのオブジェクトの正面のアイテムは、頭部運動と反対に移動するであろう。これらは、人に対する環境内の空間的場所の非常に顕著な手掛かりであり、おそらく、立体視と同等に優れている）。頭部運動は、当然ながら、オブジェクトを見回すためにも利用される。

さらに、頭部と眼との運動は、「前庭眼反射作用」と呼ばれるもので調整され、頭部回転中、網膜に対する画像情報を安定化させ、したがって、オブジェクト画像情報を網膜のほぼ中心に保つ。頭部の回転に応答して、眼は、反射的かつ比例的に反対方向に回転され、オブジェクトに対する安定した固定状態を維持する。この補償関係の結果として、多くのヒトは、その頭部を往復して振動させながら、本を読むことができる（興味深いことに、本が、頭部がほぼ静止のまま、同一速度で往復してパンされる場合、同じことは、概して、当てはまらない。すなわち、人は、めくられている本を読むことができない可能性が高い。前庭眼反射作用は、頭部および眼の運動協調のうちの１つであり、概して、手の運動のために発達させられていない）。このパラダイムは、ユーザの頭部運動が、比較的に直接、眼の運動に関連付けられ得、システムが、好ましくは、この関係とすぐに協働するであろうから、拡張現実システムのために重要であり得る。

本明細書に説明されるシステムおよび技法は、典型的ヒトの視覚的構成と連動し、これらの課題に対処するように構成される。

一実施形態では、マルチ深度画像シーケンスを生成するためのシステムは、１つ以上の光源と、複数の光変調器を有する１つ以上の変調アレイとを含む。１つ以上の光源は、光を複数の光変調器のうちの少なくともいくつかの上に投影するように構成される。複数の光変調器は、光をボクセル上に集中させ、１つ以上の画像深度平面上で異なる深度において複数のボクセルをラスタすることによって、マルチ深度画像シーケンスを生成するように構成される。

１つ以上の実施形態では、複数の光変調器は、光の位相を数度シフトさせるように構成される。複数の光変調器は、変調シフトパターンに従って、光の位相をシフトさせるようにも構成され得る。

１つ以上の実施形態では、１つ以上の光源は、緑色光源と、赤色光源と、青色光源とを含む。１つ以上の変調アレイは、赤色光を受信するように構成されている第１の変調アレイと、緑色光を受信するように構成されている第２の変調アレイと、青色光を受信するように構成されている第３の変調アレイとを含み得る。１つ以上の変調アレイは、区分化された変調アレイを含み得、区分化された変調アレイは、赤色光を受信するように構成されている第１のエリアと、緑色光を受信するように構成されている第２のエリアと、青色光を受信するように構成されている第３のエリアとを備えている。

１つ以上の実施形態では、システムは、１つ以上の導波管層を備えている回折光学アセンブリも含み、１つ以上の導波管層は、異なる画像深度平面に対応する。システムは、複数の光変調器にフレネルパターンを形成するように指示するように構成されているプロセッサも含み得る。プロセッサは、複数の光変調器に複数のフレネルパターンを連続して形成するように指示するように構成され得る。複数のフレネルパターンのうちの少なくとも２つは、異なる画像深度において光をそれぞれの異なるボクセル上に集中させるように構成され得る。

別の実施形態では、マルチ深度画像シーケンスを生成するためのシステムは、光源と、
複数の光変調器を含む変調アレイとを含む。光源は、光を複数の光変調器のうちの少なくともいくつかの上に投影するように構成される。複数の光変調器は、光のそれぞれの部分を集中させ、マルチ深度画像を生成するように構成される。

１つ以上の実施形態では、複数の光変調器は、一連のマルチ深度画像を生成するようにも構成される。複数の光変調器は、光の位相を数度シフトさせるようにも構成され得る。複数の光変調器は、変調シフトパターンに従って、光の位相をシフトさせるようにも構成され得る。

１つ以上の実施形態では、光源は、白色光源である。変調アレイは、赤色光を受信するように構成されている第１のエリアと、緑色光を受信するように構成されている第２のエリアと、青色光を受信するように構成されている第３のエリアとを含む区分化された変調アレイであり得る。

１つ以上の実施形態では、システムは、１つ以上の導波管層を含む回折光学アセンブリも含み、１つ以上の導波管層は、異なる画像深度平面に対応する。システムは、複数の光変調器にコンピュータ生成ホログラムを形成するように指示するように構成されているプロセッサも含み得る。プロセッサは、複数の光変調器に複数のコンピュータ生成ホログラムを連続して形成するように指示するように構成され得る。変調アレイは、８ビットＬＣＯＳであり得る。

本発明の他の追加の目的、特徴、および利点は、詳細な説明、図、ならびに請求項に説明される。
例えば、本願は以下の項目を提供する。
（項目１）
マルチ深度画像シーケンスを生成するためのシステムであって、前記システムは、
１つ以上の光源と、
複数の光変調器を備えている１つ以上の変調アレイと
を備え、
前記１つ以上の光源は、光を前記複数の光変調器のうちの少なくともいくつかの上に投影するように構成され、前記複数の光変調器は、
前記光をボクセル上に集中させることと、
異なる画像深度において複数のボクセルをラスタすることによって、マルチ深度画像シーケンスを生成することと
を行うように構成されている、システム。
（項目２）
前記複数の光変調器は、前記光の位相を数度シフトさせるように構成されている、請求項１に記載のシステム。
（項目３）
前記複数の光変調器は、変調シフトパターンに従って前記光の位相をシフトさせるように構成されている、項目１に記載のシステム。
（項目４）
前記１つ以上の光源は、緑色光源、赤色光源、および青色光源を備えている、項目１に記載のシステム。
（項目５）
前記１つ以上の変調アレイは、赤色光を受信するように構成されている第１の変調アレイと、緑色光を受信するように構成されている第２の変調アレイと、青色光を受信するように構成されている第３の変調アレイとを備えている、項目４に記載のシステム。
（項目６）
前記１つ以上の変調アレイは、区分化された変調アレイを備え、前記区分化された変調アレイは、赤色光を受信するように構成されている第１のエリアと、緑色光を受信するように構成されている第２のエリアと、青色光を受信するように構成されている第３のエリアとを備えている、項目４に記載のシステム。
（項目７）
１つ以上の導波管層を備えている回折光学アセンブリをさらに備え、前記１つ以上の導波管層は、異なる画像深度平面に対応する、項目１に記載のシステム。
（項目８）
前記複数の光変調器にフレネルパターンを形成するように指示するように構成されているプロセッサをさらに備えている、項目１に記載のシステム。
（項目９）
前記プロセッサは、前記複数の光変調器に複数のフレネルパターンを連続して形成するように指示するように構成されている、項目８に記載のシステム。
（項目１０）
前記複数のフレネルパターンのうちの少なくとも２つは、異なる画像深度においてそれぞれの異なるボクセル上に前記光を集中させるように構成されている、項目９に記載のシステム。
（項目１１）
マルチ深度画像シーケンスを生成するためのシステムであって、前記システムは、
光源と、
複数の光変調器を備えている変調アレイと
を備え、
前記光源は、光を前記複数の光変調器のうちの少なくともいくつかの上に投影するように構成され、前記複数の光変調器は、前記光のそれぞれの部分を集中させ、マルチ深度画像を生成するように構成されている、システム。
（項目１２）
前記複数の光変調器は、一連のマルチ深度画像を生成するようにも構成されている、請求項１１に記載のシステム。
（項目１３）
前記複数の光変調器は、前記光の位相を数度シフトさせるように構成されている、請求項１１に記載のシステム。
（項目１４）
前記複数の光変調器は、変調シフトパターンに従って前記光の位相をシフトさせるように構成されている、項目１１に記載のシステム。
（項目１５）
前記光源は、白色光源である、項目１１に記載のシステム。
（項目１６）
前記変調アレイは、赤色光を受信するように構成されている第１のエリアと、緑色光を受信するように構成されている第２のエリアと、青色光を受信するように構成されている第３のエリアとを備えている区分化された変調アレイである、項目１１に記載のシステム。
（項目１７）
１つ以上の導波管層を備えている回折光学アセンブリをさらに備え、前記１つ以上の導波管層は、異なる画像深度平面に対応する、項目１１に記載のシステム。
（項目１８）
前記複数の光変調器にコンピュータ生成ホログラムを形成するように指示するように構成されているプロセッサをさらに備えている、項目１１に記載のシステム。
（項目１９）
前記プロセッサは、前記複数の光変調器に複数のコンピュータ生成ホログラムを連続して形成するように指示するように構成されている、項目１８に記載のシステム。
（項目２０）
前記変調アレイは、８ビットＬＣＯＳである、項目１１に記載のシステム。

図面は、本発明のいくつかの実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、簡単に前述された発明を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに記載ならびに説明されるであろう。
図１Ａ－１Ｃは、仮想および／または拡張現実デバイスのためのアプローチならびにデバイスを図示する。 図１Ａ－１Ｃは、仮想および／または拡張現実デバイスのためのアプローチならびにデバイスを図示する。 図１Ａ－１Ｃは、仮想および／または拡張現実デバイスのためのアプローチならびにデバイスを図示する。 図２は、いくつかの実施形態による、動的フレネルモジュールと、ＤＯＥアセンブリとを備えているマルチ深度画像シーケンスを生成するためのシステムを図示する。 図３Ａ－３Ｂは、いくつかの実施形態による、結像オブジェクトを１つの平面に伴う平坦画像と、異なる距離の深度平面に分離される結像オブジェクトを伴う複合画像とを図示する。 図３Ａ－３Ｂは、いくつかの実施形態による、結像オブジェクトを１つの平面に伴う平坦画像と、異なる距離の深度平面に分離される結像オブジェクトを伴う複合画像とを図示する。 図４Ａ－４Ｃは、いくつかの実施形態による、変調アレイ、光変調器、および変調シフトパターンを図示する。 図５Ａ－５Ｃは、いくつかの実施形態による、光源およびボクセルを生成する変調アレイを図示する。 図５Ａ－５Ｃは、いくつかの実施形態による、光源およびボクセルを生成する変調アレイを図示する。 図５Ａ－５Ｃは、いくつかの実施形態による、光源およびボクセルを生成する変調アレイを図示する。 図６は、いくつかの実施形態による、動的フレネルモジュールが実装され得る結像システムアーキテクチャを図示する。 図７は、いくつかの実施形態による、例示的システムアーキテクチャを図示する。 図８－１１は、いくつかの実施形態による、動的フレネルモジュールおよびＤＯＥアセンブリを備えているマルチ深度画像シーケンスを生成するための種々のシステムを図示する。 図８－１１は、いくつかの実施形態による、動的フレネルモジュールおよびＤＯＥアセンブリを備えているマルチ深度画像シーケンスを生成するための種々のシステムを図示する。 図８－１１は、いくつかの実施形態による、動的フレネルモジュールおよびＤＯＥアセンブリを備えているマルチ深度画像シーケンスを生成するための種々のシステムを図示する。 図８－１１は、いくつかの実施形態による、動的フレネルモジュールおよびＤＯＥアセンブリを備えているマルチ深度画像シーケンスを生成するための種々のシステムを図示する。 図１２は、いくつかの実施形態による、動的フレネルモジュールおよびＤＯＥアセンブリを備えているマルチ深度画像シーケンスを生成するためのシステムと、それに関連付けられた種々のパターンとを図示する。 図１３は、いくつかの実施形態による、標的画像を図示する。 図１４Ａ、１５Ａ、および１６Ａは、いくつかの実施形態による、生成された画像を図示する。 図１４Ｂ、１５Ｂ、および１６Ｂは、いくつかの実施形態による、コンピュータ生成ホログラムを図示する。 図１４Ａ、１５Ａ、および１６Ａは、いくつかの実施形態による、生成された画像を図示する。 図１４Ｂ、１５Ｂ、および１６Ｂは、いくつかの実施形態による、コンピュータ生成ホログラムを図示する。 図１４Ａ、１５Ａ、および１６Ａは、いくつかの実施形態による、生成された画像を図示する。 図１４Ｂ、１５Ｂ、および１６Ｂは、いくつかの実施形態による、コンピュータ生成ホログラムを図示する。

種々の実施形態が、図を参照して、本明細書に後述される。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。図は、実施形態の説明を促進するためのみに意図されることに留意されたい。それらは、本発明の包括的説明として、または本発明の範囲の限定として、意図されるものではない。加えて、図示される実施形態は、示される全ての側面または利点を有する必要はない。特定の実施形態に関連して説明される側面または利点は、必ずしも、その実施形態に限定されず、そのように図示されない場合でも、任意の他の実施形態において実践されることができる。

さらに、本明細書全体を通した「いくつかの実施形態」または「他の実施形態」の言及は、実施形態と関連して説明される特定の特徴、構造、材料、または特性が、少なくとも一実施形態に含まれることを意味する。したがって、本明細書全体を通して種々の場所における語句「いくつかの実施形態では」または「他の実施形態では」の表出は、必ずしも、同一実施形態または実施形態を参照するわけではない。加えて、例証および説明の目的のために、本開示は、種々の実施形態では、企業アプリケーションの状況において説明される。しかしながら、本発明は、その範囲において企業アプリケーションに限定されず、実際には、他のタイプのアプリケーションにも同様に適用され得ることに留意されたい。

いくつかの図に例証的に描写される例を説明する前に、一般的導入が、理解を促すために提供される。いくつかの実施形態では、マルチ深度画像シーケンスは、１つ以上の光源を使用して生成され得、１つ以上の光源は、複数の光変調器上に光を当てるように構成され得、複数の光変調器は、光をボクセル上に集中させるようにさらに構成され得る。いくつかの実施形態では、ボクセルは、３次元空間内の立体結像エリアまたは点であり、３次元グラフィカルオブジェクトを生成するために使用され得る。例えば、図１Ａにおけるロボット像１０６は、１つ以上のボクセルから成り得。１つ以上のボクセルは、まとまって、視認者が空間内のロボット像を「見る」ことを可能にする。複数の光変調器は、光を異なる深度において１つ以上の画像平面上のボクセル上に集中させることができる。さらに、複数の光変調器は、異なる画像深度におけるボクセルを通してラスタし、視認者に異なる深度で現れるように見える画像オブジェクトを作成することができる。

図２は、いくつかの実施形態による、マルチ深度画像シーケンスを生成するためのシステム２００を図示し、システム２００は、動的フレネルモジュール２０２と、ＤＯＥアセンブリ２１２とを備えている。動的フレネルモジュール２０２は、マルチ深度画像シーケンスを生成するための情報を含む入力信号２１０を受信し得る。例えば、いくつかの実施形態では、入力信号２１０は、１００メートルの距離にあるように見えるロボット像１０６を生成するための情報と、１メートルの距離にあるように見える漫画のようなアバターキャラクタ１０８を生成するための情報とを備え得る。いくつかの実施形態では、入力信号２１０は、アレイコントローラ２０６の中に入力される。アレイコントローラは、変調アレイ２０４と、論理モジュール２０８とを備え得る。以下にさらに詳細に説明されるように、変調アレイ２０４は、光をボクセルまたはピクセル上に集中させ、もしくは向かわせ、画像を生成する複数の光変調器（図２に図示せず）を備え得る。いくつかの実施形態では、アレイコントローラモジュール２０６は、複数の光変調器を操作および管理するための制御コードを備えている。いくつかの実施形態では、論理モジュール２０８は、入力信号２１０または画像情報を受信し、画像シーケンス情報を解釈し命令にし、アレイコントローラ２０６は、変調アレイ２０４を操作し、マルチ深度画像シーケンスをラスタするためにその命令に従い得る。

いくつかの実施形態では、動的フレネルモジュール２０２は、回折光学要素（ＤＯＥ）アセンブリ２１２に光学的に結合され得る。例えば、動的フレネルモジュール２０２およびＤＯＥアセンブリ２１２は、互いに物理的に結合されるか、または１つ以上の共通構造に物理的に結合され得る。いくつかの実施形態によると、ＤＯＥアセンブリ２１２は、回折格子２２２ａ－２２２ｃ（例えば、内部結合格子「ＩＣＧ」）を伴う１つ以上のスタックされた平面導波管またはＤＯＥ層２１４ａ－２１４ｃを備え、回折格子は、画像光を導波管２１４ａ－２１４ｃのスパンに沿って偏向し、自然の実世界回折効果を模倣する角度で画像光２２４が導波管２１４ａ－２１４ｃから出射することを可能にする。さらに、いくつかの実施形態では、画像光２２４は、第２の回折格子の組（図示せず）を使用して、ＤＯＥ層２１４ａ－２１４ｃから視認者に向かって出射する。いくつかの実施形態では、各ＤＯＥ層２１４ａ－２１４ｃは、種々の距離においてオブジェクトから回折する光を模倣するように構成される。例えば、ＤＯＥ層２１４ａは、１メートル離れたオブジェクト（例えば、漫画のようなアバターキャラクタ１０８）から生じる回折光をシミュレートするように構成され得る（例えば、深度平面１「ＤＰ１」は、１メートルに設定される）。同様に、ＤＯＥ層２１４ｂおよびＤＯＥ層２１４ｃは、異なる距離においてオブジェクトから生じる回折光をシミュレートするように構成され得る（例えば、深度平面２「ＤＰ２」は、１００メートルに設定され得、深度平面３「ＤＰ３」は、遠く離れたオブジェクトのための光学無限遠に設定され得る）。

ＤＯＥアセンブリおよび格子についてのさらなる詳細は、弁理士整理番号ＭＬ３００１１．００の下で２０１３年１１月２７日に出願され、「Ｖｉｒｔｕａｌ ａｎｄ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｓｙｓｔｅｍｓ ａｎｄ ｍｅｔｈｏｄｓ」と題された米国仮特許出願第６１／９０９，１７４号ならびに弁理士整理番号ＭＬ３００１６．００の下で２０１４年５月３０日に出願され、「Ｍｅｔｈｏｄｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｖｉｒｔｕａｌ ａｎｄ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ」と題された米国仮特許出願第６２／００５，８０７号に説明される。前述の米国仮特許出願の内容は、あらゆる目的のために、参照することによって明示的に本明細書に組み込まれる。

図３Ａは、例証的例を示す。そこでは、平坦画像３００は、人３０２と、地面３０６に根差している木３０４と、空の月３０８とを示す。実世界では、光は、進行するにつれて、回折し、または広がる。したがって、月３０８等のオブジェクトから離れて反射される光は、人３０２等のより近いオブジェクトから反射された光より広がる。前述のように、ヒト視覚系は、（１）視線調節（例えば、両眼離反運動移動）と、（２）焦点合わせとによる少なくとも２つの方法において、遠隔および近傍のオブジェクトから生じる光を取り扱う。例えば、実世界内の月を視認するとき、眼は、月が位置する場所で交差するように各眼の視線を収束させることによって調節する。（同様に、自身の鼻の先端を注視する場合、眼は、再び、鼻の先端が位置する場所で交差するように各眼の視線を収束させるように調節し、対象は、外見上、「内斜視」に見えるであろう。）
視線の調節に加え、各眼は、その水晶体系の焦点を合わせ、光の広がりを考慮しなければならない。例えば、遠く離れた月３０８から反射された光は、集中させられない場合、人３０２から反射された光より「ぼやけて」見え得る。したがって、月を視認するために、各眼は、それを平坦にし、月光をますます少なく屈折させることによって、その水晶体の焦点を合わせ、それは、最終的に、月に焦点を合わせるであろう。同様に、人を視認するために、各眼は、より丸くし、人に焦点が合うまで、入射光をますます屈折させることによって、その水晶体の焦点を合わせる。前述のように、各眼の視線を調節し、焦点を合わせることは、一緒に自動的に生じ、「遠近調節－両眼離反運動反射」として知られる。

従来／旧来の立体ＡＲまたはＶＲ構成に関する問題は、それらが遠近調節－両眼離反運動反射に逆らうことである。例えば、図３Ａにおける平坦画像３００を参照すると、従来／旧来の立体ＡＲまたはＶＲシステムが、月３０８、木３０４、および人３０２を異なる知覚される距離であるが（例えば、人がより近くに現れ、月がより遠くに現れる）、全て焦点が合って表示する場合、眼は、月または人を見るとき、再集中させる必要がない。これは、遠近調節－両眼離反運動反射に逆らう、不整合を生じさせる。述べられたように、これらの種類の旧来のアプローチは、眼精疲労、頭痛、または他の形態の不快感をユーザにもたらすことが公知である。

対照的に、マルチ深度システム２００は、近傍および遠隔オブジェクトを異なる深度平面に表示することによって、ヒト遠近調節－両眼離反運動反射と連携する。例えば、図３Ｂは、３つの例示的深度平面、ＤＰ１、ＤＰ２、ＤＰ３に分割され、深度複合画像３１０を形成する、同一平坦画像３００（例えば、人３０２、木３０４、地面３０６、および月３０８）を示す。最も近くあるように意図されるオブジェクトである人３２０は、オブジェクトから１メートル離れて広がる光を模倣するように調整されている深度平面１（ＤＰ１）に表示される。中央オブジェクトである木３０４および地面３０６は、オブジェクトから５メートル離れて広がる光を模倣するように調整されている深度平面２（ＤＰ２）に表示される。最後に、最も遠いオブジェクトである月３０８は、オブジェクトから３８４，４００，０００メートル離れて広がる光を模倣するように調整されている深度平面３（ＤＰ３）に表示される。（３８４，４００，０００メートルは、地球から月までの近似距離である。しかしながら、ある距離を超えるオブジェクトに対して、単に、水晶体系等の結像システムを光学無限遠に調節することが一般的であり、それによって、入射光線は、略平行光線として近似される。）このように、深度複合画像３１０の視認者は、異なる深度平面においてオブジェクトを見るとき、その焦点合わせ、および視線収束の両方を調節する必要があり、頭痛または不快感は、生じないであろう。さらに、画像シーケンスまたは動画を生成するために、１つの深度平面が、他の深度平面におけるオブジェクトが一定に保持されたまま、ラスタまたは修正され得る。例えば、木３０４、地面３０６、および月３０８が、それらのそれぞれの深度層において一定に保持される間、深度層１内の人３０２に対応する画像データが、１秒に複数回更新されることができ、それによって、人は、「動画」のように見え、例えば、人は、月３０８に向かってジャンプすること（視認者の視点から）、または木３０４の正面を歩いて通り過ぎることができる。

図４Ａは、いくつかの実施形態による、変調アレイ４００を図示する。変調アレイ４００は、複数の光変調器４０２から成り得る。光変調器４０２は、アレイの面（例えば、複数の光変調器４０２の面）に当たる入射光（例えば、電磁波）を変調するように構成される。図４Ａにおける複数の光変調器４０２は、あるサイズとして図示される（変調アレイ４００の全高または幅に関連して）が、当業者は、変調器が、互いからのサイズおよび距離（例えば、ピッチ、ドットピッチ）を増加または減少させられ、適宜、分解能を増加もしくは減少させることができることを理解する。図４Ｂは、複数の光変調器に割り当てられる代表的変調シフトパターン４０４を伴う、変調アレイ４００を図示する。いくつかの実施形態では、変調されたシフトパターン４０４内の光帯は、１８０度位相シフト（例えば、入射光を１８０度シフトさせる）に対応し、暗色帯は、０度位相シフト（例えば、入射光を０度シフトさせる）に対応し、介在灰色値は、１８０度と０度との間のシフト値に対応する。これらの帯の各々間の間隔は、建設的干渉が所望の焦点において反射された光の成分間に作成されるように調節され得る。

図示されるように、変調されたシフトパターン４０４は、変調アレイ４００に入射する光をある結像エリアまたはボクセルに集中させる。一方、例えば、変調されたシフトパターン４０６（変調されたシフトパターン４０４より低い焦点または中心部分を示す）は、変調アレイ４００に入射する光を異なるボクセルに集中させる。故に、変調されたシフトパターンを変化させることによって、変調アレイは、入射光を異なるボクセルに集中させることができる。このように、変調アレイ４００は、動的フレネルレンズとして機能し得る。

図５Ａは、いくつかの実施形態による、光を変調アレイ５００上に当てる光源５０２を図示し、変調アレイは、光をボクセル｛２、２、１｝上に集中させている。いくつかの実施形態では、光源５０２は、光のビームを変調アレイ５００の少なくとも一部上に投影するように構成され得る。光源５０２は、変調アレイ５００またはその特定の一部の表面から反射するように、光の投影されたビームを能動的または受動的に成形するように構成され得、いくつかの実施形態では、点光源として機能し得る。特に、光源５０２は、当技術分野において公知のように、レーザダイオード、プロジェクタ、ＬＥＤ、光ファイバ、または他の光のビームもしくは誘導電磁放射源を備え得る。３次元結像エリア５０４は、ｘ－軸５０８、ｙ－軸５０６、およびｚ－軸５１０に対するその相対的場所によって示される複数のボクセルを備えているように図示される。例えば、図示されるように、変調アレイ５００は、２のｘ－値（例えば、「２横断」）、２のｙ－値（例えば、「２上方」）と、１のｚ－値（例えば、「１後方」）とを有するボクセル｛２、２、１｝上に光を集中させている。いくつかの実施形態では、ボクセルのサイズは、変調アレイ５００内の複数の光変調器４０２の分布およびサイズに比例する。例えば、より小さいボクセルが、より高い分解能のために要求される場合、光変調器４０２の数およびサイズは、増加させられ得る。同様に、いくつかの実施形態では、光変調器間の距離（例えば、ピッチ）は、いくつかの実施形態では、減少させられ、分解能を増加させ得る。

図５Ｂは、光を変調アレイ５００上に当てる光源５０２を図示し、変調アレイは、光を異なるボクセル｛３、２、２｝上に集中させている。その変調シフトパターンを変化させることによって、変調アレイ５００は、ＸおよびＹ次元における異なるボクセル上だけではなく、異なるｚ距離に位置するボクセルにも同様に光を集中させることができる。したがって、第１のｚ－層内のボクセル（第３のボクセルの場合、ｚ値は全て、「１」であり、例えば、｛＿＿、＿＿、１｝）は、ＤＰ１深度平面内の結像オブジェクトに対応し得る。同様に、第２のｚ－層内のボクセル（例えば、｛＿＿、＿＿、２｝）は、ＤＰ２深度平面内の結像オブジェクトに対応し得、第３のｚ－層（例えば、｛＿＿、＿＿、３｝）内のボクセルは、ＤＰ３深度平面内の結像オブジェクトに対応し得る。故に、図３Ｂにおける深度複合画像３１０からの人３０２は、第１のｚ－層内でラスタされ得、木３０４および地面３０６は、第２のｚ－層内でラスタされ得、月は、第３のｚ－層内でラスタされ得る。いくつかの実施形態では、画像は、ボクセル毎に照明することによってラスタされる。例えば、人３０２をラスタするために、変調アレイ５００は、最初に、第１の変調シフトパターンを使用して、｛１、１、１｝のためのボクセル（図５Ｂでは、人の右脚および足を含む）を生成し、次いで、第２の変調シフトパターンを使用して、｛２、１、１｝のためのボクセル（図５Ｂでは、人の左脚および足を含む）を生成し得る。いくつかの実施形態では、結像オブジェクトがボクセル内に存在しない場合、変調アレイは、ボクセルをスキップし得る。したがって、例えば、結像されるべき人３０２の任意の一部を含まないボクセル｛３、１、１｝は、スキップされ、結像システムの時間およびリソースを節約し得る。いくつかの実施形態では、各ボクセルは、結像されるべきオブジェクト（例えば、オブジェクト）を含むかどうかにかかわらず生成され得る。したがって、いくつかの実施形態では、ボクセル｛３、１、１｝は、依然として、集中させられ得るが、背景値が代わりに投影されるか、または光が全く投影されないこともある。

図５Ｃは、いくつかの実施形態による、３つの深度平面（例えば、ＤＰ１、ＤＰ２、およびＤＰ３）を伴う、変調アレイ５００を図示する。特に、各深度平面は、それらが一列に整列させられないように構成されている。この構成では、深度平面は、図２に示される内部結合格子に対応し得る。例えば、図５ＣにおけるＤＰ１内のボクセルは、内部結合格子２２２ａに対応し得、図５ＣにおけるＤＰ２内のボクセルは、内部結合格子２２２ｂに対応し得、図５ＣにおけるＤＰ３内のボクセルは、内部結合格子２２２ｃに対応し得る。

図５Ａ－５Ｃは、３×３ボクセルマトリクスまたはテンソルとして各深度平面を図示するが、当業者は、ボクセルの数およびサイズが、増加させられ、所望の分解能の最終画像出力を生成することができることを理解する。さらに、１つの光源（例えば、光源５０２）が、図に図示されるが、当業者は、１つ以上の光源が実装され得ることを理解する。いくつかの実施形態では、３つの光源、すなわち、１つの赤色光、１つの緑色光、および１つの青色光が、ＲＧＢボクセル値を生成するために実装され得、それは、順に、ラスタされ、カラーマルチ深度画像シーケンスを生成し得る。いくつかの実施形態では、３つの変調アレイが、色毎に１つずつ実装され、それらは、連動し、ＲＧＢ色空間値を伴う１つの３チャネルボクセルを結像する。いくつかの実施形態では、１つの区分化された変調アレイが、実装され、変調アレイの異なるセクションが、異なる変調シフトパターンを表示する。いくつかの実施形態では、区分化された変調アレイは、３つの区分を有し得、各区分は、異なる色の光を受信するように構成される。

図６は、いくつかの実施形態による、ＤＯＥアセンブリ２１２と、動的フレネルモジュール２０２とを実装する例示的ＡＲシステムを図示する。図示されるように、システムは、メモリ６１２と、ＣＰＵ６１６と、ＧＰＵ６１４と、画像生成および処理のための他の回路とを伴う画像生成プロセッサ６０２を含む。画像生成プロセッサ６０２は、ＡＲシステムユーザへの提示のための所望の仮想コンテンツでプログラムされ得る。いくつかの実施形態では、画像生成プロセッサ６０２は、装着可能ＡＲシステム内に格納され得ることを理解されたい。他の実施形態では、画像生成プロセッサおよび他の回路は、装着可能光学に結合されるベルトパック内に格納され得る。

画像生成プロセッサ６０２によって生成された仮想コンテンツまたは情報は、ディスプレイ回路６１０に伝送され得る。ディスプレイ回路６１０は、画像生成プロセッサ６０２と通信し得るインターフェース回路６３２を備え得、さらに、マキシムチップ６３４、温度センサ６３６、圧電ドライブ／変換器６３８、赤色光源６４０、青色光源６４２、および緑色光源６４４等の回路とインターフェースをとり得る。いくつかの実施形態では、ファイバコンバイナが、生成される光を組み合わせ、ファイバ（図示せず）を使用して、光を動的フレネルモジュール２０２内の変調アレイの面にルーティングする。しかしながら、説明されるように、いくつかの実施形態では、光源は、動的フレネルモジュール２０２中に統合され得、動的フレネルモジュールは、それ自身の専用制御回路を有し、画像情報を受信し、１つ以上の光源からの光を変調アレイ上に投影し得る。ＡＲシステムは、次いで、動的フレネルモジュール２０２を使用して、ボクセルを生成し、光をＤＯＥアセンブリ２１２内の１つ以上の格子に向かわせ得る。

（システムアーキテクチャ概要）
図７は、本明細書に説明される本発明の実施形態を実装するために好適な例証的コンピューティングシステム７００のブロック図である。コンピュータシステム７００は、プロセッサ７０７、システムメモリ７０８（例えば、ＲＡＭ）、静的記憶デバイス７０９（例えば、ＲＯＭ）、ディスクドライブ７１０（例えば、磁気または光学）、通信インターフェース７１４（例えば、モデムまたはイーサネット（登録商標）カード）、ディスプレイ７１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス７１２（例えば、キーボード）、およびカーソル制御等のサブシステムおよびデバイスを相互接続する情報を通信するためのバス７０６または他の通信機構を含む。

本発明の一実施形態によると、コンピュータシステム７００は、プロセッサ７０７がシステムメモリ７０８内に含まれる１つ以上の命令の１つ以上のシーケンスを実行することによって、特定の動作を行う。そのような命令は、静的記憶デバイス７０９またはディスクドライブ７１０等の別のコンピュータ読み取り可能な／使用可能な媒体からシステムメモリ７０８の中に読み込まれ得る。代替実施形態では、有線回路が、ソフトウェア命令の代わりに、またはそれと組み合わせて使用され、本発明を実装し得る。したがって、本発明の実施形態は、ハードウェア回路および／またはソフトウェアの任意の特定の組み合わせに限定されない。一実施形態では、用語「論理」は、本発明の全部または一部を実装するために使用されるソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。

用語「コンピュータ読み取り可能な媒体」または「コンピュータ使用可能な媒体」は、本明細書で使用される場合、実行のために命令をプロセッサ７０７に提供することに関わる、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ７１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ７０８等の動的メモリを含む。

一般的形態のコンピュータ読み取り可能な媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ（例えば、ＮＡＮＤフラッシュ、ＮＯＲフラッシュ）、任意の他のメモリチップもしくはカートリッジ、またはコンピュータが読み取ることができる、任意の他の媒体を含む。

本発明のある実施形態では、本発明を実践するための命令のシーケンスの実行は、単一コンピュータシステム７００によって行われる。本発明の他の実施形態によると、通信リンク７１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される２つ以上のコンピュータシステム７００は、互いに協働して、本発明を実践するために要求される命令のシーケンスを行い得る。

コンピュータシステム７００は、通信リンク７１５および通信インターフェース７１４を通して、プログラム、すなわち、アプリケーションコードを含むメッセージ、データ、および命令を伝送ならびに受信し得る。受信されたプログラムコードは、プロセッサ７０７によって受信されると実行され、および／または後の実行のためにディスクドライブ７１０または他の不揮発性記憶装置内に記憶され得る。記憶媒体７３１内のデータベース７３２は、データインターフェース７３３を介してシステム７００によってアクセス可能なデータを記憶するために使用され得る。

動的フレネルプロジェクタの変調アレイの種々の部分は、１つ以上の平坦フレネルレンズのように作用することができる。従来のレンズにおけるような湾曲表面の代わりに、例示的フレネルレンズは、従来のレンズのように、フレネルレンズと相互作用する光の特性（例えば、位相、振幅、方向等）を操作する（例えば、通過させ、および／または反射する）溝または隆起を有する。フレネルレンズは、フーリエレンズである。動的フレネルプロジェクタの変調アレイは、１つ以上のフレネルレンズを形成することによって、光の位相または振幅を変調する能力を有する。本明細書に説明される実施形態のうちの１つ以上のものにおいて使用され得る変調アレイの例は、シリコン上液晶（「ＬＣＯＳ」）モジュールと、少なくとも部分的に、電気光学材料によって形成される１つ以上のモジュールとを含む。

（ボクセル毎システム）
図８は、いくつかの実施形態による、動的フレネルモジュール８０２と、ＤＯＥアセンブリ８１２とを備えているマルチ深度画像シーケンスを生成するためのシステム８００を図示する。動的フレネルモジュール８０２は、光源８２６からの光８２８を反射し、集中させる。いくつかの実施形態では、動的フレネルモジュール８０２は、少なくとも部分的に、電気光学材料から形成され得る。例えば、動的フレネルモジュール８０２は、フレネルパターンがＧＨｚ範囲のレートでリフレッシュされることを可能にする特性を有するリン化インジウム材料を含み得る。他の実施形態では、動的フレネルモジュール８０２は、ＬＣＯＳモジュールであり得る。

任意の所与の時点において、光８２８は、マルチ深度画像シーケンスの特定の部分（例えば、ボクセル）に対応し得る。より具体的には、色および強度等の光８２８の種々の特性は、表示されるべきマルチ深度画像シーケンスのボクセルの色および強度に対応し得る。したがって、光８２８の色および強度は、ラスタ走査の過程にわたってボクセル毎に調節され得る。このように、光８２８は、光特性（色、強度等）が経時的に変化する動的光ストリームであり得る。例えば、ロボット像１０６が表示されるべきシナリオでは、光８２８は、ラスタ走査の過程にわたる任意の所与の時点で、１００メートルの距離にあるように見えるロボット像１０６の画像の一部を形成するボクセルに対応し得る。この例では、光８２８の色および強度は、ロボット像１０６の画像の各ボクセルが正確な様式で表示されるように変化し得る。漫画のようなアバターキャラクタが表示されるべき別の例では、光８２８は、ラスタ走査の過程にわたる任意の所与の時点で、１メートルの距離にあるように見える、漫画のようなアバターキャラクタ１０８の一部を形成するボクセルに対応し得る。

いくつかの実施形態では、光８２８に対応する入力信号は、アレイコントローラ８０６において受信される。入力信号は、光源８２６からの光８２８の特性を、光８２８を適切な場所に向かって投影し、所望のボクセルを形成する動的フレネルモジュール８０２と同期させる。アレイコントローラは、変調アレイ８０４と、論理モジュール８０８とを備え得る。前述のように、変調アレイ８０４は、光をボクセルまたはピクセル上に集中させ、もしくは向かわせ、画像またはその一部を生成する複数の光変調器（図８に図示せず）を備え得る。変調アレイ８０４は、以下に説明されるように、１ビットアドレッシング（例えば、バイナリ）を有し得る。いくつかの実施形態では、アレイコントローラモジュール８０６は、複数の光変調器を操作および管理するための制御コードを備えている。いくつかの実施形態では、論理モジュール８０８は、入力信号または画像情報を受信し、画像シーケンス情報を解釈し命令にし、アレイコントローラ８０６は、その命令に従い、変調アレイ８０４を操作し、マルチ深度画像シーケンスをラスタし得る。いくつかの実施形態では、アレイコントローラ８０６および論理モジュール８０８の機能性の一部または全部は、装着可能光学に結合されるベルトパック内に格納される回路、１つ以上のクラウドコンピューティングデバイス等、動的フレネルモジュール８０２と論理的および／または物理的に別個である、１つ以上のモジュールを用いて提供され得る。

いくつかの実施形態では、動的フレネルモジュール８０２は、回折光学要素（ＤＯＥ）アセンブリ８１２に光学的に結合され得る。例えば、動的フレネルモジュール８０２とＤＯＥアセンブリ８１２とは、互いに物理的に結合されるか、または１つ以上の共通構造に物理的に結合され得る。いくつかの実施形態によると、ＤＯＥアセンブリ８１２は、導波管８１４ａ－８１４ｃのスパンに沿って画像光を偏向させ、自然な実世界回折効果を模倣する角度で画像光８２４が導波管８１４ａ－８１４ｃから出射することを可能にする回折格子８２２ａ－８２２ｃ（例えば、ＩＣＧ）を伴う１つ以上のスタックされた平面導波管またはＤＯＥ層８１４ａ－８１４ｃを備えている。さらに、いくつかの実施形態では、画像光８２４は、第２の回折格子の組（図示せず）を使用して、ＤＯＥ層８１４ａ－８１４ｃから視認者に向かって出射する。いくつかの実施形態では、各ＤＯＥ層８１４ａ－８１４ｃは、種々の距離においてオブジェクトから回折する光を模倣するように構成される。例えば、ＤＯＥ層８１４ａは、１メートル離れたオブジェクト（例えば、漫画のようなアバターキャラクタ１０８）から生じる回折光をシミュレートするように構成され得る（例えば、深度平面１「ＤＰ１」は、１メートルに設定される）。同様に、ＤＯＥ層８１４ｂおよびＤＯＥ層８１４ｃは、異なる距離におけるオブジェクトから生じる回折光をシミュレートするように構成され得る（例えば、深度平面２「ＤＰ２」は、１００メートルに設定され得、深度平面３「ＤＰ３」は、遠く離れたオブジェクトのための光学無限遠に設定され得る）。

図８では、変調アレイ８０４（フレネルパターン８３０をその上に有する）から反射する光８２６は、３－Ｄ空間内の特定の標的点（例えば、ボクセル）に集中する。フレネルパターン８３０は、光源８２６の既知の場所からの光８２６を標的ボクセルにおける画像光８２４に集中させるように構成される。フレネルパターン８３０を変化させることは、標的ボクセルの場所を移動させる。変調アレイ８０４上のフレネルパターン８３０を急速に変化させることによって、動的フレネルモジュール８０２は、３－Ｄ画像をボクセル毎に生成するボクセルラスタプロジェクタとして機能する。

（フレーム毎システム）
図９は、いくつかの実施形態による、動的フレネルモジュール９０２と、ＤＯＥアセンブリ９１２とを備えているマルチ深度画像シーケンスを生成するためのシステム９００を図示する。図９に描写されるシステム９００は、図８に描写されるシステム８００に類似する。２つのシステム８００、９００間の基本的差異は、３－Ｄ画像を形成するための図８に描写されるシステム８００のボクセル毎ラスタの代わりに、図９に描写されるシステム９００が、完全な３－Ｄ画像を導波管９１４ａ－９１４ｃに向かって投影することである。画像全体を投影するために、フレネルパターン９３０は、図８におけるような単純フレネルパターン８３０の代わりに、コンピュータ生成ホログラム（「ＣＧＨ」）９３０である。

動的フレネルモジュール９０２は、光源９２６からの光９２８を反射し、集中させる。より具体的には、動的フレネルモジュール９０２は、アレイコントローラ９０６と、任意の所与の時点で変調アレイ９０４によってレンダリングされるべきＣＧＨ９３０を決定するための１つ以上の動作を行う論理モジュール９０８とを含み得る。変調アレイ９０４内のＣＧＨ９３０は、マルチ深度画像の中への入射光を変調するパターンを表し得る。例えば、ＣＧＨ９３０は、画像光９２４を反射し、１００メートルの距離にあるように見える、ロボット像１０６と、１メートルの距離にあるように見える漫画のようなアバターキャラクタ１０８とを含む画像を形成し得る。いくつかの実施形態では、変調アレイ９０４は、位相限定反射ＬＣＯＳモジュールであり得る。図１４－１６を参照して以下に説明されるように、システム９００によって生成されるマルチ深度画像の品質は、そのようなＬＣＯＳの量子化のレベル（すなわち、ＬＣＯＳ内の各反射体が置かれることが可能な異なる状態の総数）に依存し得る。例えば、ＧＡＥＡ ４Ｋ Ｕｌｔｒａ ＨＤ １０ＭＰ位相限定ＬＣＯＳ等の８ビットＬＣＯＳ変調アレイは、知覚品質において１ビットＬＣＯＳ変調アレイのものより高いマルチ深度画像を生成可能であり得る。

源光９２８は、複数のフレームまたは画像の表示の過程にわたって固定されたままである色および強度の光のストリームであり得る。いくつかの実施形態では、源光９２８は、表示されるべきマルチ深度画像内に表される色成分の一部または全部を含む光のストリームであり得る。例えば、源光９２８は、白色光の静的ストリームであり得る。任意の所与の時点で、ＣＧＨ９３０の幾何学形状は、マルチ深度画像の特定のフレームに対応し得る。より具体的には、マルチ深度画像の特定のフレームに対応し得るＣＧＨ９３０の幾何学形状および設計は、表示されるべきフレームの色および強度ならびにフレームの各部分が表示されるべき３次元空間内の場所に対応し得る。したがって、ＣＧＨ９３０は、マルチ深度画像シーケンスの提示の過程にわたってフレーム毎に調節され得る。したがって、変調アレイ４００から反射された源光９２８の一部の特性（色、強度、３－Ｄ場所等）は、変調アレイ９０４上のＣＧＨ９３０内の変化によって経時的に変化させられるであろう。ＣＧＨ９３０は、それらのフレネルレンズパターンに類似する原理を活用し、３次元空間内の特定の場所における望ましくない波長の光間に破壊的干渉を作成する特定の幾何学形状を含み得る。特定の標的３－Ｄ画像のためのＣＧＨは、種々のアルゴリズム（例えば、Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズム）を使用して生成されることができる。システム９００内の静的光源９２６は、システム８００内の動的（例えば、ＲＧＢ）光源８２６より小さく、低電力集約的である。但し、いくつかの実施形態では、システム８００内の光源８２６は、システム９００内の静的光源９２６のものに実質的に類似し得る。これらの実施形態では、変調アレイ８０４によって表示されるフレネルパターンは、ボクセルの所望の焦点ならびにボクセルの所望の色に基づいて決定され得る。

フレネルレンズ／プロジェクタは、複数の深度平面に一部を伴う３－Ｄ画像を投影するためのＣＧＨを形成することができる。任意の３－Ｄプロジェクタの場合、光源と、距離および画像の複合を含む最終画像との間に経路が存在する。３－Ｄ画像を構成する、ボクセルの一部または全部は、ＣＧＨを使用して、同時に生成され得る。この結果に対する１つの説明は、フレネルレンズのサブ部分が異なる深度平面に集中させられることである。一例は、４つのサブ部分となるであろうが、より多くのサブ部分も存在することができる。複合フレネルパターンの場合、変調アレイの異なる部分が異なる深度に対応する画像の異なる部分を集中させる。

代替説明は、異なる深度に対して、変調アレイ（例えば、ＬＣＯＳ）の全ての部分が、振幅の異なる部分のために使用されることである。数学的に、ＣＧＨは、複合物である。変調アレイの平面上のＣＧＨは、光源に対する標的３－Ｄ画像のフーリエ変換を表し得る。変調アレイの平面上に最終的にレンダリングされるＣＧＨは、いくつかの実施形態では、標的３－Ｄ画像のフーリエ変換と、標的３－Ｄ画像の各部分が提示されるべき３次元空間内の特定の場所に対応するフレネルパターン化とに基づいて生成される複合パターンであり得る。空間情報は、光源が変調され得るように、変調アレイ平面における振幅に変換される。その結果、フレネル変調アレイは、３－Ｄ画像をユーザの眼に向かって送達可能である。

図８および９に描写されるそれぞれのシステム８００、９００は、異なる利点を有する。図８では、システム８００によって作成され得る全てのボクセルの場所は、事前に既知であり得る。システムは、ボクセルを全ての可能な場所に生成する（すなわち、それを表す）ために必要とされる全てのフレネルパターン８３０を生成し、フレネルパターンをシステムメモリ（例えば、フィールドプログラマブルゲートアレイおよび／またはＲＡＭ）内に記憶することができる。ボクセルが特定の場所において必要とされるときはいつでも、システム８００は、その場所を表すフレネルパターン８３０をシステムメモリから呼び出すことができる。光源８２６からの光８２８が、変調アレイ８０４から反射すると、ボクセルは、標的場所に現れる。

図９では、３－Ｄ画像全体が、一連のボクセルの代わりに、システム９００によって生成される。システム９００は、変調アレイ９０４の表面上のＣＧＨ９３０を用いて、３－Ｄ画像を生成する。システム９００が、生成されるであろう画像を把握する場合（例えば、３－Ｄ映画のために）、システム９００は、ＣＧＨの全てを事前に生成し、連続的な表示の前にそれらを記憶することができる。システム９００が、生成されるであろう画像を把握していない場合、事前に生成されたＣＧＨ９３０を記憶することができない。図９においてＣＧＨ９３０を使用して生成された３－Ｄ画像は、図８におけるフレネルパターン８３０を使用して生成されたラスタ３－Ｄ画像と比較して、改良された分解能を有し得る。

例示的３－Ｄ画像は、各深度において９ＭＰ画像を有する。図８に描写されるシステム８００では、全てのそれらのボクセルの場所のためのフレネルパターンは、例えば、システムＲＡＭ上に記憶されることができる。３－Ｄ画像を生成するために、システム８００は、プロセッサ（例えば、ＦＰＧＡ）および変調アレイ８０４の速度限界を前提として、可能な限り高速で全てのそれらのボクセルを通して循環する。例えば、５００～６００ＭＨｚでラスタする９ＭＰ画像は、比較的に高知覚品質の３－Ｄ画像を生成し得る。したがって、図８に描写されるもののようなラスタシステムは、プロセッサおよび変調アレイ８０４の速度によって限定される。図８に描写されるもの等の単一ピクセルラスタシステムに対して、レート限定ステップ／コンポーネントは、変調アレイ８０４のスイッチレートであり得る。

いくつかの実施形態では、図９における変調アレイ９０４は、フレームがフレーム毎システムにおいて表示されるレートがボクセルがボクセル毎システム内で走査されるレートよりはるかに低くあり得るので、図８における変調アレイ８０４より低い速度で動作するが（例えば、ＫＨｚスイッチレートにおけるＬＣＯＳ）、依然として、等しいまたはより高いレートで提示されるマルチ深度画像に変換し得る。システム９００は、３－Ｄ一連のフレームに対応する一連のＣＧＨを事前に生成する。システム９００は、一連のＣＧＨ／３－Ｄフレームを通して循環し、３－Ｄ運動グラフィックを表示することができる。事前に生成されたＣＧＨを伴うフレーム毎システムは、高密度ＬＣＯＳのフレームレートによって限定される。ＣＧＨをオンザフライで（すなわち、リアルタイムで）生成する、フレーム毎システムは、計算上集約的であるステップであるＣＧＨ生成ステップおよびプロセッサ速度によって限定される。プロセッサ速度は、サイズ、重量、熱等の他のメトリックと釣り合わせられ得る。

図８および９は、ラスタに伴って一度に１つのボクセル（図８）または一度に１つの画像（図９）の３－Ｄ画像を生成する２つの方法を表す。対応するシステム速度要件は、高速ラスタ（図８）および各３－Ｄ画像を表すＣＧＨの迅速生成（図９）を含む。

図１０および１１は、いくつかの実施形態による、動的フレネルモジュール１００２、１１０２を備えているマルチ深度画像シーケンスを生成するためのシステム１０００、１１００のコンポーネントを図式的に図示する。図１０に描写されるシステム１０００は、両システムがラスタに伴って一度に３－Ｄ画像の１つのボクセルを生成するという点において、図８に描写されるシステム８００に類似する。画像情報を含む、入力信号１０３２が、光源コントローラ１０３４に入力され、光源コントローラは、画像情報に対応する３－Ｄ画像のボクセルの生成に従って源光の特性を変動させるように、動的光源１０２６に命令する。焦点場所決定ユニット１０３６が、３－Ｄ画像内のボクセルの場所を決定する。焦点場所決定ユニット１０３６は、決定された場所情報を変調パターン決定ユニット１０３８に送信し、変調パターン決定ユニットは、画像光を場所情報に対応する３－Ｄ場所に集中させる変調アレイ１００４上での表示のために、事前に生成されるフレネルパターンを生成するか、または呼び出す。したがって、システム１０００は、３－Ｄ画像の１つのボクセルを投影する。ボクセルの全てを通してラスタすることは、３－Ｄ画像を生成する。変調アレイ１００４が光源１０２６からの光を１つ以上のＤＯＥ層の回折格子（例えば、ＩＣＧ）の中に反射し、回折格子が画像光を偏向し、最終的に、実世界回折効果を模倣する角度で出力するように構成される実施形態に関して、変調アレイ１００４上に表示されるフレネルパターンが対応する、焦点の場所は、同一深度で表示されるべき１つ以上のボクセルに対して同一であり得る。すなわち、光がそのような回折格子に提供される角度は、そのような光が視認者に現れる３次元空間内の位置を決定付け得るので、変調アレイ１００４は、これらの実施形態では、光をＤＯＥ上の同一焦点上であるが、変調アレイ１００４の表面の異なる場所から向かわせるフレネルパターンを表示することによって、同一深度平面内に位置するボクセルをラスタし得る。このように、変調アレイ１００４は、光が所与の深度のために入力としてＤＯＥに提供される角度を効果的に変調するように動作し得る。図１１に描写されるシステム１１００は、両システムが、変調アレイ１１０４上のＣＧＨを使用して、完全な３－Ｄ画像を生成し得るという点において、図９に描写されるシステム９００に類似する。光源コントローラ１１３４は、３－Ｄ画像を生成するための源光を投影するように、または投影しないように静的光源１１２６に命令する。画像情報を含む入力信号１１３２が、３－Ｄ画像のボクセルの場所を決定する、焦点場所決定ユニット１１３６に入力される。焦点場所決定ユニット１１３６は、決定された場所情報とともに、入力信号１１３２を変調パターン決定ユニット１１３８に転送し、変調パターン決定ユニットは、画像光の一部を種々の３－Ｄ場所に集中させ、３－Ｄ画像を形成する、事前に生成されるフレネルパターン／ＣＧＨを生成するか、または呼び出す。したがって、システム１１００は、３－Ｄ画像を単一フレームとして、生成し、投影する。

図９に描写されるシステム９００に示されるもの等のＣＧＨ９３０の使用は、潜在的に、システムコンポーネントを光源および変調アレイに最小化することができる。そのようなシステムは、レンズを伴わずに実装され、これらのシステムの体積および重量を低減させることができる。これらのシステムは、任意の導波管を伴わずに実装されることができる（図１１参照）。導波管を伴わなくても、フレネル変調アレイおよび光源は、他の光学コンポーネント（例えば、中継レンズ、可変焦点要素等）を伴わずに、光をユーザの眼の中に集中させることができる。これらのシステムは、フレネル変調アレイからの出力をユーザの眼の中に向かわせるメニスカスレンズを含み得る。したがって、これらのシステムは、従来の眼鏡形状因子内に組み込まれるために十分に小さくあることができる。

図１２は、図１１に描写されるシステム１１００とほぼ同じシステム１２００を描写する。すなわち、要素１２０４－１２３８は、システム１２００において、それぞれ、システム１１００内に提供され得る要素１１０４－１１３８と類似有用性を提供し得る。システム１２００は、ボクセル毎システム（例えば、図８および１０）の代わりに、フレーム毎システム（例えば、図９および１１）である。図１２は、システム１２００の種々の部分に関連付けられた３つのパターンも描写する。標的画像１２４０（また、図１３参照）は、入力信号１２３２に関連付けられる。標的画像１２４０は、システム１２００が投影することを試みている画像を表す。標的画像１２４０は、この例では、２－Ｄ画像であるが、上で説明されるものに類似する３－Ｄ画像であり得る。ＣＧＨ画像１２４２は、変調アレイ１２０４に関連付けられる。ＣＧＨ画像１２４２は、標的画像１２４０を生成／投影するように構成される変調アレイ１２０４の表面の一部の外観をシミュレートする。投影された画像１２４４は、変調アレイ１２０４から反射する画像光１２２４に関連付けられる。投影された画像１２４４は、標的画像１２４０に基づいて、システム１２００によって投影された画像の外観をシミュレートする（ＣＧＨ画像１２４２を使用して）。

図１４Ａ－１６Ｂは、図１３に描写される標的画像１３４０に基づく、種々のＣＧＨ画像１４４２、１５４２、１６４２および投影された画像１４４４、１５４４、１６４４を図示する。図１４Ａおよび１４Ｂは、１ビットＬＣＯＳを使用するシステムに関連付けられたパターンをシミュレートする。図１４Ａは、シミュレートされた投影された画像１４４４を描写する。図１４Ｂは、変調アレイにおいてシミュレートされたＣＧＨ画像１４４２を描写する。１ビットＬＣＯＳを用いると、ＬＣＯＳ上の全ての反射体は、２つの状態（すなわち、バイナリまたは２つのレベルの量子化）のうちの１つにある。この限定された１ビットＬＣＯＳは、歪んだ（例えば、鏡映および反転）投影された画像１４４４をもたらす。したがって、１ビットＬＣＯＳは、ボクセル毎システム等、歪みにロバストであるＡＲシステム内に計算節約をもたらすために活用され得る。

図１５Ａおよび１５Ｂは、２ビットＬＣＯＳを使用するシステムに関連付けられたパターンをシミュレートする。２ビットＬＣＯＳを用いると、ＬＣＯＳ上の全ての反射体は、４つの状態（すなわち、４つのレベル量子化）のうちの１つにある。図１５Ａに示されるように、シミュレートされた投影された画像１５４４は、鏡映または反転されず、したがって、シミュレートされた投影された画像１４４４に優る改良を表す。図１５Ｂは、変調アレイにおいてシミュレートされたＣＧＨ画像１５４２を描写する。

図１６Ａおよび１６Ｂは、８ビットＬＣＯＳを使用するシステムに関連付けられたパターンをシミュレートする。８ビットＬＣＯＳを用いると、ＬＣＯＳ上の全ての反射体は、２５６状態（すなわち、２５６レベル量子化）のうちの１つにある。図１６Ａに示されるように、シミュレートされた投影された画像１６４４は、シミュレートされた投影された画像１５４４よりさらに高い品質の標的画像１３４０の表現である。図９に描写されるフレーム毎システム９００は、８ビットＬＣＯＳ９０４を含む。図１６Ｂは、変調アレイにおいてシミュレートされたＣＧＨ画像１６４２を描写する。

８ビットＬＣＯＳのＣＧＨ１６４２は、２ビットまたは１ビットＬＣＯＳのＣＧＨ１５４２、１４４２より複雑である。このより高いビットレベルのＬＣＯＳは、標的画像のより高い品質表現をもたらすが、より高いビットレベルのＬＣＯＳは、より複雑なＣＧＨを生成するために、より多くのプロセッササイクル／計算を要求する。したがって、８ビットＬＣＯＳは、対応する計算負荷を取り扱うために十分な処理リソースを伴うＡＲシステム内に比較的に高品質標的画像をもたらすために活用され得る。他のＬＣＯＳは、プロセッサの速度および／またはＬＣＯＳ駆動回路のアーキテクチャならびに能力に応じて、１６ビット、３２ビット、および６４ビットを含み得る。

前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、本発明のより広義の精神および範囲から逸脱することなく、種々の修正および変更がそこに行われ得ることが明白となるであろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく、変更され得る。明細書および図面は、故に、限定ではなく、例証的意味と見なされるべきである。

Claims (1)

1. システムまたはデバイスまたは方法。