JP6704353B2 - 仮想および拡張現実における焦点面を作成する方法およびシステム - Google Patents

Description

（関連出願の引用）
本願は、米国仮特許出願第６２／００５，８３４号（２０１４年３月３０日出願、名称「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＣＲＥＡＴＩＮＧ ＦＯＣＡＬ ＰＬＡＮＥＳ ＩＮ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」、代理人事件番号ＭＬ ３００１７．００．）からの優先権を主張する。本願は、米国仮特許出願第６２／００５，８０７号（２０１４年３月３０日出願、名称「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＣＲＥＡＴＩＮＧ ＦＯＣＡＬ ＰＬＡＮＥＳ ＩＮ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」、代理人事件番号ＭＬ ３００１６．００）、米国仮特許出願第６２／００５，８６５号（２０１４年３月３０日出願、名称「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＳＴＥＲＥＯＳＣＯＰＹ ＷＩＴＨ Ａ ＦＲＥＥＦＯＲＭ ＯＰＴＩＣＡＬ ＳＹＳＴＥＭ ＷＩＴＨ ＡＤＤＲＥＳＳＡＢＬＥ ＦＯＣＵＳ ＦＯＲ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」、代理人事件番号ＭＬ ３００１８．００．）と相互関連する。本願は、米国特許出願第１４／５５５，５８５号（２０１４年１１月２７日出願、名称「ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」、代理人事件番号ＭＬ ２００１１．００，）、米国特許出願第１４／６１１，１５４号（２０１５年１月３０日出願、名称「ＭＵＬＴＩ−ＦＯＣＡＬ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ」、代理人事件番号２００１２．００ ）、米国特許出願第１４／６１１，１６２号（２０１５年１月３０日出願、名称「ＭＵＬＴＩ−ＦＯＣＡＬ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ」、代理人事件番号ＭＬ ２００１３．００． ）とも関連する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える様式、もしくはそのように知覚され得る様式においてユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。例えば、図１を参照すると、拡張現実場面（４）が、描写されており、ＡＲ技術のユーザには、人々、木々、背景の建物、およびコンクリートのプラットフォーム（１１２０）を特徴とする実世界の公園のような設定（６）が見える。

これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム（１１２０）上に立っているロボット像（１１１０）と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバターキャラクタ（２）が「見えている」ことを知覚するが、これらの要素（２、１１１０）は、実世界には存在しない。結論から言うと、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間に、仮想画像要素の快適で自然のような感覚の豊かな提示を促進するＶＲまたはＡＲ技術を生成することは、困難である。

図２Ａを参照すると、２つのディスプレイ（１０、１２）を特徴とする立体視装着式眼鏡（８）タイプ構成が開発されており、２つのディスプレイは、概して、３次元遠近画がヒトの視覚系によって知覚されるように、若干異なる要素の提示を伴う画像を表示するように構成されている。そのような構成は、画像を３次元で知覚するために克服されなければならない、両眼離反運動と遠近調節との間の不整合に起因して、多くのユーザにとって不快であることが見出されている。実際、一部のユーザは、立体視構成に耐えることができない。図２Ｂは、立体視ディスプレイを通したユーザへの拡張現実提示のための画像を捕捉するように構成される、２つの前方に向けられたカメラ（１６、１８）を特徴とする、別の対の立体視装着式眼鏡（１４）タイプ構成を示す。カメラ（１６、１８）およびディスプレイの位置は、概して、眼鏡（１４）がユーザの頭部上に搭載されると、ユーザの自然な視野を遮断する。

図２Ｃを参照すると、従来の眼鏡レンズ（２２）も保持する眼鏡フレーム（２４）に結合される可視化モジュール（２６）を特徴とする拡張現実構成（２０）が、示される。ユーザは、そのようなシステムを用いて、少なくとも部分的に妨害されていない実世界のビューを見ることができ、ユーザは、デジタル画像が単眼用ＡＲ提示のためにＡＲ構成で片眼に提示され得る小型ディスプレイ（２８）を有する。図２Ｄは、帽子またはヘルメット（３０）に結合され得る可視化モジュール（３２）を有する構成を特徴とする。可視化モジュールは、小型ディスプレイ（３４）を通して単眼用拡張デジタル画像をユーザに提示するように構成され得る。図２Ｅは、可視化モジュール（３８）が、画像を捕捉し、また、小型ディスプレイ（４０）を通して単眼用拡張デジタル画像をユーザに提示するために利用され得るように、眼鏡の結合と同様の様式でユーザの頭部に取り付け可能なフレーム（３６）を含む、別の類似構成を図示する。そのような構成は、例えば、商標名Ｇｏｏｇｌｅ Ｇｌａｓｓ（ＲＴＭ）の下、Ｇｏｏｇｌｅ， Ｉｎｃ．（Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ）から利用可能である。

これらの構成はいずれも、ユーザにとって快適かつ最大限に有用となるであろう様式で豊かな双眼用の３次元拡張現実体験を提示するために最適ではない。なぜなら、部分的に、従来のシステムがヒトの知覚系の基本的側面（可視化の知覚をユーザにもたらすための網膜の視細胞および脳とのそれらの相互作用を含む）のいくつかに対処できていないからである。

図３を参照すると、角膜（４２）、虹彩（４４）、レンズ、すなわち、「水晶体」（４６）、強膜（４８）、脈絡膜層（５０）、黄斑（５２）、網膜（５４）、および脳への視神経路（５６）を特徴とする、ヒトの眼の簡略化された断面図（５８）が、描写される。黄斑は、網膜の中枢であり、中程度の詳細を見るために利用される。黄斑の中心には、「中心窩」と称される網膜の一部があり、それは、場面の最も細かい詳細を見るために利用され、網膜の任意の他の部分より多くの視細胞（視度あたり約１２０個の錐体）を含む。

ヒトの視覚系は、受動的センサタイプのシステムではない。それは、環境を能動的に走査するように構成される。画像を捕捉するためのフラットベッドスキャナの使用、または紙から点字を読み取るための指の使用に若干類似する様式において、眼の視細胞は、一定刺激状態に一定に応答するのではなく、刺激の変化に応答して、発火する。したがって、視細胞情報を脳に提示するための運動（フラットベッドスキャナ内で紙片を横断する線形スキャナアレイの運動、または紙に刻印された点字の単語を横断する指の運動のように）が要求される。

実際、眼の筋肉を麻痺させるために利用されたコブラ毒等の物質を用いた実験は、ヒト対象が、その眼が開かれ、毒によって誘発され麻痺した眼で静的場面を視認したまま位置付けられる場合、視覚消失を経験するであろうことを示している。言い換えると、刺激の変化がない場合、視細胞は、脳に入力を提供せず、視覚消失が経験される。これは、正常なヒトの眼が、「マイクロサッカード」と呼ばれる往復移動すること、すなわち、横運動で微動する（ｄｉｔｈｅｒ）ことが観察されていることの少なくとも１つの理由であると考えられる。

前述のように、網膜の中心窩は、視細胞の最大密度を含む。典型的には、ヒトは、その視野全体を通して高分解能可視化能力を持つ知覚を有するとされるが、概して、実際には、中心窩で最近捕捉された高分解能情報の持続的記憶を伴って、ほぼ常時、機械的にさっと見渡す小さな高分解能中枢のみを有する。若干類似する様式において、眼の焦点距離制御機構（毛様体弛緩が、毛様体結合線維の緊張を生じさせ、より離れた焦点距離のためにレンズを平坦化させ、毛様体収縮が、毛様体結合線維の弛緩を生じさせ、レンズがより近い焦点距離のためにより丸い幾何学形状をとることを可能にする様式で水晶体に動作可能に結合される毛様筋）は、標的焦点距離の近側および遠側の両方に、少量の「光屈折ぼけ」と呼ばれるものを周期的に誘発するために、約１／４〜１／２ジオプタだけ往復微動する。これは、針路を常に補正し、固定されたオブジェクトの網膜画像をほぼ焦点が合った状態に保つために役立つ周期的負のフィードバックとして、脳の遠近調節制御回路によって利用される。

脳の可視化中枢はまた、両眼およびその構成要素の互に対する運動から有益な知覚情報を得る。互に対する両眼の両眼離反運動（すなわち、眼の視線を収束させ、オブジェクトに固定するための互に向かって、またはそこから離れる、瞳孔の転動）は、眼のレンズの焦点合わせ（または「遠近調節」）に密接に関連付けられる。正常条件下では、眼のレンズの焦点を変化させること、すなわち、眼を遠近調節させ、異なる距離におけるオブジェクトに焦点を合わせることは、「遠近調節−両眼離反運動反射作用」として知られる関係下、自動的に、同一距離までの両眼離反運動における整合変化を生じさせるであろう。同様に、両眼離反運動の変化は、正常条件下では、遠近調節の整合変化も誘起するであろう。この反射作用に逆らう作用は、（従来の立体視ＡＲまたはＶＲ構成の大部分におけるように）眼疲労、頭痛、または他の形態の不快感をユーザにもたらすことが知られている。

眼を格納する、頭部の移動もまた、オブジェクトの可視化に重要な影響を及ぼす。ヒトは、その頭部を移動させ、その周囲の世界を視覚化する。ヒトは、多くの場合、かなり絶え間なく、頭部を着目オブジェクトに対して再位置付けおよび向け直す。さらに、大部分の人々は、特定のオブジェクトに焦点を合わせるために、その視線が中心から約２０度を上回って移動する必要があるとき、その頭部を移動させることを好む（すなわち、人々は、典型的には、「眼の端から」物を見ることを好まない）。ヒトはまた、典型的には、音に連動してその頭部を走査または移動させ、オーディオ信号捕捉を改善し、頭部に対する耳の幾何学形状を利用する。ヒトの視覚系は、「頭部運動視差」と呼ばれるものから優れた深度の手掛かりを得、頭部運動視差は、頭部の運動および眼の両眼離反運動距離の関数として、異なる距離におけるオブジェクトの相対運動に関連する。言い換えると、人がその頭部を横移動させ、あるオブジェクトに対して固定状態を維持する場合、そのオブジェクトからより遠いアイテムは、頭部と同一方向に移動し、そのオブジェクトの正面のアイテムは、頭部運動と反対に移動するであろう。これらは、人に対して物が空間的に環境内のどの場所にあるかの非常に顕著な手掛かりであり、おそらく、立体視と同等に優れている。頭部運動はまた、当然ながら、オブジェクトを見回すためにも利用される。

さらに、頭部および眼の運動は、「前庭眼反射作用」と協調させられ、前庭眼反射作用は、頭部回転中、網膜に対する画像情報を安定化させ、したがって、オブジェクト画像情報を網膜のほぼ中心に保つ。頭部の回転に応答して、眼は、反射的かつ比例的に反対方向に回転させられ、オブジェクトに対する安定した固定状態を維持する。この補償関係の結果として、多くのヒトは、その頭部を往復して振動させながら、本を読むことができる。興味深いことに、本が、頭部がほぼ静止したまま、同一速度で往復してめくられる場合、同じことは、概して、当てはまらない。すなわち、人は、めくられている本を読むことができない可能性が高い。前庭眼反射作用は、頭部と眼との運動協調のうちの１つであり、概して、手の運動のために発達させられていない。このパラダイムは、ユーザの頭部運動が、比較的に直接、眼の運動に関連付けられ得るので、拡張現実システムのために重要であり得、システムは、好ましくは、この関係と協働する準備ができたものであろう。

実際、これらの種々の関係を前提として、デジタルコンテンツ（例えば、部屋の実世界ビューを拡張させるために提示される仮想シャンデリアオブジェクト等の３−Ｄコンテンツ、または部屋の実世界ビューを拡張させるために提示される平面／平坦仮想油絵オブジェクト等の２−Ｄコンテンツ）を設置する場合、オブジェクトの挙動を制御するための設計選択が行われ得る。例えば、２−Ｄ油絵オブジェクトは、頭部を中心とし得、その場合、オブジェクトは、ユーザの頭部に伴って移動する（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）アプローチにおけるように）；または、オブジェクトは、世界を中心とし得、その場合、オブジェクトは、ユーザが実世界に対してオブジェクトの位置を移動させずにユーザの頭部または眼を移動させ得るように、実世界座標系の一部であるかのように提示され得る。

したがって、仮想コンテンツを拡張現実システムを用いて提示される拡張現実世界の中に設置する場合、オブジェクトが、世界を中心として提示されるべきか、身体を中心として提示されるべきか、頭部を中心として提示されるべきか、または眼を中心として提示されるべきかについて選定が行われる。頭部中心アプローチでは、仮想オブジェクトは、実世界内の定位置に留まり、ユーザは、実世界の壁等の仮想オブジェクトを包囲する実世界オブジェクトに対してその位置を変化させずに、ユーザの身体、頭部、眼をユーザの周囲で移動させ得る。身体中心アプローチでは、仮想要素は、ユーザの胴体に対して固定され得、ユーザは、仮想要素を移動させずにユーザの頭部または眼を移動させることができるが、仮想要素は、胴体の移動に追従させられる。頭部中心アプローチでは、表示されるオブジェクト（および／またはディスプレイ自体）は、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）を参照して前述のように、頭部の移動に伴って移動させられ得る。眼中心アプローチでは、以下に説明されるような「中心窩ディスプレイ」構成におけるように、コンテンツは、眼の位置の関数として回転させられる。

世界を中心とした構成では、正確な頭部姿勢測定、実世界オブジェクトの正確な表現および／または測定、およびユーザの周囲の幾何学形状等の入力と、頭部姿勢の関数としての拡張現実ディスプレイにおける短待ち時間の動的レンダリングと、概して短い待ち時間の表示とを有することが望ましくあり得る。

上記に列挙される米国特許出願は、典型的なヒトの視覚的構成と協働し、仮想現実および拡張現実用途における種々の課題に対処するためのシステムならびに技法を提示する。これらの仮想現実および／または拡張現実システムの設計は、仮想コンテンツの送達におけるシステムの速度、仮想コンテンツの品質、ユーザの射出瞳距離、システムのサイズおよび可搬性、ならびに他のシステムおよび光学課題を含む多数の課題を提示する。

本明細書に説明されるシステムおよび技法は、典型的なヒトの視覚的構成と協働し、これらの課題に対処するように構成される。

本発明の実施形態は、１人以上のユーザのための仮想現実および／または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。一側面では、仮想コンテンツを表示するためのシステムが、開示される。

１つ以上の実施形態では、拡張現実表示システムは、画像データの１つ以上のフレームに関連付けられた光を投影するために、画像源に動作可能に結合される空間光変調器と、画像データの第１のフレームが、第１の深度平面に焦点を合わせられ、画像データの第２のフレームが、第２の深度平面に焦点を合わせられるように、投影された光の焦点を変動させるための可変焦点要素（ＶＦＥ）とを備え、第１の深度平面と第２の深度平面との間の距離は、固定されている。

１つ以上の実施形態では、第１の深度平面は、第２の深度平面と異なる。１つ以上の実施形態では、空間光変調器は、ＤＬＰを備えている。１つ以上の実施形態では、ＤＬＰは、３６０Ｈｚのパワーで動作する。１つ以上の実施形態では、ＶＦＥは、変形可能ミラー膜である。

１つ以上の実施形態では、ＶＦＥは、フレーム毎に焦点を変動させる。１つ以上の実施形態では、空間光変調器は、高リフレッシュレートディスプレイである。１つ以上の実施形態では、第１の深度平面および第２の深度平面は、同時に知覚される。１つ以上の実施形態では、システムはさらに、一組の光学要素を備え、焦点を合わせられた光をユーザの眼に送達する。

１つ以上の実施形態では、画像データの１つ以上のフレームが、３次元場面のスライスを備えている。１つ以上の実施形態では、画像データの１つ以上のフレームが、時系列様式で提供される。１つ以上の実施形態では、拡張現実表示システムはさらに、画像データの１つ以上のフレームに関連付けられた光を投影するための別の空間光変調器を備えている。

１つ以上の実施形態では、他の空間光変調器は、ＬＣＤを備えている。１つ以上の実施形態では、拡張現実システムはさらに、遠近調節追跡モジュールを備え、ユーザの眼の両眼離反運動を追跡し、ＶＦＥは、少なくとも部分的に、追跡された両眼離反運動に基づいて、投影された光の焦点を変動させる。１つ以上の実施形態では、第１の深度平面は、光学無限に対応し、第２の深度平面は、光学無限より近い深度平面に対応する。

別の側面では、拡張現実を表示する方法は、画像データの第１のフレームに関連付けられた光を投影することと、画像データの第１のフレームに関連付けられた光の焦点を第１の深度平面に合わせることと、画像データの第２のフレームに関連付けられた光を投影することと、画像データの第２のフレームに関連付けられた光の焦点を第２の深度平面に合わせることとを含み、第１の深度平面は、第２の深度平面と異なり、第１の深度平面および第２の深度平面は、ユーザによって視認されると、同時に知覚される。

１つ以上の実施形態では、ＡＲシステムはさらに、ユーザの眼の両眼離反運動を追跡することを含み、光は、少なくとも部分的に、追跡された両眼離反運動に基づいて、焦点を合わせられる。１つ以上の実施形態では、第１の深度平面は、ｚ方向にユーザから離れた第１の距離に対応し、第２の深度平面は、ｚ方向にユーザから離れた第２の距離に対応し、第１の深度平面と第２の深度平面との間の間隙は、経時的に不変のままである。１つ以上の実施形態では、方法はさらに、画像データの第３のフレームに関連付けられた光を投影することと、画像データの第３のフレームに関連付けられた光の焦点を第１の深度平面に合わせることとを含む。

１つ以上の実施形態では、第１の深度平面は、光学無限に対応する。１つ以上の実施形態では、画像データの第１のフレームおよび画像データの第２のフレームは、連続フレームである。１つ以上の実施形態では、画像データの第１および第２のフレームの焦点は、フレーム毎に変動させられる。１つ以上の実施形態では、方法はさらに、焦点を合わせられた光をユーザの眼に送達することを含む。

１つ以上の実施形態では、画像データの第１および第２のフレームは、３次元場面のスライスを備えている。１つ以上の実施形態では、画像データの第１および第２のフレームは、時系列様式で提供される。１つ以上の実施形態では、第１の深度平面は、光学無限に対応し、第２の深度平面は、光学無限より近い深度平面に対応する。

１つ以上の実施形態では、投影された光は、可変焦点要素を通して焦点を合わせられる。１つ以上の実施形態では、可変焦点要素は、変形可能膜ミラーである。

別の側面では、拡張現実表示システムは、画像データの１つ以上のフレームに関連付けられた光を投影するために、画像源に動作可能に結合される空間光変調器と、ユーザの眼の焦点を決定するための眼追跡システムと、少なくとも部分的に、ユーザの眼の焦点に基づいて、画像データの１つ以上のフレームの少なくとも１つのフレームの焦点を深度平面上に合わせるための一組の光学に結合される、可変焦点要素（ＶＦＥ）とを備えている。

１つ以上の実施形態では、拡張現実表示システムはさらに、少なくとも部分的に、深度平面が投影される距離に基づいて、画像データの１つ以上のフレームに対応する１つ以上の仮想オブジェクトを可変的にぼかすためのぼかしモジュールを備え、１つ以上の仮想オブジェクトは、深度平面と比較して異なる深度に対応する。１つ以上の実施形態では、空間光変調器は、ＤＬＰを備えている。

１つ以上の実施形態では、ＤＬＰは、約１２０Ｈｚのパワーで動作する。１つ以上の実施形態では、画像データの複数のフレームが、深度平面に投影され、画像データの複数のフレームのフレームのうちの１つの少なくとも一部は、ぼかされる。１つ以上の実施形態では、ＶＦＥは、光屈折膜レンズを備えている。

１つ以上の実施形態では、空間光変調器は、高リフレッシュレートディスプレイである。１つ以上の実施形態では、拡張現実表示システムはさらに、一組の光学要素を備え、焦点を合わせられた光をユーザの眼に送達する。１つ以上の実施形態では、画像データの１つ以上のフレームが、３次元場面のスライスを備えている。

１つ以上の実施形態では、画像データの１つ以上のフレームが、時系列様式で提供される。１つ以上の実施形態では、深度平面は、少なくとも部分的に、決定された遠近調節に基づいて、ある範囲内でｚ方向に移動させられる。

別の側面では、拡張現実を表示する方法は、ユーザの眼の焦点を決定することと、画像データのフレームに関連付けられた光を投影することと、少なくとも部分的に、決定されたユーザの眼の焦点に基づいて、画像データのフレームに関連付けられた光の焦点を合わせ、深度平面を生成することと、少なくとも部分的に、ユーザの眼の焦点の変化に基づいて、深度平面をある範囲内でｚ方向に移動させることとを含む。

１つ以上の実施形態では、方法はさらに、少なくとも部分的に、深度平面が生成される距離に基づいて、画像データの第１のフレーム内の１つ以上の仮想オブジェクトをぼかすことを含み、１つ以上の仮想オブジェクトは、深度平面と比較して異なる深度に対応する。１つ以上の実施形態では、光は、空間光変調器を通して投影される。

１つ以上の実施形態では、空間光変調器は、ＤＬＰを備えている。１つ以上の実施形態では、ＤＬＰは、約１２０Ｈｚのパワーで動作する。１つ以上の実施形態では、画像データの複数のフレームが、深度平面に投影され、画像データの複数のフレームのフレームのうちの１つの少なくとも一部は、ぼかされる。

１つ以上の実施形態では、深度平面は、少なくとも部分的に可変焦点要素（ＶＦＥ）を通して生成される。１つ以上の実施形態では、ＶＦＥは、光屈折膜レンズを備えている。１つ以上の実施形態では、空間光変調器は、高リフレッシュレートディスプレイである。

１つ以上の実施形態では、方法はさらに、一組の光学要素を通して光をユーザの眼に送達することを含む。１つ以上の実施形態では、画像データのフレームは、少なくとも３次元場面のスライスを備えている。１つ以上の実施形態では、画像データの１つ以上のフレームが、時系列様式で提供される。

別の側面では、拡張現実表示システムは、少なくとも１つの画像データの１つ以上のフレームに関連付けられた光を投影するために、画像源に動作可能に結合される空間光変調器と、導波管のスタックとを備え、導波管のスタックの第１の導波管は、画像データの１つ以上のフレームに関連付けられた光を受信し、第１の深度平面において知覚されるよう受信された光の少なくとも１つの特性を修正するように構成される、第１の回折光学要素を有し、導波管のスタックの第２の導波管は、画像データの１つ以上のフレームに関連付けられた光を受信し、第２の深度平面において知覚されるよう受信された光の少なくとも１つの特性を修正するように構成される、第２の回折光学要素を有し、第１の深度平面は、第２の深度平面と異なる。

１つ以上の実施形態では、拡張現実表示システムはさらに、眼追跡モジュールを備え、ユーザの眼の遠近調節を決定し、導波管のスタックの導波管は、少なくとも部分的に、ユーザの眼の決定された遠近調節に基づいて、選択される。

１つ以上の実施形態では、空間光変調器は、ファイバ走査デバイス（ＦＳＤ）を備えている。１つ以上の実施形態では、導波管のスタックは、６つの導波管を備えている。１つ以上の実施形態では、拡張現実表示システムはさらに、少なくとも１つの空間光変調器の第１の空間光変調器と、少なくとも１つの空間光変調器の第２の空間光変調器とを備え、第１の導波管は、第１の空間光変調器から光を受信し、第２の導波管は、第２の空間光変調器から光を受信する。

１つ以上の実施形態では、第１の深度平面および第２の深度平面は、ユーザによって同時に知覚される。１つ以上の実施形態では、少なくとも１つの特徴は、光線がユーザの眼に衝突する、角度を備えている。１つ以上の実施形態では、特徴は、光線をコリメートすることに対応し、コリメートされた光線は、光学無限として知覚される。

１つ以上の実施形態では、特徴は、発散光線を送達することに対応し、発散光線は、光学無限より近い距離で知覚される。１つ以上の実施形態では、少なくとも１つの空間光変調器は、光がフレーム毎に投影される、導波管のスタックの導波管を変動させる。１つ以上の実施形態では、拡張現実表示システムはさらに、一組の光学要素を備え、焦点を合わせられた光をユーザの眼に送達する。１つ以上の実施形態では、画像データの１つ以上のフレームが、３次元場面のスライスを備えている。１つ以上の実施形態では、画像データの１つ以上のフレームが、時系列様式で提供される。

別の側面では、拡張現実を表示する方法は、画像データの第１のフレームに関連付けられた光を投影することと、導波管のスタックの第１の導波管において、画像データの第１のフレームに関連付けられた投影された光を受信することであって、第１の導波管は、第１の回折光学要素を備えている、ことと、画像データの第１のフレームに関連付けられた投影された光を修正することと、修正された光をユーザの眼に送達することであって、画像データの第１のフレームに関連付けられた修正された光は、第１の深度平面で知覚される、こととを含む。

１つ以上の実施形態では、方法はさらに、画像データの第２のフレームに関連付けられた光を投影することと、導波管のスタックの第２の導波管において、画像データの第２のフレームに関連付けられた投影された光を受信することであって、第２の導波管は、第２の回折光学要素を備えている、ことと、画像データの第２のフレームに関連付けられた投影された光を修正することと、修正された光をユーザの眼に送達することであって、画像データの第２のフレームに関連付けられた修正された光は、第２の深度平面で知覚される、こととを含む。

１つ以上の実施形態では、第１の深度平面は、第２の深度平面と異なる。１つ以上の実施形態では、第１の深度平面および第２の深度平面は、同時に知覚される。１つ以上の実施形態では、方法はさらに、ユーザの眼の両眼離反運動を追跡することと、追跡された両眼離反運動に基づいて、ユーザの眼の遠近調節を決定することとを含む。

１つ以上の実施形態では、導波管のスタックの第１の導波管は、少なくとも部分的に、決定された遠近調節に基づいて、選択される。１つ以上の実施形態では、導波管のスタックは、６つの導波管を備えている。１つ以上の実施形態では、投影された光の修正は、光線がユーザの眼に衝突する角度を変えることを含む。１つ以上の実施形態では、投影された光の修正は、光線をコリメートすることを含み、コリメートされた光線は、光学無限として知覚される。

１つ以上の実施形態では、投影された光の修正は、発散光線を送達することを含み、発散光線は、光学無限より近い距離で知覚される。１つ以上の実施形態では、本方法はさらに、導波管のスタックの導波管をフレーム毎に選択することを含む。１つ以上の実施形態では、画像データの１つ以上のフレームが、３次元場面のスライスを備えている。１つ以上の実施形態では、画像データの１つ以上のフレームが、時系列様式で提供される。

さらに別の側面では、可変焦点要素（ＶＦＥ）は、部分的障壁によって画定された２つの半分を備えている、シールされたレンズチャンバを備え、２つの半分の第１の半分は、第１の屈折率を有する第１の不混和性液体を格納し、２つの半分の第２の半分は、第２の屈折率を有する第２の不混和性液体を格納し、第１の半分の第１の不混和性液体および第２の半分の第２の不混和性液体は、シールされたレンズチャンバの中央に光学界面を形成し、第１の圧電リングは、第１の圧電リングに圧力を加えることが光学界面を修正するように、シールされたレンズチャンバの第１の半分内に位置し、第２の圧電リングは、第２の圧電リングに圧力を加えることが光学界面を修正するように、シールされたレンズチャンバの第２の半分内に位置する。

１つ以上の実施形態では、光学界面は、レンズとして機能し、光学界面は、レンズの焦点を変動させるように可変的に修正される。１つ以上の実施形態では、シールされたレンズチャンバは、空気がない。１つ以上の実施形態では、加えられた圧力は、光学界面の曲率を変更する。

１つ以上の実施形態では、第１の光学界面は、第１の焦点に対応する。１つ以上の実施形態では、第２の光学界面は、第２の焦点に対応する。１つ以上の実施形態では、第１の焦点は、第１の深度平面を生成する。１つ以上の実施形態では、第２の焦点は、第２の深度平面を生成する。１つ以上の実施形態では、第１の不混和性液体の体積は、一定のままである。１つ以上の実施形態では、第２の不混和性液体の体積は、一定のままである。１つ以上の実施形態では、圧力は、機械的手段を通して加えられる。

さらに別の側面では、可変焦点要素（ＶＦＥ）は、リングベンダーによって画定された２つの半分を備えている、シールされたレンズチャンバを備え、２つの半分の第１の半分は、第１の屈折率を有する第１の不混和性液体を格納し、２つの半分の第２の半分は、第２の屈折率を有する第２の不混和性液体を格納し、リングベンダーは、部分的に、第１の不混和性液体と第２の不混和性液体との間に物理的障壁を作成し、第１の半分の第１の不混和性液体および第２の半分の第２の不混和性液体は、リングベンダーの中心において、リングベンダーに圧力を加えることが光学界面の曲率を修正するように、シールされたレンズチャンバの中央の光学界面を形成する。

１つ以上の実施形態では、光学界面は、レンズとして機能し、光学界面は、レンズの焦点を変動させるように可変的に修正される。１つ以上の実施形態では、シールされたレンズチャンバは、空気がない。１つ以上の実施形態では、加えられた圧力は、光学界面の曲率を変更する。１つ以上の実施形態では、第１の光学界面は、第１の焦点に対応する。

１つ以上の実施形態では、第２の光学界面は、第２の焦点に対応する。１つ以上の実施形態では、第１の焦点は、第１の深度平面を生成する。１つ以上の実施形態では、第２の焦点は、第２の深度平面を生成する。１つ以上の実施形態では、第１の不混和性液体の体積は、一定のままである。１つ以上の実施形態では、第２の不混和性液体の体積は、一定のままである。１つ以上の実施形態では、圧力は、機械的手段を通して加えられる。

さらに別の側面では、方法は、第１の屈折率を有する第１の不混和性液体および第２の屈折率を有する第２の不混和性液体を備えているシールレンズチャンバを提供することと、第１の不混和性液体と第２の不混和性液体との間に光学界面を作成することと、第１の不混和性液体と第２の不混和性液体との間の光学界面の曲率を修正することとを含む。

１つ以上の実施形態では、光学界面は、レンズとして機能し、光学界面は、レンズの焦点を変動させるように可変的に修正される。１つ以上の実施形態では、曲率は、シールされたレンズチャンバの半分に圧力を加えることによって修正され、半分は、第１の不混和性液体または第２の不混和性液体のいずれかを格納する。１つ以上の実施形態では、曲率は、第１の不混和性液体と第２の不混和性液体との間に部分的障壁を形成するリングベンダーに圧力を加えることによって修正される。

１つ以上の実施形態では、シールされたレンズチャンバは、空気がない。１つ以上の実施形態では、第１の光学界面は、第１の焦点に対応する。１つ以上の実施形態では、第２の光学界面は、第２の焦点に対応する。１つ以上の実施形態では、第１の焦点は、第１の深度平面を生成する。

１つ以上の実施形態では、第２の焦点は、第２の深度平面を生成する。１つ以上の実施形態では、第１の不混和性液体の体積は、一定のままである。１つ以上の実施形態では、第２の不混和性液体の体積は、一定のままである。１つ以上の実施形態では、曲率は、シールされたレンズチャンバの半分に機械的手段によって圧力を加えることによって修正され、半分は、第１の不混和性液体または第２の不混和性液体のいずれかを格納する。
本明細書は、例えば、以下の項目も提供する。
（項目１）
拡張現実を表示する方法であって、
画像データの第１のフレームに関連付けられた光を投影することと、
前記画像データの第１のフレームに関連付けられた光の焦点を第１の深度平面に合わせることと、
画像データの第２のフレームに関連付けられた光を投影することと、
前記画像データの第２のフレームに関連付けられた光の焦点を第２の深度平面に合わせることと
を含み、
前記第１の深度平面は、前記第２の深度平面と異なり、前記第１の深度平面および前記第２の深度平面は、ユーザによって視認される場合、同時に知覚される、方法。
（項目２）
前記ユーザの眼の両眼離反運動を追跡することをさらに含み、前記光は、少なくとも部分的に前記追跡された両眼離反運動に基づいて、焦点を合わせられる、項目１に記載の方法。
（項目３）
前記第１の深度平面は、ｚ方向に前記ユーザから離れた第１の距離に対応し、前記第２の深度平面は、前記ｚ方向に前記ユーザから離れた第２の距離に対応し、前記第１の深度平面と前記第２の深度平面との間の間隙は、経時的に不変のままである、項目１に記載の方法。
（項目４）
画像データの第３のフレームに関連付けられた光を投影することと、
前記画像データの第３のフレームに関連付けられた光の焦点を前記第１の深度平面に合わせることと
をさらに含む、項目２に記載の方法。
（項目５）
前記第１の深度平面は、光学無限に対応する、項目２に記載の方法。
（項目６）
前記画像データの第１のフレームおよび前記画像データの第２のフレームは、連続フレームである、項目２に記載の方法。
（項目７）
前記画像データの第１および第２のフレームの焦点は、フレーム毎に変動させられる、項目２に記載の方法。
（項目８）
前記焦点を合わせられた光をユーザの眼に送達することをさらに含む、項目２に記載の方法。
（項目９）
前記画像データの第１および第２のフレームは、３次元場面のスライスを備えている、項目２に記載の方法。
（項目１０）
前記画像データの第１および第２のフレームは、時系列様式で提供される、項目２に記載の方法。
（項目１１）
前記第１の深度平面は、光学無限に対応し、前記第２の深度平面は、光学無限より近い深度平面に対応する、項目２に記載の方法。
（項目１２）
前記投影された光は、可変焦点要素を通して焦点を合わせられる、項目２に記載の方法。
（項目１３）
前記可変焦点要素は、変形可能膜ミラーである、項目１２に記載の方法。
（項目１４）
拡張現実を表示する方法であって、
ユーザの眼の焦点を決定することと、
画像データのフレームに関連付けられた光を投影することと、
少なくとも部分的に前記決定されたユーザの眼の焦点に基づいて、前記画像データのフレームに関連付けられた光の焦点を合わせ、深度平面を生成することと、
少なくとも部分的に前記ユーザの眼の焦点の変化に基づいて、前記深度平面をある範囲内でｚ方向に移動させることと
を含む、方法。
（項目１５）
少なくとも部分的に前記深度平面が生成される距離に基づいて、前記画像データの第１のフレーム内の１つ以上の仮想オブジェクトをぼかすことをさらに含み、前記１つ以上の仮想オブジェクトは、前記深度平面と比較して異なる深度に対応する、項目１４に記載の方法。
（項目１６）
前記光は、空間光変調器を通して投影される、項目１４に記載の方法。
（項目１７）
前記空間光変調器は、ＤＬＰを備えている、項目１６に記載の方法。
（項目１８）
前記ＤＬＰは、約１２０Ｈｚのパワーで動作する、項目１７に記載の方法。
（項目１９）
画像データの複数のフレームが、前記深度平面に投影され、前記画像データの複数のフレームのフレームのうちの１つの少なくとも一部は、ぼかされる、項目１５に記載の方法。
（項目２０）
前記深度平面は、少なくとも部分的に可変焦点要素（ＶＦＥ）を通して生成される、項目１４に記載の方法。
（項目２１）
前記ＶＦＥは、光屈折膜レンズを備えている、項目２０に記載の方法。
（項目２２）
前記空間光変調器は、高リフレッシュレートディスプレイである、項目１６に記載の方法。
（項目２３）
一組の光学要素を通して前記光を前記ユーザの眼に送達することをさらに含む、項目１４に記載の方法。
（項目２４）
前記画像データのフレームは、少なくとも３次元場面のスライスを備えている、項目１４に記載の方法。
（項目２５）
画像データの１つ以上のフレームが、時系列様式で提供される、項目２４に記載の方法。
（項目２６）
拡張現実を表示する方法であって、
画像データの第１のフレームに関連付けられた光を投影することと、
導波管のスタックの第１の導波管において、前記画像データの第１のフレームに関連付けられた前記投影された光を受信することであって、前記第１の導波管は、第１の回折光学要素を備えている、ことと、
前記画像データの第１のフレームに関連付けられた前記投影された光を修正することと、
前記修正された光をユーザの眼に送達することであって、前記画像データの第１のフレームに関連付けられた前記修正された光は、第１の深度平面で知覚される、ことと
を含む、方法。
（項目２７）
画像データの第２のフレームに関連付けられた光を投影することと、
前記導波管のスタックの第２の導波管において、前記画像データの第２のフレームに関連付けられた前記投影された光を受信することであって、前記第２の導波管は、第２の回折光学要素を備えている、ことと、
前記画像データの第２のフレームに関連付けられた前記投影された光を修正することと、
前記修正された光をユーザの眼に送達することであって、前記画像データの第２のフレームに関連付けられた前記修正された光は、第２の深度平面で知覚される、ことと
をさらに含む、項目２６に記載の方法。
（項目２８）
前記第１の深度平面は、前記第２の深度平面と異なる、項目２７に記載の方法。
（項目２９）
前記第１の深度平面および前記第２の深度平面は、同時に知覚される、項目２７に記載の方法。
（項目３０）
前記ユーザの眼の両眼離反運動を追跡することと、
前記追跡された両眼離反運動に基づいて、前記ユーザの眼の遠近調節を決定することと
をさらに含む、項目２６に記載の方法。
（項目３１）
前記導波管のスタックの前記第１の導波管は、少なくとも部分的に前記決定された遠近調節に基づいて、選択される、項目３０に記載の方法。
（項目３２）
前記導波管のスタックは、６つの導波管を備えている、項目２６に記載の方法。
（項目３３）
前記投影された光の修正は、光線が前記ユーザの眼に衝突する角度を変えることを含む、項目２６に記載の方法。
（項目３４）
前記投影された光の修正は、前記光線をコリメートすることを含み、前記コリメートされた光線は、光学無限として知覚される、項目２６に記載の方法。
（項目３５）
前記投影された光の修正は、発散光線を送達することを含み、前記発散光線は、光学無限より近い距離で知覚される、項目２６に記載の方法。
（項目３６）
前記導波管のスタックの導波管をフレーム毎に選択することをさらに含む、項目２６に記載の方法。
（項目３７）
前記画像データの１つ以上のフレームが、３次元場面のスライスを備えている、項目２６に記載の方法。
（項目３８）
前記画像データの１つ以上のフレームが、時系列様式で提供される、項目２６に記載の方法。
（項目３９）
方法であって、
第１の屈折率を有する第１の不混和性液体および第２の屈折率を有する第２の不混和性液体を備えているシールレンズチャンバを提供することと、
前記第１の不混和性液体と前記第２の不混和性液体との間に光学界面を作成することと、
前記第１の不混和性液体と前記第２の不混和性液体との間の前記光学界面の曲率を修正することと
を含む、方法。
（項目４０）
前記光学界面は、レンズとして機能し、前記光学界面は、前記レンズの焦点を変動させるように可変的に修正される、項目３９に記載の方法。
（項目４１）
前記曲率は、前記シールされたレンズチャンバの半分に圧力を加えることによって修正され、前記半分は、前記第１の不混和性液体または前記第２の不混和性液体のいずれかを格納している、項目３９に記載の方法。
（項目４２）
前記曲率は、前記第１の不混和性液体と第２の不混和性液体との間に部分的障壁を形成するリングベンダーに圧力を加えることによって修正される、項目３９に記載の方法。
（項目４３）
前記シールされたレンズチャンバは、空気がない、項目３９に記載の方法。
（項目４４）
第１の光学界面が、第１の焦点に対応する、項目３９に記載の方法。
（項目４５）
第２の光学界面が、第２の焦点に対応する、項目３９に記載の方法。
（項目４６）
前記第１の焦点は、第１の深度平面を生成する、項目３９に記載の方法。
（項目４７）
前記第２の焦点は、第２の深度平面を生成する、項目３９に記載の方法。
（項目４８）
前記第１の不混和性液体の体積は、一定のままである、項目３９に記載の方法。
（項目４９）
前記第２の不混和性液体の体積は、一定のままである、項目３９に記載の方法。
（項目５０）
前記曲率は、前記シールされたレンズチャンバの半分に機械的手段によって圧力を加えることによって修正され、前記半分は、前記第１の不混和性液体または前記第２の不混和性液体のいずれかを格納している、項目３９に記載の方法。
（項目５１）
前記方法ステップを実装するための手段を有するシステムとして実装される、項目１−５０に記載の方法。
（項目５２）
前記方法ステップを実行するための実行可能コードを有するコンピュータ使用可能記憶媒体を備えているコンピュータプログラム製品として実装される、項目１−５０に記載の方法。

本発明の追加のおよび他の目的、特徴、ならびに利点は、発明を実施するための形態、図、および請求項に説明される。

図面は、本発明の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、簡単に前述された発明を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに記載ならびに説明されるであろう。
図１は、例証される実施形態の１つにおける、装着式ＡＲユーザデバイスを通した拡張現実（ＡＲ）のユーザのビューを図示する。 図２Ａ−２Ｅは、装着式ＡＲデバイスの種々の実施形態を図示する。 図２Ａ−２Ｅは、装着式ＡＲデバイスの種々の実施形態を図示する。 図２Ａ−２Ｅは、装着式ＡＲデバイスの種々の実施形態を図示する。 図２Ａ−２Ｅは、装着式ＡＲデバイスの種々の実施形態を図示する。 図２Ａ−２Ｅは、装着式ＡＲデバイスの種々の実施形態を図示する。 図３は、例証される実施形態の１つにおける、ヒトの眼の断面図を図示する。 図４Ａ−４Ｄは、装着式ＡＲデバイスの種々の内部処理構成要素の１つ以上の実施形態を図示する。 図４Ａ−４Ｄは、装着式ＡＲデバイスの種々の内部処理構成要素の１つ以上の実施形態を図示する。 図４Ａ−４Ｄは、装着式ＡＲデバイスの種々の内部処理構成要素の１つ以上の実施形態を図示する。 図４Ａ−４Ｄは、装着式ＡＲデバイスの種々の内部処理構成要素の１つ以上の実施形態を図示する。 図５は、多平面焦点システムであるように構成される、拡張現実（ＡＲ）システムの一実施形態の平面図を図示する。 図６は、図５のＡＲシステムの一例示的構成の平面図を図示する。 図７は、図５のＡＲシステムにおける複数の深度平面の生成の例示的実施形態を図示する。 図８は、可変平面焦点システムであるように構成される、ＡＲシステムの一実施形態の平面図を図示する。 図９は、図８のＡＲシステムの一例示的構成の平面図を図示する。 図１０は、焦点を３つの異なる深度平面に変更する場合の図８のＡＲシステムの平面図を図示する。 図１１は、図８のＡＲシステムにおける単一の深度平面の生成の例示的実施形態を図示する。 図１２は、ハイブリッドＡＲシステムの例示的構成の平面図を図示する。 図１３は、図１１のＡＲシステムにおける２つの深度平面の生成の例示的実施形態を図示する。 図１４は、導波管のスタックの一実施形態の平面図を図示する。 図１５は、複数の深度平面を作成するための導波管のスタックを含む、ＡＲシステムの一実施形態の平面図を図示する。 図１６は、単一または複数の深度平面を作成するためにスタックされたＰＤＬＣ拡散器配置を含む、ＡＲシステムの一実施形態の平面図を図示する。 図１７は、図１５のスタックされたＰＤＬＣ拡散器配置を通る光ビームの開口数の増加の例示的実施形態を図示する。 図１８は、機械的湿潤レンズＶＦＥの例示的実施形態を図示する。 図１９は、機械的湿潤レンズＶＦＥの別の例示的実施形態を図示する。

ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される、図面を参照して詳細に説明される。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、公知の構成要素（または方法もしくはプロセス）を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような公知の構成要素（または方法もしくはプロセス）のそれらの部分のみ、説明され、そのような公知の構成要素（または方法もしくはプロセス）の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照される構成要素の現在および将来的公知の均等物を包含する。

開示されるのは、仮想および／または拡張現実を生成する方法ならびにシステムである。現実的かつ楽しい仮想現実（ＶＲ）または拡張現実（ＡＲ）体験を提供するために、仮想コンテンツは、仮想コンテンツが現実に設置されているか、または実世界深度から生じているように知覚されるように（従来の２Ｄディスプレイとは対照的に）、ユーザから離れた様々な深度で提示されなければならない。このアプローチは、異なるオブジェクトを異なる深度で視認するために、眼が常に焦点を変化させるという点において、視覚の実世界体験を厳密に模倣する。例えば、ヒトの眼の筋肉は、近いオブジェクトに焦点を合わせるために「緊張」し、より離れたオブジェクトに焦点を合わせるために「弛緩」する。

実オブジェクトを厳密に模倣するように仮想コンテンツを設置することによって、ユーザの自然生理学的応答（例えば、異なるオブジェクトに対する異なる焦点）は、実質的にそのままであり、それによって、より現実的かつ快適な視認体験を提供する。これは、ユーザに固定された深度平面において仮想コンテンツを視認させ（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）またはＯｃｕｌｕｓ（登録商標）のような２Ｄ画面）、ユーザに実世界の実オブジェクトと仮想コンテンツとの間を行ったり来たりさせ、不快感をユーザに生じさせる従来のＶＲまたはＡＲシステムとは対照的である。本願は、３Ｄ仮想コンテンツが様々な深度でユーザによって知覚されるように、３Ｄ仮想コンテンツを投影するための種々のＡＲシステムアプローチについて論じる。

図４Ａ−４Ｄを参照すると、いくつかの一般的構成要素選択肢が、図示される。図４Ａ−４Ｄの議論に続く詳細な説明の一部では、種々のシステム、下位システム、および構成要素が、ヒトＶＲおよび／またはＡＲのための高品質で快適に知覚される表示システムを提供する目的に対処するために提示される。

図４Ａに示されるように、ユーザの眼の正面に位置付けられる表示システム（６２）に結合されたフレーム（６４）構造を装着したＡＲシステムユーザ（６０）が、描写されている。スピーカ（６６）が、描写される構成では、フレーム（６４）に結合され、ユーザの外耳道に隣接して位置付けられる（一実施形態では、図示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ（６２）は、有線導線または無線接続等によって、ローカル処理およびデータモジュール（７０）に動作可能に結合され（６８）、ローカル処理およびデータモジュールは、フレーム（６４）に固定して取り付けられるか、図４Ｂの実施形態に示されるように、ヘッドホン内に埋め込まれたヘルメットまたは帽子（８０）に固定して取り付けられるか、図４Ｃの実施形態に示されるような構成でユーザ（６０）の胴体（８２）に取り外し可能に取り付けられる（例えば、リュック（図示せず）内に設置される）か、または、図４Ｄの実施形態に示されるように、ベルト結合式構成でユーザ（６０）の腰（８４）に取り外し可能に取り付けられる等、種々の構成で搭載され得る。

ローカル処理およびデータモジュール（７０）は、省電力プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、両方とも、データを処理すること、キャッシュすること、およびデータを記憶することを補助するために利用され得、データは、ａ）フレーム（６４）に動作可能に結合され得るセンサ（画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等）から捕捉され、および／または、ｂ）多分、処理または読み出し後にディスプレイ（６２）に渡すために、遠隔処理モジュール（７２）および／または遠隔データリポジトリ（７４）を使用して取得および／または処理される。ローカル処理およびデータモジュール（７０）は、これらの遠隔モジュール（７２、７４）が、互に動作可能に結合され、ローカル処理およびデータモジュール（７０）へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、遠隔処理モジュール（７２）および遠隔データリポジトリ（７４）に動作可能に結合され得る（７６、７８）。

一実施形態では、遠隔処理モジュール（７２）は、データおよび／または画像情報を分析かつ処理するように構成される、１つ以上の比較的に強力なプロセッサまたはコントローラを備え得る。一実施形態では、遠隔データリポジトリ（７４）は、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る、比較的に大規模なデジタルデータ記憶設備を備え得る。一実施形態では、全てのデータは、記憶され、全ての計算は、ローカル処理およびデータモジュール内で行われ、任意の遠隔モジュールからの完全自律使用を可能にする。

前述のように、３Ｄ仮想コンテンツをユーザに提示するために、拡張現実（ＡＲ）システムは、ｚ方向に様々な深度で仮想コンテンツを投影する。言い換えると、ユーザに提示される仮想コンテンツは、ｘおよびｙ方向に変化する（大部分の２Ｄコンテンツ同様に）だけではなく、ｚ方向にも変化し、３Ｄ深度の知覚を与え得る。したがって、ユーザは、仮想オブジェクトを非常に近くにあるかのように（例えば、実際の机の上に置かれた仮想本）、または無限距離に（例えば、ユーザから離れた非常に遠くの距離にある仮想木）、もしくはその間の任意の距離に知覚し得る。または、ユーザは、複数のオブジェクトを異なる深度平面において同時に知覚し得る。例えば、ユーザは、無限遠から現れ、ユーザに向かって走ってくる仮想ドラゴンを見得る。別の実施形態では、ユーザは、ユーザから１メートル離れた距離における仮想鳥と、ユーザから腕の長さにある仮想コーヒーカップとを同時に見得る。

様々な深度の知覚を作成するために、２つの主要な方法が存在し得る。すなわち、多平面焦点システムおよび可変平面焦点システムである。多平面焦点システムでは、システムは、ユーザから離れたｚ方向において、仮想コンテンツを固定された深度平面上に投影するように構成される。可変平面焦点システムでは、システムは、１つ以上の深度平面を投影するが、深度平面をｚ方向に移動させ、３Ｄ知覚を作成する。１つ以上の実施形態では、可変焦点要素（ＶＦＥ）が、光が特定の深度から生じるように見えるように、仮想コンテンツに関連付けられた光の焦点を変化させるために利用され得る。他の実施形態では、異なる焦点に対応するハードウェア構成要素が、以下にさらに詳細に論じられるであろうように、複数の深度平面の知覚を作成するために計画的に採用され得る。ＶＦＥは、フレーム毎に光の焦点を変動させ得る。

以下の開示は、多平面焦点および／または可変平面焦点光学要素を使用して３Ｄ知覚を作成する、システムの種々の実施形態を検討する。他のアプローチは、多平面焦点システムおよび可変平面焦点システムの側面を組み合わせ得ることを理解されたい。

最初に、図５を参照すると、多平面焦点要素を有するＡＲシステム（５００）の例示的実施形態が、図示される。図５に示されるように、ＡＲシステム（５００）は、複数の空間光変調器（５０４）（例えば、図示される実施例では、各眼に対して１つの２つの空間光変調器）と、２つの可変焦点要素（ＶＦＥ）（５１０）と、複数の光学要素（５０６）と、２つのビームスプリッタ（５２０）と、２つの接眼レンズ光学要素（５０８）と、画像生成プロセッサ（５０２）と、グラフィカル処理ユニット（「ＧＰＵ」）（５１４）と、中央処理ユニット（「ＣＰＵ」）（５１６）と、メモリ（５１２）とを備えている。他の実施形態は、より多いまたはより少ない構成要素を備え得、上記に列挙される構成要素は、例証目的のためだけのものであり、限定として読み取られるべきではないことを理解されたい。

１つ以上の実施形態では、プロセッサ（５０２）は、ユーザに最終的に表示されるべき仮想コンテンツの生成に関与する。画像生成プロセッサ（５０２）は、仮想コンテンツに関連付けられた画像またはビデオを３Ｄでユーザに投影され得るフォーマットに変換し得る。例えば、３Ｄコンテンツを生成することにおいて、仮想コンテンツは、特定の画像の一部が、特定の深度平面上に表示される一方、その他が他の深度平面に表示されるようにフォーマットされる必要があり得る。プロセッサ（５０２）は、画像をスライスし、特定の画像の３Ｄスライスを提供するように構成され得る。

例えば、ユーザに提示されるべき画像は、背景内に数本の木々を伴う家の画像であるとする。画像は、少なくとも２つの深度平面に分割され得る（例えば、家を含む画像の第１のスライスは、第１の深度平面に投影され、背景を含む画像の第２のスライスは、第２の深度平面に投影される）。１つ以上の実施形態では、プロセッサ（５０２）は、一緒に視認されると、仮想コンテンツがユーザの眼にコヒーレントかつ快適に見えるように、若干異なる画像を右および左眼にフィードするようにプログラムされ得る。同様に、多くの他の画像操作も、最適視認体験をユーザに提供するために行われ得る。

１つ以上の実施形態では、プロセッサ（５０２）は、画像を３Ｄスライスまたはフレームスライスにスライスし得、他の実施形態では、画像は、事前にスライスされ、プロセッサ（５０２）に関連付けられた１つ以上のデータベースに記憶され得る。用語「スライス」は、特定の仮想場面の画像平面またはフレームスライスを指すために使用されることを理解されたい。言い換えると、単一仮想場面は、複数のフレームスライスまたは平面を備え得る。プロセッサ（５０２）は、ＣＰＵ（５１６）を用いて一組のタスクを実行するように構成され得る。プロセッサ（５０２）はさらに、メモリ（５１２）、１つ以上のデータベース（図示せず）、グラフィカル処理ユニット（ＧＰＵ）、バッテリ（図示せず）等の一組の標準的コンピューティング構成要素を備え得る。ＧＰＵ（５１４）は、メモリを迅速に操作および改変し、ディスプレイへの出力のために意図されるフレームバッファ内の画像の作成を加速させるために設計された特殊電子回路である。一緒に、プロセッサ（５０２）の種々の構成要素は、ＡＲシステム（５００）が、必要に応じて、種々のコンピューティングタスクを行うことを可能にする。

プロセッサ（５０２）は、マイクロプロセッサ／マイクロコントローラ、バッテリ、テレメトリ回路、監視回路、および当業者に公知の他の好適な構成要素等、一組の追加の電子構成要素を備え得る。プロセッサ（５０２）は、画像、光学、および／または、空間光変調器（５０４）を命令および制御するためのメモリ（５１２）内に記憶された好適なプログラムを実行し得る。

いくつかの実施形態では、プロセッサ（５０２）は、装着式ＡＲシステムのフレーム（例えば、図４Ａにおけるフレーム（６２））内に格納され得ることを理解されたい。他の実施形態では、画像生成プロセッサおよび他の回路は、装着式光学に結合される、別の構成要素（例えば、図４Ｄにおけるベルトパック）内に格納され得る。

図５に示されるように、プロセッサ（５０２）は、所望の仮想コンテンツに関連付けられた光を投影する、空間光変調器（５０４）に動作可能に結合される。図示される実施形態は、ユーザの各眼に対して１つの２つの空間光変調器を示すが、他の実施形態は、３つ以上の空間光変調器を備えていることも考えられる。さらに別の実施形態では、単一の空間光変調器が、両眼のために使用され得る。前述のように、いくつかの実施形態では、空間光変調器（５０４）の各々は、特定の仮想画像の若干異なるビューをフィードされ得る。１つ以上の実施形態では、空間光変調器（５０４）は、光源に接続され得、画像に関連付けられた光を変調させるための回路を備え得る。空間光変調器（５０４）またはディスプレイは、任意のタイプの光表示デバイスを指し得る。例として、デジタル光処理システム（「ＤＬＰ」）、デジタルマイクロミラーデバイス（「ＤＭＤ」）、液晶ディスプレイ（「ＬＣＤ」）、有機発光ダイオード（「ＯＬＥＤ」）、反射型液晶（「ＬＣＯＳ」）、またはファイバスキャナディスプレイ（ＦＳＤ）が挙げられ得る。ＡＲシステムの種々の実施形態は、例証目的のために、あるタイプの空間光変調器（例えば、ＤＬＰ、ＦＳＤ等）を具体的に参照し得るが、任意のタイプの空間光変調器が、以下の実施形態では使用され得、説明される実施形態は、限定として読み取られるべきではないことを理解されたい。

空間光変調器の種々の側面（例えば、速度、サイズ、パワー等）は、システムが３Ｄ投影を達成する方法に影響を及ぼし得る。１つ以上の実施形態では、空間光変調器は、ＤＬＰであり得る。１つ以上の実施形態では、空間光変調器の組み合わせが、使用され得る（例えば、ＤＬＰおよびＬＣＤ）。同様に、他の実施形態は、ＦＳＤ、ＬＣＤ、ＯＬＥＤ、ＬＣＯＳ等を空間光変調器として利用し得る。

図示される実施形態では、空間光変調器（５０４）は、ＤＬＰおよび／またはＬＣＤであり得る。標準的ＤＬＰ構成は、光をディスプレイまたはユーザに向かって反射するモードと、光をディスプレイまたはユーザから光トラップ等の中に反射するモードとの間でトグルするＭＥＭデバイスおよびマイクロミラーのアレイを使用する。したがって、ＤＬＰは、本質的にバイナリである。ＤＬＰは、典型的には、パルス幅変調スキームを使用してグレースケール画像を生成し、ミラーが、より明るいピクセルまたは中間輝度のピクセルを作成するために、可変デューティサイクルのための可変時間量の間、「オン」状態のままにされる。

したがって、グレースケール画像を中程度のフレームレートで作成するために、ＤＬＰは、はるかに高いバイナリレートで動作する。前述の構成では、そのような設定は、グレースケールマスキングを作成するために良好に機能する。しかしながら、ＤＬＰ駆動スキームが、バイナリパターンでサブ画像をフラッシュさせるように適合される場合、フレームレートは、数千フレーム／秒と有意に増加させられ得る。これは、数百〜数千の深度平面が６０フレーム／秒でリフレッシュされることを可能にする。

Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ ＤＬＰシステムのための典型的パルス幅変調スキームは、構成が２乗から８乗の異なる照明レベルを作成し得るように、８ビットコマンド信号を有する（第１のビットは、ミラーの第１の長さのパルスであり、第２のビットは、第１のものの半分の長さのパルスであり、第３のビットは、同様に半分の長さ等と続く）。一実施形態では、ＤＬＰからの背面照明は、ＤＭＤの異なるパルスと同期して変動させられるその強度を有することにより、作成されるサブ画像の輝度を等化し得、それは、既存のＤＭＤ駆動電子機器が有意により高いフレームレートを生成することを可能にするための実践的アプローチである。

別の実施形態では、ＤＭＤ駆動電子機器およびソフトウェアに対する直接制御変更が、ミラーが、従来の可変オン時間構成の代わりに、常時、等しいオン時間を有するように利用され得、それは、より高いフレームレートを促進するであろう。別の実施形態では、ＤＭＤ駆動電子機器は、以下にさらに説明されるであろうように、高ビット深度画像のそれより高いが、バイナリフレームレートより低いフレームレートで低ビット深度画像を提示するように構成され、焦点平面の数を若干増加させながら、焦点平面間におけるある程度のグレースケール混成を可能にし得る。

一実装では、高フレームレートおよびより低い持続性の表示は、より低いフレームレートおよびより高い持続性の表示と組み合わせられ、比較的に高周波数フレーム順次体積表示を構成し得る。一実施形態では、高フレームレート表示は、より低いビット深度を有し、より低いフレームレート表示は、より高いビット深度を有する。これらは、組み合わせられ、画像スライスをフレーム順次方式で提示するために非常に好適である、効果的高フレームレートおよび高ビット深度表示を構成し得る。そのようなアプローチでは、望ましく表される３次元体積は、一連の２次元スライスに機能的に分割される。

または、背面照明される強誘電パネルディスプレイもまた、別の実施形態では、利用され得る。ＬＣＤパネルの背面を従来の様式で（すなわち、普通サイズの蛍光灯またはＬＥＤアレイを用いて）照明する代わりに、従来の照明構成は、マスクパターンをＬＣＤの背面上に投影するためのＤＬＰプロジェクタの使用に対応するように除去され得る（一実施形態では、マスクパターンは、ＤＬＰが、照明を投影するか、または照明を投影しないかのいずれかであるという点において、バイナリであり得る。以下に説明される別の実施形態では、ＤＬＰは、グレースケールマスク画像を投影するために利用され得る）。

図５に示されるように、ＡＲシステム（５００）はまた、空間光変調器（５０４）によって生成される光の焦点を変動させるように構成される、ＶＦＥ（５１０）を備えている。図５に示されるように、空間光変調器から放出される光は、複数の深度平面においてユーザによって視認され得るように光の焦点を変動させるように構成されたＶＦＥ（５１０）に向かわせられる。

１つ以上の実施形態では、ＶＦＥ（５１０）は、投影された光を所望の深度平面上に集中させる。ＶＦＥ（５１０）は、フレーム毎に投影された光の焦点を変動させ得る。深度平面は、ユーザから離れた深度（例えば、ｚ方向における距離）に対応する。ＶＦＥが、多平面焦点および可変平面焦点システムの両方において使用されることを理解されたい。したがって、ＶＦＥは、複数のレンズおよびミラー（例えば、以下に説明されるであろうような５０６、５０８および５２０）とともに、１つ以上の仮想オブジェクトに関連付けられた光がユーザの眼に３Ｄとして知覚されるように、１つ以上の仮想オブジェクトに関連付けられた光を所望の深度平面に投影するように構成される。

１つ以上の実施形態では、ＶＦＥ（５１０）は、液晶レンズ、電気活性レンズ、可動要素を伴う従来の屈折レンズ、機械的変形ベースのレンズ（流体充填膜レンズ、または可撓性要素がアクチュエータによって撓曲および弛緩されるヒト水晶体に類似するレンズ等）、エレクトロウェッティングレンズ、または異なる屈折率を伴う複数の流体等の屈折要素であり得る。ＶＦＥはまた、切り替え可能回折光学要素を備え得る（ポリマー材料等のホスト媒体が材料内に分散された液晶の微小液滴を有し、電圧が印加されると、それらの屈折率がホスト媒体のものともはや一致しないように分子が再配向し、それによって、高周波数切り替え可能回折パターンを作成する、高分子分散型液晶アプローチを特徴とするもの等）。

一実施形態は、ニオブ酸リチウム等のカー効果ベースの電気活性材料の微小液滴が、ホスト媒体内に分散されるホスト媒体を含む。これは、ファイバ走査ディスプレイまたは走査鏡ベースのディスプレイ等の走査光ディスプレイと結合されると、ピクセルごとまたは行ごとベースで画像情報の再焦点合わせを可能にする。液晶、ニオブ酸リチウム、または他の技術が、パターンを表すために利用されるＶＦＥ構成では、パターン間隔は、可変焦点レンズ要素の焦点力を変化させるだけではなく、ズームレンズタイプの機能性のために、全体的光学系の焦点力（ｆｏｃａｌ ｐｏｗｅｒ）を変化させるためにも変調され得る。

一実施形態では、複数のレンズは、写真撮影用のズームレンズが焦点をズーム位置から切り離すように構成され得るのと同一方法で、表示画像の焦点が倍率を一定に保ちながら改変されることができるという点において、テレセントリックであり得る。別の実施形態では、レンズは、焦点変化がた、ズーム変化も伴うであろうように、非テレセントリックであり得る。そのような構成では、そのような倍率変化は、焦点変化と同期するグラフィックシステムからの出力の動的スケーリングを用いて、ソフトウェアにおいて補償され得る。

図５に示されるように、ＶＦＥ（５１０）からの焦点を合わせられた光は、光をユーザの眼の方へ向かわせる、複数の光学要素（５０６）を通して進む。いくつかの実施形態では、ビームスプリッタ（５２０）が、利用され得る。ビームスプリッタ（５２０）は、入射光ビームを２つ以上のビームに分割もしくは向かわせる光学デバイスである。１つ以上の実施形態では、ビームスプリッタ（５２０）は、入射光の半分が反射され、他の半分が全内部反射に起因して伝送されるように構成され得る。図示される実施形態では、ビームスプリッタ（５２０）は、ビームが接眼レンズ（５０８）に向かわせられるように、（ＡＲシステムの設計に応じて）ビームを分割するために利用され得る。接眼レンズ（５０８）は、図５に示されるように、反射された光をビームスプリッタ（５２０）から受信し、光をユーザの眼の中に向かわせる。

全体的システムアーキテクチャが簡単に説明されたが、種々の光学システムの具体的構成が、ここで説明される。ここで図６を参照すると、ＡＲシステム（６００）の例示的実施形態が、説明されるであろう。１つ以上の実施形態では、ＡＲシステム（６００）は、ＤＬＰ（６０２）と、ＬＣＤ（６０４）と、複数の色収差補正レンズ（６０６）と、ビームスプリッタ（６０８）と、ＶＦＥ（６１０）とを含む。図示されないが、画像生成プロセッサは、仮想コンテンツの一組の２次元スライスを図６に示される光学構成に連続してフィードし得る（例えば、フレームが連続して、時間的に連続して等）。

図６に示される例示的構成では、ＤＬＰ（６０２）およびＬＣＤ（６０４）の組み合わせが、高リフレッシュレートおよび高持続性表示を作成するために使用される。ＡＲシステム（６００）の他の実施形態は、他の空間光変調器を利用し得、以下の説明は、例証目的のためだけに提供されることを理解されたい。有利には、このアプローチは、システムが高フレームレートおよび高持続性の両方を有することを可能にする（それは、ユーザが複数の深度平面を同時に知覚することを可能にする）。本実施形態では、ＤＬＰ（６０２）およびＬＣＤ（６０４）の組み合わせは、３６０Ｈｚの処理パワーで動作し、それによって、１秒あたり６０フレームを生成する（例えば、以下にさらに詳細に説明されるであろうように、６つの深度平面を生成する）。

以下にさらに詳細に説明されるであろうように、ＤＬＰ／ＬＣＤシステムの高フレームレートおよび高持続性は、ユーザによって同時に知覚される、複数の深度平面の作成を可能にする。図示される実施形態は、ＬＣＤ（６０４）を使用するが、代替実施形態は、同様に、ＬＣＤ（６０４）をＤＬＰ（６０２）とともに使用されないこともあることを理解されたい。ＯＬＥＤ、ＬＣＯＳ、ＦＳＤ等、他の形態の空間変調器も同様に、使用され得ることを理解されたい。

いくつかの実施形態では、ＤＬＰ（６０２）は、グレースケール画像（前述のように）を提供することを理解されたい。ＬＣＤ（６０４）は、種々の色に関連付けられた光が別の組の色収差補正レンズ（６０６）を通して投影されるように、色マップを提供する。

図示される実施形態では、ＤＬＰ（６０２）からの光は、一組の色収差補正レンズ（６０６）に向かって投影される。同様に、ＬＣＤ（６０４）は、同一または異なる仮想コンテンツに関連付けられた光を投影し、光は、別の組の色収差補正レンズ（６０６）を通して進む。

色収差補正レンズ（６０６）は、色収差および球面収差の影響を制限するように設計された光学要素である。言い換えると、色収差補正レンズ（６０６）は、広いスペクトルの波長にわたって同様に機能する。例えば、色収差補正レンズ（６０６）は、２つの波長を同一平面上で焦点を合わせるように導くための補正を提供する。色収差補正レンズは、典型的には、２つの異なるタイプの材料から作製され、異なる波長にわたって一定焦点を有する（すなわち、焦点が殆ど変化しない）ように設計される。ＤＬＰ（６０２）およびＬＣＤ（６０４）は、複数の波長（例えば、赤色、緑色、青色等）を有する光を投影するので、色収差補正レンズ（６０６）は、異なる波長の光が実質的に同一焦点に導かれることを確実にするために利用される。図６に示されるように、色収差補正レンズは、光学構成（６００）の種々の部分で使用され、光が同一焦点に導かれることを確実にする（例えば、ＤＬＰ（６０２）から放出される光、ＬＣＤ（６０４）から放出される光、ＶＦＥ（６１０）からの光、中間画像平面（６１４）からの光等）。

図６に示されるように、ＬＣＤ（６０４）からの光は、別の組の色収差補正レンズ（６０６）を通過し、ビームスプリッタ（６０８）に接近する。図示される実施形態では、ビームスプリッタ（６０８）は、光ビームがＶＦＥ（６１０）に向かわせられるように光ビームを分割する。ＤＬＰ（６０２）は、ＶＦＥ（６１０）と同期して機能し、所望のフレームレート（例えば、６０フレーム／秒）を提供することを理解されたい。ＶＦＥ（６１０）は、フレームの焦点を変動させ、複数の固定された深度平面を生成するように構成される。本実施形態では、ＶＦＥ（６１０）は、焦点を迅速に変更し、フレームがＤＬＰ（６０２）およびＬＣＤ（６０４）によって生成される速度に対応可能である変形可能ミラー膜ＶＦＥである。一実施形態では、変形可能膜レンズは、変形可能ミラー膜ＶＦＥ（６１０）（例えば、Ｏｋｏｔｅｃｈ（登録商標）製）等の非常に薄い（例えば、膜の厚さは、約数ミクロンであり得る）反射材料から作製され得る。

ＶＦＥ（６１０）からの焦点を合わせられた光は、２つ以上の色収差補正レンズ（６０６）を通して進行し、中間画像平面（６１４）を生成する。中間画像平面（６１４）は、適切な焦点を有する光であるが、ユーザによって視認されることができない。中間画像平面（６１４）が生成される場所は、ＶＦＥ（６１０）の焦点に基づいて、ある範囲内で変動することを理解されたい。

中間画像平面（６１４）からの光はさらに、それがユーザの眼によって視認され得るように、一組の色収差補正レンズおよび／または拡大要素を通して進み得る。例えば、中間画像平面は、仮想画像の分だけ実画像ではないこともあるので、眼によって処理されるように反転および／または修正される必要があり得る。図６に示されるように、中間画像平面（６１４）からの光は、眼に送達される前に、別の組の色収差補正レンズおよび／または接眼レンズを通過する。

この例では、眼に最も近い２つの色収差補正レンズ（６０６）は、中間画像が形成された後、ＶＦＥから受信された光をコリメートするように構成されることを理解されたい。したがって、この特定の実施形態では、画像が眼によって視認されると、画像は、無限遠から生じるかのように見えるであろう。コリメートされた光（すなわち、互に平行である光ビーム）は、無限遠から生じるかのように知覚される、画像を生成する。他の例（図示せず）では、ＶＦＥが他の深度平面（光学無限平面ではない）上に焦点を合わせられる場合、光線は、典型的には発散し、それによって、ユーザが深度平面をｚ方向に固定された深度平面（例えば、光学無限より近い）において視認するであろう。

図示される実施形態では、ＡＲシステム（６００）は、３６０Ｈｚの高処理パワーで動作し、６０フレーム／秒において６つの深度平面の作成を可能にするＤＬＰ（６０２）（およびＬＣＤ（６０４）を使用する、多平面焦点システムである。本技術的状況において、そのような高性能ＤＬＰは、静止ＡＲシステム構成では良好に機能し得るが、技術の進歩が、同一ＡＲ構成をポータブルまたは装着式ＡＲシステムに適宜変換することを可能にし得ることを理解されたい。

ＤＬＰ（６０２）が３６０Ｈｚ（６０フレーム／秒）で動作することを前提として、異なるフレームは、２．８ミリ秒毎に生成され得る。これと高速かつ精密なＶＦＥ（６１０）（前述のような変形可能ミラー膜ＶＦＥ等）との結合は、複数の深度平面の迅速な生成を可能にする。したがって、ＶＦＥ（６１０）の速度は、所望の画像／仮想コンテンツが正しい深度平面に表示されるように、焦点を迅速に変動させるために十分に高速（本実施形態では、２．８ミリ秒以内）でなければならないことを理解されたい。

図７は、図６に関連して論じられる構成等のＡＲシステムが、ユーザに対して複数の固定された深度平面を生成する方法を図示する。図７は、ＡＲシステム（７０４）およびＡＲシステム（７０４）のユーザによって視認される６つの深度平面（７０２）の構成を図示する。図示される実施形態では、６つの深度平面（７０２）は、ユーザからｚ方向に様々な距離で間隔を置かれている。いくつかの実施形態では、全６つの深度平面は、深度平面の固定された距離においてユーザによって同時に視認され得る（例えば、ＡＲシステム（６００））。他の実施形態では、深度平面の一部のみ、ユーザによってフレーム毎に視認され得るが、深度平面は、常時、ユーザから離れた同一固定距離で生成され得る。

ＡＲシステム（７０４）（例えば、ＡＲシステム（６００）等）および他の多平面焦点システムは、典型的には、固定された深度平面（７０２）（例えば、図７に示されるような６つの深度平面）においてフレームを表示することを理解されたい。任意の数の深度平面が、同様に使用され得るが、以下の開示は、ｚ方向に６つの固定された深度平面（７０２）を有するような多平面焦点システムを論じる。仮想コンテンツを６つの深度平面のうちの１つ以上のもの上に生成することにおいて、３Ｄ知覚は、ユーザが１つ以上の仮想オブジェクトをその眼から様々な距離で（例えば、ｚ方向に）知覚するように作成される。ヒトの眼が、遠くからであるように見えるオブジェクトより距離がより近いオブジェクトに対してより敏感であるとすると、図７に示されるように、より多くの深度平面（７０２）が眼により近く生成される。他の実施形態では、深度平面（７０２）は、互いから等距離だけ離れて設置され得る。

深度平面（７０２）は、典型的には、焦点距離の単位であるジオプトリーで測定される。例えば、一実施形態では、深度平面１は、１／３ジオプトリーだけ離れ得、深度平面２は、１／２ジオプトリーだけ離れ得、深度平面３は、１ジオプトリーだけ離れ得、深度平面４は、１．５ジオプトリーだけ離れ得、深度平面５は、３ジオプトリーだけ離れ得、深度平面６は、無限遠を表し得る。他の実施形態は、他の距離／ジオプトリーで深度平面を生成し得ることを理解されたい。したがって、仮想コンテンツを計画的に設置された深度平面に生成する場合、ユーザは、仮想オブジェクトを３Ｄで知覚可能である。

例えば、第１の仮想オブジェクトは、深度平面１上で知覚され得る一方、別の仮想オブジェクトは、深度平面６上の無限遠で発生するように知覚され得る。または、仮想オブジェクトは、仮想オブジェクトがユーザに対して非常に近くに見えるまで、最初に、深度平面６で、次いで、深度平面５で表示される等であり得る（例えば、ユーザに向かって走ってくる仮想モンスター）。別の実施形態では、全６つの深度平面は、ユーザから離れた特定の焦点距離に集中され得る。例えば、表示されるべき仮想コンテンツが、ユーザから１／２メートル離れたコーヒーカップである場合、全６つの深度平面は、コーヒーカップの種々の断面で生成され、ユーザにコーヒーカップの非常に粒度の細かい３Ｄビューを与え得る。前述の実施例は、例証目的のために非常に簡略化されており、深度平面の多くの他の構成も同様に、想定され得ることを理解されたい。

図６のＡＲシステム（６００）の場合、焦点を迅速に変化させるために、変形可能ミラー膜ＶＦＥ（６１０）の能力と組み合わせられたＤＬＰ（６０２）およびＬＣＤ（６０４）の高処理パワーは、ユーザから様々な距離において深度平面の迅速な生成を可能にする。これは、表示の持続性と組み合わせられて、同時の複数の深度平面の知覚を与える。例えば、第６の深度平面（例えば、無限遠で焦点を合わせられる）が１６ミリ秒で作成されるまで、深度平面１（例えば、１／３ジオプトリーで焦点を合わせられている）が、最初の２．８ミリ秒で作成され得、深度平面２（例えば、１／２ジオプトリーで焦点を合わせられている）が、次の２．８ミリ秒（５．６ミリ秒）で作成される等。

言い換えると、空間光変調器（例えば、ＤＬＰ（６０２））が動作する、高速（仮想コンテンツの高速生成を可能にする）は、変形可能ミラー膜ＶＦＥ６１０（画像を所望の深度平面に焦点を合わせることにおいて迅速な変化を可能にする）と結合され、複数の深度平面をユーザに迅速に投影可能である多平面焦点システムを提供する。深度平面が生成される高速（全６つの画像平面は、最初の１６ミリ秒以内に生成される）を前提として、ヒトの眼は、それらを同時深度平面として知覚する。言い換えると、眼の持続性に起因して、全６つの深度平面は、本質的に、一緒に視認される。

サイズおよび可搬性の制限に起因して、そのような高処理パワー（３６０Ｈｚ）のＤＬＰは、ＡＲシステムの装着式バージョンでは、容易に使用されないこともある。さらに、ＡＲシステム（６００）において使用される、変形可能ミラー膜ＶＦＥは、非常に薄く、したがって、外部環境における変化に非常に敏感であり得、これは、装着式ＡＲシステムモデルにおける使用を困難にし得る。しかしながら、システム（６００）は、他のＶＦＥまたは他の空間光変調器を利用し得、上記の説明と同様に機能し得ることを理解されたい。

ここで図８を参照すると、装着式ＡＲシステム（８００）のバージョンの１つの例示的実施形態が、ここで説明される。ＡＲシステム（５００）と同様に、ＡＲシステム（８００）も、画像生成プロセッサ（８０２）（例えば、追加の構成要素：ＧＰＵ（８１４）、ＣＰＵ（８１６）、およびメモリ（８１２）を伴う）と、空間光変調器（例えば、ＤＬＰ、ＬＣＤ、ＯＬＥＤ、ＬＣＯＳ、ＦＳＤ等）（８０４）と、複数のレンズ／光学要素およびミラー（８０６）と、ＶＦＥ（８１０）と、メニスカスレンズまたは接眼レンズ（８０８）と、眼追跡サブシステム（８２０）とを含む。ＡＲシステム（８００）は、種々の構成で利用され得ることを理解されたい。構成の１つは、一組の光学要素および空間光変調器をＡＲデバイスの上部に格納するヘルメット構成を指す「水盤」構成（例えば、図４Ｂに類似するヘルメット形状因子のＡＲデバイス）であり得、光は、空間光変調器および一組の光学を下方に進行し、接眼レンズの上部にフィードされる。他の構成では、一組の光学および空間光変調器は、側面に格納され得（例えば、図４Ｃに類似する形状因子）、光は、空間光変調器と一組の光学要素とを通して側方に進行し、接眼レンズの側面部分にフィードされる。

ＡＲシステム（８００）の構成要素の多くは、前述のＡＲシステム（５００）に類似しており、したがって、繰り返されない。前述のように、プロセッサ（８０２）は、１つ以上の画像スライスもしくはフレームを空間光変調器（８０４）に提供する。１つ以上の実施形態では、空間光変調器（８０４）は、ＤＬＰ、ＬＣＤ、ＬＣＯＳ、ＯＬＥＤ、またはＦＳＤを備え得る。前述のように、ＡＲシステムのポータブルバージョンは、ＡＲシステム（例えば、図６）において使用されるもの等、大型かつ高性能の空間光変調器を収容しないこともあり、したがって、より小さいおよび／またはあまり高性能ではない空間光変調器（例えば、ＤＬＰ）が、代わりに、利用され得る。図示される実施形態では、ＤＬＰは、約１２０Ｈｚで動作し、６０フレーム／秒を生成し得る。

空間光変調器（８０４）からの光は、次いで、画像が所望の深度平面においてユーザによって視認されるように、ＶＦＥ（８１０）によって焦点を合わせられ得る。前述のように、装着式構成において使用されるＶＦＥ（８１０）は、より耐久性があるが、ＡＲシステム（６００）において使用されるものより低速でもあり得る。同様に、本実施形態において使用されるＶＦＥ（８１０）は、ＡＲシステム（６００）において使用されるような変形可能ミラー膜でないこともあり、むしろ、Ｏｐｔｏｔｕｎｅ（登録商標）またはＶａｒｉｏｐｔｉｃ（登録商標）のような企業によって作製されたもの等の光屈折膜レンズであり得る。１つ以上の実施形態では、これらのＶＦＥに関連付けられた膜は、ゴム様テクスチャを有する傾向にあり、それは、ＡＲシステム（５００）において使用される変形可能膜ミラーと比較して、ＶＦＥをより耐久性のあるものにし、それによって、これらのＶＦＥをＡＲシステムの装着式バージョンのためにより適したものにする。

本実施形態では、フレームが２０フレーム／秒でしか生成されないことを前提とすると、ＶＦＥは、焦点を２０フレーム／秒でしか切り替えない。この目的を達成するために、以下にさらに説明されるであろうように、同時に、全６つの深度平面を一度に表示するのではなく、単一の深度平面が、ユーザの焦点と一致するように生成される。図５と同様に、ＶＦＥからの光は、光学要素（８０６および８０８）の集合を通して進み、ユーザの眼に伝達される。

前述のように、ＡＲシステム（８００）は、可変焦点面システムである。６つの（またはそれを上回る）深度平面を生成するのではなく、システムは、作成された深度平面がユーザの焦点と一致するように、ｚ方向に移動させられ得る単一の深度平面を作成するように構成される。

この目的を達成するために、前述の要素（前述の実施形態にも存在した）に加え、本実施形態は、眼の焦点を追跡するように構成される眼追跡サブシステム（８２０）も含む。各眼は、別個にかつ他方から独立して追跡され得る。１つ以上の実施形態では、各眼は、専用の眼追跡システムによって追跡され得る。他の実施形態では、両眼が、単一の眼追跡システムによって追跡され得る。別の実施形態では、単一の眼追跡システムは、各眼に対して１つ構成される２つの追跡器を有し得る。眼追跡サブシステム（８２０）は、ＶＦＥ（８１０）がユーザの眼の焦点と一致する平面上に画像の焦点を合わせるように、画像生成プロセッサ（８０２）および他の回路に物理的または通信可能に結合され得る。

１つ以上の実施形態では、眼追跡サブシステム（８２０）は、両眼が収束する距離を測定する。例えば、ユーザの眼が互に平行である場合、眼追跡サブシステム（８２０）は、ユーザの焦点が光学無限にあることを決定し得る。眼追跡サブシステム（８２０）の他の実施形態は、ユーザの眼の焦点を推定または決定することにおいて、他の方法を使用し得る。眼追跡サブシステム（８２０）は、処理／制御回路等を備え得、さらに、システムの画像生成プロセッサおよび他の構成要素と通信するように構成されることも理解されたい。システムの構成要素の残りは、上記の前述のシステム（５００）と同様である。

ここで図９を参照すると、可変平面焦点システム（例えば、ＡＲシステム（８００））の具体的構成（９００）が、ここで説明される。本実施形態では、可変平面焦点システム（９００）は、ＤＬＰ（９０２）と、一組の色収差補正レンズ（９０４）と、ＶＦＥ（９０６）と、ビームスプリッタ（９０８）と、中間画像平面（９４０）と、メニスカスレンズ（９１０）とを含む。

図９に示されるように、種々の仮想画像スライス／フレームスライス（例えば、プロセッサ（図示せず）によってフィードされる）に関連付けられた光は、ＤＬＰ（９０２）から投影される。ＤＬＰ（９０２）からの光は、一組の色収差補正レンズ（９０４）（例えば、前述のように、実質的に同一焦点を有するように、異なる波長の光の焦点を修正する）を通して進行し、ＶＦＥ（９０６）にフィードされる。

ＶＦＥ（９０６）は、前述のように、光が所望の平面から生じているように見えるように光の焦点を合わせる。眼追跡サブシステムは、図９に示されないが、画像は、典型的には、眼追跡サブシステムからの入力に基づいて、作成されることを理解されたい。言い換えると、眼追跡システムからのデータは、ＶＦＥに通信され、ＶＦＥは、適宜、ユーザの焦点の現在の状態に最も近い深度平面を作成する。

ＶＦＥ（９０６）が、適宜、光の焦点を合わせると、光は、次いで、中間画像平面（９４０）が作成されるように、別の組の色収差補正レンズ（９０６）を通して進行する。前述のように、中間画像平面（９４０）に対応する光は、眼によって視認され得る前に修正されなければならず、したがって、いくつかの実施形態では、ビームスプリッタ（９０８）と、光をユーザの眼に向かわせる、メニスカスレンズまたは接眼レンズ（９１０）を通して進み得る。

ビームスプリッタ（９０８）は、光ビームを分割し、光をメニスカス（９１０）に向かって反射する。メニスカスレンズ（９１０）は、次いで、光をユーザの眼の中に向かわせる。

図示される実施形態では、ユーザの眼に到達する光は、コリメートされる（例えば、ユーザは、光を光学無限から生じるように知覚する）。当然ながら、異なる深度平面上に焦点を合わせると、光ビームは、代わりに、光学無限より近い深度平面から生じているかのように分散し得る。

ここで図１０を参照すると、可変平面焦点システムの例示的一連の構成が、図示される。種々の構成は、図９に関して論じられるものと同一構成要素を備え、したがって、繰り返されない。

図示される実施形態において、（１００２）では、ＶＦＥ（１０１４ｃ）は、ユーザから０．３３メートル離れた深度平面にＤＬＰ（１０１２ｃ）からの光の焦点を合わせる。図１０に示されるように、右側の中間画像平面（１０１６ｃ）は、ＶＦＥ（１０１４ｃ）の焦点の変化に基づいて生成される。（１００４）では、ＶＦＥ（１０１４ｂ）は、ユーザから０．６７メートル離れた深度平面にＤＬＰ（１０１２ｂ）からの光の焦点を合わせる。図１０に示されるように、中央の中間画像平面（１０１６ｂ）は、ＶＦＥ（１０１４ｂ）の焦点の変化に基づいて生成される。同様に、（１００６）では、ＶＦＥ（１０１４ａ）は、光学無限である深度平面にＤＬＰ（１０１２ａ）からの光の焦点を合わせる。図１０に示されるように、中央の中間画像平面（１０１６ｂ）は、ＶＦＥ（１０１４ｂ）の焦点の変化に基づいて生成される。図示される実施形態では、中間画像平面（例えば、１０１６ａ、１０１６ｂ、および１０１６ｃ）も、ＶＦＥが光の焦点を異なる深度平面に変動させるにつれて変動する。

図１１は、図８−１０に関連して論じられる構成等の可変平面ＡＲシステムが、ユーザに対して側方に平行移動させられ得る単一の深度平面を生成する方法を図示する。図１１は、ＡＲシステム（１１０４）およびＡＲシステム（１１０４）のユーザによって視認される単一の深度平面（１１０６）を図示する。図示される実施形態では、単一の深度平面が、生成されるが、単一の深度平面（１１０２）（フレーム毎）は、ｚ方向にある範囲（１１０６）内で移動させられ得る。

言い換えると、可変平面焦点システム（例えば、図８−１０）は、ユーザの焦点の現在の状態に基づいて、単一の深度平面をある範囲内でｚ方向に側方に平行移動させる。ユーザの眼が、ユーザに近い物理的オブジェクト上に焦点を合わせられる場合、単一の深度平面は、それがその焦点距離と一致し、仮想オブジェクトがその深度平面に表示されるように移動させられる。例えば、ユーザの眼が弛緩され、空間を見ている（眼が互に平行である）場合、深度平面は、仮想オブジェクトが無限遠から生じているように見えるように、より遠くに移動させられ得る。図１１に示されるように、ＡＲシステム（１１０４）は、ユーザの焦点と一致する単一の深度平面（１１０２）上に画像の焦点をあわせる。単一の深度平面（１１０２）は、図１１に示されるように、ある範囲（１１０６）内で（例えば、ユーザに非常に近い所から光学無限まで）ユーザから離れた任意の距離までｚ方向に移動させられ得る。

１つのみの深度平面が投影される（例えば、６０フレーム／秒で）という事実を補償するために、ぼかしソフトウェア技法が、複数の深度平面の知覚を提供するために利用され得る。２つ以上の仮想オブジェクトがユーザに投影されることが意図されていると仮定し、かつ仮想オブジェクトが異なる深度平面にあることを意図されていると仮定すると、システムは、投影された深度平面にない仮想オブジェクトをぼかし得る。言い換えると、両仮想オブジェクトが、単一の深度平面上にレンダリングされるが、１つ（またはそれらのうちの１つ以上）（ユーザの焦点と比較してより近く／より遠くに見えるように意図される）が、ユーザにぼかされて見えるであろう。

例えば、仮想コンテンツが、仮想コーヒーカップと、背景中を飛んでいるドラゴンの両方を含む場合であり、ユーザの眼が机上に焦点を合わせられている場合、単一の深度平面は、ユーザの焦点において生成され、焦点が合った仮想コーヒーカップから成るであろうが、加えて、背景中を飛んでいるぼかされたバージョンのドラゴンも示すであろう。または、ユーザの眼が無限遠に向かって焦点を合わせられている場合、単一の深度平面は、無限遠で生成されるであろうが、ドラゴンは、焦点が合って見え得る一方、コーヒーカップは、ソフトウェアによるぼかしを通してぼかされる。

または、同じ例を継続すると、ユーザの眼がドラゴンの方に向けられる場合、眼追跡システム（８２０）は、焦点のシフトを検出し（例えば、眼追跡サブシステムは、ユーザの眼の収束の変化を検出し得る）、次いで、焦点が合ったドラゴンをレンダリングし、コーヒーカップをぼかし得るが、この時点で、単一の深度平面は、無限遠に生成される。ヒトの眼は、その焦点を近いオブジェクトから離れたオブジェクトまたはその逆に変化させるために約２００〜３００ミリ秒かかることを理解されたい。しかしながら、ＡＲシステムは、１秒あたり約６０フレームとフレームを迅速に生成するように構成される。したがって、ＡＲシステムは、ヒトの眼と比較して、より高速なペースで動作しているので、ユーザの眼は、焦点面の変化を快適に調節可能である。

したがって、上記の例から理解され得るように、３Ｄ知覚を作成するために、可変平面焦点システムは、ユーザの眼の焦点距離と一致する深度平面に投影される、１つの（またはそれを上回る）限定された深度平面を作成する。眼追跡サブシステム（８２０）を使用することによって、ＡＲシステム（８００）は、前述のように、より小さい処理パワーかつより遅いＶＦＥの空間光変調器を使用可能である。

可変平面焦点システムの正確度は、直接、眼追跡サブシステムの正確度および効率とＶＦＥ要素の速度とに関連することを理解されたい。眼追跡サブシステム（８２０）は、ユーザの眼の焦点距離を迅速に測定および決定可能でなければならず、ＶＦＥ要素は、その距離に精密に、深度平面の焦点を合わせなければならない。これは、上記で詳細に論じられたように、典型的には、装着式ＡＲシステムにおける限界である多くの処理パワーおよび速度を要する。この目的を達成するために、ＡＲシステムのさらに別の実施形態では、ハイブリッドシステムが、３Ｄ仮想コンテンツを生成するために使用され得る。

ここで図１２を参照すると、図９および１０のＡＲシステムに類似するハイブリッド構成が、さらに詳細に説明される。ハイブリッドＡＲシステム（１２００）は、図９のＡＲシステム（９００）と実質的に同一要素を備えている。簡略化目的のために、ハイブリッドＡＲシステム（１２００）の重要な構成要素のみ、説明され、残りの構成要素は、図９のその構成と同様に機能することを認識されたい。

図１２に示されるように、ＤＬＰ（１２０６）からの光は、仮想コンテンツの２Ｄスライスに関連付けられた光を投影し得る。光は、次いで、異なる波長の光が、前述のように、実質的に同一焦点に導かれることを確実にするように構成される一組の色収差補正レンズ（１２０８）を通して進み得る。色収差補正レンズ（１２０８）からの光は、次いで、長距離ＶＦＥ要素（１２０２）および２状態焦点要素（１２０４）を有するＶＦＥアセンブリに衝突する。

ハイブリッドＡＲシステム（１２００）では、単一のＶＦＥを使用するのではなく、システムは、長距離ＶＦＥ要素（１２０２）および２状態焦点要素（１２０４）の両方を利用する。長距離ＶＦＥ（１２０２）は、大きな範囲の深度平面に沿って機能するように構成される（図１１の可変平面システムに類似する）一方、２状態焦点要素（１２０４）は、互に小範囲内で２つの深度平面を生成するように構成される（図７の多平面システムに類似する）。

長距離ＶＦＥ要素（１２０２）は、例えば、０〜３ジオプトリー等、相対的に大きい焦点範囲が可能であり得る。そのようなＶＦＥ（１２０２）は、例証の目的のために、その時間的応答時間が制限され得る。孤立して使用される場合、そのような長距離ＶＦＥ（１２０２）は、動作可能に結合された画像源からの複数の表示されるフレームのコーズにわたって焦点を調節し得るが、動作可能に結合されたディスプレイのリフレッシュレートにおいて、フレーム毎に所望の焦点状態間で変調するために十分に高速ではない場合がある。例えば、長距離ＶＦＥ（１２０２）は、ヒトの遠近調節もしくは両眼離反運動の変化に応答して、または表示される体積場面内の要素の運動に応答して、表示焦点を調節し得る。

１２０４として標識される２状態焦点ＶＦＥは、ＶＦＥ（１２０２）より焦点状態間をより迅速に切り替えることができるが、その全体焦点範囲（例えば、０〜０．３ジオプトリー）および／または生成し得る焦点状態の数（例えば、２焦点状態）が制限され得るＶＦＥを備え得る。長距離ＶＦＥ（１２０２）および２状態ＶＦＥ１２０４を直列に設置することによって、それらの全体屈折力は、各ＶＦＥの焦点状態が動作可能に結合されたディスプレイの焦点に影響を及ぼすように組み合わせられる。

例えば、２つの深度平面が、１ジオプトリーの距離に作成される必要がある場合、長距離ＶＦＥ（１２０２）は、約１ジオプトリーの距離に両深度平面の焦点を合わせるように構成され得る一方、２状態焦点要素（１２０４）は、２つの深度平面を互の短距離内に生成するように構成され得る（例えば、互いから０．３ジオプトリーの固定された距離）。言い換えると、長距離ＶＦＥ（１２０２）は、ユーザから離れたｚ方向にほぼ正しい距離に２つの深度平面の焦点を合わせる一方、２状態焦点要素（１２０４）は、２つの深度平面を互との関連で設置する。１つ以上の実施形態では、２つの深度平面間の距離は、固定され得る。組み合わせられたＶＦＥ（１２０２および１２０４）から出射する光は、次いで、ユーザの眼に衝突する前に、別の組の色収差補正レンズ（１２０８）および図９のものに類似する残りの組の構成要素（図示せず）を通って進み得る。

ハイブリッドシステム（１２００）は、多平面焦点システムおよび可変平面焦点システムの両方の要素を組み合わせる。眼追跡サブシステムおよび／またはＶＦＥにおける欠点を考慮するために、ユーザの眼の追跡に基づいて生成される、単一の深度平面を生成するのではなく、ハイブリッドシステム（１２００）は、眼追跡システムによって決定された焦点距離に、互に近接して２つの深度平面を生成する。したがって、ハイブリッドシステム（１２００）は、眼追跡サブシステムにおける誤差の許容値を組み込み、１つの深度だけではなく、互に近接する２つの深度平面において仮想コンテンツを投影することによって、欠点を考慮することを理解されたい。ここに説明される２つの深度平面システムは、一例にすぎず、他の実施形態は、全てがユーザの焦点と一致するように投影される３つ以上の深度平面を備え得ることを理解されたい。

例えば、（例えば、眼追跡サブシステムを通して）ユーザの眼が１ジオプトリーの距離に焦点を合わせられていることが決定される場合、単一の深度平面をその距離に生成する代わりに、ハイブリッドシステム（１２００）は、代わりに、両方とも１ジオプトリーに近接した２つの深度平面を生成し、その半分が一方の深度平面に見え、他の半分が他方の深度平面に見えるように、仮想コンテンツを分割し得る。したがって、両深度平面は、ユーザによって同時に知覚される（例えば、一方のフレームは、８ｍｓにおける深度平面１に生成され、別のフレームは、１６ｍｓにおける深度平面２に生成される）。これは、ユーザのために快適な視認をもたらし、眼追跡サブシステムに大きく依拠しない。１２０Ｈｚで動作するＤＬＰが使用されると仮定すると、ハイブリッドＡＲシステム（１２００）は、６０フレーム／秒で２つの深度平面を生成するように構成され得る。

図１３は、図１２に関連して論じられる構成等のハイブリッドＡＲシステムが、ユーザに対して側方に平行移動させられ得る、互に関連した２つの深度平面を生成する方法を図示する。図１３は、ＡＲシステム（１３０２）およびＡＲシステム（１３０２）のユーザによって視認される２つの深度平面（１３０４）を図示する。図示される実施形態では、２つの深度平面（１３０４）は、互に固定された距離内で生成され、２つの深度平面（１３０４）は、ある範囲（１３０６）内でｚ方向に側方に平行移動させられ得る。

前述のように、単一の深度平面ではなく、２つの深度平面（１３０４）を生成することは、単一の深度平面を生成する場合の眼追跡サブシステム（８２０）における誤差またはＶＦＥの精度を補償し得る。ここでは、所望の深度平面の近似場所が、眼追跡システム（８２０）を通して決定されると、２つの深度平面は、互に近接近して（例えば、互に関連して固定された距離）作成される。

さらに別の実施形態では、１つ以上のレンズとともにＶＦＥを使用して、複数の深度平面を生成する代わりに、深度平面は、深度平面情報とともに埋め込まれる体積位相ホログラムまたは導波管の使用を通して同様に生成され得る。言い換えると、回折パターン、すなわち、回折光学要素（ＤＯＥ）が、コリメートされたビームが平面導波管に沿って全内部反射されるにつれて、複数の場所で回折パターンに交差するように、平面導波管内に埋め込まれ得る。

ここで図１４を参照すると、各々がそれぞれの導波管内に埋め込まれた異なるＤＯＥを有する導波管（１４５０）のスタックが、さらに詳細に説明される。導波管のスタック（１４５０）は、６つの導波管を備え、各々は、各導波管のための別個のＤＯＥ（１４６０ａ−１４６０ｆ）および内部結合格子（１４５２）を有する。導波管の各々は、光を異なる深度平面に回折させる異なるＤＯＥパターンを備えている。

内部結合格子は、導波管（例えば、１４６０ａ−１４６０ｆ）における開口部を指し、それを通して空間光変調器からの光が投入される。図１４に示されるように、投入された光は、全内部反射を通して各導波管を通って進行し、異なる角度で異なる場所において導波管の各々における埋め込まれた回折パターンと交差する。この光の一部は、次いで、図１５に示されるように、導波管を通してユーザの眼の中に伝送される。

導波管の各々は、埋め込まれた回折パターンに基づいて、異なって光を回折させ得ることを理解されたい。例えば、第１のＤＯＥ（１４６０ａ）を有する導波管は、内部結合格子（１４５２）を通して導波管（１４６０ａ）の中に投入された任意の画像に関連付けられた光をコリメートし得る。第２のＤＯＥ（１４６０ｆ）を有する別の導波管は、光を１ジオプトリーに対応する深度平面に発散させるように構成され得る。さらに別のＤＯＥ（１４６０ｅ）を有するさらに別の導波管は、光を２ジオプトリーに対応する深度平面に発散させるように構成される等。図１４に示されるように、導波管（１４６０ｆ）から出射する光は、導波管（１４６０ｅ）から出射する光と比較して、異なる角度に対応する。したがって、導波管内に埋め込まれた種々のＤＯＥは、可変角度で光を放出し、次いで、異なる深度平面から生じているようにユーザによって知覚される。

前述のシステムと比較して、図１４のＡＲシステム（１４００）との間の重要な差異は、導波管の各々におけるＤＯＥがＶＦＥとしての役割を果たし、それによって、別個のＶＦＥの必要性を取り除くことであることを理解されたい。したがって、有利には、画像スライス（または平面）は、所望の深度平面を生成するために、適切な導波管にフィードされ得る。

例えば、導波管のスタックの第１の導波管は、コリメートされた光を眼に送達するように構成される第１の回折パターンを有し得、これは、光学無限深度平面を表し得る。別の導波管は、１メートルの距離から生じているように見えるように投入された光を送達するように構成され得る。さらに別の導波管は、２メートルの距離から生じているように見えるように投入された光を送達するように構成され得る。スタックされた導波管アセンブリを使用することによって、複数の深度平面が、作成され得、各導波管は、画像を特定の深度平面で表示するように構成されることを理解されたい。任意の数の導波管／ホログラムが使用され得るが、以下の議論は、６つの深度平面を生成するように構成される６つのスタックされたホログラムに焦点を当てることを理解されたい。言い換えると、異なる深度平面状態間で焦点を迅速に切り替えるＶＦＥを使用するのではなく、導波管自体が、ＶＦＥとして役立ち、光は、所望の焦点深度に応じて、１つ（またはそれを上回る）導波管の中に投入される。

スタックされた導波管はさらに、１つ以上の導波管がオンもしくはオフにされ得るよう動的であるように構成され得ることを理解されたい。一実施形態では、回折光学要素を有する１つ以上の導波管は、回折光学要素が能動的に回折させる、「オン」状態と、回折光学要素が有意に回折させない、「オフ」状態との間で切り替え可能である。例えば、切り替え可能ＤＯＥ導波管は、ポリマーが分散された液晶の層を備え得、その中で、微小液滴が、ホスト媒体中に回折パターンを構成し、微小液滴の屈折率は、ホスト材料の屈折率と実質的に合致するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）。別の実施形態では、微小液滴は、ホスト媒体のものに合致しない率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。回折光学要素を有する導波管についてのさらなる詳細は、代理人事件番号ＭＬ２００１１．００の下で２０１４年１１月２７日に出願され、「ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＵＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」と題された米国特許出願第１４／５５５，５８５号に説明される。

ここで図１５を参照すると、埋め込まれた回折誘導要素のスタックを使用する、ＡＲシステム（１４００）の例示的実施形態が、ここで説明される。ＡＲシステム（１４００）は、概して、プロセッサ（１４０２）（例えば、追加の構成要素：メモリ（１４１２）、ＧＰＵ（１４１２）、ＣＰＵ（１４１６）等も備えている）と、少なくとも１つのＦＳＤ（１４２０）と、ＦＳＤ回路（１４１０）と、結合光学（１４２２）と、回折要素を有する少なくとも一組のスタックされた導波管（１４３０）とを含む。システム（１４００）は、（随意に）眼追跡サブシステム（１４５０）を含み得る。

ＡＲシステム（１４００）の構成要素の多くは、前述のＡＲシステム（５００）および（８００）に類似し、したがって、繰り返されない。前述のように、プロセッサ（１４０２）は、図１５に示されるように、１つ以上の画像平面を、ＦＳＤ回路（１４２０）であり得る空間光変調器に提供する。図示される実施形態では、１つの眼につき１つのＦＳＤ（１４２０）が、使用される。ＦＳＤ（１４２０）は、ＦＳＤ（１４２０）の機能を促進する、ＦＳＤ回路（１４１０）とやりとりする。

他の実施形態は、１つの眼につき複数のＦＳＤ（例えば、各導波管に対して１つ）を有し得るが、以下の開示は、図１５の例示的実施形態に焦点を当てるであろうことを理解されたい。図示される実施形態は、ＦＳＤを空間光変調器として使用するが、任意の他の空間光変調器（例えば、ＤＬＰ、ＯＬＥＤ、ＬＣＤ、ＬＣＯＳ等）も同様に、使用され得る。

ＦＳＤ（１４２０）は、多くの他の空間光変調器と比較して、コンパクトであり、高分解能を有することを理解されたい。したがって、ＡＲシステムの装着式バージョンにおいて有意な有用性を有し得る。そのコアに、ＦＳＤ（１４２０）は、画像を送達するために、迅速に振動し、種々のパターンを作成する１つ以上の光ファイバを含む。

１つ以上の実施形態では、ＦＳＤ（１４２０）は、単一の光ファイバを備え、または、他の実施形態では、光を複数のチャネルに分割し得る複数の光ファイバを備え得る。そのような実装では、光ファイバは、交互先端、または斜端もしくは研磨先端を有し、光を曲げ、チャネル間に及ぶ光学を減少させ得る。光ファイバは、便利に、リボンケーブルとしてパッケージ化され得る。好適な光学は、チャネルの各々によって生成されるそれぞれの画像の共役を生成し得る。ＦＳＤ（１４２０）は、前述のＦＳＤ回路（１４１０）内に、圧電変換器（１４３８）、および圧電変換器の周りに放射状に配置された一組の電極（図示せず）を含む。

例えば、フレームバッファを介して、圧電変換器に関連付けられたそれぞれの電極に制御信号を印加することは、光ファイバの正面または近位端を発振もしくは振動させ得る。振動のサイズは、任意のまたは種々の少なくとも２軸方向パターンを得るために、印加される駆動信号を介して制御され得る。作成されるパターンは、ラスター走査パターン、渦巻走査パターン、螺旋走査パターン、またはリサージュもしくは図８の走査パターンであり得る。

マルチコアファイバが、表示分解能向上（すなわち、より高い分解能）における役割を果たすように構成され得る。例えば、一実施形態では、別個のピクセルデータが、マルチコアファイバ内の１９本のコアの密集束を辿って送信され、そのクラスタが、マルチコアの直径にほぼ等しい渦間のピッチを伴う疎らな渦巻パターンで走査される場合、その周囲の掃引は、同様に周囲を走査される単一のコアファイバの分解能の約１９倍である表示分解能を効果的に作成するであろう。

実際、ファイバを互に対してより疎らに位置付けさせることは、効率的タイリング／六角形パターンであるので、より実践的であり得る。例えば、各々が導管内に格納される３本のファイバの１９のクラスタ（構成は、拡大または縮小される）等、他のパターンまたは数も、利用され得る。疎らな構成では、マルチコアの走査は、コアが全て緊密に一緒にまとめられ、走査される構成（コアは、走査と重複する結果となる。すなわち、コアが互に近すぎる場合、コアの開口数（「ＮＡ」）は、十分に大きくはなく、非常に密接してまとめられたコアは、一緒に幾分ぼやけ、表示のためのスポットを判別可能に作成しない結果となる）とは対照的に、それ自身の局所領域を通してコアのそれぞれを走査する。したがって、分解能増加のために、非常に高密度のタイリングではなく、疎らなタイリングを有することが好ましくあり得る。ＦＳＤの機能についてのさらなる詳細は、米国特許出願第１４／５５５，５８５号に説明される。

したがって、ＦＳＤ（１４２０）およびＦＳＤ回路（１４１０）は、高分解能ならびに輝度を伴う、コンパクトな空間光変調器として使用され得る。小スポットサイズに起因して、ＦＳＤは、典型的には、入射瞳エキスパンダまたは直交瞳エキスパンダ（図示せず）のような瞳エキスパンダに結合されることを理解されたい。本実施形態は、空間光変調器がＦＳＤであるように説明するが、他の実施形態は、同様に、任意の他の空間光変調器（例えば、ＤＬＰ、ＬＣＤ、ＯＬＥＤ、ＬＣＯＳ等）を使用し得ることを理解されたい。

図１５に示されるように、ＡＲシステム（１４００）は、ＦＳＤ（１４２０）からの光を導波管アセンブリ（１４３０）に向かわせるための結合光学（１４２２）も備えている。結合光学（１４２２）は、光を導波管アセンブリ（１４３０）の中に向かわせるために使用される１つ以上の従来のレンズを指し得る。１つ以上の実施形態では、切り替え要素（図示せず）が含まれ得、それは、光を導波管アセンブリ（１４３０）の特定の導波管に切り替え可能に向かわせる。

導波管アセンブリ（１４３０）は、次いで、図１４に示されるように、画像を所望の深度平面に投影するように構成される。ＡＲシステム（１４００）は、ユーザの眼を追跡し、ユーザの焦点を決定するように構成される眼追跡サブシステム（１４５０）も含み得る。

一実施形態では、特定のＤＯＥ格子を有する１つのみの導波管が、眼追跡サブシステム（１４５０）からの入力に基づいて、オンにされ得る。他の実施形態では、それぞれのＤＯＥ格子を有する複数の導波管が、以下に論じられるように、同時にオンにされ得る。

一実施形態では、ＡＲシステム（１４００）は、前述のＡＲシステム（６００）のように、多平面焦点システムとして機能し得る。言い換えると、全６つのＤＯＥ要素（例えば、導波管アセンブリ（１４３０）の全６つの導波管）が、６つの固定された深度平面が迅速に連続して生成されるように、同時にオンにされ得、ＦＳＤ（１４２０）は、画像情報を導波管１、次いで、導波管２、次いで、導波管３等に迅速に伝達する。

例えば、光学無限における空の画像を含む所望の画像の一部が、時間１において投入され得、光のコリメーションを保持する回折格子が、利用され得る。次いで、より近い木の枝の画像が、時間２において投入され得、１０メートル離れた深度平面を作成するように構成されるＤＯＥが、利用され得る。次いで、ペンの画像が、時間３において投入され得、１メートル離れた深度平面を作成するように構成されるＤＯＥが、利用され得る。この種類の例は、眼／脳が同一画像の全部分であるよう入力を知覚し、かつ複数の画像平面／スライスがユーザによってほぼ同時に知覚されるように、高速時間順次方式で繰り返されることができる。

前述のように、スタックされた構成（１４３０）は、動的導波管（静的導波管およびレンズではなく）を利用し、多平面焦点合わせを同時に提供し得る。例えば、３つの同時焦点面の場合、一次焦点平面（例えば、測定された眼遠近調節に基づく）が、ユーザに提示され得、かつ＋マージンおよび−マージン（すなわち、１つは、より近い、１つは、より遠い焦点面）が、大焦点範囲を提供するために利用され得、ユーザは、平面が更新されることが必要となる前に、遠近調節することができる。この焦点範囲の増加は、ユーザがより近いまたはより遠い焦点（すなわち、遠近調節測定によって決定されるように）に切り替える場合、時間的利点を提供することができる。次いで、新しい焦点の平面が、ＡＲシステムが遠近調節における変化を補正する間、いずれか一方に切り替わる＋および−マージンとともに、中央焦点深度であるように作製され得る。

しかしながら、このシナリオは、ＦＳＤ（１４２０）が、複数の導波管の中に投入されるべき異なる画像／画像の一部を迅速に生成するために十分に高速に動作可能であることを前提とする。別の実施形態（図示せず）では、それぞれの回折要素を有する導波管の各々は、別個のＦＳＤ（例えば、各々が光を特定の深度平面に対応するそれぞれの導波管上に投入する６つの異なるＦＳＤ）を通して光を受信し得る。

言い換えると、各ＦＳＤは、ＤＯＥ１に、空の画像を搬送するＦＳＤ１からの光が投入され、ＤＯＥ２に、木の枝の画像を搬送するＦＳＤ２からの光が投入された、ＤＯＥ３に、ペンの画像を搬送するＦＳＤ３からの光が投入される等となるように、合理的速度で動作する。したがって、複数のＦＳＤを有することによって、導波管の全６つの中にフィードされるべき（および、それぞれの導波管に切り替えられるべき、または向かわせられるべき）全画像を迅速に生成する単一のＦＳＤの代わりに、各ＦＳＤは、その画像に関連付けられた光をそのそれぞれの導波管にのみ投入するために十分な合理的速度でのみ動作する必要がある。しかしながら、このアプローチは、光学視点から理想的であるが、コンパクトな装着式ＡＲシステム上に実装するには扱いにくいことが分かり得る。

この目的を達成するために、眼追跡システム（１４５０）は、所望の深度平面（または平面）がユーザの焦点深度と一致するように利用され得る。本実施形態は、前述の可変平面焦点システム（例えば、図１１）と幾分類似して機能する。ＡＲシステム（１４００）の文脈では、眼追跡システム（１４５０）からの入力に基づいて、特定の導波管が、画像がユーザの焦点と一致する所望の深度平面に生成されるように、オンにされ得る。

例えば、ユーザの眼が互に平行である（すなわち、無限遠で焦点を合わせられる）ことが決定される場合、ＡＲシステムは、仮想画像がユーザの焦点の現在の状態と一致する光学無限に見えるように、コリメートされた光をユーザの眼に送達するように構成されるＤＯＥを有する導波管をオンにし得る。別の実施例では、眼追跡サブシステム（１４５０）が、ユーザの眼が１メートルの距離にある焦点に発散していると決定する場合、ほぼその範囲内に焦点を合わせるように構成される別のＤＯＥを有する、別の導波管が、代わりに、オンにされ得る。この特定の実施形態では、１つのみの導波管が、任意の所与の時間でオンにされる（例えば、フレームあたり）一方、ＤＯＥの残りは、オフにされることを理解されたい。

または、別の実施形態では、その対応する深度平面が一緒に近接して位置するＤＯＥを有する、２つの導波管が、前述のハイブリッドＡＲシステム（１２００）と同様に、同時にオンにされ得る。

さらに別の実施形態では、ユーザの光学の視野を増加させるために、タイリングアプローチが採用され得、２つ（またはそれを上回る）の組のスタックされたＤＯＥ導波管が使用され、各々は、対応するＦＳＤ（または任意の他のタイプの空間光変調器）を有する。したがって、１組のスタックされた導波管および対応するＦＳＤが、仮想コンテンツをユーザの眼の中心に送達するために使用され、別の組のスタックされた導波管および別の対応するＦＳＤは、仮想コンテンツをユーザの眼の周縁に送達するために使用され得る。

前述と同様に、各導波管のスタックは、各々が６深度平面の各々のために異なるＤＯＥを有する６つの導波管を備え得る。両スタックを一緒に使用することによって、ユーザの視野は、有意に増加させられる。さらに、ＤＯＥおよびＦＳＤの２つの異なるスタックを有することは、仮想コンテンツがユーザの眼の中心に投影されることと比較して、若干異なる仮想コンテンツがユーザの眼の周縁に投影されるように、より柔軟性を与える。タイリングアプローチに関するさらなる詳細は、代理人事件番号ＭＬ３００１８下で同時に出願された米国仮特許出願第６２／００５，８６５号「Ｍｅｔｈｏｄｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｄｉｓｐｌａｙｉｎｇ ｓｔｅｒｅｏｓｃｏｐｙ ｗｉｔｈ ａ ｆｒｅｅｆｏｒｍ ｏｐｔｉｃａｌｓｙｓｔｅｍ ｗｉｔｈ ａｄｄｒｅｓｓａｂｌｅ ｆｏｃｕｓ ｆｏｒ ｖｉｒｔｕａｌ ａｎｄ ａｕｇｕｍｅｎｔｅｄ ｒｅａｌｉｔｙ」に説明される。

スタックされたＤＯＥ／導波管は、加えて、入射瞳エキスパンダ（ＥＰＥ）としても機能し、ＦＳＤの開口数を増加させることを理解されたい。ＦＳＤは、小直径／スポットサイズの光を生成するので、ＥＰＥは、ユーザの眼に到達するように、導波管内の光を拡張させる。ＡＲシステム（１４００）の他の実施形態では、システムはさらに、ＥＰＥに加え、直交瞳エキスパンダを備え、ｘおよびｙ方向の両方において光を拡張させ得る。ＥＰＥおよびＯＰＥについてのさらなる詳細は、上記で参照された米国仮特許出願第６１／９０９，１７４号および米国仮特許出願第６２／００５，８０７号に説明される。

他のタイプの瞳エキスパンダも同様に、ＦＳＤ採用システムにおいて使用され得る。ＦＳＤは、高分解能、輝度をもたらし、コンパクトであるが、ＦＳＤは、小開口数（すなわち、小スポットサイズ）を有する傾向がある。したがって、ＦＳＤを空間光変調器として使用するシステムは、典型的には、本質的に、生成される光の開口数を増加させるように機能する、あるタイプの瞳エキスパンダを採用する。いくつかのシステムは、ＥＰＥおよび／またはＯＰＥとして機能し、ＦＳＤによって生成される光の狭ビームを拡張させる、導波管を使用し得るが、他の実施形態は、拡散器を使用して、光の狭ビームを拡張させ得る。

１つ以上の実施形態では、拡散器は、ファイバの端部をエッチングし、光を散乱させる、わずかな領域を作成することによって作成され得る。別の変形例では、ビーズもしくはサンドブラスティング技法または直接サンディング／スカッフィング技法が、散乱領域を作成するために利用され得る。別の変形例では、回折要素と同様の設計された拡散器が、回折レンズ使用の概念に結び付く望ましいＮＡを伴うくっきりとしたスポットサイズを維持するように作成され得る。他の変形例では、ＰＤＬＣ拡散器のスタックが、ＦＳＤを通して生成される光の開口数を増加させるために使用され得る。

ＡＲシステムのさらに別の実施形態では、ＦＳＤは、前述のＡＲシステム（５００）またはＡＲシステム（８００）に類似するシステム内で使用され得る。しかしながら、ＦＳＤの小スポットサイズに対応するために、システムはさらに、ＦＳＤを通して生成される光を拡張させる、一組のＰＤＬＣ拡散器を備えている。

図１６を参照すると、一組のＰＤＬＣ拡散器を使用するＡＲシステム（１５００）（例えば、ＦＳＤを使用するＡＲシステム（８００））の例示的実施形態が、ここで説明される。ＡＲシステムのこの特定の実施形態は、前述の可変平面焦点システム（例えば、ＡＲシステム（８００））の全構成要素、すなわち、画像生成プロセッサ（１５０２）（例えば、追加の構成要素：ＧＰＵ（１５２４）、メモリ（１５２２）、ＣＰＵ（１５２６）等を備えている）と、１つ以上のＶＦＥ（１５１０）と、複数のレンズ／光学要素およびミラー（１５０６）と、メニスカスレンズまたは接眼レンズ（１５０８）と、眼追跡サブシステム（１５１４）とを含む。システムは、ＦＳＤ（１５０４）も備え、システムはさらに、スタックされたＰＤＬＣ拡散器配置（１５２０）を含む。図示されないが、ＦＳＤ（１５０４）は、図１５に図示されるものと同様に、画像生成プロセッサ（１５０２）と通信するための標準的ＦＳＤ回路（図示せず）および他の回路を備え得る。

スタックされたＰＤＬＣ拡散器（１５２０）は、ＰＤＬＣ拡散器の１つ以上の層を備えている。ＰＤＬＣ拡散器（１５２０）のスタックの各ＰＤＬＣ拡散器は、ＶＦＥ（１５１０）から生成される焦点を合わせられた光を拡散させ、生成される光ビームの開口数を増加させるように構成される。しかしながら、ＶＦＥ（１５２０）がビームの焦点を合わせ得る場所を予測することは困難であり得る。したがって、単一ＰＤＬＣ拡散器を使用するのではなく、システムは、一組のスタックされたＰＤＬＣ拡散器（１５２０）を含み、ＶＦＥが焦点を合わせ得るある範囲内で画像を拡張させる。ＰＤＬＣ拡散器（１５２０）のスタックは、ＰＤＬＣのスタックの１つのみの層が任意の所与の時点（例えば、フレームあたり）でオンにされるように、動的にオンおよびオフにされ得ることを理解されたい。ＡＲシステム（１５００）の残りの構成要素は、前述のシステムに関して前述の構成要素と同様に機能し、簡略化目的のために、再び説明されない。

より具体的には、ここで図１７を参照すると、小ＮＡを有する光ビーム（１６０２）が、ＦＳＤ（１５０４）によって出力され、所望に応じて、ＶＦＥ（１５１０）によって焦点を合わせられる。焦点を合わせられた光は、図１７に示されるように、特定のＰＤＬＣ拡散器層（１５２０）に衝突し（図示される実施形態では、光は、第５のＰＤＬＣ層に衝突し）、ＰＤＬＣ拡散器層は、次いで、エキスパンダ（例えば、ＥＰＥ）としての役割を果たし、焦点を合わせられた光ビームの開口数を増加させる。焦点を合わせられ拡張された光ビームは、次いで、一組の光学レンズ／ミラー（１５０６）を通して進み、所望の焦点面に画像を生成する。各ＰＤＬＣ層は、電圧を特定のＰＤＬＣ層に印加することによって変調され得る、拡散および透明モードの両方を有する。１つ以上の実施形態では、単一のＰＤＬＣ層のみ、フレームあたり拡散モード下にある一方、残りの層は、透明モードにある。他の実施形態は、同時に、一度に（例えば、フレームあたり）２つ以上のＰＤＬＣ層を起動し得る。

上記の場合のように、スタックされたＰＤＬＣ層の数は、所望の深度平面の数に対応する（例えば、図１７に示されるように、６つ）。光学システムの残り（レンズ、ビームスプリッタ等）は、前述の他のシステム（例えば、ＡＲシステム（８００））と同様に機能し、簡略化目的のために、再び説明されない。

一実施形態では、ＡＲシステム（１５００）は、ＶＦＥが固定された深度平面を作成し、それらの各々が対応するＰＤＬＣ層によって適切に拡張されるように、ＡＲシステム（５００）と同様に、多平面焦点システムとして機能し得る。これは、画像情報を高フレームレートで生成するように構成されるＦＳＤ（例えば、図１の３６０ＨｚＤＬＰに類似する）と、異なる焦点面が高速で連続して作成されるように、焦点を迅速に切り替え可能である、ＶＦＥ（例えば、ＡＲシステム（５００）の変形可能ミラー膜ＶＦＥに類似する）とを要求する。前述の要件の両方が満たされると仮定すると、システムは、多平面焦点システムとして機能し得、深度平面１が生成された後、深度平面２が続き、その後、深度平面３が続く等。これはまた、当然ながら、ＰＤＬＣスタックが、高速ＶＦＥに遅れをとらないように種々の層をオンおよびオフに迅速に切り替え可能であることを前提とする。ＡＲシステム（５００）における場合のように、固定された深度平面は、ユーザが、複数の焦点面が同時に生成されているようにこれを知覚するように迅速に作成される。

しかしながら、図１６に戻って参照すると、別の実施形態では、システムは、眼追跡サブシステム（１５１４）を使用し、ユーザの焦点を決定し、ユーザの焦点に一致するＰＤＬＣ層のみをオンにし得る。したがって、このようなシステムは、前述のＡＲシステム（８００）と同様に、単一の深度平面のみが任意の所与の時点で作成されるように、可変平面焦点システムとして機能し得る。例えば、眼追跡サブシステム（１５１４）が、ユーザの眼が光学無限で焦点を合わせられていると決定したと仮定すると、ＶＦＥ（１５１０）は、適宜、ＦＳＤによって生成される画像光ビームの焦点を合わせ得る。

この焦点を合わせられた光ビームは、次いで、拡張された光ビームを作成するようにスタックされたＰＤＬＣ（１５２０）の特定の層に衝突し、これは、次いで、ユーザの眼に到達する前に、残りの光学を通して進む。したがって、可変焦点面様式で動作するとき、眼追跡サブシステムは、ＶＦＥから生じる焦点を合わせられた光ビームを適宜拡張させるためにオンにされるべきＰＤＬＣ層の層を決定するために使用される。

説明される全ての種々のＡＲシステムでは、ＶＦＥの速度および機能が、ユーザが仮想オブジェクトを３Ｄで知覚し得るように、１つ以上の深度平面を生成する効率に直接関連することは、明白である。ＡＲシステム（５００）において使用されるＶＦＥ（例えば、変形可能ミラー膜ＶＦＥ）は、高速であり、迅速なペースで焦点を変化させることが可能であるが、前述のように、非常に薄くかつ脆弱であり、したがって、ＡＲシステムの装着式バージョンにおいて使用されるときに課題を呈する。ＡＲシステム（８００）において使用されるＶＦＥは、あまり脆弱ではないが、膜レンズＶＦＥほど焦点の迅速な変化に対応可能ではなく、したがって、６つの深度平面ではなく、単一の深度平面の生成につながり、眼追跡システムの使用を要求する。

加えて、現在のＶＦＥでは、典型的には、ＶＦＥが焦点を変更する間、遅れを生じさせる、整定時間が存在する。これは、部分的に、ＶＦＥが、性質上、弾性である傾向にあり、迅速なペースで焦点を変更するとき、空気／自然環境の存在下必然的に、移動または振動（例えば、１ミリ秒整定時間）し得るからであり得る。整定時間は、ＶＦＥの速度および効率に直接影響を及ぼし得る。したがって、高速変化可能であるが、過度に脆弱ではないＶＦＥが、ＡＲシステムにおいて有用であり得る。

この目的を達成するために、圧電材料によって駆動される機械的湿潤レンズＶＦＥが、整定時間を短縮し、ＶＦＥの効率を増加させるために作成され得る。図１８を参照すると、機械的湿潤レンズＶＦＥ（１７００）は、シールされたレンズチャンバ（１７０２）と、異なる屈折率ｎ１およびｎ２を含む２つの不混和性液体（１７０４）および（１７０６）と、第１の圧電リング（１７０８）と、第２の圧電リング（１７１０）とを含む。

シールされたレンズチャンバ（１７０２）は、不混和性液体（１７０４）および（１７０６）と圧電リング（１７０８）および（１７１０）とを保持する。１つ以上の実施形態では、シールされたレンズチャンバ（１７０２）は、機械的湿潤レンズ（１７００）が外側環境によって最小限の影響を受けるように、空気が全くない。不混和性液体（１７０４）および（１７０６）は、その不混和性とそれらのそれぞれの屈折率ｎ１およびｎ２とに基づいて、選択され得る。選定される液体のタイプは、ＶＦＥ（１７００）の用途に基づいて、変動し得る。

図１８に示されるように、液体（屈折率ｎ１およびｎ２を有する）間の界面は、所望に応じて、焦点を合わるようにさせられ得る光学表面または光学界面（ＶＦＥ）（１７２０）として機能する。言い換えると、光学界面（１７２０）自体が、ＶＦＥとして機能し、圧電リングを通して異なる程度の圧力を加えることによって、焦点を迅速に切り替えるために使用され得る。

図示されるように、光学表面（１７２０）の形状は、対の圧電リング（１７０８）および（１７１０）を通して圧力を加えることによって、変動させられ得る。不混和性液体の体積が一定のままであるとすると、光学界面（１７２０）の形状（例えば、曲率）は、圧電リングのサイズが変更されると、必然的に変化する。圧電リング（１７０８）および（１７１０）のサイズの変化は、液体ｎ１およびｎ２の分布を変化させ、それによって、液体界面の曲率を変化させる。したがって、圧電リング（１７０８）および（１７１０）を制御することによって、光学表面（１７２０）の曲率は、所望に応じて、変動させられ得る。

例えば、図１８に示されるように、左側では、圧電リング（１７１０）のサイズは、圧電リング（１７０８）より大きい。したがって、液体ｎ２は、押し上げられ、光学表面（１７２０）に曲率をもたらす。同様に、右側では、圧電リング（１７０８）のサイズが増加させられる一方、（１７１０）は、小さいままである。したがって、液体ｎ１は、押し下げられ、光学表面（１７２０）の反対曲率をもたらす。

さらに別の実施形態では、２つの圧電リング（例えば、図１８）を使用するのではなく、機械的湿潤レンズＶＦＥの別の実施形態（１８００）が、代わりに、図１９に示されるように、単一のリングベンダー（１８４０）を使用し得る。図１９を参照すると、不混和性液体ｎ１およびｎ２は、同様に、リングベンダー（１８４０）によって分離される。しかしながら、圧電リングのサイズを増加させるのではなく、リングベンダーは、種々の程度に曲げられ、光学表面（１８２０）の曲率を変化させ得る。例えば、左側では、リングベンダー（１８４０）は、リングの内側部分が押し下げられるように曲げられる。これは、液体ｎ２に光学表面（１８２０）を押し上げさせ、図１９の左側に示されるような曲率をもたらす。同様に、右側では、リングベンダー（１８４０）が、リングの外側部分が押し下げられるように曲げられると、液体ｎ１は、光学表面を押し下げ、図１９の右側に示されるような異なる曲率をもたらす。機械的湿潤レンズＶＦＥ（１７００または１８００）は、標準的ＶＦＥ（例えば、ＡＲシステム（５００）、ＡＲシステム（８００）、ハイブリッドシステム（１２００）、またはＡＲシステム（１５００））の代わりに、前述のＡＲシステムのいずれかにおいて使用され得ることを理解されたい。

前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、本発明のより広範な精神および範囲から逸脱することなく、種々の修正ならびに変更がそこに行われ得ることは明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明されている。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく、変更され得る。本明細書および図面は、故に、制限的意味ではなく、例証的意味におけるものであると見なされる。

種々の本発明の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われ得、本発明の真の精神および範囲から逸脱することなく、均等物が置換され得る。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させるように、多くの修正が行われ得る。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例の各々は、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、個別の構成要素および特徴を有する。全てのそのような修正は、本開示に関連付けられる請求項の範囲内にあることを目的としている。

本発明は、対象デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含み得る。そのような提供は、エンドユーザによって行われ得る。換言すれば、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に行動することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、ならびに事象の記載された順番で実行され得る。

本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知または理解され得る。一般的または論理的に採用されるような追加の行為の観点から、本発明の方法ベースの側面に関して、同じことが当てはまり得る。

加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われ得、本発明の真の精神および範囲から逸脱することなく、均等物（本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと）が置換され得る。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。

さらに、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つ以上のものと組み合わせて、記載および請求され得ることが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「１つの（「ａ」、「ａｎ」）」、「該（ｓａｉｄ）」、および「前記（ｔｈｅ）」という単数形は、特に規定がない限り、複数形の指示対象を含む。換言すれば、冠詞の使用は、上記の説明ならびに本開示に関連付けられる請求項において、対象アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および均等物等の排他的用語の使用、または「否定的」制限の使用のために、先行の基礎としての機能を果たすことを目的としている。

そのような排他的用語を使用することなく、本開示に関連付けられる請求項での「備えている」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の追加の要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。

本発明の範疇は、提供される実施例および／または対象の明細書に限定されるものではなく、むしろ、本開示に関連付けられる請求項の言葉の範囲のみによって限定されるものである。

例証される実施形態の上記の説明は、排他的であること、または実施形態を開示される精密な形態に限定することを意図するものではない。具体的実施形態および実施例が、例証目的のために本明細書に説明されているが、種々の同等修正が、当業者によって認識されるであろうように、本開示の精神および範囲から逸脱することなく、行われることができる。種々の実施形態の本明細書に提供される教示は、必ずしも、概して上記に説明される例示的ＡＲシステムではなく、仮想またはＡＲもしくはハイブリッドシステムを実装する、および／またはユーザインターフェースを採用する、他のデバイスにも適用されることができる。

例えば、前述の詳細な説明は、ブロック図、概略図、および実施例の使用を介して、デバイスおよび／またはプロセスの種々の実施形態を記載している。そのようなブロック図、概略図、および実施例が、１つ以上の機能および／もしくは動作を含む限り、そのようなブロック図、フロー図、または実施例内の各機能および／もしくは動作は、実装される、個々におよび／または集合的に、広範囲のハードウェア、ソフトウェア、ファームウェア、または事実上任意のそれらの組み合わせによって実装され得ることが、当業者によって理解されるであろう。

一実施形態では、本主題は、特定用途向け集積回路（ＡＳＩＣ）を介して実装され得る。しかしながら、当業者は、本明細書に開示される実施形態は、全体的または部分的に、１つ以上のコンピュータによって実行される１つ以上のコンピュータプログラムとして（例えば、１つ以上のコンピュータシステム上で起動する１つ以上のプログラムとして）、１つ以上のコントローラ（例えば、マイクロコントローラ）によって実行される１つ以上のプログラムとして、１つ以上のプロセッサ（例えば、マイクロプロセッサ）によって実行される１つ以上のプログラムとして、ファームウェアとして、もしくは事実上任意のそれらの組み合わせとして、標準的集積回路内に同等に実装されることができ、ソフトウェアおよび／またはファームウェアのための回路の設計ならびに／もしくはコードの書き込みが、本開示の教示に照らして、十分に当業者の技術の範囲内にあるであろうことを認識するであろう。

論理が、ソフトウェアとして実装され、メモリ内に記憶されると、論理または情報は、任意のプロセッサ関連システムまたは方法による使用もしくはそれと関連した使用のために、任意のコンピュータ読み取り可能な媒体上に記憶されることができる。本開示の文脈では、メモリは、コンピュータおよび／またはプロセッサプログラムを含有もしくは記憶する、電子、磁気、光学、または他の物理的デバイスもしくは手段である、コンピュータ読み取り可能な媒体である。論理および／または情報は、命令実行システム、装置、もしくはデバイスから命令をフェッチし、論理および／または情報に関連付けられた命令を実行することができる、コンピュータベースのシステム、プロセッサ含有システム、または他のシステム等の命令実行システム、装置、またはデバイスによる使用もしくはそれと関連した使用のために、任意のコンピュータ読み取り可能な媒体において具現化されることができる。

本明細書の文脈では、「コンピュータ読み取り可能な媒体」は、命令実行システム、装置、および／またはデバイスによる使用もしくはそれと関連した使用のために、論理および／または情報に関連付けられたプログラムを記憶し得る、任意の要素であることができる。コンピュータ読み取り可能な媒体は、例えば、限定ではないが、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、もしくはデバイスであることができる。コンピュータ読み取り可能な媒体のより具体的実施例（非包括的リスト）として、ポータブルコンピュータディケット（磁気、コンパクトフラッシュ（登録商標）カード、セキュアデジタル、または均等物）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤＲＯＭ）、デジタルテープ、および他の非一過性媒体が挙げられるであろう。

本明細書に説明される方法の多くは、変形例とともに行われることができる。例えば、方法の多くは、追加の行為を含む、いくつかの行為を省略する、および／または例証もしくは説明されるものと異なる順序で行い得る。

上記の種々の実施形態を組み合わせてさらなる実施形態を提供することができる。本明細書中において言及した、および／または出願データシートに列挙した米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願および非特許刊行物は全て、本明細書の具体的教示および定義に矛盾しない限り、それらの全体が引用により本明細書に組み入れられる。上記実施形態の態様は、なおさらなる実施形態を提供するために、種々の特許、出願、および刊行物のシステム、回路、および概念を利用することが必要である場合には、改変することができる。

これらおよび他の変更は、上記の詳細な説明を参照して複数の実施形態について行うことができる。一般的には、以下の特許請求の範囲の中で使用される用語は、本明細書および特許請求の範囲の中で開示される特定の実施形態に特許請求の範囲を限定するように解釈されるべきものではなく、むしろ、そのような特許請求の範囲が得る均等物の完全な範囲とともに、全ての可能な実施形態を含むと解釈されるべきである。したがって、特許請求の範囲は、本開示により限定されない。

さらに、上記で説明される種々の実施形態は、さらなる実施形態を提供するように組み合わせることができる。その上さらなる実施形態を提供するために、種々の特許、出願、および出版物の概念を採用するように、必要であれば、実施形態の側面を修正することができる。

これらおよび他の変更が、上記に詳述される説明に照らして、実施形態に成されることができる。概して、以下の請求項では、使用される用語は、請求項を、本明細書および請求項で開示される具体的実施形態に限定するように解釈されるべきではないが、そのような請求項が権利を持つ均等物の全範囲とともに、全ての可能な実施形態を含むように解釈されるべきである。故に、請求項は、本開示によって限定されない。

Claims (15)

1. 拡張現実を表示する方法であって、
   デジタル光処理システムを使用して、画像データの第１のフレームに関連付けられた画像を液晶ディスプレイシステムの背面上に投影することと、
   前記画像データの第１のフレームに関連付けられた前記画像の焦点を第１の深度平面に合わせることと、
   前記液晶ディスプレイシステムを使用して、画像データの第２のフレームに関連付けられた画像を投影することと、
   前記画像データの第２のフレームに関連付けられた前記画像の焦点を第２の深度平面に合わせることと
   を含み、
   前記第１の深度平面は、前記第２の深度平面と異なり、前記第１の深度平面および前記第２の深度平面は、ユーザによって視認される場合、同時に知覚される、方法。
2. 前記ユーザの眼の両眼離反運動を追跡することをさらに含み、前記画像は、少なくとも部分的に前記追跡された両眼離反運動に基づいて、焦点を合わせられる、請求項１に記載の方法。
3. 前記第１の深度平面は、ｚ方向に前記ユーザから離れた第１の距離に対応し、前記第２の深度平面は、前記ｚ方向に前記ユーザから離れた第２の距離に対応し、前記第１の深度平面と前記第２の深度平面との間の間隙は、経時的に不変のままである、請求項１に記載の方法。
4. 前記第１の深度平面は、光学無限に対応する、請求項２に記載の方法。
5. 前記画像データの第１のフレームおよび前記画像データの第２のフレームは、連続フレームである、請求項２に記載の方法。
6. 前記画像データの第１および第２のフレームに関連付けられた前記画像の焦点は、フレーム毎に変動させられる、請求項２に記載の方法。
7. 前記焦点を合わせられた画像をユーザの眼に送達することをさらに含む、請求項２に記載の方法。
8. 前記画像データの第１および第２のフレームは、３次元場面のスライスを備えている、請求項２に記載の方法。
9. 前記画像データの第１および第２のフレームは、時系列様式で提供される、請求項２に記載の方法。
10. 前記第１の深度平面は、光学無限に対応し、前記第２の深度平面は、光学無限より近い深度平面に対応する、請求項２に記載の方法。
11. 前記投影された画像は、可変焦点要素を通して焦点を合わせられる、請求項２に記載の方法。
12. 前記可変焦点要素は、変形可能膜ミラーである、請求項１１に記載の方法。
13. 前記方法ステップを実装するための手段を有するシステムとして実装される、請求項１〜１２に記載の方法。
14. 前記方法ステップを実行するための実行可能コードを有するコンピュータ使用可能記憶媒体を備えているコンピュータプログラム製品として実装される、請求項１〜１２に記載の方法。
15. 前記画像データの第１のフレームは、グレースケール画像データの第１のフレームであり、前記画像データの第２のフレームは、色画像データの第２のフレームである、請求項１〜１４に記載の方法。