JP7496424B2 - 単一コントローラを使用したコンテンツ移動および相互作用 - Google Patents

Description

（関連出願の相互参照）
本願は、３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）下、その開示が、参照することによってその全体として本明細書に組み込まれる、２０２０年１月２４日に出願され、「ＣＯＮＴＥＮＴ ＭＯＶＥＭＥＮＴ ＡＮＤ ＩＮＴＥＲＡＣＴＩＯＮ ＵＳＩＮＧ Ａ ＳＩＮＧＬＥ ＣＯＮＴＲＯＬＬＥＲ」と題された、米国仮出願第６２／９６５７０８号の優先権の利益を主張する。

本開示は、概して、１人またはそれを上回るユーザのための双方向仮想または拡張現実環境を促進するためのシステムおよび方法に関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、すなわち、そのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴い、複合現実、すなわち、「ＭＲ」シナリオは、実世界と仮想世界との融合に関連し、物理的および仮想オブジェクトが共存し、リアルタイムで相互作用する、新しい環境を生産する。結論から言うと、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術を生産することは、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。

本開示の実施形態は、１人またはそれを上回るユーザのための仮想または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。

本開示の特徴、目的、および利点のさらなる詳細は、下記の詳細な説明、図面、および請求項に説明される。前述の一般的説明および以下の詳細な説明は両方とも、例示的かつ説明的であって、本開示の範囲に関して限定することを意図するものではない。

いくつかの構成では、拡張現実（ＡＲ）システムは、仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、ユーザの環境の１つまたはそれを上回る画像を捕捉するように構成される、外向きに向いたカメラと、ハンドヘルドコントローラの指示方向を示す、指示ベクトルを定義する、ハンドヘルドコントローラと、ＡＲディスプレイ、外向きに向いたカメラ、およびハンドヘルドコントローラと通信する、ハードウェアプロセッサであって、ＡＲディスプレイを介して、双方向コンテンツオブジェクトを表示し、第１の相互作用モードでは、指示ベクトルが双方向コンテンツオブジェクト内に留まる間、双方向コンテンツオブジェクト内のハンドヘルドコントローラの移動を示し、ハンドヘルドコントローラを介して、双方向コンテンツオブジェクトとの相互作用を可能にし、双方向コンテンツオブジェクトを基準として、指示ベクトルの変化を監視し、双方向コンテンツオブジェクトの外側の指示ベクトルの移動の検出に応答して、本システムを第２の相互作用モードに更新し、ハンドヘルドコントローラは、双方向コンテンツオブジェクトが仮想環境内でハンドヘルドコントローラの移動に追従するように、双方向コンテンツオブジェクトの移動を生じさせ、双方向コンテンツオブジェクトの内側のハンドヘルドコントローラの指示ベクトルの移動の検出に応答して、本システムを第１の相互作用モードに更新するようにプログラムされ得る、ハードウェアプロセッサとを含むことができる。

いくつかの構成では、拡張現実（ＡＲ）システムは、仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、少なくとも６自由度を有する、ハンドヘルドコントローラと、ＡＲディスプレイ、外向きに向いたカメラ、およびハンドヘルドコントローラと通信する、ハードウェアプロセッサであって、双方向コンテンツを第１のコンテンツ場所に表示し、コントローラによって示される方向を備える、第１の指示ベクトルを決定し、第１の指示ベクトルが、双方向コンテンツと関連付けられる、境界された体積と交差するかどうかを決定し、第１の指示ベクトルが、境界された体積と交差しないことの決定に応答して、双方向コンテンツを、第１の指示ベクトルの方向に沿った点と関連付けられる、第２のコンテンツ場所に移動させ、第１の指示ベクトルが境界された体積と交差することの決定に応答して、第１のコンテンツ場所における双方向コンテンツと相互作用するためのインジケーションを受信するようにプログラムされ得る、ハードウェアプロセッサとを含むことができる。

仮想コンテンツを表示するための方法は、双方向コンテンツを第１のコンテンツ場所に表示するステップと、コントローラによって示される方向を備える、第１の指示ベクトルを決定するステップと、第１の指示ベクトルが、双方向コンテンツと関連付けられる、境界された体積と交差するかどうかを決定するステップと、第１の指示ベクトルが、境界された体積と交差しないことの決定に応答して、双方向コンテンツを、第１の指示ベクトルの方向に沿った点と関連付けられる、第２のコンテンツ場所に移動させるステップと、第１の指示ベクトルが境界された体積と交差することの決定に応答して、第１のコンテンツ場所における双方向コンテンツと相互作用するためのインジケーションを受信するステップとを含むことができる。
本発明は、例えば、以下を提供する。
（項目１）
拡張現実（ＡＲ）システムであって、
仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
前記ユーザの環境の１つまたはそれを上回る画像を捕捉するように構成される外向きに向いたカメラと、
ハンドヘルドコントローラの指示方向を示す指示ベクトルを定義するハンドヘルドコントローラと、
前記ＡＲディスプレイ、前記外向きに向いたカメラ、および前記ハンドヘルドコントローラと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記ＡＲディスプレイを介して、双方向コンテンツオブジェクトを表示することと、
第１の相互作用モードにおいて、前記指示ベクトルが前記双方向コンテンツオブジェクト内に留まる間、前記双方向コンテンツオブジェクト内の前記ハンドヘルドコントローラの移動を示し、前記ハンドヘルドコントローラを介して、前記双方向コンテンツオブジェクトとの相互作用を可能にすることと、
前記双方向コンテンツオブジェクトを基準として、前記指示ベクトルの変化を監視することと、
前記双方向コンテンツオブジェクトの外側の前記指示ベクトルの移動の検出に応答して、前記システムを第２の相互作用モードに更新することであって、前記ハンドヘルドコントローラは、前記双方向コンテンツオブジェクトが前記仮想環境内で前記ハンドヘルドコントローラの移動に追従するように、前記双方向コンテンツオブジェクトの移動を生じさせる、ことと、
前記双方向コンテンツオブジェクトの内側の前記ハンドヘルドコントローラの前記指示ベクトルの移動の検出に応答して、前記システムを前記第１の相互作用モードに更新することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目２）
前記双方向コンテンツオブジェクトは、仮想オブジェクトを含有する境界された体積を備える、項目１に記載のシステム。
（項目３）
前記双方向コンテンツオブジェクトの少なくとも１つの縁は、前記仮想オブジェクトの対応する縁より前記仮想オブジェクトの中心から１０度さらに離れている、項目１または２のいずれか１項に記載のシステム。
（項目４）
前記ハードウェアプロセッサは、前記双方向コンテンツを第１のコンテンツ場所に表示するためのインジケーションを受信するように構成される、項目１－３のいずれか１項に記載のシステム。
（項目５）
前記インジケーションは、前記コントローラ上のボタンの押下および解放を備える、項目４に記載のシステム。
（項目６）
前記ハードウェアプロセッサは、前記ユーザに、前記第１のコンテンツ場所における前記双方向コンテンツの表示をアラートするように構成される、項目４－５のいずれか１項に記載のシステム。
（項目７）
前記アラートは、グラフィック、触知フィードバック、または音のうちの少なくとも１つを含む、項目６に記載のシステム。
（項目８）
前記ハードウェアプロセッサは、前記ユーザの環境内における前記双方向コンテンツの表示を停止するためのインジケーションを受信するように構成される、項目１－７のいずれか１項に記載のシステム。
（項目９）
前記インジケーションは、前記コントローラ上のボタンの押下および解放を備える、項目８に記載のシステム。
（項目１０）
前記ハードウェアプロセッサは、
第１のユーザ頭部姿勢を決定することと、
前記第１のユーザ頭部姿勢に基づいて、第１のユーザ視線ベクトルを識別することと、
前記双方向コンテンツオブジェクトの表面が前記第１のユーザ視線ベクトルと垂直となるように、前記双方向コンテンツを配向することと
を行うように構成される、項目１－９のいずれか１項に記載のシステム。
（項目１１）
前記ハードウェアプロセッサは、
第２のユーザ頭部姿勢を決定することと、
前記第２のユーザ頭部姿勢に基づいて、第２のユーザ視線ベクトルを識別することと、
前記双方向コンテンツオブジェクトの表面が前記第２のユーザ視線ベクトルと垂直となるように、前記双方向コンテンツオブジェクトを配向することと
を行うように構成される、項目１０に記載のシステム。
（項目１２）
前記双方向コンテンツオブジェクトのピッチは、前記ユーザの頭部の高さに対して固定される、項目１－１１に記載のシステム。
（項目１３）
前記ハードウェアプロセッサは、
前記双方向コンテンツの移動を停止させるためのインジケーションを受信することと、
前記移動を停止させるためのインジケーションの受信に応答して、前記双方向コンテンツの表示を前記ユーザの環境内の現在のコンテンツ場所に維持することと
を行うように構成される、項目１－１２のいずれか１項に記載のシステム。
（項目１４）
前記ハードウェアプロセッサは、
前記双方向コンテンツの移動を開始するためのインジケーションを受信することと、
前記移動を開始するためのインジケーションの受信に応答して、前記双方向コンテンツが前記ユーザの環境内の新しい場所に表示されることを可能にすることと
を行うように構成される、項目１３に記載のシステム。
（項目１５）
拡張現実（ＡＲ）システムであって、
仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
少なくとも６自由度を有するハンドヘルドコントローラと、
前記ＡＲディスプレイ、外向きに向いたカメラ、および前記ハンドヘルドコントローラと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
双方向コンテンツを第１のコンテンツ場所に表示することと、
前記コントローラによって示される方向を備える第１の指示ベクトルを決定することと、
前記第１の指示ベクトルが、前記双方向コンテンツと関連付けられる境界された体積と交差するかどうかを決定することと、
前記第１の指示ベクトルが、前記境界された体積と交差しないことの決定に応答して、前記双方向コンテンツを、前記第１の指示ベクトルの方向に沿った点と関連付けられる第２のコンテンツ場所に移動させることと、
前記第１の指示ベクトルが前記境界された体積と交差することの決定に応答して、前記第１のコンテンツ場所における前記双方向コンテンツと相互作用するためのインジケーションを受信することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目１６）
前記双方向コンテンツは、仮想オブジェクトを含有する境界された体積を備える、項目１５に記載のシステム。
（項目１７）
前記双方向コンテンツの少なくとも１つの縁は、前記仮想オブジェクトの対応する縁より前記仮想オブジェクトの中心から１０度さらに離れている、項目１５または１６のいずれか１項に記載のシステム。
（項目１８）
前記ハードウェアプロセッサは、前記双方向コンテンツを前記第１のコンテンツ場所に表示するためのインジケーションを受信するように構成される、項目１５に記載のシステム。
（項目１９）
前記インジケーションは、前記コントローラ上のボタンの押下および解放を備える、項目１８に記載のシステム。
（項目２０）
前記ハードウェアプロセッサは、前記ユーザに、前記第１のコンテンツ場所における前記双方向コンテンツの表示をアラートするように構成される、項目１８－１９のいずれか１項に記載のシステム。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用される。以下の図面および関連付けられる説明は、本開示の実施形態を例証するために提供され、請求項の範囲を限定するものではない。

図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本開示の種々の実施形態の上記に列挙および他の利点および目的を取得する方法をより深く理解するために、上記に簡単に説明された本開示のより詳細な説明が、付随の図面に図示される、その具体的実施形態を参照して与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定として見なされるべきではないことを理解した上で、本開示は、付随の図面の使用を通して付加的具体性および詳細とともに説明および記載されるであろう。

図１は、ＡＲデバイスを通した拡張現実（ＡＲ）場面のユーザのビューを図示する。

図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。

図３Ａ－３Ｃは、曲率半径と焦点半径との間の関係を図示する。

図４Ａは、ヒト視覚系の遠近調節－輻輳・開散運動応答の表現を図示する。

図４Ｂは、一対のユーザの眼の異なる遠近調節状態および輻輳・開散運動状態の実施例を図示する。

図４Ｃは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の実施例を図示する。

図４Ｄは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。

図５は、波面発散を修正することによって３次元画像をシミュレートするためのアプローチの側面を図示する。

図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。

図７は、導波管によって出力された出射ビームの実施例を図示する。

図８は、スタックされた導波管アセンブリの実施例を図示し、各深度面は、複数の異なる原色を使用して形成される画像を含む。

図９Ａは、それぞれ、内部結合光学要素を含む、スタックされた導波管のセットの実施例の断面側面図を図示する。

図９Ｂは、図９Ａの複数のスタックされた導波管の実施例の斜視図を図示する。

図９Ｃは、図９Ａおよび９Ｂの複数のスタックされた導波管の実施例の上下平面図を図示する。

図９Ｄは、ウェアラブルディスプレイシステムの実施例を図示する。

図１０Ａは、コントローラボタンを通して受信されたユーザ入力の実施例を図示する。

図１０Ｂは、コントローラタッチパッドを通して受信されたユーザ入力の実施例を図示する。

図１０Ｃは、コントローラまたは頭部搭載型デバイス（ＨＭＤ）の物理的移動を通して受信されたユーザ入力の実施例を図示する。

図１０Ｄは、ユーザ入力が異なる持続時間を有し得る様子の実施例を図示する。

図１１Ａは、コントローラボタンを通して受信されたユーザ入力の付加的実施例を図示する。

図１１Ｂは、コントローラタッチパッドを通して受信されたユーザ入力の付加的実施例を図示する。

図１２Ａは、本明細書に開示される追従および相互作用方法の一実施例による、例示的コンテンツ制御環境１２００を図示する。

図１２Ｂは、ユーザの３Ｄ空間内のコンテンツ場所を制御する、またはコンテンツと相互作用するために利用され得る、例示的プロセスのフローチャートを示す。

図１２Ｃは、境界された体積内の例示的コンテンツを図示する。

図１２Ｄは、その指示ベクトルが、概して、境界された体積内のコンテンツに向かうように配向される、コントローラの上面図を図示する。

図１３Ａ、１３Ｂ、および１３Ｃは、例示的コンテンツ移動環境の例示的側面を図示する。 図１３Ａ、１３Ｂ、および１３Ｃは、例示的コンテンツ移動環境の例示的側面を図示する。 図１３Ａ、１３Ｂ、および１３Ｃは、例示的コンテンツ移動環境の例示的側面を図示する。

図１４Ａ－１４Ｃは、例示的コンテンツ配向環境の側面を図示する。 図１４Ａ－１４Ｃは、例示的コンテンツ配向環境の側面を図示する。 図１４Ａ－１４Ｃは、例示的コンテンツ配向環境の側面を図示する。

図１４Ｄは、例示的コンテンツ配向プロセスのフローチャートを図示する。

図１５は、例示的コンテンツアクセス手順を図示する。

図１６は、例示的コンテンツドロップ手順を図示する。

図１７は、個別のウェアラブルシステムの２人のユーザがテレプレゼンスセッションを行う、コンテンツ追従システムのための例示的アプリケーションを描写する。

詳細な説明
ＡＲおよび／またはＶＲシステムは、仮想コンテンツをユーザまたは視認者に表示し得る。例えば、本コンテンツは、例えば、アイウェアの一部として、画像情報をユーザの眼に投影する、頭部搭載型ディスプレイ上に表示されてもよい。加えて、本システムが、ＡＲシステムである場合、ディスプレイはまた、周囲環境からの光をユーザの眼に透過させ、その周囲環境のビューを可能にし得る。本明細書で使用されるように、「頭部搭載型」または「頭部搭載可能」ディスプレイは、視認者またはユーザの頭部上に搭載され得る、ディスプレイであることを理解されたい。そのようなディスプレイは、ディスプレイシステムの一部を形成すると理解され得る。

種々の拡張現実および仮想現実ディスプレイシステムでは、回折または反射外部結合要素等の外部結合要素が、導波管からの光をユーザの眼に向かって外部結合する。しかしながら、典型的外部結合要素は、指向性ではない場合があり、外部結合光学要素内の全ての領域において、光を種々の方向に出力するように、構造化されている場合がある。したがって、外部結合要素によって外部結合された光の一部は、眼に入射し、画像を形成するであろう、ユーザの眼の瞳孔に向かって有用に指向され得るが、外部結合要素によって外部結合された他の光は、眼の瞳孔またはその近くに入射し得ず、したがって、ディスプレイシステムによって形成される画像に寄与しない。

故に、光の外部結合をユーザの眼の瞳孔に向かって標的化することによって、かつ他の方向に外部結合される光の量を低減させることによって、効率を増加または最適化し得る、ディスプレイシステムを設計することが望ましくあり得る。外部結合を瞳孔に向かって標的化することによって、そのようなシステムは、所与の明度の画像を装着者の眼の中に生産するために、光投影システムまたは他のディスプレイ光源によって生成されなければならない、光エネルギーの量を低減させ得る。本技術の種々の実施形態は、画像光を装着者の眼の瞳孔に向かって選択的に指向するように構成される、外部結合要素、内部結合要素、および／または光投影システムを含む、システムを提供する。そのようなシステムは、それによって、有利なこととして、それらが、ユーザによって知覚される画像を形成するために使用される、光投影システムによって生産された所与の光の量の割合を増加させ得、ユーザの眼の他の部分または顔に当たる、またはそうでなければユーザによって知覚される画像に寄与しない、光の割合を低減させ得るため、本明細書に開示されるディスプレイデバイスの効率を改良し得る。

ここで、同様の参照番号が全体を通して同様の部分を指す、図面を参照する。別様に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。
Ａ． 用語

本明細書で議論されるシステムおよび方法の理解を促進するために、いくつかの用語が、下記に説明される。下記に説明される用語および本明細書で使用される他の用語は、提供される説明、用語の通常および慣例意味、および／または個別の用語に関する任意の他の含意される意味を含むものと解釈されるべきであって、そのような構造は、用語のコンテキストと一致する。したがって、下記の説明は、これらの用語の意味を限定するものではなく、例示的説明のみを提供する。

頭部姿勢（または「頭部の姿勢」）：ウェアラブルヘッドセット、代理として、実世界内のユーザの頭部の位置および／または配向。頭部姿勢は、慣性測定ユニット（ＩＭＵ）、加速度計、ジャイロスコープ等のセンサを使用して決定されてもよい。頭部姿勢の方向に延在する、頭部姿勢光線が、仮想オブジェクトと相互作用するために使用されてもよい。例えば、ユーザが、プリズムまたはオブジェクトを指示または見ているとき、オブジェクトまたはプリズムは、ユーザの頭部姿勢光線によって交差される。

コントローラ：トーテム等のハンドヘルドコントローラ。制御は、６ＤｏＦ（６自由度）等の多自由度移動を提供してもよい。

コントローラ姿勢：コントローラの位置および／または配向。コントローラ姿勢は、コントローラが指示している、複合現実環境の面積、体積、または点を決定するために使用されることができる。

プリズム：複合現実コンテンツまたは複合現実空間と関連付けられる、コンテナ、面積、または体積。例えば、プリズムは、ユーザによって選択可能であり得る、１つまたはそれを上回る仮想コンテンツアイテムを含有してもよい。プリズムは、アプリケーションが立ち上げられると、スポーンされてもよく、次いで、兄弟または子プリズムをスポーンし、フレキシブルなレイアウトを作成してもよい。プリズム内のアプリケーションは、これらの階層プリズムが現れるであろう場所を制御するように構成されてもよく、これは、典型的には、第１のプリズムの近接度内にあって、ユーザによって容易に発見可能である。プリズムは、フィードバックをユーザに提供してもよい。いくつかの実施形態では、フィードバックは、プリズムが頭部姿勢を用いて標的化されると、ユーザにのみに表示される、タイトルであってもよい。いくつかの実施形態では、フィードバックは、プリズムの周囲の光彩であってもよい。プリズム光彩（および／または他のプリズムフィードバック）もまた、共有する際に使用され、ユーザに共有されているプリズムのフィードバックを与えてもよい。

焦点：双方向オブジェクトが選択されることを可能にする、プリズム等のオブジェクトの特性。

入力焦点：オブジェクトのカーソルをアクティブシステムカーソルとしてリフレッシュおよびレンダリングさせる、プリズムまたはアプリケーション等のオブジェクトの特性。いくつかの実装では、複数の焦点オブジェクトが存在し得るが、１つのみが、入力焦点を伴う。

３Ｄコンテンツ：ユーザの３Ｄ環境内に表示され得る、仮想オブジェクト。３Ｄコンテンツは、静的である、アニメーション化される、操作可能である、または別様に相互作用されることができる。３Ｄコンテンツは、例えば、ブラウザタイルを使用して、ウェブドメインまたはウェブページとのユーザ相互作用によって生成される、ウェブベースのコンテンツを含むことができる。
Ａ． 例示的拡張現実シナリオ

図１は、ある人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。図１は、拡張現実場面１００を描写し、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っている、ロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０（例えば、マルハナバチ）とが「見える」と知覚するが、これらの要素は、実世界には存在しない。

３次元（３－Ｄ）ディスプレイが、深度の真の感覚、より具体的には、表面深度のシミュレートされた感覚を生産するために、ディスプレイの視野内の点毎に、その仮想深度に対応する、遠近調節応答を生成することが望ましい。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を被り、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。

ＶＲ、ＡＲ、およびＭＲ体験は、その中で複数の深度面に対応する画像が視認者に提供される、ディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度面毎に異なり得（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に合焦され、それによって、ユーザに、異なる深度面上に位置する場面のための異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および／または焦点から外れている異なる深度面上の異なる画像特徴を観察することに基づいて、深度キューを提供することに役立ち得る。本明細書のいずれかの場所に議論されるように、そのような深度キューは、深度の信用できる知覚を提供する。
Ｂ． 例示的ディスプレイシステム

図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、離間されており、空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する、眼２１０、２２０毎に１つの同一仮想オブジェクトの若干異なるビューを伴う２つの明確に異なる画像１９０、２００を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するために解釈し得る、両眼キューを提供する。

図２を継続して参照すると、画像１９０、２００は、ｚ－軸上で距離２３０だけ眼２１０、２２０から離間される。ｚ－軸は、その眼が視認者の直前の光学無限遠におけるオブジェクトを固視している状態の視認者の光学軸と平行である。画像１９０、２００は、平坦であって、眼２１０、２２０から固定距離にある。それぞれ、眼２１０、２２０に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、必然的に、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように回転し得る。本回転は、眼２１０、２２０のそれぞれの視線を仮想オブジェクトが存在するように知覚される空間内の点上に収束させ得る。その結果、３次元画像の提供は、従来、ユーザの眼２１０、２２０の輻輳・開散運動を操作し得、ヒト視覚系が深度の知覚を提供するように解釈する、両眼キューを提供することを伴う。

しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。図３Ａ－３Ｃは、距離と光線の発散との間の関係を図示する。オブジェクトと眼２１０との間の距離は、減少距離Ｒ１、Ｒ２、およびＲ３の順序で表される。図３Ａ－３Ｃに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に言えば、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点（オブジェクトまたはオブジェクトの一部）によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言えるであろう。曲率は、オブジェクトと眼２１０との間の距離の減少に伴って増加する。単眼２１０のみが、例証を明確にするために、図３Ａ－３Ｃおよび本明細書の種々の他の図に図示されるが、眼２１０に関する議論は、視認者の両眼２１０および２２０に適用され得る。

図３Ａ－３Ｃを継続して参照すると、視認者の眼が固視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なるように集束され得、これは、ひいては、水晶体に、異なる形状をとり、集束された画像を眼の網膜上に形成することを要求し得る。集束された画像が、網膜上に形成されない場合、結果として生じる網膜ぼけは、集束された画像が網膜上に形成されるまで、眼の水晶体の形状に変化を生じさせる、遠近調節のためのキューとして作用する。例えば、遠近調節のためのキューは、眼の水晶体を囲繞する毛様筋の弛緩または収縮を誘起し、それによって、レンズを保持する提靭帯に印加される力を変調し、したがって、固視されているオブジェクトの網膜ぼけが排除または最小限にされるまで、眼の水晶体の形状を変化させ、それによって、固視されているオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、固視されているオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。

ここで図４Ａを参照すると、ヒト視覚系の遠近調節－輻輳・開散運動応答の表現が、図示される。オブジェクトを固視するための眼の移動は、眼にオブジェクトからの光を受光させ、光は、画像を眼の網膜のそれぞれ上に形成する。網膜上に形成される画像内の網膜ぼけの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、輻輳・開散運動のためのキューを提供し得る。遠近調節するためのキューは、遠近調節を生じさせ、眼の水晶体がオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成する特定の遠近調節状態をとる結果をもたらす。一方、輻輳・開散運動のためのキューは、各眼の各網膜上に形成される画像が単一両眼視を維持する対応する網膜点にあるように、輻輳・開散運動移動（眼の回転）を生じさせる。これらの位置では、眼は、特定の輻輳・開散運動状態をとっていると言え得る。図４Ａを継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、輻輳・開散運動は、眼が特定の輻輳・開散運動状態を達成するプロセスであると理解され得る。図４Ａに示されるように、眼の遠近調節および輻輳・開散運動状態は、ユーザが別のオブジェクトを固視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがｚ－軸上の異なる深度における新しいオブジェクトを固視する場合、変化し得る。

理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動および遠近調節の組み合わせに起因して、オブジェクトを「３次元」であると知覚し得ると考えられる。上記に記載されるように、２つの眼の相互に対する輻輳・開散運動移動（例えば、瞳孔が相互に向かって、またはそこから移動し、眼の視線を収束させ、オブジェクトを固視するような眼の回転）は、眼の水晶体の遠近調節と密接に関連付けられる。正常条件下では、眼の水晶体の形状を変化させ、１つのオブジェクトから異なる距離における別のオブジェクトに焦点を変化させることは、自動的に、「遠近調節－輻輳・開散運動反射」として知られる関係下、同一距離まで輻輳・開散運動における整合する変化を生じさせるであろう。同様に、輻輳・開散運動における変化は、正常条件下、水晶体形状における整合する変化を誘起するであろう。

ここで図４Ｂを参照すると、眼の異なる遠近調節および輻輳・開散運動状態の実施例が、図示される。対の眼２２２ａは、光学無限遠におけるオブジェクトを固視する一方、対の眼２２２ｂは、光学無限遠未満におけるオブジェクト２２１を固視する。着目すべきこととして、各対の眼の輻輳・開散運動状態は、異なり、対の眼２２２ａは、まっすぐ指向される一方、対の眼２２２は、オブジェクト２２１上に収束する。各対の眼２２２ａおよび２２２ｂを形成する眼の遠近調節状態もまた、水晶体２１０ａ、２２０ａの異なる形状によって表されるように異なる。

望ましくないことに、従来の「３－Ｄ」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節と輻輳・開散運動状態との間の不整合に起因して、そのような従来のシステムを不快であると見出す、または奥行感を全く知覚しない場合がある。上記に記載されるように、多くの立体視または「３－Ｄ」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の輻輳・開散運動状態に変化を生じさせるが、それらの眼の遠近調節状態に対応する変化を伴わないため、多くの視認者にとって不快である。むしろ、画像は、眼が全ての画像情報を単一遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態における整合する変化を伴わずに輻輳・開散運動状態に変化を生じさせることによって、「遠近調節－輻輳・開散運動反射」に逆らう。本不整合は、視認者不快感を生じさせると考えられる。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態では、異なる提示は、輻輳・開散運動のためのキューおよび遠近調節するための整合するキューの両方を提供し、それによって、生理学的に正しい遠近調節－輻輳・開散運動整合を提供してもよい。

図４Ｂを継続して参照すると、眼２１０、２２０からの空間内の異なる距離に対応する、２つの深度面２４０が、図示される。所与の深度面２４０に関して、輻輳・開散運動キューが、眼２１０、２２０毎に適切に異なる視点の画像を表示することによって提供されてもよい。加えて、所与の深度面２４０に関して、各眼２１０、２２０に提供される画像を形成する光は、その深度面２４０の距離におけるある点によって生成されたライトフィールドに対応する波面発散を有してもよい。

図示される実施形態では、点２２１を含有する、深度面２４０のｚ－軸に沿った距離は、１ｍである。本明細書で使用されるように、ｚ－軸に沿った距離または深度は、ユーザの眼の射出瞳に位置するゼロ点を用いて測定されてもよい。したがって、１ｍの深度に位置する深度面２４０は、眼が光学無限遠に向かって指向される状態における、それらの眼の光学軸上のユーザの眼の射出瞳から１ｍ離れた距離に対応する。近似値として、ｚ－軸に沿った深度または距離は、ユーザの眼の正面のディスプレイ（例えば、導波管の表面）から測定され、デバイスとユーザの眼の射出瞳との間の距離に関する値が加えられてもよい。その値は、瞳距離と呼ばれ、ユーザの眼の射出瞳と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応し得る。実際は、瞳距離に関する値は、概して、全ての視認者に関して使用される、正規化された値であってもよい。例えば、瞳距離は、２０ｍｍであると仮定され得、１ｍの深度における深度面は、ディスプレイの正面の９８０ｍｍの距離にあり得る。

ここで図４Ｃおよび４Ｄを参照すると、整合遠近調節－輻輳・開散運動距離および不整合遠近調節－輻輳・開散運動距離の実施例が、それぞれ、図示される。図４Ｃに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼２１０、２２０に提供してもよい。画像は、眼２１０、２２０に、眼が深度面２４０上の点１５上に収束する、輻輳・開散運動状態をとらせ得る。加えて、画像は、その深度面２４０における実オブジェクトに対応する波面曲率を有する光によって形成され得る。その結果、眼２１０、２２０は、画像がそれらの眼の網膜上に合焦する、遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度面２４０上の点１５にあるように知覚し得る。

眼２１０、２２０の遠近調節および輻輳・開散運動状態はそれぞれ、ｚ－軸上の特定の距離と関連付けられることを理解されたい。例えば、眼２１０、２２０からの特定の距離におけるオブジェクトは、それらの眼に、オブジェクトの距離に基づいて、特定の遠近調節状態をとらせる。特定の遠近調節状態と関連付けられる距離は、遠近調節距離Ａ_ｄと称され得る。同様に、特定の輻輳・開散運動状態または相互に対する位置における眼と関連付けられる特定の輻輳・開散運動距離Ｖ_ｄが、存在する。遠近調節距離および輻輳・開散運動距離が整合する場合、遠近調節と輻輳・開散運動との間の関係は、生理学的に正しいと言え得る。これは、視認者のために最も快適なシナリオであると見なされる。

しかしながら、立体視ディスプレイでは、遠近調節距離および輻輳・開散運動距離は、常時、整合しない場合がある。例えば、図４Ｄに図示されるように、眼２１０、２２０に表示される画像は、深度面２４０に対応する波面発散を伴って表示され得、眼２１０、２２０は、その深度面上の点１５ａ、１５ｂが合焦する、特定の遠近調節状態をとり得る。しかしながら、眼２１０、２２０に表示される画像は、眼２１０、２２０を深度面２４０上に位置しない点１５上に収束させる、輻輳・開散運動のためのキューを提供し得る。その結果、いくつかの実施形態では、遠近調節距離は、眼２１０、２２０の射出瞳から深度面２４０への距離に対応する一方で、輻輳・開散運動距離は、眼２１０、２２０の射出瞳から点１５までのより大きい距離に対応する。遠近調節距離は、輻輳・開散運動距離と異なる。その結果、遠近調節－輻輳・開散運動不整合が存在する。そのような不整合は、望ましくないと見なされ、不快感をユーザに生じさせ得る。不整合は、距離（例えば、Ｖ_ｄ－Ａ_ｄ）に対応し、ジオプタを使用して特徴付けられ得ることを理解されたい。

いくつかの実施形態では、同一参照点が遠近調節距離および輻輳・開散運動距離のために利用される限り、眼２１０、２２０の射出瞳以外の参照点が、遠近調節－輻輳・開散運動不整合を決定するための距離を決定するために利用されてもよいことを理解されたい。例えば、距離は、角膜から深度面、網膜から深度面、接眼レンズ（例えば、ディスプレイデバイスの導波管）から深度面等で測定され得る。

理論によって限定されるわけではないが、ユーザは、不整合自体が有意な不快感を生じさせずに、依然として、最大約０．２５ジオプタ、最大約０．３３ジオプタ、および最大約０．５ジオプタの遠近調節－輻輳・開散運動不整合が生理学的に正しいと知覚し得ると考えられる。いくつかの実施形態では、本明細書に開示されるディスプレイシステム（例えば、ディスプレイシステム２５０、図６）は、約０．５ジオプタまたはそれ未満の遠近調節－輻輳・開散運動不整合を有する画像を視認者に提示する。いくつかの他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節－輻輳・開散運動不整合は、約０．３３ジオプタまたはそれ未満である。さらに他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節－輻輳・開散運動不整合は、約０．２５ジオプタまたはそれ未満であって、約０．１ジオプタまたはそれ未満を含む。

図５は、波面発散を修正することによって、３次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光７７０を受光し、その光をユーザの眼２１０に出力するように構成される、導波管２７０を含む。導波管２７０は、所望の深度面２４０上のある点によって生成されたライトフィールドの波面発散に対応する定義された波面発散量を伴って光６５０を出力してもよい。いくつかの実施形態では、同一量の波面発散が、その深度面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、類似導波管からの画像情報を提供され得るように図示されるであろう。

いくつかの実施形態では、単一導波管が、単一または限定数の深度面に対応する設定された波面発散量を伴う光を出力するように構成されてもよく、および／または導波管は、限定された範囲の波長の光を出力するように構成されてもよい。その結果、いくつかの実施形態では、複数またはスタックの導波管が、異なる深度面のための異なる波面発散量を提供し、および／または異なる範囲の波長の光を出力するために利用されてもよい。本明細書で使用されるように、深度面は、平坦であってもよい、または湾曲表面の輪郭に追従してもよいことを理解されたい。

図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム２５０は、複数の導波管２７０、２８０、２９０、３００、３１０を使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ２６０を含む。ディスプレイシステム２５０は、いくつかの実施形態では、ライトフィールドディスプレイと見なされてもよいことを理解されたい。加えて、導波管アセンブリ２６０はまた、接眼レンズとも称され得る。

いくつかの実施形態では、ディスプレイシステム２５０は、輻輳・開散運動するための実質的に連続キューおよび遠近調節するための複数の離散キューを提供するように構成されてもよい。輻輳・開散運動のためのキューは、異なる画像をユーザの眼のそれぞれに表示することによって提供されてもよく、遠近調節のためのキューは、選択可能な離散量の波面発散を伴う画像を形成する光を出力することによって提供されてもよい。換言すると、ディスプレイシステム２５０は、可変レベルの波面発散を伴う光を出力するように構成されてもよい。いくつかの実施形態では、波面発散の各離散レベルは、特定の深度面に対応し、導波管２７０、２８０、２９０、３００、３１０のうちの特定の１つによって提供されてもよい。

図６を継続して参照すると、導波管アセンブリ２６０はまた、複数の特徴３２０、３３０、３４０、３５０を導波管の間に含んでもよい。いくつかの実施形態では、特徴３２０、３３０、３４０、３５０は、１つまたはそれを上回るレンズであってもよい。導波管２７０、２８０、２９０、３００、３１０および／または複数のレンズ３２０、３３０、３４０、３５０は、種々のレベルの波面曲率または光線発散を伴って画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス３６０、３７０、３８０、３９０、４００は、導波管のための光源として機能してもよく、画像情報を導波管２７０、２８０、２９０、３００、３１０の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼２１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス３６０、３７０、３８０、３９０、４００の出力表面４１０、４２０、４３０、４４０、４５０から出射し、導波管２７０、２８０、２９０、３００、３１０の対応する入力表面４６０、４７０、４８０、４９０、５００の中に投入される。いくつかの実施形態では、入力表面４６０、４７０、４８０、４９０、５００はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部（すなわち、世界５１０または視認者の眼２１０に直接向いた導波管表面のうちの１つ）であってもよい。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼２１０に向かって指向される、クローン化されるコリメートされたビームの全体場を出力してもよい。いくつかの実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００のうちの単一の１つは、複数（例えば、３つ）の導波管２７０、２８０、２９０、３００、３１０と関連付けられ、その中に光を投入してもよい。

いくつかの実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００はそれぞれ、それぞれ対応する導波管２７０、２８０、２９０、３００、３１０の中への投入のために画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００は、例えば、画像情報を１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して画像投入デバイス３６０、３７０、３８０、３９０、４００のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス３６０、３７０、３８０、３９０、４００によって提供される画像情報は、異なる波長または色（例えば、本明細書に議論されるような異なる原色）の光を含み得ることを理解されたい。

いくつかの実施形態では、導波管２７０、２８０、２９０、３００、３１０の中に投入される光は、本明細書にさらに議論されるように、画像情報でエンコーディングされ、光プロジェクタシステム１０１０によって提供される。いくつかの実施形態では、光プロジェクタシステム１０１０は、１つまたはそれを上回る放出ピクセルアレイを備えてもよい。放出ピクセルアレイはそれぞれ、複数の発光ピクセルを備えてもよく、これは、可変強度および色の光を放出するように構成されることを理解されたい。画像投入デバイス３６０、３７０、３８０、３９０、４００は、図式的に図示され、いくつかの実施形態では、これらの画像投入デバイスは、光を導波管２７０、２８０、２９０、３００、３１０の関連付けられるものの中に出力するように構成される、共通投影システム内の異なる光経路および場所を表し得ることを理解されたい。いくつかの実施形態では、導波管アセンブリ２６０の導波管は、導波管の中に投入された光をユーザの眼に中継しながら、理想的レンズとして機能し得る。本概念では、オブジェクトは、光投入デバイス１０１０のピクセルアレイであってもよく、画像は、深度面上の画像であってもよい。

コントローラ５６０は、画像投入デバイス３６０、３７０、３８０、３９０、４００および光投影システム１０１０の動作を含む、スタックされた導波管アセンブリ２６０のうちの１つまたはそれを上回るものの動作を制御する。いくつかの実施形態では、コントローラ５６０は、ローカルデータ処理モジュール１４０の一部である。コントローラ５６０は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管２７０、２８０、２９０、３００、３１０への画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性媒体内の命令）を含む。いくつかの実施形態では、コントローラは、単一の一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ５６０は、いくつかの実施形態では、処理モジュール１４０または１５０（図９Ｄ）の一部であってもよい。

図６を継続して参照すると、導波管２７０、２８０、２９０、３００、３１０は、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管２７０、２８０、２９０、３００、３１０はそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管２７０、２８０、２９０、３００、３１０はそれぞれ、各個別の導波管内で伝搬する光を導波管から再指向し、画像情報を眼２１０に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素５７０、５８０、５９０、６００、６１０を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素５７０、５８０、５９０、６００、６１０は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明を容易にし、図面を明確にするために、導波管２７０、２８０、２９０、３００、３１０の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、本明細書にさらに議論されるように、上部および／または底部主要表面に配置されてもよく、および／または導波管２７０、２８０、２９０、３００、３１０の容積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、透明基板に取り付けられ、導波管２７０、２８０、２９０、３００、３１０を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管２７０、２８０、２９０、３００、３１０は、モノリシック材料片であってもよく、外部結合光学要素５７０、５８０、５９０、６００、６１０は、その材料片の表面上および／または内部に形成されてもよい。

図６を継続して参照すると、本明細書に議論されるように、各導波管２７０、２８０、２９０、３００、３１０は、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管２７０は、眼２１０にコリメートされた光（そのような導波管２７０の中に投入された）を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管２８０は、眼２１０に到達し得る前に、第１のレンズ３５０（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第１のレンズ３５０は、眼／脳が、その次の上方の導波管２８０から生じる光を光学無限遠から眼２１０に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管２９０は、眼２１０に到達する前に、その出力光を第１のレンズ３５０および第２のレンズ３４０の両方を通して通過させる。第１のレンズ３５０および第２のレンズ３４０の組み合わせられた屈折力は、眼／脳が、第３の導波管２９０から生じる光が次の上方の導波管２８０からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。

他の導波管層３００、３１０およびレンズ３３０、３２０も同様に構成され、スタック内の最高導波管３１０は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ２６０の他側の世界５１０から生じる光を視認／解釈するとき、レンズ３２０、３３０、３４０、３５０のスタックを補償するために、補償レンズ層６２０が、スタックの上部に配置され、下方のレンズスタック３２０、３３０、３４０、３５０の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい（すなわち、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。

いくつかの実施形態では、導波管２７０、２８０、２９０、３００、３１０のうちの２つまたはそれを上回るものは、同一の関連付けられる深度面を有してもよい。例えば、複数の導波管２７０、２８０、２９０、３００、３１０が、同一深度面に設定される画像を出力するように構成されてもよい、または導波管２７０、２８０、２９０、３００、３１０の複数のサブセットは、深度面毎に１つのセットを伴う、同一の複数の深度面に設定される画像を出力するように構成されてもよい。これは、それらの深度面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供し得る。

図６を継続して参照すると、外部結合光学要素５７０、５８０、５９０、６００、６１０は、導波管と関連付けられる特定の深度面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられる深度面を有する導波管は、外部結合光学要素５７０、５８０、５９０、６００、６１０の異なる構成を有してもよく、これは、関連付けられる深度面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、光抽出光学要素５７０、５８０、５９０、６００、６１０は、具体的角度で光を出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素５７０、５８０、５９０、６００、６１０は、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。いくつかの実施形態では、特徴３２０、３３０、３４０、３５０は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ（例えば、空隙を形成するためのクラッディング層および／または構造）であってもよい。

いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、回折パターンを形成する回折特徴または「回折光学要素」（また、本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼２１０に向かって偏向される一方、残りがＴＩＲを介して、導波管を通して移動し続けるように、十分に低い回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼２１０に向かって非常に均一なパターンの出射放出となる。

いくつかの実施形態では、１つまたはそれを上回るＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に一致するように切り替えられてもよい（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに一致しない屈折率に切り替えられてもよい（その場合、パターンは、入射光を能動的に回折させる）。

いくつかの実施形態では、カメラアセンブリ６３０（例えば、可視光および赤外光カメラを含む、デジタルカメラ）が、眼２１０および／または眼２１０の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出する、および／またはユーザの生理学的状態を監視するために提供されてもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ６３０は、画像捕捉デバイスと、光（例えば、赤外線光）を眼に投影し、次いで、眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブリ６３０は、フレーム８０（図９Ｄ）に取り付けられてもよく、カメラアセンブリ６３０からの画像情報を処理し得る、処理モジュール１４０および／または１５０と電気通信してもよい。いくつかの実施形態では、１つのカメラアセンブリ６３０が、眼毎に利用され、各眼を別個に監視してもよい。

ここで図７を参照すると、導波管によって出力された出射ビームの実施例が、示される。１つの導波管が図示されるが、導波管アセンブリ２６０（図６）内の他の導波管も同様に機能し得、導波管アセンブリ２６０は、複数の導波管を含むことを理解されたい。光６４０が、導波管２７０の入力表面４６０において導波管２７０の中に投入され、ＴＩＲによって導波管２７０内を伝搬する。光６４０がＤＯＥ５７０上に衝突する点では、光の一部は、導波管から出射ビーム６５０として出射する。出射ビーム６５０は、略平行として図示されるが、本明細書に議論されるように、また、導波管２７０と関連付けられる深度面に応じて、ある角度（例えば、発散出射ビームを形成する）において眼２１０に伝搬するように再指向されてもよい。略平行出射ビームは、眼２１０からの遠距離（例えば、光学無限遠）における深度面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼２１０がより近い距離に遠近調節し、網膜上に合焦させることを要求し、光学無限遠より眼２１０に近い距離からの光として脳によって解釈されるであろう。

いくつかの実施形態では、フルカラー画像が、原色、例えば、３つまたはそれを上回る原色のそれぞれに画像をオーバーレイすることによって、各深度面において形成されてもよい。図８は、各深度面は、複数の異なる原色を使用して形成される画像を含む、スタックされた導波管アセンブリの実施例を図示する。図示される実施形態は、深度面２４０ａ－２４０ｆを示すが、より多いまたはより少ない深度もまた、検討される。各深度面は、第１の色Ｇの第１の画像、第２の色Ｒの第２の画像、および第３の色Ｂの第３の画像を含む、それと関連付けられる３つまたはそれを上回る原色画像を有してもよい。異なる深度面は、文字Ｇ、Ｒ、およびＢに続くジオプタ（ｄｐｔ）に関する異なる数字によって図示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ（１／ｍ）、すなわち、視認者からの深度面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度面の正確な場所は、変動してもよい。例えば、所与の深度面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得る、および／または色収差を減少させ得る。

いくつかの実施形態では、各原色の光は、単一専用導波管によって出力されてもよく、その結果、各深度面は、それと関連付けられる複数の導波管を有してもよい。そのような実施形態では、文字Ｇ、Ｒ、またはＢを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、３つの導波管は、３つの原色画像が、深度面毎に提供される、深度面毎に提供されてもよい。各深度面と関連付けられる導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に１つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、例えば、単一導波管のみが深度面毎に提供され得るように、複数の原色が、同一導波管によって出力されてもよい。

図８を継続して参照すると、いくつかの実施形態では、Ｇは、緑色であって、Ｒは、赤色であって、Ｂは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられる他の色も、赤色、緑色、または青色のうちの１つまたはそれを上回るものに加えて使用されてもよい、またはそれらに取って代わってもよい。

本開示全体を通した所与の光の色の言及は、視認者によってその所与の色として知覚される、光の波長の範囲内の１つまたはそれを上回る波長の光を包含すると理解されると理解されたい。例えば、赤色光は、約６２０～７８０ｎｍの範囲内の１つまたはそれを上回る波長の光を含んでもよく、緑色光は、約４９２～５７７ｎｍの範囲内の１つまたはそれを上回る波長の光を含んでもよく、青色光は、約４３５～４９３ｎｍの範囲内の１つまたはそれを上回る波長の光を含んでもよい。

いくつかの実施形態では、光投影システム１０１０（図６）は、視認者の視覚的知覚範囲外の１つまたはそれを上回る波長、例えば、赤外線および／または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ２５０の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、結像および／またはユーザ刺激用途のために、本光をディスプレイからユーザの眼２１０に向かって指向および放出するように構成されてもよい。

ここで図９Ａを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。図９Ａは、それぞれ、内部結合光学要素を含む、複数またはセット６６０のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、１つまたはそれを上回る異なる波長または１つまたはそれを上回る異なる波長範囲の光を出力するように構成されてもよい。スタック６６０は、スタック２６０（図６）に対応し得、スタック６６０の図示される導波管は、複数の導波管２７０、２８０、２９０、３００、３１０の一部に対応してもよいが、画像投入デバイス３６０、３７０、３８０、３９０、４００のうちの１つまたはそれを上回るものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。

スタックされた導波管の図示されるセット６６０は、導波管６７０、６８０、および６９０を含む。各導波管は、関連付けられる内部結合光学要素（導波管上の光入力面積とも称され得る）を含み、例えば、内部結合光学要素７００は、導波管６７０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７１０は、導波管６８０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７２０は、導波管６９０の主要表面（例えば、上側主要表面）上に配置される。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０のうちの１つまたはそれを上回るものは、個別の導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい（特に、１つまたはそれを上回る内部結合光学要素は、反射型偏向光学要素である）。図示されるように、内部結合光学要素７００、７１０、７２０は、それらの個別の導波管６７０、６８０、６９０の上側主要表面（または次の下側導波管の上部）上に配置されてもよく、特に、それらの内部結合光学要素は、透過型偏向光学要素である。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０は、個別の導波管６７０、６８０、６９０の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、他の光の波長を透過させながら、１つまたはそれを上回る光の波長を選択的に再指向するように、波長選択的である。それらの個別の導波管６７０、６８０、６９０の片側または角に図示されるが、内部結合光学要素７００、７１０、７２０は、いくつかの実施形態では、それらの個別の導波管６７０、６８０、６９０の他の面積内に配置され得ることを理解されたい。

図示されるように、内部結合光学要素７００、７１０、７２０は、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過することなく、光を受光するようにオフセットされてもよい。例えば、各内部結合光学要素７００、７１０、７２０は、図６に示されるように、光を異なる画像投入デバイス３６０、３７０、３８０、３９０、および４００から受光するように構成されてもよく、光を内部結合光学要素７００、７１０、７２０の他のものから実質的に受光しないように、他の内部結合光学要素７００、７１０、７２０から分離されてもよい（例えば、側方に離間される）。

各導波管はまた、関連付けられる光分散要素を含み、例えば、光分散要素７３０は、導波管６７０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７４０は、導波管６８０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７５０は、導波管６９０の主要表面（例えば、上部主要表面）上に配置される。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられる導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられる導波管６７０、６８０、６９０の上部および底部両方の主要表面上に配置されてもよい、または光分散要素７３０、７４０、７５０は、それぞれ、異なる関連付けられる導波管６７０、６８０、６９０内の上部および底部主要表面の異なるもの上に配置されてもよい。

導波管６７０、６８０、６９０は、例えば、材料のガス、液体、および／または固体層によって離間および分離されてもよい。例えば、図示されるように、層７６０ａは、導波管６７０および６８０を分離してもよく、層７６０ｂは、導波管６８０および６９０を分離してもよい。いくつかの実施形態では、層７６０ａおよび７６０ｂは、低屈折率材料（すなわち、導波管６７０、６８０、６９０のうちの直近のものを形成する材料より低い屈折率を有する材料）から形成される。好ましくは、層７６０ａ、７６０ｂを形成する材料の屈折率は、導波管６７０、６８０、６９０を形成する材料の屈折率よりも０．０５またはそれを上回る、または０．１０またはそれを下回る。有利なこととして、より低い屈折率層７６０ａ、７６０ｂは、導波管６７０、６８０、６９０を通して光の全内部反射（ＴＩＲ）（例えば、各導波管の上部主要表面と底部主要表面との間のＴＩＲ）を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層７６０ａ、７６０ｂは、空気から形成される。図示されないが、導波管の図示されるセット６６０の上部および底部は、直近クラッディング層を含み得ることを理解されたい。

好ましくは、製造および他の考慮点を容易にするために、導波管６７０、６８０、６９０を形成する材料は、類似または同一であって、層７６０ａ、７６０ｂを形成する材料は、類似または同一である。いくつかの実施形態では、導波管６７０、６８０、６９０を形成する材料は、１つまたはそれを上回る導波管間で異なり得る、および／または層７６０ａ、７６０ｂを形成する材料は、依然として、上記の種々の屈折率関係を保持しながら、異なり得る。

図９Ａを継続して参照すると、光線７７０、７８０、７９０が、導波管のセット６６０に入射する。光線７７０、７８０、７９０は、１つまたはそれを上回る画像投入デバイス３６０、３７０、３８０、３９０、４００（図６）によって導波管６７０、６８０、６９０の中に投入されてもよいことを理解されたい。

いくつかの実施形態では、光線７７０、７８０、７９０は、異なる導波管のために意図される（例えば、異なる量の波面発散を伴う光を出力するように構成される、および／または異なる波長または色等の異なる性質を有する光を出力するように構成される、導波管）。したがって、いくつかの実施形態では、光線７７０、７８０、７９０は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有してもよい。内部結合光学要素７００、７１０、７２０はそれぞれ、光が、ＴＩＲによって、導波管６７０、６８０、６９０のうちの個別の１つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０はそれぞれ、他の波長を下層導波管および関連付けられる内部結合光学要素に透過させながら、１つまたはそれを上回る特定の光の波長を選択的に偏向させる。

例えば、内部結合光学要素７００は、それぞれ、異なる第２および第３の波長または波長範囲を有する、光線７８０および７９０を透過させながら、第１の波長または波長範囲を有する、光線７７０を偏向させるように構成されてもよい。透過された光線７８０は、第２の波長または波長範囲の光を偏向させるように構成される、内部結合光学要素７１０に衝突し、それによって偏向される。光線７９０は、第３の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素７２０によって偏向される。

図９Ａを継続して参照すると、偏向された光線７７０、７８０、７９０は、対応する導波管６７０、６８０、６９０を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素７００、７１０、７２０は、光をその対応する導波管６７０、６８０、６９０の中に偏向させ、光をその対応する導波管の中に内部結合する。光線７７０、７８０、７９０は、光をＴＩＲによって個別の導波管６７０、６８０、６９０を通して伝搬させる角度で偏向される。光線７７０、７８０、７９０は、導波管の対応する光分散要素７３０、７４０、７５０に衝突するまで、ＴＩＲによって個別の導波管６７０、６８０、６９０を通して伝搬する。

ここで図９Ｂを参照すると、図９Ａの複数のスタックされた導波管の実施例の斜視図が、図示される。上記のように、内部結合された光線７７０、７８０、７９０は、それぞれ、内部結合光学要素７００、７１０、７２０によって偏向され、次いで、それぞれ、導波管６７０、６８０、６９０内でＴＩＲによって伝搬する。光線７７０、７８０、７９０は、次いで、それぞれ、光分散要素７３０、７４０、７５０に衝突する。光分散要素７３０、７４０、７５０は、それぞれ、外部結合光学要素８００、８１０、８２０に向かって伝搬するように、光線７７０、７８０、７９０を偏向させる。

いくつかの実施形態では、光分散要素７３０、７４０、７５０は、直交瞳エクスパンダ（ＯＰＥ）である。いくつかの実施形態では、ＯＰＥは、光を外部結合光学要素８００、８１０、８２０に偏向または分散し、いくつかの実施形態では、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、光分散要素７３０、７４０、７５０は、省略されてもよく、内部結合光学要素７００、７１０、７２０は、光を直接外部結合光学要素８００、８１０、８２０に偏向させるように構成されてもよい。例えば、図９Ａを参照すると、光分散要素７３０、７４０、７５０は、それぞれ、外部結合光学要素８００、８１０、８２０と置換されてもよい。いくつかの実施形態では、外部結合光学要素８００、８１０、８２０は、光を視認者の眼２１０（図７）に指向させる、射出瞳（ＥＰ）または射出瞳エクスパンダ（ＥＰＥ）である。ＯＰＥは、少なくとも１つの軸においてアイボックスの次元を増加させるように構成され得、ＥＰＥは、ＯＰＥの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。例えば、各ＯＰＥは、光の残りの部分が導波管を辿って伝搬し続けることを可能にしながら、ＯＰＥに衝打する光の一部を同一導波管のＥＰＥに再指向するように構成されてもよい。ＯＰＥに再び衝突することに応じて、残りの光の別の部分は、ＥＰＥに再指向され、その部分の残りの部分は、導波管を辿ってさらに伝搬し続ける等である。同様に、ＥＰＥへの衝打に応じて、衝突光の一部は、ユーザに向かって導波管から外に指向され、その光の残りの部分は、ＥＰに再び衝打するまで、導波管を通して伝搬し続け、その時点で、衝突光の別の部分は、導波管から外に指向される等である。その結果、内部結合された光の単一ビームは、その光の一部がＯＰＥまたはＥＰＥによって再指向される度に、「複製」され、それによって、図６に示されるように、クローン化された光のビーム野を形成し得る。いくつかの実施形態では、ＯＰＥおよび／またはＥＰＥは、光のビームのサイズを修正するように構成されてもよい。

故に、図９Ａおよび９Ｂを参照すると、いくつかの実施形態では、導波管のセット６６０は、原色毎に、導波管６７０、６８０、６９０と、内部結合光学要素７００、７１０、７２０と、光分散要素（例えば、ＯＰＥ）７３０、７４０、７５０と、外部結合光学要素（例えば、ＥＰ）８００、８１０、８２０とを含む。導波管６７０、６８０、６９０は、各１つの間に空隙／クラッディング層を伴ってスタックされてもよい。内部結合光学要素７００、７１０、７２０は、（異なる波長の光を受光する異なる内部結合光学要素を用いて）入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波管６７０、６８０、６９０内にＴＩＲをもたらすであろう角度で伝搬する。示される実施例では、光線７７０（例えば、青色光）は、前述の様式において、第１の内部結合光学要素７００によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素（例えば、ＯＰＥ）７３０、次いで、外部結合光学要素（例えば、ＥＰ）８００と相互作用する。光線７８０および７９０（例えば、それぞれ、緑色および赤色光）は、導波管６７０を通して通過し、光線７８０は、内部結合光学要素７１０上に衝突し、それによって偏向される。光線７８０は、次いで、ＴＩＲを介して、導波管６８０を辿ってバウンスし、その光分散要素（例えば、ＯＰＥ）７４０、次いで、外部結合光学要素（例えば、ＥＰ）８１０に進むであろう。最後に、光線７９０（例えば、赤色光）は、導波管６９０を通して通過し、導波管６９０の光内部結合光学要素７２０に衝突する。光内部結合光学要素７２０は、光線が、ＴＩＲによって、光分散要素（例えば、ＯＰＥ）７５０、次いで、ＴＩＲによって、外部結合光学要素（例えば、ＥＰ）８２０に伝搬するように、光線７９０を偏向させる。外部結合光学要素８２０は、次いで、最後に、光線７９０を視認者に外部結合し、視認者はまた、他の導波管６７０、６８０からの外部結合した光も受光する。

図９Ｃは、図９Ａおよび９Ｂの複数のスタックされた導波管の実施例の上下平面図を図示する。図示されるように、導波管６７０、６８０、６９０は、各導波管の関連付けられる光分散要素７３０、７４０、７５０および関連付けられる外部結合光学要素８００、８１０、８２０とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する（例えば、上下図に見られるように、側方に離間される）。本明細書でさらに議論されるように、本非重複空間配列は、１対１ベースで異なるリソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管に一意に結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。

図９Ｄは、本明細書に開示される種々の導波管および関連システムが統合され得る、ウェアラブルディスプレイシステム６０の実施例を図示する。いくつかの実施形態では、ディスプレイシステム６０は、図６のシステム２５０であって、図６は、そのシステム６０のいくつかの部分をより詳細に図式的に示す。例えば、図６の導波管アセンブリ２６０は、ディスプレイ７０の一部であってもよい。

図９Ｄを継続して参照すると、ディスプレイシステム６０は、ディスプレイ７０と、そのディスプレイ７０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ７０は、フレーム８０に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者９０によって装着可能であって、ディスプレイ７０をユーザ９０の眼の正面に位置付けるように構成される。ディスプレイ７０は、いくつかの実施形態では、アイウェアと見なされ得る。いくつかの実施形態では、スピーカ１００が、フレーム８０に結合され、ユーザ９０の外耳道に隣接して位置付けられるように構成される（いくつかの実施形態では、示されない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供してもよい）。ディスプレイシステム６０はまた、１つまたはそれを上回るマイクロホン１１０または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンドをシステム６０に提供することを可能にするように構成され（例えば、音声メニューコマンドの選択、自然言語質問等）、および／または他の人物（例えば、類似ディスプレイシステムの他のユーザ）とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ（例えば、ユーザおよび／または環境からの音）を収集してもよい。いくつかの実施形態では、ディスプレイシステムはまた、周辺センサ１２０ａを含んでもよく、これは、フレーム８０と別個であって、ユーザ９０の身体（例えば、ユーザ９０の頭部、胴体、四肢等）上に取り付けられてもよい。周辺センサ１２０ａは、いくつかの実施形態では、ユーザ９０の生理学的状態を特徴付けるデータを入手するように構成されてもよい。例えば、センサ１２０ａは、電極であってもよい。

図９Ｄを継続して参照すると、ディスプレイ７０は、有線導線または無線コネクティビティ等の通信リンク１３０によって、ローカルデータ処理モジュール１４０に動作可能に結合され、これは、フレーム８０を固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホン内に埋設される、または別様にユーザ９０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成で搭載されてもよい。同様に、センサ１２０ａは、通信リンク１２０ｂ、例えば、有線導線または無線コネクティビティによって、ローカルデータ処理モジュール１４０に動作可能に結合されてもよい。ローカル処理およびデータモジュール１４０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリまたはハードディスクドライブ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。随意に、ローカル処理およびデータモジュール１４０は、１つまたはそれを上回る中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含んでもよい。データは、ａ）センサ（画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ、および／または本明細書に開示される他のセンサ（例えば、フレーム８０に動作可能に結合される、または別様にユーザ９０に取り付けられ得る））から捕捉されたデータ、および／またはｂ）可能性として処理または読出後にディスプレイ７０への通過のための遠隔処理モジュール１５０および／または遠隔データリポジトリ１６０（仮想コンテンツに関連するデータを含む）を使用して取得および／または処理されたデータを含んでもよい。ローカル処理およびデータモジュール１４０は、これらの遠隔モジュール１５０、１６０が相互に動作可能に結合され、ローカル処理およびデータモジュール１４０に対するリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク１７０、１８０によって、遠隔処理モジュール１５０および遠隔データリポジトリ１６０に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール１４０は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープのうちの１つまたはそれを上回るものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの１つまたはそれを上回るものは、フレーム８０に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール１４０と通信する、独立構造であってもよい。

図９Ｄを継続して参照すると、いくつかの実施形態では、遠隔処理モジュール１５０は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよく、例えば、１つまたはそれを上回る中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含む。いくつかの実施形態では、遠隔データリポジトリ１６０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、遠隔データリポジトリ１６０は、１つまたはそれを上回る遠隔サーバを含んでもよく、これは、情報、例えば、拡張現実コンテンツをローカル処理およびデータモジュール１４０および／または遠隔処理モジュール１５０に生成するための情報を提供する。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的使用を可能にする。随意に、ＣＰＵ、ＧＰＵ等を含む、外部システム（例えば、１つまたはそれを上回るプロセッサ、１つまたはそれを上回るコンピュータのシステム）が、処理（例えば、画像情報を生成する、データを処理する）の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール１４０、１５０、１６０に提供し、情報をそこから受信してもよい。
Ｃ． ユーザ入力の実施例

図１０Ａおよび１０Ｂは、ユーザ入力デバイス上のコントローラボタンまたは入力領域を通して受信されたユーザ入力の実施例を図示する。特に、図１０Ａおよび１０Ｂは、コントローラ３９００を図示し、これは、本明細書に開示されるウェアラブルシステムの一部であってもよく、これは、ホームボタン３９０２と、トリガ３９０４と、バンパ３９０６と、タッチパッド３９０８とを含んでもよい。ユーザ入力デバイスまたはトーテムは、ウェアラブルシステムの種々の実施形態では、コントローラ３９００としての役割を果たすことができる。

コントローラ３９００を通して受信され得る、潜在的ユーザ入力は、限定ではないが、ホームボタン３９０２の押下および解放、トリガ３９０４の半および完全（および他の部分的）押下、トリガ３９０４の解放、バンパ３９０６の押下および解放、タッチ、タッチしながらの移動、タッチの解放、タッチの圧力の増加または減少、タッチパッド３９０８の縁等の具体的部分のタッチ、またはタッチパッド３９０８上でのジェスチャ（例えば、親指である形状を描くことによって）を含む。

図１０Ａおよび１０Ｂは、本システムによって受信および認識され得る、ユーザ入力の種々の実施例を図示する。ユーザ入力は、１つまたはそれを上回るユーザ入力モード（図示されるように、個々に、または組み合わせて）を経由して受信されてもよい。ユーザ入力は、ホームボタン３９０２、トリガ３９０４、バンパ３９０６、およびタッチパッド３９０８等のコントローラボタン、コントローラ３９００またはＨＭＤ３９１０の物理的移動、眼視線方向、頭部姿勢方向、ジェスチャ、音声入力等を通した入力を含んでもよい。

図１０Ａに示されるように、ホームボタン３９０２の短押下および解放は、ホームタップアクションを示してもよい一方、ホームボタン３９０２の長押下は、ホーム押下および保持アクションを示してもよい。同様に、トリガ３９０４またはバンパ３９０６の短押下および解放は、それぞれ、トリガタップアクションまたはバンパタップアクションを示してもよい一方、トリガ３９０４またはバンパ３９０６の長押下は、それぞれ、トリガ押下および保持アクションまたはバンパ押下および保持アクションを示してもよい。

図１０Ｂに示されるように、タッチパッドにわたって移動する、タッチパッド３９０８のタッチは、タッチドラッグアクションを示してもよい。タッチが実質的に移動しない、タッチパッド３９０８の短タッチおよび解放は、弱タップアクションを示してもよい。タッチパッド３９０８のそのような短タッチおよび解放が、ある閾値レベルを上回る力（所定の閾値、動的に決定された閾値、学習された閾値、またはそれらのある組み合わせであってもよい）で行われる場合、入力は、強タップ入力を示してもよい。閾値レベルを上回る力を用いたタッチパッド３９０８のタッチは、強押下アクションを示してもよい一方、そのような力を用いた長タッチは、強押下および保持入力を示してもよい。タッチパッド３９０８の縁の近くのタッチは、縁押下アクションを示してもよい。いくつかの実施形態では、縁押下アクションはまた、閾値レベルを上回る圧力の縁タッチを伴ってもよい。図１０Ｂはまた、弧を描いて移動する、タッチパッド３９０８上のタッチが、タッチ円形アクションを示し得ることを示す。

図１０Ｃは、コントローラまたは頭部搭載型デバイス（ＨＭＤ）の物理的移動を通して受信されたユーザ入力の実施例を図示する。図１０Ｃに示されるように、コントローラ３９００および頭部搭載型ディスプレイ３９１０（ＨＭＤ）の物理的移動が、システムへのユーザ入力を形成してもよい。ＨＭＤ３９１０は、図９Ｄに示される、頭部装着型コンポーネント７０、１１０を備えることができる。いくつかの実施形態では、コントローラ３９００は、任意の方向におけるコントローラ３９００の回転を認識することによって、３自由度（３ＤＯＦ）入力を提供する。他の実施形態では、コントローラ３９００は、同様に、任意の方向におけるコントローラの平行移動を認識することによって、６自由度（６ＤＯＦ）入力を提供する。さらに他の実施形態では、コントローラ３９００は、６ＤＯＦ未満または３ＤＯＦ未満の入力を提供してもよい。同様に、頭部搭載型ディスプレイ３９１０は、３ＤＯＦ、６ＤＯＦ、６ＤＯＦ未満、または３ＤＯＦ未満の入力を認識および受信してもよい。

図１０Ｄは、ユーザ入力が異なる持続時間を有し得る様子の実施例を図示する。図１０Ｄに示されるように、あるユーザ入力は、短持続時間（例えば、０．２５秒等の１秒のある割合未満の持続時間）を有してもよい、または長持続時間（例えば、０．２５秒を上回る等の１秒のある割合未満の持続時間）を有してもよい。少なくともいくつかの実施形態では、入力の持続時間自体が、本システムによって、入力として認識および利用されてもよい。短および長持続時間入力は、ウェアラブルシステムによって異なるように取り扱われることができる。例えば、短持続時間入力は、オブジェクトの選択を表し得る一方、長持続時間入力は、オブジェクトのアクティブ化を表し得る（例えば、オブジェクトと関連付けられるアプリの実行を生じさせる）。

図１１Ａおよび１１Ｂは、本システムによって受信および認識され得る、ユーザ入力の種々の実施例を図示する。ユーザ入力は、１つまたはそれを上回るユーザ入力モード（図示されるように、個々に、または組み合わせて）を経由して、受信されてもよい。ユーザ入力は、ホームボタン３９０２、トリガ３９０４、バンパ３９０６、およびタッチパッド３９０８等のコントローラボタン、コントローラ３９００またはＨＭＤ３９１０の物理的移動、眼視線方向、頭部姿勢方向、ジェスチャ、音声入力等を通した入力を含んでもよい。

図１１Ａに示されるように、ホームボタン３９０２の短押下および解放は、ホームタップアクションを示してもよい一方、ホームボタン３９０２の長押下は、ホーム押下および保持アクションを示してもよい。同様に、トリガ３９０４またはバンパ３９０６の短押下および解放は、それぞれ、トリガタップアクションまたはバンパタップアクションを示してもよい一方、トリガ３９０４またはバンパ３９０６の長押下は、それぞれ、トリガ押下および保持アクションまたはバンパ押下および保持アクションを示してもよい。

図１１Ｂに示されるように、タッチパッドにわたって移動する、タッチパッド３９０８のタッチは、タッチドラッグアクションを示してもよい。タッチが実質的に移動しない、タッチパッド３９０８の短タッチおよび解放は、弱タップアクションを示してもよい。タッチパッド３９０８のそのような短タッチおよび解放が、ある閾値レベルを上回る力（所定の閾値、動的に決定された閾値、学習された閾値、またはそれらのある組み合わせであってもよい）で行われる場合、入力は、強タップ入力を示してもよい。閾値レベルを上回る力を用いたタッチパッド３９０８のタッチは、強押下アクションを示してもよい一方、そのような力を用いた長タッチは、強押下および保持入力を示してもよい。タッチパッド３９０８の縁の近くのタッチは、縁押下アクションを示してもよい。いくつかの実施形態では、縁押下アクションはまた、閾値レベルを上回る圧力の縁タッチを伴ってもよい。図１１Ｂはまた、弧を描いて移動する、タッチパッド３９０８上のタッチがタッチ円形アクションを示し得ることを示す。

他の例示的ユーザ入力は、６自由度を有し得る、入力デバイス（例えば、ユーザの手）または機構を含むことができる。有利なこととして、ユーザの手を入力として使用することは、ユーザが、直感的指示または他の入力ジェスチャを行い、情報をＡＲシステムに提供することを可能にすることによって、ユーザ体験を改良することができる。オブジェクト相互作用および制御の場合、ユーザの手のまたは他のポインティングデバイスを使用することは、ユーザの手（または他のポインティングデバイス）の位置または配向に基づいて、オブジェクトのコンポーネントを標的化することと、オブジェクトを移動させることとの両方をユーザがより直感的に適応させることに役立ち得る。したがって、離散ボタンアクティブ化は、必要とされなくてもよい。しかしながら、いくつかの実施例では、離散ボタンアクティブ化と６自由度入力デバイスを用いた指示の組み合わせも、使用されてもよい。
Ｄ． 単一コントローラコンテンツ移動および相互作用

拡張現実（ＡＲ）または仮想現実（ＶＲ）システムによって実装される、いくつかのアプリケーションは、ユーザ入力を、例えば、ユーザ頭部姿勢、身体姿勢、眼視線、コントローラ入力、同等物、またはそれらの組み合わせを通して受け取る、相互作用可能および／または移動可能な仮想コンテンツを含んでもよい。例えば、アプリケーションは、その中でユーザが、メニューまたはメニューと関連付けられる情報を選択する、ハイライトする、または別様にそれと相互作用し得る、仮想制御メニューを有してもよい。別の実施例では、アプリケーションは、その中でユーザが、リフレッシュ、ホーム、または制御ボタン等の双方向特徴を使用して、ブラウザウィンドウ内への情報または制御情報を入力し得る、ウェブブラウザを有してもよい。アプリケーションはまた、相互作用可能仮想コンテンツが、ユーザがその環境を動き回るにつれて、またはユーザのアクティブ入力によって、ユーザの環境内で移動することを可能にしてもよい。しかしながら、ＶＲまたはＡＲシステムによって提供される、時として限定される制御を使用して、コンテンツと相互作用することと、コンテンツをその環境内で移動させることとの両方を行うことは、ユーザにとって、困難かつ煩雑であり得る。例えば、ユーザが、相互作用可能コンテンツと相互作用することを所望する場合、それらは、１セットの入力を提供し得る、ユーザが、相互作用可能コンテンツを移動させることを所望する場合、それらは、第２のセットの入力を提供し得る。２つのセットの入力を組み合わせることは、ユーザにとって、煩雑かつ不快であり得る。本明細書に説明されるものは、相互作用可能仮想コンテンツと相互作用するための負担を軽減させるように、相互作用可能仮想コンテンツの移動および／またはそれとの相互作用を簡略化するためのシステムおよび方法である。

ユーザの環境内のユーザ相互作用およびコンテンツの移動を促進するための１つの方法は、（例えば、ユーザインターフェース内の）相互作用および（例えば、ユーザインターフェースの）移動のアクションを分離することである。例えば、ＡＲシステムは、コンテンツをユーザの環境内の固定された場所に設置し、次いで、ユーザジェスチャ、コントローラ、ユーザ視線、同等物、またはそれらのある組み合わせに基づいて、設置されたコンテンツと相互作用するための入力をユーザから受け取ってもよい。しかしながら、双方向空間（例えば、双方向コンテンツの境界された体積を含む、プリズム）をユーザの環境内の設定場所に設置することは、仮想または拡張現実のコンテキストにおいて、常時、理想的であるわけではない。例えば、仮想または拡張現実体験では、ユーザは、その３Ｄ環境を動き回り得る。双方向空間が、設定場所にピン固定される場合、ユーザは、情報を入力するために、双方向空間の場所に戻る必要があるであろう。

ユーザ相互作用およびコンテンツの移動を促進するための別の方法は、相互作用および移動のための別個のコントローラを利用することである。例えば、ＡＲシステムは、ユーザの手毎に、コントローラを有してもよい。ユーザの第１の手内の第１のコントローラは、ユーザの３Ｄ環境内の双方向空間を移動し得、ユーザの第２の手内の第２のコントローラは、双方向空間内のコンテンツを選択し得る。しかしながら、２つのコントローラのそのような使用は、部分的に、ユーザが、多くの場合、慣れていない、両手用の運動を要求するため、ぎこちなくかつ不快なユーザ体験をもたらす。

本明細書に開示されるものは、単一コントローラを使用して、コンテンツ設置および相互作用の両方を可能にする、相互作用および移動手順のためのシステムおよび方法である。相互作用および移動手順は、コントローラによる異なる大きさの移動が、システムへの入力の異なる側面に影響を及ぼすことを可能にすることができる。例えば、（例えば、６自由度ポインティングデバイスの）双方向コンテンツオブジェクト内の小移動が、双方向コンテンツオブジェクト内のコンテンツを標的化または選択するために使用されることができる。双方向コンテンツオブジェクトの外側のより大きい移動は、双方向コンテンツオブジェクトの位置を制御デバイスに追従（または更新／応答）させることができる。有利なこととして、そのようなシステムは、ユーザが、同一コントローラを使用して、彼らがその３Ｄ環境を動き回るにつれて、コンテンツを彼らと連動させることと、そのコンテンツと選択的に相互作用することとの両方を可能にすることができる。

一般に、本明細書に説明されるシステムおよび方法は、ユーザが、カーソルまたはポインタ（例えば、ハンドヘルドコントローラの移動に応答して）をプリズム内等の双方向コンテンツオブジェクト内で移動させ、双方向コンテンツオブジェクトと相互作用することを可能にする。いったんユーザが、カーソルまたはポインタを双方向コンテンツオブジェクトの外側（または双方向コンテンツオブジェクトを囲繞する、いくつかの付加的境界面積の外側）に移動させると、コントローラ移動の機能性は、更新され、双方向コンテンツオブジェクトのコンテンツと相互作用するように試みるのではなく、双方向コンテンツオブジェクトの位置を移動させ、コントローラの移動と対応させる。したがって、コントローラの機能性は、ユーザがコントローラの移動を提供することによって交互に入れ替えられてもよい。実施形態に応じて、コントローラの閾値移動は、双方向コンテンツオブジェクトの平面を基準としたコントローラ姿勢の位置および／またはコントローラ姿勢と双方向コンテンツオブジェクトの平面との間の角度によって定義され得る。

図１２Ａは、本明細書に開示される追従および相互作用プロセスの一実施例による、例示的コンテンツ制御環境１２００を図示する。例えば、ユーザ１２０２は、ユーザが、仮想コンテンツをその３Ｄ環境内で知覚することを可能にし得る、ウェアラブルデバイス１２０４（図９Ｄを参照して上記に開示される、頭部搭載型ディスプレイ等）を使用してもよい。ウェアラブルデバイス１２０４は、仮想コンテンツ１２０６をユーザの正面の場所に表示してもよい。ユーザの正面の場所は、ウェアラブルデバイスのコントローラ１２０８（図１０Ａ－１１Ｂを参照して説明されるユーザの手またはコントローラ等）の位置および／または配向によって決定されてもよい。下記にさらに詳細に説明されるように、ユーザが、コントローラの指示ベクトルが、コンテンツ１２０６と関連付けられる、境界された面積または体積１２１２と交差しないように、コントローラ１２０８を移動させる場合、ウェアラブルデバイス１２０４は、コンテンツ１２０６の場所をコントローラの新しい焦点に向かって更新してもよい。ユーザが、コントローラの指示ベクトルが、境界された面積または体積１２１２と交差するように、コントローラ１２０８を移動させる場合、ウェアラブルデバイス１２０４は、ユーザが、コンテンツ１２０６を移動させずに、コンテンツ１２０６と関連付けられる情報を選択および入力することを可能にしてもよい。有利なこととして、コンテンツ１２０６が、頭部姿勢と連動して移動するにつれて、コンテンツ１２０６の配向は、ユーザ１２０２の現在の頭部姿勢に合致するように調節されてもよい。したがって、コンテンツ１２０６がユーザの３Ｄ環境内に設置される場所にかかわらず、コンテンツは、ユーザの現在の頭部姿勢において、便宜的視認のために角度付けられる。例えば、いくつかの実装では、コンテンツ１２０６は、頭部姿勢方向１２１０と垂直に配向されてもよい。

有利なこととして、ユーザが、その環境を動き回るにつれて、本明細書に開示される追従および相互作用プロセスは、コンテンツが、場所毎に、ユーザとともに移動および再配向されることを可能にすることができる。例えば、図１２Ａに図示されるように、ユーザは、第１の配向および場所１２０１ａを有してもよい。ユーザは、新しい場所１２０１ｂまたは１２０１ｃに移動し、新しい配向を有してもよい。ユーザが、移動し、自らを再配向するにつれて、ユーザの頭部姿勢およびコントローラ１２０８と関連付けられる指示ベクトルを追跡することによって、ＡＲシステムは、コンテンツ１２０６の場所および配向を移動させ、事実上、新しい場所１２０１ｂまたは１２０１ｃまでユーザに追従してもよい。しかしながら、ユーザが、コントローラ１２０６の位置および配向に対してわずかな調節を行う場合、ＡＲシステムは、コンテンツ１２０６の場所を維持し、ユーザが、コントローラ１２０６のそれらのより小さい移動を介して、入力を提供する、またはコンテンツと相互作用することを可能にしてもよい。

図１２Ｂは、コントローラの移動が、ユーザの３Ｄ空間内のコンテンツの場所を更新する、またはユーザがコンテンツと相互作用することを可能にするために使用されるかどうかを制御するために利用され得る、例示的プロセス１３０３のフローチャートを示す。プロセス１３０３は、方向決定ブロック１３５０、コンテンツ境界決定ブロック１３５２、境界比較ブロック１３５４、コンテンツ移動ブロック１３５６、および入力識別ブロック１３５８、またはより少ないまたはより多いブロックのある組み合わせを含むことができる。

方向決定ブロック１３５０では、ＡＲシステムは、コントローラ、デバイス、ジェスチャ、または方向を示すことが可能な他の入力機構の指示ベクトルを決定してもよい。指示ベクトルは、入力デバイスが、電気機械的（例えば、トーテムまたはハンドヘルドコントローラ）、機械的、またはオブジェクト（例えば、ユーザの手、指、または光束）であるかどうかにかかわらず、１つまたはそれを上回る入力デバイスによって示される、ユーザの３Ｄ環境内の方向を含むことができる。いくつかの実施例では、指示ベクトルは、１人またはそれを上回るユーザジェスチャによって示される方向を含むことができる。いくつかの実施例では、指示ベクトルは、図１０Ａ－１１Ｂを参照して上記に説明されるようなハンドヘルドコントローラの示される方向を含むことができる。いくつかの実施例では、指示ベクトルは、コントローラ配向およびユーザの眼視線または入力の他の組み合わせ等、１つを上回る入力によって決定されてもよい。

コンテンツ境界決定ブロック１３５２では、ＡＲシステムは、仮想コンテンツの境界を決定してもよい。境界は、仮想コンテンツと関連付けられる空間の体積の１つまたはそれを上回る縁、空間の体積のあるサブセット（例えば、仮想コンテンツが非常に大きい場合）、または仮想コンテンツの境界線の周囲のある空間を含む、面積であってもよい。いくつかの実施例では、コンテンツ境界は、仮想コンテンツの１つを上回る断片と関連付けられ得る。

コンテンツ境界は、任意の形状であってもよい。例えば、コンテンツ境界は、直角プリズム、球体、切頂錐体、または他の形状であってもよい。いくつかの実施形態では、コンテンツ境界は、仮想コンテンツのものに類似する形状を有する場合とそうではない場合がある。例えば、コンテンツが、矩形メニューである場合、コンテンツ境界は、矩形であることができる。コンテンツが、円形である場合、コンテンツ境界は、円形または矩形であることができる。いくつかの実施例では、コンテンツ境界は、仮想コンテンツの同一または類似境界であってもよい。例えば、仮想コンテンツは、矩形双方向メニューの周囲のプリズムであってもよい。プリズムは、双方向メニューに等しいまたはそれ上回る長さおよび高さを有する、直角プリズムを有してもよい。いくつかの実施形態では、コンテンツ境界は、直角プリズムの縁であってもよい。

加えて、または代替として、コンテンツ境界は、水平および垂直方向に同一であってもよい、または異なってもよい。例えば、コンテンツ境界は、垂直方向において、水平方向より仮想コンテンツの縁からさらに離れてもよい。したがって、コンテンツは、垂直方向において、水平方向より少ないコントローラによる方向の変化を伴って、より多く移動してもよい。

コンテンツ境界は、仮想コンテンツまたは仮想コンテンツを含有するプリズムの境界より小さいまたはより大きくてもよい。例えば、コンテンツ境界は、仮想コンテンツの完全サイズより小さくあり得る、仮想コンテンツ（例えば、メニュータイル）の双方向部分の境界と一致してもよい。いくつかの実施例では、コンテンツ境界のサイズまたは形状は、コンテンツおよび／またはＡＲシステムの１つまたはそれを上回る側面に基づいて変動してもよい。例えば、コンテンツ境界は、異なるタイプの仮想コンテンツまたは仮想コンテンツと関連付けられるアプリケーションに関して異なってもよい。いくつかの実施形態では、コンテンツ境界は、ユーザの視野の一部またはあるパーセンテージを含むように延在することができる。いくつかの実施例では、コンテンツ境界は、１／３メートル、１／２メートル、１メートル、または他の値を有する、矩形直方体であってもよい。他の実施例では、境界は、ユーザの視野の１０％、２５％、または他の量であってもよい。いくつかの実施例では、仮想コンテンツは、設定閾値または境界内にフィットするようにサイズ決めまたは調節されてもよい。

図１２Ｃは、境界された体積１２１２内の例示的コンテンツ１２０６を図示し、図１２Ｄは、その指示ベクトルが、概して、境界された体積１２１２内のコンテンツ１２０６に向かうように配向される、コントローラ１２０８の上面図を図示する。本実施例では、境界された体積１２１２は、コンテンツ１２０６の面積１２３０より大きい。有利なこととして、本余剰面積は、その中でユーザが、コンテンツ移動をトリガせずに（例えば、コンテンツをコントローラの移動に追従させずに）、コントローラ１２０８の指示ベクトルの方向をコンテンツ１２０６の直近面積１２３０の外側に変化させ得る、パディングを可能にする。本余剰面積は、コンテンツ面積１２３０の縁からの角距離１２３２によって定義されることができる。角距離１２３２は、５度、１０度、または２０度等の任意の度数であることができる。角距離１２３２は、コンテンツ１２０６の面積１２３０の異なる縁において異なってもよい。例えば、角距離１２３２は、左または右縁において、コンテンツ面積１２３０の上部または底部縁より大きくてもよい。別の実施例では、角距離１２３２は、コンテンツ１２０６に基づいて異なってもよい。例えば、コンテンツ１２０６は、左側に、右側より双方向性であるコンテンツを有する、メニューであってもよい。コンテンツと相互作用する、ユーザは、指示ベクトルをより双方向性であるコンテンツを伴う側に向かって移動させる可能性がより高いため、ＡＲシステムは、より大きいパディングを左側に提供し、コンテンツ１２０６の新しい場所への偶発的移動を回避することに役立て、ユーザがコンテンツ１２０６と相互作用することをより容易にしてもよい。

図１２Ｂを継続して参照すると、境界比較ブロック１３５４では、ＡＲシステムは、コントローラの指示ベクトルがコンテンツ境界と交差するかどうかを決定してもよい。例えば、コントローラの指示ベクトルは、コンテンツ境界内またはコンテンツ境界の外側を通過してもよい。指示ベクトルが、コンテンツ境界と交差する場合、ＡＲシステムは、ブロック１３５８に進んでもよい。指示ベクトルが、コンテンツ境界と交差しない場合、ＡＲシステムは、ブロック１３５６に進んでもよい。

コンテンツ移動ブロック１３５６では、ＡＲシステムは、仮想コンテンツを新しい場所に移動させてもよい。例えば、ＡＲシステムは、コンテンツをコントローラの指示ベクトルに向かって移動させてもよい。点は、下記にさらに詳細に説明されるように、ＡＲシステムまたはアプリケーションと関連付けられる、１つまたはそれを上回る要因に基づいて決定されてもよい。ＡＲシステムは、指示ベクトルが、単に、コンテンツ境界と交差することを開始するように、コンテンツを移動させてもよい、または指示ベクトルがコンテンツの中心等のコンテンツ内の特定の点と交差するように、コンテンツを移動させてもよい。

ＡＲシステムは、一定または可変速度において、コンテンツを移動させてもよい。例えば、ＡＲシステムは、現在のコンテンツ場所と所望のコンテンツ場所との間の距離に基づいて計算される、速度において、コンテンツを移動させてもよい。いくつかの実施例では、速度は、より遠い距離に関しては、より高速であって、より短い距離に関しては、より低速であってもよい。いくつかの実施例では、速度は、可変であってもよい。例えば、コンテンツは、最初に、ゆっくりと移動し、加速し、次いで、目的地により近くなると、減速してもよい。

入力識別ブロック１３５８では、ＡＲシステムは、コンテンツと関連付けられる、ユーザ入力を受信してもよい。例えば、ユーザは、コントローラ（および／またはジェスチャ、音声コマンド、または同等物）を用いて、双方向コンテンツとの相互作用を示してもよい（コントローラ移動に関連した双方向コンテンツの継続移動ではなく）。ＡＲシステムは、インジケーションを受信し、インジケーションに基づいて、アクションを実施してもよい。例えば、コンテンツは、選択可能ボタンを有する、仮想メニューを含むことができる。ＡＲシステムは、インジケーションをユーザから受信し、選択可能ボタンのうちの１つまたはそれを上回るものを選択し、選択に基づいて、１つまたはそれを上回るアクションを実施してもよい。
Ｅ． 例示的コンテンツ追従移動

上記に述べられたように、ＡＲシステムは、コントローラの操作を通して、３Ｄ環境内の仮想コンテンツの移動を制御し、ユーザがその空間を動き回るにつれて、コンテンツが事実上ユーザに追従する結果をもたらしてもよい。図１３Ａ、１３Ｂ、および１３Ｃは、コントローラ１３０２を用いて、仮想コンテンツをコンテンツ場所１３０４において移動させることを含み得る、例示的コンテンツ移動環境の例示的側面を図示する。

コントローラ１３０２は、任意の多自由度入力デバイスであることができる。例えば、コントローラ１３０２は、ユーザの手またはその一部、図１０Ａ－１１Ｂを参照して上記に説明されるようなウェアラブルデバイスのコントローラ、指示方向、３自由度タッチ入力デバイス、同等物を提供することが可能な６自由度デバイス、またはそれらのある組み合わせを含むことができる。コントローラ１３０２は、コントローラ１３０２が方向を示すことを可能にする、センサ、制御、または出力コンポーネントのある組み合わせを有してもよい。いくつかの実施例では、示される方向は、コントローラ１３０２の軸と平行な方向と一致してもよい。いくつかの実施例では、コントローラ１３０２は、コントローラ１３０２の配向または位置付けを使用して、方向を示してもよい。示される方向は、次いで、コントローラ１３０２の指示ベクトルの方向を定義してもよい。

仮想コンテンツは、１つまたはそれを上回るプリズムを含むことができ、これは、概して、複合現実コンテンツと関連付けられる、３次元コンテナ、面積、または体積を説明し、これは、３Ｄオブジェクトの表現等の複数の仮想コンテンツアイテムを含有してもよい。図１３Ｂに図示されるように、プリズムは、幅ｗおよび高さｈおよび別の寸法を有し得る、境界された体積１３１８を含むことができる。プリズム内で境界されたコンテンツは、その中でコンテンツが境界されるプリズムを制御または設置することによって、ユーザの環境内で制御または設置されてもよい。本明細書で使用されるような仮想オブジェクトは、プリズムである、またはそれを含んでもよい。プリズムの種々の特性、使用、および実装は、２０１９年６月２７日に公開された米国特許公開第２０１９／０１９７７８５号（参照することによってその全体として本明細書に組み込まれる）に説明される。一実施例では、プリズム内のコンテンツは、アプリケーションと関連付けられるメニューを含んでもよい。例えば、仮想コンテンツは、メニュー内の１つまたはそれを上回る場所における入力を通して、ユーザ入力を受け取ることが可能な制御メニューを含むことができる。

仮想コンテンツは、ユーザの３Ｄ環境内の場所１３０４に中心合わせされてもよい。場所１３０４は、ユーザ、ウェアラブルデバイス、またはユーザの環境と関連付けられる、１つまたはそれを上回る要因に基づいてもよい。例えば、場所１３０４は、コントローラ１３０２の場所に対してもよい。コントローラ１３０２は、コントローラ１３０２上の点における原点を伴う、座標系を定義してもよい。場所１３０４が、コントローラ１３０２または他の基準点に対する場合、場所１３０４は、コントローラ１３０２と関連付けられる原点または指示ベクトル１３１２に沿った他の基準点までの距離の範囲内にあることができる。例えば、図１３Ｂに図示されるようなベクトル１３２２は、コントローラ１３０２の原点からコンテンツ場所（またはコンテンツと関連付けられる基準点）まで定義されてもよく、場所１３０４は、ベクトル１３２２に沿ってあってもよい。

図１３Ａを参照すると、コンテンツ場所１３０４を決定する際、ＡＲシステムは、コントローラ１３０２の指示ベクトル１３１２に沿って、コンテンツの場所１３０６を計算または決定してもよい。例えば、ＡＲシステムは、コントローラ１３０２における原点を有する、座標系を定義してもよい。座標系は、コントローラ１３０２の指示ベクトル１３１２と平行なｚ軸を有してもよい。コンテンツ場所１３０４は、コントローラ１３０２の座標系内に定義されることができる。したがって、コンテンツ場所１３０４は、ｚ成分（図１３Ａに図示されるように、ｚ１等）を有してもよい。ｚ成分は、コントローラ１３０２の指示ベクトル１３１２に沿ったコンテンツ場所１３０６に対応し得る。ｚ成分が、最小距離１３０７を下回る場合、ＡＲシステムは、ｚ成分が最小距離を上回るまたはそれに等しくなるまで、指示ベクトル１３１２に沿って、コンテンツを場所１３０４から移動させてもよい。ｚ成分が、最大距離１３０８を上回る場合、ＡＲシステムは、ｚ成分が最大距離未満またはそれに等しくなるまで、指示ベクトル１３１２に沿って、コンテンツを場所１３０４から移動させてもよい。

コンテンツ場所１３０４は、加えて、境界された体積１３１８の幅ｗおよび高さｈに対する基準点を有してもよい。コントローラ１３０２の指示ベクトル１３１２が、交点１３１４において、高さｈおよび幅ｗを有する、境界された体積１３１８と交差してもよい。点１３１４の場所が、境界された体積１３１８の幅ｗの外側にある場合、ＡＲシステムは、距離が境界内に入るまで、コンテンツを場所１３０４から水平に移動させてもよい。垂直距離が、境界された体積１３１８の境界高さｈを超える場合、ＡＲシステムは、距離が境界内に入るまで、コンテンツを場所１３０４から垂直に移動させてもよい。したがって、コントローラ１３０２が、境界された体積１３１８内で水平または垂直に回転または移動する場合、境界された体積１３１８の場所１３０４は、空間内で比較的に固定されたままであり得る。しかしながら、コントローラ１３０２が、境界された体積１３１８の外側で水平または垂直に移動する場合、ＡＲシステムは、仮想コンテンツおよび／または境界された体積１３１８を空間１３１４内の新しい場所に移動させてもよい。

図１３Ｃは、別の例示的コンテンツ移動環境１３０１を図示する。本例示的コンテンツ移動環境１３０１では、ＡＲシステムは、コンテンツ１３６２をコントローラ１３０２から離れた最小距離と最大距離との間に維持してもよい。例えば、コンテンツ１３６２とコントローラ１３０２との間の距離が、最小値未満である場合、ＡＲシステムは、距離を最小値に設定してもよい。加えて、または代替として、コンテンツ１２６２とコントローラ１３０２との間の距離が、最大値を上回る場合、ＡＲシステムは、距離を最大距離に設定してもよい。そうでなければ、ＡＲシステムは、コンテンツ１３６２とコントローラ１３０２との間の現在の距離を維持し、調節を行わなくてもよい。

加えて、または代替として、コンテンツ１３６２を容易に位置特定し、それと相互作用する、ユーザの能力は、例えば、コントローラがコンテンツ１３６２の境界の内側のスポットを指示するように、コンテンツ１３６２がコントローラ１３０２の正面に留まる場合、改良され得る。維持された距離を達成し、ユーザが、コンテンツ１３６２またはプリズムの内側のスポットを指示することを可能にすることに役立てるために、ＡＲシステムは、コンテンツ（例えば、プリズムまたは他の３次元コンテンツアイテム）を不可視球体１３６４の表面上に移動させてもよい。

図１３Ｃを参照すると、不可視球体１３６４は、中心１３６０をコントローラ１３０２上の点１３６０（またはコントローラ上のある他の点）に有してもよい。ＡＲシステムは、コンテンツ１３６２の場所を、原点を点１３６０に有する、球面座標に変換してもよい。球面座標は、距離、方位角φ（例えば、水平平面における回転）、および極性角度Θ（例えば、ピッチに類似する）を含んでもよい。他の実施形態では、別の座標系も、使用されてもよい。

上記の議論と同様に、コンテンツ１３６２（例えば、プリズムまたは他の３次元コンテンツ）は、境界のセットを有してもよい。境界のセットはまた、指定された中心１３６０を基準とする球面座標と関連付けられてもよい。本実施例では、ＡＲシステムは、コンテンツ１３６２の境界を基準とする球体１３６４の外面を決定してもよい（例えば、したがって、コンテンツの境界は、球体１３６４の表面に隣接して維持される）。１つの特定の実施例では、球面座標が、決定され、コントローラ１３０２からコンテンツ１３６２までのベクトルＣＰが以下のように定義されるように、Ｃは、コントローラ場所を表し、Ｐは、コンテンツ（例えば、プリズム）場所を表す。
ＣＰ＝Ｐ－Ｃ
式中、コントローラ１３０２とコンテンツ１３６２との間の距離は、ＣＰの長さであって、ベクトルの方位角は、ＣＰ．ｚ／ＣＰ．ｘの逆正接であって、ＣＰの水平距離は、ｈｙｐｏｔ（ＣＰ．ｘ、ＣＰ．ｙ）として計算され得る、Ｘ－Ｚ平面上に投影されたベクトルの距離であって、コンテンツ場所の高度は、高さ／水平距離またはａｒｃｔａｎ（ＣＰ．ｙ／ｈｏｒｉｚｏｎｔａｌ ｄｉｓｔａｎｃｅ）の逆正接である。いくつかの実施形態では、コンテンツ１３６２の場所は、例えば、プリズム、故に、コンテンツが、壁、テーブル、椅子、または同等物等の他の実または仮想オブジェクトに結び付けられ得る、場所を示し得る、プリズムの体積の中心における点またはプリズムの辺のうちの１つの中心（または他の場所）における点等、プリズムと関連付けられる、アンカであってもよい。

有利なこととして、いくつかの実施形態では、コントローラが、移動されるにつれて、コンテンツ１３６２の位置は、球体１３６４の外面上に留まるように調節される。例えば、コントローラ指示ベクトルの現在の方位角および極角が、球体の境界された面積の内側にある場合、ＡＲシステムは、コンテンツ１３６２の位置を維持してもよい。指示ベクトルの現在の方位角および／または極角が、球体の境界された面積の外側にある場合、ＡＲシステムは、コンテンツ１３６２の位置を更新してもよい。例えば、ＡＲシステムは、境界された面積上の最も近くの点とＣＰの現在の方位角との間の方位角における差異を決定してもよい。ＡＲシステムは、次いで、コンテンツ１３６２を移動させ、差異を低減させてもよい。加えて、または代替として、ＡＲシステムは、コンテンツの高度を調節し、コンテンツ場所およびＣＰの高度における差異を低減させてもよい。

１つの特定の実施例では、コンテンツ１３６０の位置は、距離に関して（例えば、最小および最大距離を参照して上記に述べられたように）、方位角および高度を参照して、調節されてもよい。コンテンツの方位角が調節される必要があるかどうかを決定するために、水平境界は、角度、例えば、距離によって除算される水平境界の半分の逆正接、すなわち、ａｒｃｔａｎ（（ｈｏｒｉｚ＿ｂｏｕｎｄｓ／２）／ｄｉｓｔａｎｃｅ）に変換されてもよい。方位角における差異が、本角度を上回る場合、ＡＲシステムは、方位角における差異を本角度まで低減させてもよい。コンテンツの高度角が調節される必要があるかどうかを決定するために、垂直境界は、角度、例えば、距離によって除算される垂直境界の半分の逆正接、すなわち、ａｒｃｔａｎ（（ｖｅｒｔ＿ｂｏｕｎｄｓ／２）／ｄｉｓｔａｎｃｅ）に変換されてもよい。高度における差異が、本角度を上回る場合、ＡＲシステムは、高度における差異を本角度まで低減させてもよい。

いくつかの実施例では、ＡＲシステムは、コンテンツ１３６０の座標をデカルト座標に変換してもよい。前述では、コンテンツの球面座標は、コントローラを基準とした。有利なこととして、デカルト座標を使用することは、ＡＲシステムが、コントローラ１３０２を基準とせずに、コンテンツをユーザの環境内に位置付けることを可能にすることができる。球面座標からデカルト（矩形）座標に変換するために、ＡＲシステムは、以下の式を適用してもよい。
Ｘ＝距離×ｃｏｓ（方位角）×ｃｏｓ（高度）
Ｙ＝距離×ｓｉｎ（高度）
Ｚ＝距離×ｓｉｎ（方位角）×ｃｏｓ（高度）
式中、Ｘは、ｘ座標に対応し、Ｙは、デカルト座標フレーム内のｙ座標に対応し、Ｚは、デカルト座標フレーム内のｚ座標に対応する。
Ｆ． 例示的コンテンツ配向

ＡＲシステムは、仮想コンテンツの配向をユーザの３Ｄ環境内で制御することが可能であってもよい。図１４Ａ－１４Ｃは、コントローラ１３０２と、頭部搭載型デバイス１４０２とを含む、仮想コンテンツ１４０４の配向を制御するための例示的コンテンツ配向環境１４００の側面を図示する。

図１４Ａを参照すると、コンテンツ配向環境１４００は、頭部搭載型ディスプレイ１４０２を装着し、および／またはコントローラ１３０２を使用して、仮想コンテンツ１４０４を操作および／または視認している、ユーザ１４０６を含むことができる。ユーザは、仮想コンテンツ１４０４をユーザ１４０６の３Ｄ環境内の場所１４１２において視認し得る。コンテンツは、ユーザの頭部姿勢と関連付けられる視線ベクトル１４０５に対して角度１４１０で表示されてもよい。いくつかの実施例では、角度１４１０は、ユーザがコンテンツ１４０４の表面をより容易に知覚し得るように、最適化されてもよい。いくつかの実施例では、角度１４１０は、コンテンツ１４０４の表面がユーザの視線方向と垂直であるようなものであってもよい。

図１４Ｂは、例示的コンテンツ配向環境１４０１の上下図を図示する。図１４Ｂに示されるように、コンテンツ１４２０は、コントローラ１３０２に向く（例えば、コントローラの姿勢と垂直なままである）ように、回転されてもよい。したがって、頭部搭載型ディスプレイ１４０２に向いたコンテンツ１４２０の表面は、ユーザの頭部搭載型ディスプレイに中心合わせされる座標系のＸ軸に対して角度１４２２まで回転されてもよい。角度１４２２は、コンテンツの表面１４２０が、コントローラ１３０２の指示ベクトルに対して垂直角度に係止されたままであるように、コントローラが移動するにつれて、更新されてもよい。別の実施例では、角度１４２２は、ユーザまたはアプリケーション入力に応じて、更新されてもよい。

図１４Ｃは、例示的コンテンツ配向環境１４０１の側面図を図示する。図１４Ｃに示されるように、コンテンツ１４２０は、ユーザの頭部または頭部搭載型ディスプレイ１４０２に向くように、回転されてもよい。したがって、頭部搭載型ディスプレイ１４０２またはユーザの頭部に向いたコンテンツ１４２０の表面は、ユーザの頭部搭載型ディスプレイに中心合わせされる座標系のｙ軸に対して角度１４３２まで回転されてもよい。角度１４３２は、コンテンツ１４２０の表面が、ユーザの頭部姿勢と関連付けられる視線ベクトル１４０５に対して垂直角度に係止されたままであるように、ユーザが、その頭部、眼視線、および／または頭部搭載型ディスプレイを移動させるにつれて、更新されてもよい。別の実施例では、角度１４３２は、ユーザまたはアプリケーション入力に応じて、更新されてもよい。いくつかの実施例では、角度１４３２は、コンテンツ１４２０の表面が、ユーザの頭部上の点等、ユーザと関連付けられる原点に向いて配向され得るように、コンテンツ１４２０の高さに基づいてもよい。別の実施例では、コンテンツ１４２０の角度１４３２および／または高さは、固定されてもよい。

図１４Ｄは、例示的コンテンツ配向プロセス１４０３のフローチャートを図示する。例えば、コンテンツ配向プロセス１４０３は、コンテンツ場所決定ブロック１４４２、頭部姿勢決定ブロック１４４４、コンテンツ配向ブロック、またはそれを上回るまたはより少ないブロックを含むことができる。

コンテンツ場所決定ブロック１４４２では、ＡＲシステムは、ユーザの３Ｄ環境内の仮想コンテンツの場所を決定してもよい。例えば、仮想コンテンツは、ユーザの正面の点（図１２Ａ－１３Ｂを参照して説明される移動ルールによって決定された場所等）に位置してもよい。ＡＲシステムは、仮想コンテンツ、アプリケーション、および／またはＡＲシステムからの入力、またはそれと関連付けられるデータに基づいて、コンテンツ場所を決定してもよい。

頭部姿勢決定ブロック１４４４では、ＡＲシステムは、ユーザの頭部姿勢を決定してもよい。例えば、ＡＲシステムは、ユーザによって装着される頭部搭載型ディスプレイと関連付けられる１つまたはそれを上回る外向きに向いたカメラ、慣性測定ユニット、それらのある組み合わせ、または他のセンサ等のＡＲシステムと関連付けられる１つまたはそれを上回るセンサを使用して、ユーザの頭部姿勢と関連付けられる、１つまたはそれを上回るパラメータを検出してもよい。ユーザの頭部姿勢は、ユーザの視線方向を決定することに役立てるために利用されてもよい。

コンテンツ配向ブロック１４４６では、ＡＲシステムは、ユーザのコンテンツ場所および視線方向を利用して、仮想コンテンツを再配向してもよい。例えば、ＡＲシステムは、決定されたコンテンツ場所にある間、ユーザの視線方向と垂直であるようにコンテンツの表面を配向してもよい。いくつかの実施例では、ＡＲシステムは、加えて、コンテンツを更新された配向において視認する際、ユーザの快適な視認体験を遂行するように、コンテンツの場所を移動させてもよい。
Ｇ． 例示的コンテンツ制御手順

図１５は、上記に説明される相互作用および移動手順と併せて利用され得る、例示的コンテンツアクセス手順を図示し、図１６は、例示的コンテンツドロップ手順を図示する。
１． メニューの開閉

いくつかの実施例では、コンテンツは、制御メニューを含んでもよい。図１５は、制御メニューにアクセスするための例示的メニューアクセスプロセス１５００を図示する。図１５を参照すると、メニューアクセスプロセス１５００は、インジケーションブロック１５０２、方向決定ブロック１５０４、開く場所決定ブロック１５０６、アニメーションブロック１５０８、メニュー表示ブロック１５１０、より少ないまたはより多いブロックを含むことができる。図１５の実施例は、制御メニューを参照して議論されるが、プロセスは、１つまたはそれを上回る双方向仮想オブジェクトを含む、プリズム等の他のコンテンツと併用されてもよい。

インジケーションブロック１５０２では、ＡＲシステムは、メニューまたは他のコンテンツを開く、またはそれにアクセスするためのインジケーションを受信してもよい。インジケーションは、入力、ジェスチャ、または姿勢を含むことができる。例えば、入力は、指示、ボタンの押下、またはＡＲシステムと関連付けられるコントローラの他の入力コンポーネントを含むことができる。別の実施例では、入力は、メニューまたは他のコンテンツにアクセスすることと関連付けられる、ジェスチャを含むことができる。ボタンの直接押下またはコントローラへの他の直接入力を伴わない、入力の場合、ＡＲシステムは、頭部搭載型ディスプレイの外向きに向いた結像システム等、ＡＲシステムと関連付けられる１つまたはそれを上回るセンサを使用して、入力を知覚し得る。例えば、入力は、ユーザの手またはポインティングデバイスによる６自由度指示を含むことができる。別の実施例では、入力は、多自由度タッチパッドへの入力を含むことができる。ＡＲシステムは、次いで、ジェスチャ、姿勢、または１つまたはそれを上回るセンサによって検出された他の間接または直接入力に基づいて、インジケーションが与えられるかどうかを決定してもよい。いくつかの実施例では、異なる入力は、異なるタイプのメニューまたは異なるコンテンツをもたらしてもよい。いくつかの実施例では、異なる入力は、同一メニューまたはコンテンツをもたらしてもよい。

方向決定ブロック１５０４では、ＡＲシステムは、コントローラ、デバイス、ジェスチャ、または方向を示すことが可能な他の入力機構の指示ベクトルを決定してもよい。指示ベクトルは、１つまたはそれを上回る入力デバイスによって示される、ユーザの３Ｄ環境内の方向を含むことができる。いくつかの実施例では、指示ベクトルは、６自由度入力デバイスまたはユーザの手を用いて、１つまたはそれを上回るユーザジェスチャによって示される、方向を含むことができる。別の実施例では、指示ベクトルは、３自由度タッチ入力によって示される方向を含むことができる。いくつかの実施例では、指示ベクトルは、図１０Ａ－１１Ｂを参照して上記に説明されるようなハンドヘルドコントローラの示される方向を含むことができる。いくつかの実施例では、指示ベクトルは、コントローラ配向およびユーザの眼視線または入力の他の組み合わせ等の１つを上回る入力によって決定されてもよい。

開く場所決定ブロック１５０６では、ＡＲシステムは、示されるメニューを開く、または別様にコンテンツをユーザの３Ｄ環境内に表示するための場所を決定または識別してもよい。場所は、焦点の決定された方向、またはユーザ、アプリケーション、またはＡＲシステムからの他の入力に基づいてもよい。例えば、ユーザは、その環境内でコントローラを指示してもよい。ＡＲシステムは、メニューまたは他の仮想コンテンツを指示ベクトルに沿った点に表示してもよい。指示ベクトルに沿った点は、限定ではないが、図１２Ａ－１３Ｂを参照して議論されるようなコンテンツ場所と関連付けられる１つまたはそれを上回るルールを含む、任意の数の要因に基づいて決定されてもよい。いくつかの実施例では、開く場所は、指示ベクトルに沿ったコントローラから離れた設定距離にあってもよい。別の実施例では、開く場所は、ユーザの視野の中心内にあってもよい。

アニメーションブロック１５０８では、ＡＲシステムは、アニメーション、音、フィードバック、または他の効果を生成し、メニューまたは他のコンテンツをユーザに対して開く場所を示してもよい。例えば、開く場所は、焦点光線の方向に沿った点であってもよい。焦点光線の方向は、現在ユーザによってその頭部搭載型ディスプレイを用いて知覚されていない、ユーザの３Ｄ環境の面積に向かって指向されてもよい。ユーザの注意をメニューまたは他のコンテンツを開いた場所に向けるために、ＡＲシステムは、アニメーションを表示し、触知フィードバックを生成し、または音を再生し、コンテンツがその場所に開かれようとしていることを示してもよい。例えば、ＡＲシステムは、コントローラまたは他の基準点から、焦点の方向に沿って、開く場所に向かって生じる、スパークまたは他のコンテンツを表示してもよい。したがって、ユーザの視線または注意は、メニューまたはコンテンツ場所に向けられる可能性がより高くなり得る。

メニュー表示ブロック１５１０では、ＡＲシステムは、ユーザがメニューまたは他の双方向仮想コンテンツを視認するために快適な配向において、メニューを開く場所に表示してもよい。例えば、メニューまたは他のコンテンツの配向および／または位置は、図１２Ａ－１４Ｄを参照して上記に説明される１つまたはそれを上回るプロセスに従って、表示および／または更新されてもよい。

加えて、または代替として、ＡＲシステムは、１つまたはそれを上回る閉じるインジケーションに基づいて、コンテンツまたはメニューを閉じる、または表示することを中止してもよい。閉じるインジケーションは、コントローラへの入力、ジェスチャ、コマンド、他の入力、またはメニューを表示することを中止するための入力のある組み合わせを含むことができる。閉じるインジケーションの受信に応じて、ＡＲシステムは、メニューまたは他のコンテンツを表示することを中止してもよい。
２． コンテンツドロップ

図１６は、図１２Ａおよび１２Ｂを参照して上記に説明されるようなコンテンツ追従移動を停止および開始するための例示的メニューアクセスプロセス１６００を図示する。図１６を参照すると、コンテンツドロッププロセス１６００は、場所決定ブロック１６０２と、追従決定ブロック１６０４と、表示ブロック１６０６と、追従決定ブロック１６０８と、追従ブロック１６１０とを含むことができる。

場所決定ブロック１６０２では、ＡＲシステムは、操作されている仮想コンテンツまたはメニューの現在の場所を決定することができる。例えば、仮想コンテンツまたはメニューは、図１２Ａ－１３Ｂを参照して上記に説明されるような焦点の方向と関連付けられる、指定された場所に移動されてもよい。ＡＲシステムは、その更新された場所またはユーザまたはユーザの３Ｄ環境と関連付けられる他の場所を決定し、コンテンツが位置する、または位置付けられるべき場所を識別してもよい。いくつかの実施例では、場所は、ユーザが、部屋を動き回り、コントローラの場所および焦点の方向の配向が変化するにつれて、更新されてもよい。いくつかの実施形態では、コンテンツは、ユーザの正面の固定距離に設置されてもよい。

追従決定ブロック１６０４では、ＡＲシステムは、ＡＲシステムがコンテンツの場所を更新し続けるべきかどうかを決定することができる。例えば、ＡＲシステムは、コンテンツの場所を更新し続ける（または追従プロセスまたは手順の）ための停止条件を識別してもよい。停止条件は、コンテンツの場所を更新することを停止するためのユーザまたは他のソースからのインジケーションを含むことができる。例えば、ユーザは、ジェスチャを行い、コマンドを発行し、またはコントローラ上のボタンまたは他の入力を押下し、コンテンツをユーザに追従させることを停止することができる。別の実施例では、ＡＲシステムは、ユーザが、境界された体積から退出した、または閾値追従条件を超過したことを識別してもよい。いくつかの実施例では、停止条件の組み合わせも、使用されてもよい。停止条件が、検出される場合、ＡＲシステムは、ブロック１６０６に進んでもよい。停止条件が、検出されない場合、ＡＲシステムは、ブロック１６１０に進み、図１２Ａ－１４Ｂを参照して上記に説明されるように、コンテンツの場所を更新し続け（換言すると、追従プロセスまたは手順を継続し）てもよい。

表示ブロック１６０６では、ＡＲシステムは、コンテンツをユーザの３Ｄ環境の現在または指定された場所に表示することができる。例えば、ＡＲシステムが、ブロック１６０４において、追従を停止するためのインジケーションを受信する場合、ＡＲシステムは、メニューまたはコンテンツが最後の更新された場所に留まるように、メニューまたは他のコンテンツをメニューまたはコンテンツの現在の場所にドロップしてもよい。いくつかの実施例では、ＡＲシステムは、図１４Ａ－１４Ｂを参照して上記に説明されるように、メニューまたはコンテンツの配向を更新し続けてもよい。いくつかの実施例では、ＡＲシステムはまた、メニューまたはコンテンツの配向を現在の配向にフリーズさせてもよい。いくつかの実施例では、ＡＲシステムは、ジェスチャ、コマンド、ボタンの押下、または別様に、ＡＲシステムにコンテンツの配向をフリーズまたはその更新を停止することを示すための入力をＡＲシステムに提供する等のフリーズ条件を検出すること結果として、メニューまたはコンテンツの配向をフリーズさせてもよい。いくつかの実施例では、ＡＲシステムが、ブロック１６１０において、停止条件を受信すると、ＡＲシステムは、配向をユーザの３Ｄ環境内の固定またはプリセット配向および／または高さに更新してもよい。例えば、ＡＲシステムは、ユーザがコンテンツを容易に視認し得るように、コンテンツを眼の高さに固定し、コンテンツの表面のためのコンテンツの配向がユーザの３Ｄ環境の床と垂直になるように固定してもよい。

追従決定ブロック１６０８では、ＡＲシステムは、ＡＲシステムがコンテンツの場所を更新し続けるべきであるかどうかを決定することができる。例えば、ＡＲシステムは、コンテンツの場所を更新する（または追従プロセスまたは手順の）ための開始条件を識別してもよい。開始条件は、コンテンツの場所の更新を開始するためのユーザからまたは他のソースからのインジケーションを含むことができる。例えば、ユーザは、コンテンツをユーザに追従させることを開始するためのジェスチャを行う、コマンドを発行する、ボタンを押下する、または他の入力を行うことができる。別の実施例では、ＡＲシステムは、ユーザが、境界された体積に進入した、または閾値追従条件を通過したことを識別してもよい。いくつかの実施例では、開始条件の組み合わせも、使用されてもよい。開始条件が、検出される場合、ＡＲシステムは、ブロック１６１０に進み、図１２Ａ－１４Ｂを参照して上記に説明されるように、コンテンツの場所を更新し続け（換言すると、追従プロセスまたは手順を継続し）てもよい。

いくつかの実施例では、ＡＲシステムが、コンテンツの場所および／または配向の更新を開始するためのインジケーションを受信すると、ＡＲシステムは、コンテンツをユーザの現在の場所に呼び出してもよい。例えば、ＡＲシステムは、コンテンツの現在の場所をユーザにより近い新しい場所に移動させてもよい。いくつかの実施例では、新しい場所は、上記の図１２Ａ－１４Ｂを参照して説明される、コンテンツの場所に関する１つまたはそれを上回るルールに基づいてもよい。いくつかの実施例では、ＡＲシステムは、呼出インジケーションが検出されるまで、コンテンツをユーザの現在の場所に呼び出すように、コンテンツの場所および／または配向を更新しなくてもよい。呼出インジケーションは、ジェスチャ、コマンド、ボタン押下、または他の入力を含むことができる。
Ｈ． コンテンツ追従システムの例示的アプリケーション

図１７は、個別のウェアラブルシステムの２人のユーザが、テレプレゼンスセッションを行っている、コンテンツ追従システムのための例示的アプリケーション１７００を描写する。２人のユーザ（本実施例では、Ａｌｉｃｅ９１２およびＢｏｂ９１４と命名される）が、本図に示される。２人のユーザが、テレプレゼンスセッションにおける他のユーザの仮想アバタを表すための図９Ｄ（例えば、システム６０のディスプレイデバイス７０）を参照して説明されるＨＭＤを含み得る、その個別のウェアラブルデバイス９０２および９０４を装着している。２人のユーザは、ウェアラブルデバイスを使用して、テレプレゼンスセッションを行うことができる。２人のユーザを分離する、図１７における垂直線は、ＡｌｉｃｅおよびＢｏｂが、彼らがテレプレゼンスを介して通信している間、２つの異なる場所に存在し得る（但し、その必要はない）ように意図されることを図示する（例えば、Ａｌｉｃｅは、Ａｔｌａｎｔａのそのオフィス内に存在する一方、Ｂｏｂは、Ｂｏｓｔｏｎの屋外に存在する）ことに留意されたい。

ウェアラブルデバイス９０２および９０４は、相互または他のユーザデバイスおよびコンピュータシステムと通信してもよい。例えば、Ａｌｉｃｅのウェアラブルデバイス９０２は、例えば、ネットワーク９９０を介して、Ｂｏｂのウェアラブルデバイス９０４と通信してもよい。ウェアラブルデバイス９０２および９０４は、ユーザの環境および環境内の移動（例えば、個別の外向きに向いた結像システム４６４、または１つまたはそれを上回る位置特定センサを介して）および発話（例えば、個別のオーディオセンサ２３２を介して）を追跡することができる。ウェアラブルデバイス９０２および９０４はまた、内向きに向いた結像システム４６２によって入手されたデータに基づいて、ユーザの眼移動または視線を追跡することができる。いくつかの状況では、ウェアラブルデバイスはまた、ユーザが反射表面の近くに存在する場合、ユーザの顔の表情または他の身体移動（例えば、腕または脚部の移動）を捕捉または追跡することができ、外向きに向いた結像システム４６４は、ユーザの反射された画像を取得し、ユーザの顔の表情または他の身体移動を観察することができる。

ウェアラブルデバイスは、第１のユーザおよび環境の入手された情報を使用して、第２のユーザのウェアラブルデバイスによってレンダリングされ、第１のユーザの存在の有形感覚を第２のユーザの環境内に作成するであろう、仮想アバタをアニメーション化することができる。例えば、ウェアラブルデバイス９０２および９０４、遠隔コンピューティングシステム９２０は、単独で、または組み合わせて、Ｂｏｂのウェアラブルデバイス９０４による提示のために、Ａｌｉｃｅの画像または移動を処理してもよい、またはＡｌｉｃｅのウェアラブルデバイス９０２による提示のために、Ｂｏｂの画像または移動を処理してもよい。本明細書にさらに説明されるように、アバタは、例えば、ユーザの意図、ユーザの環境またはその中にアバタがレンダリングされる環境、またはヒトの他の生物学的特徴等のコンテキスト情報に基づいて、レンダリングされることができる。

実施例は、２人のユーザのみを参照するが、本明細書に説明される技法は、２人のユーザに限定されるべきではない。ウェアラブル（または他のテレプレゼンスデバイス）を使用する、複数のユーザ（例えば、２人、３人、４人、５人、６人、またはそれを上回る人数）が、テレプレゼンスセッションに参加してもよい。特定のユーザのウェアラブルデバイスは、テレプレゼンスセッションの間、その特定のユーザに、他のユーザのアバタを提示することができる。さらに、本図における実施例は、環境内に立っているようにユーザを示すが、ユーザは、立っていることを要求されない。ユーザのいずれかは、テレプレゼンスセッションの間、立つ、座る、ひざまずく、横になる、歩く、または走る、または任意の位置または移動にあってもよい。ユーザはまた、本明細書の実施例に説明される以外の物理的環境内に存在してもよい。ユーザは、テレプレゼンスセッションを行う間、別個の環境に存在してもよい、または同一環境内に存在してもよい。全てのユーザが、テレプレゼンスセッションにおいて、その個別のＨＭＤを装着することが要求されるわけではない。例えば、Ａｌｉｃｅは、ウェブカメラおよびコンピュータ画面等の他の画像入手およびディスプレイデバイスを使用してもよい一方、Ｂｏｂは、ウェアラブルデバイス９０４を装着する。

Ｂｏｂは、アバタチャットセッションの間、例えば、コントローラ１７０４上のボタン押下を通して、チャットメニューまたは他のコンテンツ１７０２を表示するためのインジケーションを提供してもよい。ＢｏｂのＡＲシステムは、例えば、図１５を参照して上記に説明されるアクセスプロセス１５００に従って、コンテンツ１７０２を表示してもよい。コンテンツ１７０２は、Ｂｏｂの環境内の指示ベクトル１７０６に沿った場所において、Ｂｏｂに現れてもよい。コンテンツ１７０２は、例えば、上記の図１４Ｄを参照して説明される配向プロセスに従って、Ｂｏｂがコンテンツ１７０２を視認することを可能にするように配向されてもよい。コンテンツ１７０２は、Ａｌｉｃｅに可視である場合とそうではない場合がある。コンテンツ１７０２がＡｌｉｃｅに可視である、実施例では、コンテンツ１７０２は、Ａｌｉｃｅがコンテンツ１７０２を視認し得るように配向される場合とそうではない場合がある。Ｂｏｂが、アバタチャットの間、その空間を動き回り、コントローラまたは頭部搭載型ディスプレイを３Ｄ環境内で再配向するにつれて、コンテンツ１７０２は、上記に説明される１つまたはそれを上回るプロセスに従って、Ｂｏｂに追従してもよい。いくつかの実施例では、Ｂｏｂは、チャットメニューまたは他のコンテンツ１７０２をＢｏｂの環境内の所望の場所に設置してもよい。加えて、または代替として、Ｂｏｂは、コントローラ１７０４のより小さい移動を使用して、コンテンツ１７０２の一部を選択する、またはそれと相互作用してもよい。Ｂｏｂは、ＢｏｂのＡＲシステムへの１つまたはそれを上回るインジケーションを通して、チャットメニューまたは他のコンテンツ１７０２を閉じてもよい。
Ｉ． 付加的実施例

本明細書に開示されるものは、ＡＲシステムの付加的実施例である。開示される実施例のいずれかは、組み合わせられてもよい。

実施例１：拡張現実（ＡＲ）システムであって、
仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、
ユーザの環境の１つまたはそれを上回る画像を捕捉するように構成される、外向きに向いたカメラと、
ハンドヘルドコントローラの指示方向を示す、指示ベクトルを定義する、ハンドヘルドコントローラと、
ＡＲディスプレイ、外向きに向いたカメラ、およびハンドヘルドコントローラと通信する、ハードウェアプロセッサであって、
ＡＲディスプレイを介して、双方向コンテンツオブジェクトを表示し、
第１の相互作用モードでは、指示ベクトルが双方向コンテンツオブジェクト内に留まる間、双方向コンテンツオブジェクト内のハンドヘルドコントローラの移動を示し、ハンドヘルドコントローラを介して、双方向コンテンツオブジェクトとの相互作用を可能にし、
双方向コンテンツオブジェクトを基準として、指示ベクトルの変化を監視し、
双方向コンテンツオブジェクトの外側の指示ベクトルの移動の検出に応答して、本システムを第２の相互作用モードに更新し、ハンドヘルドコントローラは、双方向コンテンツオブジェクトが仮想環境内でハンドヘルドコントローラの移動に追従するように、双方向コンテンツオブジェクトの移動を生じさせ、
双方向コンテンツオブジェクトの内側のハンドヘルドコントローラの指示ベクトルの移動の検出に応答して、本システムを第１の相互作用モードに更新する、
ようにプログラムされる、ハードウェアプロセッサと、
を備える、システム。

実施例２：双方向コンテンツオブジェクトは、仮想オブジェクトを含有する、プリズムを備える、実施例１に記載のシステム。

実施例３：双方向コンテンツオブジェクトの少なくとも１つの縁は、仮想オブジェクトの対応する縁より仮想オブジェクトの中心から１０度さらに離れている、実施例１または２のうちのいずれか１項に記載のシステム。

実施例４：ハードウェアプロセッサは、双方向コンテンツを第１のコンテンツ場所に表示するためのインジケーションを受信するように構成される、実施例１－３のうちのいずれか１項に記載のシステム。

実施例５：インジケーションは、コントローラ上のボタンの押下および解放を備える、実施例４に記載のシステム。

実施例６：ハードウェアプロセッサは、ユーザに、第１のコンテンツ場所における双方向コンテンツの表示をアラートするように構成される、実施例４－５のうちのいずれか１項に記載のシステム。

実施例７：アラートは、グラフィック、触知フィードバック、または音のうちの少なくとも１つを含む、実施例６に記載のシステム。

実施例８：ハードウェアプロセッサは、ユーザの環境内における双方向コンテンツの表示を停止するためのインジケーションを受信するように構成される、実施例１－７のうちのいずれか１項に記載のシステム。

実施例９：インジケーションは、コントローラ上のボタンの押下および解放を備える、実施例８に記載のシステム。

実施例１０：ハードウェアプロセッサは、
第１のユーザ頭部姿勢を決定し、
第１のユーザ頭部姿勢に基づいて、第１のユーザ視線ベクトルを識別し、
双方向コンテンツオブジェクトの表面が第１のユーザ視線ベクトルと垂直となるように、双方向コンテンツを配向する、
ように構成される、実施例１－９のうちのいずれか１項に記載のシステム。

実施例１１：ハードウェアプロセッサは、
第２のユーザ頭部姿勢を決定し、
第２のユーザ頭部姿勢に基づいて、第２のユーザ視線ベクトルを識別し、
双方向コンテンツオブジェクトの表面が第２のユーザ視線ベクトルと垂直となるように、双方向コンテンツオブジェクトを配向する、
ように構成される、実施例１０に記載のシステム。

実施例１２：双方向コンテンツオブジェクトのピッチは、ユーザの頭部の高さに対して固定される、実施例１－１１に記載のシステム。

実施例１３：ハードウェアプロセッサは、
双方向コンテンツの移動を停止させるためのインジケーションを受信し、
移動を停止させるためのインジケーションの受信に応答して、双方向コンテンツの表示をユーザの環境内の現在のコンテンツ場所に維持する、
ように構成される、実施例１－１２のうちのいずれか１項に記載のシステム。

実施例１４：ハードウェアプロセッサは、
双方向コンテンツの移動を開始するためのインジケーションを受信し、
移動を開始するためのインジケーションの受信に応答して、双方向コンテンツがユーザの環境内の新しい場所に表示されることを可能にする、
ように構成される、実施例１３に記載のシステム。

実施例１５：拡張現実（ＡＲ）システムであって、
仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、
少なくとも６自由度を有する、ハンドヘルドコントローラと、
ＡＲディスプレイ、外向きに向いたカメラ、およびハンドヘルドコントローラと通信する、ハードウェアプロセッサであって、
双方向コンテンツを第１のコンテンツ場所に表示し、
コントローラによって示される方向を備える、第１の指示ベクトルを決定し、
第１の指示ベクトルが、双方向コンテンツと関連付けられる、境界された体積と交差するかどうかを決定し、
第１の指示ベクトルが、境界された体積と交差しないことの決定に応答して、双方向コンテンツを、第１の指示ベクトルの方向に沿った点と関連付けられる、第２のコンテンツ場所に移動させ、
第１の指示ベクトルが境界された体積と交差することの決定に応答して、第１のコンテンツ場所における双方向コンテンツと相互作用するためのインジケーションを受信する、
ようにプログラムされる、ハードウェアプロセッサと、
を備える、システム。

実施例１６：双方向コンテンツは、仮想オブジェクトを含有する、プリズムを備える、実施例１５に記載のシステム。

実施例１７：双方向コンテンツの少なくとも１つの縁は、仮想オブジェクトの対応する縁より仮想オブジェクトの中心から１０度さらに離れている、実施例１５または１６のうちのいずれか１項に記載のシステム。

実施例１８：ハードウェアプロセッサは、双方向コンテンツを第１のコンテンツ場所に表示するためのインジケーションを受信するように構成される、実施例１５に記載のシステム。

実施例１９：インジケーションは、コントローラ上のボタンの押下および解放を備える、実施例１８に記載のシステム。

実施例２０：ハードウェアプロセッサは、ユーザに、第１のコンテンツ場所における双方向コンテンツの表示をアラートするように構成される、実施例１８－１９のうちのいずれか１項に記載のシステム。

実施例２１：アラートは、グラフィック、触知フィードバック、または音のうちの少なくとも１つを含む、実施例２０に記載のシステム。

実施例２２：ハードウェアプロセッサは、ユーザの環境内における双方向コンテンツの表示を停止するためのインジケーションを受信するように構成される、実施例１５－２１のうちのいずれか１項に記載のシステム。

実施例２３：インジケーションは、コントローラ上のボタンの押下および解放を備える、実施例２２に記載のシステム。

実施例２４：ハードウェアプロセッサは、
第１のユーザ頭部姿勢を決定し、
第１のユーザ頭部姿勢に基づいて、第１のユーザ視線ベクトルを識別し、
双方向コンテンツの表面が第１のユーザ視線ベクトルと垂直になるように、双方向コンテンツを配向する、
ように構成される、実施例１５－２４のうちのいずれか１項に記載のシステム。

実施例２５：ハードウェアプロセッサは、
第２のユーザ頭部姿勢を決定し、
第２のユーザ頭部姿勢に基づいて、第２のユーザ視線ベクトルを識別し、
双方向コンテンツの表面が第２のユーザ視線ベクトルと垂直になるように、双方向コンテンツを配向する、
ように構成される、実施例２４に記載のシステム。

実施例２６：第１のコンテンツ場所および第２のコンテンツ場所は、接地面から同一高さにある、実施例１５－２５のうちのいずれか１項に記載のシステム。

実施例２７：双方向コンテンツのピッチは、ユーザの頭部の高さに対して固定される、実施例２６に記載のシステム。

実施例２８：ハードウェアプロセッサは、
双方向コンテンツの移動を停止させるためのインジケーションを受信し、
移動を停止させるためのインジケーションの受信に応答して、双方向コンテンツの表示をユーザの環境内の現在のコンテンツ場所に維持する、
ように構成される、実施例１５－２７のうちのいずれか１項に記載のシステム。

実施例２９：ハードウェアプロセッサは、
双方向コンテンツの移動を開始するためのインジケーションを受信し、
移動を開始するためのインジケーションの受信に応答して、双方向コンテンツがユーザの環境内の新しい場所に表示されることを可能にする、
ように構成される、実施例２８に記載のシステム。

実施例３０：仮想コンテンツを表示するための方法であって、
双方向コンテンツを第１のコンテンツ場所に表示するステップと、
コントローラによって示される方向を備える、第１の指示ベクトルを決定するステップと、
第１の指示ベクトルが、双方向コンテンツと関連付けられる、境界された体積と交差するかどうかを決定するステップと、
第１の指示ベクトルが、境界された体積と交差しないことの決定に応答して、双方向コンテンツを、第１の指示ベクトルの方向に沿った点と関連付けられる、第２のコンテンツ場所に移動させるステップと、
第１の指示ベクトルが境界された体積と交差することの決定に応答して、第１のコンテンツ場所における双方向コンテンツと相互作用するためのインジケーションを受信するステップと、
を含む、方法。

実施例３１：双方向コンテンツを第１のコンテンツ場所に表示するためのインジケーションを受信するステップを含む、実施例３０に記載の方法。

実施例３２：インジケーションは、コントローラ上のボタンの押下および解放を備える、実施例３１に記載の方法。

実施例３３：第１のコンテンツ場所における双方向コンテンツの表示と関連付けられるユーザに、アラートを通信するステップを含む、実施例３１－３２のうちのいずれか１項に記載の方法。

実施例３４：アラートは、グラフィック、触知フィードバック、または音のうちの少なくとも１つを含む、実施例３３に記載の方法。

実施例３５：ユーザの環境内における双方向コンテンツの表示を停止するためのインジケーションを受信するステップを含む、実施例３０－３４のうちのいずれか１項に記載の方法。

実施例３６：インジケーションは、コントローラ上のボタンの押下および解放を備える、実施例３５に記載の方法。

実施例３７：
第１のユーザ頭部姿勢を決定するステップと、
第１のユーザ頭部姿勢に基づいて、第１のユーザ視線ベクトルを識別するステップと、
双方向コンテンツの表面が第１のユーザ視線ベクトルと垂直になるように、双方向コンテンツを配向するステップと、
を含む、実施例３０－３６のうちのいずれか１項に記載の方法。

実施例３８：
第２のユーザ頭部姿勢を決定するステップと、
第２のユーザ頭部姿勢に基づいて、第２のユーザ視線ベクトルを識別するステップと、
双方向コンテンツの表面が第２のユーザ視線ベクトルと垂直になるように、双方向コンテンツを配向するステップと、
を含む、実施例３７に記載の方法。

実施例３９：第１のコンテンツ場所および第２のコンテンツ場所は、接地面から同一高さにある、実施例３０－３８のうちのいずれか１項に記載の方法。

実施例４０：双方向コンテンツのピッチは、ユーザの頭部の高さに対して固定される、実施例３９に記載の方法。

実施例４１：
双方向コンテンツの移動を停止させるためのインジケーションを受信するステップと、
移動を停止させるためのインジケーションの受信に応答して、双方向コンテンツの表示をユーザの環境内の現在のコンテンツ場所に維持するステップと、
を含む、実施例３０－４０のうちのいずれか１項に記載の方法。

実施例４２：
双方向コンテンツの移動を開始するためのインジケーションを受信するステップと、
移動を開始するためのインジケーションの受信に応答して、双方向コンテンツがユーザの環境内の新しい場所に表示されることを可能にするステップと、
を含む、実施例４１に記載の方法。

実施例４３：双方向コンテンツオブジェクトは、仮想オブジェクトを含有する、境界された体積を備える、上記の実施例のいずれかに記載の方法。

Ｊ． 他の考慮点

本明細書に説明される、および／または添付の図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、アニメーションまたはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップまたはアクションの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本実施形態に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例も、可能性として考えられる。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件付き用語は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることを意図している。したがって、そのような条件付き用語は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態のためにいかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるものであるべきかどうかを決定するための論理を必然的に含むことを合意することを意図していない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図するものではない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が、示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないことを認識されたい。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されていない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられてもよい。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合には、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (20)

1. 拡張現実（ＡＲ）システムであって、
   仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
   前記ユーザの環境の１つまたは複数の画像を捕捉するように構成される外向きに向いたカメラと、
   ハンドヘルドコントローラであって、前記ハンドヘルドコントローラは、前記ハンドヘルドコントローラの指示方向を示す指示ベクトルを定義する、ハンドヘルドコントローラと、
   前記ＡＲディスプレイ、前記外向きに向いたカメラ、および前記ハンドヘルドコントローラと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
   前記ＡＲディスプレイを介して、双方向コンテンツオブジェクトを表示することと、
   第１の相互作用モードにおいて、前記指示ベクトルが前記双方向コンテンツオブジェクト内に留まる間、前記双方向コンテンツオブジェクト内の前記ハンドヘルドコントローラの移動を示し、前記ハンドヘルドコントローラを介して、前記双方向コンテンツオブジェクトとの相互作用を可能にすることと、
   前記双方向コンテンツオブジェクトを基準として、前記指示ベクトルの変化を監視することと、
   前記双方向コンテンツオブジェクトの外側の前記指示ベクトルの移動を検出したことに応答して、前記システムを第２の相互作用モードに更新することであって、前記第２の相互作用モードにおいて、前記ハンドヘルドコントローラは、前記双方向コンテンツオブジェクトが仮想環境内で前記ハンドヘルドコントローラの移動に追従するように、前記双方向コンテンツオブジェクトの移動を生じさせる、ことと、
   前記双方向コンテンツオブジェクトの内側の前記ハンドヘルドコントローラの前記指示ベクトルの移動を検出したことに応答して、前記システムを前記第１の相互作用モードに更新することと
   を行うようにプログラムされる、ハードウェアプロセッサと
   を備える、システム。
2. 前記双方向コンテンツオブジェクトは、仮想オブジェクトを含有する境界された体積を備える、請求項１に記載のシステム。
3. 前記双方向コンテンツオブジェクトの少なくとも１つの縁は、前記仮想オブジェクトの対応する縁より前記仮想オブジェクトの中心から１０度さらに離れている、請求項２に記載のシステム。
4. 前記ハードウェアプロセッサは、前記双方向コンテンツオブジェクトを第１のコンテンツ場所に表示するためのインジケーションを受信するように構成される、請求項１に記載のシステム。
5. 前記インジケーションは、前記ハンドヘルドコントローラ上のボタンの押下および解放を備える、請求項４に記載のシステム。
6. 前記ハードウェアプロセッサは、前記ユーザに、前記第１のコンテンツ場所における前記双方向コンテンツオブジェクトの表示をアラートするように構成される、請求項４に記載のシステム。
7. 前記アラートは、グラフィック、触知フィードバック、または音のうちの少なくとも１つを含む、請求項６に記載のシステム。
8. 前記ハードウェアプロセッサは、前記ユーザの前記環境内における前記双方向コンテンツオブジェクトの表示を停止するためのインジケーションを受信するように構成される、請求項１に記載のシステム。
9. 前記インジケーションは、前記ハンドヘルドコントローラ上のボタンの押下および解放を備える、請求項８に記載のシステム。
10. 前記ハードウェアプロセッサは、
    第１のユーザ頭部姿勢を決定することと、
    前記第１のユーザ頭部姿勢に基づいて、第１のユーザ視線ベクトルを識別することと、
    前記双方向コンテンツオブジェクトの表面が前記第１のユーザ視線ベクトルと垂直となるように、前記双方向コンテンツオブジェクトを配向することと
    を行うように構成される、請求項１に記載のシステム。
11. 前記ハードウェアプロセッサは、
    第２のユーザ頭部姿勢を決定することと、
    前記第２のユーザ頭部姿勢に基づいて、第２のユーザ視線ベクトルを識別することと、
    前記双方向コンテンツオブジェクトの表面が前記第２のユーザ視線ベクトルと垂直となるように、前記双方向コンテンツオブジェクトを配向することと
    を行うように構成される、請求項１０に記載のシステム。
12. 前記双方向コンテンツオブジェクトのピッチは、前記ユーザの頭部の高さに対して固定される、請求項１に記載のシステム。
13. 前記ハードウェアプロセッサは、
    前記双方向コンテンツオブジェクトの移動を停止させるためのインジケーションを受信することと、
    前記移動を停止させるためのインジケーションを受信したことに応答して、前記双方向コンテンツオブジェクトの表示を前記ユーザの前記環境内の現在のコンテンツ場所に維持することと
    を行うように構成される、請求項１に記載のシステム。
14. 前記ハードウェアプロセッサは、
    前記双方向コンテンツオブジェクトの移動を開始するためのインジケーションを受信することと、
    前記移動を開始するためのインジケーションを受信したことに応答して、前記双方向コンテンツオブジェクトが前記ユーザの前記環境内の新しい場所に表示されることを可能にすることと
    を行うように構成される、請求項１３に記載のシステム。
15. 拡張現実（ＡＲ）システムであって、
    仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
    少なくとも６自由度を有するハンドヘルドコントローラと、
    前記ＡＲディスプレイおよび前記ハンドヘルドコントローラと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
    双方向コンテンツを第１のコンテンツ場所に表示することと、
    前記ハンドヘルドコントローラによって示される方向を備える第１の指示ベクトルを決定することと、
    前記第１の指示ベクトルが、前記双方向コンテンツと関連付けられる境界された体積と交差するかどうかを決定することと、
    前記第１の指示ベクトルが前記境界された体積と交差しないことを決定したことに応答して、前記双方向コンテンツを、前記第１の指示ベクトルの方向に沿った点と関連付けられる第２のコンテンツ場所に移動させることと、
    前記第１の指示ベクトルが前記境界された体積と交差することを決定したことに応答して、前記第１のコンテンツ場所における前記双方向コンテンツと相互作用するためのインジケーションを受信することと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、システム。
16. 前記双方向コンテンツは、仮想オブジェクトを含有する境界された体積を備える、請求項１５に記載のシステム。
17. 前記双方向コンテンツの少なくとも１つの縁は、前記仮想オブジェクトの対応する縁より前記仮想オブジェクトの中心から１０度さらに離れている、請求項１６に記載のシステム。
18. 前記ハードウェアプロセッサは、前記双方向コンテンツを前記第１のコンテンツ場所に表示するためのインジケーションを受信するように構成される、請求項１５に記載のシステム。
19. 前記インジケーションは、前記ハンドヘルドコントローラ上のボタンの押下および解放を備える、請求項１８に記載のシステム。
20. 前記ハードウェアプロセッサは、前記ユーザに、前記第１のコンテンツ場所における前記双方向コンテンツの表示をアラートするように構成される、請求項１８に記載のシステム。

Images