JP7538871B2 - アンカベースのクロスリアリティアプリケーションのための向上された状態制御 - Google Patents

Description

（参照による組み込み）
本願は、参照することによって、以下、すなわち、米国仮特許出願６２／９６６，４７７号、米国仮特許出願第６２／９３４，４８５号、米国特許出願第１６／５９３，７４５号、米国特許出願第１６／５１８，８９１号、米国特許公開第２０１９／０１８８４７４号、および米国特許公開第２０１９／０１９７７８５号のそれぞれの全体を組み込む。

本開示は、ディスプレイシステムに関し、より具体的には、拡張および仮想現実システムおよびデバイスに関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」シナリオは、一種のＡＲシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、ＭＲシナリオは、実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚される、ＡＲ画像コンテンツを含んでもよい。

図１を参照すると、ＡＲ場面１０が、描写されている。ＡＲ技術のユーザには、人々、木々、背景における建物、コンクリートプラットフォーム３０を特徴とする、実世界公園状設定２０が見える。ユーザはまた、実世界プラットフォーム３０上に立っているロボット像４０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ５０等の「仮想コンテンツ」を「見ている」と知覚する。これらの要素５０、４０は、実世界には存在しないという点で、「仮想」である。ある場合には、本コンテンツは、頭部搭載型ディスプレイを介して、ユーザに提示されてもよい。ある他の場合には、本コンテンツは、スマートフォンまたはタブレット等のポータブルデバイスを介して、ユーザに提示されてもよい。ヒトの視知覚系および仮想コンテンツの提示は、複雑であるため、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然な感覚で、かつ豊かな提示を促進する、ＡＲ技術を生産することは、困難である。

いくつかの実施形態によると、クロスリアリティ（ＸＲ）デバイスによって実装される方法が、説明される。ＸＲデバイスは、１つまたはそれを上回るプロセッサを備え、ＸＲデバイスは、仮想コンテンツをＸＲデバイスのユーザに提示するように構成される。本方法は、ＸＲデバイスの第１の閾値距離メトリック内に位置する、個別のアンカ場所を伴う、１つまたはそれを上回るアプリケーションを識別する情報を取得することであって、アンカ場所は、仮想コンテンツが提示されるべきである、実世界場所に対応する、ことを含む。複数の状態から選択される、個別の状態が、１つまたはそれを上回るアプリケーションに割り当てられるために決定され、状態は、アンカ場所とＸＲデバイスの近接度に基づいて決定される。その状態は、実装され、１つまたはそれを上回るアプリケーションの第１のアプリケーションは、仮想コンテンツをレンダリングするための状態を割り当てられ、第１のアプリケーションは、ＸＲデバイスを介して、仮想コンテンツを第１のアンカ場所に提示する。ＸＲデバイスの移動に応答して、更新された状態が、１つまたはそれを上回るアプリケーションのために決定される。いくつかの実施形態によると、システムが、１つまたはそれを上回るプロセッサを備え、これは、仮想コンテンツをシステムのユーザに提示するように構成され、本システムはさらに、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、上記の方法を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体を備える。いくつかの実施形態によると、非一過性コンピュータ記憶媒体が、１つまたはそれを上回るプロセッサを備え、仮想コンテンツをシステムのユーザに提示するように構成される、システムによって実行されると、１つまたはそれを上回るプロセッサに、上記の方法を含む、動作を実施させる、命令を記憶する。

いくつかの付加的実施例が、下記に提供される。

実施例１．１つまたはそれを上回るプロセッサを備える、クロスリアリティ（ＸＲ）デバイスによって実装される、方法であって、ＸＲデバイスは、仮想コンテンツをＸＲデバイスのユーザに提示するように構成され、ＸＲデバイスの第１の閾値距離メトリック内に位置する、個別のアンカ場所を伴う、１つまたはそれを上回るアプリケーションを識別する情報を取得することであって、アンカ場所は、仮想コンテンツが提示されるべきである、実世界場所に対応する、ことと、１つまたはそれを上回るアプリケーションに割り当てられるべきである、複数の状態から選択される、個別の状態を決定することであって、状態は、アンカ場所とＸＲデバイスの近接度に基づいて決定される、ことと、状態を実装することであって、１つまたはそれを上回るアプリケーションの第１のアプリケーションは、仮想コンテンツをレンダリングするための状態を割り当てられ、第１のアプリケーションは、ＸＲデバイスを介して、仮想コンテンツを第１のアンカ場所に提示する、ことと、ＸＲデバイスの移動に応答して、１つまたはそれを上回るアプリケーションのための更新された状態を決定することとを含む、方法。

実施例２．仮想コンテンツは、拡張現実コンテンツである、実施例１に記載の方法。

実施例３．外部システムに、ＸＲデバイスの場所を示す、情報を提供することと、外部システムから、１つまたはそれを上回るアプリケーションを識別する情報を受信することとをさらに含む、実施例１に記載の方法。

実施例４．ＸＲデバイスは、実行のために、１つまたはそれを上回るアプリケーションを受信する、実施例３に記載の方法。

実施例５．ＸＲデバイスは、１つまたはそれを上回るアプリケーションのサブセットを受信し、サブセットは、ＸＲデバイスの第２の閾値距離メトリック内に位置する、アンカ場所を有する、実施例３に記載の方法。

実施例６．ＸＲデバイスの移動に応答して、第２のアプリケーションは、第２の閾値距離メトリック内にアンカ場所を有すると決定され、第２のアプリケーションは、実行のために、外部システムから受信される、実施例５に記載の方法。

実施例７．ＸＲデバイスは、１つまたはそれを上回るアプリケーションを記憶する、実施例１に記載の方法。

実施例８．状態は、アンカ場所とＸＲデバイスの近接度およびアンカ場所に対するＸＲデバイスの視野に基づいて決定される、実施例１に記載の方法。

実施例９．第１のアプリケーションの状態を決定することは、第１のアプリケーションが位置付けられる、複数のゾーンの第１のゾーンを識別することを含み、ゾーンは、ＸＲデバイスの場所上に中心合わせされる、立体グリッド内に含まれ、第１のゾーンは、決定された状態と関連付けられる、実施例１に記載の方法。

実施例１０．第１のアプリケーションを示す、第１のゾーンは、第１のアプリケーションが、仮想コンテンツをレンダリングすることと関連付けられる、アクティブ状態に設定されるように、ＸＲデバイスの表示錐台内に位置付けられる、実施例９に記載の方法。

実施例１１．あるアプリケーションを示す、第２のゾーンは、アプリケーションが、仮想コンテンツをレンダリングすることと関連付けられない、状態に設定されるように、ＸＲデバイスの表示錐台の外側に位置付けられる、実施例９に記載の方法。

実施例１２．複数のゾーンは、アプリケーションが、アクティブに設定され、仮想コンテンツレンダリングすることと関連付けられる、状態、アプリケーションが、アクティブに設定され、仮想コンテンツをレンダリングすることと関連付けられない、状態、アプリケーションが、スリープ状態に設定される、状態、またはアプリケーションが、アンロードされた状態に設定される、状態を含む、状態と関連付けられる、実施例９に記載の方法。

実施例１３．立体グリッドは、複数のセルを備え、中心セルは、ＸＲデバイスの場所を含み、各ゾーンは、セルの個別の部分を包含する、実施例９に記載の方法。

実施例１４．セルは、矩形であって、各セルは、特定の実世界面積または体積を包含する、実施例１３に記載の方法。

実施例１５．ＸＲデバイスの移動は、ＸＲデバイスの位置の調節および／または姿勢の調節を含む、実施例１に記載の方法。

実施例１６．更新された状態は、１つまたはそれを上回るアプリケーションに適用される、実施例１に記載の方法。

実施例１７．ＸＲデバイスの移動に基づいて、新しいアプリケーションが、ＸＲデバイスの第１の閾値距離メトリック内にあると決定され、ある状態が、新しいアプリケーションのために決定される、実施例１に記載の方法。

実施例１８．識別されたアプリケーションをフィルタリングすることをさらに含み、フィルタリングすることは、ＸＲデバイスのユーザと関連付けられる、ユーザプロファイル情報にアクセスすることであって、ユーザプロファイル情報は、ユーザの選好を示す、ことと、選好に基づいて、識別されたアプリケーションをフィルタリングすることとを含む、実施例１に記載の方法。

実施例１９．識別されたアプリケーションをフィルタリングすることは、識別されたアプリケーションがアプリケーションの閾値数を超えることの決定に基づいて実施される、実施例１８に記載の方法。

実施例２０．閾値数のアプリケーションは、ＸＲデバイスの算出リソースの１つまたはそれを上回る測定値に基づく、実施例１９に記載の方法。

実施例２１．アクティブであって、仮想コンテンツをレンダリングすることと関連付けられる、決定された状態を伴う、閾値数を上回るアプリケーションを識別することと、１つまたはそれを上回るメトリックに従って、閾値数のアプリケーションをランク付けすることと、決定された状態を実装することであって、閾値数のアプリケーションの１つまたはそれを上回るアプリケーションは、ランク付けに従って、仮想コンテンツを提示し、閾値数のアプリケーションの残りのアプリケーションは、仮想コンテンツをレンダリングしないことと関連付けられる、状態に設定される、こととをさらに含む、実施例１９に記載の方法。

実施例２２．ＸＲデバイスは、仮想コンテンツを複数の深度面上に提示するように構成される、拡張現実ディスプレイデバイスであって、各深度面は、個別の遠近調節キューと関連付けられる、実施例１に記載の方法。

実施例２３．ＸＲデバイスは、モバイルデバイスである、実施例１に記載の方法。

実施例２４．ＸＲデバイスは、アプリケーションからの仮想コンテンツを異なる深度面上に提供するように構成される、頭部搭載型ディスプレイデバイスを備える、実施例１に記載の方法。

実施例２５．第１のアプリケーションは、１つまたはそれを上回るコンピュータの外部システムによって実行され、ＸＲデバイスは、提示のために、仮想コンテンツを外部システムから受信するように構成される、実施例１に記載の方法。

実施例２６．第１のアンカ場所は、ＸＲデバイスに近接する実世界と関連付けられる、記憶された持続的情報と比較した、ＸＲデバイスの１つまたはそれを上回る外向きに面した画像センサによって取得される１つまたはそれを上回る画像に基づいて決定される、実施例１に記載の方法。

実施例２７．持続的情報は、１つまたはそれを上回る持続的座標フレームを備える、実施例２６に記載の方法。

実施例２８．比較することは、画像内に含まれる特徴の生成された記述子と持続的情報と関連付けられる記述子を比較することを含む、実施例２６に記載の方法。

実施例２９．第１のアプリケーションは、空間の体積を表す、プリズム内に、仮想コンテンツを提示し、プリズムは、第１のアンカ場所と関連付けられる、実施例１に記載の方法。

実施例３０．１つまたはそれを上回るプロセッサを備える、システムであって、本システムは、仮想コンテンツをシステムのユーザに提示するように構成され、本システムはさらに、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、実施例１－２９に記載の方法を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体を備える。

実施例３１．非一過性コンピュータ記憶媒体であって、１つまたはそれを上回るプロセッサを備え、仮想コンテンツをシステムのユーザに提示するように構成される、システムによって実行されると、１つまたはそれを上回るプロセッサに、実施例１－２９に記載の方法を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
本発明は、例えば、以下を提供する。
（項目１）
１つまたはそれを上回るプロセッサを備えるクロスリアリティ（ＸＲ）デバイスによって実装される方法であって、前記ＸＲデバイスは、仮想コンテンツを前記ＸＲデバイスのユーザに提示するように構成され、前記方法は、
前記ＸＲデバイスの第１の閾値距離メトリック内に位置する個別のアンカ場所を伴う１つまたはそれを上回るアプリケーションを識別する情報を取得することであって、アンカ場所は、仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
前記１つまたはそれを上回るアプリケーションに割り当てられるべきである複数の状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記ＸＲデバイスの近接度に基づいて決定される、ことと、
前記状態を実装することであって、前記１つまたはそれを上回るアプリケーションの第１のアプリケーションは、仮想コンテンツをレンダリングするための状態を割り当てられ、前記第１のアプリケーションは、前記ＸＲデバイスを介して、仮想コンテンツを第１のアンカ場所に提示する、ことと、
前記ＸＲデバイスの移動に応答して、前記１つまたはそれを上回るアプリケーションのための更新された状態を決定することと
を含む、方法。
（項目２）
外部システムに、前記ＸＲデバイスの場所を示す情報を提供することと、
前記外部システムから、前記１つまたはそれを上回るアプリケーションを識別する情報を受信することと
をさらに含む、項目１に記載の方法。
（項目３）
前記ＸＲデバイスは、前記１つまたはそれを上回るアプリケーションのサブセットを受信し、前記サブセットは、前記ＸＲデバイスの第２の閾値距離メトリック内に位置するアンカ場所を有し、前記ＸＲデバイスの移動に応答して、第２のアプリケーションは、前記第２の閾値距離メトリック内にアンカ場所を有すると決定され、前記第２のアプリケーションは、実行のために、前記外部システムから受信される、項目２に記載の方法。
（項目４）
前記第１のアプリケーションの状態を決定することは、
前記第１のアプリケーションが位置付けられる複数のゾーンの第１のゾーンを識別することを含み、前記ゾーンは、前記ＸＲデバイスの場所上に中心合わせされる立体グリッド内に含まれ、前記第１のゾーンは、前記決定された状態と関連付けられる、項目１に記載の方法。
（項目５）
前記第１のアプリケーションを示す前記第１のゾーンは、前記第１のアプリケーションが、仮想コンテンツをレンダリングすることと関連付けられるアクティブ状態に設定されるように、前記ＸＲデバイスの表示錐台内に位置付けられる、項目４に記載の方法。
（項目６）
アプリケーションを示す第２のゾーンは、前記アプリケーションが、仮想コンテンツをレンダリングすることと関連付けられない状態に設定されるように、前記ＸＲデバイスの表示錐台の外側に位置付けられる、項目４に記載の方法。
（項目７）
前記複数のゾーンは、アプリケーションが、アクティブに設定され、仮想コンテンツレンダリングすることと関連付けられる状態、前記アプリケーションが、アクティブに設定され、仮想コンテンツをレンダリングすることと関連付けられない状態、前記アプリケーションが、スリープ状態に設定される状態、または前記アプリケーションが、アンロードされた状態に設定される状態を含む、状態と関連付けられる、項目４に記載の方法。
（項目８）
前記ＸＲデバイスの移動に基づいて、新しいアプリケーションが、前記ＸＲデバイスの第１の閾値距離メトリック内にあると決定され、状態が、前記新しいアプリケーションのために決定される、項目１に記載の方法。
（項目９）
アクティブであり、かつ仮想コンテンツをレンダリングすることと関連付けられる決定された状態を伴う閾値数を上回るアプリケーションを識別することと、
１つまたはそれを上回るメトリックに従って、前記閾値数のアプリケーションをランク付けすることと、
前記決定された状態を実装することであって、前記閾値数のアプリケーションの１つまたはそれを上回るアプリケーションは、前記ランク付けに従って、仮想コンテンツを提示し、前記閾値数のアプリケーションの残りのアプリケーションは、仮想コンテンツをレンダリングしないことと関連付けられる状態に設定される、ことと
をさらに含む、項目１に記載の方法。
（項目１０）
前記ＸＲデバイスは、仮想コンテンツを複数の深度面上に提示するように構成される拡張現実ディスプレイデバイスであり、各深度面は、個別の遠近調節キューと関連付けられる、項目１に記載の方法。
（項目１１）
前記第１のアンカ場所は、前記ＸＲデバイスに近接する実世界と関連付けられる記憶された持続的情報と比較した前記ＸＲデバイスの１つまたはそれを上回る外向きに面した画像センサによって取得される１つまたはそれを上回る画像に基づいて決定される、項目１に記載の方法。
（項目１２）
前記第１のアプリケーションは、空間の体積を表すプリズム内に、仮想コンテンツを提示し、前記プリズムは、前記第１のアンカ場所と関連付けられる、項目１に記載の方法。
（項目１３）
１つまたはそれを上回るプロセッサを備えるシステムであって、前記システムは、仮想コンテンツを前記システムのユーザに提示するように構成され、前記システムはさらに、命令を記憶している非一過性コンピュータ記憶媒体を備え、前記命令は、前記１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
ＸＲデバイスの第１の閾値距離メトリック内に位置する個別のアンカ場所を伴う１つまたはそれを上回るアプリケーションを識別する情報を取得することであって、アンカ場所は、仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
前記１つまたはそれを上回るアプリケーションに割り当てられるべきである複数の状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記ＸＲデバイスの近接度に基づいて決定される、ことと、
前記状態を実装することであって、前記１つまたはそれを上回るアプリケーションの第１のアプリケーションは、仮想コンテンツをレンダリングするための状態を割り当てられ、前記第１のアプリケーションは、前記ＸＲデバイスを介して、仮想コンテンツを第１のアンカ場所に提示する、ことと、
前記ＸＲデバイスの移動に応答して、前記１つまたはそれを上回るアプリケーションのための更新された状態を決定することと
を含む動作を実施させる、システム。
（項目１４）
前記第１のアプリケーションの状態を決定することは、
前記第１のアプリケーションが位置付けられる複数のゾーンの第１のゾーンを識別することを含み、前記ゾーンは、前記ＸＲデバイスの場所上に中心合わせされる立体グリッド内に含まれ、前記第１のゾーンは、前記決定された状態と関連付けられる、項目１３に記載のシステム。
（項目１５）
前記第１のアプリケーションを示す前記第１のゾーンは、前記第１のアプリケーションが、仮想コンテンツをレンダリングすることと関連付けられるアクティブ状態に設定されるように、前記ＸＲデバイスの表示錐台内に位置付けられ、アプリケーションを示す第２のゾーンは、前記アプリケーションが、仮想コンテンツをレンダリングすることと関連付けられない状態に設定されるように、前記ＸＲデバイスの表示錐台の外側に位置付けられる、項目１４に記載のシステム。
（項目１６）
前記複数のゾーンは、アプリケーションが、アクティブに設定され、仮想コンテンツレンダリングすることと関連付けられる状態、前記アプリケーションが、アクティブに設定され、仮想コンテンツをレンダリングすることと関連付けられない状態、前記アプリケーションが、スリープ状態に設定される状態、または前記アプリケーションが、アンロードされた状態に設定される状態を含む、状態と関連付けられる、項目１４に記載のシステム。
（項目１７）
前記動作はさらに、
アクティブであり、かつ仮想コンテンツをレンダリングすることと関連付けられる決定された状態を伴う閾値数を上回るアプリケーションを識別することと、
１つまたはそれを上回るメトリックに従って、前記閾値数のアプリケーションをランク付けすることと、
前記決定された状態を実装することであって、前記閾値数のアプリケーションの１つまたはそれを上回るアプリケーションは、前記ランク付けに従って、仮想コンテンツを提示し、前記閾値数のアプリケーションの残りのアプリケーションは、仮想コンテンツをレンダリングしないことと関連付けられる状態に設定される、ことと
を含む、項目１３に記載のシステム。
（項目１８）
非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、１つまたはそれを上回るプロセッサを備え、かつ仮想コンテンツをシステムのユーザに提示するように構成されるシステムによって実行されると、前記１つまたはそれを上回るプロセッサに、
ＸＲデバイスの第１の閾値距離メトリック内に位置する個別のアンカ場所を伴う１つまたはそれを上回るアプリケーションを識別する情報を取得することであって、アンカ場所は、仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
前記１つまたはそれを上回るアプリケーションに割り当てられるべきである複数の状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記ＸＲデバイスの近接度に基づいて決定される、ことと、
前記状態を実装することであって、前記１つまたはそれを上回るアプリケーションの第１のアプリケーションは、仮想コンテンツをレンダリングするための状態を割り当てられ、前記第１のアプリケーションは、前記ＸＲデバイスを介して、仮想コンテンツを第１のアンカ場所に提示する、ことと、
前記ＸＲデバイスの移動に応答して、前記１つまたはそれを上回るアプリケーションのための更新された状態を決定することと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。
（項目１９）
前記第１のアプリケーションの状態を決定することは、
前記第１のアプリケーションが位置付けられる複数のゾーンの第１のゾーンを識別することを含み、前記ゾーンは、前記ＸＲデバイスの場所上に中心合わせされる立体グリッド内に含まれ、前記第１のゾーンは、前記決定された状態と関連付けられる、項目１８に記載のコンピュータ記憶媒体。
（項目２０）
前記複数のゾーンは、アプリケーションが、アクティブに設定され、仮想コンテンツレンダリングすることと関連付けられる状態、前記アプリケーションが、アクティブに設定され、仮想コンテンツをレンダリングすることと関連付けられない状態、前記アプリケーションが、スリープ状態に設定される状態、または前記アプリケーションが、アンロードされた状態に設定される状態を含む、状態と関連付けられる、項目１９に記載のコンピュータ記憶媒体。

図１は、ＡＲデバイスを通した拡張現実（ＡＲ）のユーザのビューを図示する。

図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。

図３Ａ－３Ｃは、曲率半径と焦点半径との間の関係を図示する。

図４Ａは、ヒト視覚系の遠近調節－輻輳・開散運動応答の表現を図示する。

図４Ｂは、一対のユーザの眼の異なる遠近調節状態および輻輳・開散運動状態の実施例を図示する。

図４Ｃは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の実施例を図示する。

図４Ｄは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。

図５は、波面発散を修正することによって３次元画像をシミュレートするためのアプローチの側面を図示する。

図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。

図７は、導波管によって出力された出射ビームの実施例を図示する。

図８は、スタックされた接眼レンズの実施例を図示し、各深度面は、複数の異なる原色を使用して形成される画像を含む。

図９Ａは、それぞれ、内部結合光学要素を含む、スタックされた導波管のセットの実施例の断面側面図を図示する。

図９Ｂは、図９Ａの複数のスタックされた導波管の実施例の斜視図を図示する。

図９Ｃは、図９Ａおよび９Ｂの複数のスタックされた導波管の実施例の上下平面図を図示する。

図９Ｄは、複数のスタックされた導波管の別の実施例の上下平面図を図示する。

図９Ｅは、ウェアラブルディスプレイシステムの実施例を図示する。

図１０は、ＸＲデバイスのユーザとの異なる近接度におけるアプリケーションのための異なるアプリケーション状態を示す、ブロック図を図示する。

図１１は、状態をアプリケーションに割り当てることと関連付けられる、例示的状態図を図示する。

図１２は、アプリケーションの状態を更新するための例示的プロセスに関するフローチャートである。

図１３は、アプリケーションをフィルタリングするための例示的プロセスに関するフローチャートである。

図１４は、アプリケーションのランク付けに基づいてアプリケーションをレンダリングするための例示的プロセスに関するフローチャートである。

詳細な説明
いくつかの実施形態では、技法が、世界または具体的地理的領域全体を通して拡散されるアンカ場所を用いて、多数のアプリケーションの連携を有効にするために提供される。説明されるであろうように、各アプリケーションは、ディスプレイデバイスを介して、ユーザへの提示のための特定のコンテンツをレンダリングするために実行されてもよい。例示的コンテンツは、拡張現実、仮想現実、または複合現実、コンテンツ（本明細書では、「仮想コンテンツ」と称される）を含んでもよい。アプリケーションは、ディスプレイデバイスによって、ユーザが、そのアプリケーションと関連付けられる、アンカ場所（例えば、実世界場所）に近接することに基づいて、アクティブ化（例えば、実行）されてもよい。仮想コンテンツを表示するための例示的ディスプレイデバイスは、図９Ｅに図示されるディスプレイシステム６０等、ユーザによって装着される、ディスプレイデバイスを含んでもよい。別の例示的ディスプレイデバイスは、スマートフォン、タブレット等、仮想コンテンツを表示するためのポータブルディスプレイデバイスを含んでもよい。本明細書では、仮想コンテンツを表示するためのディスプレイデバイスは、クロスリアリティデバイスまたは「ＸＲ」デバイスと称され得る。

本明細書に説明されるように、アプリケーションは、ユーザが世界を横断するにつれて、異なる状態（例えば、アクティブ、非アクティブ、未ロード等）を割り当てられてもよい。このように、アプリケーションは、仮想コンテンツをユーザにレンダリングし、仮想コンテンツが実世界場所に存続するような錯覚を与え得る（例えば、実世界家電または特徴に類似する）。複数の（例えば、数十、数百、数千、数十万、またはそれを上回る）アプリケーションと、関連付けられるアンカ場所とが、存在し得る。ＸＲデバイスは、限定された算出リソース（例えば、限定されたメモリ、限定された処理パワー等）を有し得るため、ＸＲデバイスは、アプリケーションの全てを同時に実行することが不可能であり得る。同様に、ＸＲデバイスは、アプリケーションの全てを記憶することが不可能であり得る。したがって、状態の割当を連携させるための技法が、望ましい。これらの割り当てられた状態に基づいて、具体的アプリケーションのみが、仮想コンテンツをレンダリングすることを可能にされてもよい一方、他のアプリケーションは、ロードされる、アンロードされる、スリープ状態に置かれる等となってもよく、その状態の変化は、有利なこととして、ユーザにシームレスに現れる。加えて、ユーザに近接するアンカ場所と関連付けられる、アプリケーションを迅速に取得するための技法も、本明細書に説明される。
アプリケーション

図１に図示されるロボット像等の仮想現実コンテンツが、実世界環境を豊かにするために使用されてもよい。別の実施例として、仮想コンテンツは、ユーザが視認している実世界食物アイテムに関する栄養情報を提供するために使用されてもよい。本実施例では、テキスト情報が、実世界環境に提示され、栄養情報を説明してもよい。ユーザは、したがって、異なる食物アイテムと関連付けられる、利点、短所等を迅速に理解し得る。さらに別の実施例として、仮想コンテンツは、ユーザの自宅の部屋内の仮想ライトスイッチを表してもよい。ユーザは、仮想ライトスイッチに接近し、仮想ライトスイッチをオンまたはオフにするためのユーザ入力を提供してもよい。有利なこととして、デバイス（例えば、ユーザのＸＲデバイス）は、情報を部屋内のライトと関連付けられるコントローラに提供してもよい。したがって、仮想ライトスイッチとの相互作用は、部屋内の実世界のライトを調節させ得る。これは、ライトスイッチの配線と関連付けられる、複雑性を低減させるという例示的利点を有し得る。加えて、仮想ライトスイッチは、仮想ライトスイッチの設置の容易な調節を可能にし得る。例えば、ユーザは、部屋の異なる部分への仮想ライトスイッチの設置を更新するためのユーザ入力を提供してもよい。別の実施例として、仮想キーパッドまたはロックが、ドアと関連付けられてもよい。ユーザは、ドアに接近してもよく、仮想キーパッドまたはロックは、ユーザからの入力を受信するように現れてもよい。デバイスは、ユーザからの入力の受信に応じて、次いで、命令をドア上のコントローラに提供し、ドアを解錠または施錠してもよい。

上記の実施例に関して、仮想コンテンツは、ユーザの日常生活の異なる場面において、有用な機能性を提供し得ることを理解されたい。例えば、栄養情報は、店舗内の向上された体験を可能にし得る。別の実施例として、仮想ライトスイッチまたはキーパッドまたはロックは、ユーザの自宅内での向上された体験を可能にし得る。同様に、仮想コンテンツは、世界の他のエリア全体を通して拡散されてもよい。実施例として、仮想コンテンツは、ユーザが図書館にいる間に提示されてもよい。本実施例では、仮想コンテンツは、図書館の異なるセクション、異なる書籍、ユーザが関心を持つ書籍までの案内等に関連する情報を提供してもよい。別の実施例として、仮想コンテンツは、ユーザが街の通りを横断している際、店舗に近接して提示されてもよい。本実施例では、仮想コンテンツは、店舗のうちの１つまたはそれを上回るものに関する有用な情報をユーザに提供してもよい。別の実施例として、ユーザの友人が、仮想メッセージを実世界場所（例えば、特定の壁、店舗の看板の上方等）に関連付けてもよい。したがって、ユーザは、実世界場所に近接すると、仮想メッセージを視認し得る。

仮想コンテンツが世界全体を通して提示されることを可能にするために、異なるアプリケーションが、ＸＲデバイス上で実行されてもよく、これは、ＸＲデバイスに、異なる仮想コンテンツを提示させる。アプリケーションは、本明細書に説明されるように、ＸＲデバイスが、ユーザへの提示のために、仮想コンテンツをレンダリングすることを有効にし得る。アプリケーションは、仮想コンテンツを含んでもよい、または有線または無線通信を介して（例えば、ネットワークアドレスから）、特定の仮想コンテンツを取得してもよい。有利なこととして、本明細書に説明されるアプリケーションは、１つまたはそれを上回る実世界場所にアンカされてもよい。

したがって、ＸＲデバイスは、ユーザがアプリケーションと関連付けられるアンカ場所に近接して位置すると、アプリケーションを実行してもよい。ユーザの自宅の実施例に関して、特定のアプリケーションは、ＸＲデバイスに、仮想ライトスイッチを特定の部屋内にレンダリングさせてもよい。本実施例では、ＸＲデバイスは、ユーザが特定の部屋内または特定の部屋の閾値距離内にいるとき、特定のアプリケーションを実行させてもよい。キーパッドまたはロックの実施例に関して、ＸＲデバイスは、ユーザが、例えば、ドアまでの閾値近接度内にいるとき、特定のアプリケーションを実行させてもよい。

本明細書に説明されるアプリケーションは、ユーザが、あるアプリケーションをユーザのＸＲデバイス上にインストール（例えば、ロード）させ、デバイス上にローカルで常駐させ得るように、オンラインアプリケーションストアから取得されてもよい（例えば、ダウンロード可能「アプリ」として）。アプリケーションはまた、ＸＲデバイスによって自動的に、例えば、必要に応じて、オンデマンドで取得されてもよい。例えば、ユーザが、世界を横断するにつれて、ユーザデバイスは、あるアンカ場所に近接して位置付けられる。本実施例では、ユーザデバイスは、アンカ場所と関連付けられるアプリケーションを取得してもよい。実施例として、アプリケーションは、無線接続（例えば、ＬＴＥまたは５Ｇ等のセルラー接続、Ｗｉ－Ｆｉ接続等）を介して取得されてもよい。したがって、ユーザが、世界を中心として移動するにつれて、異なるアプリケーションが、実行のために取得されてもよい。このように、関連付けられる仮想コンテンツが、それが実世界内に固定して現れる（例えば、実世界場所上にアンカされる）ように、アプリケーションによってレンダリングされてもよい。
アプリケーションアンカ場所

上記に説明されるように、アプリケーションは、１つまたはそれを上回る関連付けられるアンカ場所を有してもよい。アンカ場所は、そこでアプリケーションが仮想コンテンツを提示するべきである、実世界場所であってもよい。このように、ユーザは、アンカ場所に位置するにつれて、仮想コンテンツを知覚し得る。例えば、栄養アプリケーションと関連付けられる第１のアンカ場所は、店舗内の第１のタイプの果物に近接してもよい一方、第２のアンカ場所は、第２のタイプの果物に近接してもよい。いくつかの実施形態では、実世界場所は、グローバルナビゲーション衛星システム（ＧＮＳＳ）場所（例えば、全地球測位システム場所）を表してもよい。したがって、アプリケーションは、本ＧＮＳＳ場所において知覚されるべき仮想コンテンツをレンダリングしてもよい。

いくつかの実施形態では、アプリケーションは、「プリズム」と称され得る、境界された体積内に仮想コンテンツをレンダリングしてもよい。各プリズムは、アプリケーションが、プリズム自体を管理することによって、複合現実環境内の仮想コンテンツの設置および表示を管理し得るように、アプリケーションが複合現実環境内のプリズムを管理および表示することを可能にする、特性および性質を有してもよい。例えば、仮想コンテンツのアンカ場所は、仮想コンテンツを含む、プリズムと関連付けられるアンカ場所を表してもよい。アプリケーションは、随意に、１つまたはそれを上回るプリズムと関連付けられてもよい。いくつかの実施形態では、プリズムは、各プリズムが明確に異なる体積を表すように、相互に重複しないように設定されてもよい。

各プリズムは、「プリズムマネージャ」と称され得る、プリズムを管理する、アプリケーションが、複合現実環境内の１つまたはそれを上回るプリズムと関連付けられる仮想コンテンツの表示を制御することを可能にする、特性および性質を有してもよい。いくつかの実施形態では、プリズムは、２Ｄディスプレイ環境内の「ウィンドウ」に類似し得る。２Ｄ環境では、ウィンドウは、場所およびメニュー構造を定義し、２Ｄコンテンツを表示するために使用され得る。同様に、ＸＲシステムの３Ｄ環境内では、プリズムは、プリズムマネージャが、例えば、コンテンツ場所、３Ｄウィンドウ挙動、および３Ｄコンテンツの表示の周囲のメニュー構造に関連する制御を提供することを可能にする。例えば、制御は、少なくとも、仮想コンテンツをユーザの環境内の特定の場所に設置すること、仮想コンテンツを環境から除去すること、仮想コンテンツをコピーすること、および／またはコピーを異なる場所に設置すること等を含んでもよい。

プリズムに関連する付加的説明は、米国特許公開第２０１９／０１９７７８５号および米国仮特許出願６２／９３４，４８５号内に含まれ、これは、本明細書に記載される場合と同様に、本開示の一部を形成する。

いくつかの実施形態では、実世界場所は、実世界の区別可能な特徴から決定されるような実世界内の特定の空間場所に対応し得る。実施例として、区別特徴は、角、壁上のマーク、縁、文字（例えば、文字「ｓ」）等の比較的に小特徴を含んでもよい。これらの区別特徴の組み合わせが、実世界場所を正確に規定するために使用されてもよい。ＸＲデバイスが、世界を中心として移動されるにつれて、ＸＲデバイスは、１つまたはそれを上回る外向きに面した画像センサを介して、世界の画像を取得してもよい。これらの取得された画像は、区別特徴を描写し得、これは、アプリケーションと関連付けられるアンカ場所を決定するために使用されてもよい。区別特徴は、物理的世界についての記憶された、または別様にアクセス可能である、持続的情報と比較されてもよい。このように、持続的情報は、取得された画像内に含まれる特徴と比較されてもよい。比較に基づいて、実質的に精密なアンカ場所が、決定され得る。

いくつかの実施形態では、物理的世界についての持続的情報は、持続的座標フレーム（ＰＣＦ）として表され得る。ＰＣＦは、１つまたはそれを上回る点に基づいて定義されてもよく、これは、物理的世界内で認識される特徴を表す。特徴は、それらがＸＲデバイスのユーザセッション毎に同一である可能性が高いように選択されてもよい。例えば、特徴は、持続的である可能性が高いように決定されてもよい。ＰＣＦは、それらが効率的に処理および転送され得るように、疎らに存在し、物理的世界についての利用可能な情報の全て未満を提供し得る。特徴は、実施例として、特徴に基づいて生成された記述子の比較に基づいて、ＸＲデバイスによって認識されてもよい。実施例として、記述子は、ＸＲデバイスによって取得される画像に描写されるような特徴（例えば、特定の区別特徴）または特徴を囲繞する面積に関して生成されてもよい。特徴に関する記述子は、次いで、１つまたはそれを上回るＰＣＦ（例えば、ＸＲデバイスの場所と関連付けられるＰＣＦ）内に含まれる特徴に関する記述子と比較されてもよい。記述子が、説明されるが、いくつかの実施形態では、ＸＲデバイスは、特徴を囲繞するパッチを比較してもよい。

ＸＲデバイスは、したがって、物理的世界の画像を取得し、画像内の特徴と１つまたはそれを上回るＰＣＦと関連付けられる特徴の比較に基づいて、アンカ場所を決定してもよい。いくつかの実施形態では、ＸＲデバイスは、ＸＲデバイスが使用時、実世界場所を表す、１つまたはそれを上回る持続的マップを記憶および／または生成してもよい。したがって、ＸＲデバイスは、持続的マップとＰＣＦを比較し、具体的アンカ場所を正確に識別し得る。このように、ＸＲデバイスは、仮想コンテンツの提示を具体的アンカ場所に生じさせ得る。実施例として、アンカ場所は、看板の上方、建物の特定の窓の左、図書館内のある棚の上、特定の部屋内に位置する壁上の特定の場所等の場所を含んでもよい。

アンカ場所の決定に関連する付加的説明は、少なくとも、米国特許出願第１６／５９３，７４５号の図６Ｂおよび１４に含まれ、これは、本明細書に記載される場合と同様に、本開示の一部を形成する。
アプリケーション状態の連携

本明細書に議論されるように、アプリケーションは、世界全体を通して拡散される、１つまたはそれを上回るアンカ場所を有してもよい。例えば、ユーザが、ある都市の通りを歩くにつれて、ユーザに近接する異なるアプリケーションのための多数のアンカ場所が存在してもよい。理解され得るように、ＸＲデバイスは、多数のアプリケーションのそれぞれを同時に実行することが不可能であり得る。例えば、ＸＲデバイスは、限定されたメモリ、算出リソースを有し得、および／または仮想コンテンツをアプリケーションの全てから提示するためのユーザ体験を低減させ得る。

したがって、利用可能な算出リソースに基づいて、ユーザが都市の通りを中心として移動するにつれて、アプリケーションの変化するサブセットを実行してもよい。本明細書に説明される技法を用いなければ、ある仮想コンテンツは、実世界内で存在および消失するようにユーザによって知覚され得る。これは、仮想コンテンツと関連付けられる現実性を低減させる、有害な影響を及ぼし得る。例えば、上記に説明されるように、仮想コンテンツは、実世界内に存続するように設計されてもよい。しかしながら、アプリケーションの実行を連携させるための技法を伴わなければ、仮想コンテンツは、限定された算出リソースに起因して、存続するように知覚され得ない。

有利なこととして、いくつかの実施形態によると、アプリケーションは、アプリケーションまでのユーザの近接度に基づいて、異なる状態を割り当てられてもよい。加えて、アプリケーションは、実世界に対するユーザまたはＸＲデバイスの目線にさらに基づいて、異なる状態を割り当てられてもよい。説明の便宜上、本開示では、アプリケーションは、アプリケーションが、ユーザに近接するアンカ場所と関連付けられる場合、ユーザに近接すると説明される。同様に、本開示は、関連付けられるアンカポイントがユーザまたはＸＲデバイスの視野または目線内にある場合、アプリケーションがユーザの視野または目線内にあると説明する。例えば、アプリケーションは、アプリケーションが、視野内のアンカ場所で知覚されるように、仮想コンテンツをレンダリングするように構成される場合、ユーザまたはＸＲデバイスの視野内にあると見なされ得る。

連携状態の実施例として、ユーザの閾値距離内のアンカ場所を伴うアプリケーション等、ユーザに近接すると決定される、アプリケーションは、「アクティブ＋レンダリング」状態を割り当てられてもよい。説明されるであろうように、アクティブ＋レンダリング状態は、アプリケーションに、ユーザへの提示のために、仮想コンテンツをレンダリングさせ得る。別の実施例として、ユーザに近接すると決定され、かつ視野内（例えば、表示錐台内）にあると決定される、アプリケーションは、「アクティブ＋レンダリング」状態を割り当てられてもよい。視野内にない、ユーザに近接する他のアプリケーションは、異なる状態を割り当てられてもよい。例えば、他のアプリケーションは、「アクティブ＋無レンダリング」、すなわち、「スリープ」状態を割り当てられてもよい。本実施例では、他のアプリケーションは、仮想コンテンツをレンダリングしなくてもよい。したがって、ＸＲデバイスの算出リソースは、節約され得る。いくつかの実施形態では、アプリケーションと関連付けられるプリズムは、状態を割り当てられてもよい。関連付けられるアプリケーションは、次いで、その状態を実装してもよい。例えば、プリズムが、「アクティブ＋レンダリング」を割り当てられる場合、関連付けられるアプリケーションは、仮想コンテンツをユーザに提示してもよい。

加えて、ＸＲデバイスは、ユーザが実世界を中心として移動するにつれて、アプリケーションを取得（例えば、ダウンロード）してもよい。例えば、ＸＲデバイスは、ＸＲデバイスの閾値距離内にアンカ場所を伴う、アプリケーションを識別してもよい。本実施例では、ＸＲデバイスは、場所情報を外部システムに提供してもよい。それに応答して、外部システムは、閾値距離内のアプリケーションを識別してもよい。ＸＲデバイスは、次いで、ＸＲデバイス上での実行のために、例えば、ローカル記憶装置から、または有線または無線接続を介して外部システムから、識別されたアプリケーションを取得（例えば、ロード）してもよい。各アプリケーションの状態は、ＸＲデバイスの移動に基づいて、例えば、「スリープ」または「アクティブ」に更新されてもよい。実施例として、ＸＲデバイスが、アプリケーションのより近くに移動するにつれて、アプリケーションは、「アクティブ」に更新されてもよい。対照的に、ＸＲデバイスが、アプリケーションからより遠くに移動するにつれて、アプリケーションは、「スリープ」に更新されてもよい、またはアプリケーションは、ＸＲデバイスからアンロード（例えば、ローカルメモリから除去）されてもよい。

アプリケーションのダウンロードに関連する付加的説明は、少なくとも、米国仮特許出願第６２／９３４，４８５号の図６４に説明され、これは、本明細書に記載される場合と同様に、本開示の一部を形成する。

このように、多くの（例えば、数十、数百、数千、または数十万またはそれを上回る）アプリケーションが、ＸＲデバイスによって、ＸＲデバイスの場所および／またはＸＲデバイスの視点に基づいて、シームレスにロードされ得る。ＸＲデバイスが、実世界を中心として移動するにつれて、以前にロードされたアプリケーションは、ＸＲデバイスによって、破棄（例えば、削除）されてもよい。このように、ＸＲデバイスは、ＸＲデバイスの閾値距離内のアンカ場所を伴う、アプリケーションを取得してもよい。したがって、仮想コンテンツは、アプリケーションのＸＲデバイスによる連携に基づいて、実世界内に存続すると知覚され得る。

下記の図２－９Ｅは、仮想コンテンツをユーザに出力することが可能な拡張現実デバイスおよびシステムに関連する例示的詳細を説明する。有利なこととして、拡張現実デバイスおよびシステムは、仮想コンテンツを異なる深度面上に出力してもよい。各深度面は、仮想コンテンツがユーザから異なる深度に位置付けられるように知覚され得るように、異なる遠近調節キューと関連付けられ得る。下記の説明は、ディスプレイシステム２５０等、本明細書に開示されるアプリケーション連携技法を使用して仮想コンテンツを提供するためのディスプレイデバイスの特に有利な実施例として、複数の深度面を伴う拡張現実デバイスを説明するが、本明細書に説明される技法は、概して、ＸＲデバイス上に実装されてもよいことを理解されたい。

例えば、ユーザデバイス（例えば、モバイルデバイス、タブレット等）は、仮想コンテンツをユーザに提示してもよい。本実施例では、ユーザデバイスは、１つまたはそれを上回る外向きに面した結像センサを使用して、実世界環境の画像を取得してもよい。ユーザデバイスは、ユーザデバイスのディスプレイを介して、実世界環境を提示し、レンダリングされた仮想コンテンツを提示に含んでもよい。このように、ユーザは、ユーザデバイスを実世界環境を中心として移動させ、その中に含まれる仮想コンテンツを視認してもよい。

ここで、同様の参照番号が全体を通して同様の部分を指す、図面を参照する。別様に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。
例示的拡張現実ディスプレイシステム

図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、離間されており、空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する、眼２１０、２２０毎に１つの同一仮想オブジェクトの若干異なるビューを伴う２つの明確に異なる画像１９０、２００を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するために解釈し得る、両眼キューを提供する。

図２を継続して参照すると、画像１９０、２００は、ｚ－軸上で距離２３０だけ眼２１０、２２０から離間される。ｚ－軸は、その眼が視認者の直前の光学無限遠におけるオブジェクトを固視している状態の視認者の光学軸と平行である。画像１９０、２００は、平坦であって、眼２１０、２２０から固定距離にある。それぞれ、眼２１０、２２０に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、必然的に、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように回転し得る。本回転は、眼２１０、２２０のそれぞれの視線を仮想オブジェクトが存在するように知覚される空間内の点上に収束させ得る。その結果、３次元画像の提供は、従来、ユーザの眼２１０、２２０の輻輳・開散運動を操作し得、ヒト視覚系が深度の知覚を提供するように解釈する、両眼キューを提供することを伴う。

しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。図３Ａ－３Ｃは、距離と光線の発散との間の関係を図示する。オブジェクトと眼２１０との間の距離は、減少距離Ｒ１、Ｒ２、およびＲ３の順序で表される。図３Ａ－３Ｃに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に言えば、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点（オブジェクトまたはオブジェクトの一部）によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率は、オブジェクトと眼２１０との間の距離の減少に伴って増加する。単眼２１０のみが、例証を明確にするために、図３Ａ－３Ｃおよび本明細書の種々の他の図に図示されるが、眼２１０に関する議論は、視認者の両眼２１０および２２０に適用され得る。

図３Ａ－３Ｃを継続して参照すると、視認者の眼が固視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なるように集束され得、これは、ひいては、水晶体に、異なる形状をとり、集束された画像を眼の網膜上に形成することを要求し得る。集束された画像が、網膜上に形成されない場合、結果として生じる網膜ぼけは、集束された画像が網膜上に形成されるまで、眼の水晶体の形状に変化を生じさせる、遠近調節のためのキューとして作用する。例えば、遠近調節のためのキューは、眼の水晶体を囲繞する毛様筋の弛緩または収縮をトリガし、それによって、水晶体を保持する提靱帯に印加される力を変調し、したがって、固視されているオブジェクトの網膜ぼけが排除または最小限にされるまで、眼の水晶体の形状を変化させ、それによって、固視されているオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、固視されているオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。

ここで図４Ａを参照すると、ヒト視覚系の遠近調節－輻輳・開散運動応答の表現が、図示される。オブジェクトを固視するための眼の移動は、眼にオブジェクトからの光を受光させ、光は、画像を眼の網膜のそれぞれ上に形成する。網膜上に形成される画像内の網膜ぼけの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、輻輳・開散運動のためのキューを提供し得る。遠近調節するためのキューは、遠近調節を生じさせ、眼の水晶体がオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成する特定の遠近調節状態をとる結果をもたらす。一方、輻輳・開散運動のためのキューは、各眼の各網膜上に形成される画像が単一両眼視を維持する対応する網膜点にあるように、輻輳・開散運動移動（眼の回転）を生じさせる。これらの位置では、眼は、特定の輻輳・開散運動状態をとっていると言え得る。図４Ａを継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、輻輳・開散運動は、眼が特定の輻輳・開散運動状態を達成するプロセスであると理解され得る。図４Ａに示されるように、眼の遠近調節および輻輳・開散運動状態は、ユーザが別のオブジェクトを固視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがｚ－軸上の異なる深度における新しいオブジェクトを固視する場合、変化し得る。

理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動および遠近調節の組み合わせに起因して、オブジェクトを「３次元」であると知覚し得ると考えられる。上記に記載されるように、２つの眼の相互に対する輻輳・開散運動移動（例えば、瞳孔が相互に向かって、またはそこから移動し、眼の視線を収束させ、オブジェクトを固視するような眼の回転）は、眼の水晶体の遠近調節と密接に関連付けられる。正常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化は、「遠近調節－輻輳・開散運動反射」として知られる関係下、同一距離への輻輳・開散運動の合致する変化を自動的に生じさせるであろう。同様に、輻輳・開散運動の変化は、正常条件下、水晶体形状における合致する変化を誘起するであろう。

ここで図４Ｂを参照すると、眼の異なる遠近調節および輻輳・開散運動状態の実施例が、図示される。対の眼２２２ａは、光学無限遠におけるオブジェクトを固視する一方、対の眼２２２ｂは、光学無限遠未満におけるオブジェクト２２１を固視する。着目すべきこととして、各対の眼の輻輳・開散運動状態は、異なり、対の眼２２２ａは、まっすぐ指向される一方、対の眼２２２は、オブジェクト２２１上に収束する。各対の眼２２２ａおよび２２２ｂを形成する眼の遠近調節状態もまた、水晶体２１０ａ、２２０ａの異なる形状によって表されるように異なる。

望ましくないことに、従来の「３－Ｄ」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節と輻輳・開散運動状態との間の不整合に起因して、そのような従来のシステムを不快であると見出す、または奥行感を全く知覚しない場合がある。上記に記載されるように、多くの立体視または「３－Ｄ」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の輻輳・開散運動状態に変化を生じさせるが、それらの眼の遠近調節状態に対応する変化を伴わないため、多くの視認者にとって不快である。むしろ、画像は、眼が全ての画像情報を単一遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態における整合する変化を伴わずに輻輳・開散運動状態に変化を生じさせることによって、「遠近調節－輻輳・開散運動反射」に逆らう。本不整合は、視認者不快感を生じさせると考えられる。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態では、異なる提示は、輻輳・開散運動のためのキューおよび遠近調節するための整合するキューの両方を提供し、それによって、生理学的に正しい遠近調節－輻輳・開散運動整合を提供してもよい。

図４Ｂを継続して参照すると、眼２１０、２２０からの空間内の異なる距離に対応する、２つの深度面２４０が、図示される。所与の深度面２４０に関して、輻輳・開散運動キューが、眼２１０、２２０毎に適切に異なる視点の画像を表示することによって提供されてもよい。加えて、所与の深度面２４０に関して、各眼２１０、２２０に提供される画像を形成する光は、その深度面２４０の距離におけるある点によって生成されたライトフィールドに対応する波面発散を有してもよい。

図示される実施形態では、点２２１を含有する、深度面２４０のｚ－軸に沿った距離は、１ｍである。本明細書で使用されるように、ｚ－軸に沿った距離または深度は、ユーザの眼の射出瞳に位置するゼロ点を用いて測定されてもよい。したがって、１ｍの深度に位置する深度面２４０は、眼が光学無限遠に向かって指向される状態におけるそれらの眼の光学軸上のユーザの眼の射出瞳から１ｍ離れた距離に対応する。近似値として、ｚ－軸に沿った深度または距離は、ユーザの眼の正面のディスプレイ（例えば、導波管の表面）から測定され、デバイスとユーザの眼の射出瞳との間の距離に関する値が加えられてもよい。その値は、瞳距離と呼ばれ、ユーザの眼の射出瞳と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応し得る。実際は、瞳距離に関する値は、概して、全ての視認者に関して使用される、正規化された値であってもよい。例えば、瞳距離は、２０ｍｍであると仮定され得、１ｍの深度における深度面は、ディスプレイの正面の９８０ｍｍの距離にあり得る。

ここで図４Ｃおよび４Ｄを参照すると、整合遠近調節－輻輳・開散運動距離および不整合遠近調節－輻輳・開散運動距離の実施例が、それぞれ、図示される。図４Ｃに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼２１０、２２０に提供してもよい。画像は、眼２１０、２２０に、眼が深度面２４０上の点１５上に収束する、輻輳・開散運動状態をとらせ得る。加えて、画像は、その深度面２４０における実オブジェクトに対応する波面曲率を有する光によって形成され得る。その結果、眼２１０、２２０は、画像がそれらの眼の網膜上に合焦された遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度面２４０上の点１５にあるように知覚し得る。

眼２１０、２２０の遠近調節および輻輳・開散運動状態はそれぞれ、ｚ－軸上の特定の距離と関連付けられることを理解されたい。例えば、眼２１０、２２０からの特定の距離におけるオブジェクトは、それらの眼に、オブジェクトの距離に基づいて、特定の遠近調節状態をとらせる。特定の遠近調節状態と関連付けられる距離は、遠近調節距離Ａ_ｄと称され得る。同様に、特定の輻輳・開散運動状態または相互に対する位置における眼と関連付けられる特定の輻輳・開散運動距離Ｖ_ｄが、存在する。遠近調節距離および輻輳・開散運動距離が整合する場合、遠近調節と輻輳・開散運動との間の関係は、生理学的に正しいと言え得る。これは、視認者のために最も快適なシナリオと見なされる。

しかしながら、立体視ディスプレイでは、遠近調節距離および輻輳・開散運動距離は、常時、整合しない場合がある。例えば、図４Ｄに図示されるように、眼２１０、２２０に表示される画像は、深度面２４０に対応する波面発散を伴って表示され得、眼２１０、２２０は、その深度面上の点１５ａ、１５ｂが合焦する、特定の遠近調節状態をとり得る。しかしながら、眼２１０、２２０に表示される画像は、眼２１０、２２０を深度面２４０上に位置しない点１５上に収束させる、輻輳・開散運動のためのキューを提供し得る。その結果、いくつかの実施形態では、遠近調節距離は、眼２１０、２２０の射出瞳から深度面２４０までの距離に対応する一方、輻輳・開散運動距離は、眼２１０、２２０の射出瞳から点１５までのより大きい距離に対応する。遠近調節距離は、輻輳・開散運動距離と異なる。その結果、遠近調節－輻輳・開散運動不整合が存在する。そのような不整合は、望ましくないと見なされ、不快感をユーザに生じさせ得る。不整合は、距離（例えば、Ｖ_ｄ－Ａ_ｄ）に対応し、ジオプタを使用して特徴付けられ得ることを理解されたい。

いくつかの実施形態では、同一参照点が遠近調節距離および輻輳・開散運動距離のために利用される限り、眼２１０、２２０の射出瞳以外の参照点が、遠近調節－輻輳・開散運動不整合を決定するための距離を決定するために利用されてもよいことを理解されたい。例えば、距離は、角膜から深度面まで、網膜から深度面まで、接眼レンズ（例えば、ディスプレイデバイスの導波管）から深度面まで等で測定され得る。

理論によって限定されるわけではないが、ユーザは、不整合自体が有意な不快感を生じさせずに、依然として、最大約０．２５ジオプタ、最大約０．３３ジオプタ、および最大約０．５ジオプタの遠近調節－輻輳・開散運動不整合が生理学的に正しいとして知覚し得ると考えられる。いくつかの実施形態では、本明細書に開示されるディスプレイシステム（例えば、ディスプレイシステム２５０、図６）は、約０．５ジオプタまたはそれ未満の遠近調節－輻輳・開散運動不整合を有する画像を視認者に提示する。いくつかの他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節－輻輳・開散運動不整合は、約０．３３ジオプタまたはそれ未満である。さらに他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節－輻輳・開散運動不整合は、約０．２５ジオプタまたはそれ未満であって、約０．１ジオプタまたはそれ未満を含む。

図５は、波面発散を修正することによって、３次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光７７０を受光し、その光をユーザの眼２１０に出力するように構成される、導波管２７０を含む。導波管２７０は、所望の深度面２４０上のある点によって生成されたライトフィールドの波面発散に対応する定義された波面発散量を伴って光６５０を出力してもよい。いくつかの実施形態では、同一量の波面発散が、その深度面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、類似導波管からの画像情報を提供され得るように図示されるであろう。

いくつかの実施形態では、単一導波管が、単一または限定数の深度面に対応する設定された波面発散量を伴う光を出力するように構成されてもよく、および／または導波管は、限定された範囲の波長の光を出力するように構成されてもよい。その結果、いくつかの実施形態では、複数またはスタックの導波管が、異なる深度面のための異なる波面発散量を提供し、および／または異なる範囲の波長の光を出力するために利用されてもよい。本明細書で使用されるように、深度面は、平面であり得る、または湾曲表面の輪郭に追従し得ることを理解されたい。

図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム２５０は、複数の導波管２７０、２８０、２９０、３００、３１０を使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ２６０を含む。ディスプレイシステム２５０は、いくつかの実施形態では、ライトフィールドディスプレイと見なされてもよいことを理解されたい。加えて、導波管アセンブリ２６０はまた、接眼レンズとも称され得る。

いくつかの実施形態では、ディスプレイシステム２５０は、輻輳・開散運動するための実質的に連続キューおよび遠近調節するための複数の離散キューを提供するように構成されてもよい。輻輳・開散運動のためのキューは、異なる画像をユーザの眼のそれぞれに表示することによって提供されてもよく、遠近調節のためのキューは、選択可能離散量の波面発散を伴う画像を形成する光を出力することによって提供されてもよい。換言すると、ディスプレイシステム２５０は、可変レベルの波面発散を伴う光を出力するように構成されてもよい。いくつかの実施形態では、波面発散の各離散レベルは、特定の深度面に対応し、導波管２７０、２８０、２９０、３００、３１０のうちの特定の１つによって提供されてもよい。

図６を継続して参照すると、導波管アセンブリ２６０はまた、複数の特徴３２０、３３０、３４０、３５０を導波管の間に含んでもよい。いくつかの実施形態では、特徴３２０、３３０、３４０、３５０は、１つまたはそれを上回るレンズであってもよい。導波管２７０、２８０、２９０、３００、３１０および／または

複数のレンズ３２０、３３０、３４０、３５０は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス３６０、３７０、３８０、３９０、４００は、導波管のための光源として機能してもよく、画像情報を導波管２７０、２８０、２９０、３００、３１０の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼２１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス３６０、３７０、３８０、３９０、４００の出力表面４１０、４２０、４３０、４４０、４５０から出射し、導波管２７０、２８０、２９０、３００、３１０の対応する入力表面４６０、４７０、４８０、４９０、５００の中に投入される。いくつかの実施形態では、入力表面４６０、４７０、４８０、４９０、５００はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部（すなわち、世界５１０または視認者の眼２１０に直接面する導波管表面のうちの１つ）であってもよい。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼２１０に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。いくつかの実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００のうちの単一の１つは、複数（例えば、３つ）の導波管２７０、２８０、２９０、３００、３１０と関連付けられ、その中に光を投入してもよい。

いくつかの実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００はそれぞれ、対応する導波管２７０、２８０、２９０、３００、３１０の中への投入のための画像情報をそれぞれ生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００は、例えば、１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス３６０、３７０、３８０、３９０、４００のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス３６０、３７０、３８０、３９０、４００によって提供される画像情報は、異なる波長または色（例えば、本明細書に議論されるように、異なる原色）の光を含んでもよいことを理解されたい。

いくつかの実施形態では、導波管２７０、２８０、２９０、３００、３１０の中に投入される光は、光投影システム５２０によって提供され、これは、光モジュール５３０を備え、これは、発光ダイオード（ＬＥＤ）等の光エミッタを含んでもよい。光モジュール５３０からの光は、ビームスプリッタ５５０を介して、光変調器５４０、例えば、空間光変調器によって指向および修正されてもよい。光変調器５４０は、導波管２７０、２８０、２９０、３００、３１０の中に投入される光の知覚される強度を変化させ、光を画像情報でエンコードするように構成されてもよい。空間光変調器の実施例は、シリコン上液晶（ＬＣＯＳ）ディスプレイを含む、液晶ディスプレイ（ＬＣＤ）を含む。いくつかの他の実施形態では、空間光変調器は、デジタル光処理（ＤＬＰ）デバイス等のＭＥＭＳデバイスであってもよい。画像投入デバイス３６０、３７０、３８０、３９０、４００は、図式的に図示され、いくつかの実施形態では、これらの画像投入デバイスは、光を導波管２７０、２８０、２９０、３００、３１０の関連付けられるものの中に出力するように構成される、共通投影システム内の異なる光経路および場所を表し得ることを理解されたい。いくつかの実施形態では、導波管アセンブリ２６０の導波管は、導波管の中に投入された光をユーザの眼に中継しながら、理想的レンズとして機能し得る。本概念では、オブジェクトは、空間光変調器５４０であってもよく、画像は、深度面上の画像であってもよい。

いくつかの実施形態では、ディスプレイシステム２５０は、光を種々のパターン（例えば、ラスタ走査、螺旋走査、リサジューパターン等）で１つまたはそれを上回る導波管２７０、２８０、２９０、３００、３１０の中に、最終的には、視認者の眼２１０に投影するように構成される、１つまたはそれを上回る走査ファイバを備える、走査ファイバディスプレイであってもよい。いくつかの実施形態では、図示される画像投入デバイス３６０、３７０、３８０、３９０、４００は、光を１つまたは複数の導波管２７０、２８０、２９０、３００、３１０の中に投入するように構成される、単一走査ファイバまたは走査ファイバの束を図式的に表し得る。いくつかの他の実施形態では、図示される画像投入デバイス３６０、３７０、３８０、３９０、４００は、複数の走査ファイバまたは走査ファイバの複数の束を図式的に表し得、それぞれ、光を導波管２７０、２８０、２９０、３００、３１０のうちの関連付けられる１つの中に投入するように構成される。１つまたはそれを上回る光ファイバは、光を光モジュール５３０から１つまたはそれを上回る導波管２７０、２８０、２９０、３００、３１０に透過させるように構成されてもよいことを理解されたい。１つまたはそれを上回る介在光学構造が、走査ファイバまたは複数のファイバと、１つまたはそれを上回る導波管２７０、２８０、２９０、３００、３１０との間に提供され、例えば、走査ファイバから出射する光を１つまたはそれを上回る導波管２７０、２８０、２９０、３００、３１０の中に再指向してもよいことを理解されたい。

コントローラ５６０は、画像投入デバイス３６０、３７０、３８０、３９０、４００、光源５３０、および光変調器５４０の動作を含む、スタックされた導波管アセンブリ２６０のうちの１つまたはそれを上回るものの動作を制御する。いくつかの実施形態では、コントローラ５６０は、ローカルデータ処理モジュール１４０の一部である。コントローラ５６０は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管２７０、２８０、２９０、３００、３１０への画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性媒体内の命令）を含む。いくつかの実施形態では、コントローラは、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ５６０は、いくつかの実施形態では、処理モジュール１４０または１５０（図９Ｅ）の一部であってもよい。

図６を継続して参照すると、導波管２７０、２８０、２９０、３００、３１０は、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管２７０、２８０、２９０、３００、３１０はそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管２７０、２８０、２９０、３００、３１０はそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼２１０に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素５７０、５８０、５９０、６００、６１０を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素５７０、５８０、５９０、６００、６１０は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明を容易にし、図面を明確にするために、導波管２７０、２８０、２９０、３００、３１０の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、本明細書にさらに議論されるように、上部および／または底部主要表面に配置されてもよく、および／または導波管２７０、２８０、２９０、３００、３１０の容積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、透明基板に取り付けられ、導波管２７０、２８０、２９０、３００、３１０を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管２７０、２８０、２９０、３００、３１０は、材料のモノリシック片であってもよく、外部結合光学要素５７０、５８０、５９０、６００、６１０は、その材料片の表面上および／または内部に形成されてもよい。

図６を継続して参照すると、本明細書に議論されるように、各導波管２７０、２８０、２９０、３００、３１０が、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管２７０は、眼２１０にコリメートされた光（そのような導波管２７０の中に投入された）を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管２８０は、眼２１０に到達し得る前に、第１のレンズ３５０（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第１のレンズ３５０は、眼／脳が、その次の上方の導波管２８０から生じる光を光学無限遠から眼２１０に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管２９０は、眼２１０に到達する前に、その出力光を第１のレンズ３５０および第２のレンズ３４０の両方を通して通過させる。第１のレンズ３５０および第２のレンズ３４０の組み合わせられた屈折力は、眼／脳が、第３の導波管２９０から生じる光が次の上方の導波管２８０からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。

他の導波管層３００、３１０およびレンズ３３０、３２０も同様に構成され、スタック内の最高導波管３１０が、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ２６０の他側の世界５１０から生じる光を視認／解釈するとき、レンズ３２０、３３０、３４０、３５０のスタックを補償するために、補償レンズ層６２０が、スタックの上部に配置され、下方のレンズスタック３２０、３３０、３４０、３５０の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい（すなわち、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。

いくつかの実施形態では、導波管２７０、２８０、２９０、３００、３１０のうちの２つまたはそれを上回るものは、同一の関連付けられる深度面を有してもよい。例えば、複数の導波管２７０、２８０、２９０、３００、３１０が、同一深度面に設定される画像を出力するように構成されてもよい、または導波管２７０、２８０、２９０、３００、３１０の複数のサブセットが、深度面毎に１つのセットを伴う、同一の複数の深度面に設定される画像を出力するように構成されてもよい。これは、それらの深度面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供し得る。

図６を継続して参照すると、外部結合光学要素５７０、５８０、５９０、６００、６１０は、導波管と関連付けられる特定の深度面のために、光をそれらの個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられる深度面を有する導波管は、外部結合光学要素５７０、５８０、５９０、６００、６１０の異なる構成を有してもよく、これは、関連付けられる深度面に応じて、異なる量の発散を伴って光を出力する。いくつかの実施形態では、光抽出光学要素５７０、５８０、５９０、６００、６１０は、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素５７０、５８０、５９０、６００、６１０は、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。いくつかの実施形態では、特徴３２０、３３０、３４０、３５０は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空隙を形成するためのクラッディング層および／または構造）。

いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、回折パターンを形成する回折特徴または「回折光学要素」（また、本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼２１０に向かって偏向される一方、残りがＴＩＲを介して、導波管を通して移動し続けるように、十分に低回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼２１０に向かって非常に均一なパターンの出射放出となる。

いくつかの実施形態では、１つまたはそれを上回るＤＯＥは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体中に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられてもよい（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられてもよい（その場合、パターンは、入射光を能動的に回折させる）。

いくつかの実施形態では、カメラアセンブリ６３０（例えば、可視光および赤外線光カメラを含む、デジタルカメラ）が、眼２１０および／または眼２１０の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出する、および／またはユーザの生理学的状態を監視するために提供されてもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ６３０は、画像捕捉デバイスと、光（例えば、赤外線光）を眼に投影し、次いで、眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブリ６３０は、フレームまたは支持構造８０（図９Ｅ）に取り付けられてもよく、カメラアセンブリ６３０からの画像情報を処理し得る、処理モジュール１４０および／または１５０と電気通信してもよい。いくつかの実施形態では、１つのカメラアセンブリ６３０が、眼毎に利用され、各眼を別個に監視してもよい。

カメラアセンブリ６３０は、いくつかの実施形態では、ユーザの眼移動等のユーザの移動を観察してもよい。実施例として、カメラアセンブリ６３０は、眼２１０の画像を捕捉し、眼２１０の瞳孔（または眼２１０のある他の構造）のサイズ、位置、および／または配向を決定してもよい。カメラアセンブリ６３０は、所望に応じて、ユーザが見ている方向（例えば、眼姿勢または視線方向）を決定するために使用される、画像（本明細書に説明されるタイプの処理回路網によって処理される）を取得してもよい。いくつかの実施形態では、カメラアセンブリ６３０は、複数のカメラを含んでもよく、そのうちの少なくとも１つは、眼毎に利用され、独立して、各眼の眼姿勢または視線方向を別個に決定してもよい。カメラアセンブリ６３０は、いくつかの実施形態では、コントローラ５６０またはローカルデータ処理モジュール１４０等の処理回路網と組み合わせて、カメラアセンブリ６３０内に含まれる光源から反射された光（例えば、赤外線光）の閃光（例えば、反射）に基づいて、眼姿勢または視線方向を決定してもよい。

ここで図７を参照すると、導波管によって出力された出射ビームの実施例が、示される。１つの導波管が図示されるが、導波管アセンブリ２６０（図６）内の他の導波管も同様に機能し得、導波管アセンブリ２６０は、複数の導波管を含むことを理解されたい。光６４０が、導波管２７０の入力表面４６０において導波管２７０の中に投入され、ＴＩＲによって導波管２７０内を伝搬する。光６４０がＤＯＥ５７０上に衝突する点において、光の一部が、出射ビーム６５０として導波管から出射する。出射ビーム６５０は、略平行として図示されるが、本明細書に議論されるように、また、導波管２７０と関連付けられる深度面に応じて、（例えば、発散出射ビームを形成する）ある角度で眼２１０に伝搬するように再指向されてもよい。略平行出射ビームは、眼２１０からの遠距離（例えば、光学無限遠）における深度面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットが、より発散する、出射ビームパターンを出力してもよく、これは、眼２１０がより近い距離に遠近調節し、網膜上に合焦させることを要求し、光学無限遠より眼２１０に近い距離からの光として脳によって解釈されるであろう。

いくつかの実施形態では、フルカラー画像が、原色、例えば、３つまたはそれを上回る原色のそれぞれに画像をオーバーレイすることによって、各深度面において形成されてもよい。図８は、スタックされた導波管アセンブリの実施例を図示し、各深度面は、複数の異なる原色を使用して形成される画像を含む。図示される実施形態は、深度面２４０ａ－２４０ｆを示すが、より多いまたはより少ない深度もまた、検討される。各深度面は、第１の色Ｇの第１の画像、第２の色Ｒの第２の画像、および第３の色Ｂの第３の画像を含む、それと関連付けられる３つまたはそれを上回る原色画像を有してもよい。異なる深度面は、文字Ｇ、Ｒ、およびＢに続くジオプタ（ｄｐｔ）に関する異なる数字によって図に示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ（１／ｍ）、すなわち、視認者からの深度面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度面の正確な場所は、変動してもよい。例えば、所与の深度面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得、および／または色収差を減少させ得る。

いくつかの実施形態では、各原色の光は、単一専用導波管によって出力されてもよく、その結果、各深度面は、それと関連付けられる複数の導波管を有してもよい。そのような実施形態では、文字Ｇ、Ｒ、またはＢを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、３つの導波管は、深度面毎に提供されてもよく、３つの原色画像が、深度面毎に提供される。各深度面と関連付けられる導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に１つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、複数の原色が、例えば、単一導波管のみが深度面毎に提供され得るように、同一導波管によって出力されてもよい。

図８を継続して参照すると、いくつかの実施形態では、Ｇは、緑色であって、Ｒは、赤色であって、Ｂは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられる他の色も、赤色、緑色、または青色のうちの１つまたはそれを上回るものに加えて使用されてもよい、またはそれらに取って代わってもよい。

本開示全体を通した所与の光の色の言及は、その所与の色として視認者によって知覚される、光の波長の範囲内の１つまたはそれを上回る波長の光を包含するものと理解されると理解されたい。例えば、赤色光は、約６２０～７８０ｎｍの範囲内である１つまたはそれを上回る波長の光を含んでもよく、緑色光は、約４９２～５７７ｎｍの範囲内である１つまたはそれを上回る波長の光を含んでもよく、青色光は、約４３５～４９３ｎｍの範囲内である１つまたはそれを上回る波長の光を含んでもよい。

いくつかの実施形態では、光源５３０（図６）は、視認者の視覚的知覚範囲外の１つまたはそれを上回る波長、例えば、赤外線および／または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ２５０の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、結像および／またはユーザ刺激アプリケーションのために、本光をディスプレイからユーザの眼２１０に向かって指向および放出するように構成されてもよい。

ここで図９Ａを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。図９Ａは、それぞれ、内部結合光学要素を含む、複数またはセット６６０のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、１つまたはそれを上回る異なる波長または１つまたはそれを上回る異なる波長範囲の光を出力するように構成されてもよい。スタック６６０は、スタック２６０（図６）に対応し得、スタック６６０の図示される導波管は、複数の導波管２７０、２８０、２９０、３００、３１０の一部に対応してもよいが、画像投入デバイス３６０、３７０、３８０、３９０、４００のうちの１つまたはそれを上回るものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。

スタックされた導波管の図示されるセット６６０は、導波管６７０、６８０、および６９０を含む。各導波管は、関連付けられる内部結合光学要素（導波管上の光入力面積とも称され得る）を含み、例えば、内部結合光学要素７００は、導波管６７０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７１０は、導波管６８０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７２０は、導波管６９０の主要表面（例えば、上側主要表面）上に配置される。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０のうちの１つまたはそれを上回るものは、個別の導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい（特に、１つまたはそれを上回る内部結合光学要素は、反射性偏向光学要素である）。図示されるように、内部結合光学要素７００、７１０、７２０は、その個別の導波管６７０、６８０、６９０の上側主要表面（または次の下側導波管の上部）上に配置されてもよく、特に、それらの内部結合光学要素は、透過性偏向光学要素である。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０は、個別の導波管６７０、６８０、６９０の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、他の光の波長を透過しながら、１つまたはそれを上回る光の波長を選択的に再指向するような波長選択的である。その個別の導波管６７０、６８０、６９０の片側または角に図示されるが、内部結合光学要素７００、７１０、７２０は、いくつかの実施形態では、その個別の導波管６７０、６８０、６９０の他の面積内に配置されてもよいことを理解されたい。

図示されるように、内部結合光学要素７００、７１０、７２０は、これらの内部結合光学要素に伝搬する光の方向における、図示される真正面図に見られるように、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過せずに、光を受光するようにオフセットされてもよい。例えば、各内部結合光学要素７００、７１０、７２０は、図６に示されるように、光を異なる画像投入デバイス３６０、３７０、３８０、３９０、および４００から受光するように構成されてもよく、光を内部結合光学要素７００、７１０、７２０の他のものから実質的に受光しないように、他の内部結合光学要素７００、７１０、７２０から分離されてもよい（例えば、側方に離間される）。

各導波管はまた、関連付けられる光分散要素を含み、例えば、光分散要素７３０は、導波管６７０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７４０は、導波管６８０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７５０は、導波管６９０の主要表面（例えば、上部主要表面）上に配置される。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられる導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられる導波管６７０、６８０、６９０の上部および底部両方の主要表面上に配置されてもよい、または光分散要素７３０、７４０、７５０は、それぞれ、異なる関連付けられる導波管６７０、６８０、６９０内の上部および底部主要表面の異なるもの上に配置されてもよい。

導波管６７０、６８０、６９０は、例えば、材料のガス、液体、および／または固体層によって離間および分離されてもよい。例えば、図示されるように、層７６０ａは、導波管６７０および６８０を分離してもよく、層７６０ｂは、導波管６８０および６９０を分離してもよい。いくつかの実施形態では、層７６０ａおよび７６０ｂは、低屈折率材料（すなわち、導波管６７０、６８０、６９０の直近のものを形成する材料より低い屈折率を有する材料）から形成される。好ましくは、層７６０ａ、７６０ｂを形成する材料の屈折率は、導波管６７０、６８０、６９０を形成する材料の屈折率を０．０５または０．１０下回る。有利なこととして、より低い屈折率層７６０ａ、７６０ｂは、導波管６７０、６８０、６９０を通して光の全内部反射（ＴＩＲ）（例えば、各導波管の上部および底部主要表面間のＴＩＲ）を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層７６０ａ、７６０ｂは、空気から形成される。図示されないが、導波管の図示されるセット６６０の上部および底部は、直近クラッディング層を含んでもよいことを理解されたい。

好ましくは、製造および他の考慮点を容易にするために、導波管６７０、６８０、６９０を形成する材料は、類似または同一であって、層７６０ａ、７６０ｂを形成する材料は、類似または同一である。いくつかの実施形態では、導波管６７０、６８０、６９０を形成する材料は、１つまたはそれを上回る導波管間で異なってもよい、および／または層７６０ａ、７６０ｂを形成する材料は、依然として、前述の種々の屈折率関係を保持しながら、異なってもよい。

図９Ａを継続して参照すると、光線７７０、７８０、７９０が、導波管のセット６６０に入射する。光線７７０、７８０、７９０は、１つまたはそれを上回る画像投入デバイス３６０、３７０、３８０、３９０、４００（図６）によって導波管６７０、６８０、６９０の中に投入されてもよいことを理解されたい。

いくつかの実施形態では、光線７７０、７８０、７９０は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素７００、７１０、７２０はそれぞれ、光が、ＴＩＲによって、導波管６７０、６８０、６９０のうちの個別の１つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０はそれぞれ、他の波長を下層導波管および関連付けられる内部結合光学要素に透過させながら、１つまたはそれを上回る特定の光の波長を選択的に偏向させる。

例えば、内部結合光学要素７００は、それぞれ、異なる第２および第３の波長または波長範囲を有する、光線７８０および７９０を透過させながら、第１の波長または波長範囲を有する、光線７７０を偏向させるように構成されてもよい。透過された光線７８０は、第２の波長または波長範囲の光を偏向させるように構成される、内部結合光学要素７１０に衝突し、それによって偏向される。光線７９０は、第３の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素７２０によって偏向される。

図９Ａを継続して参照すると、偏向された光線７７０、７８０、７９０は、対応する導波管６７０、６８０、６９０を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素７００、７１０、７２０は、光をその対応する導波管６７０、６８０、６９０の中に偏向させ、光を対応する導波管の中に内部結合する。光線７７０、７８０、７９０は、光をＴＩＲによって個別の導波管６７０、６８０、６９０を通して伝搬させる角度で偏向される。光線７７０、７８０、７９０は、導波管の対応する光分散要素７３０、７４０、７５０に衝突するまで、ＴＩＲによって個別の導波管６７０、６８０、６９０を通して伝搬する。

ここで図９Ｂを参照すると、図９Ａの複数のスタックされた導波管の実施例の斜視図が、図示される。上記に記載されるように、内部結合された光線７７０、７８０、７９０は、それぞれ、内部結合光学要素７００、７１０、７２０によって偏向され、次いで、それぞれ、導波管６７０、６８０、６９０内でＴＩＲによって伝搬する。光線７７０、７８０、７９０は、次いで、それぞれ、光分散要素７３０、７４０、７５０に衝突する。光分散要素７３０、７４０、７５０は、それぞれ、外部結合光学要素８００、８１０、８２０に向かって伝搬するように、光線７７０、７８０、７９０を偏向させる。

いくつかの実施形態では、光分散要素７３０、７４０、７５０は、直交瞳エクスパンダ（ＯＰＥ）である。いくつかの実施形態では、ＯＰＥは、光を外部結合光学要素８００、８１０、８２０に偏向または分散し、いくつかの実施形態では、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、光分散要素７３０、７４０、７５０は、省略されてもよく、内部結合光学要素７００、７１０、７２０は、光を直接外部結合光学要素８００、８１０、８２０に偏向させるように構成されてもよい。例えば、図９Ａを参照すると、光分散要素７３０、７４０、７５０は、それぞれ、外部結合光学要素８００、８１０、８２０と置換されてもよい。いくつかの実施形態では、外部結合光学要素８００、８１０、８２０は、光を視認者の眼２１０（図７）に指向させる、射出瞳（ＥＰ）または射出瞳エクスパンダ（ＥＰＥ）である。ＯＰＥは、少なくとも１つの軸においてアイボックスの寸法を増加させるように構成されてもよく、ＥＰＥは、ＯＰＥの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。例えば、各ＯＰＥは、光の残りの部分が導波管を辿って伝搬し続けることを可能にしながら、ＯＰＥに衝打する光の一部を同一導波管のＥＰＥに再指向するように構成されてもよい。ＯＰＥへの衝突に応じて、再び、残りの光の別の部分は、ＥＰＥに再指向され、その部分の残りの部分は、導波管等を辿ってさらに伝搬し続ける。同様に、ＥＰＥへの衝打に応じて、衝突光の一部は、導波管からユーザに向かって指向され、その光の残りの部分は、ＥＰに再び衝打するまで、導波管を通して伝搬し続け、その時点で、衝突する光の別の部分は、導波管から指向される等となる。その結果、内部結合される光の単一ビームは、その光の一部がＯＰＥまたはＥＰＥによって再指向される度に、「複製」され、それによって、図６に示されるように、クローン化された光のビーム野を形成し得る。いくつかの実施形態では、ＯＰＥおよび／またはＥＰＥは、光のビームのサイズを修正するように構成されてもよい。

故に、図９Ａおよび９Ｂを参照すると、いくつかの実施形態では、導波管のセット６６０は、原色毎に、導波管６７０、６８０、６９０と、内部結合光学要素７００、７１０、７２０と、光分散要素（例えば、ＯＰＥ）７３０、７４０、７５０と、外部結合光学要素（例えば、ＥＰ）８００、８１０、８２０とを含む。導波管６７０、６８０、６９０は、各１つの間に空隙／クラッディング層を伴ってスタックされてもよい。内部結合光学要素７００、７１０、７２０は、（異なる波長の光を受光する異なる内部結合光学要素を用いて）入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波管６７０、６８０、６９０内にＴＩＲをもたらすであろう角度で伝搬する。示される実施例では、光線７７０（例えば、青色光）は、前述の様式において、第１の内部結合光学要素７００によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素（例えば、ＯＰＥ）７３０、次いで、外部結合光学要素（例えば、ＥＰ）８００と相互作用する。光線７８０および７９０（例えば、それぞれ、緑色および赤色光）は、導波管６７０を通して通過し、光線７８０は、内部結合光学要素７１０上に衝突し、それによって偏向される。光線７８０は、次いで、ＴＩＲを介して、導波管６８０を辿ってバウンスし、その光分散要素（例えば、ＯＰＥ）７４０、次いで、外部結合光学要素（例えば、ＥＰ）８１０に進むであろう。最後に、光線７９０（例えば、赤色光）は、導波管６９０を通して通過し、導波管６９０の光内部結合光学要素７２０に衝突する。光内部結合光学要素７２０は、光線が、ＴＩＲによって、光分散要素（例えば、ＯＰＥ）７５０、次いで、ＴＩＲによって、外部結合光学要素（例えば、ＥＰ）８２０に伝搬するように、光線７９０を偏向させる。外部結合光学要素８２０は、次いで、最後に、光線７９０を視認者に外部結合し、視認者はまた、他の導波管６７０、６８０からの外部結合した光も受光する。

図９Ｃは、図９Ａおよび９Ｂの複数のスタックされた導波管の実施例の上下平面図を図示する。本上下図は、内部結合光学要素８００、８１０、８２０に向かう光の伝搬方向に見られるように、真正面図とも称され得る、すなわち、上下図は、画像光がページに対して法線に入射する、導波管の図であることを理解されたい。図示されるように、導波管６７０、６８０、６９０は、各導波管の関連付けられる光分散要素７３０、７４０、７５０および関連付けられる外部結合光学要素８００、８１０、８２０とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する（例えば、上下図に見られるように、側方に離間される）。本明細書でさらに議論されるように、本非重複空間配列は、１対１ベースで異なるソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管に一意に結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。

空間的に重複する面積は、上下図に見られるように、その面積の７０％またはそれを上回る、８０％またはそれを上回る、または９０％またはそれを上回る側方重複を有し得ることを理解されたい。他方では、側方に偏移される面積は、上下図に見られるように、その面積の３０％未満が重複する、２０％未満が重複する、または１０％未満が重複する。いくつかの実施形態では、側方に偏移される面積は、重複を有していない。

図９Ｄは、複数のスタックされた導波管の別の実施例の上下平面図を図示する。図示されるように、導波管６７０、６８０、６９０は、垂直に整合されてもよい。しかしながら、図９Ｃの構成と比較して、別個の光分散要素７３０、７４０、７５０および関連付けられる外部結合光学要素８００、８１０、８２０は、省略される。代わりに、光分散要素および外部結合光学要素が、事実上、重畳され、上下図に見られるように、同一面積を占有する。いくつかの実施形態では、光分散要素（例えば、ＯＰＥ）が、導波管６７０、６８０、６９０の１つの主要表面上に配置されてもよく、外部結合光学要素（例えば、ＥＰＥ）が、それらの導波管の他の主要表面上に配置されてもよい。したがって、各導波管６７０、６８０、６９０は、集合的に、それぞれ、組み合わせられたＯＰＥ／ＥＰＥ１２８１、１２８２、１２８３と称される、重畳された光分散および外部結合光学要素を有してもよい。そのような組み合わせられたＯＰＥ／ＥＰＥに関するさらなる詳細は、２０１８年１２月１４日に出願された、米国特許出願第１６／２２１，３５９号（その開示全体は、参照することによって本明細書に組み込まれる）に見出され得る。内部結合光学要素７００、７１０、７２０は、光を内部結合し、それぞれ、組み合わせられたＯＰＥ／ＥＰＥ１２８１、１２８２、１２８３に指向する。いくつかの実施形態では、図示されるように、内部結合光学要素７００、７１０、７２０は、偏移された瞳空間配列を有する場合、側方に偏移されてもよい（例えば、それらは、図示される上下図に見られるように、側方に離間される）。図９Ｃの構成と同様に、本側方に偏移された空間配列は、１対１のベースで、異なる導波管の中への異なる波長の光の投入を促進する（例えば、異なる光源から）。

図９Ｅは、本明細書に開示される種々の導波管および関連システムが統合され得る、ウェアラブルディスプレイシステム６０の実施例を図示する。いくつかの実施形態では、ディスプレイシステム６０は、図６のシステム２５０であって、図６は、そのシステム６０のいくつかの部分をより詳細に図式的に示す。例えば、図６の導波管アセンブリ２６０は、ディスプレイ７０の一部であってもよい。

図９Ｅを継続して参照すると、ディスプレイシステム６０は、ディスプレイ７０と、そのディスプレイ７０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ７０は、フレーム８０に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者９０によって装着可能であって、ディスプレイ７０をユーザ９０の眼の正面に位置付けるように構成される。ディスプレイ７０は、いくつかの実施形態では、アイウェアと見なされ得る。ディスプレイ７０は、内部結合される画像光を中継し、その画像光をユーザ９０の眼に出力するように構成される、導波管２７０等の１つまたはそれを上回る導波管を含んでもよい。いくつかの実施形態では、スピーカ１００が、フレーム８０に結合され、ユーザ９０の外耳道に隣接して位置付けられるように構成される（いくつかの実施形態では、示されない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供してもよい）。ディスプレイシステム６０はまた、１つまたはそれを上回るマイクロホン１１０または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンドをシステム６０に提供することを可能にするように構成され（例えば、音声メニューコマンドの選択、自然言語質問等）、および／または他の人物（例えば、類似ディスプレイシステムの他のユーザ）とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ（例えば、ユーザおよび／または環境からの音）を収集してもよい。いくつかの実施形態では、ディスプレイシステム６０はさらに、オブジェクト、刺激、人々、動物、場所、またはユーザの周囲の世界の他の側面を検出するように構成される、１つまたはそれを上回る外向きに指向される環境センサ１１２を含んでもよい。例えば、環境センサ１１２は、１つまたはそれを上回るカメラを含んでもよく、これは、例えば、ユーザ９０の通常の視野の少なくとも一部に類似する画像を捕捉するように外向きに面して位置してもよい。いくつかの実施形態では、ディスプレイシステムはまた、周辺センサ１２０ａを含んでもよく、これは、フレーム８０と別個であって、ユーザ９０の身体（例えば、ユーザ９０の頭部、胴体、四肢等）上に取り付けられてもよい。周辺センサ１２０ａは、いくつかの実施形態では、ユーザ９０の生理学的状態を特徴付けるデータを入手するように構成されてもよい。例えば、センサ１２０ａは、電極であってもよい。

図９Ｅを継続して参照すると、ディスプレイ７０は、有線導線または無線コネクティビティ等の通信リンク１３０によって、ローカルデータ処理モジュール１４０に動作可能に結合され、これは、フレーム８０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ９０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載されてもよい。同様に、センサ１２０ａは、通信リンク１２０ｂ、例えば、有線導線または無線コネクティビティによって、ローカルデータ処理モジュール１４０に動作可能に結合されてもよい。ローカル処理およびデータモジュール１４０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリまたはハードディスクドライブ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。随意に、ローカル処理およびデータモジュール１４０は、１つまたはそれを上回る中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含んでもよい。データは、ａ）センサ（画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ、および／または本明細書に開示される他のセンサ（例えば、フレーム８０に動作可能に結合される、または別様にユーザ９０に取り付けられ得る））から捕捉されるデータ、および／またはｂ）可能性として、処理または読出後にディスプレイ７０への通過のために、遠隔処理モジュール１５０および／または遠隔データリポジトリ１６０（仮想コンテンツに関連するデータを含む）を使用して入手および／または処理されるデータを含んでもよい。ローカル処理およびデータモジュール１４０は、これらの遠隔モジュール１５０、１６０が相互に動作可能に結合され、ローカル処理およびデータモジュール１４０に対するリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク１７０、１８０によって、遠隔処理モジュール１５０および遠隔データリポジトリ１６０に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール１４０は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープのうちの１つまたはそれを上回るものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの１つまたはそれを上回るものは、フレーム８０に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール１４０と通信する、独立構造であってもよい。

図９Ｅを継続して参照すると、いくつかの実施形態では、遠隔処理モジュール１５０は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよく、例えば、１つまたはそれを上回る中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含む。いくつかの実施形態では、遠隔データリポジトリ１６０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、遠隔データリポジトリ１６０は、１つまたはそれを上回る遠隔サーバを含んでもよく、これは、情報、例えば、仮想コンテンツを生成するための情報をローカル処理およびデータモジュール１４０および／または遠隔処理モジュール１５０に提供する。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。随意に、ＣＰＵ、ＧＰＵ等を含む、外部システム（例えば、１つまたはそれを上回るプロセッサ、１つまたはそれを上回るコンピュータのシステム）が、処理（例えば、画像情報を生成する、データを処理する）の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール１４０、１５０、１６０に提供し、情報をそこから受信してもよい。
アプリケーション状態の連携

上記に説明されるように、アプリケーションが、ＸＲデバイス上で実行され、仮想コンテンツをユーザに提示してもよい。例えば、各アプリケーションは、ある仮想コンテンツをレンダリングしてもよい。本実施例では、アプリケーションは、仮想コンテンツを取得してもよい（例えば、ネットワークアドレスから）、またはレンダリングされるべき仮想コンテンツを含んでもよい。上記に説明される例示的アプリケーションは、栄養情報を提示するように構成される、栄養アプリケーションを含む。本アプリケーションは、異なる食物アイテムに関する栄養情報を示す、情報を含む、または取得してもよい。ユーザが、ある食物アイテムに接近する場合、アプリケーションは、食物アイテムに関する栄養情報を備える、仮想コンテンツをレンダリングしてもよい。このように、アプリケーションは、広範な仮想コンテンツを提供してもよい。説明されるであろうように、ユーザは、ユーザに関心のある仮想コンテンツのタイプを示してもよい。これらの示されるタイプの仮想コンテンツを提供する、アプリケーションは、ユーザのＸＲデバイスによって取得され、仮想コンテンツを提示するために使用されてもよい。

アプリケーションはそれぞれ、１つまたはそれを上回るアンカ場所と関連付けられてもよい。上記に説明されるように、アプリケーションは、仮想コンテンツを実世界内の具体的アンカ場所に提示してもよい。これらのアンカ場所は、いくつかの実施形態では、実世界内の正確な場所を表してもよい。例えば、アンカ場所は、店舗のある通路内のある棚上のある位置に対応し得る。したがって、アプリケーションは、ユーザが店舗を中心として移動するにつれて、仮想コンテンツが実世界内で存続するように現れるように、仮想コンテンツを本ある位置にレンダリングしてもよい。

仮想コンテンツを提示するために利用可能な多数のアプリケーションがある状態では、ＸＲデバイスは、算出リソース限界に起因して、アプリケーションを実行することが不可能であり得る。下記にさらに詳細に説明されるであろうように、ＸＲデバイスは、例示的連携技法を利用して、アプリケーションの状態を制御してもよい。本制御に基づいて、あるアプリケーションのみが、任意のある時間に、ユーザのために実行されてもよい。他のアプリケーションは、破棄または「スリープ」状態に設定されてもよい。ユーザが、実世界を中心として移動するにつれて、アプリケーションの状態は、急速に更新され、実世界内の仮想コンテンツが存続するように現れることを確実にし得る。
例示的ブロック図－アプリケーション状態の連携

図１０は、ＸＲデバイス１００２に近接するアプリケーション１００６－１０１４の異なるアプリケーション状態を図示する、ブロック図を図示する（すなわち、アプリケーション１００６－１０１４は、ＸＲデバイス１００２に近接する関連付けられるアンカ場所を有する）。図１０の実施例では、立体グリッド１０００が、図示される。立体グリッド１０００は、多数のセルを備え、ＸＲデバイス１００２は、中心セル内に含まれる。セルは、（例えば、ある平面上または３次元体積内の）２つまたはそれを上回る軸に沿って、（例えば、実世界に対する）特定の距離を表し得る。したがって、最も遠いセルは、ＸＲデバイス１００２から最も遠い、空間の面積または体積を表し得る。同様に、中心セルは、ＸＲデバイス１００２に最も近い、空間の面積または体積を表し得る。いくつかの実施形態では、ユーザは、中心セル内に位置しなくてもよく、その場合、ユーザからより遠いセルは、ＸＲデバイス１００２からより遠い、空間の面積または体積を表し得、ユーザにより近いセルは、ＸＲデバイス１００２により近い、空間の特定の面積または体積を表し得る。

図示されるように、異なるアプリケーション１００６－１０１４は、立体グリッド１０００の異なるセル内に含まれる。図示されるアプリケーション１００６－１０１４はそれぞれ、アプリケーションと関連付けられるアンカ場所を表してもよい。ＸＲデバイス１００２は、いくつかの実施形態では、場所情報を外側サーバまたはシステムに提供してもよい。それに応答して、外側サーバまたはシステムは、ＸＲデバイス１００２の閾値距離内に位置するアプリケーションのインジケーションを提供してもよい。いくつかの実施形態では、ＸＲデバイス１００２は、アプリケーションおよび関連付けられるアンカ場所を記憶してもよい。説明されるであろうように、アプリケーションのあるものは、デバイス１００２までのその近接度に基づいて、ＸＲデバイス１００２による実行のためにロードされてもよい。

いくつかの実施形態では、場所情報は、ＸＲデバイス１００２のグローバルナビゲーション衛星システム（ＧＮＳＳ）座標を含んでもよい。いくつかの実施形態では、場所情報は、本明細書に説明される持続的座標フレーム（ＰＣＦ）等の実世界内の持続的空間情報に基づいてもよい。ＰＣＦに関連する付加的説明は、少なくとも、米国特許出願第１６／５９３，７４５号の図６Ｂおよび１４に含まれ、これは、本明細書に記載される場合と同様に、本開示の一部を形成する。

セルは、矩形として図示されるが、他の形状も、使用されてもよいことを理解されたい。例えば、セルは、円形、楕円形、または任意の恣意的多角形形状であってもよい。加えて、立体グリッド１０００は、セルの２次元グリッドを描写する。例えば、本立体グリッド１０００は、ＸＲデバイス１００２を囲繞する、面積を表してもよい。面積は、いくつかの実施形態では、ｘ－方向（例えば、側方方向）およびｚ－方向（例えば、ＸＲデバイス１００２から外向き方向）を表してもよい。いくつかの実施形態では、立体グリッド１０００は、３次元であってもよい。例えば、ｙ－方向に沿って、付加的セルが存在してもよい。本実施例では、アプリケーションは、したがって、ＸＲデバイスから異なる高さに位置付けられてもよい。実施例として、アプリケーションは、仮想コンテンツを部屋または建物の上部の近くに提示してもよい。

立体グリッド１０００では、例示的ゾーン１００４Ａ－１００４Ｅが存在し、これは、アプリケーション１００６－１０１４への状態の割当を連携させるために使用される。外側ゾーン１００４Ａと称される、第１のゾーンは、ＸＲデバイス１００２から離れるように閾値距離メトリックを上回る、セルの部分を包含してもよい。いくつかの実施形態では、本外側ゾーン１００４Ａ内に位置付けられる、アプリケーションは、ＸＲデバイス１００２によってロードされなくてもよい。いくつかの他の実施形態では、本外側ゾーン１００４Ａ内に位置付けられる、アプリケーションは、ロード（例えば、外部システムまたはメモリから取得）されるが、実行されなくてもよい。

外部ゾーン１００４Ｂと称される、第２のゾーンは、外側ゾーン１００４Ａと比較して、ＸＲデバイス１００２により近いセルの部分を包含してもよい。説明されるであろうように、本外部ゾーン１００４Ｂ内のアプリケーション位置は、ＸＲデバイス１００２によってロードされ、「スリープ」状態に設定されてもよい。例えば、スリープ状態は、アプリケーション（例えば、アプリケーションと関連付けられるプロセス）がＸＲデバイス１００２の算出リソースを消費しないことを表し得る。

バッファゾーン１００４Ｃと称される、第３のゾーンは、ＸＲデバイス１００２に近接する、セルの部分を包含してもよい。説明されるであろうように、バッファゾーン１００４Ｃは、その中でアプリケーションが、異なるゾーン内に位置するときの以前の状態と比較して、同一状態を維持する、バッファを表し得る。アクティブゾーン１００４Ｄと称される、第４のゾーンは、ＸＲデバイス１００２にさらにより近い、セルの部分を包含してもよい。本アクティブゾーン１００４Ｄ内に含まれるアプリケーションは、「アクティブ」状態に設定されてもよい。いくつかの実施形態では、「アクティブ」状態は、「アクティブ＋無レンダリング」状態を表し得る。例えば、アプリケーションは、それらがアクティブのままであるように、算出リソースを消費するが、ＸＲデバイス１００２を介して、任意の仮想コンテンツをレンダリングしなくてもよい。

提示ゾーン１００４Ｅと称される、第５のゾーンは、ＸＲデバイス１００２の表示錐台内にある、セルの部分を包含してもよい。例えば、これらのセルは、ＸＲデバイス１００２のユーザが視認する、実世界面積または体積を包含してもよい。したがって、拡張現実ディスプレイシステムに関して、ユーザが、通りを見ている場合、提示ゾーン１００４Ｅは、ユーザに可視の通りの部分を包含してもよい。同様に、モバイルデバイスに関して、提示ゾーン１００４Ｅは、モバイルデバイスの１つまたはそれを上回る外向きに面した画像センサに可視の通りの部分を包含してもよい。いくつかの実施形態では、これらの画像センサは、モバイルデバイスの前方の画像を捕捉し、例えば、ユーザの視野を模倣するように配向されてもよい。拡張現実ディスプレイシステムに対する提示ゾーン１００４Ｅを決定するために、いくつかの実施形態では、ＸＲデバイス１００２は、ユーザの頭部姿勢を決定してもよい。例えば、ＸＲデバイス１００２は、慣性測定ユニット（ＩＭＵ）を含んでもよい。本実施例では、ユーザの頭部姿勢は、ＩＭＵからの情報に基づいて決定されてもよい。決定された頭部姿勢に基づいて、ＸＲデバイス１００２は、ユーザの視野を決定してもよい。

ユーザの頭部姿勢の決定に関連する付加的説明は、米国特許公開第２０１９／０１８８４７４号内に含まれ、これは、本明細書に記載される場合と同様に、本開示の一部を形成する。

随意に、ＸＲデバイス１００２は、ＸＲデバイス１００２の１つまたはそれを上回る外向きに面した画像センサから取得される画像に基づいて、提示ゾーン１００４Ｅを決定してもよい。例えば、ＸＲデバイス１００２は、画像を分析し、画像内に描写される特徴に基づいて、記述子を生成してもよい。ＸＲデバイス１００２は、次いで、ＸＲデバイス１００２の場所と関連付けられる１つまたはそれを上回るＰＣＦにアクセスしてもよい。ＰＣＦと生成された記述子の比較に基づいて、ＸＲデバイス１００２は、任意のアプリケーションが仮想コンテンツをレンダリングするように構成されるかどうかを決定してもよい。例えば、ＸＲデバイス１００２は、任意のアンカ場所が取得された画像に描写されるかどうかを決定してもよい。これらのアプリケーションは、ＸＲデバイス１００２によって、提示ゾーン１００４Ｅ内に該当すると決定されてもよい。

いくつかの実施形態では、提示ゾーン１００４Ｅは、ｚ－方向に限定されてもよい。例えば、提示ゾーン１００４Ｅは、ｚ－方向に沿ってユーザからの閾値距離内にある、アプリケーションを含んでもよい。いくつかの実施形態では、提示ゾーン１００４Ｅは、ＸＲデバイス１００２の完全表示錐台を包含してもよい。

上記に説明されるように、立体グリッド１０００は、ＸＲデバイス１００２上に中心合わせされてもよい。ＸＲデバイス１００２が、世界を中心として移動するにつれて、立体グリッド１０００は、適宜、更新されてもよい。例えば、ＸＲデバイス１００２が、右に側方に移動する場合、図示されるアプリケーション１００６－１０１４は、グリッド１０００内で左に側方に移動されてもよい。加えて、ＸＲデバイス１００２が、右に移動するにつれて、あるアプリケーションは、立体グリッド１０００から除去されてもよい。別の実施例として、ＸＲデバイス１００２が、右に側方に移動するにつれて、１つまたはそれを上回る新しいアプリケーションが、グリッド１０００の右部分において、立体グリッド１０００内に含まれてもよい。本実施例では、新しいアプリケーションが、発見され、立体グリッド１０００内に含まれてもよい。新しいアプリケーションは、ＸＲデバイス１００２によって監視され、状態を割り当てられるであろう。対照的に、除去されたアプリケーションは、ＸＲデバイス１００２によって監視されないであろう。

図示される実施例は、アプリケーション１００６を含み、これは、ＸＲデバイス１００２によってロードされていないが、ＸＲデバイス１００２の閾値距離内にある、アプリケーションを表し得る。したがって、アプリケーション１００６に対するＸＲデバイス１００２の位置は、監視されてもよい。ＸＲデバイス１００２が、アプリケーション１００６のうちの特定の１つのより近くに移動する場合、特定のアプリケーションは、ＸＲデバイス１００２によってロードされてもよい。例えば、特定のアプリケーションは、外部ゾーン１００４Ｂ内に該当すると決定されてもよい。

アプリケーション１００８は、背景アプリケーションを表し得、これは、典型的には、視覚的仮想コンテンツの提示と関連付けられない。例えば、これらのアプリケーション１００８は、オーディオをユーザに提供してもよい。本実施例では、アプリケーション１００８は、ラジオ局、オーディオキュー、オーディオメッセージ等を表し得る。これらの背景アプリケーション１００８は、実質的算出リソースを消費し得ず、および／またはその機能性が、それらが常にアクティブのままである（および可能性として、出力、例えば、オーディオをユーザに提供する）ことを要求するため、それらは、随意に、立体グリッド１０００内のその位置にかかわらず、ＸＲデバイス１００２によってロードされてもよい。

アプリケーション１０１０は、アクティブであるが、仮想コンテンツをレンダリングしない、アプリケーションを表し得る。図１０に図示されるように、これらのアプリケーション１０１０は、ＸＲデバイス１００２の表示錐台の外側に位置付けられてもよい。加えて、これらのアプリケーションは、それらが、ＸＲデバイス１００２の姿勢の位置の調節に基づいて、提示ゾーン１００４Ｅ内に該当する場合、それらが仮想コンテンツを迅速に提示し得るように、アクティブゾーン１００４Ｄ内に含まれてもよい。

アプリケーション１０１２は、アクティブであって、かつ仮想コンテンツ（および／またはオーディオ等の他のコンテンツ）をＸＲデバイス１００２のユーザにレンダリングする、アプリケーションを表し得る。図１０に図示されるように、これらのアプリケーション１０１２は、提示ゾーン１００４Ｅ内に位置付けられる。例えば、これらのアプリケーションは、ＸＲデバイス１００２の表示錐台内にある。ＸＲデバイス１００２の移動に基づいて、アプリケーション１０１２のうちの特定の１つは、提示ゾーン１００４Ｅの外側に移動し得る。有利なこととして、特定のアプリケーションは、ＸＲデバイス１００２がそれに仮想コンテンツのレンダリングを中止させるように、状態が迅速に調節され得る。

アプリケーション１０１４は、ロードされているが、スリープに設定されている、アプリケーションを表し得る。したがって、これらのアプリケーション１０１４は、非アクティブであってもよい。図示されるように、アプリケーション１０１４の特定のアプリケーション１０１６は、ＸＲデバイス１００２の表示錐台内に含まれる。しかしながら、本特定のアプリケーション１０１６は、上記に説明されるバッファゾーン１００４Ｃ内に含まれる。特定のアプリケーション１０１６は、実施例として、ＸＲデバイス１００２の移動に基づいて、外部ゾーン１００４Ｂからバッファゾーン１００４Ｃの中に移動している場合がある。バッファゾーン１００４Ｃは、その中でアプリケーションの状態が以前の状態から変化しない、ゾーンを提供し得る。ＸＲデバイス１００２が、図示される図の下に向かって、ｚ－方向に沿って移動される場合、特定のアプリケーション１０１６は、提示ゾーン１００４Ｅ内に該当し得る。したがって、ＸＲデバイスは、特定のアプリケーションをアクティブにさせ、仮想コンテンツをレンダリングするように設定されてもよい。

図１１は、状態をアプリケーションに割り当てることと関連付けられる、例示的状態図１１００を図示する。図示される実施例では、表が、含まれ、これは、アプリケーションの現在の状態１１０２とともに、状態イベント１１０４の結果を示す。例えば、現在の状態は、図１０の立体グリッド１０００内のアプリケーションの位置に基づいて決定されてもよい。状態イベント１１０４は、立体グリッド１０００内の異なる位置へのアプリケーションの移動を表し得る。実施例として、アプリケーションは、ＸＲデバイスの移動または姿勢の調節に起因して、上記に説明されるゾーン１００４Ａ－１００４Ｅのうちの異なる１つに移動している場合がある。

状態図１１００は、ＸＲデバイスによって、アプリケーションの状態を連携させるために使用されてもよい。図１０に説明されるように、ＸＲデバイスは、ＸＲデバイスに近接するアプリケーションを識別してもよい。いくつかの実施形態では、立体グリッドは、識別されたアプリケーションのそれぞれの特定の状態を決定するために使用されてもよい。

ＸＲデバイスから最も遠い、識別されたアプリケーションは、「未ロード」１１０６の現在の状態１１０２に設定されてもよい。例えば、これらのアプリケーションは、外部システムから読み出されているが、ＸＲデバイスによってまだロードされていない場合がある。別の実施例として、これらのアプリケーションは、外部システムからまだ読み出されていない場合がある。別の実施例として、これらのアプリケーションは、ＸＲデバイスのメモリ内に記憶されるが、ロードされていない場合がある。

ＸＲデバイスの移動、または随意に、アプリケーションの移動に基づいて、「未ロード」アプリケーション１１０６は、状態イベント１１０４の結果に基づいて、新しい状態に設定されてもよい。例えば、ＸＲデバイスは、アプリケーションが外部ゾーン１００４Ｂ内に位置付けられるように、移動し得る。本実施例では、ＸＲデバイスは、アプリケーションの状態を「スリープ」に設定してもよい。

「スリープ」状態１１０８に設定される、アプリケーションは、状態イベント１１０４に基づいて、同様に更新されてもよい。例えば、状態イベント１１０４は、アプリケーションがバッファゾーン１００４Ｃ内に位置付けられる結果をもたらし得る。本実施例では、アプリケーションは、「スリープ」状態に設定されたままであり得る。別の実施例として、状態イベント１１０４は、アプリケーションがゾーン１１０４Ｄまたは１１０４Ｅ内に位置付けられる結果をもたらし得る。本実施例では、アプリケーションは、アクティブとなるように更新されてもよい。アプリケーションが、ゾーン１１０４Ｅ内にある場合、アプリケーションは、仮想コンテンツをＸＲデバイスのユーザにレンダリングしてもよい。

「アクティブ＋無レンダリング」状態１１１０に設定される、アプリケーションは、状態イベント１１０４に基づいて更新されてもよい。例えば、アプリケーションは、提示ゾーン１００４Ｅ内に該当する位置に更新されてもよい。本実施例では、アプリケーションは、したがって、ＸＲデバイスの表示錐台内で可視となり得る。したがって、状態は、「アクティブ＋レンダリング」に更新されてもよい。しかしながら、アプリケーションが、ＸＲデバイスからより遠くに移動する場合、「スリープ」または「未ロード」状態に更新されてもよい。

あるアプリケーションは、オーディオまたは音楽を提供するためのアプリケーション等、背景アプリケーションを表してもよい。これらのアプリケーションは、「背景対応」状態１１１４を割り当てられてもよい。これらのアプリケーションは、実質的リソースを消費せず、および／または常にアクティブであって、出力を提供することが要求されるため、それらは、図１０の立体グリッド内の位置にかかわらず、ロードされてもよい。例えば、それらは、それらがＸＲデバイスの閾値距離内にあるとき、ＸＲデバイスによってロードされてもよい。

いくつかの実施形態では、これらの背景アプリケーションは、「アクティブ＋レンダリング」状態に設定されてもよい。これは、背景アプリケーションが、オーディオコンテンツ等のコンテンツをユーザに出力することを可能にし得る。これはまた、背景アプリケーションが、仮想コンテンツ（例えば、視覚的コンテンツ）をユーザに提供することを可能にし得る。例えば、それらは、典型的には、オーディオまたは音楽を提供し得るが、あるトリガに応じて、仮想コンテンツを提供してもよい。例示的トリガは、ユーザが仮想コンテンツの提示を生じさせるためのユーザ入力を提供することを含んでもよい。実施例として、ユーザは、音楽アプリケーションと関連付けられる、制御メニューの提示をトリガしてもよい。したがって、ユーザは、制御メニューを備える、仮想コンテンツと相互作用してもよい。

したがって、ＸＲデバイスは、ＸＲデバイスまでのアプリケーションの近接度に基づいて、アプリケーションに状態を割り当ててもよい。上記に説明されるように、アプリケーションは、１つ、２つ、またはそれを上回るアンカ場所を有してもよい。例えば、栄養アプリケーションは、第１のアイテムと関連付けられる、第１のアンカ場所と、第２のアイテムと関連付けられる、第２のアンカ場所とを有してもよい。ＸＲデバイスは、アンカ場所の最高状態に基づいて、状態を栄養アプリケーションに割り当ててもよい。例えば、第１のアンカ場所が、提示ゾーン１１０４Ｅ内にあって、第２のアンカ場所が、外部ゾーン１００４Ｂ内にある場合、アプリケーションは、「アクティブ＋レンダリング」の状態を割り当てられてもよい。このように、アプリケーションは、ＸＲデバイスを介して、仮想コンテンツを提示してもよい。
例示的フローチャート－アプリケーション状態の連携

図１２は、アプリケーションの状態を更新するための例示的プロセス１２００のフローチャートである。便宜上、プロセス１２００は、１つまたはそれを上回るプロセッサのシステムによって実施されるものとして説明されるであろう。例えば、本システムは、ＸＲデバイス（例えば、ディスプレイシステム６０等のウェアラブルデバイス、スマートフォン、タブレット等）であってもよい。

ブロック１２０２では、本システムは、本システムの場所に近接するアプリケーションを識別する。図１０－１１に説明されるように、本システムは、場所情報を本システムと通信（有線または無線通信）する外部システムに提供してもよい。例示的場所情報は、上記に説明されるように、ＧＮＳＳ座標または持続的座標フレーム（ＰＣＦ）と関連付けられる場所情報を含んでもよい。それに応答して、外部システムは、本システムの閾値距離内に位置するアンカポイントを伴う、１つまたはそれを上回るアプリケーションを識別してもよい。いくつかの実施形態では、本システムは、アプリケーションを記憶してもよく、任意のアンカポイントが本システムの閾値距離内に位置するかどうかを識別してもよい。

ブロック１２０４では、本システムは、アプリケーションの状態を決定する。本システムは、本システムからのアプリケーションの距離メトリックに基づいて、状態を決定してもよい。加えて、本システムは、本システムの視点に基づいて、状態を決定してもよい。いくつかの実施形態では、本システムは、図１０に説明されるように、立体グリッドにアクセスしてもよい。立体グリッド内のアプリケーションの位置に基づいて、アプリケーションの状態が、決定されてもよい。例えば、アプリケーションが、本システムの表示錐台（例えば、図１０の提示ゾーン１００４Ｅ）内に位置付けられる場合、アプリケーションは、「アクティブ＋レンダリング」状態に設定されてもよい。

ブロック１２０６では、本システムは、決定された状態を実装する。アプリケーションが、本システムの閾値距離内にあると決定される場合、アプリケーションは、本システムによってロードされてもよい。例えば、アプリケーションは、ネットワーク接続を介して、外部システムから読み出されてもよい。別の実施例として、アプリケーションは、本システムの記憶装置からロードされてもよい。アプリケーションが、本システムにさらにより近いと決定される場合、アプリケーションは、「アクティブ」状態に設定されてもよい。したがって、本システムは、算出リソースを消費するように、アプリケーションを実行してもよい。随意に、本システムは、アプリケーションが「アクティブ＋レンダリング」状態に設定されることに基づいて、アプリケーションに仮想コンテンツをレンダリングさせてもよい。

ブロック１２０８では、本システムは、状態イベントに基づいて、アプリケーションの状態を更新する。図１１に説明されるように、アプリケーションの状態は、本システムの移動に基づいて調節されてもよい。例えば、本システムは、場所が調節されてもよい。本実施例では、ユーザは、実世界内のその２次元場所を調節してもよい。ユーザはまた、本システムの高さを調節してもよい（例えば、ユーザが、階段を上り得る、建物内で上向きに移動し得る等）。別の実施例として、本システムの視点が、調節されてもよい。例えば、拡張現実ディスプレイデバイスに関して、ユーザの頭部姿勢が、調節されてもよい。別の実施例として、例えば、スマートフォンまたはタブレットに関して、１つまたはそれを上回る外向きに面したカメラの視点が、スマートフォンまたはタブレットの移動に起因して調節されてもよい。

いくつかの実施形態では、状態イベントは、アプリケーションがその独自の位置を調節することを表し得る。例えば、アプリケーションと関連付けられるアンカ場所が、調節されてもよい。実施例として、アプリケーションは、仮想化された動物または創造物のレンダリングを生じさせてもよい。本実施例では、仮想化された動物または創造物は、周期的に、場所が調節されてもよい。例えば、特定の時間にある通りと関連付けられ、次いで、異なる時間に異なる通りと関連付けられてもよい。したがって、アプリケーションは、その関連付けられるアンカ場所を更新してもよい。いくつかの実施形態では、アプリケーションは、情報を外部システムから受信してもよい。このように、多数のシステム上で実行されるアプリケーションの任意のインスタンスは、同一または類似時間において、更新された場所を受信してもよい。

状態イベントに基づいて、本システムは、アプリケーションと関連付けられる状態を更新してもよい。例えば、本システムは、図１１に説明される状態図を使用して、新しい状態を割り当ててもよい。

説明を容易にするために、上記の説明は、拡張現実ディスプレイデバイス等のシステムによってロードされたアプリケーションに焦点を当てる。しかしながら、いくつかの実施形態では、アプリケーションは、外部システム（例えば、クラウドシステム）によって実行されてもよいことを理解されたい。例えば、アプリケーションは、外部システムによって実行されてもよく、仮想コンテンツは、提示のためにシステムに提供（例えば、ストリーミング）されてもよい。上記と同様に、本システムは、場所情報を外部システムに提供してもよい。場所情報に基づいて、本システムは、本システムの閾値距離内の任意のアプリケーションのための状態を決定してもよい。同様に、決定された状態に基づいて、外部システムは、ある仮想コンテンツをレンダリングし、レンダリングされた仮想コンテンツを提示のために本システムに提供してもよい。レンダリングされた仮想コンテンツは、仮想コンテンツを具体的アンカ場所に位置付けるために使用可能な情報とともに提供されてもよい。例えば、情報は、本システムが、記述子の比較に基づいて、仮想コンテンツを設置し得るように、ＰＣＦを反映させてもよい。
例示的フローチャート－アプリケーションのフィルタリング

いくつかの実施形態では、あまりに多くのアプリケーションが存在し、ＸＲデバイスがコンテンツをロードおよび／またはレンダリングすることができない場合がある。例えば、ＸＲデバイスの閾値距離内に位置する、閾値を上回る数のアプリケーションが存在し得る。したがって、ＸＲデバイスは、閾値距離内のアプリケーションの全てをロードすることが不可能であり得る。加えて、ＸＲデバイスは、ネットワーク接続に対して限定された帯域幅を有し得る。したがって、ＸＲデバイスは、ＸＲデバイスのユーザが、アプリケーションがロードされるにつれて、コンテンツのシームレスな提示が見えるのではなく、仮想コンテンツがその視野の中に浮かび上がるように知覚するように、アプリケーションを外部システムから迅速に取得（例えば、ダウンロード）することが不可能であり得る。

下記に説明されるように、ＸＲデバイスは、随意に、アプリケーションをフィルタリングし、それによって、ユーザに関心があると決定されたアプリケーションをロードしてもよい。

図１３は、アプリケーションをフィルタリングするための例示的プロセス１３００のフローチャートである。便宜上、プロセス１３００は、１つまたはそれを上回るプロセッサのシステムによって実施されるものとして説明されるであろう。例えば、本システムは、ＸＲデバイス（例えば、ディスプレイシステム６０等のウェアラブルデバイス、スマートフォン、タブレット等）であってもよい。

ブロック１３０２では、本システムは、場所情報を取得し、ブロック１３０４では、その場所に近接するアプリケーションを識別する。上記に説明されるように、本システムは、閾値数のアプリケーションをロードするように構成されてもよい。例えば、本システムは、限定されたメモリ、算出リソース等を有し得る。本システムが、閾値を上回る数のアプリケーションを識別する場合、本システムは、識別されたアプリケーションをフィルタリングしてもよい。

ブロック１３０６では、本システムは、本システムのユーザと関連付けられるプロファイル情報にアクセスする。プロファイル情報は、ユーザのコンテンツ選好を示してもよい。例えば、ユーザは、栄養情報に関心があり得る。したがって、プロファイル情報は、本関心を反映させてもよい。別の実施例として、ユーザは、ゲームと関連付けられる仮想コンテンツを視認することに関心がないことを示してもよい。あるアプリケーションは、ゲームプレー体験をアプリケーションのユーザに提供するように設計されてもよい。

ブロック１３０８では、本システムは、アプリケーションのうちの１つまたはそれを上回るものをフィルタリングする。本システムは、識別されたアプリケーションのうちの１つまたはそれを上回るものをプロファイル情報に基づく考慮点から除去してもよい。したがって、これらの除去されたアプリケーションは、本システムによってロードされなくてもよい。例えば、本システムは、アプリケーションのテキスト説明または他のメタデータを分析してもよい。本システムは、次いで、プロファイル情報に従わない、アプリケーションを除去してもよい。

上記の説明は、プロファイル情報に焦点を当てるが、他の情報が、加えて、または代替として、アプリケーションをフィルタリングするために使用されてもよい。例えば、本システムの使用と関連付けられる、コンテキスト情報が、分析されてもよい。本実施例では、本システムのユーザは、あるコンテキストのために本システムを使用してもよい。実施例として、本システムは、本システムを使用して、目的地までの案内を提供してもよい。本実施例では、本システムは、本コンテキストに関連しない、アプリケーションをフィルタリングしてもよい。例えば、ゲームと関連付けられるアプリケーションを除去してもよい。別の実施例として、代替目的地を説明する情報を提示する、アプリケーションを除去してもよい。例えば、旅行アプリケーションは、都市内の重要な目印を示してもよい。しかしながら、ユーザは、具体的場所までの案内に関する選好を示しているため、これらの目印は、提示されなくてもよい。

本システムはまた、可視性情報を使用してもよい。例えば、本システムは、ユーザに対して限定された可視性を伴って、仮想コンテンツをアンカ場所に提示するように構成される、アプリケーションをフィルタリングしてもよい。実施例として、ユーザが、ある通りを歩いている場合、本システムは、ユーザの視点から遮断されるアンカ場所を伴う、アプリケーションを除去してもよい。別の実施例として、本システムは、ユーザが視認する場所より高いまたは低いアンカ場所を伴う、アプリケーションを除去してもよい。いくつかの実施形態では、本システムは、深度面情報を使用して、アプリケーションをフィルタリングしてもよい。例えば、本システムは、相互に同一深度面上に提示されることになる、アプリケーションを選好してもよい。したがって、仮想コンテンツを異なる深度面上に提示することになるアプリケーションは、好ましくなくあり得る。別の実施例として、ユーザ不快感を生じさせるほどユーザと近接近して仮想コンテンツを提示することになる、アプリケーションは、好ましくなくあり得る。

本システムはまた、可用性および／または双方向性情報を使用してもよい。例えば、あるアプリケーションは、低可用性を有してもよい。本可用性情報は、アプリケーションのユーザ評定から決定されてもよい、またはアプリケーションからの仮想コンテンツとの相互作用を分析することに基づいて、外部システムによって決定されてもよい。同様に、あるアプリケーションは、高双方向性を有してもよい。実施例として、より双方向性またはあまり双方向性ではない、仮想コンテンツが、フィルタリングされてもよい。双方向性の実施例は、ユーザ入力に応答する、仮想コンテンツを含んでもよい。随意に、ユーザは、より双方向性またはあまり双方向性ではない、仮想コンテンツをフィルタリングするための選好を設定してもよい。いくつかの実施形態では、相互作用可能性情報も、使用されてもよい。実施例として、これらのアプリケーションは、非常の多くの算出リソースを消費し得る。それらが、ユーザに特に関心があることが別様に示されない場合、それらは、フィルタリングされてもよい。

したがって、いくつかの実施形態では、本システムは、本システムに近接する、アプリケーションをフィルタリングしてもよい。例えば、あるアプリケーションは、本システムのユーザのユーザプロファイル情報に基づいて、除去されてもよい。いくつかの実施形態では、残りのアプリケーションは、依然として、本システムの算出リソースにとって非常に大きくなり得る。例えば、本システムは、残りのアプリケーションのための仮想コンテンツをレンダリングすることが不可能であり得る。図１４に関して下記に説明されるように、本システムは、随意に、加えて、または代替として、アプリケーションをランク付けし、ランク付けに従って、レンダリングしてもよい。

図１４は、アプリケーションのランク付けに基づいてアプリケーションをレンダリングするための例示的プロセス１４００のフローチャートである。便宜上、プロセス１４００は、１つまたはそれを上回るプロセッサのシステムによって実施されるものとして説明されるであろう。例えば、本システムは、ＸＲデバイス（例えば、ディスプレイシステム６０等のウェアラブルデバイス、スマートフォン、タブレット等）であってもよい。

ブロック１４０２では、本システムは、本システムの場所を取得し、ブロック１４０２では、本システムに近接する複数のアプリケーションを識別する。図１３に説明されるように、識別されたアプリケーションは、フィルタリングされてもよい。しかしながら、フィルタリングを用いても、本システムを介して仮想コンテンツを提示するように構成される、非常に多くのアプリケーションが存在し得る。

ブロック１４０６では、本システムは、１つまたはそれを上回るメトリックに従って、フィルタリングされたアプリケーションをランク付けする。本システムは、優先順位をフィルタリングされたアプリケーションに割り当てることができる。例えば、アプリケーションの優先順位は、本システムの視野、アプリケーションの既知の優先順位、ユーザの移動、アプリケーションの到達可能性等に基づいて決定されてもよい。視野に関して、本システムは、仮想コンテンツを本システムの視野内に全体的にレンダリングするように構成される、アプリケーションを優先順位化してもよい。加えて、本システムは、視野のより大きいパーセンテージを包含する、仮想コンテンツをレンダリングするように構成される、アプリケーションを優先順位化してもよい。

既知の優先順位に関して、あるアプリケーションは、ある割り当てられた優先順位または重要性を有してもよい。高優先順位を伴う例示的アプリケーションは、アンバーアラートアプリケーションであってもよい。高優先順位を伴う別の例示的アプリケーションは、メッセージングアプリケーションであってもよい。したがって、これらのアプリケーションは、他のアプリケーションより高くランク付けされてもよい。ユーザ移動に関して、本システムの軌道に基づいて、アクティブのままであることが予期される、あるアプリケーションは、より高くランク付けされてもよい。例えば、第１のアプリケーションは、ユーザが通りを移動していることに基づいて、アクティブのままであることが予期され得る。別の実施例として、第２のアプリケーションは、ユーザが通りを辿り続けることに基づいて、スリープ状態に置かれることが予期され得る。

同様に、到達可能性に関して、あるアプリケーションは、仮想注解をユーザにアクセス可能なアンカ場所に提示してもよい。例えば、仮想コンテンツは、ユーザが仮想コンテンツと相互作用し得るように、実質的に眼レベルに提示されてもよい。対照的に、ある他のアプリケーションは、仮想コンテンツを、ユーザにアクセス不能である、アンカ場所に提示してもよい。例えば、ユーザが、通りを歩いている場合、２階建ての建物の窓上に提示される仮想コンテンツは、ユーザにアクセス不能であり得る。したがって、本仮想コンテンツは、より低いランク付けを割り当てられてもよい。

上記に説明されるメトリックは、本システムによって、アプリケーションのそれぞれのランク付けを決定するために集約されてもよい。随意に、本システムは、図１３のプロセスとプロセス１４００を組み合わせてもよい。例えば、本システムは、ユーザプロファイル情報とともに、上記に説明されるメトリックを組み込み、ユーザに近接するアプリケーションの数を低減させてもよい。

ブロック１４０８では、本システムは、ランク付けに基づいて、アプリケーションをレンダリングする。本システムは、アプリケーションに、個別のランク付けに従って、仮想コンテンツをレンダリングさせてもよい。閾値数のアプリケーションが、仮想コンテンツをレンダリング後、本システムは、残りのアプリケーションを「スリープ」または「アクティブ＋無レンダリング」状態に置かせてもよい。閾値数のアプリケーションは、本システムの利用可能な算出リソースに基づいてもよい。例えば、本システムが、十分なメモリを欠いている、または仮想コンテンツが、閾値フレームレート未満でレンダリングされることになること等を決定する場合、本システムは、残りのアプリケーションの状態を調節してもよい。
他の実施形態

本発明の種々の例示的実施形態が、本明細書に説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。

例えば、有利なこととして、複数の深度面を横断して画像を提供する、ＡＲディスプレイとともに利用されるが、本明細書に開示される仮想コンテンツはまた、画像を単一深度面上に提供する、システムによって表示されてもよい。

加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例はそれぞれ、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを意図している。

本発明は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、ユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順番およびイベントの列挙された順序で行なわれてもよい。

加えて、本明細書に説明される、および／または図に描写されるプロセス、方法、およびあるゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定アプリケーション向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定アプリケーション向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリあるタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたはアプリケーションを提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール（１４０）、遠隔処理モジュール（１５０）、および遠隔データリポジトリ（１６０）のうちの１つまたはそれを上回るものの一部であってもよい。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写される任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切である他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実施形態における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。

本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本発明の他の詳細に関して、これらは、上記で参照された特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの実施形態に関しても当てはまり得る。

加えて、本発明は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して検討されるように説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれていないかにかかわらず）が、本発明の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本発明内に包含されるものと理解されたい。

また、説明される本発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つまたはそれを上回るものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、存在する複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられる請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題の項目のうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「～を備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の付加的な要素を含むことを可能にするものとする。

故に、請求項は、本明細書に示される実施形態に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

Claims (21)

1. １つ以上のプロセッサを備えるクロスリアリティ（ＸＲ）デバイスによって実装される方法であって、前記ＸＲデバイスは、複数の深度面において仮想コンテンツを前記ＸＲデバイスのユーザに提示するように構成されており、前記方法は、
   前記ＸＲデバイスの第１の閾値距離メトリック内に位置する個別のアンカ場所を伴う複数のアプリケーションを識別する情報を取得することであって、アンカ場所は、アプリケーションによって仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
   前記複数のアプリケーションのうちの１つ以上を除去することにより、前記複数のアプリケーションのサブセットを維持することであって、前記除去することは、前記第１の閾値距離メトリック内に位置する前記複数のアプリケーションが閾値数のアプリケーションを超えることの決定に基づいて、トリガされ、前記除去することは、前記ＸＲデバイスの使用に関連付けられたコンテキストと、前記複数のアプリケーションに関連付けられた深度面情報とに基づき、前記深度面情報は、前記複数のアプリケーションのそれぞれが仮想コンテンツを提示すべきである個別の深度面を示す、ことと、
   前記複数のアプリケーションの前記サブセットに割り当てられるべきである「スリープ」状態および「アクティブ」状態および「アクティブおよび無レンダリング」状態および「アクティブおよびレンダリング」状態および「未ロード」状態および「背景対応」状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記ＸＲデバイスとの近接度に基づいて決定される、ことと、
   前記状態を実装することであって、前記複数のアプリケーションの前記サブセットの第１のアプリケーションは、仮想コンテンツをレンダリングするために前記「アクティブおよびレンダリング」状態を割り当てられ、前記第１のアプリケーションは、前記ＸＲデバイスを介して、仮想コンテンツを第１のアンカ場所に提示する、ことと、
   前記ＸＲデバイスの移動に応答して、前記サブセットに含まれる１つ以上のアプリケーションに対して、前記「スリープ」状態および前記「アクティブ」状態および前記「アクティブおよび無レンダリング」状態および前記「アクティブおよびレンダリング」状態および前記「未ロード」状態および前記「背景対応」状態から選択される更新された状態を決定することと
   を含む、方法。
2. 前記方法は、
   前記ＸＲデバイスの場所を示す情報を外部システムに提供することと、
   前記外部システムから、前記複数のアプリケーションを識別する情報を受信することと
   をさらに含む、請求項１に記載の方法。
3. 前記ＸＲデバイスの移動に応答して、第２のアプリケーションが、第２の閾値距離メトリック内にアンカ場所を有するように決定され、前記第２のアプリケーションは、実行のために、前記外部システムから受信される、請求項２に記載の方法。
4. 前記第１のアプリケーションの状態を決定することは、複数のゾーンのうち、前記第１のアプリケーションが位置付けられる第１のゾーンを識別することを含み、前記複数のゾーンは、前記ＸＲデバイスの場所上に中心合わせされた立体グリッド内に含まれ、前記第１のゾーンは、前記状態に関連付けられている、請求項１に記載の方法。
5. 前記第１のゾーンは、前記第１のアプリケーションが前記「アクティブおよびレンダリング」状態に設定されるように、前記第１のアプリケーションが前記ＸＲデバイスの表示錐台内に位置付けられることを示す、請求項４に記載の方法。
6. 第２のゾーンは、アプリケーションが前記「アクティブおよび無レンダリング」状態または前記「スリープ」状態または前記「未ロード」状態に設定されるように、前記アプリケーションが前記ＸＲデバイスの表示錐台の外側に位置付けられることを示す、請求項４に記載の方法。
7. 前記複数のゾーンは、複数の状態に関連付けられており、前記複数の状態は、アプリケーションが前記「アクティブおよびレンダリング」状態に設定されている状態、または、前記アプリケーションが前記「アクティブおよび無レンダリング」状態に設定されている状態、または、前記アプリケーションが前記「スリープ」状態に設定されている状態、または、前記アプリケーションが前記「未ロード」状態に設定されている状態を含む、請求項４に記載の方法。
8. 前記ＸＲデバイスの移動に基づいて、新しいアプリケーションが前記ＸＲデバイスの前記第１の閾値距離メトリック内にあると決定され、状態が前記新しいアプリケーションに対して決定される、請求項１に記載の方法。
9. 前記方法は、
   アクティブであることおよび仮想コンテンツをレンダリングすることに関連付けられた決定された状態を伴う特定の閾値数を上回るアプリケーションを識別することと、
   １つ以上のメトリックに従って、前記特定の閾値数のアプリケーションをランク付けすることと、
   前記決定された状態を実装することであって、前記特定の閾値数のアプリケーションの１つ以上のアプリケーションは、前記ランク付けに従って、仮想コンテンツを提示し、前記特定の閾値数のアプリケーションの残りのアプリケーションは、前記「アクティブおよび無レンダリング」状態または前記「スリープ」状態または前記「未ロード」状態に設定される、ことと
   をさらに含む、請求項１に記載の方法。
10. 前記ＸＲデバイスは、仮想コンテンツを複数の深度面上に提示するように構成されている拡張現実ディスプレイデバイスであり、各深度面は、個別の遠近調節キューに関連付けられている、請求項１に記載の方法。
11. 前記第１のアンカ場所は、前記ＸＲデバイスに近接する実世界に関連付けられた記憶された持続的情報と比較した前記ＸＲデバイスの１つ以上の外向きに面した画像センサによって取得される１つ以上の画像に基づいて決定される、請求項１に記載の方法。
12. 前記第１のアプリケーションは、空間の体積を表すプリズム内に仮想コンテンツを提示し、前記プリズムは、前記第１のアンカ場所に関連付けられている、請求項１に記載の方法。
13. １つ以上のプロセッサを備えるシステムであって、前記システムは、仮想コンテンツを前記システムのユーザに提示するように構成されており、前記システムは、命令を記憶している非一過性のコンピュータ記憶媒体をさらに備え、前記命令は、前記１つ以上のプロセッサによって実行されると、
    クロスリアリティ（ＸＲ）デバイスの第１の閾値距離メトリック内に位置する個別のアンカ場所を伴う複数のアプリケーションを識別する情報を取得することであって、アンカ場所は、アプリケーションによって仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
    前記複数のアプリケーションのうちの１つ以上を除去することにより、前記複数のアプリケーションのサブセットを維持することであって、前記除去することは、前記第１の閾値距離メトリック内に位置する前記複数のアプリケーションが閾値数のアプリケーションを超えることの決定に基づいて、トリガされ、前記除去することは、前記ＸＲデバイスの使用に関連付けられたコンテキストと、前記複数のアプリケーションに関連付けられた深度面情報とに基づき、前記深度面情報は、複数の深度面のうち、前記複数のアプリケーションのそれぞれが仮想コンテンツを提示すべきである個別の深度面を示す、ことと、
    前記複数のアプリケーションの前記サブセットに割り当てられるべきである「スリープ」状態および「アクティブ」状態および「アクティブおよび無レンダリング」状態および「アクティブおよびレンダリング」状態および「未ロード」状態および「背景対応」状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記ＸＲデバイスとの近接度に基づいて決定される、ことと、
    前記状態を実装することであって、前記サブセットの第１のアプリケーションは、仮想コンテンツをレンダリングするために前記「アクティブおよびレンダリング」状態を割り当てられ、前記第１のアプリケーションは、前記ＸＲデバイスを介して、仮想コンテンツを第１のアンカ場所に提示する、ことと、
    前記ＸＲデバイスの移動に応答して、前記サブセットに含まれる１つ以上のアプリケーションに対して、前記「スリープ」状態および前記「アクティブ」状態および前記「アクティブおよび無レンダリング」状態および前記「アクティブおよびレンダリング」状態および前記「未ロード」状態および前記「背景対応」状態から選択される更新された状態を決定することと
    を含む動作を実行することを前記１つ以上のプロセッサに行わせる、システム。
14. 前記第１のアプリケーションの状態を決定することは、複数のゾーンのうち、前記第１のアプリケーションが位置付けられる第１のゾーンを識別することを含み、前記複数のゾーンは、前記ＸＲデバイスの場所上に中心合わせされた立体グリッド内に含まれ、前記第１のゾーンは、前記状態に関連付けられている、請求項１３に記載のシステム。
15. 前記第１のゾーンは、前記第１のアプリケーションが前記「アクティブおよびレンダリング」状態に設定されるように、前記第１のアプリケーションが前記ＸＲデバイスの表示錐台内に位置付けられることを示し、第２のゾーンは、アプリケーションが前記「アクティブおよび無レンダリング」状態または前記「スリープ」状態または前記「未ロード」状態に設定されるように、前記アプリケーションが前記ＸＲデバイスの表示錐台の外側に位置付けられることを示す、請求項１４に記載のシステム。
16. 前記複数のゾーンは、複数の状態に関連付けられており、前記複数の状態は、アプリケーションが前記「アクティブおよびレンダリング」状態に設定されている状態、または、前記アプリケーションが前記「アクティブおよび無レンダリング」状態に設定されている状態、または、前記アプリケーションが前記「スリープ」状態に設定されている状態、または、前記アプリケーションが前記「未ロード」状態に設定されている状態を含む、請求項１４に記載のシステム。
17. 前記動作は、
    アクティブであることおよび仮想コンテンツをレンダリングすることに関連付けられた決定された状態を伴う特定の閾値数を上回るアプリケーションを識別することと、
    １つ以上のメトリックに従って、前記特定の閾値数のアプリケーション
    をランク付けすることと、
    前記決定された状態を実装することであって、前記特定の閾値数のアプリケーションの１つ以上のアプリケーションは、前記ランク付けに従って、仮想コンテンツを提示し、前記特定の閾値数のアプリケーションの残りのアプリケーションは、前記「アクティブおよび無レンダリング」状態または前記「スリープ」状態または前記「未ロード」状態に設定される、ことと
    をさらに含む、請求項１３に記載のシステム。
18. 非一過性のコンピュータ記憶媒体であって、前記非一過性のコンピュータ記憶媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサを備えるクロスリアリティ（ＸＲ）デバイスであって、仮想コンテンツを前記ＸＲデバイスのユーザに提示するように構成されているＸＲデバイスによって実行されると、
    前記ＸＲデバイスの第１の閾値距離メトリック内に位置する個別のアンカ場所を伴う複数のアプリケーションを識別する情報を取得することであって、アンカ場所は、アプリケーションによって仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
    前記複数のアプリケーションのうちの１つ以上を除去することにより、前記複数のアプリケーションのサブセットを維持することであって、前記除去することは、前記第１の閾値距離メトリック内に位置する前記複数のアプリケーションが閾値数のアプリケーションを超えることの決定に基づいて、トリガされ、前記除去することは、前記ＸＲデバイスの使用に関連付けられたコンテキストと、前記複数のアプリケーションに関連付けられた深度面情報とに基づき、前記深度面情報は、複数の深度面のうち、前記複数のアプリケーションのそれぞれが仮想コンテンツを提示すべきである個別の深度面を示す、ことと、
    前記複数のアプリケーションの前記サブセットに割り当てられるべきである「スリープ」状態および「アクティブ」状態および「アクティブおよび無レンダリング」状態および「アクティブおよびレンダリング」状態および「未ロード」状態および「背景対応」状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記ＸＲデバイスとの近接度に基づいて決定される、ことと、
    前記状態を実装することであって、前記サブセットの第１のアプリケーションは、仮想コンテンツをレンダリングするために前記「アクティブおよびレンダリング」状態を割り当てられ、前記第１のアプリケーションは、前記ＸＲデバイスを介して、仮想コンテンツを第１のアンカ場所に提示する、ことと、
    前記ＸＲデバイスの移動に応答して、前記サブセットに含まれる１つ以上のアプリケーションに対して、前記「スリープ」状態および前記「アクティブ」状態および前記「アクティブおよび無レンダリング」状態および前記「アクティブおよびレンダリング」状態および前記「未ロード」状態および前記「背景対応」状態から選択される更新された状態を決定することと
    を含む動作を実行することを前記１つ以上のプロセッサに行わせる、非一過性のコンピュータ記憶媒体。
19. 前記第１のアプリケーションの状態を決定することは、複数のゾーンのうち、前記第１のアプリケーションが位置付けられる第１のゾーンを識別することを含み、前記複数のゾーンは、前記ＸＲデバイスの場所上に中心合わせされた立体グリッド内に含まれ、前記第１のゾーンは、前記状態に関連付けられている、請求項１８に記載のコンピュータ記憶媒体。
20. 前記複数のゾーンは、複数の状態に関連付けられており、前記複数の状態は、アプリケーションが前記「アクティブおよびレンダリング」状態に設定されている状態、または、前記アプリケーションが前記「アクティブおよび無レンダリング」状態に設定されている状態、または、前記アプリケーションが前記「スリープ」状態に設定されている状態、または、前記アプリケーションが前記「未ロード」状態に設定されている状態を含む、請求項１９に記載のコンピュータ記憶媒体。
21. 前記深度面情報に基づいて前記除去することは、第１の深度面において仮想コンテンツを提示すべきである第１のアプリケーションを維持することと、第２の深度面において仮想コンテンツを提示すべきである第２のアプリケーションを除去することとを含む、請求項１に記載の方法。

Images