JP7658977B2 - 仮想コンテンツの動的併置 - Google Patents

Description

（関連出願の相互参照）
本願は、その内容が参照することによってその全体として本明細書に組み込まれる、２０２０年２月１０日に出願された、米国仮出願第６２／９７２，５４１号の利益を主張する。

本開示は、一般に、仮想コンテンツをユーザに表示するためのシステムおよび方法に関し、特に、複合現実環境内で仮想コンテンツをユーザに表示するためのシステムおよび方法に関する。

仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。

仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。本開示は、ＶＲ、ＡＲ、およびＭＲシステム間の特異性を考慮する（但し、いくつかのシステムは、一側面（例えば、視覚的側面）では、ＶＲとしてカテゴリ化され、同時に、別の側面（例えば、オーディオ側面）では、ＡＲまたはＭＲとしてカテゴリ化され得る）。本明細書で使用されるように、ＶＲシステムは、少なくとも１つの側面においてユーザの実環境を置換する、仮想環境を提示する。例えば、ＶＲシステムは、ユーザに、仮想環境のビューを提示し得る一方、同時に、光遮断頭部搭載型ディスプレイ等を用いて、実環境のそのビューを不明瞭にする。同様に、ＶＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを遮断する（減衰させる）。

ＶＲシステムは、ユーザの実環境を仮想環境と置換することから生じる、種々の短所を被り得る。１つの短所は、仮想環境内のユーザの視野が、（仮想環境ではなく）実環境内におけるその平衡および配向を検出する、その内耳の状態にもはや対応しなくなるときに生じ得る、乗り物酔いを感じることである。同様に、ユーザは、自身の身体および四肢（そのビューは、ユーザが実環境内において「地に足が着いている」と感じるために依拠するものである）が直接可視ではない場合、ＶＲ環境内において失見当識を被り得る。別の短所は、特に、ユーザを仮想環境内に没入させようとする、リアルタイム用途において、完全３Ｄ仮想環境を提示しなければならない、ＶＲシステムに課される算出負担（例えば、記憶、処理力）である。同様に、そのような環境は、ユーザが、仮想環境内のわずかな不完全性にさえ敏感である傾向にあって、そのいずれも、仮想環境内のユーザの没入感を破壊し得るため、没入していると見なされるために、非常に高水準の現実性に到達する必要があり得る。さらに、ＶＲシステムの別の短所は、システムのそのような用途が、実世界内で体験する、種々の光景および音等の実環境内の広範囲の感覚データを利用することができないことである。関連短所は、実環境内の物理的空間を共有するユーザが、仮想環境内で直接見る、または相互に相互作用することが不可能であり得るため、ＶＲシステムが、複数のユーザが相互作用し得る、共有環境を作成することに苦戦し得ることである。

本明細書で使用されるように、ＡＲシステムは、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示する。例えば、ＡＲシステムは、表示される画像を提示する一方、光が、ディスプレイを通してユーザの眼の中に通過することを可能にする、透過性頭部搭載型ディスプレイ等を用いて、ユーザに、実環境のユーザのビュー上にオーバーレイされる仮想環境のビューを提示し得る。同様に、ＡＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを混合させる。同様に、本明細書で使用されるように、ＭＲシステムは、ＡＲシステムと同様に、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示し、加えて、ＭＲシステム内の仮想環境が、少なくとも１つの側面において実環境と相互作用し得ることを可能にし得る。例えば、仮想環境内の仮想キャラクタが、実環境内の照明スイッチを切り替え、実環境内の対応する電球をオンまたはオフにさせてもよい。別の実施例として、仮想キャラクタが、実環境内のオーディオ信号に反応してもよい（顔の表情等を用いて）。実環境の提示を維持することによって、ＡＲおよびＭＲシステムは、ＶＲシステムの前述の短所のうちのいくつかを回避し得る。例えば、ユーザにおける乗り物酔いは、実環境からの視覚的キュー（ユーザ自身の身体を含む）が、可視のままであり得、そのようなシステムが、没入型であるために、ユーザに、完全に実現された３Ｄ環境を提示する必要がないため、低減される。さらに、ＡＲおよびＭＲシステムは、実世界感覚入力（例えば、景色、オブジェクト、および他のユーザのビューおよび音）を利用して、その入力を拡張させる、新しい用途を作成することができる。

単一ユーザ用途に加え、ＸＲシステムは、マルチユーザ環境から利益を享受し得る。ＡＲおよび／またはＭＲシステムは、実世界環境と仮想環境を混成するため、ＸＲシステムのユーザは、多くの場合、同一実世界空間内に常駐し得る。実コンテンツと仮想コンテンツとの間の境を上手くぼかすために、ＸＲシステムのユーザに、同一実世界空間に内在するＸＲシステムの他のユーザと同一位置において、同一仮想コンテンツが見えることが有益であり得る。仮想オブジェクト併置（すなわち、複数のユーザが同一実オブジェクトを見ているかのように、複数のユーザが、同一仮想オブジェクトを同一場所にあるものと知覚するとき）は、ユーザが、共有実コンテンツを見て、体験するのと同一方法において、ユーザが、共有仮想コンテンツを見て、体験することを可能にすることができる。仮想オブジェクト併置は、ユーザが同一複合現実体験を共有することが可能であるため、生産性および没入性を有効にすることができる。ＸＲシステムが、仮想オブジェクトを複数のユーザおよび／またはＸＲシステムを横断して同一設置場所に表示することを有効にすることは、ユーザが、複合現実環境内に没入したまま、他のユーザと相互作用することを可能にする。

ＸＲシステムは、仮想視覚的およびオーディオキューと実光景および音を組み合わせることによって、一意に増大した没入感および現実性をもたらすことができる。故に、いくつかのＸＲシステムでは、対応する実環境を向上させる、改良する、または改変する、仮想環境を提示することが望ましい。本開示は、複数のＸＲシステムを横断して仮想オブジェクトの一貫した設置を有効にする、ＸＲシステムに関する。

本開示の実施例は、仮想コンテンツを併置するためのシステムおよび方法を説明する。本開示の実施例によると、方法は、第１の持続座標データ、第２の持続座標データ、および関係データを受信するステップを含んでもよい。第３の持続座標データおよび第４の持続座標データは、頭部装着型デバイスの１つまたはそれを上回るセンサを介して受信された入力に基づいて決定されてもよい。第１の持続座標データが第３の持続座標データに対応するかどうかが決定されることができる。第１の持続座標データが第３の持続座標データに対応することの決定に従って、第２の持続座標データが第４の持続座標データに対応するかどうかが決定されることができる。第２の持続座標データが第４の持続座標データに対応することの決定に従って、仮想オブジェクトは、関係データおよび第２の持続座標データを使用して、頭部装着型デバイスのディスプレイを介して、表示されることができる。第２の持続座標データが第４の持続座標データに対応しないことの決定に従って、仮想オブジェクトは、関係データおよび第１の持続座標データを使用して、頭部装着型デバイスのディスプレイを介して、表示されることができる。第１の持続座標データが第３の持続座標データに対応しないことの決定に従って、本方法は、頭部装着型デバイスを介して、仮想オブジェクトを表示しないようにしてもよい。
本発明は、例えば、以下の項目を提供する。
（項目１）
システムであって、
ディスプレイおよび１つまたはそれを上回るセンサを有する頭部装着型デバイスと、
１つまたはそれを上回るプロセッサであって、
第１の持続座標データ、第２の持続座標データ、および関係データを受信することと、
前記１つまたはそれを上回るセンサを介して受信された入力に基づいて、第３の持続座標データおよび第４の持続座標データを決定することと、
前記第１の持続座標データが前記第３の持続座標データに対応するかどうかを決定することと、
前記第１の持続座標データが前記第３の持続座標データに対応することの決定に従って、
前記第２の持続座標データが前記第４の持続座標データに対応するかどうかを決定することと、
前記第２の持続座標データが前記第４の持続座標データに対応することの決定に従って、
前記頭部装着型デバイスのディスプレイを介して、前記関係データおよび前記第２の持続座標データを使用して、仮想オブジェクトを表示することと、
前記第２の持続座標データが前記第４の持続座標データに対応しないことの決定に従って、
前記頭部装着型デバイスのディスプレイを介して、前記関係データおよび前記第１の持続座標データを使用して、前記仮想オブジェクトを表示することと、
前記第１の持続座標データが前記第３の持続座標データに対応しないことの決定に従って、
前記頭部装着型デバイスのディスプレイを介して、前記仮想オブジェクトを表示しないようにすることと
を含む方法を実行するように構成される、１つまたはそれを上回るプロセッサと
を備える、システム。
（項目２）
前記第１の持続座標データは、第１の場所に対応し、前記第２の持続座標データは、第２の場所に対応し、前記第２の場所は、前記第１の場所より前記頭部装着型デバイスの場所に近い、項目１に記載のシステム。
（項目３）
前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記第１の持続座標データは、第２の頭部装着型デバイスから受信される、項目１に記載のシステム。
（項目４）
前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記関係データは、第２の頭部装着型デバイスから受信される、項目１に記載のシステム。
（項目５）
前記方法はさらに、前記仮想オブジェクトに対応するデータを受信することを含む、項目１に記載のシステム。
（項目６）
前記第３の持続座標データは、前記頭部装着型デバイスの現在の場所に対応する、項目１に記載のシステム。
（項目７）
前記関係データは、変換行列を備える、項目１に記載のシステム。
（項目８）
方法であって、
第１の持続座標データ、第２の持続座標データ、および関係データを受信することと、
頭部装着型デバイスの１つまたはそれを上回るセンサを介して受信された入力に基づいて、第３の持続座標データおよび第４の持続座標データを決定することと、
前記第１の持続座標データが前記第３の持続座標データに対応するかどうかを決定することと、
前記第１の持続座標データが前記第３の持続座標データに対応することの決定に従って、
前記第２の持続座標データが前記第４の持続座標データに対応するかどうかを決定することと、
前記第２の持続座標データが前記第４の持続座標データに対応することの決定に従って、
前記頭部装着型デバイスのディスプレイを介して、前記関係データおよび前記第２の持続座標データを使用して、仮想オブジェクトを表示することと、
前記第２の持続座標データが前記第４の持続座標データに対応しないことの決定に従って、
前記頭部装着型デバイスのディスプレイを介して、前記関係データおよび前記第１の持続座標データを使用して、前記仮想オブジェクトを表示することと、
前記第１の持続座標データが前記第３の持続座標データに対応しないことの決定に従って、
前記頭部装着型デバイスのディスプレイを介して、前記仮想オブジェクトを表示しないようにすることと
を含む、方法。
（項目９）
前記第１の持続座標データは、第１の場所に対応し、前記第２の持続座標データは、第２の場所に対応し、前記第２の場所は、前記第１の場所より前記頭部装着型デバイスの場所に近い、項目８に記載の方法。
（項目１０）
前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記第１の持続座標データは、第２の頭部装着型デバイスから受信される、項目８に記載の方法。
（項目１１）
前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記関係データは、第２の頭部装着型デバイスから受信される、項目８に記載の方法。
（項目１２）
前記仮想オブジェクトに対応するデータを受信することをさらに含む、項目８に記載の方法。
（項目１３）
前記第３の持続座標データは、前記頭部装着型デバイスの現在の場所に対応する、項目８に記載の方法。
（項目１４）
前記関係データは、変換行列を備える、項目８に記載の方法。
（項目１５）
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
第１の持続座標データ、第２の持続座標データ、および関係データを受信することと、
頭部装着型デバイスの１つまたはそれを上回るセンサを介して受信された入力に基づいて、第３の持続座標データおよび第４の持続座標データを決定することと、
前記第１の持続座標データが第３の持続座標データに対応するかどうかを決定することと、
前記第１の持続座標データが前記第３の持続座標データに対応することの決定に従って、
前記第２の持続座標データが前記第４の持続座標データに対応するかどうかを決定することと、
前記第２の持続座標データが前記第４の持続座標データに対応することの決定に従って、
前記頭部装着型デバイスのディスプレイを介して、前記関係データおよび前記第２の持続座標データを使用して、仮想オブジェクトを表示することと、
前記第２の持続座標データが前記第４の持続座標データに対応しないことの決定に従って、
前記頭部装着型デバイスのディスプレイを介して、前記関係データおよび前記第１の持続座標データを使用して、仮想オブジェクトを表示することと、
前記第１の持続座標データが前記第３の持続座標データに対応しないことの決定に従って、
前記頭部装着型デバイスのディスプレイを介して、前記仮想オブジェクトを表示しないようにすることと
を含む方法を実行させる、非一過性コンピュータ可読媒体。
（項目１６）
前記第１の持続座標データは、第１の場所に対応し、前記第２の持続座標データは、第２の場所に対応し、前記第２の場所は、前記第１の場所より前記頭部装着型デバイスの場所に近い、項目１５に記載の非一過性コンピュータ可読媒体。
（項目１７）
前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記第１の持続座標データは、第２の頭部装着型デバイスから受信される、項目１５に記載の非一過性コンピュータ可読媒体。
（項目１８）
前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記関係データは、第２の頭部装着型デバイスから受信される、項目１５に記載の非一過性コンピュータ可読媒体。
（項目１９）
前記方法はさらに、前記仮想オブジェクトに対応するデータを受信することを含む、項目１５に記載の非一過性コンピュータ可読媒体。
（項目２０）
前記第３の持続座標データは、前記頭部装着型デバイスの現在の場所に対応する、項目１５に記載の非一過性コンピュータ可読媒体。
（項目２１）
前記関係データは、変換行列を備える、項目１５に記載の非一過性コンピュータ可読媒体。
（項目２２）
システムであって、
ディスプレイおよび１つまたはそれを上回るセンサを有する頭部装着型デバイスと、
１つまたはそれを上回るプロセッサであって、
第１の持続座標データを受信することと、
関係データを受信することであって、前記関係データは、位置を前記第１の持続座標データに関連させる、ことと、
前記１つまたはそれを上回るセンサを介して受信された入力に基づいて、第２の持続座標データを決定することと、
前記第１の持続座標データが前記第２の持続座標データに対応するかどうかを決定することと、
前記第１の持続座標データが前記第２の持続座標データに対応することの決定に従って、前記頭部装着型デバイスのディスプレイを介して、前記第１の持続座標データに基づいて、および前記関係データに基づいて、仮想オブジェクトを表示することと、
前記第１の持続座標データが前記第２の持続座標データに対応しないことの決定に従って、前記頭部装着型デバイスのディスプレイを介して、前記仮想オブジェクトを表示しないようにすることと
を含む方法を実行するように構成される、１つまたはそれを上回るプロセッサと
を備える、システム。
（項目２３）
前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記方法はさらに、前記第２の持続座標データを第２の頭部装着型デバイスに伝送することを含む、項目２２に記載のシステム。
（項目２４）
前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記第１の持続座標データは、第２の頭部装着型デバイスから受信される、項目２２に記載のシステム。
（項目２５）
前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記関係データは、第２の頭部装着型デバイスから受信される、項目２２に記載のシステム。
（項目２６）
前記方法はさらに、前記仮想オブジェクトに対応するデータを受信することを含む、項目２２に記載のシステム。
（項目２７）
前記第２の持続座標データは、前記頭部装着型デバイスの現在の場所に対応する、項目２２に記載のシステム。
（項目２８）
前記関係データは、変換行列を備える、項目２２に記載のシステム。

図１Ａ－１Ｃは、いくつかの実施形態による、例示的複合現実環境を図示する。 図１Ａ－１Ｃは、いくつかの実施形態による、例示的複合現実環境を図示する。 図１Ａ－１Ｃは、いくつかの実施形態による、例示的複合現実環境を図示する。

図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。 図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。 図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。 図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。

図３Ａは、いくつかの実施形態による、入力を複合現実環境に提供するために使用され得る、例示的複合現実ハンドヘルドコントローラを図示する。

図３Ｂは、いくつかの実施形態による、例示的複合現実システムと併用され得る、例示的補助ユニットを図示する。

図４は、いくつかの実施形態による、例示的複合現実システムのための例示的機能ブロック図を図示する。

図５は、いくつかの実施形態による、仮想オブジェクト併置の実施例を図示する。

図６は、いくつかの実施形態による、仮想オブジェクト併置の実施例を図示する。

図７は、いくつかの実施形態による、複数の環境を横断した仮想オブジェクト併置の実施例を図示する。

図８は、いくつかの実施形態による、仮想オブジェクト併置のための例示的ネットワークアーキテクチャを図示する。

図９は、いくつかの実施形態による、仮想コンテンツを併置するための例示的プロセスを図示する。

図１０は、いくつかの実施形態による、１つまたはそれを上回るＭＲシステムと接続し、併置セッションを開始するための例示的プロセスを図示する。

詳細な説明
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。

複合現実環境

全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の３次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点から３つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。

コンピューティングデバイスは、例えば、デバイスと関連付けられるメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において、第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および／または任意の好適な入力を使用して、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。

ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無生物オブジェクト、人々、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに１つまたはそれを上回るオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい（例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、１つまたはそれを上回るスピーカを介して、オーディオ信号を提示することができる。

仮想環境は、算出構造としてのみ存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的にのみ、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用することができないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。

複合現実システムは、ユーザに、例えば、透過型ディスプレイおよび／または１つまたはそれを上回るスピーカ（例えば、ウェアラブル頭部デバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境（「ＭＲＥ」）を提示することができる。いくつかの実施形態では、１つまたはそれを上回るスピーカは、頭部搭載型ウェアラブルユニットの外部にあってもよい。本明細書で使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一座標（いくつかの実施例では、変換行列とともに）は、実環境内の第１の場所と、また、仮想環境内の第２の対応する場所とを定義し得、その逆も同様である。

ＭＲＥでは、（例えば、ＭＲＥと関連付けられる仮想環境内の）仮想オブジェクトは、（例えば、ＭＲＥと関連付けられる実環境内の）実オブジェクトに対応し得る。例えば、ＭＲＥの実環境が、実街灯柱（実オブジェクト）をある場所座標に含む場合、ＭＲＥの仮想環境は、仮想街灯柱（仮想オブジェクト）を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトとともに組み合わせて、「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい（街灯柱が略円筒形形状であり得ることを反映する）。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、ＭＲＥの仮想環境内にのみ存在し得る。

いくつかの実施例では、仮想オブジェクトは、時として著しく、対応する実オブジェクトのものと異なる、特性を有してもよい。例えば、ＭＲＥ内の実環境は、緑色の２本の枝が延びたサボテン、すなわち、とげだらけの無生物オブジェクトを含み得るが、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の２本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）において、その対応する実オブジェクトに類似するが、他の特性（顔特徴、性格）において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物（例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスタ）であってもよい。

ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、ＶＲシステムと比較して、ＭＲＥを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられる視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、ＶＲシステムのユーザは、上記に述べられたように、ユーザが、直接、仮想環境を知覚する、またはそれと相互作用することができないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することが直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられる負の心理学的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させることができる。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。

図１Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的実環境１００を図示する。複合現実システム１１２は、ディスプレイ（例えば、透過型ディスプレイ）および１つまたはそれを上回るスピーカと、例えば、下記に説明されるような１つまたはそれを上回るセンサ（例えば、カメラ）とを含んでもよい。示される実環境１００は、その中にユーザ１１０が立っている、長方形の部屋１０４Ａと、実オブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを含む。部屋１０４Ａはさらに、場所座標１０６を含み、これは、実環境１００の原点と見なされ得る。図１Ａに示されるように、その原点を点１０６（世界座標）に伴う、環境／世界座標系１０８（ｘ－軸１０８Ｘ、ｙ－軸１０８Ｙ、およびｚ－軸１０８Ｚを備える）は、実環境１００のための座標空間を定義し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、複合現実システム１１２の電源がオンにされた場所に対応し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ１１０は、実環境１００内の実オブジェクトと見なされ得る。同様に、ユーザ１１０の身体部分（例えば、手、足）は、実環境１００内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点１１５（例えば、ユーザ／聴取者／頭部座標）に伴う、ユーザ／聴取者／頭部座標系１１４（ｘ－軸１１４Ｘ、ｙ－軸１１４Ｙ、およびｚ－軸１１４Ｚを備える）は、その上に複合現実システム１１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義し得る。ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の１つまたはそれを上回るコンポーネントに対して定義されてもよい。例えば、ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の初期較正等の間、複合現実システム１１２のディスプレイに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴取者／頭部座標系１１４空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標１１６および右耳座標１１７が、ユーザ／聴取者／頭部座標系１１４の原点１１５に対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標１１６および右耳座標１１７とユーザ／聴取者／頭部座標系１１４空間との間の変換を特性評価することができる。ユーザ／聴取者／頭部座標系１１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１０８に対する場所の表現を簡略化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、リアルタイムで決定および更新されることができる。

図１Ｂは、実環境１００に対応する、例示的仮想環境１３０を図示する。示される仮想環境１３０は、実長方形部屋１０４Ａに対応する仮想長方形部屋１０４Ｂと、実オブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実オブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実オブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを含む。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられるメタデータは、対応する実オブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、仮想モンスタ１３２を含み、これは、実環境１００内の任意の実オブジェクトに対応しない。実環境１００内の実オブジェクト１２８Ａは、仮想環境１３０内の任意の仮想オブジェクトに対応しない。その原点を点１３４（持続的座標）に伴う、持続的座標系１３３（ｘ－軸１３３Ｘ、ｙ－軸１３３Ｙ、およびｚ－軸１３３Ｚを備える）は、仮想コンテンツのための座標空間を定義し得る。持続的座標系１３３の原点１３４は、実オブジェクト１２６Ａ等の１つまたはそれを上回る実オブジェクトと相対的に／それに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、持続的座標系１３３空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、持続的座標系１３３の原点１３４に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、１つまたはそれを上回る持続的座標系に対するその自身の持続的座標点を有してもよい。

持続座標データは、物理的環境に対して存続する、座標データであってもよい。持続座標データは、ＭＲシステム（例えば、ＭＲシステム１１２、２００）によって使用され、持続仮想コンテンツを設置してもよく、これは、その上に仮想オブジェクトが表示されている、ディスプレイの移動に結び付けられなくてもよい。例えば、２次元画面は、画面上の位置に対してのみ仮想オブジェクトを表示してもよい。２次元画面が移動するにつれて、仮想コンテンツは、画面とともに移動してもよい。いくつかの実施形態では、持続仮想コンテンツは、部屋の角に表示されてもよい。ＭＲユーザが、角を見ると、仮想コンテンツが見え、角から眼を逸らし（仮想コンテンツは、もはや可視ではなくなり得る）、視線を戻すと、仮想コンテンツが角に見え得る（実オブジェクトが挙動し得る方法に類似する）。

いくつかの実施形態では、持続座標データ（例えば、持続座標系）のインスタンスは、原点と、３つの軸とを含むことができる。例えば、持続座標系は、ＭＲシステムによって、部屋の中心に割り当てられてもよい。いくつかの実施形態では、ユーザが、部屋を動き回り、部屋から出て、部屋に再進入する等し得るが、持続座標系は、部屋の中心に留まり得る（例えば、物理的環境に対して存続するため）。いくつかの実施形態では、仮想オブジェクトは、持続座標データへの変換を使用して、表示されてもよく、これは、持続仮想コンテンツを表示することを有効にし得る。いくつかの実施形態では、ＭＲシステムは、同時位置特定およびマッピングを使用して、持続座標データを生成してもよい（例えば、ＭＲシステムは、持続座標系を空間内の点に割り当ててもよい）。いくつかの実施形態では、ＭＲシステムは、持続座標データを規則的インターバルで生成することによって、環境をマッピングしてもよい（例えば、ＭＲシステムは、持続座標系を、持続座標系が別の持続座標系の少なくとも５フィート以内にあり得る、グリッド内に割り当ててもよい）。

いくつかの実施形態では、持続座標データは、ＭＲシステムによって生成され、遠隔サーバに伝送されてもよい。いくつかの実施形態では、遠隔サーバは、持続座標データを受信するように構成されてもよい。いくつかの実施形態では、遠隔サーバは、複数の観察インスタンスからの持続座標データを同期させるように構成されてもよい。例えば、複数のＭＲシステムは、同一部屋と持続座標データをマッピングし、そのデータを遠隔サーバに伝送してもよい。いくつかの実施形態では、遠隔サーバは、本観察データを使用して、規準持続座標データを生成してもよく、これは、１つまたはそれを上回る観察に基づいてもよい。いくつかの実施形態では、規準持続座標データは、持続座標データの単一観察より正確および／または信頼性があり得る。いくつかの実施形態では、規準持続座標データは、１つまたはそれを上回るＭＲシステムに伝送されてもよい。例えば、ＭＲシステムは、画像認識および／または場所データを使用して、対応する規準持続座標データを有する、部屋内に位置することを認識してもよい（例えば、他のＭＲシステムが、その部屋を以前にマッピングしているため）。いくつかの実施形態では、ＭＲシステムは、その場所に対応する規準持続座標データを遠隔サーバから受信してもよい。

図１Ａおよび１Ｂに関して、環境／世界座標系１０８は、実環境１００および仮想環境１３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点１０６に有する。さらに、座標空間は、同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって定義される。故に、実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示するステップを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では（図示せず）、行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。

図１Ｃは、同時に、実環境１００および仮想環境１３０の側面をユーザ１１０に複合現実システム１１２を介して提示する、例示的ＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、同時に、ユーザ１１０に、実環境１００からの実オブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ（例えば、複合現実システム１１２のディスプレイの透過性部分を介して）と、仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２（例えば、複合現実システム１１２のディスプレイのアクティブディスプレイ部分を介して）とを提示する。上記のように、原点１０６は、ＭＲＥ１５０に対応する座標空間のための原点として作用し、座標系１０８は、座標空間のためのｘ－軸、ｙ－軸、およびｚ－軸を定義する。

示される実施例では、複合現実オブジェクトは、座標空間１０８内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト（すなわち、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を含む。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ１１０に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る（仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等）。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実オブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）をオクルードするように、表示されてもよい（例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して）。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る（無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等）。

いくつかの実施例では、実オブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられるカスタムアセットタイプ、または対応する実オブジェクトと関連付けられる統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。

いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想モンスタ１３２は、モンスタがＭＲＥ１５０の周囲を歩き回るにつれて生成される、足音効果等の１つまたはそれを上回るオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれる１つまたはそれを上回るスピーカおよび／または１つまたはそれを上回る外部スピーカを介して、オーディオ信号をユーザ１１０に提示することができる。

例示的複合現実システム

例示的複合現実システム１１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを含み得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるのアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部品に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム１１２はまた、ハンドヘルドコントローラ３００、および／または下記にさらに説明されるように、ウェアラブルベルトパックであり得る、補助ユニット３２０を含んでもよい。

図２Ａ－２Ｄは、ＭＲＥ（ＭＲＥ１５０に対応し得る）または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム２００（複合現実システム１１２に対応し得る）のコンポーネントを図示する。図２Ａは、例示的複合現実システム２００内に含まれるウェアラブル頭部デバイス２１０２の斜視図を図示する。図２Ｂは、ユーザの頭部２２０２上に装着されるウェアラブル頭部デバイス２１０２の上面図を図示する。図２Ｃは、ウェアラブル頭部デバイス２１０２の正面図を図示する。図２Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の縁視図を図示する。図２Ａ－２Ｃに示されるように、例示的ウェアラブル頭部デバイス２１０２は、例示的左接眼レンズ（例えば、左透明導波管セット接眼レンズ）２１０８と、例示的右接眼レンズ（例えば、右透明導波管セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ（例えば、画像毎に変調された光を介して）を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ２１０８は、左内部結合格子セット２１１２と、左直交瞳拡張（ＯＰＥ）格子セット２１２０と、左出射（出力）瞳拡張（ＥＰＥ）格子セット２１２２とを含むことができる。同様に、右接眼レンズ２１１０は、右内部結合格子セット２１１８と、右ＯＰＥ格子セット２１１４と、右ＥＰＥ格子セット２１１６とを含むことができる。画像毎に変調された光は、内部結合格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、およびＥＰＥ２１１６および２１２２を介して、ユーザの眼に転送されることができる。各内部結合格子セット２１１２、２１１８は、光をその対応するＯＰＥ格子セット２１２０、２１１４に向かって偏向させるように構成されることができる。各ＯＰＥ格子セット２１２０、２１１４は、光をその関連付けられるＥＰＥ２１２２、２１１６に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ格子セット２１２０、２１１４から受信された光の少なくとも一部を、接眼レンズ２１０８、２１１０の背後に定義される、ユーザアイボックス位置（図示せず）に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット２１１２および２１１８、ＯＰＥ格子セット２１１４および２１２０、およびＥＰＥ格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および／または屈折および反射性特徴の他の配列を含むことができる。

いくつかの実施例では、ウェアラブル頭部デバイス２１０２は、左つるのアーム２１３０と、右つるのアーム２１３２とを含むことができ、左つるのアーム２１３０は、左スピーカ２１３４を含み、右つるのアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁受信機２１３８は、左こめかみ部品またはウェアラブル頭部ユニット２１０２内の別の好適な場所に位置することができる。慣性測定ユニット（ＩＭＵ）２１４０は、右つるのアーム２１３２またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス２１０２はまた、左深度（例えば、飛行時間）カメラ２１４２と、右深度カメラ２１４４とを含むことができる。深度カメラ２１４２、２１４４は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。

図２Ａ－２Ｄに示される実施例では、画像毎に変調された光の左源２１２４は、左内部結合格子セット２１１２を通して、左接眼レンズ２１０８の中に光学的に結合されることができ、画像毎に変調された光の右源２１２６は、右内部結合格子セット２１１８を通して、右接眼レンズ２１１０の中に光学的に結合されることができる。画像毎に変調された光の源２１２４、２１２６は、例えば、光ファイバスキャナ、デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子光変調器を含む、プロジェクタ、または側面あたり１つまたはそれを上回るレンズを使用して、内部結合格子セット２１１２、２１１８の中に結合される、マイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光型ディスプレイを含むことができる。入力結合格子セット２１１２、２１１８は、画像毎に変調された光の源２１２４、２１２６からの光を、接眼レンズ２１０８、２１１０のための全内部反射（ＴＩＲ）に関する臨界角を上回る角度に偏向させることができる。ＯＰＥ格子セット２１１４、２１２０は、伝搬する光をＴＩＲによってＥＰＥ格子セット２１１６、２１２２に向かって下方に漸次的に偏向させる。ＥＰＥ格子セット２１１６、２１２２は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。

いくつかの実施例では、図２Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０はそれぞれ、複数の導波管２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル（例えば、赤色、青色、および緑色）専用である。いくつかの実施例では、各接眼レンズ２１０８、２１１０は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離（例えば、波面曲率の逆数に対応する距離）に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、ＥＰＥ格子セット２１１６、２１２２は、各ＥＰＥを横断して出射する光のＰｏｙｎｔｉｎｇベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。

いくつかの実施例では、表示されるコンテンツが３次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎に光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通して、ユーザに提示されることができる。３次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管（したがって、対応する波面曲率）を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節（例えば、オブジェクト距離依存焦点）との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。

図２Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上部からの縁視図を図示する。図２Ｄに示されるように、複数の導波管２４０２は、３つの導波管の第１のサブセット２４０４と、３つの導波管の第２のサブセット２４０６とを含むことができる。導波管の２つのサブセット２４０４、２４０６は、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるＥＰＥ格子によって区別されることができる。導波管のサブセット２４０４、２４０６のそれぞれ内において、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２２０６に結合するために使用されることができる。（図２Ｄには図示されないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に類似する。）

図３Ａは、複合現実システム２００の例示的ハンドヘルドコントローラコンポーネント３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、把持部分３４６と、上部表面３４８に沿って配置される、１つまたはそれを上回るボタン３５０とを含む。いくつかの実施例では、ボタン３５０は、例えば、カメラまたは他の光学センサ（複合現実システム２００の頭部ユニット（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）と併せて、ハンドヘルドコントローラ３００の６自由度（６ＤＯＦ）運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ウェアラブル頭部デバイス２１０２に対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の好適なセンサ）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ３００のハンドル内に位置付けられてもよく、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、ボタンの押下状態、またはハンドヘルドコントローラ３００の位置、配向、および／または運動（例えば、ＩＭＵを介して）のうちの１つまたはそれを上回るものに対応する、１つまたはそれを上回る出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム２００のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動（さらに言うと、コントローラを保持するユーザの手の位置、配向、および／または移動）に対応し得る。そのような入力はまた、ユーザがボタン３５０を押下したことに対応し得る。

図３Ｂは、複合現実システム２００の例示的補助ユニット３２０を図示する。補助ユニット３２０は、エネルギーを提供し、システム２００を動作するためのバッテリを含むことができ、プログラムを実行し、システム２００を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット３２０は、補助ユニット３２０をユーザのベルトに取り付ける等のためのクリップ２１２８を含む。他の形状因子も、補助ユニット３２０のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット３２０は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス２１０２に結合される。補助ユニット３２０とウェアラブル頭部デバイス２１０２との間の無線接続もまた、使用されることができる。

いくつかの実施例では、複合現実システム２００は、１つまたはそれを上回るマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス２１０２に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ３００および／または補助ユニット３２０に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。

図４は、上記に説明される複合現実システム２００（図１に関する複合現実システム１１２に対応し得る）等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図４に示されるように、例示的ハンドヘルドコントローラ４００Ｂ（ハンドヘルドコントローラ３００（「トーテム」）に対応し得る）は、トーテム／ウェアラブル頭部デバイス６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含み、例示的ウェアラブル頭部デバイス４００Ａ（ウェアラブル頭部デバイス２１０２に対応し得る）は、トーテム／ウェアラブル頭部デバイス６ＤＯＦサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンスとして、回転行列として、四元数として、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ、ウェアラブル頭部デバイス４００Ａ内に含まれる、１つまたはそれを上回る深度カメラ４４４（および／または１つまたはそれを上回る非深度カメラ）、および／または１つまたはそれを上回る光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ４００Ｂのボタン３５０またはハンドヘルドコントローラ４００Ｂ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、上記に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂはそれぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される３つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ４００Ｂに対するウェアラブル頭部デバイス４００Ａの６ＤＯＦが、決定され得る。加えて、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。

いくつかの実施例では、例えば、座標系１０８に対するウェアラブル頭部デバイス４００Ａの移動を補償するために、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間（例えば、実環境に対して固定される座標空間）に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向（例えば、ディスプレイの右下角における同一位置）ではなく仮想オブジェクトを実環境に対する期待される位置および配向に提示し（例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に面した実椅子に着座している仮想人物）、仮想オブジェクトが実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系１０８に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、ＳＬＡＭおよび／またはビジュアルオドメトリプロシージャを使用して、深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合され、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間（例えば、慣性座標空間）との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関するよりタイムリーな情報を提供することができる。

いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。

いくつかの実施例では、１つまたはそれを上回るプロセッサ４１６は、ウェアラブル頭部デバイスの６ＤＯＦヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、そこから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、オーディオ／視覚的コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光の左源４２４に結合される、左チャネル出力と、画像毎に変調された光の右源４２６に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、例えば、図２Ａ－２Ｄに関して上記に説明されるように、立体視画像データを画像毎に変調された光の源４２４、４２６に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ３２０を介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの期待に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。

図４に示されるようないくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つまたはそれを上回るものは、補助ユニット４００Ｃ（上記に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電し、および／または電力をウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。

図４は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられているような図４に提示される要素は、代わりに、ウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。

仮想コンテンツの動的併置

ＭＲシステムが、発達し、より多くの市場への参入を達成するにつれて、ＭＲシステム能力に関する需要もまた、増加し得る。ＭＲシステムの単独ユーザは、ＭＲシステムが持続仮想コンテンツ（例えば、ディスプレイに対するある場所にのみ存続し得る、仮想コンテンツではなく、環境に対するある場所に存続し得る、仮想コンテンツ）を表示することを期待し得るが、相互に相互作用する、ＭＲシステムの複数のユーザは、より需要の高い期待を有し得る。例えば、同一実世界空間に内在する、ＭＲシステムの複数のユーザは、同一複合現実環境を体験することを期待し得る。ユーザが、同一実世界環境に内在し得るため、ユーザはまた、同一仮想環境に内在することを期待し得る（その両方とも、複合現実環境を形成するために組み合わせられ得る）。具体的には、第１のユーザは、仮想オブジェクトを第１のユーザの複合現実環境内で視認し得、第１のユーザは、同一実環境内の第２のユーザもまた、同一場所内の仮想オブジェクトを見ることが可能であることを期待し得る。したがって、複数のＭＲシステムを横断して、仮想コンテンツを併置することが望ましくあり得る。

仮想オブジェクト併置は、１つを上回るＭＲおよび／またはＸＲ（例えば、その画面上の共有仮想コンテンツを正しい実世界場所に表示し得る、スマートフォン）システムを横断して、複合現実環境に対する一貫した位置に現れるように、仮想オブジェクトを複合現実環境内に設置することを含み得る。例えば、仮想コーヒーマグカップが、実テーブル上に設置されているように表示されてもよい。仮想オブジェクト持続性は、単一ＭＲシステムが、複合現実環境を動き回っても、実テーブル上の同一スポットに静置しているように、仮想コーヒーマグカップを持続的に表示することを有効にし得る。仮想オブジェクト併置は、２つまたはそれを上回るＭＲシステムが、複合現実環境を動き回りながら、その両方とも、実テーブル上の同一スポットに静置しているように、仮想コーヒーマグカップを持続的に表示することを有効にし得る。換言すると、仮想オブジェクト併置の目標は、仮想オブジェクトを実オブジェクト（例えば、各人物およびオブジェクトに対するその位置を横断して、一貫した様式において、複数の人々によって同時に観察され得る、オブジェクト）のように取り扱うことであり得る。

図５は、いくつかの実施形態による、仮想オブジェクト併置の実施例を図示する。ユーザ５０２およびユーザ５０８が、同一実世界環境に内在し得る（例えば、ユーザ５０２およびユーザ５０８は、相互に近接近して、および／または相互と同一部屋に存在し得る）。いくつかの実施形態では、ユーザ５０２および／またはユーザ５０８は、仮想コンテンツを他のユーザと共有することを所望し得る。いくつかの実施形態では、仮想オブジェクト（例えば、プリズム５１０および／または幾何学的オブジェクト５１２）は、ユーザ５０２およびユーザ５０８のために併置されてもよい。いくつかの実施形態では、プリズム５１０は、境界体積を含むことができ、これは、１つまたはそれを上回る幾何学的オブジェクトの周囲の閉鎖された体積を含んでもよい。例えば、境界体積は、境界される幾何学的オブジェクトまたは境界される幾何学的オブジェクトのグループの最大長、幅、および／または高さにサイズ決めされる、矩形ボックスであってもよい。いくつかの実施形態では、境界体積は、任意の幾何学的形状であることができ、円柱、球体等を含む。いくつかの実施形態では、プリズムは、境界体積のためのコンテナを含んでもよく、プリズムは、境界体積の性質を含んでもよい。例えば、プリズムは、境界体積が他の境界体積と交差すべきであるかどうか、境界体積が水平にまたは垂直に配向されるべきであるかどうか、境界体積が他の仮想オブジェクトに結び付けられるべきであるかどうかおよび／またはその方法等に関するパラメータを含んでもよい。いくつかの実施形態では、幾何学的オブジェクトは、３次元オブジェクトを形成し得る、相互接続された頂点のメッシュであることができる。

いくつかの実施形態では、仮想オブジェクトは、ユーザ５０２およびユーザ５０８の両方に、実世界環境および／または複合現実環境に対する同一位置に現れ得る。例えば、ユーザ５０２は、プリズム５１０をテーブル上に静置しているように知覚し得、ユーザ５０８もまた、プリズム５１０を同一位置においてテーブル上に静置しているように知覚し得る。ユーザ５０２および／またはユーザ５０８が、プリズム５１０の周囲を動き回るにつれて、プリズム５１０は、ユーザ５０２および／またはユーザ５０８に、定常のままであるように現れ得る（例えば、プリズム５１０は、同一位置において同一テーブル上に留まるように現れ得る）。いくつかの実施形態では、仮想オブジェクト併置は、移動しているオブジェクトにも適用することができる。例えば、ユーザ５０２は、プリズム５１０をテーブルからキャビネットに移動させてもよい。ユーザ５０２は、例えば、ＭＲシステム５０４（ＭＲシステム１１２、２００に対応し得る）のユーザインターフェースを使用して、これを遂行してもよい。ＭＲシステム５０４のユーザインターフェースは、ユーザが、プリズム５１０を指しながら、ハンドヘルドコントローラ上のボタンを押下し、プリズム５１０を選択し、それを異なる場所に移動させ得る、ハンドヘルドコントローラを含んでもよい。いくつかの実施形態では、仮想オブジェクト併置は、ユーザ５０２がユーザ５０２自身のＭＲＥ内でプリズム５１０を移動させるにつれて、ユーザ５０８が、プリズム５１０の移動を知覚することを有効にし得る。

図６は、いくつかの実施形態による、仮想オブジェクト併置の実施例を図示する。仮想オブジェクト併置は、１つまたはそれを上回るＭＲシステム間の通信を含むことができる。いくつかの実施形態では、ＭＲシステム６０２（ＭＲシステム１１２、２００に対応することができる）およびＭＲシステム６０４（ＭＲシステム１１２、２００に対応することができる）は、併置される仮想オブジェクトの表示を同期させるために通信してもよい。いくつかの実施形態では、ＭＲシステム６０２およびＭＲシステム６０４は、独立してもよく（例えば、各システムが、ユーザの位置を追跡し、仮想コンテンツをその独自のＭＲＥ内に表示してもよく）、ＭＲシステム６０２およびＭＲシステム６０４が、通信し、同期して、仮想コンテンツを併置することを可能にすることが有益であり得る。

いくつかの実施形態では、ＭＲシステムは、１つまたはそれを上回る持続座標系（例えば、持続座標系１３３）を利用して、持続仮想コンテンツ（例えば、ディスプレイに対して定常とは対照的に、ＭＲＥに対して定常のままであり得る、仮想コンテンツ）を表示してもよい。いくつかの実施形態では、ＭＲシステムは、視覚的データ（例えば、カメラデータ）、慣性データ（例えば、ＩＭＵデータ）、深度データ（例えば、飛行時間データおよび／またはＬＩＤＡＲデータ）、および／または他のデータを利用して、１つまたはそれを上回るアンカポイント（例えば、持続座標系の原点）を３次元空間内に確立してもよい。例えば、ＭＲシステムは、ＭＲシステムが実環境を動き回るにつれて、視覚的慣性オドメトリおよび／または同時位置特定およびマッピングを利用して、持続座標系を作成および／または設置してもよい。いくつかの実施形態では、以前に確立された持続座標系は、保存されてもよい（例えば、ＭＲシステムにローカルで、および／または遠隔サーバにアップロードされる）。

いくつかの実施形態では、ＭＲシステムは、持続座標系と以前にマッピングされている環境内に存在することを決定してもよい（例えば、場所データを介して、画像認識を介して、および／または同時位置特定およびマッピングを介して）。ＭＲシステムは、持続仮想コンテンツを表示する際に使用するために、以前にマッピングされた持続座標系を読み出してもよい。いくつかの実施形態では、１つまたはそれを上回るローカルで作成された持続座標系が、遠隔サーバにアップロードされてもよい。いくつかの実施形態では、遠隔サーバは、１つまたはそれを上回るローカルで作成された持続座標系が１つまたはそれを上回る以前にアップロードされた持続座標系に対応するかどうかを決定してもよい。いくつかの実施形態では、遠隔サーバは、規準持続座標系を１つまたはそれを上回る対応する持続座標系から決定してもよい。例えば、遠隔サーバは、２つの対応する持続座標系を２つの異なるＭＲシステムから受信してもよく、遠隔サーバは、対応する持続座標系を平均してもよい。いくつかの実施形態では、平均は、１つまたはそれを上回る信頼度測定値に従った加重平均であってもよい（例えば、１つのＭＲシステムは、繰り返し観察される持続座標系を有し得、これは、そのＭＲシステムによって展開された持続座標系内の信頼度を増加させ得る）。いくつかの実施形態では、ＭＲシステムは、ＭＲシステムが以前にマッピングされた環境内に存在することが決定される場合、全ての対応する持続座標系を読み出してもよい（例えば、ローカルで、および／または遠隔サーバから）。例えば、ＭＲシステムが、以前に作成された持続座標系を有する、部屋内に存在することが決定される場合、ＭＲシステムは、その部屋に関する全ての以前に作成された持続座標系を読み出してもよい。

いくつかの実施形態では、持続仮想コンテンツが、１つまたはそれを上回る持続座標系を使用して、ＭＲＥ内に設置されることができる。例えば、仮想コンテンツは、持続座標系に対して表示されることができる。いくつかの実施形態では、座標系間の１つまたはそれを上回る変換が、持続仮想コンテンツを表示するために使用されてもよい。例えば、１つまたはそれを上回る変換は、持続座標系から頭部座標系に転換させるために使用されてもよい。いくつかの実施形態では、１つまたはそれを上回る変換は、頭部座標系から左眼座標系（立体視ＭＲシステムの左ディスプレイに対応し得る）に平行移動させるために使用されてもよい。いくつかの実施形態では、１つまたはそれを上回る変換は、頭部座標系から右眼座標系（立体視ＭＲシステムの右ディスプレイに対応し得る）に平行移動させるために使用されてもよい。いくつかの実施形態では、仮想コンテンツは、１つまたはそれを上回る持続座標系に対して表示されることができる。例えば、仮想コンテンツは、ＭＲＥ内で移動し得、仮想コンテンツは、所与の時間における仮想コンテンツに最も近い、持続座標系に対して表示されてもよい。

図６に描写される実施形態では、ＭＲシステム６０２および６０４は、持続座標系６１０と、持続座標系６１２とを含む、ＭＲＥ内に位置し得る。いくつかの実施形態では、ＭＲシステム６０２は、以前にマッピングされた環境内に位置することを認識し、持続座標系６１０および持続座標系６１２を読み出してもよい。いくつかの実施形態では、ＭＲシステム６０２は、座標系６０８を使用して、プリズム６０６を表示してもよい。いくつかの実施形態では、座標系６０８は、プリズム６０６の位置と持続座標系６１０を関連させ得る、持続座標系６１０からの変換を含み、および／またはそれによって定義されてもよい。

いくつかの実施形態では、ＭＲシステム６０４は、ＭＲシステム６０２を併置セッションに加えてもよく、これは、ＭＲシステム６０２および６０４が、仮想オブジェクト（例えば、プリズム６０６および／またはプリズム内に含有される仮想コンテンツ）をリアルタイムで併置することを可能にし得る。いくつかの実施形態では、ＭＲシステム６０２は、併置セッションに加わるための要求をＭＲシステム６０４に送信してもよい。いくつかの実施形態では、ＭＲシステム６０４は、併置セッションに加わるための要求をＭＲシステム６０２に送信してもよい。いくつかの実施形態では、ＭＲシステム６０２およびＭＲシステム６０４はそれぞれ、プリズム６０６を統制し得る、アプリケーションの別個のインスタンスを起動してもよい。いくつかの実施形態では、ＭＲシステム６０２は、併置されるべき１つまたはそれを上回る仮想オブジェクトに関するデータをＭＲシステム６０４に伝送してもよい。例えば、ＭＲシステム６０２は、ＭＲシステム６０４が適切な仮想オブジェクトを位置特定し（例えば、ＭＲシステム６０２上で起動する同一アプリケーションの異なるインスタンスであり得る、アプリケーション内から）、表示する仮想オブジェクトを表示することを可能にし得る、仮想オブジェクト識別子を伝送してもよい。

併置される仮想オブジェクトを表示することは、併置される仮想オブジェクトが、併置セッションにおいて、ＭＲシステムを横断して、単一持続座標系に対して表示される場合、より正確となり得る。例えば、共通持続座標系を利用することは、異なる持続座標系における誤差から生じ得る、オブジェクト位置および／または配向における不正確性を低減させ得る。いくつかの実施形態では、ＭＲシステム６０２およびＭＲシステム６０４は、それらが、持続座標系と以前にマッピングされている、空間内に常駐することを認識し得る（個々に、および／または相互間の通信を介して）。ＭＲシステム６０２および６０４は、認識される実世界環境に対応する、持続座標系を読み出してもよい。いくつかの実施形態では、各ＭＲシステムは、持続座標系（例えば、近隣の持続座標系および／または占有される環境に対応する持続座標系）を併置セッション内の他のＭＲシステムに送信してもよい。いくつかの実施形態では、各ＭＲシステムは、１つまたはそれを上回る持続座標系から併置される仮想オブジェクトの場所への１つまたはそれを上回る変換を送信してもよい。

いくつかの実施形態では、ＭＲシステム（例えば、ＭＲシステム６０２）は、併置セッション内の他のＭＲシステム（例えば、ＭＲシステム６０４）によって使用される、持続座標系および／または持続座標系の一意の識別子のリストを受信してもよい。いくつかの実施形態では、ＭＲシステム（例えば、ＭＲシステム６０２および／またはＭＲシステム６０４）は、併置セッション内の他のＭＲシステムによる使用時の持続座標系とＭＲシステム自体による使用時の持続座標系を比較してもよい。いくつかの実施形態では、ＭＲシステムは、持続座標系６１０が、併置セッション内の全てのＭＲシステムによって使用中であって、および／またはそれらに共通であることを決定し得る。いくつかの実施形態では、ＭＲシステムは、１つまたはそれを上回る持続座標系から併置される仮想オブジェクトの場所への１つまたはそれを上回る変換を受信してもよい。いくつかの実施形態では、ＭＲシステムは、持続座標系６１０を使用して（例えば、持続座標系６１０に対する変換を使用することによって）、併置される仮想コンテンツ（例えば、プリズム６０６および／またはプリズム６０６と関連付けられる仮想コンテンツ）を表示してもよい。いくつかの実施形態では、併置比較のために使用される、持続座標系は、規準持続座標系（例えば、持続座標系の統合された複数の観察を有し得る、遠隔サーバから読み出された持続座標系）であってもよい。

いくつかの実施形態では、１つを上回る持続座標系が、併置セッション内の全てのＭＲシステムに共通であり得る。いくつかの実施形態では、各ＭＲシステムは、併置される仮想コンテンツの場所に最も近い、共通持続座標系を使用して、併置される仮想コンテンツを表示してもよい。いくつかの実施形態では、ＭＲシステムは、併置セッション内で他のＭＲシステムと交渉し、併置される仮想コンテンツを単一共通持続座標系に対して表示してもよい。

いくつかの実施形態では、併置される仮想コンテンツは、併置セッションの間、移動し得る。例えば、ＭＲシステム６０２は、併置セッションの間、プリズム６０６を移動させ得る。いくつかの実施形態では、移動を開始する側のＭＲシステム（例えば、ＭＲシステム６０２）は、変換データ（例えば、変換行列）を併置セッション内の他のＭＲシステムに持続的に伝送してもよい（例えば、１５Ｈｚ、３０Ｈｚ、６０Ｈｚ等のレートで）。いくつかの実施形態では、受信側ＭＲシステム（例えば、ＭＲシステム６０４）は、開始側ＭＲシステムと同一持続座標系を使用して、併置される仮想コンテンツをすでに表示していてもよい。いくつかの実施形態では、受信側ＭＲシステムは、変換データを使用して、併置される仮想コンテンツの移動を表示してもよい。いくつかの実施形態では、受信側ＭＲシステムは、開始側ＭＲシステムと異なる持続座標系（例えば、異なる共通持続座標系）を使用して、併置される仮想コンテンツを表示してもよい。いくつかの実施形態では、受信側ＭＲシステムは、開始側ＭＲシステムによって使用中の共通持続座標系を使用して、併置される仮想コンテンツを表示するように切り替えてもよく、これは、受信側ＭＲシステムが、直接、開始側ＭＲシステムによって伝送される変換データを使用することを可能にし得る。いくつかの実施形態では、受信側ＭＲシステムは、その持続座標系から切り替えなくてもよく、開始側ＭＲシステムによって使用される持続座標系から受信側ＭＲシステムによって使用される持続座標系への変換を利用してもよい。

いくつかの実施形態では、１つを上回るＭＲシステムは、併置される仮想コンテンツを同時に移動させることができる。例えば、ＭＲシステム６０２は、プリズム６０６を移動させてもよい。ＭＲシステム６０２が、プリズム６０６を移動させている間、ＭＲシステム６０４はまた、プリズム６０６を移動させてもよい。いくつかの実施形態では、ＭＲシステム６０４は、ＭＲシステム６０２がプリズム６０６を移動させるときに移動するように、プリズム６０６を表示してもよい。いくつかの実施形態では、いったんＭＲシステム６０４が、プリズム６０６の移動を開始すると、ＭＲシステム６０４は、その独自の移動を表示してもよい（例えば、ＭＲシステム６０２によって行われる移動をオーバーライドする）。いくつかの実施形態では、ＭＲシステム６０２は、ローカルで、その独自の移動を表示し続けるであろう一方、ＭＲシステム６０４は、ローカルで、ＭＲシステム６０４の移動を表示している。いくつかの実施形態では、いったんＭＲシステム６０２が、プリズム６０６を解放すると、ＭＲシステム６０２は、ＭＲシステム６０４による移動に従って、プリズム６０６を表示するであろう。

図７は、いくつかの実施形態による、複数の環境を横断した仮想オブジェクト併置の実施例を図示する。いくつかの実施形態では、ＭＲシステム７０２および７０４は、第１の環境（例えば、第１の部屋）を占有し得、ＭＲシステム７０５および７０６は、第２の環境（例えば、第２の部屋）を占有し得る。いくつかの実施形態では、ＭＲシステム７０２、７０４、７０５、および７０６は、同一併置セッション内にあってもよく、持続座標系（例えば、使用中のものおよび／または近隣のもの）および／または変換データを共有してもよい。ＭＲシステム７０２および７０４は、ＭＲシステム７０５および７０６と異なる環境を占有し得るため、ＭＲシステム７０２および７０４は、ＭＲシステム７０５および７０６と共通持続座標系を利用しなくてもよい。いくつかの実施形態では、ＭＲシステム７０２および７０４は、それらが、少なくとも１つの共通持続座標系（例えば、持続座標系７１０および／または７１２）を共有することを決定し、仮想コンテンツを相互に併置することができる（例えば、持続座標系７１０および／または７１２を使用して）。いくつかの実施形態では、ＭＲシステム７０５および７０６は、それらが、少なくとも１つの持続座標系（例えば、持続座標系７１４および／または７１６）を共有することを決定し、仮想コンテンツを相互に併置することができる（例えば、持続座標系７１４および／または７１６を使用して）。

いくつかの実施形態では、併置セッション内の併置される仮想コンテンツは、異なる持続座標系を横断してさえ、相対的移動を共有し続けることができる。例えば、プリズム７０８は、ＭＲシステム７０２および７０４のために、持続座標系７１０に関連して表示される一方、ＭＲシステム７０５および７０６のために、持続座標系７１４に関連して表示されてもよい。プリズム７０８は、異なるＭＲシステムがプリズム７０８を異なる持続座標系にアンカし得る場合でも、併置セッション内の全てのＭＲシステム（例えば、ＭＲシステム７０２、７０４、７０５、および７０６）のために移動しているように表示されてもよい。

いくつかの実施形態では、併置される仮想コンテンツは、併置される仮想コンテンツが、ローカルで移動される場合、遠隔ユーザのために移動しなくてもよい。例えば、ＭＲシステム７０２および７０４は、相互にローカルであり得る（例えば、それらが、１つまたはそれを上回る持続座標系を共有するため）。いくつかの実施形態ではＭＲシステム７０５および／または７０６は、ＭＲシステム７０２および／または７０４にとって遠隔にあると見なされ得る（例えば、ＭＲシステム７０５および／または７０６は、ＭＲシステム７０２および／または７０４と持続座標系を共有し得ないため）。いくつかの実施形態では、ＭＲシステム７０５および／または７０６は、したがって、ＭＲシステム７０２がプリズム７０８を移動させる場合、プリズム７０８が移動するように見えなくてもよい。

いくつかの実施形態では、既存の併置セッションに加わるＭＲシステムが、すでにセッション内に存在する別のＭＲシステムと併置し得る。例えば、ＭＲシステム７０２、７０４、および７０５が、すでに併置セッション内に存在し得る。いくつかの実施形態では、ＭＲシステム７０６は、併置セッションに加わり得る（例えば、ＭＲシステム７０６がＭＲシステム７０５と同一部屋に進入するため）。いくつかの実施形態では、ＭＲシステム７０６は、プリズム７０８をＭＲシステム７０５と同一場所に表示してもよい（例えば、ＭＲシステム７０５によって使用される持続座標系７１４を使用して）。新しいメンバがセッションに加わるとき、既存のセッションメンバのために、位置持続性を維持することが望ましくあり得る（例えば、したがって、既存のセッションメンバは、仮想コンテンツを新しく加わったメンバに合致するように偏移させることによって、妨げられない）。

いくつかの実施形態では、仮想コンテンツは、第１のＭＲシステムに従って、仮想コンテンツを表示するように併置されてもよい。例えば、ＭＲシステム７０２および７０４は、併置セッション内に存在し得ず、それぞれ、プリズム７０８を別個に表示し得る。いくつかの実施形態では、ＭＲシステム７０２および７０４が、併置セッションを開始する場合、プリズム７０８は、ＭＲシステム７０２がプリズムを表示している場所に表示されてもよい（例えば、ＭＲシステム７０２が、ＭＲシステム７０４の前に、プリズム７０８の表示を開始したため）。いくつかの実施形態では、仮想コンテンツは、併置セッションを開始した、ＭＲシステムに従って、併置されてもよい。

いくつかの実施形態では、併置セッションを開始し、および／またはそれに参加する、ＭＲシステムは、１つまたはそれを上回るインターネット接続を介して、相互に通信してもよい。例えば、併置セッションにおけるＭＲシステムは、遠隔サーバと通信してもよく、これは、併置セッション内の他のＭＲシステムへの接続をルーティングしてもよい。いくつかの実施形態では、ＭＲシステムは、ピアツーピア接続を使用して、相互に通信してもよい。いくつかの実施形態では、ＭＲシステムは、アドホックネットワークを使用して、相互に通信してもよい。例えば、併置セッション内のＭＲシステムは、直接、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線等を使用して、相互に通信してもよい。

図８は、いくつかの実施形態による、仮想オブジェクト併置のための例示的ネットワークアーキテクチャを図示する。ＭＲシステム８０２は、アプリケーション８０４を起動および／またはホスティングしてもよい。いくつかの実施形態では、アプリケーション８０４は、併置ライブラリ８０６を含んでもよい。いくつかの実施形態では、併置ライブラリ８０６は、持続座標データ（例えば、特定の持続座標系に関する一意の識別子）を、遠隔サーバから、および／または併置セッション内のＭＲシステムから、受信するように構成されることができる。いくつかの実施形態では、併置ライブラリ８０６は、持続座標データ（例えば、ホストＭＲシステム８０２によって使用中の持続座標系）を併置セッション内の他のＭＲシステムにブロードキャストするように構成されることができる。いくつかの実施形態では、併置ライブラリ８０６は、併置セッション内の他のＭＲシステムから受信された持続座標データとホストＭＲシステムによって使用中の持続座標データを比較し、共通持続座標系が存在するかどうかを決定することができる。いくつかの実施形態では、併置ライブラリ８０６は、パス可能世界サービス８１８のクライアントであることができ、これは、遠隔サーバ内で起動してもよい。いくつかの実施形態では、パス可能世界サービス８１８は、規準持続座標系を記憶し、および／または観察される持続座標系を受信し、観察と対応する規準持続座標系を統合してもよい。いくつかの実施形態では、併置ライブラリ８０６は、ホストＭＲシステム８０２によって使用中の規準持続座標系をパス可能世界サービス８１８から受信してもよい。いくつかの実施形態では、パス可能世界サービス８１８は、ホストＭＲシステム上のバックグラウンドサービスとして、ローカルで起動することができる。

併置ライブラリ８０６は、プロセスを実行するように構成されることができ、これは、ランタイム環境内で起動してもよい。いくつかの実施形態では、併置ライブラリ８０６は、親プロセスのサブプロセスを実行するように構成されることができる。いくつかの実施形態では、併置ライブラリ８０６は、親プロセスのスレッドを実行するように構成されることができる。いくつかの実施形態では、併置ライブラリ８０６は、サービスを動作させるように構成されることができる（例えば、バックグラウンドオペレーティングシステムサービスとして）。いくつかの実施形態では、併置ライブラリ８０６によって実行される、プロセス、サブプロセス、スレッド、および／またはサービスは、ホストシステムのオペレーティングシステムが起動中である間、持続的に起動するように構成されることができる（例えば、バックグラウンドで）。いくつかの実施形態では、併置ライブラリ８０６によって実行されるサービスは、親バックグラウンドサービスのインスタンス化であることができ、これは、１つまたはそれを上回るバックグラウンドプロセスおよび／またはサブプロセスに対するホストプロセスとしての役割を果たし得る。いくつかの実施形態では、併置ライブラリ８０６は、複数のシステム間に分散され、および／またはその上で実行されてもよい。いくつかの実施形態では、併置ライブラリ８０６の各コンポーネントは、並列に、順次、または複数のシステムの２つまたはそれを上回るシステムの任意の組み合わせにおいて、実行してもよい。

いくつかの実施形態では、併置ライブラリ８０６は、アプリケーションコネクティビティプラットフォーム８０８を介して、持続座標データを他のＭＲシステムから受信することができる（例えば、併置ライブラリ８０６は、アプリケーションコネクティビティプラットフォーム８０８のクライアントであることができる）。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム８０８は、併置セッション内のＭＲシステム間の短待ち時間通信経路を提供し、リアルタイム仮想オブジェクト併置を有効にすることができる。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム８０８は、ウェブリアルタイム通信（「ＷｅｂＲＴＣ」）の１つまたはそれを上回る実装を含むことができる。例えば、データは、短待ち時間通信のために、１つまたはそれを上回るＴｗｉｌｉｏトラックを介して伝送されてもよい。

アプリケーションコネクティビティプラットフォーム８０８は、プロセスを実行するように構成されることができ、これは、ランタイム環境内で起動してもよい。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム８０８は、親プロセスのサブプロセスを実行するように構成されることができる。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム８０８は、親プロセスのスレッドを実行するように構成されることができる。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム８０８は、サービスを動作させるように構成されることができる（例えば、バックグラウンドオペレーティングシステムサービスとして）。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム８０８によって実行される、プロセス、サブプロセス、スレッド、および／またはサービスは、ホストシステムのオペレーティングシステムが起動中の間、持続的に起動（例えば、バックグラウンドで）するように構成されることができる。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム８０８によって実行されるサービスは、親バックグラウンドサービスのインスタンス化であることができ、これは、１つまたはそれを上回るバックグラウンドプロセスおよび／またはサブプロセスに対するホストプロセスとしての役割を果たし得る。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム８０８は、複数のシステム間に分散され、および／またはその上で実行されてもよい。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム８０８の各コンポーネントは、並列に、順次、または複数のシステムの２つまたはそれを上回るシステムの任意の組み合わせにおいて、実行してもよい。

いくつかの実施形態では、ホストＭＲシステム８１０は、ホストＭＲシステム８０２と併置セッション内に存在し得る。いくつかの実施形態では、ホストＭＲシステム８０２は、アプリケーション８１２を起動してもよく、これは、アプリケーション８０４の別個であるが、同じインスタンス化であり得る。いくつかの実施形態では、アプリケーション８１２は、併置ライブラリ８１４を含んでもよく、これは、持続座標データを、遠隔サーバから、および／または併置セッション内の他のＭＲシステムから受信するように構成されてもよい。いくつかの実施形態では、併置ライブラリ８１４は、持続座標データ（例えば、ホストＭＲシステム８１０によって使用中の持続座標系）を併置セッション内の他のＭＲシステムにブロードキャストするように構成されることができる。いくつかの実施形態では、併置ライブラリ８１４は、アプリケーションコネクティビティプラットフォーム８１６を利用して、短待ち時間併置データ（例えば、併置される仮想オブジェクトが移動するにつれて、関係変換データ）を併置セッション内のＭＲシステムに送信および／またはそこから受信してもよい。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム８１６は、他のＭＲシステム（例えば、アプリケーションコネクティビティプラットフォーム８０８）上で起動する、他のアプリケーションコネクティビティプラットフォームと通信するように構成されることができる。

図９は、仮想コンテンツを併置するための例示的プロセスを図示する。ステップ９０２では、ＭＲシステムが、併置セッションに加わってもよい。いくつかの実施形態では、ＭＲシステムは、既存の併置セッションに加わるように招待されてもよい。いくつかの実施形態では、ＭＲシステムは、併置セッションを開始してもよい。

ステップ９０４では、ＭＲシステムは、持続座標データを伝送し、持続座標データを受信してもよい。いくつかの実施形態では、ＭＲシステムは、持続座標データ（および／または関係データ）を併置セッション内の他のＭＲシステムに伝送してもよい。いくつかの実施形態では、ＭＲシステムは、持続座標データ（および／または関係データ）を１つまたはそれを上回る遠隔サーバに伝送してもよく、これは、データを併置セッション内の他のＭＲシステムに伝送してもよい。いくつかの実施形態では、ＭＲシステムは、持続座標データ（および／または関係データ）を併置セッション内の１つまたはそれを上回るＭＲシステムから受信してもよい。いくつかの実施形態では、ＭＲシステムは、１つまたはそれを上回るＭＲシステムに対応する持続座標データ（および／または関係データ）を１つまたはそれを上回る遠隔サーバから受信してもよい。

ステップ９０６では、ＭＲシステムは、持続座標データの少なくとも１つの共有インスタンスが存在するかどうかを決定してもよい。例えば、第１のＭＲシステムは、他のＭＲシステムから受信された持続座標データを第１のＭＲシステムに対応する持続座標データ（ステップ９０４において伝送されているとされる）に対して比較してもよい。いくつかの実施形態では、持続座標データの各インスタンスは、一意の識別子を含んでもよく、一意の識別子は、比較されてもよい。いくつかの実施形態では、その場所を以前にマッピングされた部屋として認識する、任意のＭＲシステムは、その部屋に対応する、持続座標データを受信してもよい。いくつかの実施形態では、同一部屋内の任意のＭＲシステムは、持続座標データの少なくとも１つのインスタンスを共有してもよい。

持続座標データの共有インスタンスが、受信された持続座標データと伝送される持続座標データとの間に存在しない場合（例えば、ＭＲシステムが他のＭＲシステムと同一部屋内に存在しないため）、ステップ９０７では、非併置仮想オブジェクトが、表示されてもよい。いくつかの実施形態では、非併置仮想オブジェクトは、その移動が併置セッション内の他のＭＲシステムのために反映され得ない、オブジェクトであってもよい。

持続座標データの少なくとも１つの共有インスタンスが、識別される場合、ステップ９０８では、持続座標データの１つを上回る共有インスタンスが識別され得るかどうかが決定されることができる。例えば、第１のＭＲシステムは、第２のＭＲシステムと同一部屋内に位置してもよく、部屋は、持続座標データの２つまたはそれを上回るインスタンスを含んでもよい。いくつかの実施形態では、第１および第２のＭＲシステムは、したがって、共有持続座標データの２つまたはそれを上回るインスタンスを有してもよい。

持続座標データの１つのみの共有インスタンスが、存在することが決定される場合、ステップ９０９では、併置される仮想オブジェクトが、持続座標データの共有インスタンスを使用して、表示されてもよい。例えば、第１および第２の併置されるＭＲシステムは両方とも、併置される仮想オブジェクトを持続座標データの共有インスタンスに対して表示してもよい。いくつかの実施形態では、第１および第２の併置されるＭＲシステムは、同一関係データ（例えば、変換行列）を使用して、仮想オブジェクトの位置（例えば、場所および／または配向）を持続座標データの共有インスタンスに関連させてもよい。

１つを上回る持続座標データの共有インスタンスが存在することが決定される場合、ステップ９１０では、持続座標データの好ましい共有インスタンスが、識別されることができる。いくつかの実施形態では、ＭＲシステムに最も近い持続座標データのインスタンスが、共有持続座標データの好ましいインスタンスと見なされ得る。例えば、第１および第２の併置されるＭＲシステムは、同一部屋内に位置し得る。いくつかの実施形態では、部屋は、持続座標データの第１および第２のインスタンスを含んでもよく、両インスタンスは、第１および第２のＭＲシステムを横断して共有されてもよい（例えば、それらが同一部屋内に存在するため）。いくつかの実施形態では、第１のＭＲシステムは、持続座標データの第１のインスタンスにより近くあり得、第２のＭＲシステムは、持続座標データの第２のインスタンスにより近くあり得る。いくつかの実施形態では、持続座標データのより近いインスタンスは、持続座標データのより遠いインスタンスより正確に仮想コンテンツを表示し得る。

ステップ９１２では、併置される仮想コンテンツは、共有持続座標データの好ましいインスタンスを使用して、表示されてもよい。いくつかの実施形態では、各ＭＲシステムは、併置される仮想コンテンツを共有持続座標データのその好ましい（例えば、最近）インスタンスに対して表示してもよい。いくつかの実施形態では、共有持続座標データの異なるインスタンスが、使用され得るが、併置される仮想コンテンツは、同一スポットにおいて、第１および第２のＭＲシステムのユーザに現れ得る（例えば、異なる関係データが、オブジェクトを同一場所に提示するために使用され得るため）。

ステップ９０７、９０９、および／または９１２後、ＭＲシステムは、ステップ９０４に戻り得る、これは、動的併置を有効にし得る。例えば、ＭＲシステムは、持続座標データを併置セッション内の他のＭＲシステムと共有するかどうかを持続的に監視してもよい。いくつかの実施形態では、ＭＲシステムは、ＭＲシステムがその現在の場所を認識しない場合、１０秒毎に１回、持続座標データをポーリングしてもよい。いくつかの実施形態では、ＭＲシステムは、ＭＲシステムがその現在の場所を認識する場合、３０秒毎に１回、持続座標データをポーリングしてもよい。いくつかの実施形態では、トリガ（例えば、ジオフェンシングトリガ）が、ＭＲシステムに持続座標データをポーリングさせてもよい。

図１０は、いくつかの実施形態による、１つまたはそれを上回るＭＲシステムと接続し、併置セッションを開始するための例示的プロセスを図示する。いくつかの実施形態では、１つまたはそれを上回るＭＲシステムと接続するためのプロセスは、アプリケーションコネクティビティプラットフォーム（例えば、アプリケーションコネクティビティプラットフォーム８０８）を利用してもよい。ステップ１００２では、１つまたはそれを上回る併置セッション参加者が、選択されてもよい。いくつかの実施形態では、１人またはそれを上回る参加者は、アプリケーション（例えば、アプリケーション８０４）のユーザインターフェースを使用して、選択されてもよい。

ステップ１００４では、参加者情報が、遠隔サーバに伝送されてもよい。いくつかの実施形態では、アプリケーション（例えば、アプリケーション８０４）は、参加者情報をアプリケーションコネクティビティプラットフォーム（例えば、アプリケーションコネクティビティプラットフォーム８０８）に伝送してもよい。いくつかの実施形態では、アプリケーションコネクティビティプラットフォームは、参加者情報を遠隔サーバに伝送してもよい。いくつかの実施形態では、遠隔サーバは、セッションを開始してもよい。

ステップ１００６では、遠隔サーバは、参加者情報に基づいて、招待および／またはトークン（例えば、認証トークン）を１人またはそれを上回る参加者に伝送してもよい。いくつかの実施形態では、遠隔サーバは、招待および／またはトークンを招待されるＭＲシステム上で起動するアプリケーションコネクティビティプラットフォーム（例えば、アプリケーションコネクティビティプラットフォーム８１６）に伝送してもよい。いくつかの実施形態では、アプリケーションコネクティビティプラットフォームは、アプリケーション（例えば、アプリケーション８１２）と通信してもよい。いくつかの実施形態では、招待されるＭＲシステム上で起動するアプリケーションは、ユーザに、ユーザが併置セッションに招待されていることを示し得る。

ステップ１００６では、併置セッションに加わるための招待が、承認されてもよく、ユーザおよび／またはＭＲシステムは、併置セッションに加わってもよい。いくつかの実施形態では、ユーザは、（例えば、アプリケーション８１２の）ユーザインターフェースを使用して、招待を承認してもよい。いくつかの実施形態では、アプリケーションは、アプリケーションコネクティビティプラットフォーム（例えば、アプリケーションコネクティビティプラットフォーム８１６）に、招待が承認されていることを示し得る。いくつかの実施形態では、アプリケーションコネクティビティプラットフォームは、併置セッションに加わってもよい（例えば、提供される認証トークンを使用することによって）。いくつかの実施形態では、いったん１人またはそれを上回る参加者が、セッションに加わると、１つまたはそれを上回るパイプ（例えば、Ｔｗｉｌｉｏトラック）が、作成されてもよい。いくつかの実施形態では、パイプは、許可されてもよい。例えば、指定されるユーザのみが、許可されたパイプを使用して、データを伝送してもよい。いくつかの実施形態では、任意のユーザが、パイプに沿って、データを伝送および／または受信してもよい。いくつかの実施形態では、１つまたはそれを上回るパイプが、具体的タイプのデータのために留保されることができる（例えば、オーディオ、ビデオ、および／または汎用データのためのパイプ）。

本明細書に説明される仮想コンテンツを併置するためのシステムおよび方法は、いくつかの利点を提供することができる。例えば、アプリケーションの別個のインスタンスの起動および／または併置される仮想オブジェクトの位置付けは、非一元型アーキテクチャを提供することができる。非一元型アーキテクチャを用いることで、併置セッションは、一元型アーキテクチャ内のマスタがセッションから退出する場合の途絶を回避し得る。いくつかの実施形態では、一元型アーキテクチャ（例えば、マスタＭＲシステムが、スレーブＭＲシステムに、具体的座標系および／または変換を利用するように命令する）は、マスタがセッションから退出する場合、併置セッションを平滑に継続し得ない。再計算が、新しいマスタが一元型アーキテクチャ内でセッションを引き継ぐにつれて、実施され得る。いくつかの実施形態では、非一元型アーキテクチャは、１つまたはそれを上回るＭＲシステムが同一環境内に位置しない（したがって、共通持続座標系を共有し得ない）、併置セッションを有効にし得る。いくつかの実施形態では、非一元型アーキテクチャは、マスタシステムを２つの異なる持続座標系内の併置される仮想オブジェクトに関する位置を計算する負担から解放し得る。

例示的システム、方法、および非一過性コンピュータ可読媒体が、開示される。いくつかの実施例によると、システムは、ディスプレイおよび１つまたはそれを上回るセンサを有する、頭部装着型デバイスと、第１の持続座標データ、第２の持続座標データ、および関係データを受信するステップと、１つまたはそれを上回るセンサを介して受信された入力に基づいて、第３の持続座標データおよび第４の持続座標データを決定するステップと、第１の持続座標データが第３の持続座標データに対応するかどうかを決定するステップと、第１の持続座標データが第３の持続座標データに対応することの決定に従って、第２の持続座標データが第４の持続座標データに対応するかどうかを決定するステップと、第２の持続座標データが第４の持続座標データに対応することの決定に従って、頭部装着型デバイスのディスプレイを介して、関係データおよび第２の持続座標データを使用して、仮想オブジェクトを表示するステップと、第２の持続座標データが第４の持続座標データに対応しないことの決定に従って、頭部装着型デバイスのディスプレイを介して、関係データおよび第１の持続座標データを使用して、仮想オブジェクトを表示するステップと、第１の持続座標データが第３の持続座標データに対応しないことの決定に従って、頭部装着型デバイスのディスプレイを介して、仮想オブジェクトを表示しないようにするステップとを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサとを備える。いくつかの実施例では、第１の持続座標データは、第１の場所に対応し、第２の持続座標データは、第２の場所に対応し、第２の場所は、第１の場所より頭部装着型デバイスの場所に近い。いくつかの実施例では、頭部装着型デバイスは、第１の頭部装着型デバイスであって、第１の持続座標データは、第２の頭部装着型デバイスから受信される。いくつかの実施例では、頭部装着型デバイスは、第１の頭部装着型デバイスであって、関係データは、第２の頭部装着型デバイスから受信される。いくつかの実施例では、本方法はさらに、仮想オブジェクトに対応するデータを受信するステップを含む。いくつかの実施例では、第３の持続座標データは、頭部装着型デバイスの現在の場所に対応する。いくつかの実施例では、関係データは、変換行列を備える。

いくつかの実施例によると、方法は、第１の持続座標データ、第２の持続座標データ、および関係データを受信するステップと、頭部装着型デバイスの１つまたはそれを上回るセンサを介して受信された入力に基づいて、第３の持続座標データおよび第４の持続座標データを決定するステップと、第１の持続座標データが第３の持続座標データに対応するかどうかを決定するステップと、第１の持続座標データが第３の持続座標データに対応することの決定に従って、第２の持続座標データが第４の持続座標データに対応するかどうかを決定するステップと、第２の持続座標データが第４の持続座標データに対応することの決定に従って、頭部装着型デバイスのディスプレイを介して、関係データおよび第２の持続座標データを使用して、仮想オブジェクトを表示するステップと、第２の持続座標データが第４の持続座標データに対応しないことの決定に従って、頭部装着型デバイスのディスプレイを介して、関係データおよび第１の持続座標データを使用して、仮想オブジェクトを表示するステップと、第１の持続座標データが第３の持続座標データに対応しないことの決定に従って、頭部装着型デバイスのディスプレイを介して、仮想オブジェクトを表示しないようにするステップとを含む。いくつかの実施例では、第１の持続座標データは、第１の場所に対応し、第２の持続座標データは、第２の場所に対応し、第２の場所は、第１の場所より頭部装着型デバイスの場所に近い。いくつかの実施例では、頭部装着型デバイスは、第１の頭部装着型デバイスであって、第１の持続座標データは、第２の頭部装着型デバイスから受信される。いくつかの実施例では、頭部装着型デバイスは、第１の頭部装着型デバイスであって、関係データは、第２の頭部装着型デバイスから受信される。いくつかの実施例では、本方法はさらに、仮想オブジェクトに対応するデータを受信するステップを含む。いくつかの実施例では、第３の持続座標データは、頭部装着型デバイスの現在の場所に対応する。いくつかの実施例では、関係データは、変換行列を備える。

いくつかの実施例によると、非一過性コンピュータ可読媒体は、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、第１の持続座標データ、第２の持続座標データ、および関係データを受信するステップと、頭部装着型デバイスの１つまたはそれを上回るセンサを介して受信された入力に基づいて、第３の持続座標データおよび第４の持続座標データを決定するステップと、第１の持続座標データが第３の持続座標データに対応するかどうかを決定するステップと、第１の持続座標データが第３の持続座標データに対応することの決定に従って、第２の持続座標データが第４の持続座標データに対応するかどうかを決定するステップと、第２の持続座標データが第４の持続座標データに対応することの決定に従って、頭部装着型デバイスのディスプレイを介して、関係データおよび第２の持続座標データを使用して、仮想オブジェクトを表示するステップと、第２の持続座標データが第４の持続座標データに対応しないことの決定に従って、頭部装着型デバイスのディスプレイを介して、関係データおよび第１の持続座標データを使用して、仮想オブジェクトを表示するステップと、第１の持続座標データが第３の持続座標データに対応しないことの決定に従って、頭部装着型デバイスのディスプレイを介して、仮想オブジェクトを表示しないようにするステップとを含む、方法を実行させる、命令を記憶する。いくつかの実施例では、第１の持続座標データは、第１の場所に対応し、第２の持続座標データは、第２の場所に対応し、第２の場所は、第１の場所より頭部装着型デバイスの場所に近い。いくつかの実施例では、頭部装着型デバイスは、第１の頭部装着型デバイスであって、第１の持続座標データは、第２の頭部装着型デバイスから受信される。いくつかの実施例では、頭部装着型デバイスは、第１の頭部装着型デバイスであって、関係データは、第２の頭部装着型デバイスから受信される。いくつかの実施例では、本方法はさらに、仮想オブジェクトに対応するデータを受信するステップを含む。いくつかの実施例では、第３の持続座標データは、頭部装着型デバイスの現在の場所に対応する。いくつかの実施例では、関係データは、変換行列を備える。

いくつかの実施例によると、システムは、ディスプレイおよび１つまたはそれを上回るセンサを有する、頭部装着型デバイスと、第１の持続座標データを受信するステップと、関係データを受信するステップであって、関係データは、位置を第１の持続座標データに関連させる、ステップと、１つまたはそれを上回るセンサを介して受信された入力に基づいて、第２の持続座標データを決定するステップと、第１の持続座標データが第２の持続座標データに対応するかどうかを決定するステップと、第１の持続座標データが第２の持続座標データに対応することの決定に従って、頭部装着型デバイスのディスプレイを介して、第１の持続座標データに基づいて、および関係データに基づいて、仮想オブジェクトを表示するステップと、第１の持続座標データが第２の持続座標データに対応しないことの決定に従って、頭部装着型デバイスのディスプレイを介して、仮想オブジェクトを表示しないようにするステップとを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサとを備える。いくつかの実施例では、頭部装着型デバイスは、第１の頭部装着型デバイスであって、本方法はさらに、第２の持続座標データを第２の頭部装着型デバイスに伝送するステップを含む。いくつかの実施例では、頭部装着型デバイスは、第１の頭部装着型デバイスであって、第１の持続座標データは、第２の頭部装着型デバイスから受信される。いくつかの実施例では、頭部装着型デバイスは、第１の頭部装着型デバイスであって、関係データは、第２の頭部装着型デバイスから受信される。いくつかの実施例では、本方法はさらに、仮想オブジェクトに対応するデータを受信するステップを含む。いくつかの実施例では、第２の持続座標データは、頭部装着型デバイスの現在の場所に対応する。いくつかの実施例では、関係データは、変換行列を備える。

開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つまたはそれを上回る実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。

Claims (20)

1. システムであって、
   ディスプレイおよび１つ以上のセンサを有する第１の頭部装着型デバイスと、
   １つ以上のプロセッサであって、
   第１の持続座標データ、第２の持続座標データ、および関係データを第２の頭部装着型デバイスから受信することであって、前記第１の持続座標データおよび前記第２の持続座標データは、前記第２の頭部装着型デバイスの位置に関連する、ことと、
   前記１つ以上のセンサを介して受信された入力に基づいて、第３の持続座標データおよび第４の持続座標データを決定することであって、前記第３の持続座標データおよび前記第４の持続座標データは、前記第１の頭部装着型デバイスの位置に関連する、ことと、
   前記第１の持続座標データが前記第３の持続座標データに対応するかどうかを決定することと、
   前記第１の持続座標データが前記第３の持続座標データに対応することの決定に従って、
   前記第２の持続座標データが前記第４の持続座標データに対応するかどうかを決定することと、
   前記第２の持続座標データが前記第４の持続座標データに対応することの決定に従って、
   前記第１の頭部装着型デバイスの前記ディスプレイを介して、前記関係データおよび前記第２の持続座標データを使用して、仮想オブジェクトを表示することと、
   前記第２の持続座標データが前記第４の持続座標データに対応しないことの決定に従って、
   前記第１の頭部装着型デバイスの前記ディスプレイを介して、前記関係データおよび前記第１の持続座標データを使用して、前記仮想オブジェクトを表示することと、
   前記第１の持続座標データが前記第３の持続座標データに対応しないことの決定に従って、
   前記第１の頭部装着型デバイスの前記ディスプレイを介して、前記仮想オブジェクトを表示しないようにすることと
   を含む方法を実行するように構成される、１つ以上のプロセッサと
   を備える、システム。
2. 前記第１の持続座標データは、第１の場所に対応し、前記第２の持続座標データは、第２の場所に対応し、前記第２の場所は、前記第１の場所より前記第１の頭部装着型デバイスの場所に近い、請求項１に記載のシステム。
3. 前記方法はさらに、前記仮想オブジェクトに対応するデータを受信することを含む、請求項１に記載のシステム。
4. 前記第３の持続座標データは、前記第１の頭部装着型デバイスの現在の場所に対応する、請求項１に記載のシステム。
5. 前記関係データは、変換行列を備える、請求項１に記載のシステム。
6. 方法であって、
   第１の持続座標データ、第２の持続座標データ、および関係データを第２の頭部装着型デバイスから受信することであって、前記第１の持続座標データおよび前記第２の持続座標データは、前記第２の頭部装着型デバイスの位置に関連する、ことと、
   第１の頭部装着型デバイスの１つ以上のセンサを介して受信された入力に基づいて、第３の持続座標データおよび第４の持続座標データを決定することであって、前記第３の持続座標データおよび前記第４の持続座標データは、前記第１の頭部装着型デバイスの位置に関連する、ことと、
   前記第１の持続座標データが前記第３の持続座標データに対応するかどうかを決定することと、
   前記第１の持続座標データが前記第３の持続座標データに対応することの決定に従って、
   前記第２の持続座標データが前記第４の持続座標データに対応するかどうかを決定することと、
   前記第２の持続座標データが前記第４の持続座標データに対応することの決定に従って、
   前記第１の頭部装着型デバイスのディスプレイを介して、前記関係データおよび前記第２の持続座標データを使用して、仮想オブジェクトを表示することと、
   前記第２の持続座標データが前記第４の持続座標データに対応しないことの決定に従って、
   前記第１の頭部装着型デバイスの前記ディスプレイを介して、前記関係データおよび前記第１の持続座標データを使用して、前記仮想オブジェクトを表示することと、
   前記第１の持続座標データが前記第３の持続座標データに対応しないことの決定に従って、
   前記第１の頭部装着型デバイスの前記ディスプレイを介して、前記仮想オブジェクトを表示しないようにすることと
   を含む、方法。
7. 前記第１の持続座標データは、第１の場所に対応し、前記第２の持続座標データは、第２の場所に対応し、前記第２の場所は、前記第１の場所より前記第１の頭部装着型デバイスの場所に近い、請求項６に記載の方法。
8. 前記仮想オブジェクトに対応するデータを受信することをさらに含む、請求項６に記載の方法。
9. 前記第３の持続座標データは、前記第１の頭部装着型デバイスの現在の場所に対応する、請求項６に記載の方法。
10. 前記関係データは、変換行列を備える、請求項６に記載の方法。
11. 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    第１の持続座標データ、第２の持続座標データ、および関係データを第２の頭部装着型デバイスから受信することであって、前記第１の持続座標データおよび前記第２の持続座標データは、前記第２の頭部装着型デバイスの位置に関連する、ことと、
    第１の頭部装着型デバイスの１つ以上のセンサを介して受信された入力に基づいて、第３の持続座標データおよび第４の持続座標データを決定することであって、前記第３の持続座標データおよび前記第４の持続座標データは、前記第１の頭部装着型デバイスの位置に関連する、ことと、
    前記第１の持続座標データが第３の持続座標データに対応するかどうかを決定することと、
    前記第１の持続座標データが前記第３の持続座標データに対応することの決定に従って、
    前記第２の持続座標データが前記第４の持続座標データに対応するかどうかを決定することと、
    前記第２の持続座標データが前記第４の持続座標データに対応することの決定に従って、
    前記第１の頭部装着型デバイスのディスプレイを介して、前記関係データおよび前記第２の持続座標データを使用して、仮想オブジェクトを表示することと、
    前記第２の持続座標データが前記第４の持続座標データに対応しないことの決定に従って、
    前記第１の頭部装着型デバイスの前記ディスプレイを介して、前記関係データおよび前記第１の持続座標データを使用して、仮想オブジェクトを表示することと、
    前記第１の持続座標データが前記第３の持続座標データに対応しないことの決定に従って、
    前記第１の頭部装着型デバイスの前記ディスプレイを介して、前記仮想オブジェクトを表示しないようにすることと
    を含む方法を実行させる、非一過性コンピュータ可読媒体。
12. 前記第１の持続座標データは、第１の場所に対応し、前記第２の持続座標データは、第２の場所に対応し、前記第２の場所は、前記第１の場所より前記第１の頭部装着型デバイスの場所に近い、請求項１１に記載の非一過性コンピュータ可読媒体。
13. 前記方法はさらに、前記仮想オブジェクトに対応するデータを受信することを含む、請求項１１に記載の非一過性コンピュータ可読媒体。
14. 前記第３の持続座標データは、前記第１の頭部装着型デバイスの現在の場所に対応する、請求項１１に記載の非一過性コンピュータ可読媒体。
15. 前記関係データは、変換行列を備える、請求項１１に記載の非一過性コンピュータ可読媒体。
16. システムであって、
    ディスプレイおよび１つ以上のセンサを有する第１の頭部装着型デバイスと、
    １つ以上のプロセッサであって、
    第１の持続座標データを第２の頭部装着型デバイスから受信することであって、前記第１の持続座標データは、前記第２の頭部装着型デバイスの位置に関連する、ことと、
    関係データを前記第２の頭部装着型デバイスから受信することであって、前記関係データは、仮想オブジェクトの位置を前記第１の持続座標データに関連させる、ことと、
    前記１つ以上のセンサを介して受信された入力に基づいて、第２の持続座標データを決定することであって、前記第２の持続座標データは、前記第１の頭部装着型デバイスの現在の位置に関連する、ことと、
    前記第１の持続座標データが前記第２の持続座標データに対応するかどうかを決定することと、
    前記第１の持続座標データが前記第２の持続座標データに対応することの決定に従って、前記第１の頭部装着型デバイスの前記ディスプレイを介して、前記第１の持続座標データに基づいて、および前記関係データに基づいて、前記仮想オブジェクトを表示することと、
    前記第１の持続座標データが前記第２の持続座標データに対応しないことの決定に従って、前記第１の頭部装着型デバイスの前記ディスプレイを介して、前記仮想オブジェクトを表示しないようにすることと
    を含む方法を実行するように構成される、１つ以上のプロセッサと
    を備える、システム。
17. 前記方法はさらに、前記第２の持続座標データを第２の頭部装着型デバイスに伝送することを含む、請求項１６に記載のシステム。
18. 前記方法はさらに、前記仮想オブジェクトに対応するデータを受信することを含む、請求項１６に記載のシステム。
19. 前記第２の持続座標データは、前記第１の頭部装着型デバイスの現在の場所に対応する、請求項１６に記載のシステム。
20. 前記関係データは、変換行列を備える、請求項１６に記載のシステム。
    
    

Images