JP6813501B2 - 拡張現実システムに結合されるプライバシーセンシティブ消費者カメラ - Google Patents

Description

本開示は、１つ以上の消費者カメラを拡張現実システムに結合するためのシステムおよび方法に関する。

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。

例えば、図１を参照すると、拡張現実場面が、描写されており、ＡＲ技術のユーザは、人々、木々、建物を背景として、コンクリートのプラットフォーム１１２０を特徴とする実世界の公園のような設定を見る。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム１１２０上に立っているロボット像１１１０と、飛んでいる漫画のようなアバタキャラクタ２とも知覚するが、これらの要素（２、１１１０）は、実世界には存在しない。ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、そのような拡張現実場面を生成することは、困難である。

図１に示されるものに類似する場面は、拡張現実（「ＡＲ」）システムが、仮想コンテンツを物理的世界の１つ以上の実オブジェクトと関連して表示することを要求する。例として、頭部装着型ディスプレイを装着しているユーザが、ディスプレイ上の３次元（３Ｄ）オブジェクトの仮想表現を視認し、３Ｄオブジェクトが現れるエリアの周囲を歩き回る場合、その３Ｄオブジェクトは、各視点に対して再レンダリングされ、ユーザに、ユーザが実空間を占有するオブジェクトの周囲を歩き回っていることの知覚を与えることができる。言い換えると、ＡＲシステムは、実世界の座標を把握し、仮想コンテンツを実世界と関連して表示し、満足のゆく拡張現実または仮想現実体験を提供しなければならない。

この目的を達成するために、頭部装着型ＡＲディスプレイシステム（またはヘルメット搭載型ディスプレイ、もしくはスマートグラス等）は、ユーザの周囲に関するデータの組を捕捉するように構成される。例えば、ＡＲシステムは、ユーザの視野を捕捉する画像の組を捕捉し得る。ＡＲシステムは、姿勢（例えば、空間内のユーザの位置および向き）を捕捉する１つ以上のセンサと、ユーザの眼の両眼離反運動を追跡するための眼追跡カメラと、慣性測定ユニットＩＭＵと、他のそのようなデータ捕捉デバイスとも備え得る。これらのカメラおよびセンサは、一緒に、種々の形態の入力をＡＲディスプレイシステムに提供し、そして、入力は、ＡＲシステムが正確かつタイムリーに、実世界の１つ以上のオブジェクトに対して仮想コンテンツをユーザに提示することを可能にする。

これらのカメラおよびセンサ（ならびに入力をＡＲディスプレイシステムに提供する他のデバイス）は、ユーザに現実的拡張現実体験を提供することにおいて重要であるが、プライバシーおよびセキュリティに関連する種々の懸念が、これらのタイプのデータを収集することの結果として引き起こされ得る。ＡＲディスプレイシステムのユーザは、ユーザの同意なくＡＲデバイスによって捕捉される画像のタイプ（例えば、プライベートの瞬間の写真、子供の写真、裸の写真、機密事項、秘密の写真等）に対して警戒し得る。例えば、ＡＲディスプレイシステムのユーザは、小さい子供といる場合があるが、小さい子供の画像が知らないうちに捕捉され、ＡＲ技術の他のユーザおよび／またはプロバイダに伝送されることに対してプライバシー懸念を有し得る。これらのプライバシー侵害は、現実に起こっており、多くの人々にとってセンシティブな問題であり、適切に解決されない場合、ユーザがＡＲディスプレイデバイスを安全に使用することを妨げる影響を及ぼし得る。

したがって、ＡＲまたはＶＲデバイスを使用する間、ＡＲユーザのプライバシーを確実にするためのより優れたソリューションの必要性がある。

本発明の実施形態は、１人以上のユーザのための仮想現実および／もしくは拡張現実相互作用を促進するためのデバイス、システム、ならびに方法を対象とする。

一側面では、拡張現実ディスプレイシステムは、拡張現実ディスプレイシステムのための１つ以上のコンポーネントのための筐体を備え、１つ以上のコンポーネントは、１つ以上の仮想画像に関連付けられた光をユーザに投影するための少なくとも空間光変調器と、ユーザの周囲に関する情報を捕捉するための複数のセンサであって、そのうちの少なくとも１つのセンサは、画像ベースのセンサである、複数のセンサと、筐体に通信可能に結合され、複数のセンサから読み出されるデータの組を処理する、処理モジュールであって、複数のセンサから読み出されるデータの組がモバイルプラットフォームに伝送されることを選択的に可能にするゲート機構を備えている、処理モジュールと、拡張現実ディスプレイシステムの筐体に除去可能に取り付けられている取り外し可能カメラであって、ゲート機構は、少なくとも部分的に、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されるかどうかに基づいて、複数のセンサから読み出されるデータの組がモバイルプラットフォームまで通ることを選択的に可能にする、取り外し可能カメラとを備えている。

１つ以上の実施形態では、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されている場合、ゲート機構は、データの組がモバイルプラットフォームまで通ることを可能にする。１つ以上の実施形態では、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されていない場合、ゲート機構は、データの組の一部のみがモバイルプラットフォームまで通ることを可能にする。１つ以上の実施形態では、複数のセンサから読み出されるデータの組の少なくとも一部は、画像またはビデオデータに対応する。

１つ以上の実施形態では、拡張現実ディスプレイシステムはさらに、複数のセンサから読み出されるデータの組に対応する画像の組から幾何学情報を抽出するＶＰＵを備えている。１つ以上の実施形態では、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されていない場合、ゲート機構は、幾何学情報がモバイルプラットフォームまで通ることを可能にするが、画像の組がモバイルプラットフォームまで通ることを防止する。

１つ以上の実施形態では、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されている場合、ゲート機構は、幾何学情報および取り外し可能カメラが拡張現実ディスプレイシステムに取り付けられていることが検出されているときに捕捉された画像の組がモバイルプラットフォームまで通ることを可能にする。１つ以上の実施形態では、幾何学情報は、画像の組に関する姿勢情報に対応する。１つ以上の実施形態では、幾何学情報は、画像の組に関する２Ｄもしくは３Ｄポイントに対応する。

１つ以上の実施形態では、幾何学情報は、画像の組に関する深度情報に対応する。１つ以上の実施形態では、幾何学情報は、マップデータベースに伝送され、マップデータベースは、仮想コンテンツが世界の実オブジェクトと関連してユーザ表示されるように、世界の実オブジェクトの座標情報を備えている。１つ以上の実施形態では、ＶＰＵは、複数のセンサを通して捕捉された画像を記憶するための画像記憶モジュールを備えている。

１つ以上の実施形態では、ＶＰＵは、複数のセンサを通して捕捉された画像に関する幾何学情報を記憶するための幾何学形状記憶モジュールを備えている。１つ以上の実施形態では、ゲート機構は、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されていない場合でも、幾何学情報がモバイルプラットフォームまで通されることを可能にする。

１つ以上の実施形態では、拡張現実ディスプレイシステムは、取り外し可能カメラを通して捕捉された画像を記憶するためのカメラ記憶モジュールをさらに備えている。１つ以上の実施形態では、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されていない場合、カメラ記憶モジュールは、画像をモバイルプラットフォームに伝送しない。１つ以上の実施形態では、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されている場合、カメラ記憶モジュールは、取り外し可能カメラがモバイルプラットフォームに取り付けられていることが検出されている間に捕捉された画像を伝送する。

１つ以上の実施形態では、取り外し可能カメラは、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることを信号伝達するインジケータを備えている。１つ以上の実施形態では、インジケータは、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられている場合にオンにされるライトを備えている。１つ以上の実施形態では、インジケータは、取り外し可能カメラのレンズを物理的に開放または遮断するシャッタである。

１つ以上の実施形態では、取り外し可能カメラは、第三者カメラである。１つ以上の実施形態では、取り外し可能カメラは、電気手段を用いて、拡張現実デバイスの筐体に電気的に取り付けられる。１つ以上の実施形態では、取り外し可能カメラは、機械的手段を用いて、拡張現実デバイスの筐体に機械的に取り付けられる。１つ以上の実施形態では、拡張現実ディスプレイシステムは、電気接点をさらに備え、電気接点は、取り外し可能カメラが取り外し可能カメラに取り付けられると回路を完成し、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることを検出する。

１つ以上の実施形態では、複数のセンサは、ＩＭＵデバイスを備えている。１つ以上の実施形態では、複数のセンサは、眼追跡デバイスを備えている。１つ以上の実施形態では、複数のセンサは、深度カメラを備えている。１つ以上の実施形態では、複数のセンサは、視野カメラを備えている。１つ以上の実施形態では、複数のセンサは、赤外線カメラを備えている。

別の側面では、拡張現実を表示するための方法は、空間光変調器を通して、１つ以上の仮想画像をユーザに投影することと、複数のセンサを通して、ユーザの周囲に関するデータの組を捕捉することであって、データの組は、画像を含む、ことと、処理モジュールを通して、複数のセンサから読み出されるデータの組を処理することであって、処理モジュールは、複数のセンサから読み出されるデータの組がモバイルプラットフォームに伝送されることを選択的に可能にするゲート機構を備えている、ことと、取り外し可能カメラが拡張現実デバイスの筐体に取り付けられているかどうかを検出することであって、ゲート機構は、少なくとも部分的に、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されるかどうかに基づいて、複数のセンサから読み出されるデータの組がモバイルプラットフォームに伝送されることを選択的に可能にする、こととを含む。

１つ以上の実施形態では、方法はさらに、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されている場合、ゲート機構が、データの組がモバイルプラットフォームまで通ることを可能にすることを含む。１つ以上の実施形態では、方法はさらに、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されていない場合、ゲート機構が、データの組の一部のみがモバイルプラットフォームまで通ることを可能にすることを含む。

１つ以上の実施形態では、複数のセンサから読み出されるデータの組の少なくとも一部は、画像またはビデオデータに対応する。１つ以上の実施形態では、方法はさらに、ＶＰＵを通して、複数のセンサから読み出されるデータの組に対応する画像の組から幾何学情報を抽出することを含む。１つ以上の実施形態では、方法はさらに、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されていない場合、ゲート機構が、幾何学情報がモバイルプラットフォームまで通ることを可能にすることを含む。

１つ以上の実施形態では、方法はさらに、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されている場合、ゲート機構が、幾何学情報および取り外し可能カメラが拡張現実ディスプレイシステムに取り付けられていることが検出されているときに捕捉された画像の組がモバイルプラットフォームまで通ることを可能にすることを含む。１つ以上の実施形態では、幾何学情報は、画像の組に関する姿勢情報に対応する。

１つ以上の実施形態では、幾何学情報は、画像の組に関する２Ｄまたは３Ｄポイントに対応する。１つ以上の実施形態では、幾何学情報は、画像の組に関する深度情報に対応する。１つ以上の実施形態では、方法はさらに、幾何学情報をマップデータベースに伝送することを含み、マップデータベースは、仮想コンテンツが世界の実オブジェクトと関連してユーザに表示されるように、世界の実オブジェクトの座標情報を備えている。

１つ以上の実施形態では、ＶＰＵは、複数のセンサを通して捕捉された画像を記憶するための画像記憶モジュールを備えている。１つ以上の実施形態では、ＶＰＵは、複数のセンサを通して捕捉された画像に関する幾何学情報を記憶するための幾何学形状記憶モジュールを備えている。１つ以上の実施形態では、方法はさらに、ゲート機構が、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されていない場合でも、幾何学情報がモバイルプラットフォームまで通されることを可能にすることを含む。

１つ以上の実施形態では、方法はさらに、取り外し可能カメラを通して捕捉された画像をカメラ記憶モジュール内に記憶することを含む。１つ以上の実施形態では、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されていない場合、カメラ記憶モジュールは、画像をモバイルプラットフォームに伝送しない。１つ以上の実施形態では、方法はさらに、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることが検出されている場合、カメラ記憶モジュールが、取り外し可能カメラがモバイルプラットフォームに取り付けられていることが検出されている間に捕捉された画像を伝送することを含む。

１つ以上の実施形態では、取り外し可能カメラは、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられていることを信号伝達するインジケータを備えている。１つ以上の実施形態では、インジケータは、取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられている場合にオンにされるライトを備えている。１つ以上の実施形態では、インジケータは、取り外し可能カメラのレンズを物理的に開放または遮断するシャッタを備えている。

１つ以上の実施形態では、方法はさらに、取り外し可能カメラを拡張現実デバイスの筐体に電気的に取り付けることを含む。１つ以上の実施形態では、方法はさらに、取り外し可能カメラを拡張現実デバイスの筐体に機械的に取り付けることを含む。１つ以上の実施形態では、方法はさらに、少なくとも部分的に、取り外し可能カメラが取り外し可能カメラに取り付けられているときに回路を完成する電気接点に基づいて、取り外し可能カメラを検出することを含む。

本発明の追加のならびに他の目的、特徴、および利点は、発明を実施するための形態、図面、および請求項に説明される。
例えば、本願は以下の項目を提供する。
（項目１）
拡張現実を表示するための方法であって、前記方法は、
空間光変調器を通して、１つ以上の仮想画像をユーザに投影することと、
複数のセンサを通して、前記ユーザの周囲に関するデータの組を捕捉することであって、前記データの組は、画像を含む、ことと、
処理モジュールを通して、前記複数のセンサから読み出される前記データの組を処理することであって、前記処理モジュールは、前記複数のセンサから読み出される前記データの組がモバイルプラットフォームに伝送されることを選択的に可能にするゲート機構を備えている、ことと、
取り外し可能カメラが前記拡張現実デバイスの筐体に取り付けられているかどうかを検出することと
を含み、
前記ゲート機構は、前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されるかどうかに少なくとも部分的に基づいて、前記複数のセンサから読み出される前記データの組が前記モバイルプラットフォームに伝送されることを選択的に可能にする、方法。
（項目２）
前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されている場合、前記ゲート機構が、前記データの組が前記モバイルプラットフォームまで通ることを可能にすることをさらに含む、項目１に記載の方法。
（項目３）
前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されていない場合、前記ゲート機構が、前記データの組の一部のみが前記モバイルプラットフォームまで通ることを可能にすることをさらに含む、項目１に記載の方法。
（項目４）
前記複数のセンサから読み出される前記データの組の少なくとも一部は、画像またはビデオデータに対応している、項目１に記載の方法。
（項目５）
ＶＰＵを通して、前記複数のセンサから読み出される前記データの組に対応する画像の組から幾何学情報を抽出することをさらに含む、項目１に記載の方法。
（項目６）
前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されていない場合、前記ゲート機構が、前記幾何学情報が前記モバイルプラットフォームまで通ることを可能にすることをさらに含む、項目５に記載の方法。
（項目７）
前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されている場合、前記ゲート機構が、前記幾何学情報と前記取り外し可能カメラが前記拡張現実ディスプレイシステムに取り付けられていることが検出されているときに捕捉された前記画像の組とが、前記モバイルプラットフォームまで通ることを可能にすることをさらに含む、項目５に記載の方法。
（項目８）
前記幾何学情報は、前記画像の組に関する姿勢情報に対応している、項目５に記載の方法。
（項目９）
前記幾何学情報は、前記画像の組に関する２Ｄまたは３Ｄポイントに対応している、項目５に記載の方法。
（項目１０）
前記幾何学情報は、前記画像の組に関する深度情報に対応している、項目５に記載の方法。
（項目１１）
前記幾何学情報をマップデータベースに伝送することをさらに含み、前記マップデータベースは、仮想コンテンツが世界の実オブジェクトと関連して前記ユーザに表示されるように、前記世界の前記実オブジェクトの座標情報を備えている、項目５に記載の方法。
（項目１２）
前記ＶＰＵは、前記複数のセンサを通して捕捉された画像を記憶するための画像記憶モジュールを備えている、項目５に記載の方法。
（項目１３）
前記ＶＰＵは、前記複数のセンサを通して捕捉された画像に関する前記幾何学情報を記憶するための幾何学形状記憶モジュールを備えている、項目５に記載の方法。
（項目１４）
前記ゲート機構が、前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されていない場合でも、幾何学情報が前記モバイルプラットフォームまで通されることを可能にすることをさらに含む、項目５に記載の方法。
（項目１５）
前記取り外し可能カメラを通して捕捉された画像をカメラ記憶モジュール内に記憶することをさらに含む、項目１に記載の方法。
（項目１６）
前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されていない場合、前記カメラ記憶モジュールは、前記画像をモバイルプラットフォームに伝送しない、項目１５に記載の方法。
（項目１７）
前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されている場合、前記カメラ記憶モジュールが、前記取り外し可能カメラが前記モバイルプラットフォームに取り付けられていることが検出されている間に捕捉された画像を伝送することをさらに含む、項目１５に記載の方法。
（項目１８）
前記取り外し可能カメラは、前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることを信号伝達するインジケータを備えている、項目１に記載の方法。
（項目１９）
前記インジケータは、前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられている場合にオンにされるライトを備えている、項目１８に記載の方法。
（項目２０）
前記インジケータは、前記取り外し可能カメラのレンズを物理的に開放または遮断するシャッタを備えている、項目１８に記載の方法。
（項目２１）
前記取り外し可能カメラを前記拡張現実デバイスの前記筐体に電気的に取り付けることをさらに含む、項目１に記載の方法。
（項目２２）
前記取り外し可能カメラを前記拡張現実デバイスの前記筐体に機械的に取り付けることをさらに含む、項目１に記載の方法。
（項目２３）
前記取り外し可能カメラが前記取り外し可能カメラに取り付けられているときに回路を完成する電気接点に少なくとも部分的に基づいて、前記取り外し可能カメラを検出することをさらに含む、項目１に記載の方法。
（項目２４）
前記方法ステップを実装する手段を有するシステムとして実装される項目１−２３に記載の方法。
（項目２５）
前記方法ステップを実行するための実行可能コードを有するコンピュータ使用可能記憶媒体を備えているコンピュータプログラム製品として実装される項目１−２３に記載の方法。

図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、必ずしも正確な縮尺で描かれておらず、同様の構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、簡単に前述された発明を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに記載ならびに説明されるであろう。
図１は、ユーザに表示されている例示的拡張現実場面を図示する。 図２Ａ−２Ｄは、例示的拡張現実デバイスの種々の構成を図示する。 図２Ａ−２Ｄは、例示的拡張現実デバイスの種々の構成を図示する。 図２Ａ−２Ｄは、例示的拡張現実デバイスの種々の構成を図示する。 図２Ａ−２Ｄは、例示的拡張現実デバイスの種々の構成を図示する。 図３は、一実施形態による、クラウド内の１つ以上のサーバと通信する拡張現実デバイスを図示する。 図４は、一実施形態による、拡張現実デバイスの種々のコンポーネントの平面図を示す。 図５は、一実施形態による、頭部搭載型拡張現実デバイにス付けられる取り外し可能カメラの平面図を示す。 図６は、一実施形態による、ベルトパックの処理モジュールと通信する頭部搭載型拡張現実デバイスの取り外し可能カメラおよび他のコンポーネントのシステム図である。 図７は、一実施形態による、データがモバイルプラットフォームに伝送されることを選択的に可能にする例示的方法である。 図８Ａ−８Ｂは、一実施形態による、情報をモバイルプラットフォームに選択的に伝送する例示的技法を描写する一連のプロセスフロー図を図示する。 図８Ａ−８Ｂは、一実施形態による、情報をモバイルプラットフォームに選択的に伝送する例示的技法を描写する一連のプロセスフロー図を図示する。 図９Ａ−９Ｂは、一実施形態による、情報をモバイルプラットフォームに選択的に伝送する別の例示的技法を描写する別の一連のプロセスフロー図を図示する。 図９Ａ−９Ｂは、一実施形態による、情報をモバイルプラットフォームに選択的に伝送する別の例示的技法を描写する別の一連のプロセスフロー図を図示する。 図１０Ａ−１０Ｂは、一実施形態による、情報をモバイルプラットフォームに選択的に伝送する別の例示的技法を描写する別の一連のプロセスフロー図を図示する。 図１０Ａ−１０Ｂは、一実施形態による、情報をモバイルプラットフォームに選択的に伝送する別の例示的技法を描写する別の一連のプロセスフロー図を図示する。

図２Ａ−２Ｄを参照すると、いくつかの一般的コンポーネントオプションが、図示される。図２Ａ−２Ｄの議論が続く発明を実施するための形態の一部では、種々のシステム、サブシステム、およびコンポーネントが、ヒトＶＲならびに／またはＡＲのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。

図２Ａに示されるように、ＡＲシステムユーザ６０は、ユーザの眼の正面に位置付けられるＡＲディスプレイシステム６２に結合されるフレーム６４構造を装着して描写される。スピーカ６６が、描写される構成においてフレーム６４に結合され、ユーザの外耳道に隣接して位置付けられる（一実施形態では、別のスピーカ（図示せず）が、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ６２は、有線導線または無線接続性等によって、ローカル処理およびデータモジュール７０に動作可能に結合され６８、ローカル処理およびデータモジュール７０は、フレーム６４に固定して取り付けられるか、図２Ｂの実施形態に示されるようにヘルメットまたは帽子８０に固定して取り付けられるか、ヘッドホン内に埋設されるか、図２Ｃの実施形態に示されるようにリュック式構成においてユーザ６０の胴体８２に除去可能に取り付けられるか、または図２Ｄの実施形態に示されるようにベルト結合式構成においてユーザ６０の腰８４に除去可能に取り付けられる等、種々の構成において搭載され得る。

ローカル処理およびデータモジュール７０は、電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得、データは、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等のフレーム６４に動作可能に結合され得る、センサから捕捉され、および／または、ｂ）おそらく、そのような処理もしくは読み出し後、ディスプレイ６２への通過のために、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して、取得ならびに／もしくは処理される。ローカル処理およびデータモジュール７０は、有線または無線通信リンク等を介して、遠隔処理モジュール７２および遠隔データリポジトリ７４に動作可能に結合（７６、７８）され得、これらの遠隔モジュール（７２、７４）は、互いに動作可能に結合され、ローカル処理およびデータモジュール７０へのリソースとして利用可能である。

一実施形態では、遠隔処理モジュール７２は、データおよび／または画像情報を分析ならびに処理するように構成される１つ以上の比較的に高度なプロセッサまたはコントローラを備え得る。一実施形態では、遠隔データリポジトリ７４は、インターネットまたは「クラウド」リソース構成内の他のネットワーキング構成を通して利用可能であり得る、比較的に大規模なデジタルデータ記憶設備を備え得る。一実施形態では、全てのデータが、ローカル処理およびデータモジュール内に記憶され、全ての計算が、そこで行われ、任意の遠隔モジュールを伴わずに完全に自律的使用を可能にする。

図２Ａ−２Ｄを参照して説明されるように、ＡＲシステムは、ＡＲユーザおよび周囲環境についてのデータを収集する種々のデバイスから入力を継続的に受信する。ここで図３を参照すると、例示的拡張現実ディスプレイデバイスの種々のコンポーネントが、説明されるであろう。他の実施形態が、追加のコンポーネントを有し得ることを理解されたい。それにもかかわらず、図３は、種々のコンポーネントおよびＡＲデバイスによって収集され得るデータのタイプの基本概念を提供する。

ここで図３を参照すると、概略は、クラウドコンピューティングアセット４６とローカル処理アセット（３０８、１２０）との間の協調を図示する。一実施形態では、クラウド４６アセットは、有線または無線ネットワーキング（４０、４２）を介して、プロセッサおよびメモリ構成等のローカルコンピューティングアセット（１２０、３０８）の一方または両方に直接、動作可能に結合され（無線が、移動性のために好ましく、有線は、所望され得るある高帯域幅または高データ量転送のために好ましい）、ローカルコンピューティングアセット（１２０、３０８）は、ユーザの頭部搭載型デバイス１２０またはベルト３０８に結合されるように構成される構造内に格納され得る。ユーザにローカルのこれらのコンピューティングアセットは、同様に、有線および／または無線接続性構成４４を介して、互いにも動作可能に結合され得る。一実施形態では、低慣性および小型サイズ頭部搭載型サブシステム１２０を維持するために、ユーザとクラウド４６との間の一次転送は、ベルトベースのサブシステム３０８とクラウドとの間のリンクを介し得、頭部搭載型サブシステム１２０は、主に、（例えば、パーソナルコンピューティング周辺接続性用途において現在採用されている）超広帯域（「ＵＷＢ」）接続性等の無線接続性を使用して、ベルトベースのサブシステム３０８にデータテザリングされる。クラウド４６を通して、ＡＲディスプレイシステム１２０は、クラウド内にホストされた１つ以上のＡＲサーバ１１０と相互作用し得る。種々のＡＲサーバ１１０は、サーバ１１０が互いに通信することを可能にする通信リンク１１５を有し得る。

効率的なローカルおよび遠隔処理協調と、（ユーザインターフェース、ユーザ「ディスプレイデバイス」、またはそれらの変形例等の）ユーザのための適切なディスプレイデバイスとを用いることで、ユーザの現在の実際または仮想場所に関連するある世界の側面が、ユーザに転送または「パス」され、効率的方式で更新され得る。言い換えると、世界のマップは、ユーザのＡＲシステム上に部分的に常駐し、クラウドリソース上に部分的に常駐し得る記憶場所において、継続的に更新される。マップ（パス可能世界モデルとも称される）は、ラスタ画像、３Ｄおよび２Ｄポイント、パラメータ情報、ならびに実世界についての他の情報を備えている大型データベースであり得る。ＡＲユーザがその実環境についてのますます多くの情報を継続的に捕捉するにつれて（例えば、カメラ、センサ、ＩＭＵ等を通して）、マップは、ますます正確になる。

図４を参照すると、好適なユーザディスプレイデバイス６２の１つの簡略化された実施形態が、筐体またはフレーム１０８によってユーザの頭部もしくは眼に搭載され得るディスプレイレンズ１０６を備えているように示される。ディスプレイレンズ１０６は、ユーザの眼２０の正面において筐体１０８によって位置付けられている１つ以上の透明ミラーを備え得、１つ以上の透明ミラーは、ローカル環境からの少なくとも一部の光の透過も可能にしながら、投影された光３８を眼２０の中に跳ね返し、ビーム成形を促進するように構成される。描写される実施形態では、２つの広角マシンビジョンカメラ１６が、筐体１０８に結合され、ユーザの周囲の環境を撮像する。一実施形態では、これらのカメラ１６は、デュアル捕捉可視光／赤外線光カメラである。

描写される実施形態は、示されるように、光３８を眼２０の中に投影するように構成されるディスプレイミラーおよび光学を伴う一対の走査式レーザ成形波面（すなわち、深度のため）光プロジェクタモジュール１８（例えば、ＤＬＰ、ファイバ走査デバイス（ＦＳＤ）、ＬＣＤ等の空間光変調器）も備えている。描写される実施形態は、発光ダイオード「ＬＥＤ」等の赤外線光源２６と対にされた２つの小型赤外線カメラ２４を備え、小型赤外線カメラ２４は、ユーザの眼２０を追跡し、レンダリングおよびユーザ入力をサポートすることが可能であるように構成される。ディスプレイシステム６２は、センサアセンブリ３９をさらに特徴とし、センサアセンブリ３９は、Ｘ、Ｙ、Ｚ軸加速度計能力と、磁気コンパスおよびＸ、Ｙ、Ｚ軸ジャイロスコープ能力とも備え、好ましくは、２００Ｈｚ等の比較的に高周波数でデータを提供し得る。描写されるシステム６２は、リアルまたは近リアルタイムユーザ頭部姿勢をカメラ１６からの広角画像情報出力から計算するように構成され得るＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、および／またはＡＲＭプロセッサ（高度縮小命令セットマシン）等の頭部姿勢プロセッサ３６も備えている。頭部姿勢プロセッサ３６は、カメラ１６およびレンダリングエンジン３４に動作可能に結合される（９０、９２、９４；例えば、有線または無線接続性を介して）。

デジタルおよび／またはアナログ処理を実行し、姿勢をセンサアセンブリ３９からのジャイロスコープ、コンパス、ならびに／もしくは加速度計データから導出するように構成される別のプロセッサ３２も、示される。描写される実施形態は、姿勢および測位を補助するためのＧＰＳ３７サブシステムも特徴とする。

最後に、描写される実施形態は、ソフトウェアプログラムを実行するハードウェアを特徴とし得るレンダリングエンジン３４を備え、ソフトウェアプログラムは、ユーザの世界のビューのために、ユーザのローカルのレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成される。レンダリングエンジン３４は、レンダリングされた光３８が、網膜走査ディスプレイに類似する様式において、走査式レーザ配列１８を使用して投影されるように、センサ姿勢プロセッサ３２、画像姿勢プロセッサ３６、眼追跡カメラ２４、および投影サブシステム１８に動作可能に結合される（１０５、９４、１００／１０２、１０４、すなわち、有線または無線接続性を介して）。投影される光ビーム３８の波面は、投影された光３８の所望の焦点距離と一致するように曲げられ、または焦点を合わせられ得る。

小型赤外線眼追跡カメラ２４は、眼を追跡し、レンダリングおよびユーザ入力をサポートするために利用され得る（すなわち、ユーザが見ている場所、焦点を合わせている深度等、以下に議論されるように、両眼離反運動が、ユーザの焦点深度を推定するために利用され得る）。ＧＰＳ３７、ジャイロスコープ、コンパス、および加速度計３９が、大まかな、および／または高速の姿勢推定を提供するために利用され得る。カメラ１６画像および姿勢データが、関連付けられたクラウドコンピューティングリソースからのデータと併せて、ローカル世界をマップし、ユーザビューを仮想または拡張現実コミュニティと共有するために利用され得る。

図４において特徴とされるディスプレイシステム６２内のハードウェアの多くは、ディスプレイ１０６およびユーザの眼２０に隣接する筐体１０８に直接結合されて描写されるが、描写されるハードウェアコンポーネントは、例えば、図２Ｄに示されるように、ベルト搭載型コンポーネント７０等の他のコンポーネントに搭載されるか、またはその中に格納され得る。

一実施形態では、図４に特徴とされるシステム６２のコンポーネントは全て、画像姿勢プロセッサ３６、センサ姿勢プロセッサ３２、およびレンダリングエンジン３４を除き、ディスプレイ筐体１０８に直接結合され、後者３つとシステムの残りのコンポーネントとの間の通信は、超広帯域等の無線通信または有線通信によって行われ得る。描写される筐体１０８は、好ましくは、頭部搭載型であり、ユーザによって装着可能である。それは、ユーザの耳の中に挿入され、音をユーザに提供するために利用され得るそれら等、スピーカも特徴とし得る。

標準的ＡＲデバイスの主要コンポーネントが説明されたが、ＡＲデバイスは、データをユーザおよびその周囲から収集するように構成される、多くのコンポーネントを備え得ることを理解されたい。例えば、前述のように、ＡＲデバイスのいくつかの実施形態は、ＧＰＳ情報を収集し、ユーザの場所を決定する。他の実施形態では、ＡＲデバイスは、赤外線カメラを備え、ユーザの眼を追跡する。さらに他の実施形態では、ＡＲデバイスは、視野カメラを備え、ユーザの環境の画像を捕捉し得、これは、ひいては、ユーザの物理的空間のマップ（図３に説明されるように、サーバ１１０のうちの１つ内に含有される）を構成するために使用され得、それは、システムが、図３に関して簡単に説明されるように、仮想コンテンツを適切な実在のオブジェクトに関連してレンダリングすることを可能にする。

前述のこれらのカメラおよびセンサは、現実的拡張現実体験をユーザに提供するために統合されているが、一部のユーザは、継続的に捕捉される画像データに対してプライバシー懸念を表し得る。例えば、ＡＲユーザは、小さい子供とともに、入浴しながら、教育ゲームをプレーする場合があるが、ＡＲユーザは、ユーザの子供の配慮を要する画像またはデータがより大規模なＡＲシステムおよび／もしくは他のユーザに伝送される恐れがあることから、ＡＲシステムの使用を躊躇し得る。または、ユーザ（ＡＲユーザもしくは非ＡＲユーザ）は、公共の場所に居る場合があるが、ユーザは、公共の場所における他の人によって使用されるＡＲデバイスを通して捕捉されることに対して警戒し得る。同様に、他のそのようなプライバシー懸念が、想定され得る。

加えて、ＡＲシステムの主要目標のうちの１つは、ユーザが潜在的プライベート空間または配慮を要する空間（例えば、浴室、寝室、子供によって取り囲まれた空間、公共の空間等）に踏み入る度に、ＡＲユーザが使用を中断することを強要することなく、中断されない拡張現実体験を提供することである。ＡＲシステムの別の目標は、ユーザに、ＡＲデバイスを通して写真を捕捉する能力を提供することである。これは、ユーザが典型的には通常のカメラの使用を通して捕捉不可能であるビュー／ビデオ（例えば、ハンズフリー、パノラマ撮影、移動撮影、連続映像等）をユーザが捕捉することを可能にし得るので、ＡＲデバイスに関連付けられた特に人気の機能性であり得る。本開示は、ＡＲユーザおよび社会のプライバシーおよびセキュリティ懸念を全体として認識し、それに配慮した様式において、前述のこれらの目標を満たす１つのアプローチを提供する。

この目的を達成するために、１つ以上の実施形態では、ＡＲシステムのアーキテクチャは、ＡＲシステムの１つ以上のセンサ、赤外線カメラ、深度ビューカメラ（すなわち、コンテキスト提供デバイス）から捕捉されたデータが、画像の組および／またはセンサデータから抽出される幾何学形状情報（例えば、姿勢情報、オブジェクトの位置、２Ｄおよび３Ｄポイント、パラメータ情報）のみがＡＲデバイスのモバイルプラットフォームに提供されるように、供給されるように設計され得る。１つ以上の実施形態では、ＡＲデバイスのモバイルプラットフォームは、図３に示されるように、サーバ１１０のうちの１つに記憶および継続的に構築され得るマップ（例えば、ゲームプラットフォーム、パス可能世界モデル、世界のマップ）を備えている（またはアクセスする）。マップは、世界のためのマップデータを含むデータベースであり得る。一実施形態では、それは、ユーザ装着型コンポーネント上に部分的に常駐し得、有線または無線ネットワークによってアクセス可能なクラウド記憶（例えば、図３のサーバ１１０）場所に部分的に常駐し得る。マップは、ますます多くのユーザがシステム上に存在するにつれて、ますます大きくなるであろう、重要かつ成長するコンポーネントである。マップは、実世界の１つ以上のオブジェクトに対応するラスタ画像、ポイントおよび記述子クラウド、ならびに多角形／幾何学的定義の組を備え得る。マップは、複数の拡張現実デバイスから受信される情報で常に更新され、時間と共にますます正確になる。

１つ以上の実施形態では、ゲート機構が、実装され得、ゲート機構は、コンテキスト提供デバイス（例えば、赤外線カメラ、視野カメラ、深度カメラ、眼追跡センサ、ジャイロスコープ、加速度計等）から集められた幾何学形状情報のみがマップに伝送されることを選択的に可能にするが、コンテキスト集めの一部として捕捉された任意の画像またはビデオが除外されることを確実にする。しかしながら、指定されるカメラは、以下に詳細に説明されるであろうように、ＡＲユーザが画像を能動的に捕捉することを欲するとき、随時、ＡＲデバイスに取り外し可能に結合され得る。このアプローチは、有利には、ＡＲユーザに、ユーザ自身のＡＲデバイスから捕捉されている画像に対する制御を与え、同時に、公共の空間において使用されている他のＡＲデバイスの可能な画像またはビデオ捕捉の注意を提供する効果も有する（より人目に付くカメラを通して）。

ここで図５を参照すると、１つ以上の実施形態では、ＡＲシステムは、ＡＲデバイス６２のフレーム６４上のフックまたはあるタイプの留めデバイスに付けられ得る取り外し可能カメラ５３０を備え得る。したがって、カメラ５３０が図５に示されるもののような人目に付く様式で物理的に取り付けられると、他のＡＲユーザおよび／または一般大衆は、カメラ５３０を装着しているＡＲユーザが画像を捕捉し、および／またはビデオを記録し得ることに気付く。誰かが画像を捕捉し得ることが見えると、他のユーザまたは大衆のメンバーは、適切に行動するか、またはカメラデバイス５３０によって捕捉されないことを選び得る。または、ＡＲユーザは、いくつかの環境では、画像を捕捉しないように、もしくはビデオを記録しないように要求され得る。最も重要なことは、カメラ５３０が、他者が可能な画像またはビデオ捕捉を認知し得るように他者によって容易に気付かれ得るように、ＡＲデバイスに人目に付くように取り付けられることである。これは、ＡＲコミュニティの他のメンバーが知らずに、配慮を要する画像またはビデオを密かに捕捉するというＡＲユーザの問題を解決する。図５に示されるもの等の除去可能カメラ５３０は、人々が、ＡＲデバイスによってデジタル捕捉され得ることを把握し、責任を持って行動すること、またはその行動を改めることができるように、カメラ５３０をよく見えるように表示する。

１つ以上の実施形態では、取り外し可能カメラ５３０は、物理的手段（例えば、フック、磁石、電気接続、センサ等）によって、ＡＲデバイス６２のフレーム６４に物理的に結合され得る。１つ以上の実施形態では、ＡＲデバイス６２は、取り外し可能カメラ５３０がＡＲシステム６２に物理的に付けられていることの検出に少なくとも部分的に基づいて、オンに切り替えられる電気接続を備えている。この検出は、１つ以上の実施形態では、取り外し可能カメラ５３０がフレーム６４に取り付けられ、回路を完成すると、アクティブにされる電気接点を通して生じ得る。この検出は、次に、ゲート機構（以下にさらに詳細に説明されるであろうように）が、全画像がモバイルプラットフォームに通過することを可能にすること、または幾何学情報のみが通過することを選択的に可能にすることを可能にする。

１つ以上の実施形態では、取り外し可能カメラ５３０は、ベルトパック７０に保管され、必要に応じて、ＡＲデバイス６２のフレーム６４に取り付けられ得る。１つ以上の実施形態では、取り外し可能カメラ５３０は、ワイヤ５３２を通して、ベルトパック７０における電源に接続され、ＡＲデバイス６２のフレーム６４に物理的に接続され得る。他の実施形態では、取り外し可能カメラ５３０は、物理的取り付けを伴わずに、ベルトパック７０および／またはベルトパック７０における電源と無線で通信し得る。さらに他の実施形態では、取り外し可能カメラ５３０は、ＡＲデバイス６２のフレーム６４に付けられると、ＡＲデバイス６２自体において給電され得る。図５は、例証目的のみのために提供され、他の実施形態も、同様に使用され得ることを理解されたい。他の実施形態では、取り外し可能カメラ５３０は、ヘルメットまたはユーザの頭部のある他の部分に取り付けられ得るが、フックまたは他の留め手段を通してＡＲデバイスのフレーム６４に物理的に接続され得る。

１つ以上の実施形態では、取り外し可能カメラ５３０は、ライト５３４またはある他の信号伝達手段を通して、カメラがオンであることを示し得る。他の実施形態では、ＡＲデバイス６２に固定されているカメラ５３０によって、ユーザは、自動的に、ＡＲユーザが画像を記録および／または捕捉し得ることに気付く。または、さらに他の実施形態では、取り外し可能カメラ５３０は、ユーザが画像を記録または捕捉しているときに開放され得る物理的シャッタ（図示せず）を有するカメラ５３０であり得る。

１つ以上の実施形態では、取り外し可能カメラ５３０は、任意の第三者によって製造され得、既製品から購入し、ＡＲデバイス６２と機能するように構成され得る。これは、有利には、ＡＲユーザに、取り外し可能カメラ５３０によって捕捉される画像のタイプおよび品質におけるさらなる自由度を与える。例えば、一部のＡＲユーザは、標準的デジタルカメラと比較してより優れた品質の写真を捕捉するポータブルＳＬＲカメラに関心があり得る。または、一部のＡＲユーザは、パノラマビューを捕捉するためにＡＲフレーム６４に付けられ得る特殊広角カメラ５３０を購入し得る。または、ＡＲユーザは、スキーもしくはスカイダイビング時、高品質スポーツショットを捕捉するために、スポーツ用カメラ５３０を購入し得る。ＡＲデバイス６２への取り外し可能カメラ５３０を切り離すことによって、ユーザは、カメラ５３０を選択することにおいて、ユーザの選択のさらなる自律性を提供される。

ここで図６を参照すると、取り外し可能カメラ５３０を伴うＡＲデバイス６２のシステムアーキテクチャの実施形態が、図示される。上である程度詳細に議論されたように、ＡＲユーザのプライバシーを確実にするために、ＡＲシステムのアーキテクチャは、取り外し可能カメラ５３０がＡＲデバイス６２に付けられていることが検出されるときのみ、画像が（例えば、マップデータベースまたはローカル記憶内に）記憶され、またはサーバに伝送されるように設計され得る。言い換えると、ゲート機構が、取り外し可能カメラが検出されない限り、幾何学情報（例えば、姿勢、３Ｄポイント等）のみがサーバに伝送されるように実装され得る。

図６に示されるように、ＡＲデバイス６２は、ＩＭＵ５２２、深度カメラ５２０、および赤外線カメラ５２４等のコンテキスト収集デバイスの組を備え得る。他のＡＲデバイスは、他の目的のために設計される他のそのようなセンサおよび／またはカメラを備え得ることを理解されたい。図６に示されるように、これらのデバイス（５２０、５２２、５２４）を通して収集されるデータは、図示されるように、ベルトパック７０に常駐し得るプロセッサ５１６に伝送される。他の実施形態では、プロセッサ５１６は、ＡＲシステムの別の部分内に常駐するか、またはフレーム６４の一部であり得る。

取り外し可能カメラ５３０は、１つ以上の実施形態では、ＡＲデバイス６２のフレーム６４に物理的に取り付けられ得る。取り外し可能カメラ５３０によって捕捉されたデータも、ベルトパック７０に伝送される。１つ以上の実施形態では、取り外し可能カメラ５３０を通して捕捉された画像データは、カメラ記憶モジュール５１０内に直接記憶され得る。１つ以上の実施形態では、ベルトパック７０の処理コンポーネントは、ビデオ処理モジュール（ＶＰＵ）５１２を備え、ＡＲデバイス６２によって捕捉された画像の組を処理し得る。１つ以上の実施形態では、ＶＰＵ５１２は、種々のカメラから受信された画像を処理し、幾何学形状情報を画像から抽出する。ＩＭＵ５２２、深度カメラ５２０、視野カメラ５３０、および赤外線カメラ５２４からのデータは、ＶＰＵに直接送信され得、ＶＰＵは、次に、データを分析し、幾何学形状情報をデータから抽出する。いくつかの実施形態では、取り外し可能カメラ５３０からのデータも、ＶＰＵ５１２に送信され得る（図示せず）。

１つ以上の実施形態では、取り外し可能カメラ５３０からの画像は、別個のカメラ記憶モジュール５１０内に記憶され得る。他の実施形態では、ＡＲシステム６２の全画像デバイスからの画像も、カメラ記憶モジュール５１０内に記憶され得る。いくつかの実施形態では、ＶＰＵ５１２は、カメラ記憶モジュール５１０に動作可能にリンクされ、画像を受信し、幾何学形状情報を抽出する。他の実施形態では、プライバシーを確実にするために、カメラ記憶モジュール５１０は、ＶＰＵ５１２から完全に離れて保たれ、実際の画像と画像から抽出される幾何学形状情報との間の物理的分離を生成し得る。

取り外し可能カメラ５３０がフレーム６４に付けられていることが検出されている場合、捕捉された画像は、ゲート機構５５２を通して、または直接カメラ記憶モジュール５１０から、モバイルプラットフォーム５５０に伝送され得る。取り外し可能カメラ５３０が検出されていない場合、幾何学形状情報のみが、ゲート機構５５２を通して、モバイルプラットフォーム５５０に通される。図６に示されるように、ゲート機構５５２は、ＶＰＵ５１２と、ベルトパック７０において使用されているモバイルプラットフォーム５５０（例えば、Ａｎｄｒｏｉｄ（登録商標）等）およびＡＲデバイスの処理コンポーネントの残りとの間に存在する。このデータの分離は、特に、プライベートデータ（例えば、画像、ビデオ等）が、ユーザの同意なしで、不必要に、モバイルプラットフォーム５５０および／または他のリソースに転送されないことを確実にするために設計される。

ベルトパック７０は、他のコンポーネントを備え得、本明細書に詳述されるコンポーネントは、例証目的にすぎないことを理解されたい。１つ以上の実施形態では、モバイルプラットフォーム５５０は、ＡＲデバイス６２がマップデータベース５１４と通信することを可能にする１つ以上のクラウドリソースに接続する。マップデータベース５１４は、受信されたデータを収集、分析、または処理し、マップ５１４と通信するように構成され得るプロセッサ５１６に接続され得る。１つ以上の実施形態では、マップ５１４は、それが世界に関するマッピングデータ（例えば、物理的座標、ポイント等）を備えているように、ゲームエンジンであり得る。他の実施形態では、マップ５１４は、複数のＡＲユーザによって収集される画像およびポイントから構築され、時間と共に構築されるパス可能世界モデルであり得る。

マップ５１４は、ＡＲシステムの不可欠なコンポーネントであり、世界との関連でＡＲユーザの物理的座標を識別する。これは、ＡＲシステムが、仮想コンテンツを世界の１つ以上の実オブジェクトに関連してレンダリングすることを可能にする。したがって、マップ５１４とＡＲデバイス６２との間の情報の交換は、重要である。ゲート機構５５２は、ＡＲシステムのそのコア機能性に役立つ重要な幾何学情報が、モバイルプラットフォーム５５０およびマップ５１４にタイムリーに転送されることを確実にするが、同時に、画像およびビデオが、ユーザの明示的同意（例えば、取り外し可能カメラ５３０の付着を通して）なしで、モバイルプラットフォーム５５０に転送されないことも確実にする。

１つ以上の実施形態では、ＡＲシステムが、取り外し可能カメラ５３０がＡＲデバイス６２のフレームに固定されていることを検出すると（例えば、物理的接点、物理的トークン、電気接点、近接性検出器等を通して）、ゲート機構５５２は、開放し、幾何学情報のみではなく、画像もモバイルプラットフォーム５５０に伝送する。取り外し可能カメラ５３０がもはやフレーム６４に付けられていないことが検出されている場合、ゲート機構５５２は、幾何学形状のみがゲートを通されるように、ゲートを閉鎖する。１つ以上の実施形態では、カメラ記憶モジュール５１０からのデータも、ゲート機構５５２を通過する。

他の実施形態では、カメラ記憶モジュール５１０（別個のプロセッサを有し得る）は、カメラ記憶モジュール５１０からのデータがモバイルプラットフォーム５５０に自由に伝送されるように、ＶＰＵ５１２から別個に保たれる。さらに他の実施形態では、ゲート機構５５２は、取り外し可能カメラ５３０が検出されるときでも、幾何学形状情報のみがゲートを通過するように、常時、「オン」である。さらに他の実施形態では、別のゲート機構は、取り外し可能カメラ５３０が検出されるときのみ、画像情報が他のゲート機構を通過し、モバイルプラットフォーム５５０に転送されるように、モバイルプラットフォーム５５０とカメラ記憶モジュール５１０との間に存在し得る。３つのアプローチに関するさらなる情報は、以下にさらに詳細に説明されるであろう。

ゲート機構５５２を実装する多くの方法があり得、以下に詳述されるアプローチは、限定として読まれるべきではないことを理解されたい。１つのアプローチでは、ゲート機構５５２は、ＡＲデバイス６２を通りＶＰＵ５１２に来る画像および／またはビデオ入力をハンドリングする外部チップセットを備え得る。この情報は、モバイルプラットフォーム５５０とともに動作するデバイスドライバ内に記憶される。１つ以上の実施形態では、データをデバイスドライバから自由に読み出す能力は、画像および／またはビデオコンテンツを分離するために、モバイルプラットフォーム５５０に提供されないこともある。デバイスドライバは、１つ以上の実施形態では、実際の画像および／またはビデオがモバイルプラットフォーム５５０によってアクセス可能ではないようにプログラムされ得る。

１つ以上の実施形態では、ＶＰＵ５１２の中に内蔵されるファームウェアは、取り外し可能カメラ５３０が検出されない限り、幾何学形状情報のみをモバイルプラットフォーム５５０に選択的に伝送するようにプログラムされ得る。したがって、１つ以上の実施形態では、ファームウェアは、機能性を制御し、制御は、デバイスドライバに与えられない。これは、ゲート機構５５２を実装するための１つのアプローチであり得るが、他のアプローチも同様に、画像／ビデオをモバイルプラットフォーム５５０と別個に保つために使用され得る。

いくつかの実施形態では、ゲート機構は、画像および／またはビデオがクラウドに転送されないことを確実にすることに加え、画像および／またはビデオがＡＲシステムのベルトパック７０またはローカル処理モジュールのいずれにも転送されないように設計される。言い換えると、そのようなゲート機構は、取り外し可能カメラ５３０が検出されるとき以外、個々のＡＲデバイス６２さえ、任意の望ましくないまたはプライベート画像もしくはビデオを搬送しないことを確実にする。これは、ＡＲデバイス６２のユーザのプライバシーおよびセキュリティが維持されることを保証するためのさらに別の方法を提供する。

ここで図７を参照すると、ＶＰＵ５１２の例示的プロセスフローが、図示される。７０２では、画像が、コンテキスト提供デバイスのうちの１つを通して受信され得る。７０４では、幾何学形状情報が、画像から抽出され得る。７０６では、取り外し可能カメラ５３０が検出されるかどうかの決定が行われる。取り外し可能カメラ５３０が検出されている場合、７０８では、画像および幾何学形状情報の両方が、モバイルプラットフォーム５５０に伝送される。取り外し可能カメラ５３０が検出されていない場合、７１０では、幾何学形状情報のみが、モバイルプラットフォーム５５０に伝送される。

ここで図８Ａ−８Ｂを参照すると、例示的プロセスフロー図が、図示される。図８Ａでは、取り外し可能カメラ５３０は、ＡＲデバイス６２のフレーム６４に付けられていない。画像および／またはビデオは、ＶＰＵ５１２の記憶モジュール５６０内に記憶される（いくつかの実施形態では、タイムリーに削除され得る）。ＶＰＵ５１２は、１つ以上の実施形態では、幾何学形状情報を画像から抽出し得、幾何学形状情報を別個の記憶モジュール５６２内に記憶し得る。画像は、記憶モジュール５６０内に記憶され得る（かつタイムリーに削除され得る）。図８Ａに示されるように、取り外し可能カメラ５３０は、検出されないので、５６２からの幾何学形状情報のみが、モバイルプラットフォーム５５０に提供される。

図８Ｂでは、取り外し可能カメラ５３０が検出されている場合、ゲート５５２は、「開放」され、記憶モジュール５６０内に記憶される画像および記憶モジュール５６２内に記憶される幾何学形状情報の両方が、モバイルプラットフォーム５５０に伝送される。したがって、取り外し可能カメラ５３０を通して捕捉された画像も、記憶モジュール５６０内に記憶され、「開放ゲート」を通して送信される。他の実施形態では、取り外し可能カメラ５３０を通して捕捉された画像は、前述のように、カメラ記憶モジュール５１０内に記憶され得、別個のゲート機構を通してモバイルプラットフォーム５５０に伝送され得る。他の実施形態では、カメラ記憶モジュール５１０は、画像をモバイルプラットフォーム５５０に自由に伝送し得る（カメラ記憶モジュール５１０は、ユーザの同意を通して得られる取り外し可能カメラ５３０からの画像のみを備えているため）。

図９Ａおよび９Ｂは、別の可能なシステム構成を図示する。図８Ａと同様に、取り外し可能カメラ５３０が検出されないとき、ゲート機構５５２は、５６２からの幾何学形状情報のみがモバイルプラットフォーム５５０に伝送されることを可能にする。図９Ｂでは、取り外し可能カメラ５３０が検出されている場合、ゲート５５２は、「開放」されるが、カメラ記憶モジュール５１０も、ＶＰＵ５１２を通してではなく、直接、取り外し可能カメラ５３０を通して捕捉された画像をモバイルプラットフォーム５５０に伝送する。本実施形態では、取り外し可能カメラ５３０からのデータは、記憶モジュール５１０内に記憶され、直接、モバイルプラットフォーム５５０に通信され、ＶＰＵ５１２は、他のコンテキストデバイスから集められた画像をゲート機構５５２を通して伝送する。これは、より高い品質の画像（例えば、取り外し可能カメラ５３０を通して捕捉された）がモバイルプラットフォーム５５０に伝送されることをもたらし得る。

さらに別の実施形態では、取り外し可能カメラ５３０を通して捕捉された画像のみが、常に、モバイルプラットフォーム５５０に伝送される。言い換えると、ゲート５５２は、決して「開放」されない。図１０Ａおよび１０Ｂを参照すると、取り外し可能カメラ５３０が検出されている場合、カメラ記憶モジュール５１０は、直接、画像および／またはビデオをモバイルプラットフォーム５５０に伝送するが、図１０Ｂに示されるように、取り外し可能カメラ５３０が検出されるときでも、ゲートは、「開放」されず、コンテキスト提供デバイスを通して捕捉された幾何学形状情報のみが、モバイルプラットフォーム５５０に伝送される。図１０Ｂでは、取り外し可能カメラ５２０が検出されている場合、画像は、カメラ記憶モジュール５１０を通して、直接、モバイルプラットフォーム５５０に転送される。言い換えると、ＶＰＵ５１２は、幾何学情報をモバイルプラットフォーム５５０に提供することのみに関与し、カメラ記憶モジュール５１０が、代わりに、画像がモバイルプラットフォーム５５０に転送されることを選択的に可能にする別のゲート機構（図示せず）を有する。

本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われ得、本発明の真の精神および範囲から逸脱することなく、同等物が置換され得る。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させるように、多くの修正が行われ得る。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例の各々は、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示に関連付けられる請求項の範囲内にあることを目的としている。

本発明は、主題デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含み得る。そのような提供は、エンドユーザによって行われ得る。換言すれば、「提供する」行為は、単に、エンドユーザが、主題方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で実行され得る。

本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知である、または理解され得る。一般的または論理的に採用されるような追加の行為の観点から、本発明の方法ベースの側面に関して、同じことが当てはまり得る。

加えて、本発明は、種々の特徴を随意的に組み込むいくつかの例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物（本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと）が置換され得る。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。

また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つ以上のものと組み合わせて、記載および請求され得ることが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「１つの（「ａ」、「ａｎ」）」、「該（ｓａｉｄ）」、および「ｔｈｅ（ｔｈｅ）」という単数形は、特に規定がない限り、複数形の指示参照を含む。換言すれば、冠詞の使用は、上記の説明ならびに本開示に関連付けられる請求項において、主題アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および同等物等の排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを目的としている。

そのような排他的用語を使用することなく、本開示に関連付けられる請求項での「備えている」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の追加の要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。

本発明の範疇は、提供される実施例および／または主題の明細書に限定されるものではなく、むしろ、本開示に関連付けられる請求項の言葉の範囲のみによって限定されるものである。

Claims (24)

1. 拡張現実を表示するための方法であって、前記方法は、
   空間光変調器を通して、１つ以上の仮想画像をユーザに投影することと、
   複数のセンサを通して、前記ユーザの周囲に関するデータの組を捕捉することであって、前記データの組は、画像を含む、ことと、
   処理モジュールを通して、前記複数のセンサから読み出された前記データの組を処理することであって、前記処理モジュールは、前記複数のセンサから読み出された前記データの組がモバイルプラットフォームに伝送されることを選択的に可能にするゲート機構を備えている、ことと、
   取り外し可能カメラが拡張現実ディスプレイシステムの筐体に取り付けられているかどうかを検出することと
   を含み、
   前記ゲート機構は、前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されているかどうかに少なくとも部分的に基づいて、前記複数のセンサから読み出された前記データの組が前記モバイルプラットフォームに伝送されることを選択的に可能にする、方法。
2. 前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されている場合、前記ゲート機構が、前記データの組が前記モバイルプラットフォームまで通ることを可能にすることをさらに含む、請求項１に記載の方法。
3. 前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されていない場合、前記ゲート機構が、前記データの組の一部のみが前記モバイルプラットフォームまで通ることを可能にすることをさらに含む、請求項１に記載の方法。
4. 前記複数のセンサから読み出された前記データの組の少なくとも一部は、画像またはビデオデータに対応している、請求項１に記載の方法。
5. ＶＰＵを通して、前記複数のセンサから読み出された前記データの組に対応する画像の組から幾何学情報を抽出することをさらに含む、請求項１に記載の方法。
6. 前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されていない場合、前記ゲート機構が、前記幾何学情報が前記モバイルプラットフォームまで通ることを可能にすることをさらに含む、請求項５に記載の方法。
7. 前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されている場合、前記ゲート機構が、前記幾何学情報と前記取り外し可能カメラが前記拡張現実ディスプレイシステムに取り付けられていることが検出されているときに捕捉された前記画像の組とが、前記モバイルプラットフォームまで通ることを可能にすることをさらに含む、請求項５に記載の方法。
8. 前記幾何学情報は、前記画像の組に関する姿勢情報に対応している、請求項５に記載の方法。
9. 前記幾何学情報は、前記画像の組に関する２Ｄポイントまたは３Ｄポイントに対応している、請求項５に記載の方法。
10. 前記幾何学情報は、前記画像の組に関する深度情報に対応している、請求項５に記載の方法。
11. 前記幾何学情報をマップデータベースに伝送することをさらに含み、前記マップデータベースは、仮想コンテンツが世界の実オブジェクトと関連して前記ユーザに表示されるように、前記世界の前記実オブジェクトの座標情報を備えている、請求項５に記載の方法。
12. 前記ＶＰＵは、前記複数のセンサを通して捕捉された画像を記憶するための画像記憶モジュールを備えている、請求項５に記載の方法。
13. 前記ＶＰＵは、前記複数のセンサを通して捕捉された画像に関する前記幾何学情報を記憶するための幾何学形状記憶モジュールを備えている、請求項５に記載の方法。
14. 前記ゲート機構が、前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されていない場合でも、幾何学情報が前記モバイルプラットフォームまで通されることを可能にすることをさらに含む、請求項５に記載の方法。
15. 前記取り外し可能カメラを通して捕捉された画像をカメラ記憶モジュール内に記憶することをさらに含む、請求項１に記載の方法。
16. 前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されていない場合、前記カメラ記憶モジュールは、前記画像をモバイルプラットフォームに伝送しない、請求項１５に記載の方法。
17. 前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることが検出されている場合、前記カメラ記憶モジュールが、前記取り外し可能カメラが前記モバイルプラットフォームに取り付けられていることが検出されている間に捕捉された画像を伝送することをさらに含む、請求項１５に記載の方法。
18. 前記取り外し可能カメラは、前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられていることを信号伝達するインジケータを備えている、請求項１に記載の方法。
19. 前記インジケータは、前記取り外し可能カメラが前記拡張現実ディスプレイシステムの前記筐体に取り付けられている場合にオンにされるライトを備えている、請求項１８に記載の方法。
20. 前記インジケータは、前記取り外し可能カメラのレンズを物理的に開放または遮断するシャッタを備えている、請求項１８に記載の方法。
21. 前記取り外し可能カメラを前記拡張現実ディスプレイシステムの前記筐体に電気的に取り付けることをさらに含む、請求項１に記載の方法。
22. 前記取り外し可能カメラを前記拡張現実ディスプレイシステムの前記筐体に機械的に取り付けることをさらに含む、請求項１に記載の方法。
23. 前記取り外し可能カメラが前記取り外し可能カメラに取り付けられているときに回路を完成する電気接点に少なくとも部分的に基づいて、前記取り外し可能カメラを検出することをさらに含む、請求項１に記載の方法。
24. 請求項１〜２３のいずれか一項に記載の方法を実装する手段を備えたシステム。