JP7359941B2 - 仮想現実および拡張現実のためのシステムおよび方法 - Google Patents

Description

本発明は、接続されたモバイルコンピューティングシステム、方法、および構成に関し、より具体的には、仮想現実動作および／または拡張現実動作のために利用され得る、少なくとも１つのウェアラブルコンポーネントを特徴とする、モバイルコンピューティングシステム、方法、および構成に関する。

複合現実または拡張現実接眼ディスプレイが、軽量、低コストであり、小形状因子を有し、広仮想画像視野を有し、可能な限り透過性であることが望ましい。加えて、輻輳・開散運動と遠近調節との不整合に関する容認可能な許容差を超過することなく、多種多様な使用事例のために実践的であるために、（例えば、２つまたはそれを上回る）複数の焦点面内に仮想画像情報を提示する構成を有することが、望ましい。図１を参照すると、頭部装着型視認コンポーネント（２）、ハンドヘルド式のコントローラコンポーネント（４）、およびユーザ上にベルトパックまたは同等物として装着されるように構成され得る、相互接続された補助コンピューティングまたはコントローラコンポーネント（６）を特徴とする、拡張現実システムが、図示される。これらのコンポーネントはそれぞれ、ＩＥＥＥ ８０２．１１、Ｂｌｕｅｔｏｏｒｈ（ＲＴＭ）、および他のコネクティビティ規格および構成によって規定されるもの等、有線または無線通信構成を介して、相互に、かつクラウドコンピューティングまたはクラウドストレージリソース等の他の接続されたリソース（８）に動作可能に結合され（１０、１２、１４、１６、１７、１８）得る。拡張現実体験のために、それを通してユーザが、関連付けられるシステムコンポーネントによって生産され得る視覚コンポーネントに加えて、その周辺の世界が見え得る、２つの描写される光学要素（２０）の種々の実施形態等、そのようなコンポーネントの種々の側面が、説明される。図１に図示されるように、そのようなシステムはまた、限定ではないが、（モノクロ、カラー／ＲＧＢ、赤外線、および／または熱的等の）種々のカメラタイプセンサおよび／またはエミッタ（２２、２４、２６）、深度カメラセンサ（２８）、および／またはマイクロホン等の音センサ（３０）を含む、ユーザの周囲の環境に関する情報を提供するように構成される、種々のセンサを備えてもよい。ユーザに、限定ではないが、現代の企業の作業環境世界の多くの構成の側面等、自然世界のある側面に関する体験を含む、豊かな拡張現実体験の知覚を提供するために利用され得る、本明細書に説明されるもの等の小型かつ持続的に接続されたウェアラブルコンピューティングシステムおよびアセンブリの必要性が、存在する。

実施形態は、接続されたモバイルコンピューティングシステム、方法、および構成を対象とする。特に、実施形態は、仮想現実動作および／または拡張現実動作のために利用され得る、少なくとも１つのウェアラブルコンポーネントを特徴とする、モバイルコンピューティングシステム、方法、および構成を対象とする。

一実施形態では、第１および第２のユーザの間の通信を促進する、コンピュータ実装方法は、第１の頭部装着型デバイスによって、第１の頭部装着型デバイスを装着する第１のユーザに、第１の仮想オブジェクトを表示することを含む。本方法はまた、第２の頭部装着型デバイスによって、第２の頭部装着型デバイスを装着する第２のユーザに、第２の仮想オブジェクトを表示することを含む。本方法はさらに、第１および第２の頭部装着型デバイスによって、第１および第２の仮想オブジェクトを使用して第１および第２のユーザの間の通信を促進し、共通環境内に存在する第１および第２のユーザをシミュレートすることを含む。

１つまたはそれを上回る実施形態では、第１の仮想オブジェクトは、第２のユーザのアバタである。第２の仮想オブジェクトは、第１のユーザのアバタであってもよい。本方法は、第１のプロセッサによって、第２の仮想オブジェクトを第２の頭部装着型デバイスに送信することを含んでもよい。本方法は、第２のプロセッサによって、第１の仮想オブジェクトを第１の頭部装着型デバイスに送信することを含んでもよい。

別の実施形態では、仮想体験を共有する、コンピュータ実装方法は、第１の頭部装着型デバイスによって、第１の頭部装着型デバイスを装着する第１のユーザに、仮想オブジェクトを表示することを含む。本方法はまた、第２の頭部装着型デバイスによって、第２の頭部装着型デバイスを装着する第２のユーザに、仮想オブジェクトを表示することを含む。本方法はさらに、第１および第２の頭部装着型デバイスによって、仮想オブジェクトに関連する、第１のユーザと第２のユーザとの間の通信を促進することを含む。

１つまたはそれを上回る実施形態では、第１のユーザは、第１の地理的位置に位置し、第２のユーザは、第１の地理的位置と異なる、第２の地理的位置に位置する。本方法は、第１のユーザによって、仮想オブジェクトを修正することを含んでもよい。本方法は、第２のユーザによって、仮想オブジェクトを修正することを含んでもよい。本方法は、第１および第２の頭部装着型デバイスによって、第１および第２の頭部装着型デバイスの間の仮想オブジェクトに対する修正を通信することを含んでもよい。第１および第２の頭部装着型デバイスは、ネットワークによって通信可能に結合されてもよい。

１つまたはそれを上回る実施形態では、本方法は、第１のユーザによって、第１の頭部装着型デバイスに動作可能に結合される第１のユーザインターフェースデバイスを介して、仮想オブジェクトに関連する入力を提供することを含む。第１のユーザインターフェースデバイスは、触知インターフェースデバイスと、キーボードと、マウスと、ジョイスティックと、モーションキャプチャコントローラと、光学追跡デバイスと、オーディオ入力デバイスとから成る群から選択されてもよい。本方法は、第２のユーザによって、第２の頭部装着型デバイスに動作可能に結合される第２のユーザインターフェースデバイスを介して、仮想オブジェクトに関連する入力を提供することを含んでもよい。第２のユーザインターフェースデバイスは、触知インターフェースデバイスと、キーボードと、マウスと、ジョイスティックと、モーションキャプチャコントローラと、光学追跡デバイスと、オーディオ入力デバイスとから成る群から選択されてもよい。

１つまたはそれを上回る実施形態では、本方法は、第１および第２の頭部装着型デバイスに動作可能に結合されるセンサによって、仮想オブジェクトに関連する入力を提供することを含む。センサは、カメラと、光学検出デバイスとから成る群から選択されてもよい。センサは、外向きに向いていてもよい。センサは、ユーザに向かって内向きに向いていてもよい。本方法はまた、センサによって、赤外線構造化光を投影することを含んでもよい。入力は、ユーザに関連する瞳孔サイズと、瞳孔位置と、瞳孔角度と、眼の真球度と、眼の形状と、フィギュアモーション（ｆｉｇｕｒｅ ｍｏｔｉｏｎ）と、解剖学的データとから成る群から選択されてもよい。本方法は、プロセッサによって、入力を使用してユーザの視覚焦点を決定することを含んでもよい。本方法は、プロセッサによって、入力を使用してユーザの環境の一部をマップすることを含んでもよい。

１つまたはそれを上回る実施形態では、本方法は、第１および第２の頭部装着型デバイスに動作可能に結合される環境センサによって、地理的な場所に関連する環境入力を提供することを含む。環境センサは、カメラと、光学検出デバイスと、モーションキャプチャデバイスと、深度測定デバイスと、顔認識デバイスと、オブジェクト認識デバイスと、オーディオ認識デバイスと、ＣＭＯＳセンサと、視野センサと、光学増強センサとから成る群から選択されてもよい。環境入力は、モーションキャプチャデータと、ジェスチャ認識データと、深度感知データと、顔認識データと、オブジェクト認識データと、一意オブジェクト特徴認識データと、オーディオ認識データと、音声認識データと、音響源位置特定データと、ノイズ低減データと、赤外光データと、レーザ光データと、ＣＭＯＳセンサデータと、視野データと、光学増強データとから成る群から選択されてもよい。

１つまたはそれを上回る実施形態では、仮想オブジェクトは、コンピュータ支援設計ファイルに対応する。仮想オブジェクトは、建設物情報モデリングシステム構成に対応してもよい。仮想オブジェクトは、建設物であってもよく、第１および第２の頭部装着型デバイスは、それぞれ、第１および第２のユーザに建設物の仮想ツアーを表示するように構成されてもよい。仮想オブジェクトは、製造されるオブジェクトの３次元図面であってもよい。製造されるオブジェクトは、自動車のコンポーネントであってもよい。

１つまたはそれを上回る実施形態では、仮想オブジェクトは、教育体験に関連する。仮想オブジェクトは、実験室オブジェクトと、ライブラリからのオブジェクトと、３次元ビデオと、科学モデルと、自然現象とから成る群から選択されてもよい。第１および第２の頭部装着型デバイスは、第１および第２のユーザの間の１対１の教育体験を促進するように構成されてもよい。第１および第２の頭部装着型デバイスは、一対多の教育体験を促進するように構成されてもよい。

さらに別の実施形態では、実世界体験を共有する、コンピュータ実装方法は、第１の頭部装着型デバイスによって、第１の頭部装着型デバイスを装着する第１のユーザの環境内の実世界オブジェクトの画像を捕捉することを含む。本方法はまた、プロセッサによって、実世界オブジェクトの画像に基づいて、仮想オブジェクトを発生させることを含む。本方法はさらに、第２の頭部装着型デバイスによって、第２の頭部装着型デバイスを装着する第２のユーザに、仮想オブジェクトを表示することを含む。また、本方法は、第１および第２の頭部装着型デバイスによって、実世界オブジェクトに関連する、第１のユーザと第２のユーザとの間の通信を促進することを含む。

１つまたはそれを上回る実施形態では、第１のユーザは、第１の地理的位置に位置し、第２のユーザは、第１の地理的位置と異なる、第２の地理的位置に位置する。仮想オブジェクトは、実世界オブジェクトに対応してもよい。本方法はまた、プロセッサによって、実世界の画像に基づいて、メッシュまたは点群を発生させることを含む。第２の頭部装着型デバイスは、第２のユーザが仮想オブジェクトを修正することを可能にするように構成されてもよい。第１の頭部装着型デバイスは、第２のユーザが仮想オブジェクトを修正することに基づいて、第１のユーザに第１の仮想オブジェクトを表示するように構成されてもよい。第１および第２の頭部装着型デバイスは、第１および第２の頭部装着型デバイスの間の仮想オブジェクトに修正を通信するように構成されてもよい。第１および第２の頭部装着型デバイスは、ネットワークによって通信可能に結合されてもよい。

１つまたはそれを上回る実施形態では、第１および第２の頭部装着型デバイスおよびプロセッサは、第１のユーザに対する実世界オブジェクトのビューと実質的に同一である、仮想オブジェクトのビューを第２のユーザに表示するように構成される。第２のユーザは、実世界オブジェクトに関連する専門知識を有してもよい。第２のユーザは、実世界オブジェクトについての情報へのアクセスを有してもよい。

１つまたはそれを上回る実施形態では、本方法は、第１の頭部装着型デバイスによって、実世界オブジェクトのテクスチャを感知することを含む。本方法はまた、プロセッサによって、実世界オブジェクトのテクスチャに基づいて、仮想オブジェクトのテクスチャを発生させることを含んでもよい。本方法はさらに、第２の頭部装着型デバイスによって、第２のユーザに仮想オブジェクトのテクスチャを表示することを含んでもよい。

１つまたはそれを上回る実施形態では、本方法は、第１の頭部装着型デバイスに動作可能に結合される振動センサによって、実世界オブジェクトに関連する振動を検出することを含む。本方法はまた、プロセッサによって、実世界オブジェクトに関連する振動に基づいて、仮想オブジェクトに関連する振動を発生させることを含んでもよい。本方法はさらに、第２の頭部装着型デバイスに動作可能に結合される触知インターフェースデバイスによって、第２のユーザに仮想オブジェクトに関連する振動を提供することを含んでもよい。

１つまたはそれを上回る実施形態では、本方法は、第１の頭部装着型デバイスに動作可能に結合される嗅覚センサによって、実世界オブジェクトに関連する匂いを検出することを含む。本方法はまた、プロセッサによって、実世界オブジェクトに関連する匂いに基づいて、仮想オブジェクトに関連する匂いを発生させることを含んでもよい。本方法はさらに、第２の頭部装着型デバイスに動作可能に結合される嗅覚インターフェースデバイスによって、第２のユーザに仮想オブジェクトに関連する匂いを提供することを含んでもよい。

１つまたはそれを上回る実施形態では、実世界オブジェクトおよび仮想オブジェクトは両方とも、第１の地理的な場所における医療手技に関連する。仮想オブジェクトに関連する、第１および第２のユーザの間の通信は、第１のユーザによる医療手技の実施を促進してもよい。医療手技は、外科手術手技と、患者の診断と、現場医療手技とから成る群から選択されてもよい。

１つまたはそれを上回る実施形態では、実世界オブジェクトおよび仮想オブジェクトは両方とも、第１の地理的な場所における緊急インシデントに関連する。第２のユーザは、第１の地理的な場所についての情報へのアクセスを有してもよい。第１の地理的な場所についての情報は、地理的な場所のＣＡＤ図面と、地理的な場所におけるガスおよび電気アーキテクチャの概要と、地理的な場所におけるカメラ情報とから成る群から選択されてもよい。第２の頭部装着型デバイスは、第２のユーザを第１の地理的な場所を修正するように促進するように構成されてもよい。第１の地理的な場所は、火災が生じている建設物を備えてもよい。実世界オブジェクトに関連する、第１のユーザと第２のユーザとの間の通信は、第１のユーザまたは第２のユーザに関する眼追跡情報を含んでもよい。

１つまたはそれを上回る実施形態では、実世界オブジェクトおよび仮想オブジェクトは両方とも、第１の地理的な場所における小売取引に関連する。小売取引は、在庫品の追跡と、在庫品の管理と、販売訓練と、セキュリティシナリオの管理と、返品取引の促進と、顧客の商品選択の補助とから成る群から選択されてもよい。

１つまたはそれを上回る実施形態では、実世界オブジェクトおよび仮想オブジェクトは両方とも、エンターテインメント体験に関連する。第１および第２の頭部装着型デバイスは、没入型ニュース報道を促進するように構成されてもよい。第１および第２の頭部装着型デバイスは、第１のユーザの第１の地理的な場所からの要素を組み込む、エンターテインメントを促進するように構成されてもよい。本方法は、第１の頭部装着型デバイスによって、第１のユーザに発生される仮想オブジェクトを表示することを含んでもよく、仮想オブジェクトは、実世界オブジェクトに関してもよい。発生される仮想オブジェクトは、テキストと、オーディオ視覚クリップとから成る、群から選択されてもよい。本方法は、第１の頭部装着型デバイスによって、実世界オブジェクトを示す、第１のユーザからのユーザ入力を受信することを含んでもよい。本方法は、実世界オブジェクトを示す、第１のユーザからのユーザ入力を受信することに応答して、第１の頭部装着型デバイスに、第１のユーザに発生される仮想オブジェクトを表示することを含んでもよい。ユーザ入力は、第１の頭部装着型デバイスに動作可能に結合されるコントローラのユーザ注視と、ユーザジェスチャと、ユーザ操作とから成る群から選択されてもよい。

本発明の前述および他の実施形態が、続く詳細な説明に説明される。
本発明は、例えば、以下を提供する。
（項目１）
第１および第２のユーザの間の通信を促進するコンピュータ実装方法であって、前記方法は、
第１の頭部装着型デバイスによって、前記第１の頭部装着型デバイスを装着する前記第１のユーザに、第１の仮想オブジェクトを表示することと、
第２の頭部装着型デバイスによって、前記第２の頭部装着型デバイスを装着する前記第２のユーザに、第２の仮想オブジェクトを表示することと、
前記第１および第２の頭部装着型デバイスによって、前記第１および第２の仮想オブジェクトを使用して前記第１および第２のユーザの間の通信を促進し、共通環境内に存在する前記第１および第２のユーザをシミュレートすることと
を含む、方法。
（項目２）
前記第１の仮想オブジェクトは、前記第２のユーザのアバタである、項目１に記載の方法。
（項目３）
前記第２の仮想オブジェクトは、前記第１のユーザのアバタである、項目１に記載の方法。
（項目４）
第１のプロセッサによって、前記第２の仮想オブジェクトを前記第２の頭部装着型デバイスに送信することをさらに含む、項目１に記載の方法。
（項目５）
第２のプロセッサによって、前記第１の仮想オブジェクトを前記第１の頭部装着型デバイスに送信することをさらに含む、項目１に記載の方法。
（項目６）
仮想体験を共有するコンピュータ実装方法であって、前記方法は、
第１の頭部装着型デバイスによって、前記第１の頭部装着型デバイスを装着する第１のユーザに、仮想オブジェクトを表示することと、
第２の頭部装着型デバイスによって、前記第２の頭部装着型デバイスを装着する第２のユーザに、前記仮想オブジェクトを表示することと、
前記第１および第２の頭部装着型デバイスによって、前記仮想オブジェクトに関連する前記第１のユーザと第２のユーザとの間の通信を促進することと
を含む、方法。
（項目７）
前記第１のユーザは、第１の地理的位置に位置し、
前記第２のユーザは、前記第１の地理的位置と異なる第２の地理的位置に位置する、項目６に記載の方法。
（項目８）
前記第１のユーザによって、前記仮想オブジェクトを修正することをさらに含む、項目７に記載の方法。
（項目９）
前記第２のユーザによって、前記仮想オブジェクトを修正することをさらに含む、項目７に記載の方法。
（項目１０）
前記第１および第２の頭部装着型デバイスによって、前記第１および第２の頭部装着型デバイスの間の前記仮想オブジェクトに対する修正を通信することをさらに含む、項目７に記載の方法。
（項目１１）
前記第１および第２の頭部装着型デバイスは、ネットワークによって通信可能に結合される、項目７に記載の方法。
（項目１２）
前記第１のユーザによって、前記第１の頭部装着型デバイスに動作可能に結合される第１のユーザインターフェースデバイスを介して、前記仮想オブジェクトに関連する入力を提供することをさらに含む、項目７に記載の方法。
（項目１３）
前記第１のユーザインターフェースデバイスは、触知インターフェースデバイスと、キーボードと、マウスと、ジョイスティックと、モーションキャプチャコントローラと、光学追跡デバイスと、オーディオ入力デバイスとから成る群から選択される、項目１２に記載の方法。
（項目１４）
前記第２のユーザによって、前記第２の頭部装着型デバイスに動作可能に結合される第２のユーザインターフェースデバイスを介して、前記仮想オブジェクトに関連する入力を提供することをさらに含む、項目７に記載の方法。
（項目１５）
前記第２のユーザインターフェースデバイスは、触知インターフェースデバイスと、キーボードと、マウスと、ジョイスティックと、モーションキャプチャコントローラと、光学追跡デバイスと、オーディオ入力デバイスとから成る群から選択される、項目１４に記載の方法。
（項目１６）
前記第１および第２の頭部装着型デバイスに動作可能に結合されるセンサによって、前記仮想オブジェクトに関連する入力を提供することをさらに含む、項目７に記載の方法。
（項目１７）
前記センサは、カメラと、光学検出デバイスとから成る群から選択される、項目１６に記載の方法。
（項目１８）
前記センサは、外向きに向いている、項目１６に記載の方法。
（項目１９）
前記センサは、ユーザに向かって内向きに向いている、項目１６に記載の方法。
（項目２０）
前記センサによって、赤外線構造化光を投影することをさらに含む、項目１６に記載の方法。
（項目２１）
前記入力は、ユーザに関連する瞳孔サイズと、瞳孔位置と、瞳孔角度と、眼の真球度と、眼の形状と、フィギュアモーションと、解剖学的データとから成る群から選択される、項目１６に記載の方法。
（項目２２）
プロセッサによって、前記入力を使用してユーザの視覚焦点を決定することをさらに含む、項目１６に記載の方法。
（項目２３）
プロセッサによって、前記入力を使用してユーザの環境の一部をマップすることをさらに含む、項目１６に記載の方法。
（項目２４）
前記第１および第２の頭部装着型デバイスに動作可能に結合される環境センサによって、地理的な場所に関連する環境入力を提供することをさらに含む、項目７に記載の方法。
（項目２５）
前記環境センサは、カメラと、光学検出デバイスと、モーションキャプチャデバイスと、深度測定デバイスと、顔認識デバイスと、オブジェクト認識デバイスと、オーディオ認識デバイスと、ＣＭＯＳセンサと、視野センサと、光学増強センサとから成る群から選択される、項目２４に記載の方法。
（項目２６）
前記環境入力は、モーションキャプチャデータと、ジェスチャ認識データと、深度感知データと、顔認識データと、オブジェクト認識データと、一意オブジェクト特徴認識データと、オーディオ認識データと、音声認識データと、音響源位置特定データと、ノイズ低減データと、赤外光データと、レーザ光データと、ＣＭＯＳセンサデータと、視野データと、光学増強データとから成る群から選択される、項目２４に記載の方法。
（項目２７）
前記仮想オブジェクトは、コンピュータ支援設計ファイルに対応する、項目７に記載の方法。
（項目２８）
前記仮想オブジェクトは、建設物情報モデリングシステム構成に対応する、項目７に記載の方法。
（項目２９）
前記仮想オブジェクトは、建設物であり、
前記第１および第２の頭部装着型デバイスは、それぞれ、前記第１および第２のユーザに前記建設物の仮想ツアーを表示するように構成される、項目７に記載の方法。
（項目３０）
前記仮想オブジェクトは、製造されるオブジェクトの３次元図面である、項目７に記載の方法。
（項目３１）
前記製造されるオブジェクトは、自動車のコンポーネントである、項目３０に記載の方法。
（項目３２）
前記仮想オブジェクトは、教育体験に関連する、項目７に記載の方法。
（項目３３）
前記仮想オブジェクトは、実験室オブジェクトと、ライブラリからのオブジェクトと、３次元ビデオと、科学モデルと、自然現象とから成る群から選択される、項目３２に記載の方法。
（項目３４）
前記第１および第２の頭部装着型デバイスは、前記第１および第２のユーザの間の１対１の教育体験を促進するように構成される、項目３２に記載の方法。
（項目３５）
前記第１および第２の頭部装着型デバイスは、一対多の教育体験を促進するように構成される、項目３２に記載の方法。
（項目３６）
実世界体験を共有するコンピュータ実装方法であって、前記方法は、
第１の頭部装着型デバイスによって、前記第１の頭部装着型デバイスを装着する第１のユーザの環境内の実世界オブジェクトの画像を捕捉することと、
プロセッサによって、前記実世界オブジェクトの画像に基づいて、仮想オブジェクトを発生させることと、
第２の頭部装着型デバイスによって、前記第２の頭部装着型デバイスを装着する第２のユーザに、前記仮想オブジェクトを表示することと、
前記第１および第２の頭部装着型デバイスによって、前記実世界オブジェクトに関連する前記第１のユーザと第２のユーザとの間の通信を促進することと
を含む、方法。
（項目３７）
前記第１のユーザは、第１の地理的位置に位置し、
前記第２のユーザは、前記第１の地理的位置と異なる第２の地理的位置に位置する、項目３６に記載の方法。
（項目３８）
前記仮想オブジェクトは、前記実世界オブジェクトに対応する、項目３６に記載の方法。
（項目３９）
前記プロセッサによって、前記実世界の画像に基づいて、メッシュまたは点群を発生させることをさらに含む、項目３６に記載の方法。
（項目４０）
前記第２の頭部装着型デバイスは、前記第２のユーザが前記仮想オブジェクトを修正することを可能にするように構成される、項目３６に記載の方法。
（項目４１）
前記第１の頭部装着型デバイスは、前記第２のユーザが前記仮想オブジェクトを修正することに基づいて、前記第１のユーザに第１の仮想オブジェクトを表示するように構成される、項目４０に記載の方法。
（項目４２）
前記第１および第２の頭部装着型デバイスは、前記第１および第２の頭部装着型デバイスの間の前記仮想オブジェクトに修正を通信するように構成される、項目３６に記載の方法。
（項目４３）
前記第１および第２の頭部装着型デバイスは、ネットワークによって通信可能に結合される、項目３６に記載の方法。
（項目４４）
前記第１および第２の頭部装着型デバイスおよび前記プロセッサは、前記第１のユーザに対する前記実世界オブジェクトのビューと実質的に同一である前記仮想オブジェクトのビューを前記第２のユーザに表示するように構成される、項目３６に記載の方法。
（項目４５）
前記第２のユーザは、前記実世界オブジェクトに関連する専門知識を有する、項目３６に記載の方法。
（項目４６）
前記第２のユーザは、前記実世界オブジェクトについての情報へのアクセスを有する、項目３６に記載の方法。
（項目４７）
前記第１の頭部装着型デバイスによって、前記実世界オブジェクトのテクスチャを感知することと、
前記プロセッサによって、前記実世界オブジェクトのテクスチャに基づいて、前記仮想オブジェクトのテクスチャを発生させることと、
前記第２の頭部装着型デバイスによって、前記第２のユーザに前記仮想オブジェクトのテクスチャを表示することと
をさらに含む、項目３６に記載の方法。
（項目４８）
前記第１の頭部装着型デバイスに動作可能に結合される振動センサによって、前記実世界オブジェクトに関連する振動を検出することと、
前記プロセッサによって、前記実世界オブジェクトに関連する前記振動に基づいて、前記仮想オブジェクトに関連する振動を発生させることと、
前記第２の頭部装着型デバイスに動作可能に結合される触知インターフェースデバイスによって、前記第２のユーザに前記仮想オブジェクトに関連する前記振動を提供することと
をさらに含む、項目３６に記載の方法。
（項目４９）
前記第１の頭部装着型デバイスに動作可能に結合される嗅覚センサによって、前記実世界オブジェクトに関連する匂いを検出することと、
前記プロセッサによって、前記実世界オブジェクトに関連する前記匂いに基づいて、前記仮想オブジェクトに関連する匂いを発生させることと、
前記第２の頭部装着型デバイスに動作可能に結合される嗅覚インターフェースデバイスによって、前記第２のユーザに前記仮想オブジェクトに関連する前記匂いを提供することと
をさらに含む、項目３６に記載の方法。
（項目５０）
前記実世界オブジェクトおよび前記仮想オブジェクトは両方とも、前記第１の地理的な場所における医療手技に関連する、項目３７に記載の方法。
（項目５１）
前記仮想オブジェクトに関連する前記第１および第２のユーザの間の前記通信は、前記第１のユーザによる前記医療手技の実施を促進する、項目５０に記載の方法。
（項目５２）
前記医療手技は、外科手術手技と、患者の診断と、現場医療手技とから成る群から選択される、項目５０に記載の方法。
（項目５３）
前記実世界オブジェクトおよび前記仮想オブジェクトは両方とも、前記第１の地理的な場所における緊急インシデントに関連する、項目３７に記載の方法。
（項目５４）
前記第２のユーザは、前記第１の地理的な場所についての情報へのアクセスを有する、項目５３に記載の方法。
（項目５５）
前記第１の地理的な場所についての前記情報は、前記地理的な場所のＣＡＤ図面と、前記地理的な場所におけるガスおよび電気アーキテクチャの概要と、前記地理的な場所におけるカメラ情報とから成る群から選択される、項目５４に記載の方法。
（項目５６）
前記第２の頭部装着型デバイスは、前記第２のユーザを前記第１の地理的な場所を修正するように促進するように構成される、項目５３に記載の方法。
（項目５７）
前記第１の地理的な場所は、火災が生じている建設物を備える、項目５３に記載の方法。
（項目５８）
前記実世界オブジェクトに関連する前記第１のユーザと第２のユーザとの間の前記通信は、前記第１のユーザまたは前記第２のユーザに関する眼追跡情報を含む、項目５３に記載の方法。
（項目５９）
前記実世界オブジェクトおよび前記仮想オブジェクトは両方とも、前記第１の地理的な場所における小売取引に関連する、項目３７に記載の方法。
（項目６０）
前記小売取引は、在庫品の追跡と、在庫品の管理と、販売訓練と、セキュリティシナリオの管理と、返品取引の促進と、顧客の商品選択の補助とから成る群から選択される、項目５９に記載の方法。
（項目６１）
前記実世界オブジェクトおよび前記仮想オブジェクトは両方とも、エンターテインメント体験に関連する、項目３７に記載の方法。
（項目６２）
前記第１および第２の頭部装着型デバイスは、没入型ニュース報道を促進するように構成される、項目６１に記載の方法。
（項目６３）
前記第１および第２の頭部装着型デバイスは、前記第１のユーザの第１の地理的な場所からの要素を組み込むエンターテインメントを促進するように構成される、項目６１に記載の方法。
（項目６４）
前記第１の頭部装着型デバイスによって、前記第１のユーザに発生される仮想オブジェクトを表示することをさらに含み、
前記仮想オブジェクトは、前記実世界オブジェクトに関する、項目６１に記載の方法。
（項目６５）
前記発生される仮想オブジェクトは、テキストと、オーディオ視覚クリップとから成る群から選択される、項目６４に記載の方法。
（項目６６）
前記第１の頭部装着型デバイスによって、前記実世界オブジェクトを示す前記第１のユーザからのユーザ入力を受信することと、
前記実世界オブジェクトを示す前記第１のユーザからの前記ユーザ入力を受信することに応答して、前記第１の頭部装着型デバイスに、前記第１のユーザに前記発生される仮想オブジェクトを表示することと
をさらに含む、項目６４に記載の方法。
（項目６７）
前記ユーザ入力は、前記第１の頭部装着型デバイスに動作可能に結合されるコントローラのユーザ注視と、ユーザジェスチャと、ユーザ操作とから成る群から選択される、項目６６に記載の方法。

実施形態の前述および他の側面が、異なる図内の同一の要素が、共通の参照番号によって参照される、付随の図面を参照してさらに詳細に説明される。

図１は、いくつかの実施形態による、拡張現実システムを図式的に描写する。

図２は、いくつかの実施形態による、複数のユーザが仮想オブジェクト／画像を協働して視認および／または操作することを可能にする、空間コンピューティングシステムを図式的に描写する。

図３は、いくつかの実施形態による、遠隔ユーザがローカルユーザと協働することを可能にする、空間コンピューティングシステムを図式的に描写する。

図４は、いくつかの実施形態による、例証的コンピューティングシステムを図式的に描写する、ブロック図である。

種々の実施形態の上記に列挙される、および他の利点および目的を取得する方法をより明瞭に理解するために、実施形態のより詳細な説明が、付随の図面を参照して提供される。図面が、縮尺通りに描かれていないこと、および類似構造または機能の要素が、全体を通して同様の参照番号によって表されることに留意されたい。これらの図面が、ある例証される実施形態のみを描写し、したがって、実施形態の範囲の限定と見なされるべきではないことを理解されたい。

例証される実施形態の詳細な説明
種々の実施形態では、ユーザは、「空間コンピューティング」システムとも称され得る、図１に描写されるもの等の拡張現実システムを、そのようなシステムの動作されるときのユーザの周囲の３次元世界との相互作用に関連して、装着していてもよい（３２）。そのようなシステムは、例えば、頭部装着可能ディスプレイコンポーネント（２）を備えてもよく、ユーザの周囲の環境をマップする、またはそのような環境に関する「メッシュ」または「点群」を生成するように構成され得る、種々のタイプのカメラ等の、上記に説明されるような環境感知能力を特徴としてもよい。限定ではないが、拡張現実（ＡＲ）、仮想現実（ＶＲ）、および／または複合現実（ＭＲ）表示機能性を提供するシステムを含む、空間コンピューティングシステムが、種々のアクティビティを促進するために採用されてもよい。例えば、空間コンピューティングシステムは、相互から地理的に遠隔であり得る個人を含む、複数の個人の相互作用を伴うアクティビティのための、通信および協働の効率を改良することができる。

実施形態は、種々のタイプの事業アクティビティを伴う、異なる産業等の分野を含む、種々の分野内の（例えば、個人間の）アクティビティを促進するための、空間コンピューティングシステムの使用を提供する。そのような分野は、限定ではないが、以下のもの、すなわち、建築、土木建築（ＡＥＣ）、製造、自動車、医療、金融サービス、小売、メディア／エンターテインメント／スポーツ、エネルギーおよび公共事業、教育、一般事業、旅行／観光／ホスピタリティ、代理業（例えば、開発会社）、政府、非営利組織、および／または電気通信のうちの１つまたはそれを上回るものを含むことができる。例えば、実施形態は、例えば、都市を横断して握手し、時間帯を横断してチームを訓練し、人々が事業を行う方法を新たに考案すること等、障壁を伴わない事業を提供する。例えば、建築図面を実現化することから、生産および履行動作を変革することまで、実施形態は、それを通して空間コンピューティングが異なるタイプの作業に大変革を起こし得る技法を提供する。
建築、エンジニアリング、および建設における実施例：

設計と建設との間のギャップを詰める。空間コンピューティングシステムは、コンピュータ支援設計ファイル（「ＣＡＤ」）と、建設物情報である、建設物情報モデリングシステム構成（「ＢＩＭ」）とを実現化することができ、そのため、個人が、３Ｄ環境内でスケッチを共有する、協働して設計を微調整する、および／または建設される前に建設物の仮想ツアーを与えることができる。言い換えると、種々の実施形態では、図１に図示されるもの等のシステムを伴う１人またはそれを上回るユーザは、建設物の建築、計画、インフラストラクチャ、ビューシミュレーション、および同等物のある側面を協働して視認し得る。例えば、一実施形態では、図１に図示されるもの等のシステムを装着する建築家が、フィジーを拠点とし、また、図１に図示されるもの等のシステムを着用する投資家のために、提案された新しい建設プロジェクトのシミュレートされた双方向ライブツアーを行い得、２人のユーザは、インターネットコネクティビティ、ストレージ、および算出リソース等のクラウドリソース（８）によって接続される。
健康およびフィットネスにおける実施例：

空間コンピューティングシステムは、組織および個人が、デジタル医療の将来を追究することを可能にすることができる。次世代の専門家のための新しい訓練機会を発見し、健康状態を再定義することに役立つ。個人（例えば、外科医）が複雑な情報および３Ｄ画像を分析する方法を増強させる。例えば、種々の実施形態では、図１に図示されるもの等のシステムの第１のユーザが、類似システムの別のユーザと協働し得、そのそれぞれは、第２のユーザが、第１のユーザの肩越しに見ているように、第２のユーザが、第１のユーザのアクティビティを可視化することが可能となり得るように（さらにより優れたこととして、第２のユーザが、文字通りに、第１のユーザと同一のビューを有し得、同様にオーディオを共有し得、第１のユーザと内密かつセキュアに通信し得るように）、クラウドリソース（８）を介して「専門家オンボード」または「同僚オンボード」タイプの構成に接続され得る。一実施形態では、専門外科医は、「専門家オンボード」を使用して、戦時傷害シナリオにおいてより経験を積んだ現場医療者を補助するために仮想的に「呼び出され」得、専門外科医は、患者シナリオの診断を補助し、現場医療者に行うべきこと、検査するべきこと、ある解剖学的構造を位置特定する方法等を指示することが可能となり得る。他の実施形態では、異なるコンピューティングリソースおよび情報へのアクセスを伴う遠隔の専門家が、火災および救命シナリオにおけるもののような、ローカルリソースを補助し得、そこでは、図１に図示されるもの等の接続された（８）システムを装着するローカルの消防士が、「専門化オンボード」タイプの高速ペースのシナリオを補助し得、そこでは、ローカルの専門家が、最も容易かつ効率的に遠隔の専門家によって、高速キーボードおよび大型フラットモニタを伴う大型コンピュータワークステーションを使用してアクセスされ得る接続されたコンピューティングリソースを通した、火災が生じている建設物のＣＡＤ図面へのアクセス、遠隔施錠／解錠システムへのアクセス、およびガスおよびガスおよび電気アーキテクチャの理解を有し、言い換えると、遠隔の専門家は、便宜的かつ迅速に、好ましくは、制御ステーション環境内の遠隔の専門家によってアクセスされる、これらのリソースを利用することができるが、そのような情報は、ユーザによって共有される空間コンピューティングコネクティビティを通したオーディオおよび視覚情報共有の組み合わせを通して、共有、可視化、および利用され得る。遠隔の専門家は、文字通り、「あなたの右側にある、その小さい紫色の壁の背後のガスラインです。注意してください。その白色の壁を真っすぐに通して前方にある斧を取ってください。そう、あなたが見つめているところにあるものです。隣の部屋は、おそらく、閉じ込められた人がいる場所です。テーブルの下方の床上にある、赤外線を伴うローカルのモノのインターネットカメラからの「注視」情報を見ています。」のような内容を話すことができる。
製造における実施例

空間コンピューティングシステムは、自動車産業および他の産業において、設計者にリアルタイムで生成および協働させ、生産性を強化させることによって、製造プロセスに大変革を起こすことができる。例えば、種々の実施形態では、図１に図示されるもの等の接続された（８）システムを装着する、複数のユーザが、異なる場所から、同一の部屋の中で相互に隣り合っているような様式において、協働し、相互を可視化する／聞き取ることが可能となり得る。彼らは、上記に説明されるものに類似する、「専門家オンボード」または「同僚オンボード」シナリオ内でアイデアを共有し、相互を補助し、作業することができ、彼らは、３次元図面を詳細分析および調査することができ、彼らは、エンジンまたは車アセンブリコンポーネントまたは同等物等の３次元オブジェクトの調査において相互を補助することができる。
小売における実施例：

空間コンピューティングシステムは、今日の物理的店舗を明日の没入型顧客体験に変換するために使用されることができる。異なる都市にいる仲間が在庫品を追跡および管理すること、および遠隔訓練を実行することを可能にする。例えば、種々の実施形態では、図５に図示されるもの等の接続された（８）システムを伴う、異なる場所にいるユーザは、彼らが同一の小売フロアまたは同一の在庫品倉庫にいるように、ともに協働し得、彼らは、緊急セキュリティシナリオ、訓練体験、またはあらゆる種類のものにおいて行うべきこと、適切な文書化を伴わずに顧客の小売返品を取り扱う方法、または顧客が非常に具体的なタイプの服を選択することを補助する方法等、「専門家オンボード」または「同僚オンボード」タイプの構成内で相互を補助し得、そこでは、遠隔の専門家が、その点に関するより少ない経験またはより少ない特定の知識を有し得るローカルの仲間を補助するために、システムを使用して「登場」され得る。
教育における実施例：

空間コンピューティングシステムは、（例えば、化学の）教室を没入型学習体験に変えるために使用されることができる。実験室および図書室を空間学習に統合し、協働および相互作用するための新しい方法を提供する。図１に図示されるもの等の接続されたシステムを装着する、教師および生徒は、有機化学図、火山、および関連するあらゆる対象等のオブジェクトの素晴らしい３次元ビデオに関するオーディオを可視化し、聞き取り得、彼らはまた、実際には同一の教室内に常駐していないときにも、教室を「共有」し得る。さらに、遠隔の教師は、遠隔の教師が、「専門家オンボード」タイプのシナリオにおいてローカルの生徒を補助する、「専門的教育」の新しい形態において１人の特定の生徒を静かに補助し得る。
メディアおよびエンターテインメントにおける実施例：

空間コンピューティングシステムは、空想上の語り手がその観衆と接続し、コンテンツを展開するための新しい方法を生成する、没入型ニュース報道および場所ベースのエンターテインメントを提供することができる。例えば、種々の実施形態では、図１に図示されるもの等の接続された（８）システムのユーザは、公園を通して散歩し、彼らの場所に関連する種々の事柄に関するメディア情報を受信し、注視することが可能となり得、例えば、ユ－ザが、特定の花を注視し、そのシステムを、その花の近くで顔の正面において「サムアップ」ジスチャを提示する場合、付加的メディアを提供するように（または、例えば、ハンドヘルド式コントローラ４と関連付けられる選択デバイスのうちの１つを使用するように）構成させている場合、本システムは、ユーザの選好に従って、その花に関する可読情報、すなわち、（例えば、パターン認識によって）これが該当するタイプ、これに関して公知であること、その花の人気のある文化的使用等を提供するように構成されてもよい。実際には、ユーザは、そのような花の使用に関するいくつかのムービークリップを視聴する、または、さらに、「専門家オンボード」タイプの構成内に植物学者を「登場」させる、または、さらに、その夫に、彼女が見ている、またはそこに「存在する」ものがシミュレートされる方式で見え、彼女とそのシナリオを体験し得るように、接続された（８）システムを使用することによって、その夫をその遠隔の場所から登場させることを所望し得る。
例証的実施形態：

図２は、１つまたはそれを上回る実施形態による、図を提供する。ここで、コンピューティング環境は、複数のユーザが仮想オブジェクト／画像を協働して視認および／または操作することを可能にする。例えば、上記に記載されるように、空間コンピューティングシステムは、コンピュータ支援設計ファイル（「ＣＡＤ」）と、建設物情報である、建設物情報モデリングシステム構成（「ＢＩＭ」）とを実現化することができ、そのため、個人が、３Ｄ環境内でスケッチを共有する、協働して設計を微調整する、および／または建設される前に建設物の仮想ツアーを与えることができ、例えば、図２に示されるように、場所１におけるユーザは、場所２における別のユーザと協働してＣＡＤファイル／モデルおよび／または仮想オブジェクト／構造を視認することが可能である。視覚的表現が、空間的に編成された３Ｄおよび／または２Ｄ環境内に表示される。

図３に図示されるように、空間コンピューティングシステムは、遠隔の専門家が任意の好適な状況または用途のために「専門家オンボード」の状態になることを可能にすることができる。例えば、種々の実施形態では、図示されるもの等のシステムの１人のユーザが、そのそれぞれが、ネットワーク化されたリソースを介して接続され得、ユーザのうちの一方が、「専門家オンボード」または「同僚オンボード」である、類似システムの別のユーザと協働し得る。第２のユーザは、第１のユーザの全く同じ視点から、または第２のユーザが、第１のユーザの肩越しに見ているように、第１のユーザのアクティビティを可視化することが可能となり得る。他の形態の媒体、例えば、オーディオ、テクスチャ、振動、匂い等もまた、本システム／デバイス内に実装される特定のタイプのセンサおよび／またはインターフェースに応じて、共有され得る。

図２および３の環境１００は、本明細書に説明される種々のプロセスを実装するための物理的環境およびシステムを表す。環境１００の代表的な物理的環境およびシステムは、ユーザ１０８によって、頭部搭載型システム１６０を通して視認されるような、ユーザの物理的環境を含む。環境１００の代表的なシステムはさらに、ネットワーク１２０に動作可能に結合されるシステムを介して２Ｄコンテンツにアクセスすることを含む。ネットワーク１２０は、インターネット、内部ネットワーク、私設クラウドネットワーク、公共クラウドネットワーク等であってもよい。本システムはまた、ネットワーク１２０を介してプロセッサ１７０に動作可能に結合される。プロセッサ１７０は、頭部搭載型システム１６０と別個の隔離されたコンポーネントとして示されているが、代替実施形態では、プロセッサ１７０は、頭部搭載型システム１６０の１つまたはそれを上回るコンポーネントと統合されてもよい、および／または、例えば、コンピューティングネットワーク１２５および記憶デバイス１３０にアクセスするためのネットワーク１２０等、環境１００内の他のシステムコンポーネントの中に統合されてもよい。プロセッサ１７０は、頭部搭載型システム１６０、ローカル記憶デバイス１４０、コンピューティングネットワーク１２５、および記憶デバイス１３０から受信されるビデオ、オーディオ、およびコンテンツ等の情報を受信および処理するためのソフトウェアを伴って構成されてもよい。ソフトウェアは、ネットワーク１２０を介してコンピューティングネットワーク１２５および記憶デバイス１３０と通信してもよい。ソフトウェアは、プロセッサ１７０上にインストールされてもよい、または、別の実施形態では、ソフトウェアの特徴および機能性が、プロセッサ１７０の中に統合されてもよい。プロセッサ１７０はまた、ユーザ１０８の近傍から外部記憶デバイス上に遠隔で記憶される情報に依拠することなく、プロセッサ１７０によって迅速なアクセスのために使用される情報を記憶するために、ローカル記憶デバイス１４０を伴って構成されてもよい。他の実施形態では、プロセッサ１７０は、頭部搭載型システム１６０内に統合されてもよい。

ユーザの物理的環境は、ユーザがあちこちに移動し、頭部搭載型システム１６０を通してユーザの物理的環境を視認する際の、ユーザ１０８の物理的周囲環境である。コンピューティングネットワーク１２５は、記憶デバイス１３０にアクセスし、表示のためのコンテンツを読み出し、記憶する。いくつかの実施形態では、ローカル記憶デバイス１４０は、着目コンテンツをユーザ１０８に提供してもよい。ローカル記憶デバイス１４０は、例えば、フラッシュドライブ、キャッシュ、ハードドライブ、データベース、ファイルシステム等を含んでもよい。ローカル記憶デバイス１４０内に記憶される情報は、最近アクセスされたコンテンツまたは最近表示されたコンテンツを含んでもよい。ローカル記憶デバイス１４０は、あるコンテンツをローカルでソフトウェアに提供することによって、本システムの環境１００に対するパフォーマンスの改良を可能にする。

ソフトウェアは、非一過性コンピュータ可読媒体内に記憶され、ユーザの物理的環境１０５内に表示されるべき２Ｄコンテンツを分解する機能を実施する、ソフトウェアプログラムを含む。ソフトウェアは、プロセッサ１７０上で起動してもよく、プロセッサ１７０は、ユーザ１０８にローカルで取り付けられてもよい、または、いくつかの他の実施形態では、ソフトウェア１５０およびプロセッサ１７０は、頭部搭載型システム１６０内に含まれてもよい。いくつかの実施形態では、ソフトウェア１５０の特徴および機能の一部が、ユーザ１０８から遠隔のコンピューティングネットワーク１２５上で記憶および実行されてもよい。

頭部搭載型システム１６０は、ユーザインターフェースと、ユーザ感知システムと、環境感知システムと、プロセッサと（全て図示されず）を含む、仮想現実（ＶＲ）または拡張現実（ＡＲ）頭部搭載型システムであってもよい。頭部搭載型システム１６０は、デジタル世界と相互作用し、それを体験するためのインターフェースをユーザ１０８に提示する。そのような相互作用は、ユーザおよびデジタル世界、環境１００とインターフェースをとる１人またはそれを上回る他のユーザ、およびデジタル世界および物理世界内のオブジェクトを伴い得る。

本システムのためのユーザインターフェースは、触知インターフェースデバイス、キーボード、マウス、ジョイスティック、モーションキャプチャコントローラ、光学追跡デバイス、およびオーディオ入力デバイスのうちの少なくとも１つまたは組み合わせを含んでもよい。触知インターフェースデバイスは、人間が体感および移動を通してコンピュータと相互作用することを可能にする、デバイスである。触知は、コンピューティングデバイス上でアクションまたはプロセスを実施するための触覚フィードバックまたは他の体感を包含する、あるタイプの人間とコンピュータの相互作用技術を指す。

ユーザ感知システムは、頭部搭載型システム１６０を装着するユーザ１０８に関するある特徴、特性、または情報を検出するように動作可能な、１つまたはそれを上回るセンサ１６２を含んでもよい。例えば、いくつかの実施形態では、センサ１６２は、例えば、以下のもの、すなわち、瞳孔の収縮／拡張、各瞳孔の角度測定値／位置付け、真球度、眼の形状（眼の形状は、経時的に変化するため）、および他の解剖学的データのうちの１つまたはそれを上回るもの等の、ユーザ１０８のリアルタイムの光学特性／測定値を検出することが可能である、カメラまたは光学検出／走査回路網を含んでもよい。本データは、頭部搭載型システム１６０によって、ユーザの視認体験を向上させるために使用され得る情報（例えば、ユーザの視覚焦点）を提供する、またはそれを計算するために使用されてもよい。

環境感知システムは、ユーザの物理的環境１０５からデータを取得するための１つまたはそれを上回るセンサ１６４を含んでもよい。センサ１６４によって検出されるオブジェクトまたは情報が、入力として、頭部搭載型システム１６０に提供されてもよい。いくつかの実施形態では、本入力は、仮想世界とのユーザ相互作用を表し得る。例えば、卓上（例えば、テーブル１８８）の仮想キーボードを視認するユーザ（例えば、ユーザ１０８）は、ユーザが、仮想キーボード上でタイピングしているように、その指を用いてジェスチャし得る。移動する指の運動が、センサ１６４によって捕捉され、入力として頭部搭載型システム１６０に提供されてもよく、入力は、仮想世界を変化させる、または新しい仮想オブジェクトを生成するために使用され得る。センサ１６４は、例えば、持続的および／または断続的に投影される赤外線構造化光を通して場面情報を解釈するための、例えば、略外向きに向いたカメラまたはスキャナを含んでもよい。環境感知システムは、静的オブジェクト、動的オブジェクト、人々、ジェスチャ、および種々の照明、大気、および音響条件を含む、局所環境を検出および登録することによって、ユーザ１０８の周囲のユーザの物理的環境１０５の１つまたはそれを上回る要素をマップするために使用されてもよい。したがって、いくつかの実施形態では、環境感知システムは、ローカルコンピューティングシステム（例えば、プロセッサ１７０）内に埋設され、センサ１６４によって検出される１つまたはそれを上回るオブジェクトまたは情報をデジタル的に再構築するように動作可能な、画像ベースの３Ｄ再構築ソフトウェアを含んでもよい。

一実施形態では、環境感知システムは、以下のもの、すなわち、モーションキャプチャデータ（ジェスチャ認識を含む）、深度感知、顔認識、オブジェクト認識、一意のオブジェクト特徴認識、音声／オーディオ認識および処理、音響源位置特定、ノイズ低減、赤外線または類似のレーザ投影、およびモノクロおよび／またはカラーＣＭＯＳセンサ（または他の類似センサ）、視野センサ、および種々の他の光学増強センサのうちの１つまたはそれを上回るものを提供する。環境感知システムが、上記に議論されるもの以外の他のコンポーネントも含み得ることを理解されたい。

プロセッサ１７０は、いくつかの実施形態では、頭部搭載型システム１６０の他のコンポーネントと統合される、環境１００のシステムの他のコンポーネントと統合されてもよい、または図１に示されるような（着用可能またはユーザ１０８と別個な）隔離されたデバイスであってもよい。プロセッサ１７０は、物理的な有線接続を通して、または、例えば、モバイルネットワーク接続（携帯電話およびデータネットワークを含む）、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または任意の他の無線接続プロトコル等の無線接続を通して、頭部搭載型システム１６０の種々のコンポーネントに接続されてもよい。プロセッサ１７０は、メモリモジュールと、統合型および／または付加的なグラフィック処理ユニットと、無線および／または有線インターネットコネクティビティと、ソース（例えば、コンピューティングネットワーク１２５および頭部搭載型システム１６０からのユーザ感知システムおよび環境感知システム）からのデータを画像およびオーディオデータに変換することが可能である、コーデックおよび／またはファームウェアとを含んでもよく、画像／ビデオおよびオーディオは、ユーザインターフェース（図示せず）を介してユーザ１０８に提示されてもよい。

プロセッサ１７０は、頭部搭載型システム１６０の種々のコンポーネントに関するデータ処理、および頭部搭載型システム１６０と、コンピューティングネットワーク１２５を通して表示またはアクセスされるコンテンツとの間のデータ交換を取り扱う。例えば、プロセッサ１７０は、ユーザ１０８とコンピューティングネットワーク１２５との間のデータ配信をバッファおよび処理し、それによって、スムーズかつ持続的な高忠実度のユーザ体験を可能にするために使用されてもよい。
システムアーキテクチャ概観

図４は、本開示のある実施形態を実装するために好適な、例証的コンピューティングシステム１４００のブロック図である。コンピューティングシステム１４００は、プロセッサ１４０７、システムメモリ１４０８（例えば、ＲＡＭ）、静的記憶デバイス１４０９（例えば、ＲＯＭ）、ディスクドライブ１４１０（例えば、磁気または光学式）、通信インターフェース１４１４（例えば、モデムまたはイーサネット（登録商標）カード）、ディスプレイ１４１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス１４１２（例えば、キーボードおよびマウス）等のサブシステムおよびデバイスを相互接続する、情報を通信するためのバス１４０６または他の通信機構を含む。

本発明の一実施形態によると、コンピューティングシステム１４００は、システムメモリ１４０８内に含有される１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスを実行する、プロセッサ１４０７による具体的な動作を実施する。そのような命令は、静的記憶デバイス１４０９またはディスクドライブ１４１０等の別のコンピュータ可読／使用可能媒体からシステムメモリ１４０８内に読み取られ得る。代替実施形態では、有線回路網が、本開示を実装するために、ソフトウェア命令の代わりに、またはそれとの組み合わせにおいて使用されてもよい。したがって、本開示の実施形態は、ハードウェア回路網および／またはソフトウェアのいかなる具体的組み合わせにも限定されない。一実施形態では、用語「論理」は、本開示の全てまたは一部を実装するために使用される、ソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。

本明細書で使用されるような、用語「コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、実行のためにプロセッサ１４０７に命令を提供することに関与する、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ１４１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ１４０８等の動的メモリを含む。

コンピュータ可読媒体の一般的形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、正孔のパターンを伴うパンチカード、紙テープ、任意の他の物理媒体、それからコンピュータが読み取り得る、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、または任意の他の媒体を含む。

本開示のある実施形態では、本開示を実践するための命令のシーケンスの実行が、単一のコンピューティングシステム１４００によって実施される。本開示の他の実施形態によると、通信リンク１４１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される、２つまたはそれを上回るコンピューティングシステム１４００が、相互と協調して本開示を実践するために要求される、命令のシーケンスを実施してもよい。

コンピューティングシステム１４００は、通信リンク１４１５および通信インターフェース１４１４を通して、プログラム（すなわち、アプリケーションコード）を含む、メッセージ、データ、および命令を伝送および受信してもよい。受信されたプログラムコードは、受信されるにつれて、プロセッサ１４０７によって実行される、および／または後の実行のために、ディスクドライブ１４１０または他の不揮発性ストレージ内に記憶されてもよい。コンピューティングシステム１４００は、データインターフェース１４３３を通して、外部記憶デバイス１４３１上のデータベース１４３２に通信してもよい。

本発明の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的な意味で参照される。それらは、本発明のさらに広く適用可能な側面を例証するために提供される。種々の変更が、説明される本発明に成され得、均等物が、本発明の真の精神および範囲から逸脱することなく代用され得る。加えて、多くの修正が、特定の状況、材料、物質の組成、プロセス、プロセス行為、またはステップを、本発明の目的、精神、または範囲に適合させるように成され得る。さらに、当業者によって理解されるであろうように、本明細書に説明および図示される個々の変形例はそれぞれ、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のいずれかの特徴から容易に分離される、またはそれと組み合わせられ得る、離散コンポーネントおよび特徴を有する。そのような修正は全て、本開示と関連付けられる請求項の範囲内であることが意図される。

本発明は、主題デバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含み得る。そのような提供は、エンドユーザによって実施され得る。言い換えると、「提供する」行為は、単に、エンドユーザに、主題方法において必要なデバイスを提供するために取得する、アクセスする、アプローチする、位置付ける、設定する、アクティブ化する、起動する、または別様に行動することを要求する。本明細書に列挙される方法は、論理的に可能性として考えられる、列挙された事象の任意の順序で、かつ事象の列挙された順序で行われ得る。

本発明の例示的側面が、材料の選択および製造に関する詳細とともに、上記に述べられている。本発明の他の詳細に関して、これらは、上記に言及される特許および公開文書に関連して理解され、および、概して、当業者によって把握される、または理解され得る。同じことが、一般的または理論的に採用されるものとしての付加的な行為の観点から、本発明の方法ベースの側面に関して当てはまり得る。

加えて、本発明は、随意に種々の特徴を組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に対して考えられるものとして説明される、または示されるものに限定されるべきではない。説明される、本発明に成され得る種々の変更および均等物は（本明細書に列挙されている、またはある簡潔性のために含まれていないかどうかにかかわらず）、本発明の真の精神および範囲から逸脱することなく代用され得る。加えて、ある範囲の値が、提供される場合、その範囲の上限および下限と、その記載される範囲における、任意の他の記載される、または介在する値との間の各介在値が、本発明の範囲内に包含されることを理解されたい。

また、説明される本発明の変形例の任意の随意の特徴が、独立して、または本明細書に説明される特徴のうちの任意の１つまたはそれを上回るものと組み合わせられて記載される、または請求され得ることを想定されたい。単一の物体の言及は、複数の存在する同一の物品がある可能性を含む。より具体的には、本明細書および本明細書に関連付けられる請求項において使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ（該）」、および「ｔｈｅ（）」は、別様に具体的に記載されない限り、複数の支持物を含む。言い換えると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項において、主題物品の「少なくとも１つ」のものを可能にする。さらに、そのような請求項が、任意の随意の要素を除外するために起草され得ることに留意されたい。したがって、本叙述は、請求項要素の列挙に関連して、「単独で」、「のみ」、および同等物のようなそのような排他的用語の使用、または「否定的な」制限の使用のための前項としての役割を果たすことを意図する。

そのような排他的用語の使用を伴わず、本開示と関連付けられる、請求項における用語「ｃｏｍｐｒｉｓｉｎｇ（～を備える）」は、所与の数の要素がそのような請求項内で枚挙されているかどうかに関係なく、任意の付加的要素の含有を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換するものとして見なされ得る。本明細書に具体的に定義されている場合を除いて、本明細書に使用される技術的および科学的用語は全て、請求項の正当性を維持しながら、可能な限り広義の、一般的に理解される意味を与えられるべきである。

本発明の範疇は、提供される実施例および／または主題明細書に限定されるべきではなく、むしろ、本開示と関連付けられる請求項文言の範囲のみによって限定されるべきである。

Claims (26)

1. 実世界オブジェクトおよび仮想オブジェクトを伴う仮想体験を共有するコンピュータ実装方法であって、前記方法は、
   第１のユーザによって装着される第１の頭部装着型デバイス上に配置される環境センサによって、実世界オブジェクトの第１のユーザのビューからの前記実世界オブジェクトの画像を捕捉することと、
   前記捕捉された画像に基づいて、前記実世界オブジェクトの前記第１のユーザのビューからの、前記実世界オブジェクトに対応する仮想オブジェクトのビューを生成することと、
   前記第１の頭部装着型デバイスによって、前記第１の頭部装着型デバイスを装着する前記第１のユーザに、前記実世界オブジェクトの前記第１のユーザのビューからの前記仮想オブジェクトのビューを表示することと、
   第２の頭部装着型デバイスによって、前記第２の頭部装着型デバイスを装着する第２のユーザに、前記実世界オブジェクトの前記第１のユーザのビューからの前記仮想オブジェクトのビューを表示することと
   を含み、
   前記実世界オブジェクトの前記第１のユーザのビューからの前記仮想オブジェクトのビューは、前記実世界オブジェクトの前記第１のユーザのビューからの前記実世界オブジェクトの画像を捕捉するとともに、リアルタイムで前記第１の頭部装着型デバイスおよび第２の頭部装着型デバイスの両方上に表示される、方法。
2. 前記第１のユーザは、第１の地理的位置に位置し、
   前記第２のユーザは、前記第１の地理的位置と異なる第２の地理的位置に位置する、請求項１に記載の方法。
3. 前記第１のユーザによって、前記仮想オブジェクトを修正することをさらに含む、請求項２に記載の方法。
4. 前記第２のユーザによって、前記仮想オブジェクトを修正することをさらに含む、請求項２に記載の方法。
5. 前記第１および第２の頭部装着型デバイスによって、前記第１および第２の頭部装着型デバイスの間の前記仮想オブジェクトに対する修正を通信することをさらに含む、請求項２に記載の方法。
6. 前記第１および第２の頭部装着型デバイスは、ネットワークによって通信可能に結合される、請求項２に記載の方法。
7. 前記第１のユーザによって、前記第１の頭部装着型デバイスに動作可能に結合される第１のユーザインターフェースデバイスを介して、前記仮想オブジェクトに関連する入力を提供することをさらに含む、請求項２に記載の方法。
8. 前記第１のユーザインターフェースデバイスは、触知インターフェースデバイスと、キーボードと、マウスと、ジョイスティックと、モーションキャプチャコントローラと、光学追跡デバイスと、オーディオ入力デバイスとから成る群から選択される、請求項７に記載の方法。
9. 前記第２のユーザによって、前記第２の頭部装着型デバイスに動作可能に結合される第２のユーザインターフェースデバイスを介して、前記仮想オブジェクトに関連する入力を提供することをさらに含む、請求項２に記載の方法。
10. 前記第２のユーザインターフェースデバイスは、触知インターフェースデバイスと、キーボードと、マウスと、ジョイスティックと、モーションキャプチャコントローラと、光学追跡デバイスと、オーディオ入力デバイスとから成る群から選択される、請求項９に記載の方法。
11. 前記第１および第２の頭部装着型デバイスに動作可能に結合されるセンサによって、前記仮想オブジェクトに関連する入力を提供することをさらに含む、請求項２に記載の方法。
12. 前記センサは、カメラと、光学検出デバイスとから成る群から選択される、請求項１１に記載の方法。
13. 前記入力は、ユーザに関連する瞳孔サイズと、瞳孔位置と、瞳孔角度と、眼の真球度と、眼の形状と、フィギュアモーションと、解剖学的データとから成る群から選択される、請求項１１に記載の方法。
14. プロセッサによって、前記入力を使用してユーザの視覚焦点を決定することをさらに含む、請求項１１に記載の方法。
15. プロセッサによって、前記入力を使用してユーザの環境の一部をマップすることをさらに含む、請求項１１に記載の方法。
16. 前記第１および第２の頭部装着型デバイスに動作可能に結合される環境センサによって、前記実世界オブジェクトの画像を捕捉するために、地理的な場所に関連する環境入力を提供することをさらに含む、請求項２に記載の方法。
17. 前記環境センサは、カメラと、光学検出デバイスと、モーションキャプチャデバイスと、深度測定デバイスと、顔認識デバイスと、オブジェクト認識デバイスと、オーディオ認識デバイスと、ＣＭＯＳセンサと、視野センサと、光学増強センサとから成る群から選択される、請求項１６に記載の方法。
18. 前記環境入力は、モーションキャプチャデータと、ジェスチャ認識データと、深度感知データと、顔認識データと、オブジェクト認識データと、一意オブジェクト特徴認識データと、オーディオ認識データと、音声認識データと、音響源位置特定データと、ノイズ低減データと、赤外光データと、レーザ光データと、ＣＭＯＳセンサデータと、視野データと、光学増強データとから成る群から選択される、請求項１６に記載の方法。
19. 前記仮想オブジェクトは、建設物であり、
    前記第１および第２の頭部装着型デバイスは、それぞれ、前記第１および第２のユーザに前記建設物の仮想ツアーを表示するように構成される、請求項２に記載の方法。
20. 前記仮想オブジェクトは、製造されるオブジェクトの３次元図面である、請求項２に記載の方法。
21. 前記第２の頭部装着型デバイスを通して前記第２のユーザに表示される前記仮想オブジェクトのビューは、前記第２のユーザが、前記第２のユーザが前記第１のユーザの肩越しに見ているように、前記第１のユーザのアクティビティを可視化することを可能にする、請求項１に記載の方法。
22. 前記第１のユーザは前記第１の頭部装着型デバイスを通して、かつ、前記第２のユーザは前記第２の頭部装着型デバイスを通して、前記仮想オブジェクトを協働して視認する、請求項１に記載の方法。
23. 前記第１のユーザは前記第１の頭部装着型デバイスを通して、かつ、前記第２のユーザは前記第２の頭部装着型デバイスを通して、前記仮想オブジェクトを協働して操作する、請求項１に記載の方法。
24. 前記第２の頭部装着型デバイスを通して前記第２のユーザに表示される前記仮想オブジェクトのビューは、前記第２のユーザが、前記第２のユーザが前記第１のユーザの肩越しに見ているように、前記第１のユーザのアクティビティを可視化することを可能にし、
    前記第１のユーザは前記第１の頭部装着型デバイスを通して、かつ、前記第２のユーザは前記第２の頭部装着型デバイスを通して、前記仮想オブジェクトを協働して視認および操作する、請求項１に記載の方法。
25. 前記第１の頭部装着型デバイスと前記第２の頭部装着型デバイスとの間で、個別の第１および第２の頭部装着型デバイスの個別のセンサによって検出されたオーディオと、テクスチャと、振動と、匂いとを含む媒体を通信することをさらに含む、請求項２４に記載の方法。
26. 前記第１のユーザは、第１の地理的位置に位置し、前記第２のユーザは、前記第１の地理的位置と異なる第２の地理的位置に位置し、
    前記第１のユーザが前記第１の頭部装着型デバイスの第１のユーザインターフェースを操作することに基づいて、前記仮想オブジェクトを修正することであって、前記第１のユーザインターフェースは、触知インターフェースデバイスと、キーボードと、マウスと、ジョイスティックと、モーションキャプチャコントローラと、光学追跡デバイスと、オーディオ入力デバイスとから成る群から選択される、ことと、
    前記第２のユーザが前記第２の頭部装着型デバイスの第２のユーザインターフェースを操作することに基づいて、前記仮想オブジェクトを修正することであって、前記第２のユーザインターフェースは、触知インターフェースデバイスと、キーボードと、マウスと、ジョイスティックと、モーションキャプチャコントローラと、光学追跡デバイスと、オーディオ入力デバイスとから成る群から選択される、ことと、
    前記第１の頭部装着型デバイスと前記第２の頭部装着型デバイスとの間で、ネットワークを通して、前記仮想オブジェクトに対する個別の修正を通信することと
    をさらに含み、
    前記第２の頭部装着型デバイスを通して前記第２のユーザに表示される前記仮想オブジェクトのビューは、前記第２のユーザが、前記第２のユーザが前記第１のユーザの肩越しに見ているように、前記第１のユーザのアクティビティを可視化することを可能にし、
    前記第１のユーザは前記第１の頭部装着型デバイスを通して、かつ、前記第２のユーザは前記第２の頭部装着型デバイスを通して、前記仮想オブジェクトを協働して視認および操作する、請求項１に記載の方法。