JP2023507867A - 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム - Google Patents

Abstract

本開示は、ユーザに人工現実コンテンツを提供するための人工現実システムおよび技術について記述する。たとえば、人工現実システムは、人工現実コンテンツを出力するように構成されているヘッドマウントディスプレイ（ＨＭＤ）であって、ユーザの視線の焦点を示す画像データを取り込むように構成されている第２の画像取り込みデバイスのセット、およびユーザの焦点に基づいて修正可能である焦点距離を有する可変焦点ディスプレイを含むＨＭＤを含む。加えて、このシステムは、現実世界の画像データ、および現実世界の画像データに関連付けられている奥行きデータに基づいて、ユーザの物理環境の３次元（３Ｄ）シーンを生成すること、ならびにユーザの焦点に基づいてＨＭＤの可変焦点ディスプレイ上に表示するための物理環境の３Ｄシーンに対するオーバーレイとしての人工現実コンテンツを生成することを行うように構成されている奥行きエンジンを含む。【選択図】図６Ａ

Description

本開示は全般に、拡張現実、複合現実、および／または仮想現実システムなど、人工現実システムに関する。

人工現実システムは、コンピュータゲーミング、健康および安全、産業、ならびに教育などの多くの分野における用途に伴って、ますます至る所に見られるようになっている。いくつかの例として、人工現実システムは、モバイルデバイス、ゲーミングコンソール、パーソナルコンピュータ、映画館、およびテーマパークに組み込まれている。一般に、人工現実は、ユーザへの提示の前に何らかの様式で調整された現実の一形態であり、これは、たとえば、仮想現実、拡張現実、複合現実、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生物を含むことが可能である。

典型的な人工現実システムは、ユーザに対してコンテンツをレンダリングおよび表示するための１つまたは複数のデバイスを含む。一例として、人工現実システムは、ユーザに対して人工現実コンテンツを出力するように構成されている、ユーザによって装着されるヘッドマウントディスプレイ（ＨＭＤ）を組み込むことが可能である。人工現実コンテンツは、システムによって生成されるコンテンツをもっぱら含むことが可能であり、または取り込まれたコンテンツ（たとえば、現実世界のビデオおよび／もしくは画像）と組み合わされた生成されたコンテンツを含むことが可能である。

全般に、本開示は、視覚的に正確な人工現実コンテンツをユーザに提供するように構成されている可変焦点ヘッドマウントディスプレイ（ＨＭＤ）を含む人工現実システムについて記述する。たとえば、この人工現実システムは、どこをＨＭＤのユーザが見ているかに基づいて、フレームごとに別々の焦点深度を伴って現実世界の画像データが再構築されるパススルーまたは複合現実（ＭＲ）体験を提供するために使用されることが可能である。可変焦点ＨＭＤと画像処理技術との組合せは、大きな被写界深度を伴って（たとえば、無限遠に焦点を合わせられて）現実世界の画像データが取り込まれて再構築される現在のパススルーシステムに比較して、よりリアルな３次元（３Ｄ）体験を提供すること、および輻輳／調節の競合を低減することが可能である。その他の例においては、可変焦点ＨＭＤおよび画像処理技術は、仮想現実（ＶＲ）体験または拡張現実体験を提供するために使用されることが可能である。

人工現実システムがパススルーまたはＭＲ体験を提供する１つまたは複数の例においては、可変焦点ＨＭＤは、現実世界の画像データをカラー（たとえば、ＲＧＢ）でかつ高い解像度で取り込むように構成されている少なくとも１つのパススルーカメラと、ユーザの瞳孔の動きを取り込むように構成されているアイトラッキングカメラと、ＨＭＤの接眼レンズ内の１つまたは複数のレンズに対して機械的に動くように構成されているディスプレイパネルとを含むことが可能である。加えて、可変焦点ＨＭＤは、パススルーカメラによって取り込まれた現実世界の画像データに対応する奥行きデータを取り込むように構成されている奥行きセンサおよび／またはデュアルもしくはステレオインサイドアウトカメラを含むことが可能である。いくつかの例においては、可変焦点ＨＭＤは、ユーザの目ごとに１つのインサイドアウトカメラを含むことが可能である。

開示されている技術によれば、ＡＲシステムは、画像処理技術を実行して、取り込まれた奥行きデータを用いて現実世界のシーンの３次元メッシュを生成することと、パススルーカメラからの取り込まれた現実世界の画像データを用いて生成されたテクスチャデータを３次元メッシュ上に包みかけるかまたはオーバーレイして、真の奥行きを有するＨＭＤ上での表示用の仮想シーンを作成することとが可能である。

仮想シーンが生成されると、本明細書において記述されている技術は、ユーザが、仮想シーンに対応する現実世界の環境における特定のオブジェクトに焦点を合わせている間に体験することになる視覚効果を模倣するために、ＨＭＤ上でユーザに対して仮想シーンがどのように表示されるかを修正する。たとえば、ＨＭＤの１つまたは複数のアイトラッキングカメラが、基準ポイントのセットに関するユーザの瞳孔の位置を含む焦点データを取り込むことが可能である。その焦点データを使用して、ＡＲは、ユーザの識別された焦点に一致するようにリアルタイムまたはほぼリアルタイムで可変焦点ディスプレイの焦点を移動することが可能である。加えて、ＡＲシステムは、ＨＭＤのユーザの識別された被写界深度の外側にある仮想シーンにおいて表されるオブジェクトをぼかすために、深度ぼけまたは焦点ぼけフィルタを適用するように構成されることが可能である。

いくつかの例においては、人工現実システムが、ユーザの物理環境を表す現実世界の画像データを取り込むように構成されている第１の画像取り込みデバイスと、人工現実コンテンツを出力するように構成されているヘッドマウントディスプレイ（ＨＭＤ）であって、ユーザの視線の焦点を示す画像データを取り込むように構成されている第２の画像取り込みデバイスのセット、およびユーザの焦点に基づいて修正可能である焦点距離を有する可変焦点ディスプレイを含むＨＭＤとを含む。加えて、この人工現実システムは、現実世界の画像データ、および現実世界の画像データに関連付けられている奥行きデータに基づいて、ユーザの物理環境の３次元（３Ｄ）シーンを生成すること、ならびにユーザの焦点に基づいてＨＭＤの可変焦点ディスプレイ上に表示するための物理環境の３Ｄシーンに対するオーバーレイとしての人工現実コンテンツを生成することを行うように構成されている奥行きエンジンを含む。

いくつかの実施形態においては、第１の画像取り込みデバイスは、カラーでかつ高い解像度で現実世界の画像データを取り込むように構成されている少なくとも１つのパススルーカメラを含むことが可能である。

いくつかの実施形態においては、ＨＭＤは、奥行きエンジンを実行するように構成されている１つまたは複数のプロセッサを含むことが可能であり、それらの１つまたは複数のプロセッサは、少なくとも１つのパススルーカメラに近接して配置されている。

いくつかの実施形態においては、ＨＭＤはさらに、奥行きデータを生成するように構成されている奥行きセンサを含むことが可能であり、物理環境の３Ｄシーンを生成するために、奥行きエンジンは、奥行きデータを使用して、現実世界のシーンの３Ｄメッシュを生成することと、現実世界の画像データの少なくとも一部分を現実世界のシーンの３Ｄメッシュ上にオーバーレイすることとを行うように構成されている。

いくつかの実施形態においては、現実世界の画像データは、現実世界の画像データのストリームを表し、奥行きデータは、奥行きデータのストリームを表し、人工現実コンテンツを生成するために、奥行きエンジンはさらに、現実世界の画像データのストリーム、および奥行きデータのストリームを使用して、現実世界のシーンの３Ｄメッシュに対するＨＭＤの位置および向きに基づいて、ほぼリアルタイムで人工現実コンテンツを生成するように構成されている。

いくつかの実施形態においては、第２の画像取り込みデバイスのセットは、基準ポイントの第１のセットに関するユーザの第１の瞳孔の位置を含む画像データの第１のセットを取り込むように構成されている第１のアイトラッキングカメラと、基準ポイントの第２のセットに関するユーザの第２の瞳孔の位置を含む画像データの第２のセットを取り込むように構成されている第２のアイトラッキングカメラとを含むことが可能であり、奥行きエンジンは、基準ポイントの第１のセットに関する第１の瞳孔の位置、および基準ポイントの第２のセットに関する第２の瞳孔の位置に基づいてユーザの焦点を特定するように構成されている。

いくつかの実施形態においては、このシステムはさらに、ある期間にわたる基準ポイントの第１のセットに関する第１の瞳孔の位置を追跡することと、その期間にわたる基準ポイントの第２のセットに関する第２の瞳孔の位置を追跡することと、その期間にわたる基準ポイントの第１のセットに関する第１の瞳孔の位置の動きに基づいて、基準ポイントの第１のセットに関する第１の瞳孔の位置の予想されるその後の動きを特定することと、その期間にわたる基準ポイントの第２のセットに関する第２の瞳孔の位置の動きに基づいて、基準ポイントの第２のセットに関する第２の瞳孔の位置の予想されるその後の動きを特定することとを行うように構成されている視線トラッカーを含むことが可能であり、奥行きエンジンはさらに、第１の瞳孔の位置の予想されるその後の動き、および第２の瞳孔の位置の予想されるその後の動きに基づいて、ユーザの予想されるその後の焦点を特定するように構成されている。

いくつかの実施形態においては、奥行きエンジンはさらに、ユーザの焦点に一致するように、ほぼリアルタイムで可変焦点ディスプレイに関する焦点距離を特定することと、特定された焦点距離を実現するためにレンズに対して移動するように可変焦点ディスプレイに指示することとを行うように構成されることが可能である。

いくつかの実施形態においては、ＨＭＤはさらに、レンズに対する可変焦点ディスプレイの位置を制御するように構成されているモータを含むことが可能であり、移動するように可変焦点ディスプレイに指示するために、奥行きエンジンは、特定された焦点距離を実現するためにレンズからある距離に可変焦点ディスプレイを配置するようにモータを制御するように構成されている。

いくつかの実施形態においては、画像データはさらに、ユーザの被写界深度を示し、人工現実コンテンツを生成するために、奥行きエンジンは、ユーザの被写界深度の外側にある人工現実コンテンツの部分をぼかすように構成されている。

いくつかの例においては、ある方法が、第１の画像取り込みデバイスによって、ユーザの物理環境を表す現実世界の画像データを取り込むことと、人工現実コンテンツを出力するように構成されているヘッドマウントディスプレイ（ＨＭＤ）の第２の画像取り込みデバイスのセットによって、ユーザの視線の焦点を示す画像データを取り込むことと、ＨＭＤの奥行きエンジンによって、ユーザの焦点に基づいてＨＭＤの可変焦点ディスプレイの焦点距離を修正することと、奥行きエンジンによって、ならびに現実世界の画像データ、および現実世界の画像データに関連付けられている奥行きデータに基づいて、ユーザの物理環境の３次元（３Ｄ）シーンを生成することと、奥行きエンジンによって、ユーザの焦点に基づいてＨＭＤの可変焦点ディスプレイ上に表示するための物理環境の３Ｄシーンに対するオーバーレイとしての人工現実コンテンツを生成することとを含む。

いくつかの実施形態においては、第１の画像取り込みデバイスは、少なくとも１つのパススルーカメラを含むことが可能であり、この方法はさらに、パススルーカメラを使用して、カラーでかつ高い解像度で現実世界の画像データを取り込むことを含む。

いくつかの実施形態においては、この方法はさらに、ＨＭＤの１つまたは複数のプロセッサを使用して、奥行きエンジンを実行することを含むことが可能であり、１つまたは複数のプロセッサは、少なくとも１つのパススルーカメラに近接して配置されている。

いくつかの実施形態においては、この方法はさらに、奥行きセンサを使用して、奥行きデータを生成することを含むことが可能であり、物理環境の３Ｄシーンを生成することは、奥行きデータを使用して、現実世界のシーンの３Ｄメッシュを生成することと、現実世界の画像データの少なくとも一部分を現実世界のシーンの３Ｄメッシュ上にオーバーレイすることとを含む。

いくつかの実施形態においては、現実世界の画像データは、現実世界の画像データのストリームを表し、奥行きデータは、奥行きデータのストリームを表し、人工現実コンテンツを生成することは、現実世界の画像データのストリーム、および奥行きデータのストリームを使用して、現実世界のシーンの３Ｄメッシュに対するＨＭＤの位置および向きに基づいて、ほぼリアルタイムで人工現実コンテンツを生成することを含む。

いくつかの実施形態においては、この方法はさらに、第２の画像取り込みデバイスのセットの第１のアイトラッキングカメラを使用して、基準ポイントの第１のセットに関するユーザの第１の瞳孔の位置を含む画像データの第１のセットを取り込むことと、第２の画像取り込みデバイスのセットの第２のアイトラッキングカメラを使用して、基準ポイントの第２のセットに関するユーザの第２の瞳孔の位置を含む第２の画像データのセットを取り込むことと、奥行きエンジンを使用して、基準ポイントの第１のセットに関する第１の瞳孔の位置、および基準ポイントの第２のセットに関する第２の瞳孔の位置に基づいてユーザの焦点を特定することとを含むことが可能である。

いくつかの実施形態においては、この方法はさらに、視線トラッカーを使用して、ある期間にわたる基準ポイントの第１のセットに関する第１の瞳孔の位置を追跡することと、視線トラッカーを使用して、その期間にわたる基準ポイントの第２のセットに関する第２の瞳孔の位置を追跡することと、その期間にわたる基準ポイントの第１のセットに関する第１の瞳孔の位置の動きに基づいて、基準ポイントの第１のセットに関する第１の瞳孔の位置の予想されるその後の動きを特定することと、その期間にわたる基準ポイントの第２のセットに関する第２の瞳孔の位置の動きに基づいて、基準ポイントの第２のセットに関する第２の瞳孔の位置の予想されるその後の動きを特定することと、奥行きエンジンを使用して、第１の瞳孔の位置の予想されるその後の動き、および第２の瞳孔の位置の予想されるその後の動きに基づいて、ユーザの予想されるその後の焦点を特定することとを含むことが可能である。

いくつかの実施形態においては、この方法はさらに、奥行きエンジンを使用して、ユーザの焦点に一致するように、ほぼリアルタイムで可変焦点ディスプレイに関する焦点距離を特定することと、奥行きエンジンによって、特定された焦点距離を実現するためにレンズに対して移動するように可変焦点ディスプレイに指示することとを含むことが可能である。

いくつかの実施形態においては、画像データはさらに、ユーザの被写界深度を示すことが可能であり、人工現実コンテンツを生成することは、ユーザの被写界深度の外側にある人工現実コンテンツの部分をぼかすことを含む。

いくつかの例においては、非一時的コンピュータ可読媒体が命令を含み、それらの命令は、実行されるときに、ユーザの物理環境を表す現実世界の画像データを取り込むことと、ユーザの視線の焦点を示す画像データを取り込むことと、ユーザの焦点に基づいて可変焦点ディスプレイの焦点距離を修正することと、現実世界の画像データ、および現実世界の画像データに関連付けられている奥行きデータに基づいて、ユーザの物理環境の３次元（３Ｄ）シーンを生成することと、ユーザの焦点に基づいてヘッドマウントディスプレイ（ＨＭＤ）の可変焦点ディスプレイ上に表示するための物理環境の３Ｄシーンに対するオーバーレイとしての人工現実コンテンツを生成することとを１つまたは複数のプロセッサに行わせる。

本開示の１つまたは複数の例のさらなる詳細が、添付の図面において、および以降の記述において示されている。その他の特徴、目的、および利点は、記述および図面から、ならびに特許請求の範囲から明らかであろう。

本開示の１つまたは複数の技術による、仮想シーンをユーザに提示するための人工現実システムを示す概念図である。 本開示の１つまたは複数の技術による、仮想環境を複数のユーザに提示するための人工現実システムを示す概念図である。 本開示の１つまたは複数の技術による、仮想シーンをユーザに提示するための例示的なヘッドマウントディスプレイ（ＨＭＤ）および例示的な周辺デバイスを示す概念図である。 本開示の１つまたは複数の技術による、別の例示的なＨＭＤを示す概念図である。 本開示の１つまたは複数の技術による、図１Ａ、図１Ｂの１つまたは複数のマルチデバイス人工現実システムのコンソール、ＨＭＤ、および周辺デバイスの例示的な実施態様を示すブロック図である。 本開示の１つまたは複数の技術による、図１Ａ、図１Ｂの人工現実システムのＨＭＤによって仮想環境が生成される例を示すブロック図である。 本開示の１つまたは複数の技術による、ＨＭＤの例示的なコンポーネントを示す概念図である。 本開示の１つまたは複数の技術による、環境内の焦点距離および第１の被写界深度を示す概念図である。 本開示の１つまたは複数の技術による、環境内の焦点距離および第２の被写界深度を示す概念図である。 本開示の１つまたは複数の技術による、人工現実コンテンツを提供するための例示的な動作を示す流れ図である。

図１Ａは、本開示の１つまたは複数の技術による、仮想シーンをユーザに提示するための人工現実システム１０を示す概念図である。図１Ａの例においては、人工現実システム１０は、ヘッドマウントディスプレイ（ＨＭＤ）１１２、周辺デバイス１３６を含み、いくつかの例においては、１つまたは複数の外部センサ９０および／またはコンソール１０６を含むことが可能である。

示されているように、ＨＭＤ１１２は、典型的にはユーザ１１０によって装着され、人工現実コンテンツ１２２をユーザ１１０に提示するための可変焦点ディスプレイおよび光学アセンブリを含む。加えて、ＨＭＤ１１２は、ＨＭＤ１１２の動きを追跡するための１つまたは複数のセンサ（たとえば、加速度計）を含む。ＨＭＤ１１２は、ユーザ１１０を取り巻く物理環境を表す画像データを取り込むための１つまたは複数の「インサイドアウト」画像取り込みデバイス１３８を含むことが可能である。追加として、または代替として、ＨＭＤ１１２は、現実世界の画像データを取り込むように構成されている１つまたは複数の「パススルー」画像取り込みデバイス１３９を含むことが可能であり、それによって人工現実システム１０は、ＨＭＤ１１２を介して現実世界の画像データのうちの少なくともいくつかをユーザ１１０に渡すことが可能である。いくつかの例においては、パススルー画像取り込みデバイス１３９によって取り込まれた画像データの解像度は、インサイドアウト画像取り込みデバイス１３８によって取り込まれた画像データの解像度よりも大きい。パススルー画像取り込みデバイス１３９によって取り込まれた画像データは、インサイドアウト画像取り込みデバイス１３８によって取り込まれた白黒画像データに比べて、カラーで、かつより高い解像度で取り込まれた画像データを含むことが可能である。

いくつかの例においては、ＨＭＤ１１２は、アイトラッキングカメラ１４０Ａおよびアイトラッキングカメラ１４０Ｂ（総称して、「アイトラッキングカメラ１４０」）を含むことが可能である。アイトラッキングカメラ１４０のうちのそれぞれのアイトラッキングカメラは、基準ポイントのそれぞれのセットに関するユーザ１１０の瞳孔を示す画像データを取り込むことが可能である。たとえば、アイトラッキングカメラ１４０Ａは、基準ポイントの第１のセットに関するユーザ１１０の第１の瞳孔の位置を示す画像データを取り込むことが可能であり、アイトラッキングカメラ１４０Ｂは、基準ポイントの第２のセットに関するユーザ１１０の第２の瞳孔の位置を示す画像データを取り込むことが可能である。基準ポイントの第１のセットに関する第１の瞳孔の位置、および基準ポイントの第２のセットに関する第２の瞳孔の位置は、ユーザ１１０の焦点および／またはユーザ１１０の被写界深度を示すことが可能であるので、アイトラッキングカメラ１４０によって取り込まれた画像データは、本明細書においては「焦点データ」と呼ばれる場合がある。いくつかの例においては、ＨＭＤ１１２および／またはコンソール１０６上で実行する人工現実アプリケーションが、アイトラッキングカメラ１４０によって取り込まれた画像データに基づいて焦点データを生成するために視線追跡アルゴリズムおよび／またはニューラルネットワークを使用することが可能である。いくつかの例においては、焦点データは、アイトラッキングカメラ１４０によって取り込まれた画像データに加えて、またはその代わりに、その他の情報に基づいて生成されることが可能である。たとえば、人工現実アプリケーションは、ユーザ１１０が対話している１つまたは複数のオブジェクトに基づいてユーザ１１０の視線を特定することが可能である。

加えて、ＨＭＤ１１２は、ユーザ１１０の現実世界の３次元（３Ｄ）の物理環境における１つまたは複数のポイントおよび／またはオブジェクトの奥行きを示す奥行きデータを収集する１つまたは複数の奥行きセンサを含むことが可能である。いくつかの例においては、奥行きセンサは、少なくとも２つのインサイドアウト画像取り込みデバイス１３８のセットを含むことが可能である。その他の例においては、奥行きセンサは、スタンドアロンの奥行きセンサデバイスを含むことが可能である。たとえば、奥行きデータは、コーナー１５２がコーナー１５４よりもユーザ１１０に近い（たとえば、コーナー１５２の奥行きがコーナー１５４の奥行きよりも小さい）ということを示す場合がある。人工現実システム１０は、ヘッドマウントディスプレイとして示されているが、代替として、または追加として、ユーザ１１０に人工現実コンテンツ１２２を提示するためのメガネまたはその他のディスプレイデバイスを含むことが可能である。

この例においては、コンソール１０６は、ゲーミングコンソール、ワークステーション、デスクトップコンピュータ、またはラップトップなど、単一のコンピューティングデバイスとして示されている。その他の例においては、コンソール１０６は、分散コンピューティングネットワーク、データセンター、またはクラウドコンピューティングシステムなど、複数のコンピューティングデバイスにわたって分散されることが可能である。コンソール１０６、ＨＭＤ１１２、およびセンサ９０は、この例において示されているように、ネットワーク１０４を介して通信可能に結合されることが可能であり、ネットワーク１０４は、Ｗｉ－Ｆｉ、メッシュネットワーク、もしくは短距離ワイヤレス通信媒体など、有線もしくはワイヤレスのネットワーク、またはそれらの組合せであることが可能である。ＨＭＤ１１２は、この例においては、コンソール１０６と通信状態にある、たとえば、コンソール１０６にテザリングされている、またはコンソール１０６とワイヤレス通信状態にあるものとして示されているが、いくつかの実施態様においては、ＨＭＤ１１２は、スタンドアロンのモバイル人工現実システムとして動作する。

一般に、人工現実システム１０は、現実世界の３Ｄ物理環境から取り込まれた情報を使用して、ユーザ１１０に対して表示するための人工現実コンテンツ１２２をレンダリングする。図１Ａの例においては、ユーザ１１０は、ＨＭＤ１１２および／またはコンソール１０６上で実行する人工現実アプリケーションによって構築およびレンダリングされた人工現実コンテンツ１２２を見る。いくつかの例においては、人工現実コンテンツ１２２は、複合現実および／または拡張現実を生み出すために現実世界の画像（たとえば、手１３２、周辺デバイス１３６、壁１２１）と仮想オブジェクト（たとえば、仮想コンテンツアイテム１２４、１２６および仮想ユーザインターフェース１３７）との混合物を含むことが可能である。いくつかの例においては、仮想コンテンツアイテム１２４、１２６は、人工現実コンテンツ１２２内の特定の位置にマップされること（たとえば、ピン留めされること、ロックされること、置かれること）が可能である。ある仮想コンテンツアイテムに関する位置は、たとえば、壁１２１または地球のうちの一方に対するものとして固定されることが可能である。ある仮想コンテンツアイテムに関する位置は、たとえば、周辺デバイス１３６またはユーザに対するものとして可変であり得る。いくつかの例においては、人工現実コンテンツ１２２内の仮想コンテンツアイテムの特定の位置は、現実世界の３Ｄ物理環境内の（たとえば、物理オブジェクトの表面上の）位置に関連付けられている。

この例においては、周辺デバイス１３６は、表面を有する物理的な現実世界のデバイスであり、その表面上に、人工現実システム１０が仮想ユーザインターフェース１３７をオーバーレイする。周辺デバイス１３６は、１つまたは複数のプレゼンスセンシティブ表面を含むことが可能であり、そのプレゼンスセンシティブ表面は、そのプレゼンスセンシティブ表面の場所にタッチまたはホバリングする１つまたは複数のオブジェクト（たとえば、指、スタイラス）の存在を検知することによってユーザ入力を検知するためのものである。いくつかの例においては、周辺デバイス１３６は、出力ディスプレイを含むことが可能であり、その出力ディスプレイは、プレゼンスセンシティブディスプレイであることが可能である。いくつかの例においては、周辺デバイス１３６は、スマートフォン、タブレットコンピュータ、携帯情報端末（ＰＤＡ）、またはその他のハンドヘルドデバイスであることが可能である。いくつかの例においては、周辺デバイス１３６は、スマートウォッチ、スマートリング、またはその他のウェアラブルデバイスであることが可能である。周辺デバイス１３６は、キオスクまたはその他の定置型のもしくは移動型のシステムの一部であることも可能である。周辺デバイス１３６は、コンテンツをスクリーンに出力するためのディスプレイデバイスを含むことが可能であり、または含まないことも可能である。

図１Ａにおいて示されている例示的な人工現実体験においては、仮想コンテンツアイテム１２４、１２６は、壁１２１上の位置にマップされている。図１Ａにおける例はまた、仮想コンテンツアイテム１２４が人工現実コンテンツ１２２内でのみ壁１２１上に部分的に現れているということを示しており、この仮想コンテンツが現実世界の物理環境には存在していないということを示している。仮想ユーザインターフェース１３７は、周辺デバイス１３６の表面にマップされている。結果として、人工現実システム１０は、人工現実環境における周辺デバイス１３６の位置に対してロックされているユーザインターフェース位置に、人工現実コンテンツ１２２の一部としてＨＭＤ１１２において表示するための仮想ユーザインターフェース１３７をレンダリングする。図１Ａは、仮想ユーザインターフェース１３７が人工現実コンテンツ１２２内でのみ周辺デバイス１３６上に現れているということを示しており、この仮想コンテンツが現実世界の３Ｄ物理環境には存在していないということを示している。

人工現実システム１０は、１つまたは複数の仮想コンテンツアイテムを、仮想コンテンツアイテムの場所の少なくとも一部分がユーザ１１０の視野１３０内にあるという特定に応答してレンダリングすることが可能である。たとえば、人工現実システム１０は、周辺デバイス１３６がユーザ１１０の視野１３０内にある場合にのみ、周辺デバイス１３６上に仮想ユーザインターフェース１３７をレンダリングすることが可能である。

動作中に、人工現実アプリケーションは、基準枠、典型的にはＨＭＤ１１２の視界に関するポーズ情報を追跡および算出することによって、ユーザ１１０に対して表示するための人工現実コンテンツ１２２を構築する。基準枠としてＨＭＤ１１２を使用して、およびＨＭＤ１１２の現在の推定されたポーズによって特定される現在の視野１３０に基づいて、人工現実アプリケーションは、３Ｄ人工現実コンテンツをレンダリングし、その３Ｄ人工現実コンテンツは、いくつかの例においては、少なくとも部分的に、ユーザ１１０の現実世界の３Ｄ物理環境上にオーバーレイされることが可能である。いくつかの例においては、人工現実アプリケーションは、ＨＭＤ１１２の１つまたは複数の奥行きセンサによって取り込まれた奥行きデータを使用して、ユーザ１１０の物理的環境の３Ｄメッシュを生成することが可能である。いくつかの例においては、３Ｄメッシュは、データポイントのセットを含むことが可能であり、その場合、データポイントのセットのそれぞれのデータポイントの、データポイントのセットのそれぞれの他のデータポイントに対する場所が知られている。たとえば、３Ｄメッシュは、コーナー１５２を表す１つまたは複数のデータポイントが、コーナー１５４を表す１つまたは複数のデータポイントよりもユーザ１１０に近いということを示すことが可能である。３Ｄメッシュを生成した後に、人工現実アプリケーションは、ユーザ１１０の物理環境の３Ｄシーンを生成するために、パススルー画像取り込みデバイス１３９によって取り込まれた現実世界の画像データのうちの少なくともいくつかを３Ｄメッシュ上にオーバーレイすることが可能である。加えて、人工現実アプリケーションは、ユーザ１１０の焦点に基づいてＨＭＤ１１２の可変焦点ディスプレイ上に表示するための物理環境の３Ｄシーンに対するオーバーレイとしての人工現実コンテンツ１２２を生成することが可能である。

いくつかの例においては、人工現実アプリケーションは、動き情報およびユーザコマンドなど、ＨＭＤ１１２から受信された感知されたデータを、そしていくつかの例においては、外部カメラなど、任意の外部センサ９０からのデータを使用して、ユーザ１１０による動きおよび／またはユーザ１１０に関する特徴追跡情報など、現実世界の物理環境内の３Ｄ情報を取り込む。感知されたデータに基づいて、人工現実アプリケーションは、ＨＭＤ１１２の基準枠に関する現在のポーズを特定することが可能であり、その現在のポーズに従って、人工現実コンテンツ１２２をレンダリングする。

人工現実アプリケーションは、ユーザのほぼリアルタイムの視線追跡（たとえば、アイトラッキングカメラ１４０によって収集される画像データの追跡）またはその他の条件によって特定されることが可能である、ユーザ１１０の現在の視野１３０に基づいて仮想コンテンツアイテムの生成およびレンダリングをトリガーすることが可能である。より具体的には、ＨＭＤ１１２のパススルー画像取り込みデバイス１３９は、パススルー画像取り込みデバイス１３９の視野１３０内にある現実世界の３Ｄ物理環境におけるオブジェクトを表す画像データを取り込む。視野１３０は、典型的にはＨＭＤ１１２の視界に対応する。いくつかの例においては、人工現実アプリケーションは、複合現実および／または拡張現実を含む人工現実コンテンツ１２２を提示する。図１Ａにおいて示されているように、人工現実アプリケーションは、人工現実コンテンツ１２２内のオブジェクト１２４、１２６などの仮想オブジェクトに沿った視野１３０内にあるユーザ１１０の周辺デバイス１３６、手１３２、および／または腕１３４の部分など、現実世界のオブジェクトの画像をレンダリングすることが可能である。その他の例においては、人工現実アプリケーションは、人工現実コンテンツ１２２内の視野１３０内にあるユーザ１１０の周辺デバイス１３６、手１３２、および／または腕１３４の部分の仮想表示をレンダリングすること（たとえば、現実世界のオブジェクトを仮想オブジェクトとしてレンダリングすること）が可能である。いずれの例においても、ユーザ１１０は、人工現実コンテンツ１２２内の視野１３０内にある自分の手１３２、腕１３４、周辺デバイス１３６、および／または任意のその他の現実世界のオブジェクトの部分を見ることが可能である。その他の例においては、人工現実アプリケーションは、ユーザの手１３２または腕１３４の表示をレンダリングしないことが可能である。

動作中に、人工現実アプリケーションは、ＨＭＤ１１２のインサイドアウト画像取り込みデバイス１３８によって取り込まれた画像データ内でオブジェクト認識を実行して、周辺デバイス１３６、手１３２を識別し、これは、ユーザ１１０の個々の指もしくは親指および／または腕１３４の全部もしくは部分を任意選択で識別することを含む。さらに、人工現実アプリケーションは、時間のスライディングウィンドウにわたって周辺デバイス１３６、手１３２（手の特定の指を任意選択で含む）、および／または腕１３４の部分の位置、向き、および構成を追跡する。いくつかの例においては、周辺デバイス１３６は、周辺デバイス１３６の動きまたは向きを追跡するための１つまたは複数のセンサ（たとえば、加速度計）を含む。

上述されているように、人工現実システム１０の複数のデバイスは、ＡＲ環境において連携して機能することが可能であり、その場合、それぞれのデバイスは、１つまたは複数の物理デバイス内の別々の物理的な電子デバイスおよび／または別々の集積回路（たとえば、ＳｏＣ）であることが可能である。この例においては、周辺デバイス１３６は、ＨＭＤ１１２と動作上でペアリングされて、人工現実システム１０内で共同で動作して人工現実体験を提供する。たとえば、周辺デバイス１３６およびＨＭＤ１１２は、コプロセッシングデバイスとして互いと通信することが可能である。一例として、仮想環境において周辺デバイス１３６上にオーバーレイされている仮想ユーザインターフェース１３７の仮想ユーザインターフェース要素のうちの１つに対応する場所でユーザがユーザインターフェースジェスチャーを実行したときに、人工現実システム１０は、ユーザインターフェースを検知し、ＨＭＤ１１２にレンダリングされるアクションを実行する。

いくつかの例示的な実施態様においては、本明細書において記述されているように、周辺デバイス１３６およびＨＭＤ１１２はそれぞれ、コアプリケーションプロセッサ、センサアグリゲータ、ディスプレイコントローラなどとして動作するＳｏＣなど、人工現実アプリケーションをサポートするように構成されている１つまたは複数のＳｏＣ集積回路を含むことが可能である。

いくつかの例においては、人工現実システム１０の人工現実アプリケーションは、パススルー画像取り込みデバイス１３９によって取り込まれた現実世界の画像データおよびアイトラッキングカメラ１４０によって取り込まれた焦点データに基づいて、ＨＭＤ１１２による表示のための人工現実コンテンツ１２２を生成するように構成されている。たとえば、人工現実アプリケーションは、アイトラッキングカメラ１４０によって取り込まれた焦点データに基づいてユーザ１１０の視線の焦点および／またはユーザ１１０の被写界深度を特定することが可能である。焦点データは、いくつかの例においては、基準ポイントの第１のセットに関するユーザ１１０の第１の瞳孔の位置を示す画像データ、および基準ポイントの第２のセットに関するユーザ１１０の第２の瞳孔の位置を示す画像データを表すことが可能である。人工現実アプリケーションは、基準ポイントの第１のセットに関する第１の瞳孔の位置、および基準ポイントの第２のセットに関する第２の瞳孔の位置に基づいてユーザ１１０の焦点を特定することが可能である。焦点とは、ユーザ１１０が焦点を合わせているポイントまたは平面を指すことが可能である。被写界深度は、画像において、またはユーザによって知覚されるシーンにおいて焦点が合っている（たとえば、鮮明に見えている）最も近いオブジェクトと最も遠いオブジェクトとの間における距離を指すことが可能である。本明細書において記述されているように、被写界深度はさらに、焦点の合っている最も近いオブジェクトとユーザとの間における距離、および焦点の合っている最も遠いオブジェクトとユーザとの間における距離を含むことが可能である。

追加として、または代替として、人工現実アプリケーションは、インサイドアウト画像取り込みデバイス１３８、パススルー画像取り込みデバイス１３９、奥行きプロジェクタセンサ、またはそれらの任意の組合せによって取り込まれた画像データに基づいてユーザ１１０の焦点を特定することが可能である。たとえば、人工現実アプリケーションは、人工現実コンテンツ１２２における１つまたは複数のオブジェクトとのユーザ対話を検知したことに基づいてユーザ１１０の焦点を特定することが可能である。たとえば、人工現実アプリケーションは、視野１３０内でユーザ１１０の手１３４が周辺デバイス１３６を保持していると特定することが可能である。人工現実アプリケーションは、視野１３０内でユーザ１１０が周辺デバイス１３６と対話しているということを識別したことに基づいて、ユーザ１１０の焦点が周辺デバイス１３６に近接していると特定することが可能である。いくつかの例においては、人工現実アプリケーションは、アイトラッキングカメラ１４０によって取り込まれた焦点データと、視野１３０内での１つまたは複数のオブジェクトとのユーザ対話の識別との両方に基づいてユーザ１１０の焦点を特定することが可能である。いくつかの例においては、人工現実アプリケーションは、アイトラッキングカメラ１４０によって取り込まれた焦点データに基づいてユーザ１１０の焦点を特定することが可能である。いくつかの例においては、人工現実アプリケーションは、視野１３０内での１つまたは複数のオブジェクトとのユーザ対話の識別に基づいてユーザ１１０の焦点を特定することが可能である。

いくつかの例においては、人工現実アプリケーションは、ユーザ１１０の１つまたは複数の瞳孔および／または角膜に関連している情報に基づいてユーザ１１０の焦点を特定することが可能である。たとえば、アイトラッキングカメラ１４０によって取り込まれる画像データは、ユーザ１１０の１つまたは複数の瞳孔および／または角膜に関連していることに関連している情報を含むことが可能である。いくつかの例においては、アイトラッキングカメラ１４０によって取り込まれる画像データは、ユーザ１１０の左瞳孔の中心の場所および／または右瞳孔の中心の場所を含むことが可能である。人工現実アプリケーションは、左瞳孔の中心の場所および／または右瞳孔の中心の場所に基づいてユーザ１１０の焦点を特定することが可能である。いくつかの場合においては、人工現実アプリケーションは、ユーザ１１０の瞳孔および／または角膜に関連しているその他の情報に基づいてユーザ１１０の焦点および／または視線方向を特定することが可能である。たとえば、人工現実アプリケーションは、左角膜の形状、右角膜の形状、または、左角膜もしくは右角膜の一方もしくは両方から反射された赤外光を示す情報に基づいてユーザ１１０の焦点および／または視線方向を特定することが可能である。

上述されているように、人工現実アプリケーションは、ＨＭＤ１１２の１つまたは複数の奥行きセンサ（たとえば、インサイドアウト画像取り込みデバイス１３８）によって収集された奥行きデータに基づいて３Ｄメッシュを生成することが可能である。３Ｄメッシュは、データポイントのセットを含むことが可能であり、その場合、データポイントのセットのそれぞれのデータポイントの、データポイントのセットのそれぞれの他のデータポイントに対する場所が知られている。３Ｄメッシュは、ユーザ１１０の物理環境のトポグラフィーを表すことが可能である。たとえば、３Ｄメッシュは、ユーザ１１０の現実世界の物理環境内の１つまたは複数の物理オブジェクトおよび／またはポイント（たとえば、壁１２１、手１３２、腕１３４、周辺デバイス１３６、コーナー１５２、およびコーナー１５４）の場所のデジタル表示を含む。３Ｄメッシュは、たとえば、手１３２がコーナー１５２よりもユーザ１１０に近いということを示すことが可能である。加えて、いくつかの場合においては、３Ｄメッシュは、ユーザ１１０の現実世界の３Ｄ物理環境内の任意の２つ以上のオブジェクトまたはポイントの間における距離を示すことが可能である。人工現実アプリケーションは、ほぼリアルタイムで３Ｄメッシュを生成することが可能であり、それによって３Ｄメッシュは、ユーザ１１０の物理環境における変化を反映する。たとえば、ユーザ１１０が手１３２を動かした場合には、人工現実アプリケーションは、ほぼリアルタイムで手１３２の動きが分かるように３Ｄメッシュを更新することが可能である。人工現実アプリケーションは、パススルー画像取り込みデバイス１３９によって収集された現実世界の画像データの少なくとも一部分を３Ｄメッシュ上にオーバーレイすることによって３Ｄシーンを生成することが可能である。加えて、人工現実アプリケーションは、ユーザ１１０の検知された焦点に基づいて３Ｄシーンに対するオーバーレイとしての人工現実コンテンツ１２２を生成することが可能である。

３Ｄメッシュおよびアイトラッキングカメラ１４０は、人工現実アプリケーションが可変焦点体験をユーザ１１０に提供することを可能にすることができる。たとえば、人工現実アプリケーションは、ユーザ１１０の被写界深度を識別することが可能である。例として、被写界深度は、コーナー１５２を含む一方で、コーナー１５４、周辺デバイス１３６、手１３２、および腕１３４を除外することが可能である。次いで人工現実アプリケーションは、ユーザ１１０の被写界深度に一致するように、ほぼリアルタイムで人工現実コンテンツ１２２を生成することが可能である。言い換えれば、人工現実アプリケーションは、ユーザ１１０が被写界深度内のコーナー１５２およびその他のポイントを、鮮明である、または「焦点が合っている」として知覚する一方で、被写界深度の外側にあるコーナー１５４、周辺デバイス１３６、手１３２、腕１３４、およびその他のオブジェクトまたはポイントを、ぼやけている、または「焦点が合っていない」として知覚するように、人工現実コンテンツ１２２を生成することが可能である。３Ｄメッシュは、ＨＭＤ１１２の位置に対する、人工現実コンテンツ１２２に含まれているそれぞれのオブジェクトの奥行きを示す。この方法においては、人工現実コンテンツ１２２を生成するために、人工現実アプリケーションは、人工現実コンテンツ１２２におけるオブジェクトを、３Ｄメッシュによって示されるそのオブジェクトの奥行きがユーザ１１０の検知された被写界深度内にあるかどうかに基づいて、ぼかすこと、またはぼかさないことが可能である。

いくつかの例においては、人工現実アプリケーションは、人工現実コンテンツ１２２内の１つまたは複数のオブジェクトに関するユーザ１１０の焦点を検知したことに基づいてインサイドアウト画像取り込みデバイス１３８およびその他の奥行きセンサを較正することが可能である。いくつかの例においては、人工現実アプリケーションは、コーナー１５２など、人工現実コンテンツ１２２におけるオブジェクトにユーザ１１０が焦点を合わせていると特定することが可能である。そのようなときに、人工現実アプリケーションは、ユーザ１１０がコーナー１５２に焦点を合わせている間のユーザ１１０の焦点を特定することが可能である。人工現実アプリケーションは、ユーザ１１０がコーナー１５２に焦点を合わせている間のユーザ１１０の焦点、および／またはユーザ１１０が人工現実コンテンツ１２２内の別のオブジェクトに焦点を合わせている間のユーザ１１０の焦点に基づいてインサイドアウト画像取り込みデバイス１３８を較正することが可能である。

ＨＭＤ１１２は、ユーザ１１０の検知された焦点に基づいてＨＭＤ１１２の可変焦点ディスプレイの焦点距離を修正することが可能である。たとえば、人工現実アプリケーションは、アイトラッキングカメラ１４０によって収集された画像データに基づいてユーザ１１０の焦点を検知することが可能である。次いでＨＭＤ１１２は、ユーザ１１０の目に対してＨＭＤ１１２の可変焦点ディスプレイを移動することが可能である。たとえば、ＨＭＤ１１２は、モータ（たとえば、電気モータ）を含む可変焦点ディスプレイ上でユーザ１１０に対して人工現実コンテンツ１２２を表示することが可能である。人工現実アプリケーションは、ユーザ１１０の検知された焦点に一致させるためにユーザ１１０の目に対してディスプレイパネルを移動するための命令を出力することが可能である。そのようなものとして、ＨＭＤ１１２は、人工現実アプリケーションが可変焦点ディスプレイを移動することを可能にする機械式の可変焦点システムを実装することが可能である。人工現実アプリケーションは、ほぼリアルタイムでユーザ１１０の焦点を特定することが可能である。この方法においては、人工現実アプリケーションは、ユーザ１１０の検知された焦点に基づいて、ほぼリアルタイムで可変焦点ディスプレイの焦点距離を修正することが可能である。追加として、または代替として、ＨＭＤ１１２は、１つまたは複数の撮像コンポーネントの性質を変える光学式の可変焦点システムを実装することが可能である。ユーザ１１０の特定された焦点に基づくＨＭＤ１１２の。

いくつかの例においては、人工現実アプリケーションは、アイトラッキングカメラ１４０によって収集された焦点データに基づいてユーザ１１０のその後の焦点を予測することが可能である。たとえば、人工現実アプリケーションは、ある期間にわたる基準ポイントの第１のセットに関するユーザ１１０の第１の瞳孔の位置を追跡すること、およびその期間にわたる基準ポイントの第２のセットに関するユーザ１１０の第２の瞳孔の位置を追跡することが可能である。続いて、人工現実アプリケーションは、その期間にわたる基準ポイントの第１のセットに関する第１の瞳孔の位置の動きに基づいて、基準ポイントの第１のセットに関する第１の瞳孔の位置の予想されるその後の動きを特定すること、およびその期間にわたる基準ポイントの第２のセットに関する第２の瞳孔の位置の動きに基づいて、基準ポイントの第２のセットに関する第２の瞳孔の位置の予想されるその後の動きを特定することが可能である。人工現実アプリケーションは、第１の瞳孔の位置の予想されるその後の動き、および第２の瞳孔の位置の予想されるその後の動きに基づいて、ユーザ１１０の予想されるその後の焦点を特定することが可能である。いくつかの例においては、人工現実アプリケーションは、人工現実コンテンツ１２２を生成すること、かつ／またはユーザ１１０の予想されるその後の焦点距離に基づいて可変焦点ディスプレイの焦点距離を修正することが可能である。追加として、または代替として、人工現実アプリケーションは、人工現実コンテンツ１２２を生成すること、かつ／またはユーザ１１０の予想されるその後の焦点およびユーザ１１０の現在の焦点の両方に基づいて可変焦点ディスプレイの焦点距離を修正することが可能である。

本明細書において記述されている１つまたは複数の技術は、実用的な用途を提供する１つまたは複数の技術的な改善を提供することが可能である。たとえば、１つまたは複数のアイトラッキングカメラ１４０によって取り込まれた焦点データを使用して、ユーザの焦点および被写界深度の一方または両方を特定することによって、人工現実アプリケーションは、仮想シーンを生成する上で焦点データを使用しない人工現実システムと比較して、ＨＭＤ１１２によって表示される仮想シーン（たとえば、人工現実コンテンツ１２２）を改善することが可能である。言い換えれば、人工現実システム１０は、ユーザ１１０の被写界深度内にあるオブジェクトに焦点を合わせるように人工現実コンテンツ１２２をカスタマイズして、人工現実システム１０が現実世界の環境を模倣することを可能にすることができる。加えて、３次元メッシュは、ＨＭＤ１１２によってユーザ１１０に対して表示される人工現実コンテンツ１２２のための基礎として役立つ、ユーザ１１０に近接している現実世界の環境の一部である１つまたは複数のオブジェクトの奥行きを示す情報を含むことが可能である。したがって、ユーザが人工現実コンテンツ１２２における１つまたは複数のオブジェクトに焦点を合わせる際に、ＨＭＤ１１２は、ユーザ１１２の検知された焦点に基づいて可変焦点ディスプレイの焦点距離を修正することが可能である。

図１Ｂは、本開示の１つまたは複数の技術による、仮想環境を複数のユーザに提示するための人工現実システム２０を示す概念図である。図１Ａの人工現実システム１０と同様に、いくつかの例においては、図１Ｂの人工現実システム２０は、マルチユーザ人工現実環境内で仮想コンテンツアイテムを生成してレンダリングすることが可能である。人工現実システム２０はまた、さまざまな例において、ユーザによる周辺デバイス１３６との１つまたは複数の特定の対話の検知に応答して、特定の仮想コンテンツアイテムおよび／またはグラフィカルユーザインターフェース要素を生成してユーザに対してレンダリングすることが可能である。

図１Ｂの例においては、人工現実システム２０は、外部カメラ１０２Ａおよび１０２Ｂ（総称して、「外部カメラ１０２」）、ＨＭＤ１１２Ａ～１１２Ｃ（総称して、「ＨＭＤ１１２」）、コントローラ１１４Ａおよび１１４Ｂ（総称して、「コントローラ１１４」）、コンソール１０６、およびセンサ９０を含む。図１Ｂにおいて示されているように、人工現実システム２０は、コンソール１０６および／またはＨＭＤ１１２上で実行する人工現実アプリケーションが、それぞれのユーザに関する対応する基準枠の現在の視界に基づいてユーザ１１０Ａ～１１０Ｃ（総称して、「ユーザ１１０」）のそれぞれに人工現実コンテンツを提示するマルチユーザ環境に相当する。すなわち、この例においては、人工現実アプリケーションは、ＨＭＤ１１２のうちのそれぞれに関する基準枠に関するポーズ情報を追跡および算出することによって人工現実コンテンツを構築する。人工現実システム２０は、ＨＭＤ１１２の対応する基準枠に関する更新されたポーズ情報を算出する際に使用する目的で、ユーザ１１０による動きなど、現実世界の環境内の３Ｄ情報、ならびに／またはユーザ１１０およびオブジェクト１０８に関する追跡情報を取り込むために、カメラ１０２、ＨＭＤ１１２、およびコントローラ１１４から受信されたデータを使用する。一例として、人工現実アプリケーションは、ＨＭＤ１１２Ｃに関して特定された現在の視界に基づいて、現実世界のオブジェクト１０８Ａ～１０８Ｂ（総称して、「現実世界のオブジェクト１０８」）上に空間的にオーバーレイされた仮想オブジェクト１２８Ａ～１２８Ｂ（総称して、「仮想オブジェクト１２８」）を有する人工現実コンテンツ１２２をレンダリングすることが可能である。さらに、ＨＭＤ１１２Ｃの視点から、人工現実システム２０は、ユーザ１１０Ａ、１１０Ｂそれぞれに関する推定された位置に基づいてアバター１２０Ａ、１２０Ｂをレンダリングする。ＨＭＤ１１２Ｃは、図１のＨＭＤ１１２の例であることが可能である。

ＨＭＤ１１２のうちのそれぞれは、人工現実システム２０内で同時に動作する。図１Ｂの例においては、ユーザ１１０のうちのそれぞれが、人工現実アプリケーションにおける「プレーヤ」または「参加者」である場合があり、ユーザ１１０のうちのいずれかが、人工現実アプリケーションにおける「観客」または「観察者」である場合がある。ＨＭＤ１１２Ｃは、ユーザ１１０Ｃの手１３２および／または腕１３４を追跡して、視野１３０内にある手１３２の部分を仮想の手１３２として人工現実コンテンツ１２２内にレンダリングすることによって、図１ＡのＨＭＤ１１２と実質的に同様に動作することが可能である。ＨＭＤ１１２Ｂは、ユーザ１１０Ｂによって保持されているコントローラ１１４からユーザ入力を受け取ることが可能である。いくつかの例においては、コントローラ１１４Ａおよび／または１１４Ｂは、図１Ａの周辺デバイス１３６に対応すること、および図１Ａの周辺デバイス１３６と実質的に同様に動作することが可能である。ＨＭＤ１１２Ａは、図１ＡのＨＭＤ１１２と実質的に同様に動作すること、およびユーザ１１０Ａの手１３２Ａ、１３２Ｂによって周辺デバイス１３６上で、または周辺デバイス１３６との間で実行されるジェスチャーの形態でのユーザ入力を受け取ることも可能である。ＨＭＤ１１２Ｂは、ユーザ１１０Ｂによって保持されているコントローラ１１４からユーザ入力を受け取ることが可能である。コントローラ１１４は、Ｂｌｕｅｔｏｏｔｈなどの短距離ワイヤレス通信の近距離無線通信を使用して、有線通信リンクを使用して、またはその他のタイプの通信リンクを使用して、ＨＭＤ１１２Ｂと通信状態にあることが可能である。

いくつかの例においては、人工現実システム２０のコンソール１０６および／またはＨＭＤ１１２Ｃは、仮想コンテンツアイテム１２９（たとえば、ＧＩＦ、写真、アプリケーション、ライブストリーム、ビデオ、テキスト、ウェブブラウザ、描画、アニメーション、３Ｄモデル、データファイル（２次元のおよび３次元のデータセットを含む）の表示、または任意のその他の可視メディア）を含む仮想表面を生成してレンダリングすることが可能であり、これは、仮想コンテンツアイテム１２９に関連付けられている壁１２１の部分がＨＭＤ１１２Ｃの視野１３０内に入ったときに、ユーザ１１０Ｃに対して表示される人工現実コンテンツ１２２上にオーバーレイされることが可能である。図１Ｂにおいて示されているように、ＨＭＤ１１２Ｃの画像取り込みデバイス１３８を介して取り込まれた画像データに加えて、またはその代わりに、外部カメラ１０２からの入力データが使用されて、周辺デバイス１３６、および／または、ユーザ１１０Ｃの手１３２など、手の個々の指（親指以外の指、親指）および／または指どうし（親指以外の指、親指）の組合せの動きを含む、ユーザ１１０の手および腕の特定の動き、構成、位置、および／または向きを追跡および検知することが可能である。

いくつかの例においては、人工現実アプリケーションは、コンソール１０６上で稼働することが可能であり、外部カメラ１０２Ａおよび１０２Ｂを利用して、手１３２Ｂの構成、位置、および／または向きを分析して、ＨＭＤ１１２Ａのユーザによって実行され得る入力ジェスチャーを識別することが可能である。同様に、ＨＭＤ１１２Ｃは、画像取り込みデバイス１３８を利用して、周辺デバイス１３６および手１３２Ｃの構成、位置、および／または向きを分析して、ＨＭＤ１１２Ｃのユーザによって実行され得るジェスチャーを入力することが可能である。いくつかの例においては、周辺デバイス１３６は、周辺デバイス１３６の動きまたは向きを追跡するための１つまたは複数のセンサ（たとえば、加速度計）を含む。人工現実アプリケーションは、図１Ａに関して上述されているのと同様の様式で、そのようなジェスチャー、動き、および向きに応答して、仮想コンテンツアイテムおよび／またはＵＩ要素をレンダリングすることが可能である。

外部カメラ１０２およびインサイドアウト画像取り込みデバイス１３８は、可視光スペクトル、赤外線スペクトル、またはその他のスペクトルでの画像を取り込むことが可能である。たとえば、オブジェクト、オブジェクトポーズ、およびジェスチャーを識別するための本明細書において記述されている画像処理は、赤外線画像、可視光スペクトル画像などを処理することを含むことが可能である。

人工現実システム２０のデバイスは、ＡＲ環境において連携して機能することが可能である。たとえば、周辺デバイス１３６は、ＨＭＤ１１２Ｃとペアリングされて、ＡＲシステム２０内で共同で動作する。同様に、コントローラ１１４は、ＨＭＤ１１２Ｂとペアリングされて、ＡＲシステム２０内で共同で動作する。周辺デバイス１３６、ＨＭＤ１１２、およびコントローラ１１４はそれぞれ、人工現実アプリケーションのための動作環境を可能にするように構成されている１つまたは複数のＳｏＣ集積回路を含むことが可能である。

いくつかの例においては、ＨＭＤ１１２のうちのそれぞれのＨＭＤは、１つまたは複数の画像取り込みデバイス、および１つまたは複数のアイトラッキングカメラを含む。たとえば、ＨＭＤ１１２Ｃは、インサイドアウト画像取り込みデバイス１３８、パススルー画像取り込みデバイス１３９、およびアイトラッキングカメラ１４０Ａ～１４０Ｂ（総称して、「アイトラッキングカメラ１４０）を含む。人工現実アプリケーションは、ＨＭＤ１１２のうちの任意の１つまたは複数によって表示するための人工現実コンテンツを生成することが可能である。ＨＭＤ１１２のうちのそれぞれは、図１のＨＭＤ１１２に関して記述されている任意の１つまたは複数の技術を実行することが可能である。

図２Ａは、本開示の１つまたは複数の技術による、仮想シーンをユーザに提示するための例示的なＨＭＤ１１２および例示的な周辺デバイス１３６を示す概念図である。図２ＡのＨＭＤ１１２は、図１Ａおよび図１ＢのＨＭＤ１１２のうちのいずれかの例であることが可能である。ＨＭＤ１１２は、図１Ａ、図１Ｂの人工現実システム１０、２０など、人工現実システムの一部であることが可能であり、または本明細書において記述されている技術を実施するように構成されているスタンドアロンの移動式の人工現実システムとして動作することが可能である。

この例においては、ＨＭＤ１１２は、ＨＭＤ１１２をユーザに固定するための前部剛体およびバンドを含む。加えて、ＨＭＤ１１２は、人工現実コンテンツをユーザに提示するように構成されている内向きの可変焦点ディスプレイ２０３を含む。可変焦点ディスプレイ２０３は、液晶ディスプレイ（ＬＣＤ）、量子ドットディスプレイ、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ブラウン管（ＣＲＴ）ディスプレイ、ｅ－ｉｎｋ、または、視覚出力を生成することが可能なモノクロ、カラー、もしくは任意のその他のタイプのディスプレイなど、任意の適切なディスプレイテクノロジーであることが可能である。いくつかの例においては、可変焦点ディスプレイは、ユーザのそれぞれの目に別々の画像を提供するための立体視ディスプレイである。いくつかの例においては、ＨＭＤ１１２およびユーザの現在の視界に従って人工現実コンテンツをレンダリングするためにＨＭＤ１１２の位置および向きを追跡する際に、ＨＭＤ１１２の前部剛体に対するディスプレイ２０３の既知の向きおよび位置が、基準枠（局所原点とも呼ばれる）として使用される。その他の例においては、ＨＭＤ１１２は、メガネまたはゴーグルなど、その他のウェアラブルヘッドマウントディスプレイの形態を取ることが可能である。いくつかの例においては、ＨＭＤ１１２は、ユーザの両方の目に順次または同時に画像を提供するための単一の可変焦点ディスプレイ２０３を含むことが可能である。いくつかの例においては、ＨＭＤ１１２は、２つの可変焦点ディスプレイ、すなわち、ユーザ１１０の目ごとに１つの可変焦点ディスプレイを含むことが可能である。いくつかの例においては、ＨＭＤ１１２は、ミニチュアプロジェクタによって生成された角度領域における画像を直接ユーザの目へ搬送するために使用される瞳孔複製導波路を含むことが可能である。

いくつかの例においては、ディスプレイ２０３は、軸２０４に沿ってＨＭＤ１１２内を移動することが可能である。たとえば、ディスプレイ２０３の動きは、ディスプレイ２０３をＨＭＤ１１２のユーザの目に対して近づけたり遠ざけたりするように構成されているモータ（たとえば、電気モータ）によって制御されることが可能である。ディスプレイ２０３を移動することによって、ＨＭＤ１１２のユーザは、ディスプレイ２０３によって提示される人工現実コンテンツにユーザが焦点を合わせる方法を変えることが可能である。たとえば、ディスプレイ２０３をユーザの目に近づけること、またはディスプレイ２０３をユーザの目から遠ざけることによって、ディスプレイ２０３の焦点距離をユーザの焦点と一致させることが可能である。この方法においては、ＨＭＤ１１２は、ディスプレイ２０３によって提示される人工現実コンテンツの焦点を変えるように構成されているので、ＨＭＤ１１２は、可変焦点デバイスに相当することが可能である。

図２Ａにおいてさらに示されているように、この例においては、ＨＭＤ１１２はさらに、ＨＭＤ１１２の現在の加速度を示すデータを出力する１つもしくは複数の加速度計（慣性測定ユニットもしくは「ＩＭＵ」とも呼ばれる）、ＨＭＤ１１２の場所を示すデータを出力するＧＰＳセンサ、さまざまなオブジェクトからのＨＭＤ１１２の距離を示すデータを出力するレーダーもしくはソナー、または物理環境内のＨＭＤ１１２もしくはその他のオブジェクトの場所もしくは向きの表示を提供するその他のセンサなど、１つまたは複数のモーションセンサ２０６を含む。ＨＭＤ１１２は、ＨＭＤ１１２のユーザの現実世界の３Ｄ物理環境における１つまたは複数のポイントおよび／またはオブジェクトの奥行きを示す奥行きデータを収集することが可能である。いくつかの例においては、奥行きセンサ２０８が、奥行きデータを収集することが可能である。いくつかの例においては、インサイドアウト画像取り込みデバイス１３８が、画像データを収集することが可能である。

ＨＭＤ１１２は、物理環境を表す画像データを取り込むように構成されている、ビデオカメラ、レーザースキャナ、ドップラーレーダースキャナ、奥行きスキャナ等など、統合されたインサイドアウト画像取り込みデバイス１３８Ａおよび１３８Ｂ（総称して、「インサイドアウト画像取り込みデバイス１３８」）を含むことが可能である。より具体的には、インサイドアウト画像取り込みデバイス１３８は、典型的にはＨＭＤ１１２の視野と対応する、インサイドアウト画像取り込みデバイス１３８の視野１３０Ａ、１３０Ｂ内にある物理環境におけるオブジェクト（周辺デバイス１３６および／または手１３２を含む）を表す画像データを取り込む。いくつかの例においては、インサイドアウト画像取り込みデバイス１３８のうちの２つ以上が、ＨＭＤ１１２のユーザの現実世界の３Ｄ物理環境における１つまたは複数のポイントおよび／またはオブジェクトの奥行きを示す奥行きデータを収集することが可能である。この方法においては、インサイドアウト画像取り込みデバイス１３８は、奥行きセンサ２０８に相当することが可能である。その他のケースにおいては、インサイドアウト画像取り込みデバイス１３８および奥行きセンサ２０８は、別々のデバイスであることが可能である。

ＨＭＤ１１２は、１つまたは複数のパススルー画像取り込みデバイス１３９を含むことが可能である。パススルー画像取り込みデバイス１３９は、現実世界の画像データをカラーで、かつインサイドアウト画像取り込みデバイス１３８よりも高い解像度で取り込んで、人工現実システムがＨＭＤ１１２を介してユーザに対して現実世界の画像データのうちの少なくともいくつかを表示することまたは「渡すこと」を可能にするように構成されることが可能である。言い換えれば、ＨＭＤ１１２は、ＨＭＤ１１２を使用していなければユーザが見ているであろう現実世界のシーンの１つまたは複数の要素、オブジェクト、および側面を含む仮想シーンをユーザに対して表示することが可能である。

ＨＭＤ１１２は、内部制御ユニット２１０を含み、内部制御ユニット２１０は、内部電源と、１つまたは複数のプロセッサを有する１つまたは複数のプリント回路基板と、メモリと、感知されたデータを処理してディスプレイ２０３上に人工現実コンテンツを提示するためのプログラム可能な動作オペレーションを実行するための動作環境を提供するためのハードウェアとを含むことが可能である。制御ユニット２１０によって実行されるものとして本明細書において記述されている１つまたは複数の技術は、いくつかの例においては、コンソール１０６、周辺デバイス１３６、およびＨＭＤ１１２の任意の１つまたは組合せによって実行されることが可能である。

ＨＭＤ１１２は、アイトラッキングカメラ１４０Ａおよびアイトラッキングカメラ１４０Ｂ（総称して、「アイトラッキングカメラ１４０」）を含むことが可能である。アイトラッキングカメラ１４０のうちのそれぞれのアイトラッキングカメラは、基準ポイントのそれぞれのセットに関するＨＭＤ１１２のユーザの瞳孔を示す画像データを取り込むことが可能である。たとえば、アイトラッキングカメラ１４０Ａは、基準ポイントの第１のセットに関するユーザの第１の瞳孔（たとえば、左瞳孔）の位置を示す画像データを取り込むことが可能であり、アイトラッキングカメラ１４０Ｂは、基準ポイントの第２のセットに関するユーザの第２の瞳孔（たとえば、右瞳孔）の位置を示す画像データを取り込むことが可能である。いくつかの例においては、基準ポイントの第１のセットに関する第１の瞳孔の位置、および基準ポイントの第２のセットに関する第２の瞳孔の位置は、ユーザの被写界深度（たとえば、焦点）を示すことが可能であるので、アイトラッキングカメラ１４０によって取り込まれた画像データは、焦点データに相当することが可能である。

被写界深度は、画像において、またはユーザによって知覚されるシーンにおいて焦点が合っている（たとえば、鮮明に見えている）最も近いオブジェクトと最も遠いオブジェクトとの間における距離を表すことが可能である。本明細書において記述されているように、被写界深度はさらに、焦点の合っている最も近いオブジェクトとユーザとの間における距離、および焦点の合っている最も遠いオブジェクトとユーザとの間における距離を含むことが可能である。たとえば、観察者にとって焦点が合っている最も近いオブジェクトが、観察者から１０メートル離れていて、観察者にとって焦点が合っている最も遠いオブジェクトが、観察者から１１．５メートル離れている場合には、観察者の焦点深度は、１．５メートルである。そのような例においては、１０メートルよりも近いオブジェクト、および１２メートルよりも遠いオブジェクトは、観察者にとってぼやけて見える場合があり、１０メートルから１２メートルまでの範囲内のオブジェクトは、観察者にとって鮮明に見える場合がある。いくつかの例においては、パススルー画像取り込みデバイス１３９によって取り込まれた画像データの被写界深度は、「対象までの距離」に比例することが可能であり、その距離は、パススルー画像取り込みデバイス１３９と、画像取り込みデバイス１３９が焦点を合わせているオブジェクトとの間における距離である。画像取り込みデバイス１３９が人工現実コンテンツ１２２内の周辺デバイスに焦点を合わせている場合においては、画像取り込みデバイス１３９によって取り込まれた画像データの被写界深度は、たとえば、画像取り込みデバイス１３９がコーナー１５４に焦点を合わせている場合におけるよりも小さいことが可能である。レンズの屈折力は、いくつかの場合においては、距離の関数であることも可能である。たとえば、レンズの屈折力は、レンズの焦点距離に反比例する。視度が、レンズの屈折力の測定単位である。

一例においては、制御ユニット２１０は、感知されたデータ（たとえば、画像取り込みデバイス１０２、インサイドアウト画像取り込みデバイス１３８、およびパススルー画像取り込みデバイス１３９のうちのいずれか１つまたは複数によって取り込まれた画像データ、ならびにＧＰＳセンサからの位置情報）に基づいて、インサイドアウト画像取り込みデバイス１３８の視野１３０Ａ、１３０Ｂ内に、または画像取り込みデバイス１３９の視野１３０Ｃ内に含まれている位置に関連付けられている１つまたは複数の仮想コンテンツアイテム（たとえば、図１Ａの仮想コンテンツアイテム１２４、１２６）を生成して、ディスプレイ２０３上に表示するためにレンダリングするように構成されている。図１Ａ～図１Ｂを参照しながら説明されているように、仮想コンテンツアイテムは、現実世界の環境内の位置に関連付けられることが可能であり、制御ユニット２１０は、仮想コンテンツ（またはその部分）に関連付けられている位置が現在の視野１３０Ａ、１３０Ｂ内にあるという特定に応答して、ディスプレイ２０３上に表示するために仮想コンテンツアイテム（またはその部分）をレンダリングするように構成されることが可能である。

一例においては、制御ユニット２１０は、感知されたデータに基づいて、ユーザによって実行された特定のジェスチャーまたはジェスチャーの組合せを識別し、それに応答してアクションを実行するように構成されている。たとえば、１つの識別されたジェスチャーに応答して、制御ユニット２１０は、可変焦点ディスプレイ２０３上に表示するための特定のユーザインターフェースを生成して、周辺デバイス１３６の位置に対してロックされているユーザインターフェース位置にレンダリングすることが可能である。たとえば、制御ユニット２１０は、１つまたは複数のＵＩ要素（たとえば、仮想ボタン）を含むユーザインターフェースを生成して、周辺デバイス１３６の表面２２０上に、または周辺デバイス１３６に近接して（たとえば、周辺デバイス１３６の上に、下に、もしくは隣に）レンダリングすることが可能である。制御ユニット２１０は、インサイドアウト画像取り込みデバイス１３８によって取り込まれた画像データ内でオブジェクト認識を実行して、周辺デバイス１３６、および／またはユーザの手１３２、指、親指、腕、もしくは別の部分を識別し、周辺デバイス１３６および／またはユーザの識別された部分の動き、位置、構成などを追跡して、ユーザによって実行された事前に定義されているジェスチャーを識別することが可能である。事前に定義されているジェスチャーを識別したことに応答して、制御ユニット２１０は、ユーザインターフェースに関連付けられているオプションセットからオプションを選択すること（たとえば、ＵＩメニューからオプションを選択すること）、ジェスチャーを入力（たとえば、文字）へと変換すること、アプリケーションを起動すること、仮想コンテンツを操作すること（たとえば、仮想コンテンツアイテムを移動すること、回転させること）、仮想マーキングを生成してレンダリングすること、レーザーポインタを生成してレンダリングすること、またはコンテンツをその他の形で表示すること等など、何らかのアクションを取る。たとえば、制御ユニット２１０は、ユーザインターフェースを明らかにするための「トリガー」として指定された事前に定義されているジェスチャー（たとえば、周辺デバイスを横長のまたは水平の向き（図示せず）にすること）を検知したことに応答して、メニューなどのユーザインターフェースを動的に生成して提示することが可能である。いくつかの例においては、制御ユニット２１０は、レンダリングされたユーザインターフェースに関する、感知されたデータに基づくユーザ入力（たとえば、仮想ＵＩ要素上で実行されたタップするジェスチャー）を検知する。いくつかの例においては、制御ユニット２１０は、コンソール１０６など、外部デバイスからの指示に応答して、そのような機能を実行し、外部デバイスは、オブジェクト認識、動き追跡およびジェスチャー検知、またはそれらの任意の部分を実行することが可能である。

例として、制御ユニット２１０は、インサイドアウト画像取り込みデバイス１３８Ａおよび１３８Ｂを利用して、周辺デバイス１３６、手１３２、および／または腕１３４の構成、位置、動き、および／または向きを分析して、周辺デバイス１３６に関してユーザによって実行され得るユーザインターフェースジェスチャー、選択ジェスチャー、スタンプを押すジェスチャー、平行移動ジェスチャー、回転ジェスチャー、描画ジェスチャー、指差しジェスチャーなどを識別することが可能である。制御ユニット２１０は、以降でさらに詳細に記述されているように、周辺デバイスに関してユーザによって実行されるユーザインターフェースジェスチャー、選択ジェスチャー、スタンプを押すジェスチャー、平行移動ジェスチャー、回転ジェスチャー、および描画ジェスチャーの検知に基づいてＵＩメニュー（ＵＩ要素を含む）をレンダリングし、ユーザがそのＵＩメニューとインターフェースを取ることを可能にすることができる。

一例においては、周辺デバイス１３６の表面２２０は、タッチおよび／またはホバリング入力を検知するために、容量性、導電性、抵抗性、音響、またはその他のテクノロジーを使用する表面など、プレゼンスセンシティブ表面である。いくつかの例においては、周辺デバイス１３６の表面２２０は、タッチスクリーン（たとえば、容量性タッチスクリーン、抵抗性タッチスクリーン、弾性表面波（ＳＡＷ）タッチスクリーン、赤外線タッチスクリーン、光学イメージングタッチスクリーン、音響パルス認識タッチスクリーン、または任意のその他のタッチスクリーン）である。そのような例においては、周辺デバイス１３６は、表面２２０上にユーザインターフェースまたはその他の仮想要素（たとえば、仮想マーキング）をレンダリングし、表面２２０上でのユーザ入力（たとえば、タッチまたはホバリング入力）を検知することが可能である。その例においては、周辺デバイス１３６は、ワイヤレス通信リンク（たとえば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈなどの短距離ワイヤレス通信の近距離無線通信）を使用して、有線通信リンク（図示せず）を使用して、またはその他のタイプの通信リンクを使用して、いかなる検知されたユーザ入力もＨＭＤ１１２（および／または図１Ａのコンソール１０６）へ通信することが可能である。いくつかの例においては、周辺デバイスは、仮想コンテンツと対話するための（たとえば、仮想ＵＩ要素を選択するための、仮想ＵＩ要素をスクロールするための）１つまたは複数の入力デバイス（たとえば、ボタン、トラックボール、スクロールホイール）を含むことが可能である。

制御ユニット２１０は、ディスプレイ２０３によって提示される人工現実コンテンツを生成することが可能である。制御ユニット２１０が、ディスプレイ２０３によって提示される人工現実コンテンツを生成することが可能である１つの方法は、ＨＭＤ１１２のユーザの被写界深度の外側にある人工現実コンテンツの１つまたは複数の部分をぼかすことである。３Ｄメッシュは、ＨＭＤ１１２の位置に対する、人工現実コンテンツに含まれているそれぞれのオブジェクトの奥行きを示すことが可能である。この方法においては、人工現実コンテンツを生成するために、制御ユニット２１０は、人工現実コンテンツにおけるオブジェクトを、３Ｄメッシュによって示されるそのオブジェクトの奥行きがユーザの被写界深度内にあるかどうかに基づいて、ぼかすこと、またはぼかさないことが可能である。加えて、制御ユニット２１０は、可変焦点ディスプレイ２０３の焦点距離を修正するために可変焦点ディスプレイ２０３を軸２０４に沿って移動することが可能である。たとえば、ＨＭＤ１１２は、可変焦点ディスプレイ２０３上でユーザに人工現実コンテンツを提示することが可能であり、可変焦点ディスプレイ２０３は、モータ（たとえば、電気モータ）に取り付けられている。制御ユニット２１０は、ユーザの検知された焦点を反映するために可変焦点ディスプレイ２０３を移動することが可能である。いくつかの例においては、ユーザの焦点は、アイトラッキングカメラ１４０によって取り込まれた画像データに基づいて、ほぼリアルタイムで特定されることが可能である。この方法においては、制御ユニット２１０は、ユーザの被写界深度に基づいて、および３Ｄメッシュによって識別される１つまたは複数のオブジェクトの場所に基づいて、ほぼリアルタイムで人工現実コンテンツを生成することが可能である。

図２Ｂは、本開示の１つまたは複数の技術による、別の例示的なＨＭＤ１１２を示す概念図である。図２Ｂにおいて示されているように、ＨＭＤ１１２は、メガネの形態を取ることが可能である。図２ＡのＨＭＤ１１２は、図１Ａおよび図１ＢのＨＭＤ１１２のうちのいずれかの例であることが可能である。ＨＭＤ１１２は、図１Ａ、図１Ｂの人工現実システム１０、２０など、人工現実システムの一部であることが可能であり、または本明細書において記述されている技術を実施するように構成されているスタンドアロンの移動式の人工現実システムとして動作することが可能である。

この例においては、ＨＭＤ１１２は、ＨＭＤ１１２がユーザの鼻に載っていることを可能にするためのブリッジと、ユーザの耳の上に延在してＨＭＤ１１２をユーザに固定するためのテンプル（または「アーム」）とを含むフロントフレームを含むメガネである。加えて、図２ＢのＨＭＤ１１２は、人工現実コンテンツをユーザに提示するように構成されている内向きの可変焦点ディスプレイ２０３Ａおよび２０３Ｂ（総称して、「可変焦点ディスプレイ２０３」）を含む。可変焦点ディスプレイ２０３は、ＬＣＤ、量子ドットディスプレイ、ドットマトリックスディスプレイ、ＬＥＤディスプレイ、ＯＬＥＤディスプレイ、ＣＲＴディスプレイ、ｅ－ｉｎｋ、または、視覚出力を生成することが可能なモノクロ、カラー、もしくは任意のその他のタイプのディスプレイなど、任意の適切なディスプレイテクノロジーであることが可能である。図２Ｂにおいて示されている例においては、可変焦点ディスプレイ２０３は、ユーザのそれぞれの目に別々の画像を提供するための立体視ディスプレイを形成する。いくつかの例においては、ＨＭＤ１１２およびユーザの現在の視界に従って人工現実コンテンツをレンダリングするためにＨＭＤ１１２の位置および向きを追跡する際に、ＨＭＤ１１２のフロントフレームに対するディスプレイ２０３の既知の向きおよび位置が、基準枠（局所原点とも呼ばれる）として使用される。いくつかの例においては、ＨＭＤ１１２は、ミニチュアプロジェクタによって生成された角度領域における画像を直接ユーザの目へ搬送するために使用される瞳孔複製導波路を含むことが可能である。

図２Ｂにおいてさらに示されているように、この例においては、ＨＭＤ１１２はさらに、ＨＭＤ１１２の現在の加速度を示すデータを出力する１つもしくは複数の加速度計（慣性測定ユニットもしくは「ＩＭＵ」とも呼ばれる）、ＨＭＤ１１２の場所を示すデータを出力するＧＰＳセンサ、さまざまなオブジェクトからのＨＭＤ１１２の距離を示すデータを出力するレーダーもしくはソナー、または物理環境内のＨＭＤ１１２もしくはその他のオブジェクトの場所もしくは向きの表示を提供するその他のセンサなど、１つまたは複数のモーションセンサ２０６を含む。ＨＭＤ１１２は、ＨＭＤ１１２のユーザの現実世界の３Ｄ物理環境における１つまたは複数のポイントおよび／またはオブジェクトの奥行きを示す奥行きデータを収集する１つまたは複数の奥行きセンサ２０８を含むことが可能である。その上、ＨＭＤ１１２は、物理環境を表す画像データを出力するように構成されている、ビデオカメラ、レーザースキャナ、ドップラーレーダースキャナ、奥行きスキャナ等など、統合されたインサイドアウト画像取り込みデバイス１３８Ａおよび１３８Ｂ（総称して、「インサイドアウト画像取り込みデバイス１３８」）を含むことが可能である。ＨＭＤ１１２は、内部制御ユニット２１０を含み、内部制御ユニット２１０は、内部電源と、１つまたは複数のプロセッサを有する１つまたは複数のプリント回路基板と、メモリと、感知されたデータを処理してディスプレイ２０３上に人工現実コンテンツを提示するためのプログラム可能な動作を実行するための動作環境を提供するためのハードウェアとを含むことが可能である。

図２Ａにおいて示されている例と同様に、制御ユニット２１０は、可変焦点ディスプレイ２０３によって提示される人工現実コンテンツを生成することが可能である。制御ユニット２１０は、ＨＭＤ１１２のユーザの被写界深度の外側にある人工現実コンテンツの１つまたは複数の部分をぼかすことにより、ディスプレイ２０３によって提示される人工現実コンテンツを生成することが可能である。３Ｄメッシュは、ＨＭＤ１１２の位置に対する、人工現実コンテンツに含まれているそれぞれのオブジェクトの奥行きを示すことが可能である。この方法においては、人工現実コンテンツを生成するために、制御ユニット２１０は、人工現実コンテンツにおけるオブジェクトを、３Ｄメッシュによって示されるそのオブジェクトの奥行きがユーザの被写界深度内にあるかどうかに基づいて、ぼかすこと、またはぼかさないことが可能である。制御ユニット２１０は、アイトラッキングカメラ１４０によって収集された画像データに基づいてユーザの被写界深度を特定することが可能である。

図３は、本開示の１つまたは複数の技術による、図１Ａ、図１Ｂのマルチデバイス人工現実システム１０、２０のコンソール１０６、ＨＭＤ１１２、および周辺デバイス１３６の例示的な実施態様を示すブロック図である。図３の例においては、コンソール１０６は、ＨＭＤ１１２の可変焦点ディスプレイ２０３の焦点距離を設定して、ＨＭＤ１１２によって表示される人工現実コンテンツについてのユーザの知覚に影響を与える。追加として、または代替として、コンソール１０６は、ＨＭＤ１１２のユーザがユーザの焦点（たとえば、焦点距離および／または被写界深度）に基づいて現実世界の物理環境を知覚することになる方法を模倣するために、ＨＭＤ１１２によって表示される人工現実コンテンツの部分をぼかすことが可能である。

この例においては、ＨＭＤ１１２は、１つまたは複数のプロセッサ３０２およびメモリ３０４を含み、これらは、いくつかの例においては、オペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供し、オペレーティングシステム３０５は、たとえば、埋め込まれたリアルタイムマルチタスクオペレーティングシステム、またはその他のタイプのオペレーティングシステムであることが可能である。次いでオペレーティングシステム３０５は、アプリケーションエンジン３４０を含む１つまたは複数のソフトウェアコンポーネント３０７を実行するためのマルチタスク動作環境を提供する。図２Ａおよび図２Ｂの例に関して論じられているように、プロセッサ３０２は、可変焦点ディスプレイ２０３、モーションセンサ２０６、奥行きセンサ２０８、インサイドアウト画像取り込みデバイス１３８、パススルー画像取り込みデバイス１３９、およびアイトラッキングカメラ１４０に結合されている。いくつかの例においては、プロセッサ３０２およびメモリ３０４は、別々の、個別のコンポーネントであることが可能である。その他の例においては、メモリ３０４は、単一の集積回路内でプロセッサ３０２と併置されているオンチップメモリであることが可能である。

一般に、コンソール１０６は、ＨＭＤ１１２の可変焦点ディスプレイ２０３の焦点距離を設定するために、かつ／またはＨＭＤ１１２によって表示するための人工現実コンテンツを生成するために、カメラ１０２（図１Ｂ）、インサイドアウト画像取り込みデバイス１３８、パススルー画像取り込みデバイス１３９、およびアイトラッキングカメラ１４０のうちのいずれか１つまたは複数から受信された画像および追跡情報を処理するコンピューティングデバイスである。可変焦点ディスプレイ２０３は、モータ３０６に接続されることが可能であり、その場合、モータ３０６は、可変焦点ディスプレイ２０３の焦点距離を設定するために可変焦点ディスプレイ２０３を移動するように構成されている。いくつかの例においては、コンソール１０６は、ワークステーション、デスクトップコンピュータ、ラップトップ、またはゲーミングシステムなど、単一のコンピューティングデバイスである。いくつかの例においては、プロセッサ３１２および／またはメモリ３１４など、コンソール１０６の少なくとも一部分は、クラウドコンピューティングシステム、データセンター全体にわたって、または、インターネット、別のパブリックもしくはプライベート通信ネットワーク、たとえば、ブロードバンド、セルラー、Ｗｉ－Ｆｉ、および／もしくはコンピューティングシステム、サーバ、およびコンピューティングデバイスの間においてデータを伝送するためのその他のタイプの通信ネットワークなど、ネットワーク全体にわたって分散されることが可能である。

図３の例においては、コンソール１０６は、１つまたは複数のプロセッサ３１２およびメモリ３１４を含み、これらは、いくつかの例においては、オペレーティングシステム３１６を実行するためのコンピュータプラットフォームを提供し、オペレーティングシステム３１６は、たとえば、埋め込まれたリアルタイムマルチタスクオペレーティングシステム、またはその他のタイプのオペレーティングシステムであることが可能である。次いでオペレーティングシステム３１６は、１つまたは複数のソフトウェアアプリケーション３１７を実行するためのマルチタスク動作環境を提供する。プロセッサ３１２は、１つまたは複数のＩ／Ｏインターフェース３１５に結合されており、Ｉ／Ｏインターフェース３１５は、キーボード、ゲームコントローラ、ディスプレイデバイス、画像取り込みデバイス、ＨＭＤ、周辺デバイス等など、外部デバイスと通信するための１つまたは複数のＩ／Ｏインターフェースを提供する。その上、１つまたは複数のＩ／Ｏインターフェース３１５は、ネットワーク１０４など、ネットワークと通信するための１つまたは複数の有線またはワイヤレスのネットワークインターフェースコントローラ（ＮＩＣ）を含むことが可能である。

コンソール１０６のソフトウェアアプリケーション３１７は、全体的な人工現実アプリケーションを提供するように動作する。この例においては、ソフトウェアアプリケーション３１７は、アプリケーションエンジン３２０、レンダリングエンジン３２２、奥行きエンジン３２４、およびポーズトラッカー３２６を含む。

一般に、アプリケーションエンジン３２０は、人工現実アプリケーション、たとえば、電話会議アプリケーション、ゲーミングアプリケーション、ナビゲーションアプリケーション、教育アプリケーション、トレーニングまたはシミュレーションアプリケーションなどを提供および提示するための機能性を含む。アプリケーションエンジン３２０は、たとえば、コンソール１０６上で人工現実アプリケーションを実施するための１つまたは複数のソフトウェアパッケージ、ソフトウェアライブラリ、ハードウェアドライバ、および／またはアプリケーションプログラムインターフェース（ＡＰＩ）を含むことが可能である。アプリケーションエンジン３２０による制御に応答して、レンダリングエンジン３２２は、ＨＭＤ１１２のアプリケーションエンジン３４０によってユーザに対して表示するための３Ｄ人工現実コンテンツを生成することが可能である。

いくつかの例においては、アプリケーションエンジン３２０およびレンダリングエンジン３２２は、ポーズトラッカー３２６によって特定される、基準枠、典型的にはＨＭＤ１１２の視界に関する現在のポーズ情報に従って、ユーザ１１０に対して表示するための人工現実コンテンツを構築することが可能である。現在の視界に基づいて、レンダリングエンジン３２２は、３Ｄの人工現実コンテンツを構築し、その人工現実コンテンツは、いくつかのケースにおいては、少なくとも部分的に、ユーザ１１０の現実世界の３Ｄ環境上にオーバーレイされることが可能である。このプロセス中に、ポーズトラッカー３２６は、動き情報およびユーザコマンドなど、ＨＭＤ１１２から受信された感知されたデータ、ならびに、いくつかの例においては、外部カメラなど、任意の外部センサ９０（図１Ａ、図１Ｂ）からのデータ上で動作して、ユーザ１１０による動きおよび／またはユーザ１１０に関する特徴追跡情報など、現実世界の環境内の３Ｄ情報を取り込む。感知されたデータに基づいて、ポーズトラッカー３２６は、ＨＭＤ１１２の基準枠に関する現在のポーズを特定し、その現在のポーズに従って、ユーザ１１０に対して表示するために１つまたは複数のＩ／Ｏインターフェース３１５を介してＨＭＤ１１２へ通信するための人工現実コンテンツを構築する。

ポーズトラッカー３２６は、周辺デバイス１３６に関する現在のポーズを特定し、その現在のポーズに従って、いずれかのレンダリングされた仮想コンテンツに関連付けられている特定の機能性（たとえば、仮想コンテンツアイテムを配置すること、仮想コンテンツアイテムを操作すること、１つまたは複数の仮想マーキングを生成してレンダリングすること、レーザーポインタを生成してレンダリングすること）をトリガーすることが可能である。いくつかの例においては、ポーズトラッカー３２６は、仮想表面（たとえば、仮想ピンボード）に対応する物理的な位置にＨＭＤ１１２が近接しているかどうかを検知して、仮想コンテンツのレンダリングをトリガーする。

レンダリングエンジン３２２は、周辺デバイス１３６に関する現在のポーズに基づいて、人工現実環境における別のオブジェクトの位置に対してロックされることが可能である人工現実環境における仮想コンテンツをレンダリングするように構成されている。レンダリングエンジン３２２は、仮想コンテンツを、オブジェクトの位置に一致するようにスケーリングすること、回転させること、およびその他の形で変形することが可能であり、それによって仮想コンテンツは、人工現実環境において、オブジェクト上にまたはオブジェクトの近くにオーバーレイされているように見える。いくつかの例においては、レンダリングエンジン３２２は、画像取り込みデバイス１３８、１３９によって取り込まれた画像データに基づいて生成されたポーズデータおよび／または焦点データに基づいて、１つまたは複数の仮想レンダリングカメラをスライド、平行移動、またはその他の形で移動することが可能である。

いくつかの例においては、奥行きエンジン３２４は、現実世界の画像データ、および現実世界の画像データに関連付けられている奥行きデータに基づいて、ＨＭＤ１１２のユーザ１１０の物理環境の３Ｄシーンを生成するように構成されている。現実世界の画像データは、ＨＭＤ１１２のパススルー画像取り込みデバイス１３９によって取り込まれることが可能であり、そのパススルー画像取り込みデバイス１３９は、パススルーカメラに相当する。いくつかの例においては、奥行きデータは、ＨＭＤ１１２の奥行きセンサ２０８によって取り込まれることが可能である。いくつかの例においては、奥行きデータは、ＨＭＤ１１２のインサイドアウト画像取り込みデバイス１３８によって取り込まれることが可能であり、そのインサイドアウト画像取り込みデバイス１３８は、インサイドアウトカメラに相当する。奥行きエンジン３２４は、ユーザ１１０の焦点に基づいてＨＭＤの可変焦点ディスプレイ上に表示するための物理環境の３Ｄシーンに対するオーバーレイとしての人工現実コンテンツ（たとえば、人工現実コンテンツ１２２）を生成することが可能である。いくつかの例においては、奥行きエンジン３２４は、アイトラッキングカメラ１４０によって取り込まれた画像データに基づいてユーザ１１０の焦点を特定することが可能である。

コンソール１０６は、この仮想ユーザインターフェースおよびその他の人工現実コンテンツを、通信チャネルを介して、ＨＭＤ１１２において表示するためにＨＭＤ１１２へ出力することが可能である。レンダリングエンジン３２２は、周辺デバイス１３６に関するポーズ情報を受信して、ユーザインターフェースの位置およびポーズを、プレゼンスセンシティブ表面２２０のうちの１つの位置およびポーズなど、周辺デバイス１３６の位置およびポーズと一致するように継続的に更新する。

図３において示されている例においては、周辺デバイス１３６は、１つまたは複数のプロセッサ３４６およびメモリ３４４を含み、これらは、いくつかの例においては、オペレーティングシステム３４２を実行するためのコンピュータプラットフォームを提供し、オペレーティングシステム３４２は、たとえば、埋め込まれたリアルタイムマルチタスクオペレーティングシステム、またはその他のタイプのオペレーティングシステムであることが可能である。次いでオペレーティングシステム３４２は、１つまたは複数のソフトウェアコンポーネントを実行するためのマルチタスク動作環境を提供する。いくつかの例においては、周辺デバイス１３６は、１つまたは複数のプレゼンスセンシティブ表面２２０（たとえば、タッチおよび／またはホバリング入力を検知するために、容量性、導電性、抵抗性、音響、および／またはその他のテクノロジーを使用する１つまたは複数の表面）を含む。１つまたは複数の態様においては、周辺デバイス１３６は、プレゼンスセンシティブ表面２２０におけるタッチおよび／またはホバリング入力を検知し、その入力を（たとえば、プロセッサ３４６において）処理し、そのタッチおよび／またはホバリング入力を通信し、その入力に関する情報（その入力に関する場所情報を含む）をコンソール１０６および／またはＨＭＤ１１２へ通信するように構成されることが可能である。図２Ａの例を参照しながら論じられているように、プレゼンスセンシティブ表面２２０は、タッチスクリーン（たとえば、容量性タッチスクリーン、抵抗性タッチスクリーン、弾性表面波（ＳＡＷ）タッチスクリーン、赤外線タッチスクリーン、光学イメージングタッチスクリーン、音響パルス認識タッチスクリーン、または任意のその他のタッチスクリーン）を含むことが可能である。

図３においてさらに示されているように、この例においては、周辺デバイス１３６はさらに、周辺デバイス１３６の現在の加速度を示すデータを出力する１つもしくは複数の加速度計（ＩＭＵとも呼ばれる）、周辺デバイスの場所もしくは位置を示すデータを出力するＧＰＳセンサ、さまざまなオブジェクトからの（たとえば、壁もしくはその他の表面からの）周辺デバイス１３６の距離を示すデータを出力するレーダーもしくはソナー、または物理環境内の周辺デバイスもしくはその他のオブジェクトの場所、位置、および／もしくは向きの表示を提供するその他のセンサなど、１つまたは複数のモーションセンサ３４８を含む。いくつかの例においては、プロセッサ３４６は、プレゼンスセンシティブ表面２２０およびモーションセンサ２４６に結合されている。いくつかの例においては、プロセッサ３４６およびメモリ３４４は、別々の、個別のコンポーネントであることが可能である。その他の例においては、メモリ３４４は、単一の集積回路内でプロセッサ３４６と併置されているオンチップメモリであることが可能である。１つまたは複数の態様においては、周辺デバイス１３６は、ＨＭＤと共存することが可能であり、いくつかの例においては、仮想環境においてＨＭＤのための補助入力／出力デバイスとして動作することが可能である。いくつかの例においては、周辺デバイス１３６は、ＨＭＤの機能のうちのいくつかがオフロードされる先の人工現実コプロセッシングデバイスとして動作することが可能である。１つまたは複数の態様においては、周辺デバイス１３６は、スマートフォン、タブレット、またはその他のハンドヘルドデバイスであることが可能である。

いくつかの例においては、プロセッサ３０２、３１２、３４６のそれぞれは、マルチコアプロセッサ、コントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または同等のディスクリートもしくは集積論理回路のうちの任意の１つまたは複数を含むことが可能である。メモリ３０４、３１４、３４４は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電子消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、およびフラッシュメモリなど、データおよび実行可能なソフトウェア命令を格納するための任意の形態のメモリを含むことが可能である。

奥行きエンジン３２４は、パススルー画像取り込みデバイス１３９によって取り込まれた現実世界の画像データ、およびアイトラッキングカメラ１４０によって取り込まれた焦点データに基づいて、ＨＭＤ１１２によって表示するための人工現実コンテンツを生成することが可能である。たとえば、奥行きエンジン３２４は、アイトラッキングカメラ１４０によって取り込まれた焦点データに基づいて、ユーザ１１０の焦点およびユーザ１１０の被写界深度のうちの一方または両方を特定するように構成されることが可能である。焦点データは、いくつかの例においては、基準ポイントの第１のセットに関するユーザの第１の瞳孔の位置を示す画像データ、および基準ポイントの第２のセットに関するユーザの第２の瞳孔の位置を示す画像データを表すことが可能である。奥行きエンジン３２４は、基準ポイントの第１のセットに関する第１の瞳孔の位置、および基準ポイントの第２のセットに関する第２の瞳孔の位置に基づいてユーザ１１０の焦点および／または被写界深度を特定することが可能である。

いくつかの例においては、奥行きエンジン３２４は、ＨＭＤ１１２の奥行きセンサ２０８および／またはインサイドアウト画像取り込みデバイス１３８によって収集された奥行きデータに基づいて３Ｄメッシュを生成することが可能である。奥行きエンジン３２４は、パススルー画像取り込みデバイス１３９によって収集された現実世界の画像データの少なくとも一部分を３Ｄメッシュ上にオーバーレイすることによって人工現実コンテンツを生成することが可能である。３Ｄメッシュおよびアイトラッキングカメラ１４０は、奥行きエンジン３２４が可変焦点体験をＨＭＤ１１２のユーザに提供することを可能にすることができる。たとえば、奥行きエンジン３２４は、ユーザの検知された焦点に一致するように、ほぼリアルタイムでＨＭＤ１１２の可変焦点ディスプレイ２０３の焦点距離を設定することが可能である。追加として、または代替として、奥行きエンジン３２４は、ユーザの検知された被写界深度の外側にある、ＨＭＤ１１２によって表示される人工現実コンテンツの部分をぼかすことが可能である。

図４は、本開示の１つまたは複数の技術による、図１Ａ、図１Ｂの人工現実システムのＨＭＤ１１２によって仮想環境が生成される例を示すブロック図である。

この例においては、図３と同様に、ＨＭＤ１１２は、１つまたは複数のプロセッサ３０２およびメモリ３０４を含み、これらは、いくつかの例においては、オペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供し、オペレーティングシステム３０５は、たとえば、埋め込まれたリアルタイムマルチタスクオペレーティングシステム、またはその他のタイプのオペレーティングシステムであることが可能である。次いでオペレーティングシステム３０５は、１つまたは複数のソフトウェアコンポーネント４１７を実行するためのマルチタスク動作環境を提供する。その上、プロセッサ３０２は、可変焦点ディスプレイ２０３、モーションセンサ２０６、インサイドアウト画像取り込みデバイス１３８、パススルー画像取り込みデバイス１３９、およびアイトラッキングカメラ１４０に結合されている。図４の例においては、ソフトウェアコンポーネント４１７は、全体的な人工現実アプリケーションを提供するように動作する。この例においては、ソフトウェアアプリケーション４１７は、アプリケーションエンジン４４０、レンダリングエンジン４２２、奥行きエンジン４２４、およびポーズトラッカー４２６を含む。さまざまな例において、ソフトウェアコンポーネント４１７は、図３のコンソール１０６の対応するコンポーネント（たとえば、それぞれ、アプリケーションエンジン３２０、レンダリングエンジン３２２、奥行きエンジン３２４、およびポーズトラッカー３２６）と同様に動作して、ＨＭＤ１１２の可変焦点ディスプレイ２０３の焦点距離を設定するか、またはＨＭＤ１１２によって提供される人工現実コンテンツについてのユーザの知覚にその他の形で影響を与える。いくつかの例においては、ＨＭＤ１１２は、周辺デバイス１３６などの１つまたは複数のその他のデバイスと通信することが可能である。

図５は、本開示の１つまたは複数の技術による、ＨＭＤ５６０の例示的なコンポーネントを示す概念図である。ＨＭＤ５６０は、図１Ａ～図１Ｂ、図２Ａ～図２Ｂ、および図３からのＨＭＤ１１２、１１２Ａ、１１２Ｂ、および１１２Ｃのいずれかと実質的に同様に動作することが可能である。ＨＭＤ５６０は、図５においては、ＨＭＤ５６０の内部コンポーネントを例示しやすくするためにヘッドセットフォームファクタを有するものとして示されている。その他の例においては、ＨＭＤ５６０は、メガネフォームファクタを含む別のフォームファクタを含むことが可能である。

ＨＭＤ５６０は、接眼レンズ５６２Ａ、５６２Ｂを含み、それらの接眼レンズにおいては、右接眼レンズ５６２Ａは、ユーザの右目に画像を提示するように構成されており、左接眼レンズ５６２Ｂは、ユーザの左目に画像を提示するように構成されている。本明細書においては、「接眼レンズ」という用語は、許容可能な品質の画像がユーザの目に提示されることが可能である３次元の幾何学的なエリアを意味する。図５の例においては、接眼レンズ５６２Ａ、５６２Ｂのそれぞれは、可変焦点ディスプレイ５６４Ａ、５６４Ｂによって生成された画像を、ユーザがＨＭＤ５６０を装着しているときにユーザの目が配置されている接眼レンズ５６２Ａ、５６２Ｂへ伝達するための撮像コンポーネント５６６Ａ、５６６Ｂに結合されている可変焦点ディスプレイ５６４Ａ、５６４Ｂを含む。撮像コンポーネント５６６Ａ、５６６Ｂのそれぞれは、レンズ、ミラー、または、屈折（すなわち、集束）力を有する任意のその他の要素であることが可能である。撮像コンポーネント５６６Ａ、５６６Ｂのそれぞれは、調節可能なまたは切り替え可能な屈折力を有する可変焦点光学素子を含むことが可能である。いくつかの例においては、可変焦点ディスプレイ５６４Ａ、５６４Ｂは、撮像コンポーネント５６６Ａ、５６６Ｂに対して方向５９０に可変焦点ディスプレイ５６４Ａ、５６４Ｂを移動させるように構成されている１つまたは複数の電気モータに取り付けられることが可能である。たとえば、１つまたは複数の電気モータは、ＨＭＤ５６０の焦点距離がユーザの検知された焦点と一致するように可変焦点ディスプレイ５６４Ａ、５６４Ｂを移動することが可能である。いくつかの例においては、接眼レンズ５６２Ａ、５６２Ｂは「アイカップ」と呼ばれる場合がある。

いくつかの例においては、ＨＭＤ５６０は、ユーザの両方の目に順次または同時に画像を提供するための単一の可変焦点ディスプレイを含むことが可能である。その他の例においては、ＨＭＤ５６０は、撮像コンポーネント５６６Ａ、５６６Ｂを含まないことが可能であり、その代わりに、ミニチュアプロジェクタによって生成された角度領域における画像を直接ユーザの目へ搬送するために使用される瞳孔複製導波路を含むことが可能である。

接眼レンズ５６２Ａ、５６２Ｂのそれぞれは、リアルタイムでユーザの目の位置および向きを追跡するためのアイトラッキングシステムを含むことが可能である。アイトラッキングシステムは、典型的には赤外光などの不可視光を用いて、ユーザの目を照らすための照明器５６７Ａ、５６７Ｂのアレイと、可変焦点ディスプレイ５６４Ａ、５６４Ｂからの可視光を透過しながらユーザの目およびユーザの顔の目領域によって散乱された赤外光を反射するためのホットミラー５６５Ａ、５６５Ｂとを含むことが可能である。アイトラッキングシステムはまた、目の位置および向きを特定するために、瞳孔と、ユーザの目からの照明器５６７Ａ、５６７Ｂの反射、いわゆる「グリント」とを伴うユーザの目の画像を検知するためのアイトラッキングカメラ５８４Ａ、５８４Ｂを含む。本明細書においては、「目領域」という用語は、目を含むユーザの顔のエリアを示している。目領域は、角膜、虹彩、および瞳孔を有する目そのものを含む。ＨＭＤ５６０は、ユーザを取り巻く物理環境を表す画像データを取り込むためのインサイドアウトカメラ５８２Ａ、５８２Ｂを含む。いくつかの例においては、ＨＭＤ５６０は、ホットミラー５６５Ａ、５６５Ｂを含まないことが可能であり、ホットミラー５６５Ａ、５６５Ｂなしでユーザの顔の目領域を取り込むように構成されているアイトラッキングカメラを含むことが可能である。

ＨＭＤ５６０は、可変焦点ディスプレイ５６４Ａ、５６４Ｂ、撮像コンポーネント５６６Ａ、５６６Ｂ、照明器５６７Ａ、５６７Ｂ、アイトラッキングカメラ５８４Ａ、５８４Ｂ、およびインサイドアウトカメラ５８２Ａ、５８２Ｂを含む、ＨＭＤ５６０のその他のコンポーネントに結合されている制御ユニット５８０を含む。制御ユニット５８０は、図２からのＨＭＤ１１２の内部制御ユニット２１０と実質的に同様に動作することが可能である。たとえば、ＨＭＤ５６０の動作中に、制御ユニット５８０は、可変焦点ディスプレイ５６４Ａ、５６４Ｂによって表示されることになる画像を生成することが可能であり、照明器５６７Ａ、５６７Ｂを励起し、対応するアイトラッキングカメラ５８４Ａ、５８４Ｂから目領域の画像を入手し、ユーザの視線方向、両目の瞳孔位置からのユーザの両目の輻輳角、および入手された画像におけるグリント位置のうちの１つまたは複数を特定することが可能である。いくつかの例においては、アイトラッキングカメラ５８４Ａ、５８４Ｂによって取り込まれた目領域の画像は、ユーザの被写界深度を示す情報を含むことが可能である。いくつかの例においては、輻輳角が特定されると、制御ユニット５８０は、輻輳／調節の競合、すなわち、目の輻輳角と目の集束距離との間における不一致を軽減するように撮像コンポーネント５６６Ａ、５６６Ｂの焦点距離を調整することが可能である。いくつかの例においては、ユーザの被写界深度に基づいて人工現実コンテンツの焦点が設定されることが可能である。

いくつかの例においては、ＨＭＤ５８０は、パススルーカメラ５８８の視野内にある現実世界の３Ｄ物理環境におけるオブジェクトを表す画像データを取り込むように構成されているパススルーカメラ５８８を含む。いくつかの例においては、奥行きエンジンは、物理環境の３Ｄシーンを作成するために、奥行きデータを使用して生成された３Ｄメッシュ上に、パススルーカメラ５８８によって取り込まれた画像データのうちの少なくともいくつかをオーバーレイすることが可能である。ＨＭＤ３６０は、可変焦点ディスプレイ５６４Ａ、５６４Ｂ上でユーザに対して物理環境の３Ｄシーンを表示することが可能である。

図６Ａは、本開示の１つまたは複数の技術による、環境６０２内の焦点距離６１０および第１の被写界深度６２０を示す概念図である。観察者６０４は環境６０２を見ることが可能である。焦点距離６１０は、観察者６０４の目の位置６１２と、観察者６０４の焦点６１４との間における距離を表すことが可能である。加えて、観察者６０４の第１の被写界深度６２０は、第１の近い被写界深度ポイント６２２と、第１の遠い被写界深度ポイント６２４との間における距離を表すことが可能である。焦点５１４は、第１の被写界深度６２０内にある。図６Ａにおいて見られるように、第１の被写界深度６２０の内側のオブジェクトは、焦点が合っている（たとえば、鮮明である）ように見え、第１の被写界深度６２０の外側のオブジェクトは、焦点が合っていない（たとえば、ぼやけている）ように見える。いくつかの例においては、観察者６０４は、環境６０２内で図１Ａ～図４の例示的なＨＭＤ（たとえば、ＨＭＤ１１２）を使用することが可能であり、その例示的なＨＭＤは、環境６０２の少なくともいくらかを仮想現実コンテンツとして観察者６０４に提示することが可能である。観察者６０４は、環境６０２を表す仮想現実コンテンツを、観察者６０４が現実の環境６０２を知覚することになるのと同様の奥行き特性を有するものとして知覚することが可能である。

図６Ｂは、本開示の１つまたは複数の技術による、環境６０２内の図６Ａの焦点距離６１０および第２の被写界深度６４０を示す概念図である。観察者６０４の第２の被写界深度６４０は、第２の近い被写界深度ポイント６４２と、第２の遠い被写界深度ポイント６４４との間における距離を表すことが可能である。焦点６１４は、第２の被写界深度６４０内にある。図６Ｂにおいて見られるように、第２の被写界深度６４０の内側のオブジェクトは、焦点が合っている（たとえば、鮮明である）ように見え、第２の被写界深度６４０の外側のオブジェクトは、焦点が合っていない（たとえば、ぼやけている）ように見える。第２の被写界深度６４０は、図６Ａの第１の被写界深度６２０よりも大きい（たとえば、長い）。したがって、観察者６０４が第２の被写界深度６４０を使用して環境６０２を見る場合には、観察者６０４が第１の被写界深度６２０を使用して環境６０２を見る場合よりも、環境６０２のさらに多くのオブジェクトに焦点が合う。いくつかの例においては、観察者６０４は、環境６０２内で図１Ａ～図４の例示的なＨＭＤ（たとえば、ＨＭＤ１１２）を使用することが可能であり、その例示的なＨＭＤは、環境６０２の少なくともいくらかを仮想現実コンテンツとして観察者６０４に提示することが可能である。観察者６０４は、環境６０２を表す仮想現実コンテンツを、観察者６０４が現実の環境６０２を知覚することになるのと同様の奥行き特性を有するものとして知覚することが可能である。

１つまたは複数のプロセッサによって実行される奥行きエンジン（たとえば、図３の奥行きエンジン３２４および／または図４の奥行きエンジン４２４）は、観察者６０４の検知された焦点に基づいてＨＭＤ１１２の可変焦点ディスプレイの焦点を設定することが可能である。たとえば、奥行きエンジンは、観察者６０４の検知された焦点に一致するようにＨＭＤ１１２の可変焦点ディスプレイの焦点距離を設定することが可能である。追加として、または代替として、奥行きエンジンは、ユーザがＨＭＤ１１２なしで環境６０２を知覚することになる方法を模倣するために、観察者６０４の検知された被写界深度に基づいて環境６０２内のオブジェクトをぼかすこと、またはぼかさないことが可能である。

図７は、本開示の１つまたは複数の技術による、人工現実コンテンツを提供するための例示的な動作を示す流れ図である。図７は、コンソール１０６、ＨＭＤ１１２、および周辺デバイス１３６に関して記述されている。しかしながら、図７の技術は、コンソール１０６、ＨＭＤ１１２、および周辺デバイス１３６のさまざまなコンポーネントによって、または追加のもしくは代替のデバイスによって実行されることが可能である。

第１の画像取り込みデバイスが、ユーザ１１０の物理環境を表す現実世界の画像データを取り込む（７０２）。たとえば、第１の画像取り込みデバイスは、現実世界の画像データを取り込むパススルーカメラに相当するＨＭＤ１１０のパススルー画像取り込みデバイス１３９を含むことが可能である。追加として、または代替として、第１の画像取り込みデバイスは、ＨＭＤ１１２のその他の画像取り込みデバイス、および／またはＨＭＤ１１２によって含まれていないその他の画像取り込みデバイスを含むことが可能である。いくつかの場合においては、物理環境を表す現実世界の画像データは、パススルー画像取り込みデバイス１３９の視野１３０内にある。ユーザ（たとえば、ユーザ１１０）は、ＨＭＤ１１２を装着することが可能であるので、パススルー画像取り込みデバイス１３９の視野は、ユーザ１１０がどこを見ているかに基づいて変わる可能性がある。

ＨＭＤ１１２の第２の画像取り込みデバイスのセットが、ユーザ１１０の視線の焦点を示す画像データを取り込む（７０４）。いくつかの例においては、第２の画像取り込みデバイスのセットは、アイトラッキングカメラ１４０を含む。たとえば、アイトラッキングカメラ１４０Ａは、基準ポイントの第１のセットに関するユーザ１１０の第１の瞳孔（たとえば、左瞳孔）の位置を示す画像データを取り込むことが可能であり、アイトラッキングカメラ１４０Ｂは、基準ポイントの第２のセットに関するユーザ１１０の第２の瞳孔（たとえば、右瞳孔）の位置を示す画像データを取り込むことが可能である。いくつかの例においては、基準ポイントの第１のセットに関する第１の瞳孔の位置、および基準ポイントの第２のセットに関する第２の瞳孔の位置は、ユーザ１１０の焦点およびユーザ１１０の被写界深度のうちの一方または両方を示すことが可能であるので、アイトラッキングカメラ１４０によって取り込まれた画像データは、焦点データに相当することが可能である。

ＨＭＤ１１２は、第２の画像取り込みデバイスのセットによって取り込まれた画像データによって示されているユーザ１１０の焦点に基づいてＨＭＤ１１２の可変焦点ディスプレイ２０３の焦点距離を修正することが可能である（７０６）。たとえば、１つまたは複数のプロセッサによって実行される奥行きエンジン（たとえば、図３の奥行きエンジン３２４および／または図４の奥行きエンジン４２４）は、第２の画像取り込みデバイスのセットによって取り込まれた画像データに基づいてユーザ１１０の焦点を特定することが可能である。続いて、奥行きエンジンは、ユーザ１１０の焦点と一致するように可変焦点ディスプレイ２０３の焦点距離を設定するために、モータ（たとえば、電気モータ）に可変焦点ディスプレイ２０３を移動させることが可能である。

奥行きエンジンは、第１の画像取り込みデバイスによって取り込まれた現実世界の画像データ、および現実世界の画像データに関連付けられている奥行きデータに基づいて、ユーザ１１０の物理環境の３Ｄシーンを生成する（７０８）。奥行きデータは、いくつかの例においては、ＨＭＤ１１２のインサイドアウト画像取り込みデバイス１３８および／または奥行きセンサ３０８を使用して取り込まれることが可能である。奥行きエンジンは、奥行きデータを使用してユーザ１１０の物理環境の３Ｄメッシュを生成することが可能である。３Ｄメッシュは、データポイントのセットを含むことが可能であり、その場合、データポイントのセットのそれぞれのデータポイントの、データポイントのセットのそれぞれの他のデータポイントに対する場所が知られている。たとえば、データポイントのセットは、ユーザ１１０の物理環境の少なくとも一部分のトポグラフィーを表すことが可能である。たとえば、３Ｄメッシュは、ユーザ１１０の物理環境内の１つまたは複数の物理オブジェクトおよび／またはポイント（たとえば、奥行きデータにおいて表されている１つまたは複数のポイントおよび／またはオブジェクトのうちの少なくともいくつか）の場所のデジタル表示を含む。奥行きエンジンは、３Ｄシーンを生成するために、現実世界の画像データのうちの少なくとも一部分を３Ｄメッシュ上にオーバーレイすることが可能である。

奥行きエンジンは、ユーザ１１０の検知された焦点に基づいてＨＭＤ１１２の可変焦点ディスプレイ２０３上に表示するための３Ｄシーンに対するオーバーレイとしての人工現実コンテンツ１２２を生成する（７１０）。３Ｄメッシュは、１つまたは複数のオブジェクトおよび／またはポイントの奥行きを表すデータを含むことが可能であり、現実世界の画像データは、それらの１つまたは複数のオブジェクトおよび／またはポイントのうちの少なくともいくつかを表す画像データを含むので、人工現実コンテンツは、そのようなオブジェクトおよび／またはポイントの外観および奥行きを反映するデータを含むことが可能である。奥行きエンジンは、リアルな可変焦点のパススルー体験をユーザ１１０に提供するために、ほぼリアルタイムで人工現実コンテンツ１２２を生成して可変焦点ディスプレイ２０３の焦点距離を修正することが可能である。

本明細書においてさまざまな例を介して記述されているように、本開示の技術は、人工現実システムを含むこと、または人工現実システムとともに実施されることが可能である。記述されているように、人工現実は、ユーザへの提示の前に何らかの様式で調整された現実の一形態であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実、複合現実（ＭＲ）、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生物を含むことが可能である。人工現実コンテンツは、完全に生成されたコンテンツ、または取り込まれたコンテンツ（たとえば、現実世界の写真）と組み合わされた生成されたコンテンツを含むことが可能である。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含むことが可能であり、それらのいずれも、単一のチャネルで、または複数のチャネル（視聴者に対する３次元効果を生み出すステレオビデオなど）で提示されることが可能である。加えて、いくつかの実施形態においては、人工現実は、たとえば、人工現実におけるコンテンツを作成するために使用される、かつ／または人工現実において使用される（たとえば、人工現実においてアクティビティーを実行する）、アプリケーション、製品、付属物、サービス、またはそれらの何らかの組合せに関連付けられることが可能である。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されているＨＭＤ、スタンドアロンのＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または１人もしくは複数の視聴者に人工現実コンテンツを提供することが可能な任意のその他のハードウェアプラットフォームを含む、さまざまなプラットフォーム上で実施されることが可能である。

本開示において記述されている技術は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施されることが可能である。たとえば、記述されている技術のさまざまな態様は、１つまたは複数のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または任意のその他の同等の統合ロジック回路もしくはディスクリートロジック回路、ならびにそのようなコンポーネントの任意の組合せを含む１つまたは複数のプロセッサ内に実装されることが可能である。「プロセッサ」または「処理回路」という用語は、一般には、単独での、もしくはその他の論理回路と組み合わせた前述の論理回路のうちのいずれか、または任意のその他の同等の回路を指すことが可能である。ハードウェアを含む制御ユニットが、本開示の技術のうちの１つまたは複数を実行することも可能である。

そのようなハードウェア、ソフトウェア、およびファームウェアは、本開示において記述されているさまざまな動作および機能をサポートするために、同じデバイス内に、または別々のデバイス内に実装されることが可能である。加えて、記述されているユニット、モジュール、またはコンポーネントのいずれも、個別であるが相互運用可能なロジックデバイスとして一緒にまたは別々に実装されることが可能である。モジュールまたはユニットとしてのさまざまな特徴の描写は、さまざまな機能上の側面を強調することを意図されており、そのようなモジュールまたはユニットが別々のハードウェアコンポーネントまたはソフトウェアコンポーネントによって実現されなければならないということを必ずしも意味するとは限らない。むしろ、１つまたは複数のモジュールまたはユニットに関連付けられている機能性は、別々のハードウェアコンポーネントもしくはソフトウェアコンポーネントによって実行されること、または共通のもしくは別々のハードウェアコンポーネントもしくはソフトウェアコンポーネント内に統合されることが可能である。

本開示において記述されている技術は、命令を含むコンピュータ可読媒体（コンピュータ可読記憶媒体など）において具体化またはエンコードされることも可能である。コンピュータ可読記憶媒体において埋め込まれているかまたはエンコードされている命令は、たとえば、それらの命令が実行されるときに、プログラマブルプロセッサ、またはその他のプロセッサに本方法を実行させることが可能である。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電子消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピーディスク、カセット、磁気メディア、光メディア、またはその他のコンピュータ可読媒体を含むことが可能である。

Claims (15)

1. ユーザの物理環境を表す現実世界の画像データを取り込むように構成されている第１の画像取り込みデバイスと、
   人工現実コンテンツを出力するように構成されているヘッドマウントディスプレイ（ＨＭＤ）であって、
   前記ユーザの視線の焦点を示す画像データを取り込むように構成されている第２の画像取り込みデバイスのセット、および
   前記ユーザの前記焦点に基づいて修正可能である焦点距離を有する可変焦点ディスプレイを含むＨＭＤと、
   奥行きエンジンであって、
   前記現実世界の画像データ、および前記現実世界の画像データに関連付けられている奥行きデータに基づいて、前記ユーザの前記物理環境の３次元（３Ｄ）シーンを生成すること、ならびに
   前記ユーザの前記焦点に基づいて前記ＨＭＤの前記可変焦点ディスプレイ上に表示するための前記物理環境の前記３Ｄシーンに対するオーバーレイとしての人工現実コンテンツを生成すること
   を行うように構成されている奥行きエンジンと
   を含む人工現実システム。
2. 前記第１の画像取り込みデバイスが、カラーでかつ高い解像度で前記現実世界の画像データを取り込むように構成されている少なくとも１つのパススルーカメラを含む、請求項１に記載のシステム。
3. 前記ＨＭＤが、前記奥行きエンジンを実行するように構成されている１つまたは複数のプロセッサを含み、前記１つまたは複数のプロセッサが、前記少なくとも１つのパススルーカメラに近接して配置されている、請求項２に記載のシステム。
4. 前記ＨＭＤがさらに、前記奥行きデータを生成するように構成されている奥行きセンサを含み、前記物理環境の前記３Ｄシーンを生成するために、前記奥行きエンジンが、
   前記奥行きデータを使用して、現実世界のシーンの３Ｄメッシュを生成することと、
   前記現実世界の画像データの少なくとも一部分を前記現実世界のシーンの前記３Ｄメッシュ上にオーバーレイすることとを行うように構成されている、請求項１から３のいずれか一項に記載のシステム。
5. 前記現実世界の画像データが、現実世界の画像データのストリームを表し、前記奥行きデータが、奥行きデータのストリームを表し、前記人工現実コンテンツを生成するために、前記奥行きエンジンがさらに、
   現実世界の画像データの前記ストリーム、および奥行きデータの前記ストリームを使用して、前記現実世界のシーンの前記３Ｄメッシュに対する前記ＨＭＤの位置および向きに基づいて、ほぼリアルタイムで前記人工現実コンテンツを生成する
   ように構成されている、請求項４に記載のシステム。
6. 第２の画像取り込みデバイスの前記セットが、
   基準ポイントの第１のセットに関する前記ユーザの第１の瞳孔の位置を含む画像データの第１のセットを取り込むように構成されている第１のアイトラッキングカメラと、
   基準ポイントの第２のセットに関する前記ユーザの第２の瞳孔の位置を含む画像データの第２のセットを取り込むように構成されている第２のアイトラッキングカメラと
   を含み、前記奥行きエンジンが、
   基準ポイントの前記第１のセットに関する前記第１の瞳孔の前記位置、および基準ポイントの前記第２のセットに関する前記第２の瞳孔の前記位置に基づいて前記ユーザの前記焦点を特定するように構成されており、前記システムが、好ましくはさらに、
   ある期間にわたる基準ポイントの前記第１のセットに関する前記第１の瞳孔の前記位置を追跡することと、
   前記期間にわたる基準ポイントの前記第２のセットに関する前記第２の瞳孔の前記位置を追跡することと、
   前記期間にわたる基準ポイントの前記第１のセットに関する前記第１の瞳孔の前記位置の動きに基づいて、基準ポイントの前記第１のセットに関する前記第１の瞳孔の前記位置の予想されるその後の動きを特定することと、
   前記期間にわたる基準ポイントの前記第２のセットに関する前記第２の瞳孔の前記位置の動きに基づいて、基準ポイントの前記第２のセットに関する前記第２の瞳孔の前記位置の予想されるその後の動きを特定することと
   を行うように構成されている視線トラッカーを含み、
   前記奥行きエンジンがさらに、前記第１の瞳孔の前記位置の前記予想されるその後の動き、および前記第２の瞳孔の前記位置の前記予想されるその後の動きに基づいて、前記ユーザの予想されるその後の焦点を特定するように構成されている、請求項１から５のいずれか一項に記載のシステム。
7. 前記奥行きエンジンがさらに、
   前記ユーザの前記焦点に一致するように、ほぼリアルタイムで前記可変焦点ディスプレイに関する前記焦点距離を特定することと、
   特定された前記焦点距離を実現するためにレンズに対して移動するように前記可変焦点ディスプレイに指示することと
   を行うように構成されており、好ましくは前記ＨＭＤがさらに、前記レンズに対する前記可変焦点ディスプレイの位置を制御するように構成されているモータを含み、移動するように前記可変焦点ディスプレイに指示するために、前記奥行きエンジンが、
   特定された前記焦点距離を実現するために前記レンズからある距離に前記可変焦点ディスプレイを配置するように前記モータを制御する
   ように構成されている、請求項１から６のいずれか一項に記載のシステム。
8. 前記画像データがさらに、前記ユーザの被写界深度を示し、前記人工現実コンテンツを生成するために、前記奥行きエンジンが、
   前記ユーザの前記被写界深度の外側にある前記人工現実コンテンツの部分をぼかす
   ように構成されている、請求項１から７のいずれか一項に記載のシステム。
9. 第１の画像取り込みデバイスによって、ユーザの物理環境を表す現実世界の画像データを取り込むことと、
   人工現実コンテンツを出力するように構成されているヘッドマウントディスプレイ（ＨＭＤ）の第２の画像取り込みデバイスのセットによって、前記ユーザの視線の焦点を示す画像データを取り込むことと、
   前記ＨＭＤの奥行きエンジンによって、前記ユーザの前記焦点に基づいて前記ＨＭＤの可変焦点ディスプレイの焦点距離を修正することと、
   前記奥行きエンジンによって、ならびに前記現実世界の画像データ、および前記現実世界の画像データに関連付けられている奥行きデータに基づいて、前記ユーザの前記物理環境の３次元（３Ｄ）シーンを生成することと、
   前記奥行きエンジンによって、前記ユーザの前記焦点に基づいて前記ＨＭＤの前記可変焦点ディスプレイ上に表示するための前記物理環境の前記３Ｄシーンに対するオーバーレイとしての人工現実コンテンツを生成することと
   を含む方法。
10. 前記第１の画像取り込みデバイスが、少なくとも１つのパススルーカメラを含み、前記方法がさらに、前記パススルーカメラを使用して、カラーでかつ高い解像度で前記現実世界の画像データを取り込むことを含み、好ましくはさらに、前記ＨＭＤの１つまたは複数のプロセッサを使用して、前記奥行きエンジンを実行することを含み、前記１つまたは複数のプロセッサが、前記少なくとも１つのパススルーカメラに近接して配置されている、請求項９に記載の方法。
11. 奥行きセンサを使用して、前記奥行きデータを生成することをさらに含み、前記物理環境の前記３Ｄシーンを生成することが、
    前記奥行きデータを使用して、現実世界のシーンの３Ｄメッシュを生成することと、
    前記現実世界の画像データの少なくとも一部分を前記現実世界のシーンの前記３Ｄメッシュ上にオーバーレイすることと
    を含み、好ましくは、前記現実世界の画像データが、現実世界の画像データのストリームを表し、前記奥行きデータが、奥行きデータのストリームを表し、前記人工現実コンテンツを生成することが、
    現実世界の画像データの前記ストリーム、および奥行きデータの前記ストリームを使用して、前記現実世界のシーンの前記３Ｄメッシュに対する前記ＨＭＤの位置および向きに基づいて、ほぼリアルタイムで前記人工現実コンテンツを生成すること
    を含む、請求項９または請求項１０に記載の方法。
12. 第２の画像取り込みデバイスの前記セットの第１のアイトラッキングカメラを使用して、基準ポイントの第１のセットに関する前記ユーザの第１の瞳孔の位置を含む画像データの第１のセットを取り込むことと、
    第２の画像取り込みデバイスの前記セットの第２のアイトラッキングカメラを使用して、基準ポイントの第２のセットに関する前記ユーザの第２の瞳孔の位置を含む第２の画像データのセットを取り込むことと、
    前記奥行きエンジンを使用して、基準ポイントの前記第１のセットに関する前記第１の瞳孔の前記位置、および基準ポイントの前記第２のセットに関する前記第２の瞳孔の前記位置に基づいて前記ユーザの前記焦点を特定することと
    をさらに含み、好ましくはさらに、
    視線トラッカーを使用して、ある期間にわたる基準ポイントの前記第１のセットに関する前記第１の瞳孔の前記位置を追跡することと、
    前記視線トラッカーを使用して、前記期間にわたる基準ポイントの前記第２のセットに関する前記第２の瞳孔の前記位置を追跡することと、
    前記期間にわたる基準ポイントの前記第１のセットに関する前記第１の瞳孔の前記位置の動きに基づいて、基準ポイントの前記第１のセットに関する前記第１の瞳孔の前記位置の予想されるその後の動きを特定することと、
    前記期間にわたる基準ポイントの前記第２のセットに関する前記第２の瞳孔の前記位置の動きに基づいて、基準ポイントの前記第２のセットに関する前記第２の瞳孔の前記位置の予想されるその後の動きを特定することと、
    前記奥行きエンジンを使用して、前記第１の瞳孔の前記位置の前記予想されるその後の動き、および前記第２の瞳孔の前記位置の前記予想されるその後の動きに基づいて、前記ユーザの予想されるその後の焦点を特定することと
    を含む、請求項９から１１のいずれか一項に記載の方法。
13. 前記奥行きエンジンを使用して、前記ユーザの前記焦点に一致するように、ほぼリアルタイムで前記可変焦点ディスプレイに関する前記焦点距離を特定することと、
    前記奥行きエンジンによって、特定された前記焦点距離を実現するためにレンズに対して移動するように前記可変焦点ディスプレイに指示することと
    をさらに含む、請求項９から１２のいずれか一項に記載の方法。
14. 前記画像データがさらに、前記ユーザの被写界深度を示し、前記人工現実コンテンツを生成することが、
    前記ユーザの前記被写界深度の外側にある前記人工現実コンテンツの部分をぼかすことを含む、請求項９から１３のいずれか一項に記載の方法。
15. 命令を含む非一時的コンピュータ可読媒体であって、前記命令が、実行されるときに、
    ユーザの物理環境を表す現実世界の画像データを取り込むことと、
    前記ユーザの視線の焦点を示す画像データを取り込むことと、
    前記ユーザの前記焦点に基づいて可変焦点ディスプレイの焦点距離を修正することと、
    前記現実世界の画像データ、および前記現実世界の画像データに関連付けられている奥行きデータに基づいて、前記ユーザの前記物理環境の３次元（３Ｄ）シーンを生成することと、
    前記ユーザの前記焦点に基づいてヘッドマウントディスプレイ（ＨＭＤ）の前記可変焦点ディスプレイ上に表示するための前記物理環境の前記３Ｄシーンに対するオーバーレイとしての人工現実コンテンツを生成することと
    を１つまたは複数のプロセッサに行わせる、非一時的コンピュータ可読媒体。

Images