JP2023514796A - 物理物体による拡張現実内の仮想物体のオクルージョン - Google Patents

Abstract

一実施形態において、方法は、１つまたは複数のコンピュータ機器によって、ヘッドマウントディスプレイのユーザの手を含むイメージにアクセスすることを含む。この方法は、少なくともイメージから、手の仮想物体表現を生成することを含む。仮想物体表現は、仮想環境において規定される。この方法は、仮想物体表現および仮想環境中の少なくとも１つの他の仮想物体に基づいて、仮想環境のイメージをユーザの視点からレンダリングすることを含む。イメージは、ユーザの視点から視認可能な仮想物体表現の一部に対応する一組のピクセルを含む。この方法は、ヘッドマウントディスプレイの一組の発光体に対して、イメージを表示する命令を与えることを含む。イメージ中の一組のピクセルは、１つまたは複数の位置の発光体を非発光にする。【選択図】図６

Description

本開示は一般的に、人工現実環境用のグラフィックスの生成に関する。

人工現実感は、ユーザへの提示前に何らかの調整がなされた現実の一形態であって、たとえば仮想現実感（ＶＲ）、拡張現実感（ＡＲ）、複合現実感（ＭＲ）、混成現実感、またはこれらの何らかの組み合わせおよび／もしくは派生物を含み得る。人工現実感コンテンツとしては、完全生成コンテンツまたは取り込みコンテンツ（たとえば、現実世界の写真）と組み合わされた生成コンテンツが挙げられ得る。人工現実感コンテンツとしては、ビデオ、オーディオ、触覚フィードバック、またはこれらの何らかの組み合わせが挙げられ、これらのいずれかが単一のチャネルまたは複数のチャネルで提示され得る（視聴者に３次元効果を与える立体ビデオ等）。人工現実感は、たとえば人工現実感におけるコンテンツの生成および／または人工現実感における使用（たとえば、人工現実感における活動の実行）がなされるアプリケーション、製品、付属品、サービス、またはこれらの何らかの組み合わせと関連付けられている場合がある。人工現実感コンテンツを提供する人工現実感システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイル機器もしくはコンピュータシステム、または１人もしくは複数の視聴者に人工現実感コンテンツを提供可能なその他任意のハードウェアプラットフォームを含む、さまざまなプラットフォーム上で実装され得る。

本発明は、添付の特許請求の範囲に記載の方法、コンピュータ可読非一過性記憶媒体、およびシステムを対象とする。

特定の実施形態においては、人工現実感システムの１つまたは複数のコンピュータシステムによってある方法が実行される。これらのコンピュータシステムは、ヘッドマウントディスプレイまたは非携帯型のコンピュータシステムにおいて具現化されていてもよい。この方法は、ヘッドマウントディスプレイのユーザの手を含むイメージにアクセスすることを含む。イメージは、ユーザの環境をさらに含んでいてもよい。イメージは、ヘッドマウントディスプレイの１つまたは複数のカメラにより生成されるようになっていてもよい。この方法は、少なくともイメージから、仮想環境において規定されたユーザの手の仮想物体表現を生成することを含んでいてもよい。ユーザの手の仮想物体表現は、仮想環境中のユーザの手の検出姿勢に基づいて作成された環境中のユーザの手を表す３次元メッシュに基づいて生成されるようになっていてもよい。この方法は、手の仮想物体表現および仮想環境中の少なくとも１つの他の仮想物体に基づいて、仮想環境のイメージを仮想環境中のユーザの視点からレンダリングすることを含んでいてもよい。仮想環境中の視点は、実環境中のユーザの視点と仮想環境中のユーザの視点との間の対応関係に基づいて決定されるようになっていてもよい。レンダリングイメージは、ユーザの視点から視認可能な手の仮想物体表現の一部に対応する一組のピクセルを含んでいてもよい。一組のピクセルは、ユーザの手の仮想物体表現の少なくとも一部がユーザの視点から仮想環境中の他の仮想物体の前方となるものと判定することにより決定されるようになっていてもよい。この方法は、ヘッドマウントディスプレイの一組の発光体に対して、仮想環境のイメージを表示する命令を与えることであり、手の仮想物体表現の一部に対応するイメージ中の一組のピクセルが、１つまたは複数の位置の発光体を非発光にする、仮想環境のイメージを表示する命令を与えることを含んでいてもよい。ヘッドマウントディスプレイの非発光の発光体は、ユーザの環境からの光を点灯し続けてユーザにより知覚されるようにしてもよい。

本発明に係る方法の一実施形態においては、非発光の特定位置の発光体が、ユーザの環境からの光を当該特定位置でユーザに対して点灯し続けるようになっていてもよい。

本発明に係る方法の一実施形態においては、ユーザの手を含むイメージが、ユーザの視点からのユーザの環境をさらに含んでいてもよい。

本発明に係る方法の一実施形態においては、少なくともイメージから、ユーザの手の仮想物体表現を生成することが、ユーザの手を含むイメージから決定されたユーザの手の姿勢に基づいて、ユーザの手の仮想物体表現の仮想環境中の位置を決定することを含んでいてもよい。

本発明に係る方法の一実施形態においては、ユーザの手の仮想物体表現のテクスチャが、発光体を非発光にする命令に対応していてもよい。

本発明に係る方法の一実施形態においては、ユーザの手の仮想物体表現が、仮想環境の背景とも関連付けられた色と関連付けられていてもよい。

本発明に係る方法の一実施形態においては、仮想環境のイメージをユーザの視点からレンダリングすることが、ユーザの手の仮想物体表現および仮想環境中の少なくとも１つの他の仮想物体がユーザの視点から視認可能であるかを判定することを含んでいてもよい。また、この方法は、ユーザの視点を起点および方向の基準とする光線を仮想環境に投影することと、仮想環境において、ユーザの手の仮想物体表現との光線の交差点を決定することであり、光線が仮想環境中の別の物体と交差する前に仮想物体表現と交差する、仮想物体表現との光線の交差点を決定することと、によって、手の仮想物体表現の少なくとも一部が仮想環境中の少なくとも１つの他の仮想物体の前方となる１つまたは複数の位置を決定することをさらに含んでいてもよい。

本発明に係る方法の一実施形態においては、少なくともイメージから、ユーザの手の仮想物体表現を生成することが、
少なくともイメージから、手の姿勢を決定することと、
少なくともイメージおよび姿勢から、手の仮想物体表現の三角メッシュを生成することと、
少なくともイメージから、ユーザの視点からの手の距離を決定することと、
手の三角メッシュに基づいて、手の決定した距離からの手の１つまたは複数の位置の変化を示す高さマップを生成することと、
を含んでいてもよい。また、この方法は、高さマップに基づいて、特定位置の他の仮想物体と関連付けられた距離および高さマップに対して、手の距離および手の仮想物体表現と関連付けられた高さマップを比較することと、比較に基づいて、手の仮想物体表現が視点に最も近い物体であるものと判定することと、によって、手の仮想物体表現が仮想環境中の別の仮想物体の前方となる１つまたは複数の位置を決定することをさらに含んでいてもよい。

本発明に係る方法の一実施形態においては、仮想環境のイメージを表示する命令がさらに、少なくとも１つの他の仮想物体の一部がユーザの視点からユーザの手の仮想物体表現の前方となる１つまたは複数の位置で発光体を発光させるようにしてもよい。

本発明に係る方法の一実施形態においては、コンピュータ機器のうちの１つまたは複数がヘッドマウントディスプレイにおいて具現化されていてもよく、コンピュータ機器のうちの１つまたは複数が別個のコンピュータ機器である。また、この方法は、利用可能なコンピュータリソースの１つまたは複数のメトリックに基づいて、ヘッドマウントディスプレイのコンピュータ機器と別個のコンピュータ機器との間で当該方法のステップを配分することをさらに含んでいてもよい。

本発明に係る方法の一実施形態においては、イメージが、ヘッドマウントディスプレイの第１のカメラにより生成されるようになっていてもよく、ユーザの手の仮想物体表現を生成することが、ヘッドマウントディスプレイの第２のカメラにより生成された第２のイメージにアクセスすることと、イメージおよび第２のイメージに基づいて、ユーザの手をユーザの視点に対してローカライズすることと、をさらに含んでいてもよい。また、ユーザの手の仮想物体表現を生成することが、位置がユーザの手の位置に対応するアレイを生成することと、手の１つまたは複数の位置とユーザの視点との間の距離の値をアレイに格納することと、アレイをユーザの手の仮想物体表現と関連付けることと、をさらに含んでいてもよい。この代替または追加として、ヘッドマウントディスプレイの第２のカメラが、デプス検知カメラであってもよい。

一態様において、本発明は、実行された場合に、上述のような方法、または、
ヘッドマウントディスプレイのユーザの手を含むイメージにアクセスすることと、
少なくともイメージから、仮想環境において規定されたユーザの手の仮想物体表現を生成することと、
手の仮想物体表現および仮想環境中の少なくとも１つの他の仮想物体に基づいて、ユーザの視点から視認可能な手の仮想物体表現の一部に対応する一組のピクセルを含む仮想環境のイメージをユーザの視点からレンダリングすることと、
ヘッドマウントディスプレイの一組の発光体に対して、仮想環境のイメージを表示する命令を与えることであり、手の仮想物体表現の一部に対応するイメージ中の一組のピクセルが、１つまたは複数の位置の発光体を非発光にする、仮想環境のイメージを表示する命令を与えることと、
を実行するように動作可能なソフトウェアを具現化した１つまたは複数のコンピュータ可読非一過性記憶媒体を対象とする。

コンピュータ可読非一過性記憶媒体の一実施形態においては、非発光の特定位置の発光体が、ユーザの環境からの光を当該特定位置でユーザに対して点灯し続けるようになっていてもよい。

本発明の実施形態は、人工現実感システムを含んでいてもよいし、人工現実感システムと併せて実現されるようになっていてもよい。人工現実感は、ユーザへの提示前に何らかの調整がなされた現実の一形態であって、たとえば仮想現実感（ＶＲ）、拡張現実感（ＡＲ）、複合現実感（ＭＲ）、混成現実感、またはこれらの何らかの組み合わせおよび／もしくは派生物を含み得る。人工現実感コンテンツとしては、完全生成コンテンツまたは取り込みコンテンツ（たとえば、現実世界の写真）と組み合わされた生成コンテンツが挙げられる。人工現実感コンテンツとしては、ビデオ、オーディオ、触覚フィードバック、またはこれらの何らかの組み合わせが挙げられ、これらのいずれかが単一のチャネルまたは複数のチャネルで提示され得る（視聴者に３次元効果を与える立体ビデオ等）。また、特定の実施形態において、人工現実感は、たとえば人工現実感におけるコンテンツの生成および／または人工現実感における使用（たとえば、人工現実感における活動の実行）がなされるアプリケーション、製品、付属品、サービス、またはこれらの何らかの組み合わせと関連付けられている場合がある。人工現実感コンテンツを提供する人工現実感システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイル機器もしくはコンピュータシステム、または１人もしくは複数の視聴者に人工現実感コンテンツを提供可能なその他任意のハードウェアプラットフォーム等、さまざまなプラットフォーム上で実装され得る。

本発明に係るシステムは、１つまたは複数のプロセッサと、プロセッサのうちの１つまたは複数に結合され、プロセッサのうちの１つまたは複数により実行された場合に、上述のような方法、または、
ヘッドマウントディスプレイのユーザの手を含むイメージにアクセスすることと、
少なくともイメージから、仮想環境において規定されたユーザの手の仮想物体表現を生成することと、
手の仮想物体表現および仮想環境中の少なくとも１つの他の仮想物体に基づいて、ユーザの視点から視認可能な手の仮想物体表現の一部に対応する一組のピクセルを含む仮想環境のイメージをユーザの視点からレンダリングすることと、
ヘッドマウントディスプレイの一組の発光体に対して、仮想環境のイメージを表示する命令を与えることであり、手の仮想物体表現の一部に対応するイメージ中の一組のピクセルが、１つまたは複数の位置の発光体を非発光にする、仮想環境のイメージを表示する命令を与えることと、
を当該システムに実行させるように動作可能な命令を含む１つまたは複数のコンピュータ可読非一過性記憶媒体と、を備えていてもよい。

本発明に係るシステムの一実施形態においては、非発光の特定位置の発光体が、ユーザの環境からの光を当該特定位置でユーザに対して点灯し続けるようになっていてもよい。

本明細書に開示の実施形態は例示に過ぎず、本開示の範囲がこれらに限定されることはない。特定の実施形態は、本明細書に開示の実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含んでいてもよいし、一部を含んでいてもよいし、これらを含んでいなくてもよい。本発明に係る実施形態は特に、方法、記憶媒体、システム、およびコンピュータプログラム製品を対象とする添付の特許請求の範囲に開示しているが、ある請求カテゴリ（たとえば、方法）に記載の如何なる特徴も、別の請求カテゴリ（たとえば、システム）において同様に請求可能である。添付の特許請求の範囲における従属または前方参照は、形式的な理由で選定しているに過ぎない。ただし、任意の先行請求項に対する意図的な前方参照（特に、マルチ従属）の結果としての如何なる主題も同様に請求可能であるため、請求項およびその特徴の任意の組み合わせを開示するとともに、添付の特許請求の範囲において選定した従属に関わらずこれを請求可能である。請求可能な主題は、添付の特許請求の範囲に記載の特徴の組み合わせのみならず、特許請求の範囲の特徴のその他任意の組み合わせを含み、特許請求の範囲に記載の各特徴は、特許請求の範囲のその他任意の特徴または他の特徴の組み合わせと結合可能である。さらに、本明細書に記載または図示の実施形態および特徴はいずれも、別個の請求項における請求ならびに／または本明細書に記載もしくは図示の任意の実施形態もしくは特徴あるいは添付の特許請求の範囲の特徴のいずれかとの任意の組み合わせでの請求が可能である。

例示的な人工現実感システムを示した図である。 ヘッドセットシステムの例示的なアイディスプレイシステムを示した図である。 表示エンジンのシステム図である。 人工現実感システムを通して見られる例示的なイメージを示した図である。 人工現実感システムを通して見られる例示的なイメージを示した図である。 人工現実感システムを通して見られる例示的なイメージを示した図である。 人工現実感システムを通して見られる例示的なイメージを示した図である。 仮想物体オクルージョンを検出する間のユーザの手の視覚的表現を示した図である。 仮想環境のイメージを生成する視覚的表現を示した図である。 仮想環境のイメージを生成する視覚的表現を示した図である。 拡張現実内の仮想物体の現実世界物体オクルージョンを提供する例示的な方法を示した図である。 拡張現実内の仮想物体の現実世界物体オクルージョンを提供する例示的な方法を示した図である。 例示的なコンピュータシステムを示した図である。

特定の実施形態においては、人工現実感システムの１つまたは複数のコンピュータシステムによってある方法が実行される。これらのコンピュータシステムは、ヘッドマウントディスプレイまたは非携帯型のコンピュータシステムにおいて具現化されていてもよい。この方法は、ヘッドマウントディスプレイのユーザの手を含むイメージにアクセスすることを含む。イメージは、ユーザの環境をさらに含んでいてもよい。イメージは、ヘッドマウントディスプレイの１つまたは複数のカメラにより生成されるようになっていてもよい。この方法は、少なくともイメージから、仮想環境において規定されたユーザの手の仮想物体表現を生成することを含んでいてもよい。ユーザの手の仮想物体表現は、仮想環境中のユーザの手の検出姿勢に基づいて作成された環境中のユーザの手を表す３次元メッシュに基づいて生成されるようになっていてもよい。この方法は、手の仮想物体表現および仮想環境中の少なくとも１つの他の仮想物体に基づいて、仮想環境のイメージを仮想環境中のユーザの視点からレンダリングすることを含んでいてもよい。仮想環境中の視点は、実環境中のユーザの視点と仮想環境中のユーザの視点との間の対応関係に基づいて決定されるようになっていてもよい。レンダリングイメージは、ユーザの視点から視認可能な手の仮想物体表現の一部に対応する一組のピクセルを含んでいてもよい。一組のピクセルは、ユーザの手の仮想物体表現の少なくとも一部がユーザの視点から仮想環境中の他の仮想物体の前方となるものと判定することにより決定されるようになっていてもよい。この方法は、ヘッドマウントディスプレイの一組の発光体に対して、仮想環境のイメージを表示する命令を与えることであり、手の仮想物体表現の一部に対応するイメージ中の一組のピクセルが、１つまたは複数の位置の発光体を非発光にする、仮想環境のイメージを表示する命令を与えることを含んでいてもよい。ヘッドマウントディスプレイの非発光の発光体は、ユーザの環境からの光を点灯し続けてユーザにより知覚されるようにしてもよい。

本開示は、特定の実施形態において、ユーザに提示される仮想環境に物理物体を関連付ける、という課題に関する。拡張現実（ＡＲ）内では、実環境上の拡張レイヤとして仮想環境がユーザに表示され得る。これは、仮想環境中の視点に対する実環境中の視点の対応関係またはマッピングを生成することによってなされ得る。本開示の実施形態は、拡張現実内の仮想物体の物理物体（たとえば、ユーザの手）によるオクルージョンを効率的にレンダリングするタスクに関する。ＡＲ機器（たとえば、ヘッドマウントディスプレイ（ＨＭＤ）等）を通してユーザの手が見える場合、ユーザは当然のことながら、ユーザの視線上の仮想物体の前方にあるはずの各手の部分がユーザの手の後方の仮想物体を遮蔽するものと予想する。逆に、ユーザの視線上で仮想物体の背後にある各手の如何なる部分も当然のことながら、仮想物体により遮蔽されることが予想される。たとえば、手に物体を握っている場合は、手の一部が物体の背後となり得る。ユーザは、手の背後の物体の部分が表示されるべきではないと予想し得るため、遮蔽された物体の前方にユーザ自身の物理的な手を見られるようになる。仮想物体の前方のユーザ自身の物理的な手または仮想物体と相互作用するユーザ自身の物理的な手のビューをユーザに提示することは、ユーザが拡張現実環境を快適に感じるための補助となり得る。たとえば、本開示の実施形態は、ユーザの乗り物酔いまたはシミュレーション酔いを抑えるのに役立ち得る。

現在のＡＲ技術では、これらの課題を効率的に解決できない。ＡＲエクスペリエンスを提示するための一般的な一手法において、ユーザは、標準的な画面（たとえば、スマートフォン画面）を通して環境を視認する。仮想環境は、カメラにより取り込まれた環境のイメージに重畳される。これには、環境のイメージを高速に取り込んで処理する必要があることから、かなりの演算リソースを必要とするため、モバイル機器のバッテリを急速に消耗させることになる。また、この種のエクスペリエンスは、小さな画面を通して環境を視認するに過ぎず、ユーザにとって特に没入感があるわけではない。関連の一手法において、仮想環境中の仮想物体の操作にユーザの手を使用可能な程度まで、利用可能なカメラ技術を用いてユーザの手を正確に検出することは、多くの現行システムには困難である。本明細書に開示のように、仮想環境中のユーザの手および当該環境においてユーザの手によりもたらされる効果を正確にモデル化し、これらの効果に基づいて仮想環境をレンダリングするための高度な技術が不足している。別の一例として、人工現実感システム用の現在のレンダリング手法では、ユーザが相当な長時間にわたって仮想環境を快適に体験できるような十分に高いフレームレートおよび品質レベルとして、ほとんどの仮想環境をレンダリングすることができない。本明細書に記載の通り、複合または拡張現実感エクスペリエンスに対しては、高フレームレートが特に好都合と考えられる。仮想物体とユーザの実環境との並置によって、ユーザは、レンダリングの技術的な不具合を直ちに判別可能となるためである。本明細書に記載の手法は、すべての技術的問題に対処する以上のものである。

本開示においては、ユーザの手の一例を与えるが、本明細書に記載の手法は他種の物体にも使用可能である。このような他の物体としては、ユーザの身体の他の部分、ユーザが保持する物体（たとえば、ペン等の指示具）、ユーザによる通過が指定された特定の物体（たとえば、ユーザの子またはペット）、ユーザもしくはＡＲヘッドセットの提供者による通過が指定された一般の物体（たとえば、車両、他人）、ならびにその他多くの物体が挙げられる。実物体の通過（たとえば、手のオクルージョン）を可能にするため、ＡＲヘッドセット（たとえば、ＨＭＤ）上の１つまたは複数のカメラは、オクルージョンが判定される物体を含むシーンのイメージを取り込む。そして、コンピュータ機器（本明細書に記載の通り、ＨＭＤにおいて具現化されてもよいし、ＨＭＤと有線または無線で連通していてもよい）がハンドトラッキングアルゴリズムを実行することにより、イメージ中の手を検出する。そして、イメージ中の手の特徴（指および関節等）の位置が決定される。手の指および関節の検出位置に基づいて、手の仮想物体表現（たとえば、ユーザの手のように見える３次元メッシュ）が生成される。

コンピュータ機器は、ユーザの手から実環境中のユーザの視点までの距離を決定する。コンピュータ機器は、手の仮想物体表現から仮想環境中のユーザの視点までの距離に対して上記距離を相関させる。また、コンピュータ機器は、手のさまざまな領域の高さ情報を格納するグリッドを生成する。コンピュータ機器は、イメージおよび３次元メッシュから、手の各点の高さ（たとえば、手の平均もしくは中央高さまたは基準点に対する手の特定点の高さ）を決定する。決定された高さは、手のその他の部分に対する手の当該各点の位置を示す。この高さは、決定された距離との組み合わせにより、ユーザに対する手のさまざまな部分の厳密な位置を決定するのに使用可能である。

仮想環境をレンダリングしてユーザに提示する間、いずれの仮想物体よりもユーザに近い手の部分は、ユーザが視認できるようにする一方、少なくとも１つの仮想物体の背後にある手の部分は、遮蔽されるものとする。ユーザの実際の物理的な手は、ＡＲシステムのＨＭＤを通してユーザに視認可能とすることができる。特定の実施形態において、仮想環境中の仮想物体を表示するＨＭＤの発光コンポーネント（たとえば、ＬＥＤ）は、実環境からの光がＨＭＤを通過してユーザの眼に達し得るように、選択的に無効化可能である。すなわち、コンピュータ機器は、レンダリングイメージにおいて、手が現れる切り取りエリアを生成する。これにより、たとえば、ユーザの実際の物理的な親指の位置に対応するディスプレイの位置を照射しないように発光体に指示することにより、ＨＭＤを通してユーザが親指を視認できるようにし得る。発光体がオフされるため、その背後の如何なる仮想物体の部分も表示されない。

現実世界の物体オクルージョンを適正にレンダリングするため、物体の一部（たとえば、ユーザの手の一部）に対応する発光体は、手の当該部分が仮想環境中の如何なる仮想物体よりも実環境中のユーザに近い場合、オフされるか、または、発光しないように指示され、ユーザと手の当該部分との間に仮想物体が存在する場合、オンされるものとする。仮想環境中の仮想物体よりも実環境中のユーザから離れた物体の部分（たとえば、手の指）は、仮想物体を表示する発光体によって、仮想物体の背後にあるものとして示される。たとえば、現実世界の物体および仮想物体までの距離は、ハンドトラッキングアルゴリズムにより決定されるため、比較可能である。仮想物体の距離は、ＡＲシステム上で実行され、ＡＲシステムおよびＨＭＤで利用可能なアプリケーションまたはシーンにより把握される。

ユーザの手の仮想物体表現および手の位置の既知の高さを所与として、ユーザが視認可能となるべき手の部分は、以下のようにＨＭＤによって視認可能となり得る。ユーザの現在の姿勢（たとえば、位置および向き）に基づいて、仮想環境を示すフレームが３０ｆｐｓ等の第１のフレームレートで基本レンダリングコンポーネントによりレンダリングされる。フレームのレンダリングの一部として、（１）３次元メッシュに基づく手の２次元不透明テクスチャおよび（２）手の高さマップ、という２つの項目が生成される。２次元テクスチャは、仮想物体表現に対する平面物体表現のテクスチャとして保存される（本開示の全体を通して、「サーフェス」とも称する）。これらの動作は、ＨＭＤにより実行されるようになっていてもよいし、ＨＭＤハードウェアと連通した別個のコンピュータ機器（たとえば、クラウドコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはモバイル機器）により実行されるようになっていてもよい。発光体は、テクスチャに対して特別に指定された色を使用することによって、発光しないように容易に指示可能である。ＡＲにおいては、実環境からの光の通過を可能にするデフォルトの背景を有するのが望ましいと考えられる。このように、仮想物体が実環境に現れる際の没入感を大幅に向上可能である。したがって、背景は、発光体を発光させない指示に変換される色と関連付けられていてもよい。特定の実施形態においては、この色を「不透明黒」と称する場合もあるが、これは、たとえば当該テクスチャと関連付けられた物体の背後の光が透けて見えないことを意味する。仮想物体表現（たとえば、平面物体）は、このような色と関連付けられて、手を視認可能な場所のピクセルに対応するＬＥＤをオフ（すなわち、非発光）にするようになっていてもよい。

その後、ＨＭＤは、過去に生成されたフレーム（たとえば、３０ｆｐｓで生成されたフレーム）に基づいて、２００ｆｐｓ等の第２のフレームレートでサブフレームをレンダリングする。各サブフレームについて、ＡＲシステムは、ユーザの姿勢（主要な３０ｆｐｓフレームの生成に用いられた姿勢と異なる可能性もある）に基づいて、仮想環境中の個々のピクセルまたはピクセルのタイルごとに、ユーザの現在の視点から仮想環境に１本または複数本の光線を投影することによって、基本視認性テストを実行するようにしてもよい。光線は、個々のピクセルの場合の光線であり、タイルの場合はピラミッドとして概念化されていてもよい。特定の実施形態において、仮想環境は、仮想物体の数が制限されていてもよい。たとえば、ＡＲシステムは、仮想環境中の離散物体（ユーザの手を表すように生成された物体を含む）の数を制限するようにしてもよい。いくつかの実施形態においては、ある範囲のフレームにわたって同様に移動すると予測される複数の物体が一体的にグループ化されていてもよい。仮想物体は、対応する高さマップ情報を有する平面物体により表されていてもよい。投射光線は、ユーザの手に対応するサーフェスと交差する場合、関連するテクスチャをサンプリングしてサブフレームをレンダリングする。テクスチャが不透明黒であり、発光体が発光しないことを示すことから、実際の物理的な手は、透明なＨＭＤの非発光エリアを通して視認可能である。

特定の実施形態において、ＡＲシステムは、高さマップに基づくサーフェスごとのピクセル当たり高さテストをサポートしていてもよい。この場合、仮想物体の前方にある手の部分は、ピクセルレベルの解像度で仮想物体を遮蔽し得る。一方、仮想物体の背後にある同じ手のピクセルは、ディスプレイ中の仮想物体の個々のピクセルにより遮蔽され得る。高さマップを用いた実施形態において、ピクセル当たり高さテストは、ユーザの視点までの実物体または仮想物体のデプスと、高さマップに記録された差分と、に基づいて判定される。仮想物体に関するピクセル当たり高さを使用することによって、手のオクルージョンの見え方が大幅に改善される。

特定の実施形態において、ピクセル当たり高さ情報は、（たとえば、利用可能な演算リソースの制約により）利用不可能な場合もある。このような場合は、仮想物体表現のみにより、平面物体として手が表されるようになっていてもよい。上述の通り、平面物体のデプス（たとえば、平面物体から仮想環境中のユーザの視点までの距離）は、既知である。特定の実施形態においては、平面上の場所ごとに、数学的変換を用いてデプスが決定され得る。実物体の仮想物体表現（たとえば、平面物体）および仮想物体（それ自体がサーフェスにより表され得る）は、順序が物体のデプスに基づくサーフェスの順序付きグループ化を形成する。したがって、端部に対応する平面物体は、各平面の前方または背後にある。

上述の通り、高さマップを用いて仮想物体の実物体オクルージョンを決定すると、電力消費が増大し得る。たとえば、ＨＭＤが高さマップを生成する場合は、かなりのリソースが消費され得る。別の例として、ＨＤＭが別のコンピュータ機器により生成される場合は、高さマップのＨＭＤへの送信が必要となり得る。ＡＲシステムは、利用可能な電力に基づいて、高さマップを使用するか、および、高さマップの使用方法を決定するようにしてもよい。十分な電力が利用可能な場合は、高さマップを生成して送信することができる。利用可能な電力が不十分な場合、特にユーザの視点までの仮想物体の距離が大きな場合は、高さマップなしの平面の使用でも、手のオクルージョンの妥当な見え方を生成するのに十分となり得る。

特定の実施形態において、基本レンダリング機器（たとえば、ＨＭＤ以外のコンピュータ機器）は、ＨＭＤよりも処理能力が高く、電力消費が多くてもよい。したがって、基本レンダリング機器は、本明細書に記載の技術の特定の部分を実行するようにしてもよい。たとえば、基本レンダリング機器は、ハンドトラッキング演算を実行するとともに、手の３次元メッシュ、２次元不透明テクスチャ、および高さマップを生成するようにしてもよい。たとえば、基本レンダリング機器は、ＨＭＤのカメラにより生成されたイメージを受信し、特定のタスクに対してより効率的または効果的となるように設計された特別なコンピュータハードウェアを用いて、必要な処理を実行するようにしてもよい。ただし、ＨＭＤは、十分は処理力および電力を有する場合、（たとえば、それ自体の搭載コンピュータコンポーネントを用いて）上記ステップのうちの１つまたは複数を実行することにより、レイテンシを抑えることができる。特定の実施形態においては、本明細書に記載のステップのすべてがＨＭＤ上で実行される。

図１Ａは、例示的な人工現実感システム１００を示している。特定の実施形態において、人工現実感システム１００は、ヘッドセットシステム１１０（ＨＭＤにおいて具現化されていてもよい）、ボディウェアラブルコンピュータシステム１２０、クラウドコンピュータ環境１３０中のクラウドコンピュータシステム１３２等を具備していてもよい。特定の実施形態において、ヘッドセットシステム１１０は、データバス１１４を通して２つのアイディスプレイシステム１１６Ａおよび１１６Ｂに接続された表示エンジン１１２を具備していてもよい。ヘッドセットシステム１１０は、ユーザの頭部に装着されて人工現実感または拡張現実感をユーザに与え得るヘッドマウントディスプレイ（ＨＭＤ）を含むシステムであってもよい。ヘッドセットシステム１１０は、軽量で携帯性に優れるように設計されていてもよい。結果として、ヘッドセットシステムは、その電源（たとえば、バッテリ）で利用可能な電力が制限されている場合もある。表示エンジン１１２は、（たとえば、２００Ｈｚ以上のリフレッシュレートのサポートに適した）比較的高いデータレートで、データバス１１４を通してアイディスプレイシステム１１６Ａおよび１１６Ｂに表示データを提供するようにしてもよい。表示エンジン１１２は、１つまたは複数の制御ブロック、テクセルメモリ、変換ブロック、ピクセルブロック等を具備していてもよい。テクセルメモリに格納されたテクセルは、ピクセルブロックによりアクセスされ、アイディスプレイシステム１１６Ａおよび１１６Ｂに提供されて表示されるようになっていてもよい。記載の表示エンジン１１２に関するその他の情報については、２０１９年１０月１日に出願された米国特許出願第１６／６５７，８２０号、２０１９年９月２７日に出願された米国特許出願第１６／５８６，５９０号、および２０１９年９月２７日に出願された米国特許出願第１６／５８６，５９８号に見出され得るが、これらを参照により本明細書に援用する。

特定の実施形態において、ボディウェアラブルコンピュータシステム１２０は、ユーザの身体に着用されるようになっていてもよい。特定の実施形態において、ボディウェアラブルコンピュータシステム１２０は、ユーザの身体に着用されないコンピュータシステム（たとえば、ラップトップ、デスクトップ、モバイルコンピュータシステム）であってもよい。ボディウェアラブルコンピュータシステム１２０は、１つもしくは複数のＧＰＵ、１つもしくは複数のスマートビデオデコーダ、メモリ、プロセッサ、ならびに他のモジュールを具備していてもよい。ボディウェアラブルコンピュータシステム１２０は、表示エンジン１１２以外の演算リソースを有していてもよいが、他の実施形態においては、その電源（たとえば、バッテリ）の電力が依然として制限されている場合もある。ボディウェアラブルコンピュータシステム１２０は、無線接続１４４を通してヘッドセットシステム１１０に結合されていてもよい。クラウドコンピュータシステム１３２は、高性能コンピュータ（たとえば、サーバ）を具備していてもよく、また、無線接続１４２を通してボディウェアラブルコンピュータシステム１２０と連通していてもよい。いくつかの実施形態において、クラウドコンピュータシステム１３２は、無線接続（図示せず）を通してヘッドセットシステム１１０とさらに連通していてもよい。ボディウェアラブルコンピュータシステム１２０は、（たとえば、３０Ｈｚ以上のリフレッシュレートのサポートに適した）標準的なデータレートでレンダリングするデータを生成するようにしてもよい。表示エンジン１１２は、ボディウェアラブルコンピュータシステム１２０から受信したデータをアップサンプリングして、より高いフレームレート（たとえば、２００Ｈｚ以上）でアイディスプレイシステム１１６Ａおよび１１６Ｂにより表示されるフレームを生成するようにしてもよい。

図１Ｂは、ヘッドセットシステム１１０の例示的なアイディスプレイシステム（たとえば、１１６Ａまたは１１６Ｂ）を示している。特定の実施形態において、アイディスプレイシステム１１６Ａは、ドライバ１５４、瞳ディスプレイ１５６等を具備していてもよい。表示エンジン１１２は、（たとえば、２００Ｈｚ以上のリフレッシュレートのサポートに適した）高いデータレートで、瞳ディスプレイ１５６、データバス１１４、およびドライバ１５４に表示データを提供するようにしてもよい。

図２は、表示エンジン１１２のシステム図である。特定の実施形態において、表示エンジン１１２は、制御ブロック２１０、変換ブロック２２０Ａおよび２２０Ｂ、ピクセルブロック２３０Ａおよび２３０Ｂ、表示ブロック２４０Ａおよび２４０Ｂ等を具備していてもよい。表示エンジン１１２の構成要素のうちの１つまたは複数が高速バス、共有メモリ、またはその他の任意好適な方法によって通信するように構成されていてもよい。図２に示すように、表示エンジン１１２の制御ブロック２１０は、変換ブロック２２０Ａおよび２２０Ｂ、ピクセルブロック２３０Ａおよび２３０Ｂ、ならびに表示ブロック２４０Ａおよび２４０Ｂと連通するように構成されていてもよい。本明細書においてさらに詳しく説明する通り、この連通には、データの他、制御信号、割り込み、および他の命令を含んでいてもよい。

特定の実施形態において、制御ブロック２１０は、ボディウェアラブルコンピュータシステム（たとえば、図１Ａの１２０）から入力を受信し、表示エンジン１１２のパイプラインを初期化して、表示のためのレンダリングを完了するようにしてもよい。特定の実施形態において、制御ブロック２１０は、ボディウェアラブルコンピュータシステムから第１のデータレートまたはフレームレートでデータおよび制御パケットを受信するようにしてもよい。データおよび制御パケットには、テクスチャデータおよび位置データを含む１つもしくは複数のデータ構造ならびに付加的なレンダリング命令等の情報を含んでいてもよい。特定の実施形態において、データ構造には、２次元レンダリング情報を含んでいてもよい。本明細書においては、データ構造を「サーフェス」と称する場合もある。制御ブロック２１０は、必要に応じて表示エンジン１１２の１つまたは複数の他のブロックにデータを分配するようにしてもよい。制御ブロック２１０は、表示される１つまたは複数のフレームのパイプライン処理を開始するようにしてもよい。特定の実施形態において、アイディスプレイシステム１１６Ａおよび１１６Ｂはそれぞれ、それ自体の制御ブロック２１０を備えていてもよい。特定の実施形態においては、アイディスプレイシステム１１６Ａおよび１１６Ｂのうちの１つまたは複数が制御ブロック２１０を共有するようにしてもよい。

特定の実施形態において、変換ブロック２２０Ａおよび２２０Ｂは、人工現実感シーンにおいて表示されるサーフェスの初期視認性情報を決定するようにしてもよい。一般的に、変換ブロック２２０Ａおよび２２０Ｂは、表示されるイメージ中のピクセル場所を起点の基準とする光線を投影するとともに、ピクセルブロック２３０Ａおよび２３０Ｂに送るフィルタコマンド（たとえば、双線形等の種類の補間技術に基づくフィルタリング）を生成するようにしてもよい。変換ブロック２２０Ａおよび２２０Ｂは、ユーザの実環境または仮想環境中のユーザの現在の視点に基づいて、光線投影を実行するようにしてもよい。ユーザの視点は、１つまたは複数のカメラ（たとえば、モノクロ、フルカラー、デプス検知）、慣性計測ユニット、アイトラッカ、および／または任意好適なトラッキング／ローカライズアルゴリズム（たとえば、サーフェスが位置決めされ、ピクセルブロック２３０Ａおよび２３０Ｂに送る結果を生成可能な環境および／または仮想シーン中の同時ローカライズ・マッピング（ＳＬＡＭ））等、ヘッドセットのセンサを用いて決定されるようになっていてもよい。

一般的に、特定の実施形態によれば、変換ブロック２２０Ａおよび２２０Ｂはそれぞれ、４段階のパイプラインを備えていてもよい。変換ブロック２２０Ａまたは２２０Ｂの段階は、以下のように進み得る。光線投影器は、タイルと称する１つまたは複数の整列したピクセルのアレイに対応する光線束を放出するようにしてもよい（たとえば、各タイルは、１６×１６の整列したピクセルを含んでいてもよい）。光線束は、人工現実感シーンに入る前に、１つまたは複数の歪みメッシュに従って、ワーピングされるようになっていてもよい。歪みメッシュは、少なくともヘッドセットシステム１１０のアイディスプレイシステム１１６Ａおよび１１６Ｂに起因する幾何学的歪み効果を補正するように構成されていてもよい。特定の実施形態において、変換ブロック２２０Ａおよび２２０Ｂは、各タイルの境界ボックスをサーフェスの境界ボックスと比較することによって、各光線束がシーン中のサーフェスと交差するかを判定するようにしてもよい。光線束は、物体と交差しない場合、破棄されるようになっていてもよい。タイル－サーフェス交差が検出され、対応するタイル－サーフェス対がピクセルブロック２３０Ａおよび２３０Ｂに受け渡される。

一般的に、特定の実施形態によれば、ピクセルブロック２３０Ａおよび２３０Ｂは、タイル－サーフェス対から色値を決定して、ピクセル色値を生成するようにしてもよい。各ピクセルの色値は、制御ブロック２１０により受信・格納されたサーフェスのテクスチャデータからサンプリングされるようになっていてもよい。ピクセルブロック２３０Ａおよび２３０Ｂは、変換ブロック２２０Ａおよび２２０Ｂからタイル－サーフェス対を受信するとともに、双線形フィルタリングをスケジューリングするようにしてもよい。ピクセルブロック２３０Ａおよび２３０Ｂは、タイル－サーフェス対ごとに、投射タイルがサーフェスと交差する場所に対応する色値を用いて、タイルに対応するピクセルの色情報をサンプリングするようにしてもよい。特定の実施形態において、ピクセルブロック２３０Ａおよび２３０Ｂは、ピクセルごとに、赤、緑、および青の色成分を別々に処理するようにしてもよい。特定の実施形態において、本明細書に記載の通り、ピクセルブロックは、サーフェスと関連付けられた色（たとえば、色および不透明度）に基づいて、１つまたは複数の処理のショートカットを採用するようにしてもよい。特定の実施形態において、第１のアイディスプレイシステム１１６Ａの表示エンジン１１２のピクセルブロック２３０Ａは、第２のアイディスプレイシステム１１６Ｂの表示エンジン１１２のピクセルブロック２３０Ｂと独立かつ並列に進行するようになっていてもよい。その後、ピクセルブロックは、その色決定結果を表示ブロックに出力するようにしてもよい。

一般的に、表示ブロック２４０Ａおよび２４０Ｂは、ピクセルブロック２３０Ａおよび２３０Ｂからピクセル色値を受信し、データのフォーマットを変換しディスプレイにより適するようにし（たとえば、ディスプレイがスキャンライン表示におけるような特定のデータフォーマットを必要とする場合）、１つまたは複数の輝度補正をピクセル色値に適用し、ディスプレイへの出力のためにピクセル色値を準備してもよい。表示ブロック２４０Ａおよび２４０Ｂは、表示ブロック２４０Ａおよび２４０Ｂは、ピクセルブロック２３０Ａおよび２３０Ｂにより生成されたタイル順ピクセル色値を物理的ディスプレイに求められ得るスキャンラインまたは行順データへと変換するようにしてもよい。輝度補正には、任意の必要な輝度補正、ガンママッピング、およびディザリングを含んでいてもよい。表示ブロック２４０Ａおよび２４０Ｂは、補正されたピクセル色値を直接、物理的ディスプレイ（たとえば、ドライバ１５４を介して図１Ｂの瞳ディスプレイ１５６）に出力するようにしてもよいし、多様なフォーマットにて、表示エンジン１１２の外部のブロックに出力するようにしてもよい。たとえば、アイディスプレイシステム１１６Ａおよび１１６Ｂまたはヘッドセットシステム１１０は、バックエンド色処理の別途カスタマイズ、ディスプレイに対するより広いインターフェースのサポート、または表示速度もしくは忠実度の最適化のための付加的なハードウェアまたはソフトウェアを備えていてもよい。

特定の実施形態において、制御ブロック２１０は、マイクロコントローラ２１２、テクセルメモリ２１４、メモリコントローラ２１６、Ｉ／Ｏ通信用のデータバス２１７、入力ストリームデータ２０５用のデータバス２１８等を具備していてもよい。メモリコントローラ２１６およびマイクロコントローラ２１２は、Ｉ／Ｏ通信用のデータバス２１７を通して、システムの他のモジュールと結合されていてもよい。マイクロコントローラ２１２は、データバス２１７を通して、位置データおよびサーフェス情報等の制御パッケージを受信するようにしてもよい。入力ストリームデータ２０５は、マイクロコントローラ２２２により設定された後のボディウェアラブルコンピュータシステムから制御ブロック２１０への入力であってもよい。入力ストリームデータ２０５は、メモリコントローラ２１６によって所要のテクセルフォーマットに変換され、テクセルメモリ２１４に格納されるようになっていてもよい。特定の実施形態において、テクセルメモリ２１４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）であってもよい。

特定の実施形態において、ボディウェアラブルコンピュータシステムは、入力ストリームデータ２０５をメモリコントローラ２１６に送信するようにしてもよく、メモリコントローラ２１６は、入力ストリームデータを所要フォーマットのテクセルに変換して、スウィズルパターンでテクセルメモリ２１４に格納するようにしてもよい。これらのスウィズルパターンで編成されたテクセルメモリによれば、１回の読み取り動作によって、タイル（たとえば、「タイル」は、１６×１６ピクセルのブロック等、ピクセルの整列ブロックを表す）と関連付けられたすべてのピクセルの少なくとも１つの色成分（たとえば、赤、緑、および／または青）の決定に必要な（たとえば、４×４テクセルブロック中の）テクセルをピクセルブロック２３０Ａおよび２３０Ｂにより読み出し可能となり得る。結果として、表示エンジン１１２は、テクセルアレイが適当なパターンで格納されていない場合にテクセルアレイの読み取りおよび組み立てに通常必要となる過剰な多重化動作を回避可能となるため、表示エンジン１１２およびヘッドセットシステム全体の演算リソース要件および電力消費を抑えることができる。

特定の実施形態において、ピクセルブロック２３０Ａおよび２３０Ｂは、テクセルメモリ２１２から読み出されたテクセルに基づいて、表示用のピクセルデータを生成するようにしてもよい。メモリコントローラ２１６は、２つの２５６ビットデータバス２０４Ａおよび２０４Ｂそれぞれを通して、ピクセルブロック２３０Ａおよび２３０Ｂに結合されていてもよい。ピクセルブロック２３０Ａおよび２３０Ｂは、各変換ブロック２２０Ａおよび２２０Ｂからタイル－サーフェス対２０２Ａおよび２０２Ｂを受信するとともに、タイルと関連付けられたすべてのピクセルの少なくとも１つの色成分の決定に必要なテクセルを識別するようにしてもよい。ピクセルブロック２３０Ａおよび２３０Ｂは、メモリコントローラ２１６ならびに２５６ビットデータバス２０４Ａおよび２０４Ｂを通して、テクセルメモリ２１４から識別したテクセル（たとえば、４×４テクセルアレイ）を並列に読み出すようにしてもよい。たとえば、タイルと関連付けられたすべてのピクセルの少なくとも１つの色成分の決定に必要な４×４テクセルアレイは、１つのメモリブロックに格納されるとともに、１回のメモリ読み取り動作によって読み出されるようになっていてもよい。ピクセルブロック２３０Ａおよび２３０Ｂは、複数のサンプルフィルタブロック（たとえば、色成分ごとに１つ）を用いて、さまざまなテクセル群の補間を並列に実行することにより、対応するピクセルの対応する色成分を決定するようにしてもよい。各眼に対するピクセル値２０３Ａおよび２０３Ｂは、表示ブロック２４０Ａおよび２４０Ｂに送られて、それぞれがアイディスプレイシステム１１６Ａおよび１１６Ｂにより表示される前に、さらに処理されるようになっていてもよい。

特定の実施形態において、人工現実感システム１００、特に、ヘッドセットシステム１１０は、ユーザに対する拡張現実環境のレンダリングに用いられるようになっていてもよい。拡張現実環境は、仮想要素がユーザの実環境またはその一部の上に現れるように、ユーザに対してレンダリングされた仮想現実環境の要素（たとえば、仮想現実物体）を含んでいてもよい。たとえば、ユーザは、本明細書に開示の技術の特徴を具現化したＨＭＤ（たとえば、ヘッドセットシステム１１０）を装着していてもよい。ＨＭＤは、ユーザの環境からの光をユーザの眼に対して普通に点灯し続け得るディスプレイを包含していてもよい。ただし、ディスプレイの発光コンポーネント（たとえば、ＬＥＤ、ＯＬＥＤ、マイクロＬＥＤ等）がディスプレイ中の特定の位置で発光する場合は、ＬＥＤの色がユーザの環境上に重畳されるようになっていてもよい。このため、ディスプレイの発光体が発光する場合は仮想物体がユーザの実環境の前方に現れ得る一方、特定の位置の発光コンポーネントが非発光の場合は、ユーザの環境がディスプレイを通して当該位置で視認可能となり得る。これは、環境を再レンダリングするためのカメラの使用なく実現されるようになっていてもよい。この手順は、人工現実感システム１００を使用するユーザの没入感および快適性を向上させると同時に、仮想環境のレンダリングに要する演算能力およびバッテリ消費を低減可能である。

特定の実施形態においては、選択的に発光したディスプレイの使用によって、仮想環境中の仮想物体とのユーザの相互作用を容易化するようにしてもよい。たとえば、ユーザの手の位置が追跡されるようになっていてもよい。従来のシステムにおいて、ユーザの手を仮想環境中に表す唯一の方法は、ハンドトラッキングシステムであっても、手の何らかの仮想表現を生成してレンダリングすることである。これは、多くの使用シナリオにおいて、不適当と考えられる。たとえば、職場環境において、ユーザが物体と相互作用する場合には、ユーザの手自体を視認可能となるのが望ましいと考えられる。たとえば、アーティストは、仮想絵筆等のツールを保持している場合に、それぞれの手を見るようにするのが望ましいと考えられる。本明細書においては、このように高度な表示を可能にする技術を開示する。

図３Ａは、人工現実感表示システムを通してユーザが自身の手を見る例を示したユーザのヘッドセット内ビューの一例を示している。ヘッドセット内ビュー３００は、仮想物体３０４のビューおよびユーザの物理的な手３０２のビューを含む合成（たとえば、複合）現実感ディスプレイを示している。ユーザは、仮想物体３０４のボタンを押そうとしている。このため、ユーザの手３０２は、仮想物体３０４の部分よりもユーザの視点に近い。これは、ボタン（たとえば、エレベータのボタン）を押そうとした場合に、エレベータのボタンおよびパネルの部分の前方に手が現れるように、ユーザの普通の直感と一致する。

図３Ｂは、同じシーンの代替ビューを示している。図３Ａがユーザのヘッドセット内ビュー３００を示しているのに対して、図３Ｂは、ヘッドセットシステムの発光コンポーネントにより表示されたピクセル３１０のみを示している。これらのピクセルは、仮想物体３０４の表現を含む。ただし、表示システム中の発光した如何なる発光体によっても、仮想物体３０４が環境に重畳して表示されることになるため、仮想物体３０４のレンダリングは、（図３Ａのように）ディスプレイによってユーザの手を表示可能となるように修正の必要がある。このため、仮想物体３０４のレンダリングは、ユーザの手の形状を忠実にトレースする切り取りを含むように修正される。仮想環境の表示に際しては、切り取り部が非発光ピクセル領域３１２として処理される。言い換えると、仮想物体３０４の色を普通に表示することになる発光コンポーネントは、その代わりとして、発光しないように指示される。その結果としての印象は、ユーザの環境の光を透過させ得るため、図３Ａに示す合成効果が得られる。

図４Ａは、ユーザのヘッドセット内ビューの別の例を示している。図４Ａにおいて、ヘッドセット内ビュー４００は、指を巻き付けることによって仮想物体４０４と相互作用するユーザを示している。ユーザの物理的な手４０２のビューは、ユーザの手の一部（たとえば、ユーザの手の掌の近く）を遮蔽するとともに、ユーザの手４０２（たとえば、ユーザの指）によって部分的に遮蔽された仮想物体４０４を示している。ユーザは、本明細書に記載の部分的レンダリング技術によって、物体を物理的に感じていなくても、仮想物体４０４を保持していることをより直感的に理解可能となり得る。

図４Ｂは、図４Ａに示すシーンの代替ビューを示している。図３Ｂと同様に、図４Ｂは、ヘッドセットシステムの発光コンポーネントにより表示されたピクセル４１０のみを示している。これらのピクセルは、仮想物体４０４の表現を含む。仮想物体４０４のうち、仮想環境および実環境のヘッドセット内ビューにおいてユーザの手により遮蔽された領域は、表示されていない（たとえば、仮想物体は、非発光ピクセル領域４１２を含む）。なお、図４Ｂは、シーン中のユーザの手の場所を決定し、ユーザの手を常に表示するだけでは不十分となることを示している。ここで、図４Ａおよび図４Ｂに示したものの反例を考える。ユーザの手が常に、任意の仮想物体の前方に現れるようになされると、人工現実感システム１００は、ユーザの手の一部が仮想物体４０４により遮蔽された図４Ａに示すようなシナリオをレンダリングできなくなる。そこで、仮想物体と相互作用する複合現実環境においてユーザの手を正確に表示するには、ユーザの手の個々の部分のデプス（たとえば、当該点とユーザの視点との間の距離）を追跡して、仮想物体のデプスと比較する必要がある。

図５は、仮想物体を遮蔽するユーザの手の部分または仮想物体により遮蔽されるユーザの手の部分を決定する際のユーザの手のイメージの処理に関するグラフィカル表現を示している。図５は、本開示において使用されるユーザの手およびその仮想表現のイメージの状態を生成する方法を示すものと了解され得る。図５に示す例は、図３Ａおよび図３Ｂの例の続きである。ヘッドセットシステム１１０の１つまたは複数のカメラによって、ユーザの物理的な手の１つまたは複数のイメージ３０２が取り込まれる。コンピュータシステム（いくつかの実施形態においては、ヘッドセットシステム１１０またはボディウェアラブルコンピュータシステム１２０を含んでいてもよい）がハンドトラッキングアルゴリズムを実行し、ユーザの手の上のさまざまな離散場所の相対的な位置に基づいて、ユーザの手の姿勢を決定する。たとえば、ハンドトラッキングアルゴリズムは、指先、関節、掌、手の甲、およびユーザの手の他の明確な部分の場所を検出するようにしてもよい。また、コンピュータシステムは、ユーザの手のデプス（たとえば、カメラにより表される通り、ユーザの手と視点との間の距離）を決定するようにしてもよい。

コンピュータシステムは、決定した姿勢から、手の３Ｄメッシュ５０２を生成する。３Ｄメッシュは、ユーザの手の仮想物体表現を含んでいてもよい。特定の実施形態において、３Ｄメッシュは、没入型人工現実感シーンにおいてユーザの手の表現をレンダリングするのに生成され得る３Ｄメッシュに類似していてもよい。また、コンピュータシステムは、３Ｄメッシュの高さグリッド５０４のオーバーレイを生成する。コンピュータシステムは、３Ｄメッシュに基づいて高さグリッドを生成するようにしてもよい。たとえば、コンピュータシステムは、（たとえば、ユーザの掌等のランドマーク位置に基づいて）手の固定平面を決定するようにしてもよい。コンピュータシステムは、３Ｄメッシュに基づいて固定平面からの変化を決定することにより、特定の位置（たとえば、指先、関節等）のデプスが固定平面のデプスから逸脱しているものと判定するようにしてもよい。これらの点における変化は、高さグリッドに格納されていてもよい。また、コンピュータシステムは、既知の距離（たとえば、追跡位置）を補間して推定距離を決定することにより、３Ｄメッシュの位置における高さを計算するようにしてもよい。

上述の通り、３Ｄメッシュ５０２および高さグリッド５０４は、ボディウェアラブルコンピュータシステム１２０およびヘッドセットシステム１１０の利用可能な演算リソースおよび電力リソースに基づいて、ボディウェアラブルコンピュータシステム１２０により生成されるようになっていてもよい。人工現実感システム１００は、レンダリングレイテンシおよびグラフィカル品質といった検討事項を人工現実感システム１００に関わるコンピュータシステムの演算応力、メモリ可用性、電力可用性等のリソースの可用性とバランスさせようとしてもよい。たとえば、人工現実感システム１００は、手の追跡、３Ｄメッシュ５０２の生成、および高さグリッド５０４の生成等のタスクをどのコンピュータシステムが取り扱うかを積極的に管理するようにしてもよい。人工現実感システム１００は、ヘッドセットシステムが十分なバッテリ電力およびプロセッサ可用性を有するものと判定して、ヘッドセットシステム１１０にこれらのステップの実行を指示するようにしてもよい。特定の実施形態においては、レンダリングプロセスのうちの可能な限り多くをヘッドセットシステム１１０が取り扱えるようにして、ヘッドセットシステム１１０とボディウェアラブルコンピュータシステム１２０との間のデータ転送によりもたらされるレイテンシを抑えるのが好ましいと考えられる。

３Ｄメッシュ５０２および高さグリッド５０４は、フレームレンダリング器５０６に受け渡されるようになっていてもよい。特定の実施形態において、フレームレンダリング器は、ボディウェアラブルコンピュータシステム１２０において具現化されていてもよいし、ヘッドセットシステム１１０よりも利用可能な演算リソースが多い別のコンピュータ機器において具現化されていてもよい。フレームレンダリング器５０６は、３Ｄメッシュ５０２の境界に基づく２次元仮想物体プリミティブを含むサーフェス表現へと３Ｄメッシュ５０２を変換するようにしてもよい。サーフェスには、ユーザの手の２Ｄテクスチャ５０８を含んでいてもよい。特定の実施形態において、２Ｄテクスチャ５０８は、ユーザの手を表すものとしてサーフェスにフラグ付けする特定の色と関連付けられていてもよい。特定の実施形態において、テクスチャの色は、不透明黒として指定されていてもよく、これは、テクスチャの「表示」に際して、いずれの発光コンポーネントも発光せず、仮想環境のレンダリングに際して、（たとえば、仮想物体からの）光がサーフェスを通過できないものとすることを意味する。また、サーフェスは、高さグリッド５０４の位置および任意の補間位置を当該サーフェスの特定位置にマッピングする高さマップ５１０と関連付けられていてもよい。特定の実施形態においては、２Ｄテクスチャ５０８および高さマップ５１０の位置間に（たとえば、ピクセル当たりのレベルの）直接的な対応関係が存在していてもよく、高さグリッド５０４は、処理の必要性から、より粗い解像度を有していてもよい。フレームレンダリング器５０６は、これらのステップを実行するのと同時に、仮想環境中の仮想物体のサーフェス表現を生成するようにしてもよい。フレームレンダリング器５０６は、仮想環境中のユーザの視点に基づいて、サーフェス表現を生成するようにしてもよい。たとえば、ヘッドセットシステム１１０は、当該ヘッドセットシステム１１０による仮想環境中のユーザの向きの決定を可能にする多様なセンサを具備していてもよい。フレームレンダリング器５０６は、適当に位置決めされた２Ｄサーフェスを用いてユーザの視点に基づく３Ｄ物体を表現可能である、という考えにより、サーフェスの生成に際して、この向き情報を使用するようにしてもよい。２Ｄテクスチャ５０８および高さマップ５１０を含む生成サーフェスは、サブフレームレンダリング器５１２に受け渡されるようになっていてもよい。

サブフレームレンダリング器５１２は、ユーザの手の仮想物体表現（たとえば、サーフェス）の基本視認性判定の実行を担い得る。本明細書においてさらに詳しく説明する通り、基本視認性判定には、仮想シーンへの光線投影を実行することと、光線のいずれかについて、ユーザの手のサーフェス表現が最初に交差するサーフェスであるかを判定することと、を含んでいてもよい。これは、ユーザの手が仮想環境中の仮想物体のその他の部分を遮蔽するため、ユーザに対して表示されるはずであることを示す。サブフレームレンダリング器５１２は、フレームレンダリング器５０６よりも高いレートでフレーム（たとえば、表示されるイメージ）を生成し得ることから、このような名称となっている。たとえば、フレームレンダリング器５０６が１秒当たり６０フレームでデータを生成可能な場合、サブフレームレンダリング器５１２は、１秒当たり２００フレームでデータを生成可能である。サブフレームレンダリング器５１２は、その基本視認性判定の実行に際して、（たとえば、フレームレンダリング器５０６からのデータ受信により更新された）ユーザの更新視点を使用することにより、（たとえば、対応するサーフェスの見え方を修正することによって）任意の仮想物体の視認性および位置決めを微調節するようにしてもよい。特定の実施形態においては、レイテンシをさらに抑えるため、フレームを出力する表示システムに対して可能な限り近くなるように、サブフレームレンダリング器５１２がヘッドセットシステム１１０において具現化されていてもよい。これは、ユーザの（たとえば、頭部または眼の）動きと（その動きを含む）ユーザに表示されるイメージとの間のレイテンシを抑えることになる。

図６は、本明細書に論じる実施形態に係る、ユーザの仮想シーンのイメージを生成するプロセスを示している。図６は、図３Ａ、図３Ｂ、および図５に示す例を基礎として続くものである。まず、ヘッドセットシステム１１０のカメラがユーザの環境のイメージを取り込む。このイメージには、シーン中の仮想物体を遮蔽する物体（ユーザの手等）を含む。これと同時に、ヘッドセットシステム１１０は、第１のユーザ姿勢６００を決定する。第１のユーザ姿勢６００は、（たとえば、ＳＬＡＭまたは別のローカライズ技術を用いて）取り込んだ１つまたは複数のイメージにより決定されるようになっていてもよい。第１のユーザ姿勢６００は、ヘッドセットシステムの１つまたは複数の搭載センサ（たとえば、慣性計測ユニット）に基づいて決定されるようになっていてもよい。たとえばヘッドセットシステム１１０またはボディウェアラブルコンピュータシステム１２０が取り込んだイメージを使用して、ハンドトラッキングを実行するとともに、３Ｄメッシュ５０２および高さグリッド５０４を生成するようにしてもよい。第１のユーザ姿勢６００、３Ｄメッシュ５０２、および高さグリッド５０４は、フレームレンダリング器５０６に受け渡されるようになっていてもよい。

上述の通り、フレームレンダリング器５０６は、３Ｄメッシュ５０２および高さグリッド５０４に基づいて、フレーム６０２に用いられるユーザの手のサーフェス仮想物体表現を生成するようにしてもよい。このサーフェスには、２Ｄ不透明テクスチャ５０８、高さマップ５１０、および仮想環境においてユーザの手を表すのに必要な他の情報（環境中のユーザの手の場所、サーフェスの境界等）を含んでいてもよい。また、フレームレンダリング器５０６は、仮想環境中の他の仮想物体６０４を表すサーフェスを生成するようにしてもよい。フレームレンダリング器５０６は、この情報の生成に必要な計算を実行することにより、第１のフレームレート（たとえば、６０ｆｐｓ）をサポートするようにしてもよい。フレームレンダリング器は、これらすべての情報を（たとえば、フレームレンダリング器５０６がボディウェアラブルコンピュータにおいて具現化されている場合は、無線接続によって）サブフレームレンダリング器５１２に受け渡すようにしてもよい。

サブフレームレンダリング器５１２は、仮想物体６０４のサーフェスおよびユーザの手の仮想物体表現を受信するようにしてもよい。サブフレームレンダリング器５１２は、仮想シーン６０６中のサーフェスの視認性判定を実行するようにしてもよい。サブフレームレンダリング器５１２は、第２のユーザ姿勢６０８を決定するようにしてもよい。第２のユーザ姿勢６０８は、第１のユーザ姿勢６００と異なっていてもよい。第１のユーザ姿勢６００が生成フレームごとに更新されても、ユーザは、わずかに移動し得るためである。ユーザの姿勢の更新を考慮しないと、人工現実感システム１００の使用中にユーザの不快感が大幅に増大する可能性がある。視認性判定には、ヘッドセットシステム１１０のディスプレイ中の位置および第２のユーザ姿勢６０８を複数の光線（たとえば、光線６１０ａ、６１０ｂ、６１０ｃ、および６１０ｄ）それぞれの起点の基準とする第２のユーザ姿勢６０８に基づいて、仮想環境への光線投影を実行することを含んでいてもよい。特定の実施形態において、光線投影は、表示エンジン１１２の変換ブロック２２０Ａおよび２２０Ｂにより実行される光線投影に類似していてもよいし、当該光線投影が実行されるようになっていてもよい。

サブフレームレンダリング器５１２は、視認性判定に用いられる光線ごとに、当該光線を仮想環境に投影し、当該光線が仮想環境中のサーフェスと交差するかを判定するようにしてもよい。特定の実施形態においては、サーフェス当たりのレベルでデプステスト（たとえば、最初に交差するサーフェスの決定）が実行されるようになっていてもよい。すなわち、各サーフェスは、サブフレームレンダリング器５１２（または、変換ブロック２２０Ａおよび２２０Ｂ）による交差サーフェスの迅速な識別を可能にする高さまたはデプス値を１つだけ有していてもよい。たとえば、サブフレームレンダリング器５１２は、光線６１０ａを仮想環境に投影し、仮想物体３０４に対応するサーフェスと当該光線が最初に交差するものと判定するようにしてもよい。サブフレームレンダリング器５１２は、光線６１０ｂを仮想環境に投影し、ユーザの手に対応するサーフェス６１２の近くの点で当該光線が仮想物体３０４と交差するものと判定するようにしてもよい。サブフレームレンダリング器は、光線６１０ｃを仮想環境に投影し、ユーザの手に対応するサーフェス６１２と当該光線が最初に交差するものと判定するようにしてもよい。サブフレームレンダリング器５１２は、光線６１０ｄを仮想環境に投影し、仮想環境中の如何なる物体とも当該光線が交差しないものと判定するようにしてもよい。

環境に投射された各光線は、ユーザに表示されるイメージの１つまたは複数のピクセルに対応していてもよい。光線に対応するピクセルには、交差するサーフェスに基づいて色値が割り当てられていてもよい。たとえば、光線６１０ａおよび６１０ｂと関連付けられたピクセルには、（たとえば、サーフェスと関連付けられたテクスチャ値のサンプリングにより）仮想物体３０４に基づいて、色値が割り当てられていてもよい。光線６１０ｃと関連付けられたピクセルには、サーフェス６１２に基づいて、色値が割り当てられていてもよい。特定の実施形態において、色値は、不透明（たとえば、混じり気なし、または、光が通過）ならびに暗もしくは黒の両者として指定されることにより、最終的にレンダリングイメージを表示することになるディスプレイの発光コンポーネントに対して命令を与えるようにしてもよい。光線６１０ｄと関連付けられたピクセルには、デフォルト色が割り当てられていてもよい。特定の実施形態において、デフォルト色は、サーフェス６１２に用いられる値に類似していてもよいし、これと同じ値が与えられていてもよい。このデフォルト色は、表示する仮想物体が存在しない場合（たとえば、空きスペースが存在する場合）にユーザの環境を視認可能となるように選定されるようになっていてもよい。

光線それぞれの色値の決定をサブフレームレンダリング器５１２が利用して、表示するイメージを作成するようにしてもよい。特定の実施形態において、これには、表示エンジン１１２のピクセルブロック２３０Ａおよび２３０Ｂならびに表示ブロック２４０Ａおよび２４０Ｂが実行する適当なステップを含んでいてもよい。サブフレームレンダリング器５１２は、決定されたピクセル色値を合成して、ユーザに表示するサブフレーム６１４を作成するようにしてもよい。サブフレームには、ユーザの手の切り取りを含むように現れる仮想物体６１６の表現を含んでいてもよい。この切り取りは、ヘッドセットシステムの表示コンポーネントにより表示された場合、ユーザの手がサーフェス６１２の適所に実際に現れ得るようにしてもよい。これにより、ユーザは、それぞれの実際の手が仮想物体６１６と相互作用することを知覚可能となる。

図７は、本明細書に論じる実施形態に係る、ユーザの仮想シーンのイメージを生成するプロセスを示している。図７は、図４Ａおよび図４Ｂに示す例を基礎として続くものである。まず、ヘッドセットシステム１１０のカメラがユーザの環境のイメージを取り込む。このイメージには、シーン中の仮想物体を遮蔽する物体（ユーザの手等）を含む。これと同時に、ヘッドセットシステム１１０は、第１のユーザ姿勢７００を決定する。たとえばヘッドセットシステム１１０またはボディウェアラブルコンピュータシステム１２０が取り込んだイメージを使用して、ハンドトラッキングを実行するとともに、３Ｄメッシュ７０１および対応する高さグリッドを生成するようにしてもよい。第１のユーザ姿勢７００、３Ｄメッシュ７０１、および対応する高さグリッドは、フレームレンダリング器５０６に受け渡されるようになっていてもよい。

上述の通り、フレームレンダリング器５０６は、３Ｄメッシュ７０１および高さグリッドに基づいて、フレーム７０２に用いられるユーザの手のサーフェス（仮想物体表現）を生成するようにしてもよい。このサーフェスには、２Ｄ不透明テクスチャ７０６、高さマップ７０８、および仮想環境においてユーザの手を表すのに必要な他の情報（環境中のユーザの手の場所、サーフェスの境界等）を含んでいてもよい。また、フレームレンダリング器５０６は、仮想環境中の他の仮想物体４０４を表すサーフェスを生成するようにしてもよい。フレームレンダリング器５０６は、この情報の生成に必要な計算を実行することにより、第１のフレームレート（たとえば、６０ｆｐｓ）をサポートするようにしてもよい。フレームレンダリング器は、これらすべての情報を（たとえば、フレームレンダリング器５０６がボディウェアラブルコンピュータにおいて具現化されている場合は、無線接続によって）サブフレームレンダリング器５１２に受け渡すようにしてもよい。

サブフレームレンダリング器５１２は、仮想物体４０４のサーフェスおよびユーザの手の仮想物体表現を受信するようにしてもよい。サブフレームレンダリング器５１２は、仮想シーン７１６中のサーフェスの視認性判定を実行するようにしてもよい。サブフレームレンダリング器５１２は、第２のユーザ姿勢７１０を決定するようにしてもよい。第２のユーザ姿勢７１０は、第１のユーザ姿勢７００と異なっていてもよい。第１のユーザ姿勢７００が生成フレームごとに更新されても、ユーザは、わずかに移動し得るためである。ユーザの姿勢の更新を考慮しないと、人工現実感システム１００の使用中にユーザの不快感が大幅に増大する可能性がある。視認性判定には、ヘッドセットシステム１１０のディスプレイ中の位置および第２のユーザ姿勢７２０を複数の光線（たとえば、光線７２０ａ、７２０ｂ、７２０ｃ、および７２０ｄ）それぞれの起点の基準とする第２のユーザ姿勢７１０に基づいて、仮想環境への光線投影を実行することを含んでいてもよい。特定の実施形態において、光線投影は、表示エンジン１１２の変換ブロック２２０Ａおよび２２０Ｂにより実行される光線投影に類似していてもよいし、当該光線投影が実行されるようになっていてもよい。

サブフレームレンダリング器５１２は、視認性判定に用いられる光線ごとに、当該光線を仮想環境に投影し、当該光線が仮想環境中のサーフェスと交差するかを判定するようにしてもよい。特定の実施形態においては、ピクセル当たりのレベルでデプステスト（たとえば、最初に交差するサーフェスの決定）が実行されるようになっていてもよい。すなわち、仮想環境のサーフェスはそれぞれ、サブフレームレンダリング器５１２（または、変換ブロック２２０Ａおよび２２０Ｂ）による個々のピクセルに基づくサーフェス間の相互作用と交差との識別を可能にする高さマップまたはデプスマップを有していてもよい。たとえば、サブフレームレンダリング器５１２は、光線７２０ａを仮想環境に投影し、仮想物体４０４に対応するサーフェスと当該光線が最初に交差するものと判定するようにしてもよい。サブフレームレンダリング器５１２は、光線７２０ｂを仮想環境に投影し、仮想環境中の如何なる物体とも当該光線が交差しないものと判定するようにしてもよい。たとえば、サブフレームレンダリング器５１２は、光線７２０ｃを仮想環境に投影し、仮想物体４０４に対応するサーフェスと当該光線が最初に交差するものと判定するようにしてもよい。なお、光線７２０ｃは、仮想物体７２４がユーザの手に対応するサーフェス７２２と重なる仮想物体のサーフェスの重なり領域７２４に沿った点で交差する。サブフレームレンダリング器は、光線７２０ｄを仮想環境に投影し、ユーザの手に対応するサーフェス７２２と当該光線が最初に交差するものと判定するようにしてもよい。

環境に投射された各光線は、ユーザに表示されるイメージの１つまたは複数のピクセルに対応していてもよい。光線に対応するピクセルには、交差するサーフェスに基づいて色値が割り当てられていてもよい。たとえば、光線７２０ａおよび７２０ｃと関連付けられたピクセルには、（たとえば、サーフェスと関連付けられたテクスチャ値のサンプリングにより）仮想物体４０４に基づいて、色値が割り当てられていてもよい。光線７２０ｄと関連付けられたピクセルには、サーフェス７２２に基づいて、色値が割り当てられていてもよい。特定の実施形態において、色値は、不透明（たとえば、混じり気なし、または、光が通過）ならびに暗もしくは黒の両者として指定されることにより、最終的にレンダリングイメージを表示することになるディスプレイの発光コンポーネントに対して命令を与えるようにしてもよい。光線７２０ｂと関連付けられたピクセルには、デフォルト色が割り当てられていてもよい。特定の実施形態において、デフォルト色は、サーフェス７２２に用いられる値に類似していてもよいし、これと同じ値が与えられていてもよい。このデフォルト色は、表示する仮想物体が存在しない場合（たとえば、空きスペースが存在する場合）にユーザの環境を視認可能となるように選定されるようになっていてもよい。

光線それぞれの色値の決定をサブフレームレンダリング器５１２が利用して、表示するイメージを作成するようにしてもよい。特定の実施形態において、これには、表示エンジン１１２のピクセルブロック２３０Ａおよび２３０Ｂならびに表示ブロック２４０Ａおよび２４０Ｂが実行する適当なステップを含んでいてもよい。サブフレームレンダリング器５１２は、決定されたピクセル色値を合成して、ユーザに表示するサブフレーム７２８を作成するようにしてもよい。サブフレームには、ユーザの手の切り取りを含むように現れる仮想物体７２６の表現を含んでいてもよい。この切り取りは、ヘッドセットシステムの表示コンポーネントにより表示された場合、ユーザの手がサーフェス７２２の適所に実際に現れ得るようにしてもよい。これにより、ユーザは、それぞれの実際の手が仮想物体７２６と相互作用し、仮想物体７２６がそれぞれの手の部分を適当に遮蔽することを知覚可能となる。

図８Ａおよび図８Ｂは、拡張現実内の仮想物体の現実世界物体オクルージョンを提供する例示的な方法８００を示している。この方法は、ステップ８１０で開始となり、ヘッドセットシステム１１０（たとえば、ヘッドマウントディスプレイ）の少なくとも１つのカメラがヘッドセットシステム１１０の環境のイメージを取り込むようにしてもよい。特定の実施形態において、イメージは、標準的なフルカラーイメージであってもよいし、モノクロイメージであってもよいし、デプス検知イメージであってもよいし、その他の任意好適な種類のイメージであってもよい。イメージは、仮想または複合現実ビュー内の特定の仮想物体の遮蔽に使用されるべきものとして人工現実感システム１００が判定する物体を含んでいてもよい。以下の例において、当該物体はユーザの手であるが、上述のような多種多様の好適な物体も可能である。

特定の実施形態において、ステップ８１５～８４０は、仮想環境中のユーザの手および仮想物体の位置に基づいてユーザに表示されるフレームの生成と関連していてもよい。特定の実施形態において、ステップ８１５～８４０のうちの１つまたは複数は、ヘッドセットシステム１１０、ボディウェアラブルコンピュータシステム１２０、またはヘッドセットシステムよりも演算リソースが多く、ヘッドセットシステム１２０に対して通信可能に結合された別の好適なコンピュータシステムにより実行されるようになっていてもよい。特定の実施形態において、各ステップで実行される作業は、人工現実感システム１００の作業コントローラによって、対象となるコンピュータシステム間で割り振られるようになっていてもよい。

この方法は、ステップ８１５へと続いて、コンピュータシステムが環境中のヘッドセットシステムのユーザの視点を決定するようにしてもよい。特定の実施形態において、視点は純粋に、好適なローカライズおよび／またはマッピング技術を用いることにより、環境の取り込みイメージにより決定されるようになっていてもよい。特定の実施形態において、視点は、ヘッドセットシステムの他のセンサから受信されたデータを用いて決定されるようになっていてもよい。

ステップ８２０においては、コンピュータシステムがユーザの手の姿勢を検出するようにしてもよい。ユーザの手の姿勢を検出するため、コンピュータシステムはまず、ユーザの手を含む取り込みイメージの部分を識別するようにしてもよい。コンピュータシステムは、複数のアルゴリズムのうちの１つを実行することにより、取り込みイメージ中のユーザの手の存在を識別するようにしてもよい。イメージにおいて手が実際に現れることを確認した後、コンピュータシステムは、ハンドトラッキング解析を実行することにより、取り込みイメージ中のユーザの手の上の複数の離散場所の存在および場所を識別するようにしてもよい。特定の実施形態において、ハンドトラッキングは、デプストラッキングカメラを使用することで容易化されるようになっていてもよい。特定の実施形態において、ハンドトラッキングは、ディープラーニングおよびモデルベーストラッキングを用いた標準的なデプストラッキングなしに実行されるようになっていてもよい。ディープニューラルネットワークがトレーニングされ、人の手の他、手の関節および指先等のランドマークの場所の予測に用いられるようになっていてもよい。ランドマークは、手および指の高自由度姿勢（たとえば、２６自由度姿勢）の再構成に用いられるようになっていてもよい。姿勢は、環境中のユーザの視点に対する手の場所を与え得る。

ステップ８２５においては、コンピュータシステムが検出した姿勢に基づいて、ユーザの手の３Ｄメッシュを生成するようにしてもよい。コンピュータシステムは、取り込みイメージを使用して、検出姿勢を考慮したユーザの手のモデルを作成するようにしてもよい。特定の実施形態において、３Ｄメッシュは、ユーザの手を仮想シーン中で適当に表せるように、ユーザの手に基づく完全モデル化仮想物体であってもよい。コンピュータシステムは、３Ｄメッシュから、環境中のユーザの手の高さマップを生成するようにしてもよい。たとえば、コンピュータシステムは、ユーザの手の一部のデプス（たとえば、視点および／またはカメラからのユーザの手の距離）を決定するようにしてもよい。仮想物体の正確なオクルージョンを容易化するためには、ユーザの手の場所をより細かい単位で把握する必要がある。イメージのみに基づいてデプスを正確に計算するのは、計算量が膨大になる可能性がある。３Ｄメッシュからユーザの手の輪郭を決定可能であるとともに、ユーザの手のさまざまな高さを格納した高さマップまたはデータ構造を生成可能であることから、３Ｄメッシュによって隙間を埋めるようにしてもよい。

ステップ８３０においては、コンピュータシステムがユーザの周りの仮想環境中のユーザの視点を決定するようにしてもよい。仮想環境は、人工現実感システム１００により実行される人工現実感アプリケーションにより制御されるようになっていてもよい。仮想環境には、複数の仮想物体が含まれていてもよい。各仮想物体は、そのサイズ、形状、テクスチャ、（たとえば、固定点に対する）絶対位置、および（たとえば、視点に対する）相対的な場所を記述した情報と関連付けられていてもよい。仮想環境中の視点は、実環境中のユーザの視点と仮想環境中のユーザの視点との間の対応関係に基づいて決定されるようになっていてもよい。この対応関係は、人工現実感システム１００により決定されるようになっていてもよいし、ユーザにより指定（たとえば、校正）されるようになっていてもよい。

ステップ８３５においては、コンピュータシステムが３Ｄメッシュに基づいて、ユーザの手の仮想物体表現を生成するようにしてもよい。仮想物体表現（本開示の全体を通して、サーフェスとも表す）は、テクスチャおよび関連する高さマップと関連付けられていてもよい。特定の実施形態において、仮想物体表現は、仮想環境中の視点から見たユーザの手の３Ｄメッシュの２Ｄ表現であってもよい。２Ｄ表現は、３Ｄメッシュを表すのに適切と考えられる。コンピュータシステムは、２Ｄ表現のみが生成されたことをユーザが検出できなくなる十分に高いレート（たとえば、６０Ｈｚ以上）でフレームを生成可能なためである。

ステップ８４０においては、コンピュータシステムが仮想物体および仮想環境のモデルならびに仮想環境中のユーザの視点に基づいて、仮想環境中のその他の仮想物体の表現を生成するようにしてもよい。ユーザの手の仮想物体表現と同様に、これらの仮想物体表現は、たとえば仮想物体間の交差の決定に際して３Ｄモデルを高速に模擬するのに使用可能な仮想物体のテクスチャおよび高さマップと関連付けられていてもよい。総合すると、これらの仮想物体表現は、仮想環境のフレームをレンダリングするためのデータを構成する。この背景において、フレームは、仮想物体表現が生成されるレートを表す。このレートは、ユーザの視点の特定の移動度の尤度に基づいて決定されるようになっていてもよい。

この方法は、図８Ｂに示すステップ８５０へと進み得る。ステップ８５０～８９０は、仮想環境のサブフレームを生成・提供して表示することを対象としていてもよい。サブフレームは、仮想環境のフレームとして生成・作成されたデータを使用し、必要に応じて、データを更新し、ヘッドセットシステム１１０の表示コンポーネント（たとえば、発光コンポーネントのアレイ）によってユーザに示されるイメージを実際に決定してもよい。サブフレームは、フレームの作成レートよりもはるかに高いレートで作成・表示されるようになっていてもよい（たとえば、２００Ｈｚ以上）。サブフレームの作成レートが高いため、システム間通信を制限することが必要となり得る。したがって、ステップ８５０～８９０に必要な演算は、ヘッドセットシステム１１０に対して通信可能に結合されたボディウェアラブルコンピュータシステム１２０等のコンピュータシステムではなく、ヘッドセットシステム１１０自体により実行されるのが好ましいと考えられる。

ステップ８５０においては、コンピュータシステムがユーザの周りの環境中および仮想環境中のユーザの更新視点を決定するようにしてもよい。更新視点は、ユーザの微細な動き（たとえば、頭の動き、眼の動き等）を考慮したサブフレームを作成可能とするために必要と考えられる。更新視点は、上記と同様に決定されるようになっていてもよい。

ステップ８５５において、コンピュータシステムは、複数の仮想物体表現およびユーザの手の仮想物体表現に関する仮想環境中のユーザの視点の基本視認性判定を実行するようにしてもよい。特に、視認性判定は、光線投影技術を用いて実行されるようになっていてもよい。コンピュータシステムは、仮想環境に投影する複数の光線を編成するようにしてもよい。各光線は、ヘッドセットシステム１１０により表示されるイメージの１つまたは複数のピクセルに対応していてもよい。各ピクセルは、ヘッドセットシステム１１０の発光体の１つまたは複数の表示位置に対応していてもよい。各光線の起点は、仮想環境中のユーザの視点および対応するピクセルの位置に基づいていてもよい。光線の方向は、仮想環境中のユーザの視点に基づいて同様に決定されるようになっていてもよい。仮想環境への光線の投影の実行によって、仮想環境中の光の挙動を模擬するようにしてもよい。一般的に、光線の投影には、光線が仮想環境中の仮想物体と交差するかを判定することと、交差する光線に対応するピクセルに色を割り当てることと、を含む。

各光線のプロセスについては、ステップ８６０～８８０に関して部分的に記載している。ステップ８６０において、コンピュータシステムは、各光線が仮想環境中の仮想物体と交差するかを判定する。特定の実施形態において、コンピュータシステムは、仮想環境中の光線の経路を一定距離または一定時間にわたって模擬することにより交差を確認するようにしてもよい。経路の各段階において、光線は、特定のフレームに対して生成済みのさまざまな仮想物体表現の位置に対して当該光線の位置を比較するようにしてもよい。仮想物体の位置は、表現に対して指定された場所（デプスを含む）および表現と関連付けられ得る高さマップに基づいて把握されている。この光線投影技術を用いることにより、光線に対応するピクセルの正しい色値は、それが交差する最初の仮想物体と関連付けられた色値であるものと仮定する。光線が仮想物体と交差しないものとコンピュータシステムが判定した場合、この方法は、ステップ８７５へと直接進んで、以下に詳述する通り、光線（その後、対応するピクセル）と関連付けられた色値は、発光体が非発光を維持することで光が環境からユーザまで透過可能となる専用透過色に設定される。光線が仮想物体と交差するものとコンピュータシステムが判定した場合、この方法は、ステップ８６５へと進み得る。

ステップ８６５において、コンピュータシステムは、交差している仮想物体表現を識別して、交差点における対応するテクスチャの色をサンプリングするようにしてもよい。対応する色をサンプリングするため、コンピュータシステムはまず、交差している仮想物体表現と関連付けられたテクスチャを読み出すようにしてもよい。その後、コンピュータシステムは、交差点に対応するテクスチャ上の点を決定するようにしてもよい。これには、グローバル座標またはビューベース座標からテクスチャベース座標への交差点の変換を含んでいてもよい。適当な座標が決定されると、コンピュータシステムは、当該適当な位置でテクスチャに格納された色値を識別するようにしてもよい。特定の実施形態において、人工現実感システム１００は、この動作の実行に必要なメモリアクセス時間を短くするショートカットを使用するようにしてもよい。このようなショートカットには、特定の仮想物体表現のフラグ付けを含んでいてもよい。

ステップ８７０において、コンピュータシステムは、サンプリング色の値を決定するようにしてもよい。サンプリング色が不透明黒（または、対応する発光体が非発光を維持すべきことを示すための使用が指定された他の色）の場合、この方法は、ステップ８７５へと進み得る。それ以外の場合、この方法は、ステップ８８０へと進み得る。

ステップ８７５において、コンピュータシステムは、光線に対応するピクセルの色値を透過色に設定するようにしてもよい。透過色は、最終イメージがサブフレームとしてユーザに表示された場合は発光体が発光すべきではないことを知らせる発光体への命令の生成に用いられるようになっていてもよいし、あるいは、このような命令と関連付けられていてもよい。例示的な透過色としては、黒（対応する発光体が暗くなるべきことを示す）または透明（発光体が光を発生すべきでないことを示す）が挙げられる。

ステップ８８０において、コンピュータシステムは、交差点においてテクスチャからサンプリングされた色に基づいて色値を設定するようにしてもよい。特定の実施形態において、これには、複数の場所における（たとえば、交差点がテクスチャの離散テクセル場所間に存在する場合の）色の補間のスケジューリングを含んでいてもよい。特定の実施形態において、色の設定には、（表示エンジン１１２の表示ブロック２４０Ａおよび２４０Ｂに関して上述した通り）色調整および輝度補正の実行を含んでいてもよい。

ステップ８８５において、コンピュータシステムは、光線および対応するピクセル位置ごとに決定された色値に基づいて、表示するイメージをサブフレームとして生成するようにしてもよい。イメージは、特定の位置（たとえば、仮想環境中のユーザの視点から見える仮想物体を表示するイメージの位置）については確定した色値を組み合わせ、他の位置（たとえば、光線が仮想物体表現と交差しなかった位置または光線がユーザの手の仮想物体表現と最初に交差した位置）では光が一切発生しないこと（たとえば、発光体が非発光となること）を示すことから、合成イメージと称する場合もある。このため、合成イメージだけを見ると、視聴者は、レンダリングされた仮想物体および真っ白な位置が見えることになる。

ステップ８９０において、コンピュータシステムは、サブフレームを提供して表示するようにしてもよい。コンピュータシステムは、合成イメージに基づいて、ヘッドセットシステム１１０のディスプレイの発光体に対する命令を生成するようにしてもよい。これらの命令には、色値、色輝度もしくは強度、ならびにサブフレームの表示に効果を及ぼす変数のいずれかを含んでいてもよい。また、これらの命令には、必要に応じて特定の発光体に非発光またはオフを維持させる命令を含んでいてもよい。全体を通して説明する通り、意図される効果として、ユーザは、仮想環境中の決定した視点からの仮想環境の部分（たとえば、仮想環境中の仮想物体）と、（仮想環境中の仮想物体と相互作用し得る）ユーザの手を含む実環境の部分と、を複合して見ることができる。

特定の実施形態では、必要に応じて、図８Ａおよび図８Ｂの方法の１つまたは複数のステップを繰り返すようにしてもよい。本開示では、特定の順序で発生するものとして、図８Ａおよび図８Ｂの方法の特定のステップを記載および図示しているが、図８Ａおよび図８Ｂの方法の任意好適なステップが任意好適な順序で発生することも考えられる。さらに、本開示は、拡張現実感における仮想物体の現実世界物体オクルージョンの提供のための例示的な方法（図８Ａおよび図８Ｂの方法の特定のステップを含む）を記載および図示しているが、拡張現実感における仮想物体の現実世界物体オクルージョンの提供のための任意好適なステップを含む任意好適な方法も考えられ、必要に応じて、図８Ａおよび図８Ｂの方法のステップのすべてを含んでいてもよいし、一部を含んでいてもよいし、含んでいなくてもよい。さらに、本開示は、図８Ａおよび図８Ｂの方法の特定のステップを実行する特定の構成要素、機器、またはシステムを記載および図示しているものの、任意好適な構成要素、機器、またはシステムの任意好適な組み合わせが図８Ａおよび図８Ｂの方法の任意好適なステップを実行することも考えられる。

図９は、例示的なコンピュータシステム９００を示している。特定の実施形態においては、１つまたは複数のコンピュータシステム９００が本明細書に記載または図示の１つまたは複数の方法の１つまたは複数のステップを実行する。特定の実施形態においては、１つまたは複数のコンピュータシステム９００が本明細書に記載または図示の機能を提供する。特定の実施形態においては、１つまたは複数のコンピュータシステム９００上で動作するソフトウェアが、本明細書に記載または図示の１つまたは複数の方法の１つまたは複数のステップの実行、あるいは、本明細書に記載または図示の機能の提供を行う。特定の実施形態には、１つまたは複数のコンピュータシステム９００の１つまたは複数の部分を含む。本明細書において、コンピュータシステムの言及には、必要に応じてコンピュータ機器を包含可能であり、その逆もまた同様である。さらに、コンピュータシステムの言及には、必要に応じて１つまたは複数のコンピュータシステムを包含可能である。

本開示では、任意好適な数のコンピュータシステム９００が考えられる。本開示では、コンピュータシステム９００が任意好適な物理的形態となることも考えられる。非限定的な一例として、コンピュータシステム９００は、組み込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（たとえば、コンピュータオンモジュール（ＣＯＭ）もしくはシステムオンモジュール（ＳＯＭ）等）、デスクトップコンピュータシステム、ラップトップもしくはノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、個人用デジタル補助装置（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実感機器、またはこれらのうちの２つ以上の組み合わせであってもよい。コンピュータシステム９００は、必要に応じて、１つまたは複数のコンピュータシステム９００を含んでいてもよいし、単一型でも分散型でもよいし、複数の場所に広がっていてもよいし、複数のマシンに広がっていてもよいし、複数のデータセンタに広がっていてもよいし、１つまたは複数のネットワークに１つまたは複数のクラウド構成要素を含み得るクラウドに存在していてもよい。必要に応じて、１つまたは複数のコンピュータシステム９００が空間または時間に関する実質的な制限なく、本明細書に記載または図示の１つまたは複数の方法の１つまたは複数のステップを実行するようにしてもよい。非限定的な一例として、１つまたは複数のコンピュータシステム９００が実時間またはバッチモードで、本明細書に記載または図示の１つまたは複数の方法の１つまたは複数のステップを実行するようにしてもよい。１つまたは複数のコンピュータシステム９００が必要に応じて、本明細書に記載または図示の１つまたは複数の方法の１つまたは複数のステップを異なる時間または異なる場所で実行するようにしてもよい。

特定の実施形態において、コンピュータシステム９００は、プロセッサ９０２、メモリ９０４、ストレージ９０６、入出力（Ｉ／Ｏ）インターフェース９０８、通信インターフェース９１０、およびバス９１２を具備する。本開示は、特定の配置の特定数の特定の構成要素を有する特定のコンピュータシステムを記載および図示しているものの、任意好適なコンピュータシステムが任意好適な配置の任意好適な数の任意好適な構成要素を有することも考えられる。

特定の実施形態において、プロセッサ９０２は、コンピュータプログラムを構成するような命令を実行するハードウェアを含む。非限定的な一例として、プロセッサ９０２は、命令を実行するため、内部レジスタ、内部キャッシュ、メモリ９０４、またはストレージ９０６からの命令の読み出し（または、フェッチ）と、命令の復号化および実行と、１つまたは複数の結果の内部レジスタ、内部キャッシュ、メモリ９０４、またはストレージ９０６への書き込みと、を行うようにしてもよい。特定の実施形態において、プロセッサ９０２は、データ、命令、またはアドレス用の１つまたは複数の内部キャッシュを具備していてもよい。本開示では、プロセッサ９０２が必要に応じて、任意好適な数の任意好適な内部キャッシュを具備することも考えられる。非限定的な一例として、プロセッサ９０２は、１つもしくは複数の命令キャッシュ、１つもしくは複数のデータキャッシュ、ならびに１つもしくは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）を具備していてもよい。命令キャッシュ中の命令は、メモリ９０４またはストレージ９０６中の命令のコピーであってもよく、命令キャッシュは、プロセッサ９０２によるこれらの命令の読み出しを高速化し得る。データキャッシュ中のデータは、プロセッサ９０２で実行される命令が演算するメモリ９０４またはストレージ９０６中のデータのコピーであってもよいし、プロセッサ９０２で実行される後続命令によるアクセスまたはメモリ９０４もしくはストレージ９０６への書き込みのためにプロセッサ９０２で実行された先行命令の結果であってもよいし、他の好適なデータであってもよい。データキャッシュは、プロセッサ９０２による読み出しまたは書き込み動作を高速化し得る。ＴＬＢは、プロセッサ９０２に対する仮想アドレス変換を高速化し得る。特定の実施形態において、プロセッサ９０２は、データ、命令、またはアドレス用の１つまたは複数の内部レジスタを具備していてもよい。本開示では、プロセッサ９０２が必要に応じて、任意好適な数の任意好適な内部レジスタを具備することも考えられる。必要に応じて、プロセッサ９０２が１つまたは複数の算術論理演算ユニット（ＡＬＵ）を具備していてもよいし、マルチコアプロセッサであってもよいし、または、１つまたは複数のプロセッサ９０２を含んでいてもよい。本開示は、特定のプロセッサを記載および図示しているが、任意好適なプロセッサも考えられる。

特定の実施形態において、メモリ９０４は、プロセッサ９０２が実行する命令またはプロセッサ９０２が演算するデータを格納する主メモリを含む。非限定的な一例として、コンピュータシステム９００は、ストレージ９０６または別のソース（たとえば、別のコンピュータシステム９００等）からメモリ９０４に命令をロードするようにしてもよい。その後、プロセッサ９０２は、メモリ９０４から内部レジスタまたは内部キャッシュに命令をロードするようにしてもよい。プロセッサ９０２は、命令を実行するため、内部レジスタまたは内部キャッシュから命令を読み出して復号化するようにしてもよい。命令の実行中または実行後、プロセッサ９０２は、１つまたは複数の結果（中間結果であってもよいし、最終結果であってもよい）を内部レジスタまたは内部キャッシュに書き込むようにしてもよい。その後、プロセッサ９０２は、これらの結果のうちの１つまたは複数をメモリ９０４に書き込むようにしてもよい。特定の実施形態において、プロセッサ９０２は、（ストレージ９０６等とは対照的に）１つもしくは複数の内部レジスタもしくは内部キャッシュまたはメモリ９０４中の命令のみを実行し、（ストレージ９０６等とは対照的に）１つもしくは複数の内部レジスタもしくは内部キャッシュまたはメモリ９０４中のデータのみを演算する。１つまたは複数のメモリバス（それぞれがアドレスバスおよびデータバスを含み得る）がプロセッサ９０２をメモリ９０４に結合していてもよい。後述の通り、バス９１２には、１つまたは複数のメモリバスを含んでいてもよい。特定の実施形態においては、プロセッサ９０２とメモリ９０４との間に１つまたは複数のメモリ管理ユニット（ＭＭＵ）が存在して、プロセッサ９０２により要求されたメモリ９０４へのアクセスを容易化する。特定の実施形態において、メモリ９０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、必要に応じて、揮発性メモリであってもよい。このＲＡＭは、必要に応じて、ダイナミックＲＡＭ（ＤＲＡＭ）であってもよいし、スタティックＲＡＭ（ＳＲＡＭ）であってもよい。さらに、このＲＡＭは、必要に応じて、シングルポートＲＡＭであってもよいし、マルチポートＲＡＭであってもよい。本開示では、任意好適なＲＡＭが考えられる。メモリ９０４は、必要に応じて、１つまたは複数のメモリ９０４を含んでいてもよい。本開示は、特定のメモリを記載および図示しているが、任意好適なメモリも考えられる。

特定の実施形態において、ストレージ９０６は、データまたは命令用の大容量ストレージを含む。非限定的な一例として、ストレージ９０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、もしくはユニバーサルシリアルバス（ＵＳＢ）ドライブ、またはこれらのうちの２つ以上の組み合わせを含んでいてもよい。ストレージ９０６は、必要に応じて、リムーバブルメディアを含んでいてもよいし、非リムーバブル（すなわち、固定）メディアを含んでいてもよい。ストレージ９０６は、必要に応じて、コンピュータシステム９００の内部であってもよいし、外部であってもよい。特定の実施形態において、ストレージ９０６は、不揮発性固体メモリである。特定の実施形態において、ストレージ９０６は、リードオンリーメモリ（ＲＯＭ）を含む。このＲＯＭは、必要に応じて、マスクプログラムＲＯＭであってもよいし、プログラム可能ＲＯＭ（ＰＲＯＭ）であってもよいし、消去可能ＰＲＯＭ（ＥＰＲＯＭ）であってもよいし、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）であってもよいし、電気的可変ＲＯＭ（ＥＡＲＯＭ）であってもよいし、フラッシュメモリであってもよいし、これらのうちの２つ以上の組み合わせであってもよい。本開示では、大容量ストレージ９０６が任意好適な物理的形態となることも考えられる。ストレージ９０６は、必要に応じて、プロセッサ９０２と当該ストレージ９０６との間の通信を容易化する１つまたは複数のストレージ制御ユニットを具備していてもよい。ストレージ９０６は、必要に応じて、１つまたは複数のストレージ９０６を含んでいてもよい。本開示は、特定のストレージを記載および図示しているが、任意好適なストレージも考えられる。

特定の実施形態において、Ｉ／Ｏインターフェース９０８は、ハードウェア、ソフトウェア、または両者を含み、コンピュータシステム９００と１つまたは複数のＩ／Ｏデバイスとの間の通信用の１つまたは複数のインターフェースを提供する。コンピュータシステム９００は、必要に応じて、これらのＩ／Ｏデバイスのうちの１つまたは複数を具備していてもよい。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人間とコンピュータシステム９００との間の伝達を可能にし得る。非限定的な一例として、Ｉ／Ｏデバイスには、キーボード、キーパッド、マイク、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つ以上の組み合わせを含んでいてもよい。Ｉ／Ｏデバイスは、１つまたは複数のセンサを具備していてもよい。本開示では、任意好適なＩ／Ｏデバイスと、それらに対する任意好適なＩ／Ｏインターフェース９０８と、が考えられる。Ｉ／Ｏインターフェース９０８は、必要に応じて、これらのＩ／Ｏデバイスのうちの１つまたは複数をプロセッサ９０２が駆動できるようにする１つまたは複数のデバイスまたはソフトウェアドライバを含んでいてもよい。Ｉ／Ｏインターフェース９０８は、必要に応じて、１つまたは複数のＩ／Ｏインターフェース９０８を含んでいてもよい。本開示は、特定のＩ／Ｏインターフェースを記載および図示しているが、任意好適なＩ／Ｏインターフェースも考えられる。

特定の実施形態において、通信インターフェース９１０は、ハードウェア、ソフトウェア、または両者を含み、コンピュータシステム９００と１つもしくは複数の他のコンピュータシステム９００または１つもしくは複数のネットワークとの間の通信（たとえば、パケットベース通信等）用の１つまたは複数のインターフェースを提供する。非限定的な一例として、通信インターフェース９１０は、イーサネット等の有線ネットワークと通信するネットワークインターフェースコントローラ（ＮＩＣ）もしくはネットワークアダプタ、または、Ｗｉ－Ｆｉネットワーク等の無線ネットワークと通信する無線ＮＩＣ（ＷＮＩＣ）もしくは無線アダプタを具備していてもよい。本開示では、任意好適なネットワークと、それに対する任意好適な通信インターフェース９１０と、が考えられる。非限定的な一例として、コンピュータシステム９００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つもしくは複数の部分、あるいはこれらのうちの２つ以上の組み合わせと通信するようにしてもよい。これらのうち、１つまたは複数のネットワークの１つまたは複数の部分が有線であってもよいし、無線であってもよい。一例として、コンピュータシステム９００は、無線ＰＡＮ（ＷＰＡＮ）（たとえば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮ等）、Ｗｉ－Ｆｉネットワーク、Ｗｉ－ＭＡＸネットワーク、携帯電話ネットワーク（たとえば、汎欧州デジタル移動電話（ＧＳＭ）ネットワーク等）、他の好適な無線ネットワーク、またはこれらのうちの２つ以上の組み合わせと通信するようにしてもよい。コンピュータシステム９００は、必要に応じて、これらのネットワークのいずれかに対する任意好適な通信インターフェース９１０を具備していてもよい。通信インターフェース９１０は、必要に応じて、１つまたは複数の通信インターフェース９１０を含んでいてもよい。本開示は、特定の通信インターフェースを記載および図示しているが、任意好適な通信インターフェースも考えられる。

特定の実施形態において、バス９１２は、ハードウェア、ソフトウェア、または両者を含み、コンピュータシステム９００の構成要素を互いに結合する。非限定的な一例として、バス９１２には、アクセラレイテッドグラフィックスポート（ＡＧＰ）等のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、インフィニバンド相互接続、ロウピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺機器相互接続（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクス標準協会ローカル（ＶＬＢ）バス、別の好適なバス、またはこれらのうちの２つ以上の組み合わせを含んでいてもよい。バス９１２は、必要に応じて、１つまたは複数のバス９１２を含んでいてもよい。本開示は、特定のバスを記載および図示しているが、任意好適なバスまたは相互接続も考えられる。

本明細書において、１つまたは複数のコンピュータ可読非一過性記憶媒体には、必要に応じて、１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）等）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、他の任意好適なコンピュータ可読非一過性記憶媒体、あるいはこれらのうちの２つ以上の任意好適な組み合わせを含んでいてもよい。コンピュータ可読非一過性記憶媒体は、必要に応じて、揮発性であってもよいし、不揮発性であってもよいし、揮発性および不揮発性の組み合わせであってもよい。

本明細書において、別段の明示的な指定または文脈上の別段の指定がない限り、「または（ｏｒ）」は包括的であって、個別的ではない。したがって、本明細書においては、別段の明示的な指定または文脈上の別段の指定がない限り、「ＡまたはＢ（Ａ ｏｒ Ｂ）」が「Ａ、Ｂ、または両者」を意味する。さらに、別段の明示的な指定または文脈上の別段の指定がない限り、「および（ａｎｄ）」は、合同および個別の両者である。したがって、本明細書においては、別段の明示的な指定または文脈上の別段の指定がない限り、「ＡおよびＢ（Ａ ａｎｄ Ｂ）」が「ＡおよびＢ（合同または個別）」を意味する。

本開示の範囲には、当業者が理解する本明細書に記載または図示の例示的な実施形態のすべての変更、代替、変形、修正、および改良を包含する。本開示の範囲は、本明細書に記載または図示の例示的な実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして、本明細書の各実施形態を記載および図示しているが、これら実施形態のいずれかには、当業者が理解する本明細書のいずれかの場所に記載または図示のいずれかの構成要素、要素、特徴、機能、動作、またはステップの任意の組み合わせまたは置換を含んでいてもよい。さらに、特定の機能を実行するための適応、構成、実用化、設定、有効化、動作有効化、または動作設定がなされた装置もしくはシステムまたは装置もしくはシステムの構成要素に対する添付の特許請求の範囲中の言及は、当該装置、システム、または構成要素がそのように適応、構成、実用化、設定、有効化、動作有効化、または動作設定されている限り、当該装置、システム、構成要素、または当該特定の機能の起動有無、オン／オフ、またはロック／アンロックに関わらず、当該装置、システム、構成要素を包含する。また、本開示は、特定の利点をもたらすものとして特定の実施形態を記載または図示しているものの、特定の実施形態がこれらの利点をもたらしていなくてもよいし、一部をもたらしていてもよいし、全部をもたらしていてもよい。

Claims (15)

1. １つまたは複数のコンピュータ機器によって、
   ヘッドマウントディスプレイのユーザの手を含むイメージにアクセスすることと、
   少なくとも前記イメージから、仮想環境において規定される前記ユーザの前記手の仮想物体表現を生成することと、
   前記手の前記仮想物体表現および前記仮想環境中の少なくとも１つの他の仮想物体に基づいて、前記ユーザの視点から視認可能な前記手の前記仮想物体表現の一部に対応する一組のピクセルを含む前記仮想環境のイメージを前記ユーザの前記視点からレンダリングすることと、
   前記ヘッドマウントディスプレイの一組の発光体に対して、前記仮想環境の前記イメージを表示する命令を与えることであって、前記手の前記仮想物体表現の一部に対応する前記イメージ中の前記一組のピクセルが、１つまたは複数の位置の発光体を非発光にする、前記仮想環境の前記イメージを表示する命令を与えることと、
   を含む方法。
2. 非発光の特定位置の発光体が、前記ユーザの環境からの光を前記特定位置で前記ユーザに対して点灯し続けるか、または、前記ユーザの前記手を含む前記イメージが、前記ユーザの視点からの前記ユーザの環境をさらに含む、請求項１に記載の方法。
3. 少なくとも前記イメージから、前記ユーザの前記手の仮想物体表現を生成することが、
   前記ユーザの前記手を含む前記イメージから決定された前記ユーザの前記手の姿勢に基づいて、前記ユーザの前記手の前記仮想物体表現の前記仮想環境中の位置を決定することを含む、請求項１に記載の方法。
4. 前記ユーザの前記手の前記仮想物体表現のテクスチャが、発光体を非発光にする命令に対応するか、または、前記ユーザの前記手の前記仮想物体表現が、前記仮想環境の背景とも関連付けられた色と関連付けられた、請求項１に記載の方法。
5. 前記仮想環境の前記イメージを前記ユーザの前記視点からレンダリングすることが、
   前記ユーザの前記手の前記仮想物体表現および前記仮想環境中の前記少なくとも１つの他の仮想物体が前記ユーザの前記視点から視認可能であるかを判定することを含み、任意選択として、前記方法が、
   前記ユーザの前記視点を起点および方向の基準として光線を前記仮想環境に投影することと、
   前記仮想環境において、前記ユーザの前記手の前記仮想物体表現との前記光線の交差点を決定することであって、前記光線が前記仮想環境中の別の物体と交差する前に前記仮想物体表現と交差する、前記仮想物体表現との前記光線の交差点を決定することと、
   によって、前記手の前記仮想物体表現が少なくとも部分的に前記仮想環境中の前記少なくとも１つの他の仮想物体の前方にある、１つまたは複数の位置を決定することをさらに含む、請求項１に記載の方法。
6. 少なくとも前記イメージから、前記ユーザの前記手の仮想物体表現を生成することが、
   少なくとも前記イメージから、前記手の姿勢を決定することと、
   少なくとも前記イメージおよび前記姿勢から、前記手の前記仮想物体表現の三角メッシュを生成することと、
   少なくとも前記イメージから、前記ユーザの視点からの前記手の距離を決定することと、
   前記手の前記三角メッシュに基づいて、前記手の決定した前記距離からの前記手の１つまたは複数の位置の変化を示す高さマップを生成することと、
   を含む、請求項１に記載の方法。
7. 前記高さマップに基づいて、
   前記手の前記距離および前記手の前記仮想物体表現と関連付けられた前記高さマップを、特定位置の前記他の仮想物体と関連付けられた距離および高さマップと比較することと、
   前記比較に基づいて、前記手の前記仮想物体表現が前記視点に最も近い物体であるものと判定することと、
   によって、前記手の前記仮想物体表現が前記仮想環境中の別の仮想物体の前方にある、１つまたは複数の位置を決定することをさらに含む、請求項６に記載の方法。
8. 前記仮想環境の前記イメージを表示する前記命令がさらに、前記少なくとも１つの他の仮想物体の一部が前記ユーザの前記視点から前記ユーザの前記手の前記仮想物体表現の前方にある、１つまたは複数の位置で発光体を発光させる、請求項１に記載の方法。
9. 前記コンピュータ機器のうちの１つまたは複数が前記ヘッドマウントディスプレイにおいて具現化され、前記コンピュータ機器のうちの１つまたは複数が別個のコンピュータ機器であり、任意選択として、前記方法が、
   利用可能なコンピュータリソースの１つまたは複数のメトリックに基づいて、前記ヘッドマウントディスプレイの前記コンピュータ機器と前記別個のコンピュータ機器との間で前記方法のステップを配分することをさらに含む、請求項１に記載の方法。
10. 前記イメージが、前記ヘッドマウントディスプレイの第１のカメラにより生成され、
    前記ユーザの前記手の前記仮想物体表現を生成することが、
    前記ヘッドマウントディスプレイの第２のカメラにより生成された第２のイメージにアクセスすることと、
    前記イメージおよび前記第２のイメージに基づいて、前記ユーザの前記手を前記ユーザの前記視点に対してローカライズすることと、
    を含む、請求項１に記載の方法。
11. 前記ユーザの前記手の前記仮想物体表現を生成することが、
    位置が前記ユーザの前記手の位置に対応するアレイを生成することと、
    前記手の１つまたは複数の位置と前記ユーザの前記視点との間の距離の値を前記アレイに格納することと、
    前記アレイを前記ユーザの前記手の前記仮想物体表現と関連付けることと、をさらに含み、または、前記ヘッドマウントディスプレイの前記第２のカメラが、デプス検知カメラである、請求項１０に記載の方法。
12. ソフトウェアを具現化する１つまたは複数のコンピュータ可読非一過性記憶媒体であって、前記ソフトウェアは、実行された場合に、請求項１から１１のいずれか一項に記載の方法、または、
    ヘッドマウントディスプレイのユーザの手を含むイメージにアクセスすることと、
    少なくとも前記イメージから、仮想環境において規定される前記ユーザの前記手の仮想物体表現を生成することと、
    前記手の前記仮想物体表現および前記仮想環境中の少なくとも１つの他の仮想物体に基づいて、前記ユーザの視点から視認可能な前記手の前記仮想物体表現の一部に対応する一組のピクセルを含む前記仮想環境のイメージを前記ユーザの前記視点からレンダリングすることと、
    前記ヘッドマウントディスプレイの一組の発光体に対して、前記仮想環境の前記イメージを表示する命令を与えることであって、前記手の前記仮想物体表現の一部に対応する前記イメージ中の前記一組のピクセルが、１つまたは複数の位置の前記発光体を非発光にする、前記仮想環境の前記イメージを表示する命令を与えることと、
    を実行するように動作可能である、
    コンピュータ可読非一過性記憶媒体。
13. 非発光の特定位置の発光体が、前記ユーザの環境からの光を前記特定位置で前記ユーザに対して点灯し続ける、請求項１２に記載のコンピュータ可読非一過性記憶媒体。
14. システムであって、
    １つまたは複数のプロセッサと、
    前記プロセッサのうちの１つまたは複数に結合された、命令を含む１つまたは複数のコンピュータ可読非一過性記憶媒体とを備え、前記命令は、前記プロセッサのうちの１つまたは複数により実行された場合に、請求項１から１１のいずれか一項に記載の方法、または、
    ヘッドマウントディスプレイのユーザの手を含むイメージにアクセスすることと、
    少なくとも前記イメージから、仮想環境において規定される前記ユーザの前記手の仮想物体表現を生成することと、
    前記手の前記仮想物体表現および前記仮想環境中の少なくとも１つの他の仮想物体に基づいて、前記ユーザの視点から視認可能な前記手の前記仮想物体表現の一部に対応する一組のピクセルを含む前記仮想環境のイメージを前記ユーザの前記視点からレンダリングすることと、
    前記ヘッドマウントディスプレイの一組の発光体に対して、前記仮想環境の前記イメージを表示する命令を与えることであって、前記手の前記仮想物体表現の一部に対応する前記イメージ中の前記一組のピクセルが、１つまたは複数の位置の発光体を非発光にする、前記仮想環境の前記イメージを表示する命令を与えることと、
    を前記システムに実行させるように動作可能である、
    システム。
15. 非発光の特定位置の発光体が、前記ユーザの環境からの光を前記特定位置で前記ユーザに対して点灯し続ける、請求項１４に記載のシステム。

Images