JP6961018B2 - テンポラル・アンチエイリアシングの中心窩適合 - Google Patents

Description

本開示は、ヘッドマウントディスプレイ（ＨＭＤ）に提示される仮想現実（ＶＲ）環境コンテンツ、ならびに中心窩レンダリングされたＶＲシーンのアンチエイリアシングのための方法及びシステムに関する。

ヘッドマウントディスプレイ（ＨＭＤ）を通じて提示される仮想現実（ＶＲ）は、消費者が様々なタイプのコンテンツと対話するための一般的な方法になってきている。コンピュータのモニターに表示されるコンピュータ生成画像と同様に、ＨＭＤを介してユーザに表示されるＶＲシーンは、エイリアシングの影響を受ける可能性がある。コンピュータグラフィックスのコンテキストでは、エイリアシングにより、ディスプレイまたはビューポートで曲線または斜めの線のギザギザまたは鋸歯状のエッジが生じる場合がある。一般に、エイリアシングはコンピュータが生成したシーンのリアリズムを損なうものであり、エイリアシングされたシーンに関連する歪みとアーティファクトを減らすべく、特定のアンチエイリアシング技術が開発された。テンポラル・アンチエイリアシングは、これらのアンチエイリアシング手法の１つである。

中心窩領域が周辺領域（複数可）（例えば、非中心窩領域）よりも高い解像度でレンダリングされ得る中心窩レンダリングにより定義されるシーン内でテンポラル・アンチエイリアシングが使用される場合、エイリアシングは周辺領域（複数可）において高い程度で生じ得る。周辺領域（複数可）内でのエイリアシングは、人間の視覚システム（周辺視野または非中心視窩視野など）が依然として調整されて、周辺領域（複数可）に現れるエイリアシングによって引き起こされるアーティファクトを検出し得るため、全体的なＶＲ体験を損なう可能性がある。現在のアンチエイリアシング技術では、中心窩領域と比較して周辺領域（複数可）でより程度の大きいこのエイリアシングに対処することはできない。

こうした状況において、実施形態が生み出される。

本開示の実施形態は、中心窩レンダリングディスプレイ及び／またはビュー内でのテンポラル・アンチエイリアシングの中心窩適合を可能にするための方法及びシステムを提供する。一実施形態では、一連のビデオフレームを含むシーンをレンダリングする操作を含むヘッドマウントディスプレイ（ＨＭＤ）内のアンチエイリアシングを用いて多重解像度シーンをレンダリングする方法が提供される。この方法は、第１のジッタオフセットを使用してシーンの第１の領域にアンチエイリアシングを適用すること、及び第２のジッタオフセットを使用してシーンの第２の領域にアンチエイリアシングを適用することに関する操作も提供する。さらに、この方法は、シーンの第１の領域及び第２の領域を含む中心窩を生成する操作を提供する。この方法は、ＨＭＤに関連付けられたディスプレイ上に表示するために中心窩シーンを送信するための操作をさらに提供する。特定の実施形態によれば、第１の領域は、第２の領域よりも高い解像度に関連付けられている。一実施形態では、いくつかの実施形態によれば、第１の領域に適用される第１のジッタオフセットは、第２の領域に適用される第２のジッタオフセットよりも小さい。

別の実施形態では、ヘッドマウントディスプレイ（ＨＭＤ）上のアンチエイリアシングを仮想現実（ＶＲ）シーンに提供する方法は、中心窩領域及び周辺領域（複数可）を含むＶＲシーンを生成することを含む。この方法はまた、ＶＲシーン内の頂点の変換行列を取得し、ＶＲシーン内の頂点の位置を判定すること、及び頂点シェーダーによって、頂点に適用するジッタ成分を選択することを含み、頂点がＶＲシーンの中心窩領域内にあると判定された場合は第１のジッタ成分が選択され、頂点がＶＲシーンの周辺領域（複数可）内にあると判定された場合は第２のジッタ成分が選択される。この実施形態及び他の実施形態によれば、この方法は、選択されたジッタ成分を、アンチエイリアスＶＲシーンの頂点の変換行列の変換する行列に適用するための操作、及びＨＭＤに関連付けられたディスプレイに表示するためにアンチエイリアスＶＲシーンを送信するための操作をさらに含む。

さらに別の実施形態では、ＶＲシーンにＨＭＤでの提示用のアンチエイリアシングを提供するための、非一時的なコンピュータ可読記憶媒体に埋め込まれるコンピュータプログラムが含まれる。コンピュータプログラムは、中心窩領域及び周辺領域（複数可）を含むＶＲシーンをレンダリングするためのプログラム命令を含む。さらに、コンピュータプログラムは、中心窩領域をアンチエイリアシングするために第１のジッタオフセットを使用して中心窩領域にアンチエイリアシングを適用すること、及び周辺領域（複数可）のアンチエイリアシングのために第２のジッタオフセットを使用して周辺領域（複数可）にアンチエイリアシングを適用することに関するプログラム命令を含む。この実施形態及び他の実施形態によれば、コンピュータプログラムはまた、ＨＭＤに関連付けられたディスプレイで提示するために、アンチエイリアス中心窩領域及びアンチエイリアス周辺領域（複数可）を有するＶＲシーンを送信するためのプログラム命令も含み、中心窩領域に関連付けられた解像度は、周辺領域（複数可）に関連付けられた解像度よりも高く、第１のジッタオフセットは第２のジッタオフセットより小さい。

本開示の他の態様は、本開示の原理を例として示す添付の図面と併せて、以下の詳細な説明から明らかになる。

本開示は、添付の図面と併せて得られる以下の説明を参照することにより最もよく理解され得る。

一実施形態による、２つの解像度を有する仮想現実（ＶＲ）コンテンツが提示されているＨＭＤユーザを示している。 同上

特定の実施形態による、中心窩領域、中間中心窩領域、及び周辺領域を有するＶＲコンテンツが提示されているＨＭＤユーザを示す。 同上

中心窩レンダリングビューの様々な実施形態を示している。 同上 同上 同上 同上 同上 同上 同上

一実施形態による、多重解像度ＶＲシーンをアンチエイリアシングする方法の全体的な流れを示す。

一実施形態による、頂点シェーダーが頂点の位置に応じて異なるジッタオフセットを選択できるようにする方法の全体的な流れを示す。

特定の実施形態による、ビデオフレームの２つの領域のサブピクセルサンプリングの様々な実施形態を示す。 特定の実施形態による、ビデオフレームの２つの領域のサブピクセルサンプリングの様々な実施形態を示す。 特定の実施形態による、ビデオフレームの２つの領域のサブピクセルサンプリングの様々な実施形態を示す。

一実施形態による、所与のプリミティブのサンプリング、ラスタライズ、及びシェーディングの様々な実施形態を示す。 同上 同上

一実施形態による、所与のジッタについてテンポラル・サンプリングを使用するための概念スキームを示す。

特定の実施形態による、異なるジッタ行列からの選択を可能にする方法の実施形態を示す。 同上

一実施形態による、中心窩レンダリングによるテンポラル・アンチエイリアシングのための異なるジッタ行列から選択することを可能にするグラフィックスパイプラインの全体的な概念モデルを示す。

提示された方法及び／またはシステムとともに使用され得るＨＭＤの追加の実施形態を示す。

以下の実施形態は、中心窩レンダリングシステムにテンポラル・アンチエイリアシング（ＴＡＡ）技術を適合させるための方法、コンピュータプログラム、及び装置を説明する。しかし、これらの特定の詳細の一部またはすべてがなくても本開示を実施できることは、当業者には明らかである。他の例では、本開示を不要に不明瞭にしないために、周知のプロセスの操作は詳細に説明していない。

ＨＭＤによって提供される仮想現実（ＶＲ）環境は、消費者がコンテンツと対話し、コンテンツ作成者がコンテンツを消費者に配信するための、いっそう一般的になっている媒体である。さらに、ＶＲシーンがより複雑になり、より高い解像度で表示されるようになるにつれて、計算のコストとネットワークのコストの増加が伴う。その結果、ＨＭＤを介して表示されるＶＲシーンのコンピュータグラフィックスレンダリングとアンチエイリアシングの現在の方法を改善することは、エンドユーザのＶＲ体験と同様に、計算リソースとネットワークリソースの両方に関して有益である。

特定のＶＲシーンをレンダリングする計算及びネットワークのコスト（及び関連する待ち時間）を低下させる１つの方法は、中心窩レンダリングを使用してＶＲシーンを表示することである。一実施形態によれば、中心窩レンダリングは、他の領域よりも高い解像度、画質、ディテールのレベル、シャープネス、フレームレートなどで表示されるディスプレイ内の領域を定義することができる。これらの実施形態及び他の実施形態によれば、より高い解像度（またはより高い画質、ディテールのレベル、シャープネス、フレームレート）を有する領域は、中心窩領域と呼ばれ得る。さらに、より高レベルの解像度を備えていない領域は、周辺領域、または非中心窩領域と呼ばれる場合がある。

いくつかの実施形態では、中心窩領域は、ディスプレイに対して固定されていても静止していてもよい。そのような実施形態では、中心窩領域は、画面またはディスプレイの中心に向かって配置されてもよい。他の実施形態では、中心窩領域は、画面またはディスプレイに対して動的に配置されてもよい。例えば、いくつかの実施形態では、中心窩領域は、所定の方法で、またはソフトウェアによってプログラムされたものとして、ディスプレイまたは画面内で移動する場合がある。他の実施形態では、動的中心窩領域は、ユーザの注視点（ＰＯＧ）または視線方向を追跡することができる。その結果、ユーザのＰＯＧに対応するディスプレイ内の領域は、必ずしもユーザの視覚体験に悪影響を与えることなく、ユーザのＰＯＧから遠く離れた領域よりも高い画質、ディテールのレベル、及び／またはシャープネスでレンダリングできる。

一部の実施形態では、１つ以上の周辺領域は、中心窩領域が位置しない、画面またはディスプレイ内にあるように、中心窩レンダリングによって定義される。例えば、中心窩領域がディスプレイの中心に向かって位置する場合、周辺領域（複数可）は、ディスプレイの周辺（または少なくともその一部）に向かっているディスプレイの残りの部分を占める。中心窩領域がディスプレイの別の領域に移動する場合、周辺領域（複数可）は、中心窩領域が現在配置されていないディスプレイの残りの部分を埋めるはずである。いくつかの実施形態によれば、周辺領域は、非中心窩領域と呼ばれ得る。

図１Ａ及び図１Ｂは、２つの解像度Ｒ_１及びＲ_２を有するＶＲ環境１０４内で仮想現実（ＶＲ）コンテンツを提示されているＨＭＤユーザ１０１を示している。図１Ａに示される実施形態によれば、ＨＭＤユーザ１０１は、実質的に真っ直ぐ前方に視線１０２を向けているように示されている。すなわち、ＨＭＤユーザ１０１は、水平方向３６０度を包含し得るＶＲ環境１０４内で、前を向いているように示されている。

図１Ａ及び図１Ｂに示される実施形態によれば、視線ＨＭＤユーザ１０１は、ＨＭＤユーザ１０１が装着するＨＭＤ／コンピューティングシステム１０３内に位置する視線検出コンポーネント（図示せず）によって追跡されている。いくつかの実施形態では、視線情報は、ユーザの目の画像をキャプチャするＨＭＤ内にあるカメラを介して取得できる。次に、画像を分析して、ユーザの注視点または視線の方向（例えば、ユーザが現在見ている場所）を判定できる。その結果、ＨＭＤユーザ１０１の視線１０２に関するリアルタイムの情報を有するＨＭＤ／コンピューティングシステム１０３は、ＨＭＤユーザ１０１の視線１０２と位置合わせされた中心窩領域１０６を提供することができる。例えば、中心窩領域１０６は、ＨＭＤユーザ１０１に対してＨＭＤユーザ１０１の視線１０２と同様の方向であるＶＲ環境１０４内の配置を有するように示されている。さらに、中心窩領域１０６はＲ_１の解像度を有するように示されている。

図１Ａには、周辺領域１０８も示されている。上記のように、周辺領域１０８は、いくつかの実施形態によれば、中心窩領域と一致しないディスプレイまたは視野内の領域であり、中心窩レンダリング方法またはシステムによって定義され得る。例えば、周辺領域（複数可）は、中心窩領域の外側にあってもよく、中心窩領域を囲んでもよく、中心窩領域に関連しないディスプレイの残りのスペースを埋めてもよい。さらに、非中心窩は、より低い解像度、画質、ディテールのレベル、シャープネス、フレームレートなどによって定義される。

したがって、特定の実施形態によれば、周辺領域１０８は、ＨＭＤユーザ１０１に表示されるが、ＨＭＤ／コンピューティングデバイス１０３によって検出されるＨＭＤユーザ１０１の視線１０２に対応しないＶＲ環境１０４の領域を含むことができる。その結果、周辺領域１０８は、解像度Ｒ_１とは異なる解像度Ｒ_２でＨＭＤユーザ１０１に表示され得る。

いくつかの実施形態によれば、解像度Ｒ_１は、所与のＶＲシーンについてＲ_２よりも高くてもよい。これらの実施形態では、中心領域１０６は、ＨＭＤユーザ１０１の視覚体験に悪影響を与えることなく、周辺領域１０８よりも高い解像度で提供されてもよい。一般的に、人間の視覚システムは、注視点に対して水平方向約５度と垂直方向約５度に関連付けられている領域内の微細なディテールを知覚できるのみである。視野のこの領域は、中心窩と呼ばれる網膜内の領域に投影される。ユーザの中心方向または注視点からの角距離が大きくなると、視力（例えば、微細なディテールを知覚する能力）が急激に低下する。この生理学的現象は、本明細書では中心窩形成と呼ばれる。

中心窩レンダリングは、１つ以上の領域（例えば、中心窩領域）が他の領域より高レベルの解像度、高レベルのディテール、高レベルのテクスチャ、及び／または高レベルのシャープネスによって定義される表示のために、構成、フォーマット、及びレンダリング、ポストレンダリング、及び／またはグラフィックスの処理のパラダイムを提供することにより中心窩形成の現象を活用する。いくつかの実施形態によれば、中心窩領域は、ユーザが現在見ているまたは見ていると予測されるディスプレイの領域に対応するように作成される。他の実施形態では、中心窩領域は、ユーザが目を向けるのにかなりの時間を費やす、静的な様式でディスプレイの中央領域に配置されてもよい。また、前述のように、中心窩レンダリングは、ユーザが注視していない、または注視することが予測されていないディスプレイの領域に対応する非中心窩（例えば周辺）領域を定義できる。本明細書で使用するとき、ディスプレイの非中心窩領域は、周辺領域と呼ばれ得る。しかし、中心窩領域は、ディスプレイの周辺に向かってまたはディスプレイの周辺に近接するディスプレイの領域にレンダリングまたは配置され得ることにも留意されたい。さらに、中心窩レンダリングディスプレイの周辺領域は、ディスプレイの周辺に向かってまたは近接して位置付けまたは配置される必要はないが、そうであってもよい。

ここで企図される実施形態は、ユーザの中心窩形成下の視界（例えば、視線の中心とユーザの中心窩に投影される周囲のフィールド）に関連するディスプレイの領域内のより優れた画質（例えば、解像度、ディテールのレベル（ＬＯＤ）、シャープネス、フレームレート）のコンテンツをレンダリング及び／または表示することにより、中心窩レンダリングディスプレイ構成を使用することが可能になる。加えて、本明細書で企図される実施形態は、ユーザの視線の中心に関連付けられていないディスプレイの領域（例えば、ユーザの周辺視野領域）で劣った画質であるコンテンツを表示することが可能にされる。結果として、ディスプレイまたは画面全体をフル画質またはフル解像度でレンダリングする場合と比較して、特定のシーンの一部のみをレンダリング及び／または処理して、中心窩レンダリングの下で高画質または高解像度で表示できる。

中心窩レンダリングの技術的利点の１つは、ディスプレイ全体（ディスプレイ上のすべてのピクセルなど）に対して所与のシーンをフル画質（例えば、高解像度、シャープネス、ディテールのレベル、フレームレートなど）でレンダリングすることに関連する計算及びネットワークのコストを削減できることである。フルディスプレイの一部（例えば、２０〜５０％、５〜７５％、２５〜４０％）のみを高解像度及び／または高画質でレンダリングすることにより、計算リソース（例えば、ＧＰＵ、ＣＰＵ、クラウドコンピューティングリソース）及びネットワーキングリソース（例えば、コンピューティングデバイスからのＨＭＤへのデータの送受信、及び／またはＨＭＤとコンピューティングデバイスの組み合わせからリモートサーバーへのデータの送信）を削減し、他の用途に割り当てることができる。

別の実施形態によれば、ＨＭＤ／コンピューティングデバイスに関連付けられたＧＰＵが所与のシーンのフル解像度ビデオフレームを生成する場合でも、中心窩レンダリング方法及び／またはシステムは、ＨＭＤにシーンを表示するのに必要なデータ量の削減を可能にし得る。例えば、ＧＰＵがＨＭＤにワイヤレスで接続されているコンピューティングデバイスに関連付けられている場合、本明細書で説明する中心窩レンダリング方法及び／またはシステムは、シーンの特定の領域を表示するためコンピューティングデバイスからＨＭＤに送信されるワイヤレスデータの量を削減できる場合がある。

図１Ａに示された実施形態によれば、中心窩領域１０６は、表示されたまたは可視な領域全体の約３０％を表す。表示された総面積の残りは、周辺領域１０８によって表される。中心窩領域１０６は、明確にするために形状が長方形であるように示されているが、中心窩領域１０６は、実施形態の趣旨及び範囲から逸脱せずに任意の数を取得できることに留意されたい。企図される実施形態のいくつかは、図３Ａ〜図３Ｆを参照して以下に説明される。やはり、中心窩領域１０６は、表示可能領域または可視領域全体の３０％を表すように示されているが、中心窩領域１０６は、他の実施形態では表示可能領域または可視領域全体の５％〜７５％の範囲であり得る。

一実施形態では、周辺領域１０８は、ＶＲシーンの少なくともある期間について中心窩領域１０６の解像度Ｒ_１よりも低い解像度Ｒ_２を有し得ることが企図される。例えば、Ｒ_１が１９２０×１０８０ピクセル（例えば、１０８０ｐ）に相当する場合、Ｒ_２は９６０×５４０ピクセル（例えば、５４０ｐ）に相当し得る。つまり、おおまかには垂直ピクセル数の半分と水平ピクセル数の半分である。結果として、１０８０（ｐ）の解像度Ｒ_１を有する中心窩領域１０６は、約２．０７４メガピクセルに相当する画像解像度に関連付けられ得る。対照的に、５４０（ｐ）の解像度Ｒ_２を有する周辺領域１０８は、約０．５１８メガピクセルに相当する画像解像度に関連付けられ、解像度Ｒ_１に関して約０．２５倍の係数の画像解像度の違いを示す。

別の実施形態によれば、中心窩領域１０６は３８４０×２１６０ｐ（４Ｋ ＵＨＤ）の解像度Ｒ_１に関連付けることができ、周辺領域１０８は４Ｋ ＵＨＤ未満、例えば、１０８０（ｐ）、５４０（ｐ）、３６０（ｐ）、２４０（ｐ）などの解像度Ｒ_２に関連付けられ得ると考えられる。本明細書に提示される方法及びシステムによる他の実施形態で使用され得る任意の他の解像度が存在する。非限定的な例として、中心窩領域１０６は、以下の解像度によって特徴付けられる解像度Ｒ_１を有し得ることが考えられる：２１６０×１２００（または片目あたり１０８０×１２００）、１２８０×７２０（ＨＤ）、１６００×９００（ＨＤ＋）、１９２０×１０８０（ＦＨＤ）、２５６０×１４４０（（Ｗ）ＱＨＤ）、３２００×１８００（ＱＨＤ＋）、３８４０×２１６０（４Ｋ ＵＨＤ）、５１２０×２８８０（５Ｋ ＵＨＤ＋）、７６８０×４３２０（８Ｋ ＵＨＤ）など。

いくつかの実施形態によれば、解像度Ｒ_２は、Ｒ_１の解像度よりも低い任意の解像度によって特徴付けられ得る。非限定的な例として、Ｒ_２は次の解像度で特徴付けられ得る：３２０×２４０（２４０ｐ）、６４０×３６０（ｎＨＤ、３６０ｐ）、９６０×５４０（ｑＨＤ、５４０ｐ）、１２８０×７２０（ＨＤ、７２０ｐ）、１６００×９００（ＨＤ＋）など。Ｒ_１及びＲ_２は、様々な実施形態に応じて、ＶＲシーンのコース全体及び／または異なるＶＲシーン間で変化する可能性があると考えられる。

図１Ｂは、視線１１０をＶＲ環境１０４の左上隅に向けるＨＭＤユーザ１０１を示している。いくつかの実施形態によれば、視線１１０は、ＨＭＤ／コンピューティングデバイス１０３によって検出され、次いで、視線１１０に対応する位置にてＶＲ環境１０４内に中心窩領域１１２を設けることが可能になる。すなわち、視線１１０は、ＨＭＤ／コンピューティング装置１０３によってリアルタイムで追跡されており、その結果、ＨＭＤ／コンピューティング装置１０３は、中心窩領域１１２が視線１１０に関連する視線の中心と同じ方向になるように、ＶＲ環境をどこで中心窩形成するべきかを判定できる。したがって、図１Ａの中心窩領域１０６の位置と、図１Ａの視線１０２と図１Ｂの視線１１０との間の変化を追跡する図１Ｂの中心窩領域１１２に関連する新しい位置との間で、移行が存在している。

特定の実施形態は、ユーザの視線方向を追跡する動的中心窩領域を有することが示されたが、他の実施形態は、ユーザの視線方向を追跡しない固定中心窩領域を含み得る。

図２Ａは、中心窩領域２０４、中間中心窩領域２０６、及び周辺領域２０８を有するＶＲ環境２１０内のＶＲコンテンツが提示されているＨＭＤユーザ１０１を示す。いくつかの実施形態は、中間中心窩領域２０６の解像度Ｒ_２より大きい解像度Ｒ_１の中心窩領域２０４を有することができると考えられる。さらに、いくつかの実施形態によれば、解像度Ｒ_２は、周辺領域２０８の解像度Ｒ_３よりも大きいことが意図されている。図１Ａ及び図１Ｂに示される実施形態と類似して、中心窩領域２０４はまた、ＨＭＤユーザ１０１の瞬間視線２０２と一致するＶＲ環境２１０内の領域を占有するように図２Ａに示される。しかし、前述のように、他の実施形態は中心窩領域２０４及び中間中心窩領域２０６が表示領域に対して固定され、ユーザの視線方向を追跡する必要がない中心窩レンダリングを実施できる。

図２Ａに示される実施形態によれば、中間中心窩領域２０６は、一般に、ＶＲ環境２１０内の中心窩領域２０４によって占有される領域を囲む。結果として、中間中心窩領域２０６は、中心視線から約５°から約６０°離れた角距離（偏心）に関連するＶＲ環境２１０内の領域と一致し得る。視野におけるこの空間に関連する視力（例えば、中間中心窩領域）は、中心窩領域のものよりも劣るが、それでも周辺領域のものに勝っていてもよい（例えば、視線方向の中心に対して約６０°を超える偏心を有する）。その結果、本明細書に記載の方法及びシステムは、中心窩領域２０４と周辺領域２０８の間の解像度を有する中間中心窩領域２０６を提供することが可能になる。

一実施形態によれば、中心窩領域２０４は１０８０ｐによって特徴付けられる解像度Ｒ_１を有し得、中間中心窩領域２０６は７２０ｐによって特徴付けられる解像度Ｒ_２を有し得、周辺領域２０８は５４０ｐによって特徴付けられ得る。これらの解像度は単なる例であり、中心窩領域２０４は、例えば４Ｋ、８Ｋ、１６Ｋなどのより高い解像度を得ることが想定される。これらの実施形態及び他の実施形態では、中間中心窩領域２０６は、中心窩領域２０４よりも低い解像度を有し得る一方、周辺領域２０８は、中間中心窩領域２０６よりも低い解像度を有する。

中間中心窩領域２０６は、中心窩領域の中心からＶＲ環境２１０の周辺２０６に向けて延びる半径方向軸に関して中心窩領域２０４と周辺領域２０８との間にあるＶＲ環境２１０内の空間を占有することも企図される。中間中心窩領域２０６及び周辺領域２０８は、ＨＭＤユーザ１０１の視線２０２を追跡するか、ＶＲ環境２１０内の中心窩領域２０４を追跡することも考えられる。つまり、中間中心窩領域２０４及び周辺領域２０８はまた、リアルタイムまたはほぼリアルタイムで中心窩領域２０４と共に移動するか、中心窩領域２０４とともに移動するように見えるように、ＶＲ環境２１０内で転座することができる。

図２Ｂは、ＨＭＤユーザ１０１が、図２Ａにおいて実質的にまっすぐ前方に向けられた視線２０２から、ＶＲ環境２１０の左上隅に向けられた視線２０３に変化したことを示している。いくつかの実施形態では、視線２０３は、視線検出を介してＨＭＤ／コンピューティングシステム１０３によって追跡され、その結果、ＨＭＤ／コンピューティングシステム１０３は、視線２０３が向けられるのと同様の方向に中心窩領域２１２を位置決めすることができる。ＨＭＤ／コンピューティングシステム１０３は、中心窩領域２１２が占める領域を囲むＶＲ環境２１０内の場所に、中間中心窩領域２１４を配置することも可能である。

上述のように、中心窩領域２１２は、ＨＭＤユーザ１０１の視野の約５〜７５％、またはＶＲ環境２１０内の表示可能な全空間の５〜７５％に対応するように作製されてもよい。さらに、中間中心窩領域２１４は、様々な実施形態に応じて、例えば、ＨＭＤユーザ１０１の視野の約５〜５０％、またはＶＲ環境２１０の全可視領域の約５〜５０％に対応し得る。その結果、周辺領域２１６は、可視領域の全視野及び／または可視領域全体の４０〜９０％のいずれかに対応する場合がある。しかし、中心窩領域２１２、中間中心窩領域２１４、及び周辺領域２１６のそれぞれに割り当てられるＶＲ環境２１０の視野及び／または可視領域の割合は、様々な実施形態に応じて、ＶＲシーン内または異なるＶＲシーン間で変わり得ることが企図される。

図３Ａ〜図３Ｈは、中心窩レンダリングビューの様々な実施形態を示している。例えば、図３Ａは、円形の境界で特徴付けられる中心窩領域を有する中心窩レンダリングディスプレイを示している。図３Ｂは、楕円形または長円形または卵形により特徴付けられる中心窩領域を有する、本明細書で説明する方法及びシステムで使用できる中心窩レンダリングビューを示す。さらに、図３Ｃは、中心窩領域が角の丸い長方形であることが示される、中心窩レンダリング構成の実施形態を示す。

図３Ｄ及び図３Ｅは、円形の中心窩領域を有する中心窩レンダリングビューの実施形態を示す。図３Ｄは、中心窩領域と周辺領域（複数可）との間の中心窩領域の外側にある、同じく円形の中間中心窩領域をさらに示している。さらに、図３Ｅは、入れ子状に配置された２つの中間中心窩領域を示している。一般に、様々な実施形態で任意の数の中間中心窩領域を利用することができ、中心窩領域からさらに遠ざかるそれぞれの連続する中間中心窩領域が、それに関連付けられる、次第に低下する画質（例えば、解像度、シャープネス、ディテールのレベル、フレームレート、リフレッシュレートが低くなる）を有すると考えられる。さらに、中間中心窩領域は、中心窩レンダリングディスプレイ内の所与の中心窩領域と同様の形状であるように示されているが、この類似性は、他の実施形態に当てはまる必要はないと考えられる。例えば、図３Ｄ及び図３Ｅの中間中心窩領域は、円以外の形状によって特徴付けられてもよい。

図３Ｆは、長方形で囲まれた動的中心窩領域を有する中心窩レンダリングビュー及び／またはディスプレイの実施形態を示す。これらの実施形態及び他の実施形態において、ユーザの視線が、長方形で囲むことによって特徴付けられる特定の領域内に留まる限り、ＨＭＤユーザの視線方向と一致するディスプレイ及び／またはビューの領域内に中心窩領域が示されるように、中心窩領域はユーザの視線を追跡し得る。その結果、視線が囲んだ長方形の外側に移動するまで、中心窩領域はユーザの視線を追跡できる。いくつかの実施形態によれば、中心窩領域は、他の場所よりも視線に近いと判定される囲んだ長方形内の位置に移動することで、囲んだ長方形の外側にある視線を追跡しようと依然試みてもよい。当然、図３Ａ〜図３Ｆに示されている幾何学形状と形状は例示的なものであり、限定するものではない。例えば、正方形、台形、ひし形、及び他の多角形を含む、本明細書で説明する方法及びシステムによる、任意の数の他の形状または境界を使用して、中心窩領域及び／または中間中心窩領域を定義することができる。

一般的に言えば、図３Ａ〜図３Ｅに示される各実施形態は、ディスプレイ及び／またはビューに対して「固定」された中心窩領域、またはそれぞれの中心窩レンダリングビュー及び／またはディスプレイを見るときに動的にユーザの視線を追跡する中心窩領域を有し得る。例えば、特定のタイプのＶＲコンテンツの場合、ＨＭＤユーザが大部分のＶＲセッションをまっすぐ前方に見ていると予想される場合がある。結果として、特定の実施形態は、ディスプレイ及び／またはＶＲ環境のビューに対して固定された中心窩レンダリングビュー及び／またはディスプレイを使用し得る。

図３Ｇは、本明細書で説明される方法及びシステムによる中心窩レンダリングを使用して生成されたＶＲシーン３００を示す。中心窩レンダリングは、中心窩領域３０２及びいくつかの中間中心窩領域３０４〜３１０を生成する。中間中心窩領域３０４〜３１０の数は、図３Ｇでは任意であり、中間中心窩領域が中心窩領域から遠ざかって表示されるにつれて、各中間中心窩領域は解像度が連続的に低下する。例えば、中間中心窩領域３０６は、１から１００個の間のいずれかの付加的な中間中心窩領域を含むことができる。

図３Ｈは、表示領域の解像度と、中心窩領域または注視点からの領域の距離との間の様々な例示的な関係を説明している。例えば、曲線３１２は、中心窩領域と周辺領域のみを有する中心窩レンダリングディスプレイを描写し得る。曲線３１４は、解像度と中心窩領域からの距離との間で放物線の関係を有する中心窩レンダリングディスプレイを記述する。曲線３１６は、中心窩領域から離れるにつれて解像度が低下する階段状の関数を示している。さらに、曲線３１８及び３２０は、解像度と中心窩領域からの距離との間の線形及びＳ字状の関係を記している。結果として、ここで考えられる中心窩レンダリングシステムは、各中間中心窩領域が中心窩領域からさらに離れるにつれて、様々な解像度を有する任意の数の中間中心窩領域をレンダリングすることができる。

図４は、多重解像度ＶＲシーンのアンチエイリアシング方法の全体的な流れを示している。示される実施形態によれば、操作４１０は、一連のビデオフレームを含むシーンをレンダリングするように機能する。通常、これはグラフィック処理装置（ＧＰＵ）を使用して実行される。次いで、この方法は、第１のジッタオフセットを使用してシーンの第１の領域にテンポラル・アンチエイリアシングを適用するよう機能する操作４２０に続く。次に、操作４３０は、第２のジッタオフセットを使用して第２の領域にテンポラル・アンチエイリアシングを適用するよう機能する。さらに、この方法は次に操作４４０に続き、シーンの第１及び第２の領域の両方を有するディスプレイにシーンを表示するように機能し、第１の領域は第２の領域よりも高い解像度で表示または関連付けられ、第１のジッタオフセットは、第２のジッタオフセットよりも小さくなっている。

いくつかの実施形態によれば、操作の第１の領域４２０は、中心窩レンダリングディスプレイ及び／またはビュー内の中心窩領域に対応し、一方で第２の領域４３０は中心窩レンダリングディスプレイ及び／またはビュー内の周辺領域に対応し得る。例えば、第１の領域の解像度は１０８０ｐに相当し得、第２の領域の解像度は５４０ｐに相当し得る。

テンポラル・アンチエイリアシングは、シーン内の画像のエイリアシングに関連する視覚的アーティファクトを除去または低減する計算プロセスを記述する。一時的なアンチエイリアシングがシーン内の画像のエイリアシングを減らせる方法の１つは、２以上のフレームにわたってサンプリング位置のジッタを使用してサブピクセルサンプリングを実行することである。

図４に示す方法による実施形態は、異なる解像度に関連付けられた異なる領域に対して異なるジッタオフセットを使用することにより、シーン内の異なる領域の特定の解像度に適合するテンポラル・アンチエイリアシングを実行することができる。例えば、より高い解像度を有する領域（例えば、中心窩領域）は、より小さなジッタオフセットを伴うテンポラル・アンチエイリアシングで適合でき、一方、より低い解像度を有する領域（例えば、周辺領域（複数可））は、より大きなジッタオフセットを伴うテンポラル・アンチエイリアシングで適合され得る。解像度が低い（及びピクセルサイズが大きい）領域に大型のジッタオフセットを使用すると、小型のジッタオフセットが使用された場合のように、それらの領域内のプリミティブまたは断片が失われる可能性が低くなる。図４の方法に従って実施される実施形態の結果として、第２の領域（例えば、周辺領域（複数可））のアンチエイリアシングの有効性が増加する。

図５は、頂点シェーダーが頂点の位置に応じて異なるジッタオフセットを選択できるようにする方法の全体的な流れを示している。図５に示される方法の操作５１０は、ジッタ成分を有する変換行列を取得するように機能する。いくつかの実施形態によれば、変換行列は、ＧＰＵによって処理され、操作５１０によって変換行列が取り出されるメモリまたはバッファに格納されていてもよい。例えば、変換行列は、（ＶＲ）シーン内の頂点を表すモデルビュー投影（ＭＶＰ）行列であってもよい。この方法は、ディスプレイ上の頂点の位置を判定するのに機能する操作５２０に続く。例えば、操作５２０は、頂点が中心窩領域内にあるか周辺領域（複数可）内にあるかを判定することができ得る。

次いで、この方法は、操作５３０に続き、操作５２０により決定される頂点の位置に応じて、ジッタ成分またはジッタオフセットまたはジッタ行列を選択することができる。いくつかの実施形態によれば、ジッタ成分またはオフセットまたは行列はメモリに格納してもよく、その場合操作５３０により読み出しが可能である。図５に示される方法は、次に、選択されたジッタ成分またはオフセットまたは行列を変換行列に適用するよう機能する操作５４０に続く。さらに、いくつかの実施形態によれば、操作５１０〜５４０は、グラフィックスパイプライン内の頂点シェーダーによって実行され得ることが企図されている。他の実施形態では、前述の操作はラスタライザによって実行されることが企図されている。

いくつかの実施形態によれば、ジッタ成分は、ジッタ行列Ｊまたは［Ｊ］によって記述または含まれてもよい。したがって、Ｊは、行列乗算を介して特定の変換行列に適用できる。例として、変換行列は［ＭＶＰ］で記述でき、この場合、Ｍはモデルを表し、Ｖはビューを表し、Ｐは投影を表す。したがって、［ＭＶＰ］［Ｊ］によって定義される操作は、ジッタ行列［Ｊ］を変換行列［ＭＶＰ］に適用する１つの方法である。

図６Ａは、ビデオフレーム６００の２つの領域のサブピクセルサンプリングの実施形態を示す。ビデオフレーム６０２は、解像度Ｒ_１に関連付けられるように示されている。プリミティブ６０６を含むビデオフレーム６００の部分６０２は、第１の領域６０８及び第２の領域６１０を含む分解図で示されている。第１の領域６０８及び第２の領域６１０は、それぞれ１６個のサンプリング位置を含んで示される。各サンプリング位置は、それぞれ各ピクセルのピクセル中心に関連付けられて示されている。

示される実施形態によれば、プリミティブ６０６の断片は、例えば、サンプル位置６０３を含む、第１の領域６０８内の８つのサンプリング位置を対象としている。第１の領域６０８のサンプル位置６１２、６１４、及び６１６は、プリミティブ６０６の断片により対象とされずに示されている。しかし、ジッタオフセット６１８によってジッタされると、サンプル位置６１２及び６１４は、プリミティブ６０６の対象とされる。その結果、サンプル位置６１２及び６１４に関連付けられたピクセルのカバレッジマスクが、ラスタライザにより生成され、プリミティブ６０６の断片が、サンプル位置６１２及びサンプル位置６１４に関連付けられたピクセルの最終的な色に寄与し得ることを示す。ただし、プリミティブ６０６は、サンプル位置６１６に関連付けられたピクセルの最終的な色には寄与しない。なぜなら、プリミティブ６０６の断片は、ジッタされたサンプリング位置またはジッタされていないサンプリング位置のいずれかのサンプル位置を対象としないためである。

さらに、第２の領域６１０は、サンプリング位置６２０を含む、プリミティブ６０６によって対象とされる７つのサンプル位置を含むように示される。第２の領域のサンプリング位置がジッタオフセット６１８によってジッタされると、サンプル位置６２２は、ジッタされる前にプリミティブ６０６の対象とされていなかったが、もはやプリミティブ６０６の対象とされていることが示されている。一方、非ジッタの位置でプリミティブ６２０の対象とされていたサンプル位置６２０は、ジッタの位置ではもはや対象となっていない。結果として、プリミティブ６０６は、サンプル位置６２０及び６２２に関連付けられたピクセルの最終的な色に寄与する。

図６Ｂは、解像度Ｒ_１及びジッタ成分Ｊ_１に関連する中心窩領域６０３、ならびに解像度Ｒ_２及びジッタ成分Ｊ_１に関連する周辺領域６０５を有するビデオフレーム６００の実施形態を示す。部分６０２は、中心窩領域６０３内に収まる第１の領域６０８と、また周辺領域６０５内に収まる第２の領域６１０とを含むように示されている。その結果、第１の領域６０８は、図６Ａに示されるものと非常に似たサンプリングのパターンを含む。

対照的に、周辺領域６０５内にある第２の領域６１０は、解像度Ｒ_２がＲ_１よりも低いために、より少ない数のサンプリング位置（例えば、４つ）を含むように示されている。例えば、第２の領域は、サンプル位置６２８〜６３４を含むように示され、サンプル位置６３０及び６３２はプリミティブ６０６の対象とされる。また、図６Ｂに示されているのは、第２の領域がよりピクセルが大きくてサンプリング位置間の間隔が大きい場合でも、第１の領域６０８及び第２の領域６１０の両方に対して同じジッタ成分６１８が用いられていることである。結果として、ジッタ成分６１８は、サンプル位置６２８〜６３４に関連するピクセルのいずれかの最終的な色に寄与する色の変化を伴わない。例えば、プリミティブ６０６に関連付けられた断片は、位置がジッタしているかどうかにかかわらず、サンプル位置６２８を対象としない。結果として、プリミティブ６０６は、サンプル位置６２８に関連付けられたピクセルの最終的な色に寄与し得ない。

図６Ｃは、解像度Ｒ_１及びジッタＪ_１に関連する中心窩領域６０３、ならびにより低い解像度Ｒ_２及びより大きいジッタＪ_２に関連する周辺領域６０５を有するビデオフレーム６００をサンプリングする実施形態を示す。例えば、ジッタオフセット６３６で表されるＪ_２は、Ｊ_１ジッタオフセット６１８の大きさの約２倍であることが示されている。その結果、プリミティブ６０６の断片は、ジッタされたサンプル位置６２８がプリミティブ６０６の対象となるため、サンプル位置６２８に関連付けられるピクセルに寄与することができる。したがって、周辺領域６０５に対してＪ_２ジッタオフセット６３６を使用することは、異なるジッタ（例えば、Ｊ_２ジッタオフセット６３６）が周辺領域６０５に対して使用されない、図６Ｂに示される実施形態と比較して周辺領域６０５に対するエイリアシングが低減された画像をもたらす（例えば、中心窩領域６０３と周辺領域６０５の両方に単一のジッタＪ_１のみが使用されたため）。

より低い解像度（例えば、サンプリング点間のより大きな距離）に関連付けられたディスプレイ内の領域でより大きなジッタ成分を使用すると、プリミティブまたは断片が失われる可能性が減少する。したがって、本明細書で説明する実施形態に従って提供される方法及びシステムは、サンプリング位置が中心窩領域または周辺領域（複数可）内にあるかどうかに応じて異なるジッタオフセットから選択することにより、アンチエイリアシングを強化でき、特に画像の非中心部の場合エイリアシングを効果的に低減できる。

図７Ａ〜図７Ｃは、所与のプリミティブ７０１のサンプリング、ラスタライズ、及びシェーディングの様々な実施形態を示す。例えば、図７Ａのサンプリンググリッド７０２ａは、プリミティブ７０１の断片の１６個のサンプリング位置を含むように示される。ラスタライズされたグリッド７０６ａは対象のデータの結果であり、これは、サンプリンググリッド７０２ａとプリミティブ７０１の交差によって形成される断片のスキャン変換中に、ラスタライザによって生成される。

ジッタサンプリンググリッド７０２ｂは、ジッタオフセット７０４に従ってジッタされたことが示されており、これはラスタライズされたグリッド７０６ｂにラスタライズされる。次に、ピクセルシェーダーまたは計算シェーダーは、ラスタライズされたグリッド７０６ａとラスタライズされたグリッド７０６ｂを組み合わせて、ラスタライズされたグリッド７０６ａと７０６ｂの組み合わせであるシェーディングされたグリッド７０８を生成することができる。例えば、ピクセルシェーダーまたはコンピューティングシェーダーは、ピクセル７１０ａの色とピクセル７１０ｂの色の組み合わせまたは平均であるシェーディンググリッド７０８のピクセル７１０ｃの色を選択することができる。

図７Ｂでは、サンプリンググリッド７１２ａは、４つのサンプリングポイントのみを有するプリミティブ７０１と交差するように示されている。サンプリンググリッド７１２ａは、例えば、中心窩レンダリングビュー及び／またはディスプレイの周辺領域（複数可）など、より低い解像度を有するディスプレイのサンプリングプロセスを表す。ジッタサンプリンググリッド７１２ｂは、ジッタオフセット７０４に従ってジッタされた４つのサンプルポイントを有することも示されている。ジッタオフセット７０４は、サンプリンググリッド７１２ａ及びサンプリンググリッドのいずれかのサンプリングポイント間の距離のより小さい割合を表すため、ジッタサンプリンググリッド７１２ｂの結果であるラスタライズされたグリッド７１４ｂは、非ジッタのサンプリンググリッド７１４ａによって生成されるラスタライズされたグリッド７１４ａと同じである。すなわち、図７Ｂのサンプリングプロセスで使用されるジッタオフセットの量は、プリミティブ７０１の断片がサンプリンググリッド７１２ａまたはサンプリンググリッド７１２ｂ内のサンプルポイント７０３を対象とするようにするのに十分ではない。結果として、陰影付きグリッド７１６は、ギザギザのエッジまたは「ジャギー」を形成する可能性のある規則的なパターンによって特徴付けられ、最終的な画像にエイリアシングをもたらす可能性が高いことが示されている。

図７Ｃは、図７Ｂのジッタオフセット７０４より大きいジッタオフセット７０５の範囲までジッタされた、サンプリンググリッド７２０ａ及びジッタサンプリンググリッド７２０ｂを示す。結果として、サンプル点７０３は、ジッタサンプリンググリッド７２０ｂ内のプリミティブ７０１によって対象とされるが、サンプリンググリッド７２０ａ内では対象とされない。これは、それぞれのラスタライズされたグリッド７２２ａ及び７２２ｂに反映される。結果として生じる陰影付きグリッド７２４は、ピクセル７１８ａ及び７１８ｂの色の平均または組み合わせであり得る色で陰影付けされたピクセル７１８ｃを有する。結果として、陰影付きグリッド７２４は、陰影付きグリッド７１６よりも、ギザギザのエッジ及び／または規則的なパターンを少なく示す。その結果、図７Ｃに示されるようなサンプリングプロセスは、アンチエイリアシンがより高い程度になり、プリミティブが失われる可能性が小さくなる。

図８は、特定の実施形態によるアンチエイリアシングの時間的側面を示す。プリミティブ８０１は、フレームＮ、Ｎ−１、…、Ｎ−８の変換データ８０２によって視覚的に表される。プリミティブ８０１は、明確化及び例示の目的で、フレームＮ、Ｎ−１、Ｎ−２、…、Ｎ−８のそれぞれに対して同様の形状及び位置を有するように示されているが、プリミティブ８０１は同じ形状または位置を、他の実施形態のために有する必要はない。いくつかの実施形態によれば、変換データ８０２はバッファに格納されてもよい。

サンプリンググリッド８０４は、変換データ８０２の各フレームについて４つのサンプリング位置でサンプリングするように示されている。サンプリンググリッド８０４は、他のすべてのフレームについてジッタがあるように示されている。この場合も、明確にするために、サンプリンググリッド８０４はＹのピクセルの半分だけジッタされるように示されているが、様々な他の実施形態に従って異なるジッタオフセットが使用されてもよい。例えば、他の実施形態は、Ｘ及びＹの両方で１／４ピクセルであるジッタオフセットを使用し得る。さらに、いくつかの実施形態によれば、図８に示されるジッタリングは、射影行列を変換するサンプルコードによって実行され得る。例えば、サンプルコードは移行行列を変換データ８０２に適用する。これにより、図８に示すジッタが効果的に提供される。

いくつかの実施形態によれば、現在のフレーム及び７つの前のフレームについてサンプリンググリッド８０４を介して得られた対象データに依存する４つのピクセルを含むように、陰影付きピクセルグリッド８０６が示されている。例えば、陰影付きピクセルグリッド８０８は、フレームＮ、Ｎ−１、…、Ｎ−７からのサンプリングデータに基づいて示される一方、陰影付きピクセルグリッド８１０は、フレームＮ−１、Ｎ−２、…、Ｎ−８からのサンプリングデータに基づいて示されている。その結果、ピクセルシェーディング（またはシェーディングの計算）のプロセスは、バッファに格納されている過去のフレームに一時的に依存する。複数のフレームからの出力の蓄積によって形成される結果の画像は、特にサンプリングポイント間の距離が大きい領域（周辺領域など）に対して、より高いアンチエイリアシングを設ける。

図９Ａは、中心窩レンダリングビュー及び／またはディスプレイ内の中心窩領域及び周辺領域（複数可）の異なるジッタ量、オフセット、成分（ジッタ行列で集合的に定義可能）の変数の選択を可能にする方法の実施形態を示す。操作９０２は、（ＶＲ）ディスプレイ上にレンダリングされる頂点を選択するのに機能する。次に、操作９０４及び９０６は、選択された頂点を定義する変換行列を取得し、変換行列を介して選択された頂点の位置情報を判定する。操作９０８で、この方法は、頂点が中心窩領域（例えば、比較的高い解像度を有する領域）内に位置するかどうかを判定する。頂点が中心窩領域内に位置すると判定された場合、操作９１０及び９１２は、それぞれ第１の行列を選択し、第１の行列を適用する機能する。頂点が中心窩領域内に位置しないが、代わりに操作９１４で周辺領域内に位置すると判定された場合、この方法は操作９１６及び９１８に続き、第２のジッタ行列を選択及び適用するよう機能する。

前述のように、中心窩領域は、周辺領域（複数可）よりも高い解像度を有し得る。結果として、第１のジッタ行列は、第２のジッタ行列よりも比較的小さいジッタオフセットを含めるはずである。さらに、いくつかの実施形態によれば、図９Ａに示される操作の少なくとも一部は、グラフィックスパイプライン内の頂点シェーダーによって実行されることが企図される。

図９Ｂは、中心窩領域、中間中心窩領域、ならびに中心窩レンダリングビュー及び／またはディスプレイ内の周辺領域の異なるジッタ量、オフセット、成分（ジッタ行列で集合的に定義可能）の変数選択を可能にする方法の実施形態を示す。操作９２０は、（ＶＲ）ディスプレイ上にレンダリングされる頂点を選択するのに機能する。次に、操作９２２及び９２４は、選択された頂点を定義する変換行列を取得し、変換行列を介して、選択された頂点の位置情報を判定する。操作９２６で、この方法は、頂点が中心窩領域（例えば、比較的高い解像度を有する領域）内に位置するかどうかを判定する。頂点が中心窩領域内に位置すると判定された場合、操作９２８及び９３０は、それぞれ第１のジッタ行列を選択し、第１のジッタ行列を適用するように機能する。頂点が中心窩領域内に位置していないが、代わりに中間中心窩領域内に位置していると操作９３２で判定された場合、この方法は操作９３４及び９３６に続き、それは第２のジッタ行列を各々選択及び適用するように機能する。頂点が中間中心窩領域内に位置しているのではなく、周辺領域（複数可）内に位置すると操作９３８で判定された場合、この方法は操作９４０及び９４２に続き、それは第３のジッタ行列を各々が選択及び適用するように機能する。

前述のように、いくつかの実施形態によれば、中心窩領域は中間中心窩領域または周辺領域のいずれかよりも高い解像度を有し得、中間中心窩領域は周辺領域よりも高い解像度を有し得る。結果として、第１のジッタ行列には、第２または第３のジッタ行列のいずれよりも相対的に小さいジッタオフセットが含まれるはずであるが、第２のジッタ行列には、第３のジッタ行列よりも相対的に小さいジッタオフセットが含まれるべきである。さらに、いくつかの実施形態によれば、図９Ｂに示される操作の少なくとも一部は、グラフィックスパイプライン内の頂点シェーダーによって実行されることが企図される。他の実施形態では、図９Ｂに示される操作は、頂点シェーダー、ラスタライザ、またはピクセルシェーダー（または計算シェーダー）の間で共有されてもよい。

図１０は、中心窩レンダリングパラダイムの下でのテンポラル・アンチエイリアシングのために異なるジッタ行列から選択することができるグラフィックスパイプラインの全体的な概念モデルを示している。例えば、頂点シェーダー１００８は、フレームデータ１００２から変換行列１００４を取得するために示されている。いくつかの実施形態によれば、頂点シェーダー１００８は、適切なレベルの照明、着色、及び他の画像用の後処理の効果を提供できるコンピュータプログラムである。フレームデータ１００２から変換行列１００４を取得した後、頂点シェーダー１００８は、変換行列１００４によって記述される所与の頂点の位置を判定することができる。頂点の位置（例えば、頂点が中心窩領域、中間中心窩領域、または周辺領域内にあるかどうか）に応じて、頂点シェーダー１００８は、メモリ１０１６から適切なジッタ行列、例えば［Ｊ_１］、［Ｊ_２］、または［Ｊ_３］を選択する。３つのジッタ行列がメモリ１０１６に格納されるように示されているが、実施形態の趣旨及び範囲から逸脱することなく、任意の数のジッタ行列をメモリ１０１６に格納し、様々な実施形態に応じて選択できることが理解される。

さらに、頂点シェーダー１００８は、それぞれに適切なジッタ行列を適用しながら、前のフレームデータ１００６（例えば、フレームＮ−１、Ｎ−２、…、Ｎ−７）からデータ（例えば、変換行列）を取得することもできる。次に、この方法は、ベクトルグラフィックス形式のフレームデータ１００２及び１００６によって記述される画像を取得し、それをピクセルからなるラスター画像に変換する役割を担うラスタライザ１０１０に続く。いくつかの実施形態によれば、ラスタライザは、コンピュータプログラムによって具現化されてもよい。次に、ラスタライザ１０１０の出力は、ピクセルシェーダー１０１２に供給され、ピクセルシェーダー１０１２は、個々のピクセルに対して適切なレベルの色及び他の属性を処理する。次いで、ピクセルシェーダー１０１２によって生成された結果のピクセルは、表示するために送信すべく出力１０１４に供給される。ピクセルシェーダーは、ピクセルシェーダーまたは計算シェーダーのいずれかを示すために使用されることに留意されたい。

図１１は、提示された方法及び／またはシステムで使用され得るＨＭＤ１１００の追加の実施形態を示す。ＨＭＤ１１００は、視線検出器１１０２、プロセッサ１１０４、バッテリ１１０６、仮想現実発生器１１０８、ボタン、センサ、スイッチ１１１０、音像定位１１１２、ディスプレイ１１１４、及びメモリ１１１６などのハードウェアを含む。また、ＨＭＤ１１００は、磁力計１１１８、加速度計１１２０、ジャイロスコープ１１２２、ＧＰＳ １１２４、及びコンパス１１２６を含む位置モジュール１１２８を含むように示される。ＨＭＤ１１００にはさらに、スピーカー１１３０、マイク１１３２、ＬＥＤ １１３４、視覚認識物（複数可）１１３６、ＩＲライト１１３８、フロントカメラ１１４０、リアカメラ１１４２、視線追跡カメラ（複数可）１１４４、ＵＳＢ １１４６、永久記憶装置１１４８、振動触覚フィードバック１１５０、通信リンク１１５２、ＷｉＦｉ（登録商標） １１５４、超音波通信１１５６、Ｂｌｕｅｔｏｏｔｈ（登録商標） １１５８、及び感光性ダイオード（ＰＳＤ）アレイ１１６０が含まれる。

この方法の操作は特定の順序で説明したが、ＶＲ操作の変更の処理が所望の方法で実行される限り、操作の間に他のハウスキーピング操作を実行できること、または操作がわずかに異なる時間に発生するように調整され得ること、または処理に関連する様々な間隔での処理操作の発生を可能にするシステムに供給され得ることを理解されたい。

１つまたは複数の実施形態は、コンピュータ可読媒体上のコンピュータ可読コードとして製作することもできる。コンピュータ可読媒体は、データを保存することができる任意のデータ記憶装置であり、後にコンピュータシステムが読み取ることができる。コンピュータ可読媒体の例には、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及びその他の光学及び非光学データストレージデバイスが含まれる。コンピュータ可読媒体は、ネットワーク接続されたコンピュータシステムに亘り供給されたコンピュータ可読有形媒体を含むことができ、その結果、コンピュータ可読コードは分散方式で格納及び実行される。

前述の実施形態は、理解を明確にするためにある程度詳細に説明されているが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかである。したがって、本実施形態は、限定ではなく例示と見なされるべきであり、実施形態は、本明細書で与えられる詳細に限定されるものではなく、添付の特許請求の範囲及び均等物内で変更され得る。

Claims (22)

1. ヘッドマウントディスプレイ（ＨＭＤ）内でテンポラル・アンチエイリアスを使用して多重解像度シーンをレンダリングする方法であって、
   グラフィック処理ユニットを使用して、一連のビデオフレームを含むシーンを、各ビデオフレームについてレンダリングすること、
   前記ビデオフレームの第１の領域及び前記ビデオフレームの第２の領域に、第１のジッタオフセット及び第２のジッタオフセットをそれぞれ使用してアンチエイリアシングを適用すること、
   前記第１の領域と前記第２の領域とを含む中心窩シーンを生成すること、及び
   前記ＨＭＤに関連付けられたディスプレイに表示するために前記中心窩シーンを送信すること
   を含み、
   前記第１の領域は、前記第２の領域よりも高い解像度を有し、
   前記第１のジッタオフセットは、前記第２のジッタオフセットよりも小さく、
   前記第１のジッタオフセットが使用される前記ビデオフレームの領域は、前記第２のジッタオフセットが使用される前記ビデオフレームの領域と重なる領域を有さず、
   前記第１のジッタオフセット及び前記第２のジッタオフセットは、前記一連のビデオフレームの各ビデオフレームに使用される、
   方法。
2. 前記ＨＭＤのユーザの視線を追跡すること
   をさらに含み、
   前記中心窩シーンを前記生成することは、前記ユーザの前記視線の前記追跡に従って、前記ＨＭＤに関連付けられた前記ディスプレイに前記第１の領域を動的に配置することを含む、
   請求項１に記載の方法。
3. 第３のジッタオフセットを使用して前記シーンの第３の領域にアンチエイリアシングを適用すること
   をさらに含み、
   前記中心窩シーンを前記生成することは、さらに前記第３の領域を含み、前記第３の領域は前記第１の領域に関連付けられた前記より高い解像度よりも低い中間解像度に関連付けられ、前記第２の領域に関連付けられた前記解像度よりも高く、前記第３のジッタオフセットは、前記第１のジッタオフセットよりも大きく、前記第２のジッタオフセットよりも小さい、
   請求項１に記載の方法。
4. 前記中心窩シーンを前記生成することは、前記第３の領域内に前記第１の領域を入れ子にすることを含む、請求項３に記載の方法。
5. 前記第１のジッタオフセットを使用して前記シーンの前記第１の領域に前記アンチエイリアシングを前記適用することと、前記第２のジッタオフセットを使用して前記シーンの前記第２の領域に前記アンチエイリアシングを前記適用することとが計算シェーダーにより実行される、請求項１に記載の方法。
6. 前記シーンの前記第１の領域は、中心窩レンダリングのためにディスプレイ上に前記シーンを前記表示する間、前記シーンの前記第２の領域内に入れ子にされる、請求項１に記載の方法。
7. 前記シーンのビデオフレームの前記アンチエイリアシングは、過去の１つ以上のビデオフレームからサンプリングすることを含む、請求項１に記載の方法。
8. 前記シーンのビデオフレームの前記アンチエイリアシングは、過去の結果から生成された反復的に蓄積されたフレームからサンプリングすることを含む、請求項１に記載の方法。
9. 前記第１の領域は、前記ＨＭＤのユーザの視線の方向に応じて、前記第２の領域内を移動する、請求項１に記載の方法。
10. 前記シーンの前記第１の領域及び前記シーンの前記第２の領域に適用される前記アンチエイリアシングは、テンポラル・アンチエイリアシングを含む、請求項１に記載の方法。
11. ヘッドマウントディスプレイ（ＨＭＤ）での提示のために、テンポラル・アンチエイリアシングにより仮想現実（ＶＲ）シーンを提供する方法であって、
    一連のビデオフレームを含み、前記ビデオフレームの中心窩領域と前記ビデオフレームの周辺領域を含むＶＲシーンをＧＰＵにより生成すること、
    前記ＶＲシーンをアンチエイリアスすることであって、
    前記ＶＲシーン内の頂点の変換行列を取得し、前記ＶＲシーン内の前記頂点の位置を判定すること、
    頂点シェーダーによって、前記頂点に適用するジッタ成分を選択することであって、前記頂点が前記ＶＲシーンの前記中心窩領域内に位置すると判定された場合は第１のジッタ成分が選択され、前記頂点が前記ＶＲシーンの前記周辺領域内に位置すると判定された場合は第２のジッタ成分が選択される、選択すること及び
    前記選択したジッタ成分をアンチエイリアシングされたＶＲシーンの前記頂点の前記変換行列に適用すること
    を含む前記アンチエイリアスすること、及び
    前記ＨＭＤに関連付けられたディスプレイに表示するために、前記アンチエイリアシングされたＶＲシーンを送信すること
    を含み、
    前記中心窩領域は、前記周辺領域よりも高い解像度を有し、
    前記第１のジッタ成分に関連するオフセットは、前記第２のジッタ成分に関連するオフセットよりも小さく、
    前記第１のジッタ成分に関連するオフセットが使用される前記ビデオフレームの領域は、前記第２のジッタ成分に関連するオフセットが使用される前記ビデオフレームの領域と重なる領域を有さず、
    前記第１のジッタ成分に関連するオフセットオフセット及び前記第２のジッタ成分に関連するオフセットは、前記一連のビデオフレームの各ビデオフレームに使用される、
    方法。
12. 前記中心窩領域は、前記ディスプレイまたは前記周辺領域に対して固定される、請求項１１に記載の方法。
13. 前記周辺領域は、前記中心窩領域が表示されない前記ＨＭＤに関連付けられた前記ディスプレイの領域に表示される、請求項１１に記載の方法。
14. 前記ＨＭＤのユーザの視線を追跡すること
    をさらに含み、
    前記ＶＲシーンを前記生成することは、前記ユーザの前記視線の方向に従って前記ディスプレイ内に前記中心窩領域を動的に配置することを含む、
    請求項１１に記載の方法。
15. 前記ＶＲシーンは、中間中心窩領域をさらに含み、前記頂点が前記中間中心窩領域に位置すると判定される場合、第３のジッタ成分が選択され、前記頂点に適用される、請求項１１に記載の方法。
16. 前記中間中心窩領域は、前記周辺領域のものよりも高く、前記中心窩領域のものよりも低い解像度または画質に関連付けられる、請求項１５に記載の方法。
17. 前記第３のジッタ成分に関連付けられるオフセットは、前記第１のジッタ成分に関連付けられるオフセットより大きく、前記第２のジッタ成分に関連付けられるオフセットより小さい、請求項１５に記載の方法。
18. 前記ＶＲシーンのビデオフレームに対する前記アンチエイリアシングは、前記ＶＲシーンの過去の１つ以上のビデオフレームからサンプリングすることをさらに含む、請求項１１に記載の方法。
19. 前記ＶＲシーンのビデオフレームに対して前記アンチエイリアシングすることは、前記ＶＲシーンのビデオフレームの過去の群からサンプリングすることをさらに含む、請求項１１に記載の方法。
20. １つ以上のプロセッサにより実行されるとき、仮想現実（ＶＲ）シーンにヘッドマウントディスプレイ（ＨＭＤ）での提示用のアンチエイリアシングを提供するための、非一時的なコンピュータ可読記憶媒体に埋め込まれたコンピュータプログラムであって、
    一連のビデオフレームを含み、前記ビデオフレームの中心窩領域と前記ビデオフレームの周辺領域を含むＶＲシーンをレンダリングするためのプログラム命令、
    アンチエイリアシングされた中心窩領域の第１のジッタオフセットを使用して、前記ビデオフレームの前記中心窩領域にアンチエイリアシングを適用するためのプログラム命令、
    アンチエイリアシングされた周辺領域の第２のジッタオフセットを使用して、前記ビデオフレームの前記周辺領域にアンチエイリアシングを適用するためのプログラム命令、及び、
    前記アンチエイリアシングされた中心窩領域と前記アンチエイリアシングされた周辺領域を有する前記ＶＲシーンを、前記ＨＭＤに関連付けられたディスプレイに提示するためのプログラム命令、を含み、
    前記中心窩領域は、前記周辺領域よりも高い解像度を有し、
    前記第１のジッタオフセットは、前記第２のジッタオフセットよりも小さく、
    前記第１のジッタオフセットが使用される前記ビデオフレームの領域は、前記第２のジッタオフセットが使用される前記ビデオフレームの領域と重なる領域を有さず、
    前記第１のジッタオフセット及び前記第２のジッタオフセットは、前記一連のビデオフレームの各ビデオフレームに使用される、
    コンピュータプログラム。
21. 前記中心窩領域は、前記ＨＭＤに関連付けられた前記ディスプレイに対して固定されるか、前記周辺領域に対して固定される、請求項２０に記載のコンピュータプログラム。
22. 前記ＨＭＤのユーザの視線を追跡するためのプログラム命令であって、前記ＶＲシーンを生成することは、前記ユーザの前記視線の方向に従って前記ＨＭＤに関連付けられる前記ディスプレイ内に前記中心窩領域を動的に配置することを含む前記プログラム命令
    をさらに含む、請求項２０に記載のコンピュータプログラム。

Images