JP2024502273A - 時間的中心窩レンダリング - Google Patents

Abstract

一実施形態では、方法は、ビデオストリームの第１のフレームに対応する、完全な画素情報を有する第１の画像にアクセスすることと、第１のフレームの後のビデオストリームの第２のフレームに対応する暫定画像をレンダリングすることであって、暫定画像が完全な画素情報を含む第１の領域と不完全な画素情報を含む第２の領域とを有する、暫定画像をレンダリングすることと、１つまたは複数のワーピングパラメータに従って少なくとも第１の画像の領域を再投影することによって、第２のフレームに対応する予測画像を生成することと、レンダリングされた暫定画像と予測画像とを合成することによって、第２のフレームに対応する第２の画像を生成することとを含む。【選択図】図２

Description

本開示は、一般に、人工現実システムに関し、具体的には、人工現実システムのための効率的なレンダリングに関する。

人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（たとえば、現実世界の写真）と組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。人工現実は、たとえば人工現実におけるコンテンツの生成および／または人工現実における使用（たとえば、人工現実における活動の実行）がなされるアプリケーション、製品、付属品、サービス、またはこれらの何らかの組合せと関連付けられている場合がある。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

本発明の一態様によれば、コンピューティングシステムによって、ビデオストリームの第１のフレームに対応する第１の画像にアクセスすることであって、第１の画像が完全な画素情報を有する、第１の画像にアクセスすることと、第１のフレームの後のビデオストリームの第２のフレームに対応する暫定画像をレンダリングすることであって、暫定画像が完全な画素情報を含む第１の領域と不完全な画素情報を含む第２の領域とを有する、暫定画像をレンダリングすることと、１つまたは複数のワーピングパラメータに従って少なくとも第１の画像の領域を再投影することによって、第２のフレームに対応する予測画像を生成することと、レンダリングされた暫定画像と予測画像とを合成することによって、第２のフレームに対応する第２の画像を生成することとを含む方法が提供される。

好ましくは、レンダリングされた暫定画像と予測画像とを合成することは、時間ワーピングパラメータを暫定画像に適用することを含み、時間ワーピングパラメータを画像に適用することは、頭部位置の変化を調整するために画像をシフトすることを含む。

好ましくは、１つまたは複数のワーピングパラメータは、空間ワーピングパラメータと時間ワーピングパラメータとを含む。

好ましくは、空間ワーピングパラメータは、第１の画像の再投影された領域内の動きベクトルに基づいて決定され、動きベクトルは、前のフレームに対応する画像に基づいて決定される。

好ましくは、空間ワーピングパラメータを適用することは、再投影された領域内で動いているオブジェクトが決定された動きベクトルを使用して再配置されるように、第１の画像の再投影された領域を歪めることを含む。

好ましくは、動きベクトルを決定することは、オプティカルフローに基づく。

好ましくは、空間ワーピングパラメータを決定することは、グラフィックス処理装置（ＧＰＵ）とは別個のハードウェアエンコーダ上で実行される。

好ましくは、暫定画像内のレンダリングされた領域および予測画像の再投影された領域は、重複領域を有する。

好ましくは、レンダリングされた暫定画像と予測画像とを合成することは、重複領域内の画素を混合することを含む。

好ましくは、暫定画像の第１の領域は、ビデオストリームの第２のフレームに対するユーザの視野の中央領域を含む。

好ましくは、暫定画像の第１の領域は、画像の所定の領域を含む。

好ましくは、暫定画像の第２の領域はレンダリングされない。

好ましくは、暫定画像の第２の領域は、第１の領域の画素密度よりも低い画素密度でレンダリングされる。

好ましくは、第１の画像は複数のサブ領域を含み、サブ領域の画素密度は互いに異なる。

好ましくは、ビデオストリームは立体ビデオストリームであり、第１の画像および第２の画像はユーザの目に対応する。

好ましくは、レンダリングされた暫定画像と予測画像とを合成することによってビデオストリームのフレームに対応する画像を生成することは、目の間で交互に行われ、第１の目のフレームに対応する全体画像がレンダリングされる一方で、レンダリングされた暫定画像と予測画像とを合成することによって第２の目のフレームに対応する画像が生成される。

本発明のさらなる態様によれば、ビデオストリームの第１のフレームに対応する第１の画像にアクセスすることであって、第１の画像が完全な画素情報を有する、第１の画像にアクセスすることと、第１のフレームの後のビデオストリームの第２のフレームに対応する暫定画像をレンダリングすることであって、暫定画像が完全な画素情報を含む第１の領域と不完全な画素情報を含む第２の領域とを有する、暫定画像をレンダリングすることと、１つまたは複数のワーピングパラメータに従って少なくとも第１の画像の領域を再投影することによって、第２のフレームに対応する予測画像を生成することと、レンダリングされた暫定画像と予測画像とを合成することによって、第２のフレームに対応する第２の画像を生成することとが実行された場合に動作可能なソフトウェアを具現化する１つまたは複数のコンピュータ可読非一時的記憶媒体が提供される。

好ましくは、レンダリングされた暫定画像と予測画像とを合成することは、時間ワーピングパラメータを暫定画像に適用することを含み、時間ワーピングパラメータを画像に適用することは、頭部位置の変化を調整するために画像をシフトすることを含む。

好ましくは、１つまたは複数のワーピングパラメータは、空間ワーピングパラメータと時間ワーピングパラメータとを含む。

本発明のさらなる態様によれば、１つまたは複数のプロセッサと、プロセッサによって実行可能な命令を含むプロセッサに結合された非一時的メモリとを備えるシステムが提供され、プロセッサは、ビデオストリームの第１のフレームに対応する第１の画像にアクセスすることであって、第１の画像が完全な画素情報を有する、第１の画像にアクセスすることと、第１のフレームの後のビデオストリームの第２のフレームに対応する暫定画像をレンダリングすることであって、暫定画像が完全な画素情報を含む第１の領域と不完全な画素情報を含む第２の領域とを有する、暫定画像をレンダリングすることと、１つまたは複数のワーピングパラメータに従って少なくとも第１の画像の領域を再投影することによって、第２のフレームに対応する予測画像を生成することと、レンダリングされた暫定画像と予測画像とを合成することによって、第２のフレームに対応する第２の画像を生成することとを行うための命令が実行された場合に動作可能である。

本明細書に記載の特定の実施形態は、所定のディスプレイまたは視線追跡ディスプレイ（たとえば、従来の２Ｄディスプレイ、ＨＭＤなど）の周辺視野におけるレンダリング頻度を低減することによって、グラフィックス処理装置（ＧＰＵ）の節約を達成するためのシステムおよび方法に関する。中心窩レンダリングは、周辺視野の画質を低減することによってレンダリングの作業負荷を低減するレンダリング技術である。中心窩レンダリングは、各フレームの周辺領域においてレンダリングされた解像度もしくは画素密度を低減するために空間的に実行されてもよい。本明細書に記載の時間的中心窩レンダリングは、周辺視野におけるレンダリング頻度を低減することによってＧＰＵの節約を達成する方法である。所望のレンダリング頻度に応じて、時間的中心窩レンダリングは、小さな「インセット」のみをレンダリングし、１フレームおきに周辺の「アウトセット」をレンダリングしないでおくことによって、フレームの半分のＧＰＵ計算を節約することができる。アウトセット領域は、以前にレンダリングされた全フレームを使用して埋められてもよい。

特定の実施形態では、コンピューティングデバイスは、ビデオストリームの第１のフレームに対応する第１の画像にアクセスしてもよい。第１の画像は、複数のサブ領域を含んでもよい。サブ領域の画素密度は、互いに異なっていてもよい。コンピューティングデバイスは、第１のフレームの後のビデオストリームの第２のフレームに対応する暫定画像をレンダリングしてもよい。暫定画像は、完全な画素情報を含む第１の領域と、不完全な画素情報を含む第２の領域とを含んでもよい。特定の実施形態では、暫定画像の第２の領域はレンダリングされなくてもよい。コンピューティングデバイスは、１つまたは複数のワーピングパラメータに従って少なくとも第１の画像の領域を再投影することによって、第２のフレームに対応する予測画像を生成してもよい。１つまたは複数のワーピングパラメータは、空間ワーピングパラメータと時間ワーピングパラメータとを含んでもよい。コンピューティングデバイスは、レンダリングされた暫定画像と予測画像とを合成することによって、第２のフレームに対応する第２の画像を生成してもよい。特定の実施形態では、暫定画像内のレンダリングされた領域および予測画像の再投影された領域は、重複領域を有する。コンピューティングデバイスは、レンダリングされた暫定画像と予測画像とを合成する間に、重複領域内の画素を混合してもよい。特定の実施形態では、ビデオストリームは立体ビデオストリームであってもよい。コンピューティングデバイスは、レンダリングされた暫定画像と予測画像とを目の間で合成することによって、ビデオストリームのフレームに対応する画像を交互に生成してもよい。コンピューティングデバイスは、第１の目のフレームに対応する全体画像をレンダリングしてもよい一方で、コンピューティングデバイスは、レンダリングされた暫定画像と予測画像とを合成することによって、第２の目のフレームに対応する画像を生成してもよい。

本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、上記で開示された実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システムおよびコンピュータプログラム製品を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システムにおいても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式的理由で選定されるにすぎない。ただし、任意の先行請求項に対する意図的な前方参照（特に、マルチ従属）の結果としての如何なる主題も、同様に請求可能であるため、請求項およびその特徴の任意の組合せが開示され、添付の特許請求の範囲において選定した従属に関わらず請求可能である。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれも、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。

例示的な人工現実システムを示す図である。 例示的な拡張現実システムを示す図である。 例示的な時間的中心窩レンダリング処理を示す図である。 空間ワーピングパラメータを適用するための簡略化された例を示す図である。 時間ワーピングパラメータを適用するための単純化された例を示す図である。 時間ワーピングパラメータを適用するための単純化された例を示す図である。 インセットとアウトセットとの間の例示的な重複領域を示す図である。 両目の例示的な時間的中心窩レンダリングを示す図である。 前のフレームに対応する画像からレンダリングされた領域と再投影された領域とを合成することによって、ビデオストリームのフレームに対応する画像を生成するための例示的な方法を示す図である。 例示的なコンピュータシステムを示す図である。

図１Ａは、例示的な人工現実システム１００Ａを示している。特定の実施形態では、人工現実システム１００Ａは、ヘッドセット１０４と、コントローラ１０６と、コンピューティングデバイス１０８とを備えてもよい。ユーザ１０２は、視覚的な人工現実コンテンツをユーザ１０２に表示してもよいヘッドセット１０４を装着してもよい。ヘッドセット１０４は、オーディオ人工現実コンテンツをユーザ１０２に提供してもよいオーディオ機器を含んでもよい。ヘッドセット１０４は、環境のイメージおよびビデオを取り込み可能な１つまたは複数のカメラを具備していてもよい。ヘッドセット１０４は、ユーザ１０２の輻輳距離を決定する視線追跡システムを具備していてもよい。ヘッドセット１０４は、ユーザ１０２からの音声入力を取り込むためのマイクロフォンを含んでもよい。ヘッドセット１０４は、ヘッドマウントディスプレイ（ＨＭＤ）と呼ばれてもよい。コントローラ１０６は、トラックパッドならびに１つもしくは複数のボタンを備えていてもよい。コントローラ１０６は、ユーザ１０２からの入力を受け、この入力をコンピューティングデバイス１０８に伝えてもよい。また、コントローラ１０６は、触覚フィードバックをユーザ１０２に与えるようにしてもよい。コンピューティングデバイス１０８は、ケーブルまたは無線接続によって、ヘッドセット１０４およびコントローラ１０６に接続されてもよい。コンピューティングデバイス１０８は、ヘッドセット１０４およびコントローラ１０６を制御して、人工現実コンテンツをユーザ１０２に与えるとともに、ユーザ１０２からの入力を受けるようにしてもよい。コンピューティングデバイス１０８は、独立型ホストコンピューティングデバイスであってもよいし、ヘッドセット１０４と一体化されたオンボードコンピューティングデバイスであってもよいし、モバイル機器であってもよいし、人工現実コンテンツをユーザ１０２に提供するとともに、ユーザ１０２からの入力を受けることが可能な任意の他のハードウェアプラットフォームであってもよい。

図１Ｂは、例示的な拡張現実システム１００Ｂを示している。拡張現実システム１００Ｂは、フレーム１１２、１つまたは複数のディスプレイ１１４、およびコンピューティングデバイス１０８を備えたヘッドマウントディスプレイ（ＨＭＤ）１１０（たとえば、眼鏡）を含んでもよい。ディスプレイ１１４は、ＨＭＤ１１０を装着したユーザが当該ディスプレイ１１４を通して現実世界を見られるようにすると同時に、視覚的な人工現実コンテンツをユーザに表示できるように、透明であってもよいし、半透明であってもよい。ＨＭＤ１１０は、オーディオ人工現実コンテンツをユーザに提供し得るオーディオ機器を具備していてもよい。ＨＭＤ１１０は、環境のイメージおよびビデオを取り込み可能な１つまたは複数のカメラを具備していてもよい。ＨＭＤ１１０は、当該ＨＭＤ１１０を装着したユーザの輻輳運動を追跡する視線追跡システムを具備していてもよい。ＨＭＤ１１０は、ユーザからの音声入力を取り込むためのマイクロフォンを含んでもよい。拡張現実システム１００Ｂは、トラックパッドならびに１つもしくは複数のボタンを備えたコントローラをさらに具備していてもよい。コントローラは、ユーザからの入力を受け、この入力をコンピューティングデバイス１０８に伝えてもよい。また、コントローラは、触覚フィードバックをユーザに与えるようにしてもよい。コンピューティングデバイス１０８は、ケーブルまたは無線接続によって、ＨＭＤ１１０およびコントローラに接続されてもよい。コンピューティングデバイス１０８は、ＨＭＤ１１０およびコントローラを制御して、拡張現実コンテンツをユーザに与えるとともに、ユーザからの入力を受けるようにしてもよい。コンピューティングデバイス１０８は、独立型ホストコンピュータデバイスであってもよいし、ＨＭＤ１１０と一体化されたオンボードコンピュータデバイスであってもよいし、モバイル機器であってもよいし、人工現実コンテンツをユーザに提供するとともに、ユーザからの入力を受けることが可能な任意の他のハードウェアプラットフォームであってもよい。

特定の実施形態では、コンピューティングデバイス１０８は、ビデオストリームの第１のフレームに対応する第１の画像にアクセスしてもよい。第１の画像は、複数のサブ領域を含んでもよい。サブ領域の画素密度は、互いに異なっていてもよい。コンピューティングデバイス１０８は、第１のフレームの後のビデオストリームの第２のフレームに対応する暫定画像をレンダリングしてもよい。暫定画像は、完全な画素情報を含む第１の領域と、不完全な画素情報を含む第２の領域とを含んでもよい。特定の実施形態では、暫定画像の第２の領域はレンダリングされなくてもよい。コンピューティングデバイス１０８は、１つまたは複数のワーピングパラメータに従って少なくとも第１の画像の領域を再投影することによって、第２のフレームに対応する予測画像を生成してもよい。１つまたは複数のワーピングパラメータは、空間ワーピングパラメータと時間ワーピングパラメータとを含んでもよい。コンピューティングデバイス１０８は、レンダリングされた暫定画像と予測画像とを合成することによって、第２のフレームに対応する第２の画像を生成してもよい。特定の実施形態では、暫定画像内のレンダリングされた領域および予測画像の再投影された領域は、重複領域を有する。コンピューティングデバイス１０８は、レンダリングされた暫定画像と予測画像とを合成する間に、重複領域内の画素を混合してもよい。特定の実施形態では、ビデオストリームは立体ビデオストリームであってもよい。コンピューティングデバイス１０８は、レンダリングされた暫定画像と予測画像とを目の間で合成することによって、ビデオストリームのフレームに対応する画像を交互に生成してもよい。コンピューティングデバイス１０８は、第１の目のフレームに対応する全体画像をレンダリングしてもよい一方で、コンピューティングデバイス１０８は、レンダリングされた暫定画像と予測画像とを合成することによって、第２の目のフレームに対応する画像を生成してもよい。本開示は、特定の方法で、レンダリングされた暫定画像と前のフレームに対応する画像を再投影することによって生成された予測画像とを合成することによってフレームの画像を生成することを記載しているが、本開示は、任意の適切な方法で、レンダリングされた暫定画像と前のフレームに対応する画像を再投影することによって生成された予測画像とを合成することによってフレームの画像を生成することを企図している。

特定の実施形態では、コンピューティングデバイス１０８は、ビデオストリームの第１のフレームに対応する第１の画像にアクセスしてもよい。第１の画像は、複数のサブ領域を含んでもよい。サブ領域の画素密度は、互いに異なっていてもよい。第１の画像は、レンダリング後処理の後に完全な画素情報を有してもよい。図２は、例示的な時間的中心窩レンダリング処理を示している。限定ではなく一例として、図２に示すように、コンピューティングデバイス１０８は、フレームｔに対応する第１の画像２１０をレンダリングしてもよい。第１のフレーム２１０は、複数のサブ領域２１１、２１３、２１５および２１７を含んでもよい。コンピューティングデバイス１０８は、空間的中心窩レンダリング技術を用いて第１の画像２１０をレンダリングしてもよく、第１の画像２１０の各サブ領域は、対応する画素密度でレンダリングされてもよい。図２に示す例では、サブ領域２１１は全画素密度でレンダリングされている。サブ領域２１３は、１／２の密度でレンダリングされる。サブ領域２１５は、１／４の密度でレンダリングされる。また、サブ領域２１７は、１／８の密度でレンダリングされる。第１の画像がコンピューティングデバイス１０８に関連付けられたディスプレイ１１４に投影されると、コンピューティングデバイス１０８はレンダリング後処理を実行してもよく、第１の画像２１０は完全な画素情報を含む画像となり得る。したがって、フレームｔに対応する表示画像２２０は、完全な画素情報を有してもよい。レンダリング後処理はまた、ワーピング処理、レンズ歪み補正、色収差補正、表示補正、または任意の適切なレンダリング後処理を含んでもよい。特定の実施形態では、コンピューティングデバイス１０８は、レンダリング後処理の間に機械学習モデルを用いて第１の画像２１０を処理してもよい。特定の実施形態では、コンピューティングデバイス１０８は、レンダリング後処理の間に画素を混合してもよい。特定の実施形態では、コンピューティングデバイス１０８は、空間的中心窩レンダリング技術を用いることなく、第１の画像２１０全体を全解像度でレンダリングしてもよい。本開示は、特定の方法でビデオストリームのフレームに対応する画像をレンダリングすることを記載しているが、本開示は、任意の適切な方法でビデオストリームのフレームに対応する画像をレンダリングすることを企図している。

特定の実施形態では、コンピューティングデバイス１０８は、第１のフレームの後のビデオストリームの第２のフレームに対応する暫定画像をレンダリングしてもよい。暫定画像は、完全な画素情報を含む第１の領域と、不完全な画素情報を含む第２の領域とを含んでもよい。第１の領域は、インセットと呼ばれてもよい。第２の領域は、アウトセットと呼ばれてもよい。特定の実施形態では、視線追跡デバイスを使用して、ユーザの視線を追跡してもよい。このような場合、インセットは、ユーザの視野の中央領域を覆う領域であってもよく、アウトセットは、所与の時間におけるユーザの視野の外側領域を覆う領域である。特定の実施形態では、視線追跡デバイスは使用されなくてもよい。次いで、所定の目モデルが使用されてもよく、インセットおよびアウトセットは、レンダリング画像内の所定の領域であってもよい。特定の実施形態では、暫定画像の第２の領域はレンダリングされなくてもよい。特定の実施形態では、暫定画像の第２の領域は、第１の領域の画素密度よりも低い画素密度でレンダリングされてもよい。限定ではなく一例として、図２に示す先の例を継続して、コンピューティングデバイス１０８は、フレームｔ＋ｎに対応する暫定画像２３０をレンダリングしてもよい。暫定画像２３０は、インセット２３１およびアウトセット２３３を含んでもよい。アウトセット２３３は、暫定画像２３０内のインセット２３１の残りの部分であってもよい。視線追跡デバイスが使用される場合、インセット２３１は、ユーザの視野の中央領域を覆う領域であってもよい。したがって、各フレームのインセットは、ユーザの視線位置が変化し続けるにつれて変化してもよい。アウトセット２３３は、暫定画像２３０内のインセット２３１の残りの領域であってもよい。視線追跡デバイスが使用されない場合、インセット２３１は画像の所定の領域であってもよい。コンピューティングデバイス１０８は、暫定画像２３０のインセット２３１を全解像度でレンダリングしてもよい。インセット２３１は全解像度でレンダリングされるので、暫定画像２３０のインセット２３１は完全な画素情報を有してもよい。コンピューティングデバイス１０８は、暫定画像２３０のアウトセット２３３をレンダリングしなくてもよい。特定の実施形態では、コンピューティングデバイス１０８は、インセット２３１の解像度よりも低い解像度でアウトセット２３３をレンダリングしてもよい。レンダリング後、暫定画像２３０のアウトセット２３３は不完全な画素情報を有してもよい。本開示は、特定の方法で画像のインセットをレンダリングすることを記載しているが、本開示は、任意の適切な方法で画像のインセットをレンダリングすることを企図している。

特定の実施形態では、コンピューティングデバイス１０８は、１つまたは複数のワーピングパラメータに従って少なくとも第１の画像の領域を再投影することによって、第２のフレームに対応する予測画像を生成してもよい。限定ではなく一例として、図２に示す先の例を継続して、コンピューティングデバイス１０８は、第１の画像２１０のアウトセット２３３に対応する領域を再投影することによって、予測画像２３５を生成してもよい。予測画像２３５は、インセット２３１に対応する領域の画素情報を有していなくてもよい。本開示は、特定の方法で、前のフレームに対応する画像の領域を再投影することによって予測画像を生成することを記載しているが、本開示は、任意の適切な方法で、前のフレームに対応する画像の領域を再投影することによって予測画像を生成することを企図している。

特定の実施形態では、１つまたは複数のワーピングパラメータは、空間ワーピングパラメータと時間ワーピングパラメータとを含んでもよい。コンピューティングデバイス１０８は、第１の画像の再投影された領域内の動きベクトルに基づいて空間ワーピングパラメータを決定してもよい。空間ワーピングパラメータを使用して、前のフレームに対応する画像からフレームに対応する外挿画像を生成してもよい。動きベクトルは、前のフレームに対応する画像に基づいて決定されてもよい。特定の実施形態では、動きベクトルを決定することは、オプティカルフローに基づいてもよい。空間ワーピングパラメータを適用するために、コンピューティングデバイス１０８は、再投影された領域内で動いているオブジェクトが決定された動きベクトルを使用して再配置されるように、第１の画像の再投影された領域を歪めてもよい。特定の実施形態では、空間ワーピングパラメータを決定することは、グラフィックス処理装置（ＧＰＵ）とは別個のハードウェアエンコーダ上で実行されてもよい。図３は、空間ワーピングパラメータを適用するための簡略化された例を示している。限定ではなく一例として、図３に示すように、コンピューティングデバイス１０８は、フレームｔに対応する画像３１０内の動きベクトル３１７を決定してもよい。テーブル上のボール３１５が前のフレームの方向に向かって転がると、コンピューティングデバイス１０８は、前のフレームに対応する画像に基づいて動きベクトル３１７を計算してもよい。コンピューティングデバイス１０８は、ボール３１５が新しい位置に再配置されるようにフレームｔに対応する画像３１０を歪めることによって、フレームｔ＋ｎに対応する外挿画像３２０を生成してもよい。ボール３１５の新しい位置は、決定された動きベクトル３１７に基づいて決定されてもよい。図３に示す例は、簡潔にするためにボール３１５のみの動きベクトル３１７を示している。通常、コンピューティングデバイス１０８は、画像内の複数のオブジェクトの動きベクトルを決定してもよい。本開示は、特定の方法で空間ワーピングパラメータを適用することを記載しているが、本開示は、任意の適切な方法で空間ワーピングパラメータを適用することを企図している。

特定の実施形態では、時間ワーピングパラメータは、頭部位置の変化に基づいて決定されてもよい。ユーザは、シーンを生成する時間インスタンスとシーンをユーザに表示する時間インスタンスとの間の期間中に自分の頭部を動かせてもよい。このような頭部の動きを補償することができないと、没入を中断させる場合がある。ユーザの頭部位置の変化を補償するために、コンピューティングデバイス１０８は、観察された頭部位置の変化に基づいて時間ワーピングパラメータを計算してもよい。計算された時間ワーピングパラメータを画像に適用する場合、コンピューティングデバイス１０８は、頭部位置の変化を調整するために画像をシフトしてもよい。図４Ａおよび図４Ｂは、時間ワーピングパラメータを適用するための単純化された例を示している。限定ではなく一例として、コンピューティングデバイス１０８は、図４Ａに示される時間インスタンスにおいて人工現実シーンを生成してもよい。ディスプレイ１１４を介してユーザ１０２に提示されるはずの画像４１０は、ユーザ１０２の現在の頭部位置に基づいてレンダリングされてもよい。図４Ｂは、画像がディスプレイ１１４上に提示される時間インスタンスを示している。人工現実シーンを生成する時間インスタンスと画像を提示する時間インスタンスとの間の期間中、ユーザは自分の頭部を角度θだけ回転させてもよい。このような頭部の動きを補償するために、コンピューティングデバイスは、頭部回転角度θに対応する量だけ画像４１０をシフトすることによって画像４２０を調整してもよい。本開示は、特定の方法で時間ワーピングパラメータを適用することを記載しているが、本開示は、任意の適切な方法で時間ワーピングパラメータを適用することを企図している。

特定の実施形態では、コンピューティングデバイス１０８は、決定された空間ワーピングパラメータおよび時間ワーピングパラメータに従って少なくとも第１の画像の領域を再投影することによって、第２のフレームに対応する予測画像を生成してもよい。限定ではなく一例として、図２に示す先の例を継続して、コンピューティングデバイス１０８は、第１の画像２１０のアウトセット２３３に対応する領域を再投影することによって、予測画像２３５を生成してもよい。予測画像２３５は、インセット２３１に対応する領域の画素情報を有していなくてもよい。特定の実施形態では、再投影された領域内で動いているオブジェクトは、決定された動きベクトルに基づいて予測画像２３５内に再配置されてもよい。特定の実施形態では、第１の画像がレンダリングされる時間インスタンスと第２のフレームが表示される時間インスタンスとの間のユーザの頭部位置の変化を調整するために、再投影された領域をシフトしてもよい。本開示は、特定の方法で、空間ワーピングパラメータおよび時間ワーピングパラメータに従って前のフレームに対応する画像の領域を再投影することによって予測画像を生成することを記載しているが、本開示は、任意の適切な方法で、空間ワーピングパラメータおよび時間ワーピングパラメータに従って前のフレームに対応する画像の領域を再投影することによって予測画像を生成することを企図している。

特定の実施形態では、コンピューティングデバイス１０８は、レンダリングされた暫定画像と予測画像とを合成することによって、第２のフレームに対応する第２の画像を生成してもよい。レンダリングされた暫定画像と予測画像とを合成することは、対応する時間ワーピングパラメータを暫定画像に適用することを含んでもよい。特定の実施形態では、レンダリングされた暫定画像と予測画像とを合成することは、対応する時間ワーピングパラメータを予測画像に適用することを含んでもよい。限定ではなく一例として、図２に示す先の例を継続して、コンピューティングデバイス１０８は、レンダリングされた暫定画像２３０と予測画像２３５とを合成することによってフレームｔ＋ｎに対応する第２の画像２４０を生成してもよい。特定の実施形態では、合成の手順として、コンピューティングデバイス１０８は、計算された時間ワーピングパラメータを暫定画像２３０に適用してもよい。暫定画像２３０の時間ワーピングパラメータは、フレームｔ＋ｎのシーンを生成する時間インスタンスと合成の時間インスタンスとの間の期間中のユーザの頭部の動きに基づいて計算されてもよい。特定の実施形態では、合成の別の手順として、コンピューティングデバイス１０８は、計算された時間ワーピングパラメータを予測画像２３５に適用してもよい。予測画像２３５の時間ワーピングパラメータは、フレームｔのシーンを生成する時間インスタンスと合成の時間インスタンスとの間の期間中のユーザの頭部の動きに基づいて計算されてもよい。本開示は、特定の方法で、暫定画像と予測画像とを合成することによってフレームの画像を生成することを記載しているが、本開示は、任意の適切な方法で、暫定画像と予測画像とを合成することによってフレームの画像を生成することを企図している。

特定の実施形態では、暫定画像のレンダリングされた領域および予測画像の再投影された領域は、重複領域を有してもよい。暫定画像のレンダリングされた領域と予測画像の再投影された領域とには異なるワーピングパラメータが適用されるため、２つの画像を合成した後に２つの領域が完全に整列しない場合がある。この問題を軽減するために、コンピューティングデバイスは、２つの領域が重複領域を有してもよいように、暫定画像のレンダリングされた領域および予測画像の再投影された領域を決定してもよい。コンピューティングデバイス１０８は、レンダリングされた暫定画像と予測画像とを合成する間に、重複領域内の画素を混合してもよい。図５は、インセットとアウトセットとの間の例示的な重複領域を示している。限定ではなく一例として、コンピューティングデバイス１０８は、暫定画像と予測画像とを合成することによって画像５００を生成してもよい。画像５００のインセット５０３は、暫定画像からのものであってもよい。画像５００のアウトセット５０５は、予測画像からのものであってもよい。インセット５０３およびアウトセット５０５は、重複領域５０７を有してもよい。コンピューティングデバイス１０８は、インセット５０３とアウトセット５０５との間のずれが最小限となるように、レンダリングされた暫定画像と予測画像とを合成する間に、重複領域５０７内の画素を混合してもよい。重複領域５０７内の画素を混合することはまた、様々な態様では、レンダリングされた暫定画像と予測画像との間の緩やかな変化を生み出す場合がある。様々な態様は、照明、仮想オブジェクトの動き、頭部の動きによる再投影エラー、またはレンダリングされた暫定画像と予測画像との間の任意の適切な差を含んでもよいが、これらに限定されない。本開示は、特定の方法で、レンダリングされた暫定画像と予測画像とを合成する間に重複領域内の画素を混合することを記載しているが、本開示は、任意の適切な方法で、レンダリングされた暫定画像と予測画像とを合成する間に重複領域内の画素を混合することを企図している。

特定の実施形態では、ビデオストリームは立体ビデオストリームであってもよい。コンピューティングデバイス１０８は、レンダリングされた暫定画像と予測画像とを目の間で合成することによって、ビデオストリームのフレームに対応する画像を交互に生成してもよい。コンピューティングデバイス１０８は、第１の目のフレームに対応する全体画像をレンダリングしてもよい一方で、コンピューティングデバイス１０８は、レンダリングされた暫定画像と予測画像とを合成することによって、第２の目のフレームに対応する画像を生成してもよい。第１の目の全体画像は、複数のサブ領域を含んでもよい。複数のサブ領域の各々は、対応する画素密度でレンダリングされてもよい。第２の目の画像を生成するために使用される予測画像は、前のフレームに対応する画像の領域を再投影することによって生成されてもよい。図６は、両目の例示的な時間的中心窩レンダリングを示している。図６は、フレームｔ、ｔ＋１、ｔ＋２およびｔ＋３の左目用および右目用の目バッファーを示している。フレームｔについて、コンピューティングデバイス１０８は、左目用の全体画像６０３をレンダリングしてもよい。レンダリングされた全体画像６０３は、各々が対応する画素密度でレンダリングされる複数のサブ領域を有してもよい。コンピューティングデバイス１０８は、暫定画像と予測画像とを合成することによって右目用の画像６０５を生成してもよい。コンピューティングデバイス１０８は、少なくともフレームｔに対応する暫定画像の領域をレンダリングしてもよい。コンピューティングデバイス１０８は、少なくともフレームｔ－１に対応する画像の領域を再投影することによって予測画像を生成してもよい。フレームｔ－１は、図６には示されていない。フレームｔ＋１について、コンピューティングデバイス１０８は、暫定画像と予測画像とを合成することによって左目用の画像６１３を生成してもよい。コンピューティングデバイス１０８は、少なくともフレームｔ＋１に対応する暫定画像の領域をレンダリングしてもよい。コンピューティングデバイス１０８は、少なくともフレームｔに対応する画像６０３の領域を再投影することによって予測画像を生成してもよい。コンピューティングデバイス１０８は、右目用の全体画像６１５をレンダリングしてもよい。レンダリングされた全体画像６１５は、各々が対応する画素密度でレンダリングされる複数のサブ領域を有してもよい。フレームｔ＋２について、コンピューティングデバイス１０８は、左目用の全体画像６２３をレンダリングしてもよい。コンピューティングデバイス１０８は、暫定画像と、画像６２５の少なくともフレームｔ＋１に対応する領域を再投影して生成された予測画像とを合成することによって、右目用の画像６１５を生成してもよい。フレームｔ＋３について、コンピューティングデバイス１０８は、フレームｔ＋３に対応する暫定画像と、少なくともフレームｔ＋２に対応する画像６３３の領域を再投影することによって生成された予測画像とを合成することによって、左目用の画像６２３を生成してもよい。コンピューティングデバイス１０８は、右目用の全体画像６３５をレンダリングしてもよい。要約すると、コンピューティングデバイス１０８は、フレームに対して時間的中心窩レンダリング技術を使用して第２の目の画像を生成する間に、空間的中心窩レンダリング技術を使用して第１の目の画像をレンダリングしてもよい。後続のフレームについて、コンピューティングデバイスは、目ごとに中心窩レンダリング技術を交互に行ってもよい。本開示は、特定の方法で、複数のフレームにわたって目の時間的中心窩レンダリングを交互に行うことを記載しているが、本開示は、任意の適切な方法で、複数のフレームにわたって目の時間的な中心窩レンダリングを交互に行うことを企図している。

図７は、前のフレームに対応する画像からレンダリングされた領域と再投影された領域とを合成することによって、ビデオストリームのフレームに対応する画像を生成するための例示的な方法７００を示している。本方法はステップ７１０で開始してもよく、ここで、コンピューティングデバイス１０８は、ビデオストリームの第１のフレームに対応する第１の画像にアクセスしてもよい。第１の画像は、完全な画素情報を有してもよい。ステップ７２０では、コンピューティングデバイス１０８は、第１のフレームの後のビデオストリームの第２のフレームに対応する暫定画像をレンダリングしてもよい。暫定画像は、完全な画素情報を含む第１の領域と、不完全な画素情報を含む第２の領域とを有してもよい。ステップ７３０では、コンピューティングデバイス１０８は、１つまたは複数のワーピングパラメータに従って少なくとも第１の画像の領域を再投影することによって、第２のフレームに対応する予測画像を生成してもよい。ステップ７４０では、コンピューティングデバイス１０８は、レンダリングされた暫定画像と予測画像とを合成することによって、第２のフレームに対応する第２の画像を生成してもよい。特定の実施形態は、適切な場合には、図７の方法の１つまたは複数のステップを繰り返してもよい。本開示では、図７の方法の特定のステップが特定の順序で発生するものとして説明および図示がなされているが、本開示は、図７の方法の任意の好適なステップが任意の好適な順序で発生することを想定している。さらに、本開示は、図７の方法の特定のステップを含む、前のフレームに対応する画像からレンダリングされた領域と再投影された領域とを合成することによってビデオストリームのフレームに対応する画像を生成するための例示的な方法を記載し、かつ図示しているが、本開示は、任意の適切なステップを含む、前のフレームに対応する画像からレンダリングされた領域と再投影された領域とを合成することによってビデオストリームのフレームに対応する画像を生成するための任意の適切な方法を企図しており、これは、適切な場合には、図７の方法のステップのすべてまたはいくつかを含んでもよく、あるいは一切を含まなくてもよい。さらに、本開示では、図７の方法の特定のステップを実行する特定の構成要素、デバイスまたはシステムの説明および図示がなされているが、本開示は、図７の方法の任意の好適なステップを実行する任意の好適な構成要素、デバイスまたはシステムの任意の好適な組合せを想定している。

システムおよび方法
図８は、例示的なコンピュータシステム８００を示している。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施する。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書で説明または示される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム８００上で稼働しているソフトウェアは、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム８００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、１つまたは複数のコンピュータシステムを包含し得る。

本開示は、任意の好適な数のコンピュータシステム８００を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム８００を企図する。限定としてではなく例として、コンピュータシステム８００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）などの）シングルボードコンピュータシステム（ＳＢＣ）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、あるいはこれらのうちの２つまたはそれ以上の組合せであってもよい。適切な場合、コンピュータシステム８００は、１つまたは複数のコンピュータシステム８００を含むか、単一または分散型であるか、複数の場所にわたるか、複数のマシンにわたるか、複数のデータセンタにわたるか、あるいは１つまたは複数のネットワーク内の１つまたは複数のクラウド構成要素を含んでもよいクラウド内に常駐してもよい。適切な場合、１つまたは複数のコンピュータシステム８００は、実質的な空間的制限もしくは時間的制限なしに、本明細書に記載されるまたは図示される１つまたは複数の方法の１つまたは複数のステップを実施してもよい。限定ではなく、例として、１つまたは複数のコンピュータシステム８００は、リアルタイムでまたはバッチモードで、本明細書に記載または図示される１つまたは複数の方法の１つもしくは複数のステップを実施してもよい。１つまたは複数のコンピュータシステム８００は、適切な場合、異なる時間においてまたは異なる場所において、本明細書に記載または図示される１つまたは複数の方法の１つまたは複数のステップを実施してもよい。

特定の実施形態では、コンピュータシステム８００は、プロセッサ８０２と、メモリ８０４と、記憶装置８０６と、入出力（Ｉ／Ｏ）インタフェース８０８と、通信インタフェース８１０と、バス８１２とを含む。本開示は、特定の配置において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な配置において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。

特定の実施形態では、プロセッサ８０２は、コンピュータプログラムを作成する命令など、命令を実行するためのハードウェアを含む。限定ではなく、例として、命令を実行するために、プロセッサ８０２は、内部レジスタ、内部キャッシュ、メモリ８０４または記憶装置８０６から命令を取り出し（またはフェッチし）、それらの命令を復号して実行し、次いで、１つまたは複数の結果を内部レジスタ、内部キャッシュ、メモリ８０４または記憶装置８０６に書き込んでもよい。特定の実施形態では、プロセッサ８０２は、データ、命令またはアドレスのための１つまたは複数の内部キャッシュを含んでもよい。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ８０２を企図している。限定ではなく一例として、プロセッサ８０２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファー（ＴＬＢ）とを含んでもよい。命令キャッシュ内の命令は、メモリ８０４または記憶装置８０６内の命令のコピーであってもよく、命令キャッシュは、プロセッサ８０２によるそれらの命令の取出しを高速化してもよい。データキャッシュ内のデータは、プロセッサ８０２で実行される命令が動作する対象のメモリ８０４または記憶装置８０６内のデータのコピー、プロセッサ８０２で実行される後続の命令によるアクセスのための、またはメモリ８０４もしくは記憶装置８０６に書き込むための、プロセッサ８０２で実行された以前の命令の結果、あるいは他の好適なデータであってもよい。データキャッシュは、プロセッサ８０２による読取りまたは書込みの動作を高速化してもよい。ＴＬＢは、プロセッサ８０２のための仮想アドレストランスレーションを高速化してもよい。特定の実施形態では、プロセッサ８０２は、データ、命令またはアドレスのための１つまたは複数の内部レジスタを含んでもよい。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ８０２を想定している。適切な場合、プロセッサ８０２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つまたは複数のプロセッサ８０２を含んでもよい。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。

特定の実施形態では、メモリ８０４は、プロセッサ８０２が実行するための命令、またはプロセッサ８０２が動作する対象のデータを記憶するためのメインメモリを含む。限定ではなく、例として、コンピュータシステム８００は、記憶装置８０６または（たとえば、別のコンピュータシステム８００などの）別のソースからメモリ８０４に命令をロードしてもよい。プロセッサ８０２は、次いで、命令をメモリ８０４から内部レジスタもしくは内部キャッシュにロードしてもよい。命令を実行するために、プロセッサ８０２は、命令を内部レジスタもしくは内部キャッシュから取り出し、それらの命令を復号してもよい。命令の実行中またはその後に、プロセッサ８０２は、（中間結果または最終結果であってもよい）１つまたは複数の結果を内部レジスタもしくは内部キャッシュに書き込んでもよい。プロセッサ８０２は、次いで、それらの結果のうちの１つまたは複数をメモリ８０４に書き込んでもよい。特定の実施形態では、プロセッサ８０２は、１つまたは複数の内部レジスタもしくは内部キャッシュ内の、あるいは（記憶装置８０６または他の場所とは対照的な）メモリ８０４内の命令のみを実行し、１つまたは複数の内部レジスタもしくは内部キャッシュ内の、あるいは（記憶装置８０６または他の場所とは対照的な）メモリ８０４内のデータのみに対して動作する。（アドレスバスおよびデータバスを各々が含んでもよい）１つまたは複数のメモリバスは、プロセッサ８０２をメモリ８０４に結合してもよい。バス８１２は、以下で説明されるように、１つまたは複数のメモリバスを含んでもよい。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）は、プロセッサ８０２とメモリ８０４との間に常駐し、プロセッサ８０２によって要求されるメモリ８０４へのアクセスを容易にする。特定の実施形態では、メモリ８０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであり得る。適切な場合、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であり得る。その上、適切な場合、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであり得る。本開示は、任意の好適なＲＡＭを企図する。メモリ８０４は、適切な場合、１つまたは複数のメモリ８０４を含んでもよい。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。

特定の実施形態では、記憶装置８０６は、データまたは命令のための大容量記憶装置を含む。限定ではなく、例として、記憶装置８０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはこれらのうちの２つまたはそれ以上の組合せを含んでもよい。記憶装置８０６は、適切な場合、取外し可能な媒体または取外し不可能な（または固定された）媒体を含んでもよい。記憶装置８０６は、適切な場合、コンピュータシステム８００の内部または外部にあってもよい。特定の実施形態では、記憶装置８０６は、不揮発性ソリッドステートメモリである。特定の実施形態では、記憶装置８０６は、読取り専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量記憶装置８０６を企図する。記憶装置８０６は、適切な場合、プロセッサ８０２と記憶装置８０６との間の通信を容易にする１つまたは複数の記憶装置制御ユニットを含んでもよい。適切な場合、記憶装置８０６は、１つまたは複数の記憶装置８０６を含んでもよい。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。

特定の実施形態では、Ｉ／Ｏインタフェース８０８は、コンピュータシステム８００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインタフェースを提供する、ハードウェア、ソフトウェアまたはその両方を含む。コンピュータシステム８００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含んでもよい。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム８００との間の通信を可能にしてもよい。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサーを含み得る。本開示は、任意の好適なＩ／Ｏデバイスと、それらのＩ／Ｏデバイスのための任意の好適なＩ／Ｏインタフェース８０８とを企図する。適切な場合、Ｉ／Ｏインタフェース８０８は、プロセッサ８０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含んでもよい。Ｉ／Ｏインタフェース８０８は、適切な場合、１つまたは複数のＩ／Ｏインタフェース８０８を含んでもよい。本開示は、特定のＩ／Ｏインタフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインタフェースを企図する。

特定の実施形態では、通信インタフェース８１０は、コンピュータシステム８００と、１つまたは複数の他のコンピュータシステム８００もしくは１つまたは複数のネットワークとの間の（たとえば、パケットベース通信などの）通信のための１つまたは複数のインタフェースを提供する、ハードウェア、ソフトウェアまたはその両方を含む。限定ではなく、例として、通信インタフェース８１０は、イーサネットまたは他の有線ベースのネットワークと通信するためのネットワークインタフェースコントローラ（ＮＩＣ）もしくはネットワークアダプタ、または、ＷＩ－ＦＩネットワークなどの無線ネットワークと通信するための無線ＮＩＣ（ＷＮＩＣ）もしくは無線アダプタを含んでよい。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インタフェース８１０とを企図する。限定ではなく、例として、コンピュータシステム８００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、あるいはこれらのうちの２つまたはそれ以上の組合せと通信してもよい。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。一例として、コンピュータシステム８００は、（たとえば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなどの）ワイヤレスＰＡＮ（ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、（たとえば、モバイル通信用グローバルシステム（ＧＳＭ）ネットワークなどの）セルラー電話ネットワーク、または他の好適なワイヤレスネットワーク、あるいはこれらのうちの２つまたはそれ以上の組合せと通信してもよい。コンピュータシステム８００は、適切な場合、これらのネットワークのいずれかのための任意の好適な通信インタフェース８１０を含んでもよい。通信インタフェース８１０は、適切な場合、１つまたは複数の通信インタフェース８１０を含んでもよい。本開示は、特定の通信インタフェースを説明し、示すが、本開示は任意の好適な通信インタフェースを企図する。

特定の実施形態では、バス８１２は、コンピュータシステム８００の構成要素を互いに結合する、ハードウェア、ソフトウェアまたはその両方を含む。限定ではなく、例として、バス８１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクス規格協会ローカル（ＶＬＢ）バス、または別の好適なバス、あるいはこれらのうちの２つまたはそれ以上の組合せを含んでもよい。バス８１２は、適切な場合、１つまたは複数のバス８１２を含んでもよい。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。

本明細書では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つまたはそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。

その他
本明細書では、「または」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「Ａ、Ｂ、またはその両方」を意味する。その上、「および」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、共同と個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「共同でまたは個別に、ＡおよびＢ」を意味する。

本開示の範囲は、当業者が理解するであろう、本明細書で説明または示される例示的な実施形態に対するすべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書で説明または示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明または示される構成要素、要素、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは置換を含み得る。さらに、特定の機能を実施するように適応されるか、配置されるか、実施することが可能であるか、実施するように構成されるか、実施することが可能にされるか、実施するように動作可能であるか、または実施するように動作する、装置またはシステムあるいは装置またはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、または構成要素が、そのように適応されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、または動作する限り、その装置、システム、構成要素またはその特定の機能が、アクティブにされるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するかまたは示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。

Claims (15)

1. 方法であって、コンピューティングシステムによって、
   ビデオストリームの第１のフレームに対応する、完全な画素情報を有する第１の画像にアクセスすることと、
   前記第１のフレームの後の前記ビデオストリームの第２のフレームに対応する暫定画像をレンダリングすることであって、前記暫定画像が完全な画素情報を含む第１の領域と不完全な画素情報を含む第２の領域とを有する、暫定画像をレンダリングすることと、
   １つまたは複数のワーピングパラメータに従って少なくとも前記第１の画像の領域を再投影することによって、前記第２のフレームに対応する予測画像を生成することと、
   レンダリングされた前記暫定画像と前記予測画像とを合成することによって、前記第２のフレームに対応する第２の画像を生成することと
   を含む、方法。
2. レンダリングされた前記暫定画像と前記予測画像とを合成することが、時間ワーピングパラメータを前記暫定画像に適用することを含み、時間ワーピングパラメータを画像に適用することが、頭部位置の変化を調整するために前記画像をシフトすることを含む、請求項１に記載の方法。
3. 前記１つまたは複数のワーピングパラメータが、空間ワーピングパラメータと時間ワーピングパラメータとを含む、請求項１に記載の方法。
4. 前記空間ワーピングパラメータが、前記第１の画像の再投影された前記領域内の動きベクトルに基づいて決定され、前記動きベクトルが、前のフレームに対応する画像に基づいて決定される、請求項３に記載の方法。
5. 前記空間ワーピングパラメータを適用することが、前記再投影された領域内で動いているオブジェクトが決定された前記動きベクトルを使用して再配置されるように、前記第１の画像の前記再投影された領域を歪めることを含む、請求項４に記載の方法。
6. 前記動きベクトルを決定することがオプティカルフローに基づく、請求項４に記載の方法。
7. 前記空間ワーピングパラメータを決定することが、グラフィックス処理装置（ＧＰＵ）とは別個のハードウェアエンコーダ上で実行される、請求項４に記載の方法。
8. 前記暫定画像内のレンダリングされた領域および前記予測画像の再投影された領域が重複領域を有する、請求項１に記載の方法。
9. レンダリングされた前記暫定画像と前記予測画像とを合成することが、前記重複領域内の画素を混合することを含む、請求項８に記載の方法。
10. 前記暫定画像の前記第１の領域が、前記ビデオストリームの前記第２のフレームに対するユーザの視野の中央領域を含む、請求項１に記載の方法。
11. ａ）前記暫定画像の前記第１の領域が画像の所定の領域を含むこと、または
    ｂ）前記暫定画像の前記第２の領域がレンダリングされないこと、または
    ｃ）前記暫定画像の前記第２の領域が、前記第１の領域の画素密度よりも低い画素密度でレンダリングされること、または
    ｄ）前記第１の画像が複数のサブ領域を含み、前記サブ領域の画素密度が互いに異なること、
    のうちのいずれか１つである、請求項１に記載の方法。
12. 前記ビデオストリームが立体ビデオストリームであり、前記第１の画像および前記第２の画像がユーザの目に対応し、ここで、任意には、レンダリングされた前記暫定画像と前記予測画像とを合成することによって前記ビデオストリームのフレームに対応する画像を生成することが両目の間で交互に行われ、第１の目のフレームに対応する全体画像がレンダリングされる一方で、レンダリングされた前記暫定画像と前記予測画像とを合成することによって第２の目のフレームに対応する画像が生成される、請求項１に記載の方法。
13. ソフトウェアを具現化する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、
    ビデオストリームの第１のフレームに対応する、完全な画素情報を有する第１の画像にアクセスすることと、
    前記第１のフレームの後の前記ビデオストリームの第２のフレームに対応する暫定画像をレンダリングすることであって、前記暫定画像が完全な画素情報を含む第１の領域と不完全な画素情報を含む第２の領域とを有する、暫定画像をレンダリングすることと、
    １つまたは複数のワーピングパラメータに従って少なくとも前記第１の画像の領域を再投影することによって、前記第２のフレームに対応する予測画像を生成することと、
    レンダリングされた前記暫定画像と前記予測画像とを合成することによって、前記第２のフレームに対応する第２の画像を生成することと
    を行うように実行された場合に動作可能な、媒体。
14. ａ）レンダリングされた前記暫定画像と前記予測画像とを合成することが、時間ワーピングパラメータを前記暫定画像に適用することを含み、前記時間ワーピングパラメータを画像に適用することが、頭部位置の変化を調整するために前記画像をシフトすることを含むこと、または
    ｂ）前記１つまたは複数のワーピングパラメータが、空間ワーピングパラメータと時間ワーピングパラメータとを含むこと
    のうちのいずれか１つである、請求項１３に記載の媒体。
15. システムであって、１つまたは複数のプロセッサと、前記プロセッサによって実行可能な命令を含む前記プロセッサに結合された非一時的メモリとを備え、前記プロセッサが、
    ビデオストリームの第１のフレームに対応する、完全な画素情報を有する第１の画像にアクセスすることと、
    前記第１のフレームの後の前記ビデオストリームの第２のフレームに対応する暫定画像をレンダリングすることであって、前記暫定画像が完全な画素情報を含む第１の領域と不完全な画素情報を含む第２の領域とを有する、暫定画像をレンダリングすることと、
    １つまたは複数のワーピングパラメータに従って少なくとも前記第１の画像の領域を再投影することによって、前記第２のフレームに対応する予測画像を生成することと、
    レンダリングされた前記暫定画像と前記予測画像とを合成することによって、前記第２のフレームに対応する第２の画像を生成することと
    を行うように前記命令が実行された場合に動作可能である、システム。

Images