JP2024520211A - ウェブブラウザのボリュメトリックビデオ - Google Patents

Abstract

ウェブブラウザで画像を提供する方法であって、以下のステップを含む。カラーデータおよびジオメトリデータを含むデータセットを取得するステップであって、ジオメトリデータは、カラーデータと同じフォーマットでエンコードされるステップ。初期フェースのセットを生成するステップ。関連するフェースについて、ジオメトリデータからジオメトリ情報を決定するステップ。ジオメトリフェースのセットを生成するステップであって、各ジオメトリフェースは関連するフェースに対応し、各関連するフェースについて、関連するフェースのジオメトリ情報を初期フェースのうちの１つに割り当てることによってジオメトリフェースを生成し、割り当てられたフェースは、ジオメトリフェースである、生成するステップ。画像のジオメトリおよびテクスチャが同じフレームからのものであるように、ジオメトリフェースのセットおよびカラーデータを使用して視点から画像をレンダリングするステップ。

Description

本発明は、一般に、ウェブブラウザでボリュメトリックビデオを再生するときにジオメトリとテクスチャとの間の一致を保証するためのシステムおよび方法に関する。

多くの場合、ウェブブラウザでボリュメトリック（３Ｄ）ビデオを再生することが望ましい。ボリュメトリックビデオは、典型的には、オーディオファイル内のオーディオ情報、圧縮ビデオファイル内のテクスチャ情報、およびメッシュファイル内のテクスチャ情報の３つのタイプの情報を別々のファイルに保存する。ボリュメトリックビデオが再生されるとき、表示されているフレーム間に不一致がある場合、再生の品質が損なわれる。例えば、テクスチャフレーム番号とメッシュフレーム番号とが異なると、表示される画像が荒れる可能性がある。オーディオフレーム番号がメッシュフレーム番号と一致しない場合、人の唇の動きは音と相関しない。後者の不一致は、本明細書では扱わない。

テクスチャデコーダとメッシュデコーダの両方は、典型的には、独立して動作し、各々は、デコードすべきフレームを決定するためにフレーム番号ではなくビデオ時間を使用するので、テクスチャデコードフレームとメッシュデコーダフレームとの間の不一致がしばしば生じる。本発明は、ウェブブラウザの限られた処理環境においてさえ、テクスチャデコーダフレーム番号とメッシュデコーダフレーム番号とが一貫して一致することを保証し、より良好な品質の表示画像を保証する方法を開示する。

米国特許第８，２８４，２０４号は、立体ディスプレイの複数の視点にレンダリングするための装置を開示している。このデバイスは、プリミティブに対応する頂点を受け取り、視点依存情報を処理する頂点シェーダを含む。装置はまた、立体ディスプレイによってサポートされる視点の数にしたがってプリミティブを複製するプリミティブ複製ユニットを含む。プリミティブ複製部は、各プリミティブに、各プリミティブの宛先となっている視点を識別する固有のビュータグを付加する。複製された各プリミティブは、ラスタライザによって処理され、ピクセルに変換される。ラスタライザは、ラスタライズされたピクセルにビュータグを追加して、ピクセルがそれぞれのプリミティブを識別し、ピクセルの宛先であるそれぞれのピクセルバッファを識別できるようにする。次いで、ピクセルは、ピクセル処理ユニットによって処理され、それぞれの視点に対応するピクセルバッファに書き込まれることができる。その後、ピクセルは立体ディスプレイに出力される。

しかしながら、米国特許第８，２８４，２０４号は、テクスチャフレーム番号がジオメトリフレーム番号と一致することを検証するいかなる手段も示唆していない。

米国特許出願公開第２０１７／００７８７０３号は、１つ以上の信号特性に基づいて画像内の少なくとも１つの境界を識別することと、境界を含む画像の領域を縁部を含む領域として分類することと、ビデオデータのビットストリーム内で信号送信される領域に関するコンテキストベースの情報を決定することと、縁部に沿って領域を少なくとも２つに分割することと、領域に変換を適用することと、を含む方法を開示する。

しかしながら、米国特許第８，２８４，２０４号は、テクスチャフレーム番号がジオメトリフレーム番号と一致することを検証するいかなる手段も示唆していない。

したがって、ボリュメトリックビデオを保存する現在の方法の修正を必要とせず、表示されたテクスチャと表示されたメッシュとの間の不一致を回避する、ボリュメトリックビデオを表示する方法を提供することが、長い間求められている。

米国特許第８，２８４，２０４号 米国特許出願公開第２０１７／００７８７０３号

本発明の目的は、ウェブブラウザでボリュメトリックビデオを再生するときにジオメトリとテクスチャとの一致を保証するためのシステムを開示することである。

本発明の別の目的は、画像を提供するための方法であって、
カラーデータおよびジオメトリデータを含むデータセットを取得するステップであって、ジオメトリデータはカラーデータと同じフォーマットでエンコードされる、取得するステップと、
初期フェースのセットを生成するステップと、
ジオメトリデータから少なくとも１つの関連するフェースのジオメトリ情報を決定するステップと、
ジオメトリフェースのセットを生成するステップであって、ジオメトリフェースのセットの各メンバはジオメトリフェースであり、各ジオメトリフェースは少なくとも１つの関連するフェースのうちの１つに対応する、生成するステップと、
少なくとも１つの関連するフェースの各々について、少なくとも１つの関連するフェースのそれぞれのジオメトリ情報を初期フェースのセットの１つに割り当てることによってジオメトリフェースを生成するステップであって、割り当てられたジオメトリ情報を有する初期フェースのセットの１つはジオメトリフェースである、生成ステップと、
ジオメトリフェースのセットおよびカラーデータを使用して視点から画像をレンダリングするステップと
を含む方法であって、
画像のジオメトリおよび画像のテクスチャは、一連のフレームの同じフレームからのものである、方法。

本発明の別の目的は、上記に開示した方法を開示することであり、ジオメトリフェースのセットの各々について、ジオメトリ情報を割り当てるステップは、ジオメトリフェースの各頂点に対して、ジオメトリフェースの各頂点に、少なくとも１つの関連するフェースのうちの１つの対応する頂点のジオメトリ位置を割り当てることによって実現される。

本発明の別の目的は、上記で開示された方法を開示することであり、
ａ．少なくとも１つの関連するフェースの数および少なくとも１つの関連するフェースの位置をデータセットの少なくとも１つの追加のラインに保存するステップと、
ｂ．カラーデータおよびジオメトリデータをＹＵＶ値または対数Ｙ’Ｕ’Ｖ’値のいずれかとして保存するステップと、
ｃ．複数の符号化パラメータを含むカラーデータを提供するステップであって、複数の符号化パラメータの各々がカラーデータの異なる部分で使用される、提供するステップと、
ｄ．複数の符号化パラメータを含むカラーデータを提供するステップであって、複数の符号化パラメータの各々がカラーデータの異なる部分で使用される、提供するステップと、
ｅ．ジオメトリデータは、ジオメトリデータバイトの最上位ビットにのみ保存されるステップと、
ｆ．初期フェースのセット内のフェースの数を１０から１０^６の範囲になるように選択するステップと、
ｇ．初期フェースのセット内のフェースの数を５万に選択するステップと
ｈ．データセット内のメタデータに、初期フェースのセット内のフェースの数を提供するステップと、
ｉ．ノイズ、乱数、固定位置、およびそれらの任意の組み合わせからなる群から初期フェースのセット内のフェースの位置を選択し、座標系の原点および視点の外側の位置からなる群から固定位置を選択するステップと、
ｊ．未使用のフェースに単一の位置を割り当てるステップであって、未使用のフェースは、初期フェースのセット内のフェースであり、位置決めされたフェースのセット内のフェースではない、割り当てるステップと、
座標系の原点および視点の外側の位置からなる群から単一の位置を選択するステップ、のうちの少なくとも１つをさらに含む。

本発明の別の目的は、画像を提供する方法を開示することであって、
カラーデータおよび各フレームのフレーム番号を含むデータセットを取得するステップと、
ジオメトリデータを取得するステップと、
初期フェースのセットを生成するステップと、
各フレームについて、
カラーデータからフレーム番号を決定するステップと、
フレーム番号を有するジオメトリデータから、少なくとも１つの関連するフェースのジオメトリ情報を決定するステップと、
ジオメトリフェースのセットを生成するステップであって、ジオメトリフェースのセットの各メンバはジオメトリフェースであり、各ジオメトリフェースは少なくとも１つの関連するフェースのうちの１つに対応する、生成するステップと、
少なくとも１つの関連するフェースの１つのジオメトリ情報を初期フェースのセットの１つに割り当てることによってジオメトリフェースを生成し、割り当てられたジオメトリ情報を有する初期フェースのセットの１つはジオメトリフェースである、生成ステップと、
ジオメトリフェースのセットおよびカラーデータを使用して所定の視点から画像をレンダリングするステップと
を含み、
画像のジオメトリおよび画像のテクスチャは、一連のフレームの同じフレームからのものである。

本発明の別の目的は、上記で開示された方法を開示することであり、
ａ．各ジオメトリフェースについて、ジオメトリ情報を割り当てるステップは、ジオメトリフェースの各頂点に対して、少なくとも１つの関連するフェースのうちの１つの対応する頂点のジオメトリ位置をジオメトリフェースの各頂点に割り当てることによって実現される、
ｂ．関連するフェースは、各関連するフレームについて、所定の時間の後、ジオメトリに一貫性の変化があるときはいつでも、およびそれらの任意の組み合わせからなる群から選択される方法で生成され、所定の時間は、０．０１秒～１０秒の範囲内である、
ｃ．初期フェースのセット内のフェースの数を１から１０^６の範囲になるように選択することと、
ｄ．初期フェースのセットのフェースの数を５万に選択することと、
ｅ．データセット内のメタデータ内の初期フェースのセット内のいくつかのフェースを提供する、うちの少なくとも１つが真である。

本発明の別の目的は、上記で開示された方法を開示することであり、ジオメトリフェースのセットを生成するステップの後にステップをさらに含み、少なくとも１つの関連するフェースを保存するステップで、それによって保存された関連するフェースのセットを生成し、保存された関連するフェースのセットは、少なくとも１つの関連するフェースのすべてを含む。

本発明の別の目的は、上記で開示された方法を開示することであり、フレーム番号を決定するステップの後に、
複数のフレーム内の各フレームについて、ジオメトリデータから少なくとも１つの関連するフェースのジオメトリ情報を決定するステップと、
複数のフレームのジオメトリ情報を保存するステップと、
複数のフレーム内の各フレームについて、フレーム番号を複数のフレーム内の各フレームのフレーム番号と比較するステップと、
フレーム番号が複数のフレーム内の各フレームのフレーム番号のうちの１つと同じである場合、複数のフレーム内の各フレームの保存されたジオメトリ情報から、フレーム番号のジオメトリ情報をレンダリングするために選択するステップと、
フレーム番号が複数のフレーム内の各フレームのフレーム番号のいずれとも同じでない場合、保存された関連フェースのセットをレンダリングするために選択するステップと
をさらに含む。

本発明の別の目的は、上記で開示された方法を開示することであり、
ａ．２フレーム～１００１フレームの範囲内になるように複数のフレームの数を選択するステップと、
ｂ．２フレーム～１００フレームの範囲内になるように複数のフレームの数を選択するステップと、
ｃ．２フレーム～１０フレームの範囲内になるように複数のフレームを選択するステップと、
ｄ．２フレーム～５フレームの範囲内になるように複数のフレームの数を選択するステップと、
ｅ．２フレーム～３フレームの範囲内になるように複数のフレームの数を選択するステップと、
ｆ．３フレームに複数のフレームの数を選択するステップと、
ｇ．フレーム番号の前の第１の所定数のフレームおよびフレーム番号の後の第２の所定数のフレームを含むように複数のフレームを選択するステップであって、第１の所定数のフレームは、０から第１のデコーダの不正確さまでの範囲内にあり、第２の所定数のフレームは、０から第２のデコーダの不正確さまでの範囲内にあり、第１のデコーダの不正確さは、０－１フレーム０－２フレームおよび０－５００フレームからなる群から選択される範囲内にあり、第２のデコーダの不正確さは、０－１フレーム０－２フレームおよび０－５００フレームからなる群から選択される範囲内にあるように選択するステップと
のうちの１つをさらに含む。

本発明の別の目的は、ノイズ、乱数、固定位置、およびそれらの任意の組み合わせからなる群から初期面のセット内のフェースの位置を選択するステップをさらに含む、上記で開示された方法を開示することである。

本発明の別の目的は、座標系の原点となる固定位置を選択するステップをさらに含む、上記で開示された方法を開示することである。

本発明の別の目的は、未使用のフェースに単一の位置を割り当てるステップをさらに含み、未使用のフェースは、初期フェースのセット内のフェースであり、位置決めされたフェースのセット内のフェースではない、上記で開示された方法を開示することである。

本発明の別の目的は、座標系の原点および視点の外側の位置からなる群から単一の位置を選択するステップをさらに含む、上記で開示された方法を開示することである。

本発明の別の目的は、実行時に画像を提供するように構成された命令のセットを開示することであり、
カラーデータおよびジオメトリデータを含むデータセットを取得することであって、ジオメトリデータは、カラーデータと同じフォーマットでエンコードされ、取得する、
初期フェースのセットを生成する、
ジオメトリデータから少なくとも１つの関連するフェースのジオメトリ情報を決定する、
ジオメトリフェースのセットを生成することであって、ジオメトリフェースのセットの各メンバはジオメトリフェースであり、各ジオメトリフェースは少なくとも１つの関連するフェースのうちの１つに対応し、生成する、
少なくとも１つの関連するフェースの各々について、少なくとも１つの関連するフェースの各々のジオメトリ情報を初期フェースのセットのうちの１つに割り当てることによってジオメトリフェースを生成することであって、割り当てられたジオメトリ情報を有する初期フェースのセットのうちの１つがジオメトリフェースであり、生成する、
ジオメトリフェースのセットおよびカラーデータを使用して視点から画像をレンダリングする、ように構成されたステップを命令は含み、
画像のジオメトリおよび画像のテクスチャは、一連のフレームの同じフレームからのものである。

本発明の別の目的は、上記に開示した命令セットを開示することであり、ジオメトリフェースのセットの各々について、ジオメトリ情報の割り当ては、ジオメトリフェースの各頂点に対して、少なくとも１つの関連するフェースのうちの１つの対応する頂点のジオメトリ位置を割り当てることによって実現される。

本発明の別の目的は、上記で開示された命令のセットを開示することであり、命令のセットは、実行されると、
ａ．データセットの少なくとも１つの追加のライン内の少なくとも１つの関連するフェースの数および少なくとも１つの関連するフェースの位置を保存する、
ｂ．カラーデータおよびジオメトリデータをＹＵＶまたは対数Ｙ’Ｕ’Ｖ’値のいずれかとして保存する、
ｃ．複数の符号化パラメータを含むカラーデータを提供することであって、複数の符号化パラメータの各々は、カラーデータの異なる部分で使用されて、提供する、
ｄ．複数の符号化パラメータを含むカラーデータを提供することであって、複数の符号化パラメータの各々は、カラーデータの異なる部分で使用されて、提供する、
ｅ．ジオメトリデータをジオメトリデータバイトの最上位ビットのみに保存する、
ｆ．初期フェースのセット内のフェースの数を１０から１０^６の範囲内になるように選択する、
ｇ．初期フェースのセット内のフェースの数を５万に選択する、
ｈ．データセット内のメタデータに、初期フェースのセット内のフェースの数を提供する、
ｉ．ノイズ、乱数、固定位置、およびそれらの任意の組み合わせからなる群から初期フェースのセット内のフェースの位置を選択し、座標系の原点および視点の外側の位置からなる群から固定位置を選択する、
ｊ．未使用のフェースに単一の位置を割り当てることであって、未使用のフェースは、初期フェースのセット内のフェースであり、位置決めされたフェースのセット内のフェースではなく、割り当てる、
座標系の原点および視点の外側の位置からなる群から単一の位置を選択する、
うちの少なくとも１つを実行するようにさらに構成される。

本発明の別の目的は、実行されると、画像を提供するように構成された命令のセットを開示することであり、
カラーデータおよび、各フレームについて、フレーム番号を含むデータセットを取得する、
ジオメトリデータを取得する、
初期フェースのセットを生成する、
各フレームについて、
カラーデータからフレーム番号を決定する、
フレーム番号を有するジオメトリデータから少なくとも１つの関連するフェースのジオメトリ情報を決定する、
ジオメトリフェースのセットを生成することであって、ジオメトリフェースセットの各メンバはジオメトリフェースであり、各ジオメトリフェースは少なくとも１つの関連するフェースのうちの１つに対応して、生成する、
少なくとも１つの関連するフェースのうちの１つのジオメトリ情報を初期フェースのセットのうちの１つに割り当てることによってジオメトリフェースを生成することであって、割り当てられたジオメトリ情報を有する初期フェースのセットのうちの１つはジオメトリフェースであり、生成する、
ジオメトリフェースのセットおよびカラーデータを使用して、所定の視点から画像をレンダリングする
ように構成されたステップが命令に含まれ、
画像のジオメトリおよび画像のテクスチャは、一連のフレームの同じフレームからのものである。

本発明の別の目的は、上記で開示された命令のセットを開示することであり、実行されると、
ａ．各ジオメトリフェースについて、ジオメトリフェースの各頂点に対して、少なくとも１つの関連するフェースのうちの１つの対応する頂点のジオメトリ位置をジオメトリフェースの各頂点に割り当てることによって、ジオメトリ情報の割り当てを実現する、
ｂ．各関連フレームについて、所定の時間の後、ジオメトリに一貫性の変化があるときはいつでも、およびそれらの任意の組み合わせからなる群から選択される方法で関連フェースを生成することであって、所定の時間は、０．０１秒～１０秒の範囲内であり、生成する、
ｃ．初期フェースのセット内のフェースの数を１から１０^６の範囲になるように選択する、
ｄ．初期フェースのセットのフェースの数を５万個に選択する、
ｅ．データセット内のメタデータ内の初期フェースのセット内のいくつかのフェースを提供する、うちの少なくとも１つを実行するようにさらに構成される。

本発明の別の目的は、ジオメトリフェースのセットの生成後に実行されると、少なくとも１つの関連するフェースを保存し、それによって保存された関連するフェースのセットを生成するように構成され、保存された関連するフェースのセットは、少なくとも１つの関連するフェースのすべてを含む、上記で開示された命令のセットを開示することである。

本発明の別の目的は、上記で開示された命令のセットを開示することであり、実行されると、フレーム番号の決定の後に、
複数のフレーム内の各フレームについて、ジオメトリデータから少なくとも１つの関連するフェースのジオメトリ情報を決定し、
複数のフレームのジオメトリ情報を保存し、
複数のフレーム内の各フレームについて、フレーム番号を複数のフレーム内の各フレームのフレーム番号と比較し、
フレーム番号は、複数のフレーム内の各フレームのフレーム番号の１つと同じである場合、複数のフレーム内の各フレームの保存されたジオメトリ情報から、フレーム番号のジオメトリ情報をレンダリングのために選択し、
フレーム番号が複数のフレーム内の各フレームのフレーム番号のいずれとも同じでない場合、保存された関連フェースのセットをレンダリングするために選択する、うちの少なくとも１つを実行するようにさらに構成される。

本発明の別の目的は、上記で開示された命令のセットを開示することであり、実行されると、
ａ．２フレーム～１００１フレームの範囲内になるように複数のフレームの数を選択する、
ｂ．２フレーム～１００フレームの範囲内になるように複数のフレームの数を選択する、
ｃ．２フレーム～１０フレームの範囲内になるように複数のフレームの数を選択する、
ｄ．２フレーム～５フレームの範囲内になるように複数のフレームの数を選択する、
ｅ．２フレーム～３フレームの範囲内になるように複数のフレームの数を選択する、
ｆ．３フレームになるように複数のフレームの数を選択する、
ｇ．複数のフレームを選択することであって、フレーム番号の前の第１の所定数のフレームおよびフレーム番号の後の第２の所定数のフレームを含み、第１の所定数のフレームは、０から第１のデコーダの不正確さまでの範囲内にあり、第２の所定数のフレームは、０から第２のデコーダの不正確さまでの範囲内にあり、第１のデコーダの不正確さは、０－１フレーム０－２フレームおよび０－５００フレームからなる群から選択される範囲内にあり、第２のデコーダの不正確さは、０－１フレーム０－２フレームおよび０－５００フレームからなる群から選択される範囲内にあるように選択する
うちの少なくとも１つを実行するようにさらに構成される。

本発明の別の目的は、実行されると、ノイズ、乱数、固定位置、およびそれらの任意の組み合わせからなる群から初期フェースのセット内のフェースの位置を選択するようにさらに構成された、上記で開示された命令のセットを開示することである。

本発明の別の目的は、座標系の原点となる固定位置を選択するステップをさらに含む、上記で開示された命令のセットを開示することである。

本発明の別の目的は、実行されると、未使用のフェースに単一の位置を割り当てるようにさらに構成された、上記で開示された命令のセットを開示することであり、未使用のフェースは、初期フェースのセット内のフェースであり、位置決めされたフェースのセット内のフェースではない。

本発明の別の目的は、実行されると、座標系の原点および視点の外側の位置からなる群から単一の位置を選択するようにさらに構成された、上記で開示された命令のセットを開示することである。

本発明およびその実施態様を実際によりよく理解するために、添付の図面を参照して、複数の実施形態を非限定的な例としてのみ説明する。

従来技術のフローチャートを概略的に示す図である。 本発明の一実施形態のフローチャートを概略的に示す図である。 本発明の一実施形態のフローチャートを概略的に示す図である。 本発明の一実施形態のフローチャートを概略的に示す図である。 本発明の一実施形態のフローチャートを概略的に示す図である。 本発明の一実施形態のフローチャートを概略的に示す図である。 本発明の一実施形態のフローチャートを概略的に示す図である。

次の説明は、当業者が本発明を利用できるように、本発明の全章に沿って提供され、本発明を実施するために発明者が考えた最良の形態を説明するものである。しかしながら、本発明の一般的な原理は、ウェブブラウザでボリュメトリックビデオを再生するときにジオメトリとテクスチャとの間の一致を保証するための手段および方法を提供するために特に定義されているので、様々な変更が当業者には明らかである。

以下、「データセット」という用語は、ダウンロードすることができるデータのセットを指す。本明細書で使用される場合、データセットは、テクスチャデータ、ジオメトリデータ、オーディオデータ、およびメタデータのうちの少なくとも１つを含む。典型的には、データセットは、テクスチャデータとジオメトリデータの両方、ならびにオーディオデータを含み、メタデータを含むことができるが、必ずしも含まれる必要はない。

以下、「カラーデータ」という用語は、データセット内の色を指す。各カラーデータは、典型的には、２Ｄマッピングにおけるピクセルであり、典型的には、２Ｄマッピングはテクスチャアトラスを含むが、マッピングのタイプは本明細書に開示される方法に関連しない。

以下、「フェース」または「ジオメトリフェース」という用語は、モデル上の最小の有用な領域を指す。フェースの完全なセットは、モデルのジオメトリを記述する。フェースは、最も一般的には三角形であり、あまり一般的ではないが四角形であり、任意の所望の平面ジオメトリ形状とすることができる。フェースは、１つ以上の色を含むことができる。

以下、「ジオメトリデータ」という用語は、データセット内のジオメトリデータを指す。ジオメトリデータは、典型的には、フェースの頂点の位置を含み、頂点の３Ｄモデル内の３Ｄジオメトリ位置と２Ｄアトラス内の頂点の２Ｄ位置との間のリンクを有し、アトラスは色情報を保存する。ジオメトリデータは、典型的には、（３Ｄ内の位置）および（共形または他の２Ｄアトラス上の位置）として保存される。ジオメトリデータを保存する１つの典型的な方法はＸＹＺＵＶであり、（ｘ、ｙ、ｚ）は３Ｄ空間におけるデータの位置であり、（ｕ、ｖ）は２Ｄアトラスにおけるデータの位置である。各ジオメトリデータは頂点番号を含むことができる。保存方法のいくつかの実施形態では、頂点に対して位置が与えられた後に、（ｘ、ｙ、ｚ）位置の代わりに頂点番号を保存することができ、それによって保存されるデータセットのサイズを縮小することができる。

以下、「ジオメトリ情報」という用語は、モデルのジオメトリを記述する情報を指す。ジオメトリ情報は、典型的には、フェースの頂点のモデル上の位置、メッシュ頂点のアトラスピクセルへのマッピング、および各頂点が属するフェースを含む。

以下、「色情報」という用語は、モデルに適用されるアトラス内のピクセルの色を指す。ジオメトリデータから、アトラス内の各ピクセルのカラーデータを使用して、３Ｄモデルに色を付けることができる。（一定のサイズの）アトラス内の各ピクセルについて、ピクセルによって色付けされた領域の３Ｄモデル上のサイズおよび３Ｄ形状がジオメトリ情報から生成される。アトラスにはジオメトリ情報は保存されない。

多くの場合、ウェブブラウザでボリュメトリック（３Ｄ）ビデオを再生することが望ましい。しかしながら、ウェブブラウザは、限られた帯域幅を有することができ、ブラウザが実行されているコンピュータは、限られたＣＰＵおよびＧＰＵを有することができ、コンピュータプロセッサ、ブラウザ、メモリ、またはそれらの何らかの組み合わせは、ブラウザに利用可能なＣＰＵまたはＧＰＵの量を制限することができる。さらに、ブラウザに利用可能なビデオデコーダを使用することが好ましく、その結果、プラグインまたは他の追加のソフトウェアは、ディスプレイを生成するために必要とされない。したがって、ウェブブラウザで再生されたときに高品質のボリュメトリックビデオを保証することは困難であり得る。最も典型的な問題は、表示されているテクスチャフレームと表示されているメッシュフレームとの間の不一致であり、表示された画像がぼやけて見えたり、誤ったテクスチャ（色）を有したりする。本発明は、この問題を克服するためのシステムを提供する。

典型的には、画像を表示するように構成された装置は、一般的な計算のためのメインプロセッサに加えて、専用のグラフィックス処理を有する。メインプロセッサは、本明細書で使用されるように、一般にＣＰＵと呼ばれる。グラフィックス処理は、ソフトウェア対応またはハードウェア対応とすることができる。本明細書では、グラフィックス処理は、ハードウェアであるかソフトウェアであるかにかかわらず、ＧＰＵと呼ばれる。

典型的には、レンダリングされるジオメトリフェースの数およびそれらの位置はＣＰＵで指定されるが、位置はＧＰＵで編集することができる。

モバイルデバイスはＧＰＵでより多くの機能を実行する傾向があるため、どの機能がＣＰＵで実行され、どの機能がＧＰＵで実行されるかは、ある程度デバイスに依存することに留意されたい。

画像を表示するために、典型的には、ボリュメトリックビデオには少なくとも２つのタイプの情報がある。
・通常、圧縮されたビデオ（カラーデータ）として保存される色。
・３Ｄモデルフェースが３Ｄ空間内のどこに位置するか、および２Ｄテクスチャアトラス内のそれらの位置の説明であるジオメトリ。ジオメトリは、通常、３Ｄ空間および２Ｄテクスチャアトラス（ジオメトリデータ）内の頂点位置として保存される。典型的には、ジオメトリデータは、頂点位置のリストおよび各フェースに属する頂点のリストとして保存される。通常、頂点インデックス番号は、ジオメトリデータに保存された頂点の順序から推測されるが、他の保存システムも可能であり、本発明のシステムは、ジオメトリデータのための保存システムの種類によって限定されない。ジオメトリデータの保存の非限定的な例を以下に示す。以下の非限定的な例では、各フェース_ａ頂点_ｂは、頂点のリスト内の頂点のインデックス番号である。すべてのフェースが三角形である場合、各フェースには３つの頂点があり、Ｆａｃｅ_ａＶｅｒｔｅｘ_ｌａｓｔは常にＦａｃｅ_ａＶｅｒｔｅｘ_{ｔｈｉｒｄ}になる。
頂点数Ｎ、
ｘ_１ｙ_１ｚ_１ｕ_１ｖ_１、
ｘ_２ｙ_２ｚ_２ｕ_２ｖ_２、
ｘ_３ｙ_３ｚ_３ｕ_３ｖ_３、
・
・
・
ｘ_Ｎｙ_Ｎｚ_Ｎｕ_Ｎｖ_Ｎ
フェースの数Ｆ
フェース_１頂点_第１フェース_１頂点_第２．．．フェース_１頂点_最後
フェース_２頂点_第１フェース_２頂点_第２．．．フェース_２頂点_最後
フェース_３頂点_第１フェース_３頂点_第２．．．フェース_３頂点_最後
・
・
・
フェース_Ｆ頂上_第１フェース_Ｆ頂上_第２．．．フェース_Ｆ頂点_最後

例えば、頂点ｘ_ｍｙ_ｍｚ_ｍを共有する２つのフェースがアトラス内の異なる領域にマッピングされる場合、頂点ｘ_ｍｙ_ｍｚ_ｍは、非限定的な例では、ｕ_ｊｖ_ｊとｕ_ｋｖ_ｋの両方の、アトラス内の複数の位置にマッピングされることが可能である。その場合、典型的には、位置ｘ_ｍｙ_ｍｚ_ｍは、ｘ_ｍｙ_ｍｚ_ｍｕ_ｊｖ_ｊとして１回、およびｘ_ｍｙ_ｍｚ_ｍｕ_ｋｖ_ｋとして１回、頂点のリスト内で複数回発生する。本発明のシステムは、位置ｘ_ｍｙ_ｍｚ_ｍをアトラスピクセルｕ_ｊｖ_ｊにマッピングする方法によって限定されない。

典型的には、ボリュメトリックビデオは音声データも含む。存在してもしなくてもよい他の情報は、典型的には、メタデータと呼ばれる。メタデータは、日付スタンプ、タイムスタンプ、認証、有効性証明書、パスコード、参照番号、およびそれらの任意の組み合わせを含むことができるが、これらに限定されない。本明細書に詳述されている場合を除いて、メタデータの存在およびメタデータの性質は、存在する場合、本明細書に開示された発明を限定しない。

典型的には、従来技術では、図１に示すように、テクスチャ付きボリュームビデオの生成（１０００）に含まれるステップは、以下を含む。
１）カラーデータは、ブラウザにストリーミングまたはダウンロードされる（１００５）。
２）カラーデータはビデオデコーダでデコードされる（１０１０）。典型的には、デコーダはＧＰＵ内にある。
３）ＣＰＵは、どのフレーム番号がデコードされようとしているかについてデコーダに照会する（１０１５）。
４）ジオメトリデータがストリーミングまたはダウンロードされ、関連するフェースの数および各関連するフェースの位置がジオメトリデータから抽出され、ＧＰＵに送信される（１０２０）。
５）ブラウザはユーザが決定した視点からの３Ｄオブジェクトの２Ｄレンダリングを表示するので、レンダリングは関連する視点から行われる（１０２５）。

この処理を「標準プロセス」と呼ぶ。

しかしながら、ステップ３において、実際には、デコーダは誤ったフレーム番号を報告するか、または参照されたフレーム（前または後のいずれか）が破損しているか、またはバッファ内にないことが非常に多い。

通常、色情報の圧縮方法は、表示される色の審美性を元の審美性に可能な限り近づけて、色品質の損失を最小限に抑えながら、ファイルサイズを最小限に抑えるように設計される。しかしながら、カラーデータは、典型的には、カラー値として保存され、一方、ジオメトリデータは、典型的には、上述したように、頂点位置として、および各フェースについて、そのフェースを記述する頂点として保存される。

標準的なプロセスでは、ジオメトリと色の両方の良好な圧縮が可能であるが、カラーフレームとジオメトリフレームとの同期は信頼できない可能性がある。本発明は、カラーフレームとジオメトリフレームとの同期を保証する２つの方法を開示する。両方の方法は、２つ以上の実施形態を有する。１つの方法では、ジオメトリはテクスチャとして保存され、他の方法では、フレーム番号は、フレームごとにカラーデータに保存される。

第１の方法では、ファイルはジオメトリデータとカラーデータの両方を含み、ジオメトリデータはテクスチャデータフォーマットでエンコードされる。次いで、カラーデータおよびジオメトリデータは、ファイルサイズを小さく保ちながら単一の圧縮フォーマットを使用して圧縮することができ、したがってダウンロード速度が向上し、妥当なジオメトリ品質を保つ。

後述する第２の方法では、フレーム番号のみがテクスチャデータ形式でエンコードされる。

ジオメトリデータおよびカラーデータを含むファイルのサイズを縮小し、またジオメトリデータをテクスチャデータフォーマットで保存するために使用することができるいくつかの技術がある。

したがって、標準的なプロセスでは、カラーデータとジオメトリデータの両方が標準的な方法で保存されるため、ジオメトリデータの圧縮は困難である。１セットの圧縮パラメータが両方のタイプのデータに使用される場合、可逆圧縮が使用される場合、ジオメトリ品質は維持されるが、保存されたファイルは大きくなる。一方、非可逆圧縮が使用される場合、ファイルサイズは大幅に低減されるが、レンダリングされた画像のジオメトリ品質はおそらく大幅に低下する。

ビデオ圧縮に現在使用されている典型的な技術は、Ｈ．２６４およびＨ．２６５であり、典型的には、限定はしないが、整数離散コサイン変換（ＤＣＴ）などのタイプのフーリエ変換を使用してカラーデータを圧縮する。一般に、フーリエ変換の場合、変換の振幅のみを保存する必要があり、ファイルサイズが小さくなる。ＤＣＴでは、変換の高周波成分が除去または強調解除される。これは、高周波数のカラーデータがノイズであることが多いため、テクスチャ品質に強く影響しない傾向がある。ダウンロード後、デコーダはデータを逆変換する。

典型的には、色情報を保存する際に、各位置のカラー値は、ＲＧＢまたは対数Ｒ’Ｇ’Ｂ’（赤、緑青）カラー値からＹＵＶまたは対数Ｙ’Ｕ’Ｖ’カラー値に変換され、ここで、Ｙは輝度（Ｙ’＝ルマ）であり、Ｕ、第１のクロマ値はＢ－Ｙ（Ｕ’＝Ｂ’－Ｙ’）であり、ＢはＲＧＢ空間の青の値であり、Ｖ、第２のクロマ値はＲ－Ｙ（Ｖ’＝Ｒ’－Ｙ’）であり、ＲはＲＧＢ空間の赤の値である。簡単にするために、以下では色空間（およびそれぞれのカラー値）をＲＧＢおよびＹＵＶと呼ぶ。

ファイルサイズを小さくするために、各位置に対してＹＵＶチャネルのうちの２つのみが保存されるようにカラー値をサブサンプリングすることができ、２つのチャネルは、第１にＹチャネル（常に保存される）であり、第２にＵチャネルまたはＶチャネルのいずれかである。

サブサンプリングスキームは、典型的には、幅Ｊピクセル、高さ２ピクセルの概念的領域内の輝度およびクロミナンスのサンプルの数を表す３つの部分の比率Ｊ：ａ：ｂ（例：４：２：２）として表現される。部品は（それぞれの順序で）次のとおりである。
Ｊ：水平サンプリング基準（概念的領域の幅）。
ａ：Ｊピクセルの１行目のクロミナンスのサンプル数（Ｕ、Ｖ）
ｂ：Ｊピクセルの第１の行と第２の行との間のクロミナンスのサンプル（Ｕ、Ｖ）の変化数。通常、ｂは、慣例に従わない４：４：１および４：２：１のような不規則な場合を除いて、０またはａに等しい。

サブサンプリングがなく、すべてのカラー値が保存されている場合、これは典型的には、４：４：４サンプリングと呼ばれる。

非限定的な例として、４：２：２サブサンプリングでは、各カラーデータについて、保存される２つの値はＹおよびＵまたはＶの１つであり、ＵおよびＶは、第１の行にＵＶおよび第２の行にＶＵの順序で交互のカラーデータに保存される。デコード時に、隣接するカラーデータの値を平均することによって「欠損」値が生成される。４：２：２サブサンプリングでは、所与のカラーデータがＹおよびＵを保存している場合、Ｖ値は、所与のカラーデータを取り囲むカラーデータのＶ値の平均から生成することができる。明らかに、保存されたＶ値を有するカラーデータのＵ値を生成するために同じことが当てはまる。他の典型的なサブサンプリングスキームは、４：４：２および４：２：０である。使用されるサブサンプリングスキームは、所望される圧縮量および所望されるテクスチャの品質に依存すれ、圧縮が大きくなると、レンダリングされた色の細部の損失が大きくなる。

ジオメトリデータがテクスチャフォーマットに保存されている場合、サブサンプリングは、隣接する位置に保存されている情報間の関係の欠如のために、レンダリングされた画像の精度に著しい損傷を引き起こす可能性があり、これは、通常、ジオメトリデータは、非限定的な例では、フェース番号、頂点位置、およびフェース間の頂点間接続として、またはフェース番号およびフェース内の各頂点の頂点番号＋頂点位置として保存されるためである。

１つの技術では、サブサンプリング中のジオメトリ情報の損失を回避するために、すべてのジオメトリデータは、サブサンプリングされないＹチャネルにのみ保存される。

エンコーダが非可逆である別の技術では、エンコード中に最下位ビット（ＬＳＢ）データが失われるため、重要なデータは最上位ビット（ＭＳＢ）に保存される。典型的には、バイトの最初の５ビットはＭＳＢであり、最後の３ビットは破棄される。このタイプのエンコードスキームでは、ファイルデータは、テクスチャデータフォーマットで保存されたカラーデータおよびジオメトリデータとの間で交互に繰り返す（または、の別々のブロックを含む）。すべてのピクセルのＭＳＢはＹデータを含む。テクスチャデータはＹＵＶチャネルを含み、上記のように、ジオメトリデータについては、ジオメトリ情報はＹチャネルのみでエンコードされる。したがって、非可逆圧縮が使用される場合、ＬＳＢデータを破棄すると、ジオメトリ情報は劣化しない。第１の実施形態では、各フレームのジオメトリは関連するカラーデータで埋め込まれる。ファイルデータの追加のラインは、ジオメトリフェースの数および位置を含む。

別の技術では、画像の異なる部分に対して異なる圧縮パラメータが使用される。非限定的な例では、関心領域は他の領域よりも圧縮されない。関心領域は、ジオメトリであってもよく、ジオメトリデータはカラーデータよりも圧縮されない。典型的には、必ずしもそうとは限らないが、関心領域は画像の下部であり、画像がその上部に背景を有し、一方で前景が下部にあることは非常に一般的である。したがって、画像の下部を画像の上部よりも圧縮することが一般的である。

上記の技術の任意の組み合わせを圧縮に使用できることに留意されたい。

本発明のシステムは、圧縮のための上記の技術によって限定されないことにさらに留意されたい。

別の技術では、ジオメトリおよびテクスチャの同期は、ジオメトリデータおよびカラーデータを別々に保存するが、色およびジオメトリの同期を保証するためにカラーデータにフレーム番号を保存することによって保証される。この技術では、フレーム番号がカラーデータにエンコードされる。非限定的な例として、カラーデータの第１のファイル位置の１つまたは複数は、テクスチャ値の代わりにフレーム番号を含むことができる。

以下により十分に説明されるこの実施形態のバリアントには、以下が含まれる。
１．フレーム番号はＧＰＵでデコードされてＣＰＵに送信されるため、ＣＰＵはフレーム番号を認識し、デコーダの不正確な「現在のフレームは何か」というＣＰＵ内のアプリケーションプログラミングインターフェイス（ＡＰＩ）を置き換える。

２．多数の初期フェース、典型的には三角形をＣＰＵで生成することができる。ＧＰＵでは、フレーム番号を知ると、初期フェースのサブセットが適切なジオメトリで埋められる。

３．利用可能な十分なメモリがある場合、ジオメトリをいくつかのフレームについてデコードし、メモリに保存することができる。次に、上記のように、初期フェース、典型的には三角形がＣＰＵにおいて生成される。フレーム番号は、カラーデータから抽出され、ＧＰＵにおいて、ジオメトリフェース（初期フェースのサブセット）は、そのフレーム番号に適したジオメトリで埋められ、ジオメトリ情報は、保存されたジオメトリから取得される。

４．メモリが制限される可能性がある場合、予想されるフレームの近傍の数フレームのジオメトリがデコードされ、メモリに保存される。テクスチャおよびその埋め込みフレーム番号がデコードされる。テクスチャのフレーム番号は、保存されたジオメトリのフレーム番号と比較される。保存されたジオメトリのフレーム番号とテクスチャのフレーム番号との間に一致がある場合、上記のように、ジオメトリフェース（初期フェースのサブセット）はそのフレーム番号の適切なジオメトリで埋められ、ジオメトリおよびテクスチャはレンダリングされる。レンダリングされた画像はバッファに保存される。フレームについて、保存されたジオメトリのフレーム番号とテクスチャのフレーム番号との間に一致が見つからない場合、バッファに保存されたテクスチャ画像が再利用される。これにより、ビットレートをわずかに低減することができるが、画質は維持される。

第１の実施形態では、ジオメトリは、関連するテクスチャ内のフレームごとにエンコードされる。さらに数行のファイルデータが追加され、ファイルデータの追加の行にジオメトリフェースの数および位置が保存される。

図２に示すように、本方法の第１の実施形態（１１００）は、以下のステップを含む。
１）カラーデータおよびジオメトリデータは、ブラウザにストリーミングまたはダウンロードされる（１１０５）。
２）テクスチャは、色情報を決定するためにビデオデコーダでデコードされる（１１１０）。典型的には、デコーダはＧＰＵ内にある。
３）十分な数のフェースが生成される（１１１５）。フェースの数は、メタデータとして送信することができ、または十分に大きくなるように選択された所定の数が使用される。すべてのフェースは無関係の位置を有する。「位置」は、ノイズまたは（０、０、０）などの固定位置であることができ、後のステップで正しい値が入力されるため、値は重要ではない。生成されるフェースの数は限定されない。典型的には、約５万になる。１から１０^６の範囲であり得る。
４）ＧＰＵでは、ジオメトリデータを含むファイルデータの追加のラインが読み取られ、そこからジオメトリ情報を決定することができる（１１２０）。関連する各フェースについて、その実際の位置が、ステップ３で生成されたフェースのうちの１つに割り当てられる。関連するフェースよりも多くのフェースがステップ３で生成された場合、不要なフェースには単一の位置が割り当てられ、これは（０、０、０）またはレンダリングビューの外側にあることが知られている位置とすることができる。これらの不要なフェースは縮退状態にある。
５）ブラウザはユーザが決定した視点からの３Ｄオブジェクトの２Ｄレンダリングを表示するので、レンダリングは関連する視点から行われる（１１２５）。

この解決策では、関連するジオメトリデータおよびカラーデータが同じフレームに保存されるので、エンコーダを照会する必要がなく、したがってレンダリングの不一致の可能性がない。

本方法の第２の実施形態では、フレーム番号はカラーデータ内でエンコードされる。２つのサブバリアントを有する第１のバリアントおよび第２のバリアントが与えられる。

本方法の第２の実施形態の第１のバリアントでは、ステップ１および２は標準プロセスと同じである。

その後、標準ステップ３は、以下に示すように、データセットからデコードされたフレーム番号を使用することから生じるステップに置き換えられる。

図３に示すように、本方法の第２の実施形態の第１のバリアント（１２００）は、以下のステップを含む。
１）データセットがブラウザにストリーミングまたはダウンロードされる（１２０５）。
２）データセットは、カラーデータを決定するためにビデオデコーダにおいてデコードされる（１２１０）。典型的には、デコーダはＧＰＵ内にある。
３）ＧＰＵでは、フレーム番号（上述したように、カラーデータに埋め込まれる）が読み取られ、ＣＰＵに送信される（１２１５）。
４）ジオメトリデータがデコードされ、関連するフェースの数および各関連するフェースの位置がジオメトリデータから抽出され、ＧＰＵに送信される（１２２０）。
５）ブラウザは、ユーザが決定した視点からの３Ｄオブジェクトの２Ｄレンダリングを表示するので、レンダリングは関連する視点から行われる（１２２５）。

本方法の第２の実施形態の第２のバリアントでは、標準方法のステップ３で説明したように、関連するジオメトリデータがダウンロードされ、フェースの縮退プールを生成することによってアクセス可能なＧＰＵメモリに保存され、標準方法のステップ４で説明したように、位置を実際の位置に変更することによって、実際のジオメトリがフェースの縮退プールのサブセットに適用される。

保存されるジオメトリデータの量が異なる２つのサブバリアントが示されている。第１のサブバリアントでは、ジオメトリデータは多数のフレームに保存され（「大容量メモリ」、第２のサブバリアントでは、ジオメトリデータは少数のフレーム「小容量メモリ」にのみ保存され、フレームの数はデコーダフレームの不正確さをカバーするのに十分である。非限定的な例として、デコーダがプラスまたはマイナス１フレーム以内まで正確である場合、３つのフレームのみが保存される必要があり、プラス１またはマイナス２フレーム以内の精度は、４フレームを保存する必要があることなどを意味する。保存されるフレームの数の非限定的な例は、２から１０００、２から１００、２から１０、２から４、および２から３である。

図４および図５に示すように、本方法の第２のバリアントの第１のサブバリアント（１３００）は以下のステップを含む。
１）カラーデータは、ブラウザにストリーミングまたはダウンロードされる（１３０５）。
２）ジオメトリデータはストリーミングまたはダウンロードされ、ＧＰＵアクセス可能メモリに保存される（１３１０）。
３）カラーデータは、色情報を決定するためにビデオデコーダでデコードされる（１３１５）。典型的には、デコーダはＧＰＵ内にある。
４）十分な数のフェースが生成される（１３２０）。フェースの数は、メタデータとして送信することができ、または十分に大きくなるように選択された所定の数が使用される。すべてのフェースは無関係の位置を有する。「位置」は、ノイズまたは（０、０、０）などの固定位置であることができ、後のステップで正しい値が入力されるため、値は重要ではない。生成されるフェースの数は限定されない。典型的には、約５万になる。１から１０^６の範囲であり得る。
５）ＧＰＵでは、カラーデータに保存されたフレーム番号が読み出される（１３２５）。
６）ＧＰＵにおいて、フレーム番号は、アクセス可能なメモリから関連するフェースの位置を取得するために使用される（１３３０）。
７）ＧＰＵでは、関連するフェースごとに、その実際の位置が、ステップ４で生成されたフェースのうちの１つに割り当てられる（１３３５）。関連するフェースよりも多くのフェースがステップ４で生成された場合、不要なフェースには単一の位置が割り当てられ、これは（０、０、０）またはレンダリング視点の外側にあることが知られている位置とすることができる。これらの不要なフェースは縮退状態にある。
８）ブラウザは、ユーザが決定した視点からの３Ｄオブジェクトの２Ｄレンダリングを表示するので、レンダリングは関連する視点から行われる。（１３４０）

図６および図７に示すように、本方法の第２のバリアントの第２のサブバリアント（１４００）は、以下のステップを含む。
１）データセットは、ブラウザにストリーミングまたはダウンロードされる（１４０５）。
２）カラーデータは、色情報を決定するためにビデオデコーダでデコードされる（１４１０）。典型的には、デコーダはＧＰＵ内にある。
３）関連するジオメトリ情報は、すべての関連するフレームについてＧＰＵアクセス可能メモリにコピーされ（１４１５）、関連するフレームは、現在のフレーム番号のフレームおよび推定されたデコーダの不正確さをカバーするフレーム番号のフレームである。
４）十分な数のフェースが生成される（１４２０）。フェースの数は、メタデータとして送信することができ、または十分に大きくなるように選択された所定の数が使用される。すべてのフェースは無関係の位置を有する。「位置」は、ノイズまたは（０、０、０）などの固定位置であることができ、後のステップで正しい値が入力されるため、値は重要ではない。生成されるフェースの数は限定されない。典型的には、約５万になる。１から１０^６の範囲であり得る。

いくつかの実施形態では、フェースは、関連するフレームごとに生成される。いくつかの実施形態では、フェースは、所定の時間ごとに１回生成され、非限定的な例として、毎秒フェースを生成することができる。いくつかの実施形態では、フェースは、ジオメトリに一貫性の変化があるときはいつでも生成される。典型的には、フェースの位置（以下を参照）はフレームごとに変更される。
５）ＧＰＵにおいて、カラーデータがデコードされ、データセットにおいてエンコードされた現在のフレーム番号が読み出される（１４２５）。
６）ＧＰＵにおいて、現在のフレーム番号は、アクセス可能なメモリから関連するフェースの位置を取得するために使用される（１４３０）。
７）ＧＰＵでは、各関連フレーム内の各関連フェースについて、関連フェースの実際の位置が、ステップ４で関連フレームについて生成されたフェースのうちの１つに割り当てられる（１４３５）。関連するフェースよりも多くのフェースがステップ４で生成された場合、不要なフェースには単一の位置が割り当てられ、これは（０、０、０）またはレンダリング視点の外側にあることが知られている位置とすることができる。これらの不要なフェースは縮退状態にある。
８）ＧＰＵにおいて、現在のフレームのジオメトリ情報は現在のフレームの色情報と一致する（１４４０）。
９）ブラウザはユーザが決定した視点からの３Ｄオブジェクトの２Ｄレンダリングを表示するので、レンダリングは関連する視点から行われる（１４４５）。

デコーダの不正確さが予想よりも大きく、特定のフレームについて、関連するジオメトリがＧＰＵアクセス可能メモリ内にない場合、第２のバリアントは、ステップ６とステップ７との間にステップを追加することによって修正される。
６．１）現在のフレーム番号が関連するフレームのうちの１つのフレーム番号と一致する場合、ステップ４においてＧＰＵに保存されたジオメトリ情報を有するフレームは、ステップ７に進む。
６．２）現在のフレーム番号が、ステップ４でＧＰＵに保存されたジオメトリを有する関連フレームのいずれかのフレーム番号と一致しない場合、最後のレンダリングに使用されたジオメトリ情報が再使用され、プロセスはステップ９に続き、関連するフェースの数および各関連するフェースの位置がジオメトリ情報から抽出され、プロセスはステップ１０で完了し、関連する視点からレンダリングが行われる。

この変更により、同じフレームが２回レンダリングされるため、フレームレートが瞬間的に低下するが、アーティファクトは発生しない。

Claims (24)

1. カラーデータおよびジオメトリデータを含むデータセットを取得するステップであって、前記ジオメトリデータが前記カラーデータと同じフォーマットでエンコードされる、取得するステップと、
   初期フェースのセットを生成するステップと、
   前記ジオメトリデータから少なくとも１つの関連するフェースのジオメトリ情報を決定するステップと、
   ジオメトリフェースのセットを生成するステップであって、前記ジオメトリフェースのセットの各メンバがジオメトリフェースであり、各ジオメトリフェースが前記少なくとも１つの関連するフェースのうちの１つに対応する、生成するステップと、
   前記少なくとも１つの関連するフェースの各々について、前記少なくとも１つの関連するフェースの各々の前記ジオメトリ情報を前記初期フェースのセットのうちの１つに割り当てることによって前記ジオメトリフェースを生成するステップであって、前記割り当てられたジオメトリ情報を有する前記初期フェースのセットのうちの前記１つがジオメトリフェースである、生成するステップと、
   前記ジオメトリフェースのセットおよび前記カラーデータを使用して視点から画像をレンダリングするステップと
   を含む画像を提供するための処理装置実行方法であって、
   前記画像のジオメトリおよび前記画像のテクスチャは、一連のフレームの同じフレームからのものである、
   処理装置実行方法。
2. 前記ジオメトリフェースのセットの各々について、前記ジオメトリ情報を割り当てる前記ステップが、前記ジオメトリフェースの各頂点に対して、前記ジオメトリフェースの各頂点に、前記少なくとも１つの関連するフェースのうちの前記１つの対応する前記頂点のジオメトリ位置を割り当てることによって実現される、請求項１に記載の処理装置実行方法。
3. ａ．前記少なくとも１つの関連するフェースの数および前記少なくとも１つの関連するフェースの位置を前記データセットの少なくとも１つの追加のラインに保存するステップと、
   ｂ．前記カラーデータおよび前記ジオメトリデータをＹＵＶ値または対数Ｙ’Ｕ’Ｖ’値のいずれかとして保存するステップと、
   ｃ．複数の符号化パラメータを含む前記カラーデータを提供するステップであって、前記複数の符号化パラメータの各々が前記カラーデータの異なる部分で使用される、提供するステップと、
   ｄ．複数の符号化パラメータを含む前記カラーデータを提供するステップであって、前記複数の符号化パラメータの各々が前記カラーデータの異なる部分で使用される、提供するステップと、
   ｅ．前記ジオメトリデータが、ジオメトリデータバイトの最上位ビットにのみ保存されるステップと、
   ｆ．前記初期フェースのセット内のフェースの数を１０から１０^６の範囲になるように選択するステップと、
   ｇ．前記初期フェースのセット内のフェースの数を５万に選択するステップと、
   ｈ．前記データセット内のメタデータに、前記初期フェースのセット内のフェースの数を提供するステップと、
   ｉ．ノイズ、乱数、固定位置、およびそれらの任意の組み合わせからなる群から前記初期フェースのセット内の前記フェースの位置を選択し、座標系の原点および視点の外側の位置からなる群から前記固定位置を選択するステップと、
   ｊ．未使用のフェースに単一の位置を割り当てるステップであって、未使用のフェースが、前記初期フェースのセット内のフェースであり、前記位置決めされたフェースのセット内のフェースではない、割り当てるステップと、
   座標系の原点および前記視点の外側の位置からなる群から前記単一の位置を選択するステップ
   のうちの少なくとも１つをさらに含む、請求項１に記載の処理装置実行方法。
4. 画像を提供するための処理装置実行方法であって、
   カラーデータおよび、各フレームについて、フレーム番号を含むデータセットを取得するステップと、
   ジオメトリデータを取得するステップと、
   初期フェースのセットを生成するステップと、
   各フレームについて、
   前記カラーデータから前記フレーム番号を決定するステップと、
   前記フレーム番号を有する前記ジオメトリデータから少なくとも１つの関連するフェースのジオメトリ情報を決定するステップと、
   ジオメトリフェースのセットを生成するステップであって、前記ジオメトリフェースのセットの各メンバがジオメトリフェースであり、前記各ジオメトリフェースが、前記少なくとも１つの関連するフェースのうちの１つに対応する、生成するステップと、
   前記少なくとも１つの関連するフェースのうちの前記１つの前記ジオメトリ情報を前記初期フェースのセットのうちの１つに割り当てることによって前記ジオメトリフェースを生成するステップであって、前記割り当てられたジオメトリ情報を有する前記初期フェースのセットのうちの前記１つが前記ジオメトリフェースである、生成するステップと、
   前記ジオメトリフェースのセットおよび前記カラーデータを使用して、所定の視点からの画像をレンダリングするステップと
   を含む処理装置実行方法であって、
   前記画像のジオメトリおよび前記画像のテクスチャが、一連のフレームの同じフレームからのものである、
   処理装置実行方法。
5. ａ．各ジオメトリフェースについて、前記ジオメトリ情報を割り当てる前記ステップが、前記ジオメトリフェースの各頂点に対して、前記少なくとも１つの関連するフェースのうちの前記１つの対応する頂点のジオメトリ位置を前記ジオメトリフェースの前記各頂点に割り当てることによって実現される、
   ｂ．前記関連するフェースが、各関連するフレームについて、所定の時間の後、ジオメトリに一貫性の変化があるときはいつでも、およびそれらの任意の組み合わせからなる群から選択される方法で生成され、前記所定の時間が、０．０１秒～１０秒の範囲内である、
   ｃ．前記初期フェース内のセットのフェースの数を１から１０^６の範囲になるように選択する、
   ｄ．前記初期フェース内のセットのフェースの数を５万に選択する、
   ｅ．前記データセット内のメタデータ内の前記初期フェースのセット内のいくつかのフェースを提供する、
   うちの少なくとも１つが真である、請求項４に記載の処理装置実行方法。
6. 前記ジオメトリフェースのセットを生成するステップの後に、前記少なくとも１つの関連するフェースを保存し、それによって保存された関連するフェースのセットを生成するステップをさらに含み、前記保存された関連するフェースのセットは、前記少なくとも１つの関連するフェースのすべてを含む、請求項４に記載の処理装置実行方法。
7. 前記フレーム番号を決定する前記ステップの後に、
   複数のフレームの各フレームについて、前記ジオメトリデータから少なくとも１つの関連するフェースのジオメトリ情報を決定するステップと、
   前記複数のフレームの前記ジオメトリ情報を保存するステップと、
   複数のフレーム内の前記各フレームについて、前記フレーム番号を複数のフレーム内の前記各フレームのフレーム番号と比較するステップと、
   前記フレーム番号が複数のフレーム内の前記各フレームの前記フレーム番号のうちの１つと同じである場合、複数のフレーム内の前記各フレームの前記保存されたジオメトリ情報から、前記フレーム番号のジオメトリ情報をレンダリングするために選択するステップと、
   前記フレーム番号が複数のフレーム内の前記各フレームの前記フレーム番号のいずれとも同じでない場合、前記保存された関連フェースのセットをレンダリングするために選択するステップと
   をさらに含む、請求項６に記載の処理装置実行方法。
8. ａ．２フレーム～１００１フレームの範囲になるように前記複数のフレームの数を選択するステップと、
   ｂ．２フレーム～１００フレームの範囲になるように前記複数のフレームの数を選択するステップと、
   ｃ．２フレーム～１０フレームの範囲になるように前記複数のフレームの数を選択するステップと、
   ｄ．２フレーム～５フレームの範囲になるように前記複数のフレームの数を選択するステップと、
   ｅ．２フレーム～３フレームの範囲になるように前記複数のフレームの数を選択するステップと、
   ｆ．前記複数のフレームの数を３フレームに選択するステップと、
   ｇ．前記フレーム番号の前の第１の所定数のフレームおよび前記フレーム番号の後の第２の所定数のフレームを含むように前記複数のフレームを選択するステップであって、前記第１の所定数のフレームが、０から第１のデコーダの不正確さまでの範囲内にあり、前記第２の所定数のフレームが、０から第２のデコーダの不正確さまでの範囲内にあり、前記第１のデコーダの不正確さが、０－１フレーム０－２フレームおよび０－５００フレームからなる群から選択される範囲内にあり、前記第２のデコーダの不正確さは、０－１フレーム０－２フレームおよび０－５００フレームからなる群から選択される範囲内にあるように選択するステップ
   のうちの１つをさらに含む、請求項７に記載の処理装置実行方法。
9. ノイズ、乱数、固定位置、およびそれらの任意の組み合わせからなる群から前記初期フェースのセット内の前記フェースの位置を選択するステップをさらに含む、請求項４に記載の処理装置実行方法。
10. 前記固定位置を座標系の原点となるように選択するステップをさらに含む、請求項９に記載の処理装置実行方法。
11. 未使用のフェースに単一の位置を割り当てるステップをさらに含み、未使用のフェースが、前記初期フェースのセット内のフェースであり、前記位置決めされたフェースのセット内のフェースではない、請求項４に記載の処理装置実行方法。
12. 座標系の原点および前記視点の外側の位置からなる群から前記単一の位置を選択するステップをさらに含む、請求項１１に記載の処理装置実行方法。
13. プロセッサによって実行される命令を表すコードを保存する非一時的なプロセッサ可読媒体であって、前記コードが、プロセッサに画像を提供させるコードを含み、前記プログラムが、
    カラーデータおよびジオメトリデータを含むデータセットを取得することであって、前記ジオメトリデータが、前記カラーデータと同じフォーマットでエンコードされ、取得する、
    初期フェースのセットを生成する、
    前記ジオメトリデータから少なくとも１つの関連するフェースのジオメトリ情報を決定する、
    ジオメトリフェースのセットを生成することであって、前記ジオメトリフェースのセットの各メンバがジオメトリフェースであり、各ジオメトリフェースが前記少なくとも１つの関連するフェースのうちの１つに対応し、生成する、
    前記少なくとも１つの関連するフェースの各々について、前記少なくとも１つの関連するフェースの前記各々の前記ジオメトリ情報を前記初期フェースのセットのうちの１つに割り当てることによってジオメトリフェースを生成することであって、前記割り当てられたジオメトリ情報を有する前記初期フェースのセットのうちの前記１つが前記ジオメトリフェースであり、生成する、
    前記ジオメトリフェースのセットおよび前記カラーデータを使用して視点から画像をレンダリングする
    ように構成されたステップを含み、
    前記画像のジオメトリおよび前記画像のテクスチャが、一連のフレームの同じフレームからのものである、
    非一時的なプロセッサ可読媒体。
14. 前記命令が、前記ジオメトリフェースのセットの各々について、前記ジオメトリフェースの各頂点に対して、前記少なくとも１つの関連するフェースのうちの前記１つの対応する頂点のジオメトリ位置を割り当てることによって前記ジオメトリ情報の前記割り当てが実現されることを保証するように構成される、請求項１３に記載の命令を表すコードを保存する非一時的なプロセッサ可読媒体。
15. 実行されると、
    ａ．前記データセットの少なくとも１つの追加のライン内の前記少なくとも１つの関連するフェースの数および前記少なくとも１つの関連するフェースの位置を保存する、
    ｂ．前記カラーデータおよび前記ジオメトリデータをＹＵＶ値または対数Ｙ’Ｕ’Ｖ’値のいずれかとして保存する、
    ｃ．複数の符号化パラメータを含む前記カラーデータを提供することであって、前記複数の符号化パラメータの各々が前記カラーデータの異なる部分で使用され、提供する、
    ｄ．複数の符号化パラメータを含む前記カラーデータを提供することであって、前記複数の符号化パラメータの各々が前記カラーデータの異なる部分で使用され、提供する、
    ｅ．前記ジオメトリデータが、ジオメトリデータバイトの最上位ビットにのみ保存される、
    ｆ．前記初期フェースのセット内のフェースの数を１０から１０^６の範囲になるように選択する、
    ｇ．前記初期フェースのセット内のフェースの数を５万に選択する、
    ｈ．前記データセット内のメタデータに、前記初期フェースのセット内のフェースの数を提供する、
    ｉ．ノイズ、乱数、固定位置、およびそれらの任意の組み合わせからなる群から前記初期フェースのセット内の前記フェースの位置を選択し、座標系の原点およ前記視点の外側の位置からなる群から前記固定位置を選択する、
    ｊ．未使用のフェースに単一の位置を割り当てることであって、未使用のフェースが、前記初期フェースのセット内のフェースであり、前記位置決めされたフェースのセット内のフェースではなく、割り当てる、
    座標系の原点および前記視点の外側の位置からなる群から前記単一の位置を選択する
    うちの少なくとも１つを前記命令が実行するようにさらに構成される、請求項１３に記載の命令を表すコードを保存する非一時的なプロセッサ可読媒体。
16. プロセッサによって実行される命令を表すコードを保存する非一時的なプロセッサ可読媒体であって、前記コードがプロセッサに画像を提供させるコードを含み、
    カラーデータおよび、各フレームについて、フレーム番号を含むデータセットを取得する、
    ジオメトリデータを取得する、
    初期フェースのセットを生成する、
    各フレームについて、
    カラーデータからフレーム番号を決定する、
    前記フレーム番号を有する前記ジオメトリデータから少なくとも１つの関連するフェースのジオメトリ情報を決定する、
    ジオメトリフェースのセットを生成することであって、前記ジオメトリフェースセットの各メンバがジオメトリフェースであり、前記各ジオメトリフェースが前記少なくとも１つの関連するフェースのうちの１つに対応し、生成する、
    前記少なくとも１つの関連するフェースのうちの前記１つの前記ジオメトリ情報を前記初期フェースのセットのうちの１つに割り当てることによって前記ジオメトリフェースを生成することであって、前記割り当てられたジオメトリ情報を有する前記初期フェースのセットのうちの１つがジオメトリフェースであり、生成する、
    前記ジオメトリフェースのセットおよび前記カラーデータを使用して、所定の視点から画像をレンダリングする、ように構成されたステップを前記命令が含み、
    前記画像のジオメトリおよび前記画像のテクスチャが、一連のフレームの同じフレームからのものである、
    非一時的なプロセッサ可読媒体。
17. 実行されると、
    ａ．各ジオメトリフェースについて、前記ジオメトリフェースの各頂点に対して、前記少なくとも１つの関連するフェースのうちの前記１つの対応する頂点のジオメトリ位置を前記ジオメトリフェースの前記各頂点に割り当てることによって、前記ジオメトリ情報の割り当てを実現する、
    ｂ．各関連フレームについて、所定の時間の後、ジオメトリに一貫性の変化があるときはいつでも、およびそれらの任意の組み合わせからなる群から選択される方法で前記関連フェースを生成することであって、所定の時間が、０．０１秒～１０秒の範囲内であり、生成する、
    ｃ．前記初期フェースのセット内のフェースの数を１から１０^６の範囲になるように選択する、
    ｄ．前記初期フェースのセット内のフェースの数を５万個に選択する、
    ｅ．前記データセット内のメタデータ内の前記初期フェースのセット内のいくつかのフェースを提供する、
    うちの少なくとも１つを実行するように前記命令がさらに構成される、請求項１６に記載の命令を表すコードを保存する非一時的なプロセッサ可読媒体。
18. 前記命令が、前記ジオメトリフェースのセットの前記生成後に実行されると、前記少なくとも１つの関連するフェースを保存し、それによって保存された関連するフェースのセットを生成するようにさらに構成され、前記保存された関連するフェースのセットが、前記少なくとも１つの関連するフェースのすべてを含む、請求項１６に記載の命令を表すコードを保存する非一時的なプロセッサ可読媒体。
19. 前記フレーム番号の前記決定後に実行されると、
    複数のフレームの各フレームについて、前記ジオメトリデータから少なくとも１つの関連するフェースのジオメトリ情報を決定し、
    前記複数のフレームの前記ジオメトリ情報を保存し、
    複数のフレーム内の前記各フレームについて、前記フレーム番号を複数のフレーム内の前記各フレームのフレーム番号と比較し、
    前記フレーム番号が、複数のフレーム内の前記各フレームの前記フレーム番号の１つと同じである場合、複数のフレーム内の前記各フレームの前記保存されたジオメトリ情報から、前記フレーム番号のジオメトリ情報をレンダリングのために選択し、
    前記フレーム番号が複数のフレームにおける前記各フレームの前記フレーム番号のいずれとも同じでない場合、前記保存された関連フェースのセットをレンダリングするために選択する、
    うちの少なくとも１つを実行するように前記命令がさらに構成される、請求項１８に記載の命令を表すコードを保存する非一時的なプロセッサ可読媒体。
20. 実行されると、
    ａ．２フレーム～１００１フレームの範囲内になるように前記複数のフレームの数を選択する、
    ｂ．２フレーム～１００フレームの範囲内になるように前記複数のフレームの数を選択する、
    ｃ．２フレーム～１０フレームの範囲内になるように前記複数のフレームの数を選択する、
    ｄ．２フレーム～５フレームの範囲内になるように前記複数のフレームの数を選択する、
    ｅ．２フレーム～３フレームの範囲内になるように前記複数のフレームの数を選択する、
    ｆ．３フレームとなるように前記複数のフレームの数を選択する、
    ｇ．前記複数のフレームを選択することであって、前記フレーム番号の前の第１の所定数のフレームおよび前記フレーム番号の後の第２の所定数のフレームを含み、前記第１の所定数のフレームが、０から第１のデコーダの不正確さまでの範囲内にあり、前記第２の所定数のフレームが、０から第２のデコーダの不正確さまでの範囲内にあり、前記第１のデコーダの不正確さが、０－１フレーム０－２フレームおよび０－５００フレームからなる群から選択される範囲内にあり、第２のデコーダの不正確さが、０－１フレーム０－２フレームおよび０－５００フレームからなる群から選択される範囲内にあるように選択する、
    うちの少なくとも１つを前記命令が実行するようにさらに構成される、請求項１９に記載の命令を表すコードを保存する非一時的なプロセッサ可読媒体。
21. 前記命令が、実行されると、ノイズ、乱数、固定位置、およびそれらの任意の組み合わせからなる群から前記初期フェースのセット内の前記フェースの位置を選択するようにさらに構成される、請求項１６に記載の命令を表すコードを保存する非一時的なプロセッサ可読媒体。
22. 前記命令が、前記固定位置を座標系の原点となるように選択するステップをさらに含む、請求項２１に記載の命令を表すコードを保存する非一時的なプロセッサ可読媒体。
23. 前記命令が、実行されると、未使用のフェースに単一の位置を割り当てるようにさらに構成され、未使用のフェースが、前記初期フェースのセット内のフェースであり、前記位置決めされたフェースのセット内のフェースではない、請求項１６に記載の命令を表すコードを保存する非一時的なプロセッサ可読媒体。
24. 前記命令が、実行されると、座標系の原点および前記視点の外側の位置からなる群から前記単一の位置を選択するようにさらに構成される、請求項２３に記載の命令を表すコードを保存する非一時的なプロセッサ可読媒体。