JP2024515947A - メッシュ圧縮のための幾何学的フィルタリング - Google Patents

Abstract

メッシュ圧縮のための幾何学的フィルタリングのための方法、装置、およびシステムが提供される。このプロセスは、メッシュに関連付けられたコード化されたビットストリームを受信するステップであって、コード化されたビットストリームは、メッシュに関連付けられた境界情報を含む、ステップと、境界情報に基づいてメッシュに関連付けられた1つまたは複数の境界頂点を決定するステップとを含んでよい。プロセスはまた、メッシュに関連付けられた1つまたは複数の境界頂点と、フィルタリングアルゴリズムにおける1つまたは複数のフィルタリングパラメータとに基づいてメッシュに関連付けられたフィルタリングされたジオメトリマップを生成するステップと、ビデオコーデックを使用して、フィルタリングされたジオメトリマップを複数の単一チャネル画像または複数のチャネル画像に圧縮するステップと、を含んでもよい。

Description

関連出願の相互参照
本出願は、2022年3月25日に出願された米国仮特許出願第63／323，865号および2023年3月16日に出願された米国特許出願第18／185，024号の優先権を主張し、これらの開示はその全体が参照により本明細書に組み込まれる。

本開示は、高度なビデオコーディング技術のセットに関する。より詳細には、本開示は、ビデオベースの動的メッシュアライメントおよびメッシュ圧縮に関する。

世界の高度な3次元（3D）表現により、さらに没入型の相互作用および通信が可能になっている。3D表現の臨場感を実現するために、3Dモデルは、これまで以上に洗練されてきており、かなりの量のデータがこれらの3Dモデルの作成および消費に結び付けられる。3Dメッシュが3Dモデル没入型コンテンツに広く使用される。

3Dメッシュは、ボリュームオブジェクト（volumetric object）の表面を記述するいくつかの多角形（polygons）を含んでよい。動的メッシュシーケンスは、これが経時的に変化するかなりの量の情報を有し得るので、大量のデータを必要とする場合がある。したがって、そのようなコンテンツを保存し、かつ送信するために効率的な圧縮技術が必要となる。

メッシュ圧縮規格IC、MESHGRID、FAMCは、常時接続性および時変ジオメトリおよび頂点属性を有する動的メッシュに対処するために以前に開発された。しかしながら、これらの規格は、時変属性マップおよび接続性情報を考慮していない。

さらに、特にリアルタイム制約下で、ボリューム取得技術が一定の接続性動的メッシュを生成することも困難である。この種の動的メッシュコンテンツは、既存の規格ではサポートされない。

上記に加えて、多くのアライメント方法、特に時間的アライメントは逐次技術に基づいている。言い換えれば、1つのフレームの処理は、前のフレームからのチャート割り当ての結果を現在のフレームのチャートを割り当てるための基礎として使用するなど、他のフレームに依存している。この依存関係が、そのような方法を並列化に適さなくさせ、したがって、メッシュを符号化／復号するのに時間がかかるようになる。したがって、この依存性を排除する方法は、並列化を可能にし、符号化および復号効率を改善するために必要とされる。

実施形態によって、メッシュ圧縮のための幾何学的フィルタリングのための方法が提供されてよい。この方法は、メッシュに関連付けられたコード化されたビットストリームを受信するステップであって、コード化されたビットストリームは、メッシュに関連付けられた境界情報を含む、ステップと、境界情報に基づいて、メッシュに関連付けられた1つまたは複数の境界頂点を決定するステップと、メッシュに関連付けられた1つまたは複数の境界頂点と、フィルタリングアルゴリズムにおける1つまたは複数のフィルタリングパラメータとに基づいて、メッシュに関連付けられたフィルタリングされたジオメトリマップを生成するステップと、ビデオコーデックを使用して、フィルタリングされたジオメトリマップを複数の単一チャネル画像または複数のチャネル画像に圧縮するステップと、を含む。

実施形態によって、メッシュ圧縮のための幾何学的フィルタリングのための装置が提供されてもよい。本装置は、プログラムコードを記憶するように構成された少なくとも1つのメモリと、プログラムコードを読み出し、プログラムコードによって命令される通りに動作するように構成された少なくとも1つのプロセッサとを備えてもよい。このプログラムコードは、少なくとも1つのプロセッサに、メッシュに関連付けられたコード化されたビットストリームを受信させるように構成された第1の受信コードであって、コード化されたビットストリームは、メッシュに関連付けられた境界情報を含む、第1の受信コードと、少なくとも1つのプロセッサに、境界情報に基づいて、メッシュに関連付けられた1つまたは複数の境界頂点を決定させるように構成された第1の決定コードと、少なくとも1つのプロセッサに、メッシュに関連付けられた1つまたは複数の境界頂点と、フィルタリングアルゴリズムにおける1つまたは複数のフィルタリングパラメータとに基づいて、メッシュに関連付けられたフィルタリングされたジオメトリマップを生成させるように構成された第1の生成コードと、少なくとも1つのプロセッサに、ビデオコーデックを使用して、フィルタリングされたジオメトリマップを複数の単一チャネル画像または複数のチャネル画像に圧縮させるように構成されたコードを第1の圧縮コードとを含んでよい。

実施形態によれば、コンピュータ命令を記憶する非一時的コンピュータ可読媒体が提供され得る。これら命令は、メッシュ圧縮のための幾何学的フィルタリングのためのデバイスの1つまたは複数のプロセッサによって実行されたとき、1つまたは複数のプロセッサに、メッシュに関連付けられたコード化されたビットストリームを受信させ、コード化されたビットストリームは、メッシュに関連付けられた境界情報を含み、境界情報に基づいて、メッシュに関連付けられた1つまたは複数の境界頂点を決定させ、メッシュに関連付けられた1つまたは複数の境界頂点と、フィルタリングアルゴリズムにおける1つまたは複数のフィルタリングパラメータとに基づいてメッシュに関連付けられたフィルタリングされたジオメトリマップを生成させ、ビデオコーデックを使用してフィルタリングされたジオメトリマップを複数の単一チャネル画像または複数のチャネル画像に圧縮させる1つまたは複数の命令を含んでよい。

開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

本開示の実施形態による、通信システムの簡略化されたブロック図の概略図である。 本開示の実施形態による、ストリーミングシステムの簡略化されたブロック図の概略図である。 本開示の実施形態による、ビデオエンコーダおよびデコーダの簡略化されたブロック図の概略図である。 本開示の実施形態による、3Dメッシュセグメントから2DチャートへのUVパラメータ化マッピングの例示的な図である。 本開示の実施形態による、3Dメッシュセグメントから2DチャートへのUVパラメータ化マッピングの例示的な図である。 本開示の実施形態による、UVチャート内の境界頂点の例示的な図である。 本開示の実施形態による、メッシュ圧縮のための幾何学的フィルタリングを示す例示的なフロー図である。 実施形態を実装するのに適したコンピュータシステムの図である。

メッシュは、ボリュームオブジェクトの表面を記述するいくつかの多角形を含んでよい。3D空間内のその頂点および頂点がどのように接続されているかの情報は、接続性情報と呼ばれる各多角形を画定することができる。任意選択で、色、法線などの頂点属性をメッシュ頂点に関連付けることができる。属性は、メッシュを2D属性マップでパラメータ化するマッピング情報を利用することにより、メッシュの表面にも関連付けられてよい。そのようなマッピングは、UV座標またはテクスチャ座標と呼ばれ、メッシュ頂点に関連するパラメトリック座標のセットを使用して定義され得る。テクスチャ、法線、変位などの高解像度属性情報を保存するために2D属性マップが使用され得る。高解像度属性情報は、テクスチャマッピングやシェーディングなどの様々な目的に使用され得る。

上記のように、3Dメッシュまたは動的メッシュは、これが経時的に変化するかなりの量の情報からなり得るので、大量のデータを必要とする場合がある。既存の規格は、時変属性マップおよび接続性情報を考慮していない。既存の規格はまた、特にリアルタイム条件下で、常時接続性動的メッシュを生成するボリューム取得技術をサポートしていない。

したがって、時変接続性情報および随意に時変属性マップを有する動的メッシュを直接処理するための新たなメッシュ圧縮規格が必要とされる。本開示の諸実施形態は、そのような動的メッシュを保存および送信するための効率的な圧縮技術を可能にする。本開示の実施形態は、リアルタイム通信、記憶、自由視点ビデオ、ARおよびVRなどの様々なアプリケーションのための不可逆圧縮および／または可逆圧縮を可能にする。

効率的な圧縮を達成するために、本開示の実施形態は、フレーム内および／またはフレーム間相関を獲得するために空間的および時間的アライメントを使用する。関連する技術では、アライメント方法の多く、特に時間的アライメントは、逐次技術に基づいている。言い換えれば、1つのフレームの処理は、前のフレームからのチャート割り当ての結果を現在のフレームのチャートを割り当てるための基礎として使用するなど、他のフレームに依存している。この依存関係が、そのような方法を並列化に適さなくさせ、したがって、メッシュを符号化／復号するのに時間がかかるようになる。したがって、この依存性を排除する方法は、並列化を可能にし、符号化および復号効率を改善するために必要とされる。

本開示の一態様によれば、動的メッシュ圧縮の並列処理ための方法、システム、および非一時的記憶媒体が提供される。本開示の実施形態は、静的メッシュにも適用されてもよい。

図1および図2を参照すると、本開示の符号化構造および復号化構造を実施するための本開示の一実施形態が説明される。

図1は、本開示の一実施形態による通信システム100の簡略化されたブロック図を示す。システム100は、ネットワーク150を通じて相互接続された少なくとも2つの端末110、120を含むことができる。データの単方向送信の場合、第1の端末110は、ネットワーク150を通じて他の端末120に送信するために、ローカルロケーションでメッシュデータを含み得るビデオデータをコード化することができる。第2の端末120は、ネットワーク150から他方の端末のコード化されたビデオデータを受信し、コード化データを復号し、復元されたビデオデータを表示し得る。単方向データ送信は、メディア提供用途などで一般的であり得る。

図1は、例えばビデオ会議中に行われ得るコード化されたビデオの双方向伝送をサポートするために設けられた第2の端末対130、140を示す。データの双方向伝送の場合、各端末130、140は、ネットワーク150を介して他の端末に伝送するために、ローカルロケーションでキャプチャされたビデオデータをコード化することができる。各端末130、140はまた、他の端末によって伝送されたコード化されたビデオデータを受信することができ、コード化されたデータを復号することができ、復元されたビデオデータをローカル表示装置に表示することができる。

図1では、端末110～140は、例えば、サーバ、パーソナルコンピュータ、およびスマートフォン、および／または任意の他のタイプの端末であってもよい。例えば、端末（110～140）は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または専用ビデオ会議機器であってもよい。ネットワーク150は、例えば、有線および／またはワイヤレスの通信ネットワークを含む、端末110～140の間でコード化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク150は、回線交換および／またはパケット交換チャネルでデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本解説の目的のために、ネットワーク150のアーキテクチャおよびトポロジは、本明細書で以下に説明されない限り、本開示の動作にとって重要ではない場合がある。

図2は、開示された主題の用途の一例として、ストリーミング環境でのビデオエンコーダおよびデコーダの配置を示している。開示された主題は、例えば、ビデオ会議、デジタルTV、CD、DVD、メモリスティックなどを含むデジタル媒体への圧縮ビデオの保存などを含む、他のビデオ対応アプリケーションで使用され得る。

図2に示すように、ストリーミングシステム200は、ビデオソース201およびエンコーダ203を含むキャプチャサブシステム213を含むことができる。ストリーミングシステム200は、少なくとも1つのストリーミングサーバ205および／または少なくとも1つのストリーミングクライアント206をさらに含むことができる。

ビデオソース201は、例えば、3Dメッシュおよび3Dメッシュに関連するメタデータを含むストリーム202を作成することができる。ビデオソース201は、例えば、3Dセンサ（例えば、深度センサ）または3D撮像技術（例えば、デジタルカメラ（複数可））と、3Dセンサから受信されたデータまたは3D撮像技術を使用して3Dメッシュを生成するように構成されたコンピューティングデバイスと、を含むことができる。サンプルストリーム202は、符号化されたビデオビットストリームに比べて大きいデータ量を有し得るものであり、ビデオソース201に結合されたエンコーダ203によって処理することができる。以下で詳細に説明するように、エンコーダ203は、開示の主題の態様を可能にする、または実施するために、ハードウェア、ソフトウェア、またはこれらの組み合わせを含み得る。エンコーダ203はまた、符号化されたビデオビットストリーム204を生成し得る。符号化されたビデオビットストリーム204は、圧縮されていないストリーム202と比較して、より少ないデータ量を有してよく、将来の使用のために、ストリーミングサーバ205に記憶され得る。1つまたは複数のストリーミングクライアント206は、ストリーミングサーバ205にアクセスして、符号化されたビデオビットストリーム204のコピーであり得るビデオビットストリーム209を取得することができる。

ストリーミングクライアント206は、ビデオデコーダ210およびディスプレイ212を含むことができる。ビデオデコーダ210は、例えば、符号化されたビデオビットストリーム204の入力されるコピーであるビデオビットストリーム209を復号し、ディスプレイ212または別のレンダリング装置（図示せず）上にレンダリングすることができる出力されるビデオサンプルストリーム211を生成することができる。いくつかのストリーミングシステムでは、ビデオビットストリーム204、209は、特定のビデオコーディング／圧縮規格に従って符号化され得る。

図3は、エンコーダおよびデコーダを使用して動的メッシュ圧縮およびメッシュ再構築するためのフレームワーク300の例示的な図である。

図3に見られるように、フレームワーク300は、エンコーダ301およびデコーダ351を含むことができる。エンコーダ301は、1つまたは複数の入力メッシュ305、UVアトラスを有する1つまたは複数のメッシュ310、占有マップ315、ジオメトリマップ320、属性マップ325、およびメタデータ330を含むことができる。デコーダ351は、復号された占有マップ335、復号されたジオメトリマップ340、復号された属性マップ345、復号されたメタデータ350、および再構築されたメッシュ360を含むことができる。

本開示の一態様によれば、入力メッシュ305は、1つまたは複数のフレームを含むことができ、1つまたは複数のフレームはそれぞれ、一連の動作によって前処理され、UVアトラスを有するメッシュ310を生成するために使用され得る。一例として、前処理動作は、トラッキング、パラメータ化、再メッシュ化、ボクセル化などを含み得るが、これらに限定されなくてもよい。いくつかの実施形態では、前処理動作は、エンコーダ側でのみ実行され、デコーダ側では実行されなくてもよい。

メッシュは、ポリゴンメッシュであっても体積メッシュであってもよい。いくつかの実施形態では、ポリゴンメッシュは、多面体オブジェクトの形状を定義する頂点、エッジ、および面の集合であってもよい。いくつかの実施形態では、体積メッシュは、オブジェクトの内部体積の多角形表現であってもよい。

UVアトラスを有するメッシュ310は、2Dメッシュとすることができる。UVアトラスを有する2Dメッシュは、メッシュの各頂点が2Dアトラス上のUV座標に関連し得るメッシュとすることができる。UVアトラスを有するメッシュ310は、サンプリングに基づいて、処理され、複数のマップに変換され得る。一例として、UVアトラス310は、UVアトラスを有する2Dメッシュをサンプリングすることに基づいて処理され、占有マップ、ジオメトリマップ、および属性マップに変換され得る。生成された占有マップ335、ジオメトリマップ340、および属性マップ345は、適切なコーデック（例えば、HVEC、VVC、AV1など）を使用して符号化され、デコーダに送信され得る。いくつかの実施形態では、メタデータ（例えば、接続性情報など）もデコーダに送信され得る。

一態様によれば、デコーダ351は、エンコーダから符号化された占有マップ、ジオメトリマップ、および属性マップを受信することができる。デコーダ351は、本明細書に記載の実施形態に加えて、占有マップ、ジオメトリマップ、および属性マップを復号するために適切な技法および方法を使用することができる。一実施形態では、デコーダ351は、復号された占有マップ335、復号されたジオメトリマップ340、復号された属性マップ345、および復号されたメタデータ350を生成してもよい。入力メッシュ305は、復号された占有マップ335、復号されたジオメトリマップ340、復号された属性マップ345、および復号されたメタデータ350に基づいて、1つまたは複数の再構築フィルタおよび技術を使用して再構築されたメッシュ360に再構築され得る。いくつかの実施形態では、メタデータ330はデコーダ351に直接伝送されてもよく、デコーダ351は、復号された占有マップ335、復号されたジオメトリマップ340、および復号された属性マップ345に基づいて、再構築されたメッシュ360を生成するために、メタデータを使用することができる。再メッシュ化、パラメータ化、トラッキング、ボクセル化などを含むが、これらに限定されないポストフィルタリング技法が、再構築されたメッシュ360に適用されてもよい。

2D UVアトラスを有する入力メッシュは頂点を有することができ、メッシュの各頂点は、2Dアトラス上の関連するUV座標を有することができる。占有マップ、ジオメトリマップ、および属性マップは、UVアトラス上の1つまたは複数の点／位置をサンプリングすることによって生成され得る。各サンプル位置は、その位置がメッシュ頂点によって画定された多角形の内側にある場合、占有されていても占有されていなくてもよい。各占有サンプルについて、関連する多角形頂点から補間することによって、その対応する3Dジオメトリ座標および属性を計算することができる。

本開示の一態様によれば、サンプリングレートは、2Dアトラス全体にわたって一貫していてもよい。いくつかの実施形態では、u軸およびv軸のサンプリングレートは異なっていてもよく、異方性再メッシュ化を可能にする。いくつかの実施形態では、2Dアトラス全体は、スライスやタイルなどの複数の領域に分割されてもよく、そのような各領域は異なるサンプリングレートを有することができる。

本開示の一態様によれば、各領域（または2Dアトラス全体）のサンプリングレートは、以下に限定されるものではないが、シーケンスヘッダ、フレームヘッダ、スライスヘッダなどを含む高レベルシンタックスで信号伝達され得る。いくつかの実施形態では、各領域（または2Dアトラス全体）のサンプリングレートは、エンコーダとデコーダの両方によって仮定されている予め確立されたレートのセットから選択され得る。エンコーダとデコーダの両方によって知られている予め確立されたレートのセットのため、1つの特定のサンプリングレートのシグナリングは、予め確立されたレートセット内のインデックスを信号で送ることのみを必要とする。そのような予め確立されたセットの例が、2画素ごと、4画素ごと、8画素ごとなどであり得る。いくつかの実施形態では、メッシュフレームの各領域（または2Dアトラス全体）のサンプリングレートは、予め確立されたレートセットから、同じフレームの他の既にコード化された領域内での以前に使用されたサンプリングレートから、または他の既にコード化されたメッシュフレーム内での以前に使用されたサンプリングレートから予測され得る。

いくつかの実施形態では、各領域（または2Dアトラス全体）のサンプリングレートは、各領域（または2Dアトラス全体）の何らかの特性に基づくことができる。一例として、サンプルレートはアクティビティに基づくことができ、リッチテクスチャード領域（または2Dアトラス全体）、あるいは高アクティビティの領域（または2Dアトラス全体）の場合、サンプルレートは高く設定することができる。別の例として、滑らかな領域（または2Dアトラス全体）、あるいは低アクティビティの領域（または2Dアトラス全体）の場合、サンプルレートは低く設定することができる。

いくつかの実施形態では、メッシュフレームの各領域（または2Dアトラス全体）のサンプリングレートは、予測と直接シグナリングとを組み合わせることが可能にされ得るような方法で信号伝達され得る。シンタックスは、サンプリングレートが予測されるか直接信号で伝達されるかを指示するように構成され得る。予測される場合、どの予測子サンプリングレートが使用されるべきかがさらに信号で伝達されてよい。直接信号で送られる場合、レートの値を表すべきシンタックスは信号で伝達されてよい。

図4Aおよび図4Bは、本開示の実施形態による、3Dメッシュから2D UV平面（2D UVチャート）へのUVパラメータ化マッピングをそれぞれ示す例示的な図400および図450である。

図4Aに見られるように、図400は、メッシュセグメントを2D UVアトラス内の2Dチャート上にマッピングするUVパラメータ化プロセスを示す。

いくつかの実施形態では、3Dメッシュは、いくつかのセグメント（またはパッチ／チャート）に分割することができる。各セグメントは、そのジオメトリ、属性、および接続性情報と関連付けられた接続された頂点のセットを含むことができる。メッシュセグメント内の各頂点には、2D UVアトラス内の2D UV座標が割り当てられてもよい。いくつかの実施形態では、2Dチャート内の頂点は、それらの3D対応物として接続された構成要素を形成してよい。各頂点のジオメトリ、属性、および接続情報は、それらの3D対応物からも同様に継承され得る。

図4Bに見られるように、図450は、3Dメッシュセグメントが複数の別個のチャートにマッピングされるUVパラメータ化の別の例を示す。

いくつかの実施形態では、3Dメッシュセグメントを複数の別々の2Dチャートにマッピングすることもできる。いくつかの例では、3Dクラウドにおける頂点は、2D UVアトラスの複数の頂点に対応してもよい。図450に見られるように、同じ3Dメッシュセグメントは、2D UVアトラスにおいて、単一のチャートの代わりに2 2Dチャートにマッピングされる。3D頂点v₁およびv₄は、それぞれ2つの2D対応関係を有する。

3Dメッシュの一般的な2D UVアトラスは、複数のチャートで構成されてよく、各チャートは、それらの3Dジオメトリ、属性、および接続情報に関連付けられた複数の（通常は3つ以上の）頂点を含んでもよい。

図5は、2Dチャートの境界頂点を示す例示的な図500である。

境界頂点は、2D UV空間内に定義される。図500に見られるように、塗りつぶされた頂点は、接続された構成要素（パッチ／チャート）の境界エッジ上にあるため、境界頂点である。境界エッジは、そのエッジが1つの三角形にのみに現れるかどうかをチェックすることによって決定されてよい。境界頂点の情報は重要であり、ジオメトリ情報、すなわち3D xyz座標および2D UV座標を含むビットストリームでシグナリングされてよい。境界情報は、境界頂点に関連付けられた情報を含んでもよい。当業者は、境界頂点が3D空間のために定義されてよく、境界情報が3D境界頂点に関連付けられた情報を含み得ることを理解するであろう。

動的メッシュシーケンスは、これが経時的に変化するかなりの量の情報で構成され得るので、大量のデータを必要とする場合がある。サンプリングベースの方法は、再構築されたメッシュジオメトリに何らかのアーチファクトを取り込む可能性があり、視覚的品質を低下させる可能性がある。そのようなアーチファクトを低減するための効率的なアルゴリズムを開発する必要がある。

本開示の実施形態は、メッシュ圧縮において再構築されたジオメトリをフィルタリングするための方法を対象としている。当業者は、提案された方法が個別に、または任意の形態の組み合わせの形態によって適用され得ることを知っているであろう。また、本方法は、メッシュのフレームが1つしかないか、またはメッシュ内容が時間とともに変化しない静的メッシュに適用することができることにも留意されたい。

実施形態は、ビットストリームでコード化された境界情報を利用することによって再構築されたメッシュのジオメトリをフィルタリングすることを対象としている。当業者は、この目的のために異なるフィルタリングアルゴリズムが適用され得ることを理解するであろう。本開示では、ラプラシアン平滑化が使用されてよい。

ラプラシアン平滑化法は、以下のように定式化することができる。

ここで、
は、t回目の反復におけるメッシュ上のi番目の頂点の3D座標である。N_iはi番目の頂点の近傍する頂点の集合であり、λ∈［0，1）はフィルタ強度係数である。より大きな係数は、より強い平滑化をもたらすより強いフィルタリングを示してよい。このプロセスは、複数回の反復によってすべての頂点に適用されてよい。境界頂点と非境界頂点とを区別するために、フィルタリング方法において異なる重みまたは異なるパラメータに異なる値が割り当てられてもよい。

一実施形態では、境界頂点および非境界頂点に異なるフィルタ強度係数、すなわちλが使用されてよい。値は、コーディング境界頂点座標および非境界頂点の座標で使用される量子化ステップサイズなどの他の要因によって決定されてもよい。例えば、より大きな量子化ステップサイズには、より大きなλが使用されてもよい。この実施形態では、λは量子化ステップサイズの関数とすることができる。境界頂点および非境界頂点の量子化ステップサイズが異なる場合、λはそれに応じて異なる場合がある。極端な場合は、量子化ステップサイズが1（頂点のジオメトリが可逆的に符号化されることを意味する）である場合、λを0に設定することができるため、その結果これらの頂点にフィルタリングは適用されない。

別の実施形態では、境界頂点および非境界頂点をフィルタリングするために異なる反復回数が設定されてもよい。値は、圧縮に使用される量子化ステップサイズなどの他の要因によって決定されてもよい。例えば、量子化ステップサイズが大きいほど、より多くの反復が使用されてよい。境界頂点および非境界頂点の量子化ステップサイズが異なる場合、反復回数はそれに応じて異なる場合がある。極端な場合は、量子化ステップサイズが1（頂点のジオメトリが可逆的に符号化されることを意味する）である場合、反復回数を0に設定することができるため、その結果これらの頂点にフィルタリングは適用されない。

別の実施形態では、境界頂点および非境界頂点の方程式において異なる重み付け方式が使用されてもよい。例えば、以下のように修正することができる。

ここで、w_jはj番目の近傍する頂点の重み付け係数であり、w_jは、近傍する頂点jが境界頂点であるか否かなどの他の多くの要因の関数とすることができる。これは以下のように定式化されてよい。

例えば、境界頂点についてはより大きい重みが使用されてもよく、非境界頂点についてはより小さい重みが使用されてもよい。

別の実施形態では、近傍する頂点の異なる定義が境界頂点と、非境界頂点に使用されてもよい。例えば、より少数の近傍する頂点が境界頂点に使用されてよく、より多数の近傍する頂点が非境界頂点に使用されてもよく、またはその逆も可能である。

別の実施形態では、境界の近傍する頂点を選択することは、分類のための接続度に基づいてもよい。境界頂点の接続度は0である。頂点が境界頂点ではなく、境界頂点に直接接続する場合、その接続度は1である。頂点が境界頂点でも度数1の頂点でもなく、度数1の頂点に直接接続する場合、その接続度は2になり、以下同様である。いくつかの実施形態では、境界の近傍する頂点は、接続度＜＝Nを有する頂点として定義されてもよく、Nは正の整数である。

図6は、本開示の実施形態による、メッシュ圧縮のための幾何学的フィルタリングのためのプロセス600を示すフロー図である。

動作605において、メッシュに関連付けられたコード化されたビットストリームが受信されてよい。いくつかの実施形態では、コード化されたビットストリームは、メッシュに関連付けられた境界情報を含むことができる。メッシュは、ポリゴンメッシュであっても体積メッシュであってもよい。いくつかの実施形態では、ポリゴンメッシュは、多面体オブジェクトの形状を定義する頂点、エッジ、および面の集合であってもよい。いくつかの実施形態では、体積メッシュは、オブジェクトの内部体積の多角形表現であってもよい。

動作610において、メッシュに関連付けられた1つまたは複数の境界頂点は、境界情報に基づいてメッシュを決定してよい。

動作615において、メッシュに関連付けられたフィルタリングされたジオメトリマップは、メッシュに関連付けられた1つまたは複数の境界頂点と、フィルタリングアルゴリズムにおける1つまたは複数のフィルタリングパラメータとに基づいて生成され得る。

いくつかの実施形態では、フィルタリングアルゴリズムにおける1つまたは複数のフィルタリングパラメータは、フィルタリング強度係数、フィルタリング反復回数、重み付け係数、または近傍する頂点の数を含んでもよい。

いくつかの実施形態では、フィルタリング強度係数は、境界頂点に関連付けられた第1のフィルタリング強度係数と、非境界頂点に関連付けられた第2のフィルタリング強度係数とを含んでもよい。いくつかの実施形態では、フィルタリング強度係数は量子化ステップサイズに基づいてもよい。

いくつかの実施形態では、フィルタリング反復回数は、境界頂点に関連付けられた第1のフィルタリング反復回数と、非境界頂点に関連付けられた第2のフィルタリング反復回数とを含んでもよい。いくつかの実施形態では、フィルタリング反復回数は、量子化ステップサイズに基づいてもよい。

いくつかの実施形態では、重み付け係数は、境界頂点に関連付けられた第1の重み付け係数と、非境界頂点に関連付けられた第2の重み付け係数とを含んでもよい。

いくつかの実施形態では、近傍する頂点の数は、境界頂点に関連付けられた近傍する頂点の第1の数と、非境界頂点に関連付けられた近傍する頂点の第2の数とを含んでもよい。

動作620において、フィルタリングされたジオメトリマップは、ビデオコーデックを使用して複数の単一チャネル画像または複数のチャネル画像に圧縮されてよい。

上述した技術は、コンピュータ可読命令を使用し、1つまたは複数のコンピュータ可読媒体に物理的に記憶されたコンピュータソフトウェアとして実装され得る。例えば、図7は、本開示の特定の実施形態を実装するために適したコンピュータシステム700を示している。

コンピュータソフトウェアは、コンピュータ中央処理装置（CPU）、グラフィックス処理装置（GPU）などにより、直接、または解釈、マイクロコード実行などを介して実行され得る命令を含むコードを作成するために、アセンブル、コンパイル、リンク、または同様のメカニズムを受け得る任意の適切なマシンコードまたはコンピュータ言語を使用してコーディングされ得る。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む様々な種類のコンピュータまたはそのコンポーネント上で実行することができる。

コンピュータシステム700について図7に示される構成要素は、例であり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲または機能に関する制限を示唆することを意図するものではない。構成要素の構成は、コンピュータシステム700の非限定的な実施形態に示されている構成要素のいずれか1つ、または構成要素の組み合わせに関して、依存性を有するものとも、要件を有するものとも解釈されてはならない。

コンピュータシステム700は、特定のヒューマンインターフェース入力デバイスを含み得る。そのようなヒューマンインターフェース入力デバイスは、例えば、触知入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示されていない）を介した1人以上の人間ユーザによる入力に応答し得る。ヒューマン・インターフェース・デバイスは、オーディオ（例えば、音声、音楽、周囲音）、画像（例えば、走査画像、写真画像は静止画像カメラから取得する）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）など、必ずしも人間による意識的な入力に直接関連しない特定のメディアを取り込むために使用することもできる。

入力ヒューマン・インターフェース・デバイスは、キーボード701、マウス702、トラックパッド703、タッチスクリーン710、データグローブ、ジョイスティック705、マイク706、スキャナ707、カメラ708のうちの1つまたは複数（それぞれの1つのみを図示）を含んでもよい。

コンピュータシステム700はまた、特定のヒューマンインターフェース出力デバイスを含んでもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および臭い／味を介して、1人または複数の人間ユーザの感覚を刺激している場合がある。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン710、データグローブ、またはジョイスティック705による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスも存在し得る）を含み得る。例えば、そのようなデバイスは、音声出力デバイス（スピーカ709、ヘッドホン（図示せず）など）、視覚出力デバイス（CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン710など、それぞれタッチスクリーン入力機能の有無にかかわらず、それぞれ触覚フィードバック機能の有無にかかわらず、そのいくつかはステレオグラフィック出力などの手段を通して、2次元視覚出力または3次元を超える出力を出力できるものもある、仮想現実メガネ（図示せず）、ホログラフィックディスプレイ、およびスモークタンク（図示せず））、およびプリンタ（図示せず）であり得る。

コンピュータシステム700はまた、人間がアクセス可能な記憶デバイスと、CD／DVDなどの媒体721を有するCD／DVD ROM／RW720、サムドライブ722、リムーバブルハードドライブまたはソリッドステートドライブ723、テープやフロッピーディスク（図示されていない）などのレガシー磁気媒体、セキュリティドングル（図示されていない）などの専用ROM／ASIC／PLDベースのデバイスなどを含む光媒体などの記憶デバイスと関連付けられた媒体も含むことができる。

当業者はまた、本開示の主題に関連して使用される「コンピュータ可読メディア」という用語が、伝送メディア、搬送波、または他の一時的信号を包含しないことを理解すべきである。

コンピュータシステム700はまた、1つまたは複数の通信ネットワークへのインターフェースも含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両および産業用、リアルタイム、遅延耐性、などとすることができる。ネットワークの例には、Ethernetなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラネットワーク、ケーブルテレビ、衛星テレビおよび地上波テレビを含むテレビの有線または無線ワイドエリアデジタルネットワーク、CANBusを含む車両用および産業用などが含まれる。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（749）（例えば、コンピュータシステム（700）のUSBポートなど）に接続された外部ネットワークインターフェースアダプタを必要とし、他のものは一般に、以下に記載されるようにシステムバスへの接続によってコンピュータシステム（700）のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム700は他のエンティティと通信することができる。そのような通信は、例えば、ローカルまたはワイドエリアデジタルネットワークを使用して、他のコンピュータシステムに対して、単方向、受信のみ（例えば、放送テレビ）、単方向送信のみ（例えば、特定のCANbusデバイスへのCANbus）、または双方向であり得る。そのような通信は、クラウドコンピューティング環境755への通信を含み得る。特定のプロトコルおよびプロトコルスタックは、上述したように、それらのネットワークおよびネットワークインターフェースの各々で使用され得る。

前述のヒューマン・インターフェース・デバイス、ヒューマンアクセス可能な記憶デバイス、およびネットワークインターフェース754は、コンピュータシステム700のコア740に接続され得る。

コア740は、1つまたは複数の中央処理装置（CPU）741、グラフィックス処理装置（GPU）742、フィールドプログラマブルゲートエリア（FPGA）743の形態の特殊なプログラマブル処理装置、特定のタスクのためのハードウェアアクセラレータ744などを含むことができる。これらのデバイスは、読み出し専用メモリ（ROM）745、ランダムアクセスメモリ746、内部の非ユーザアクセス可能ハードドライブ、SSDなど747の内部大容量記憶部と共に、システムバス748を介して接続され得る。いくつかのコンピュータシステムでは、システムバス748は、追加のCPU、GPUなどによる拡張を可能にするために、1つまたは複数の物理プラグの形態でアクセス可能であり得る。周辺デバイスは、コアのシステムバス748に直接取り付けることも、周辺バス749を介して取り付けることもできる。周辺バス用のアーキテクチャには、PCI、USBなどが含まれる。グラフィックスアダプタ750は、コア740に含まれてもよい。

CPU741、GPU742、FPGA743、およびアクセラレータ744は、組み合わさって前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードを、ROM745またはRAM746に記憶することができる。過渡的なデータをRAM746に格納することもでき、一方永続的なデータを、例えば、内部大容量記憶部747に格納することができる。メモリデバイスのいずれかへの高速記憶および取得を、1つまたは複数のCPU741、GPU742、大容量記憶部747、ROM745、RAM746などと密接に関連付けることができるキャッシュメモリの使用によって可能にすることができる。

コンピュータ可読メディアは、様々なコンピュータ実施動作を実行するためのコンピュータコードを有することができる。メディアおよびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであってもよく、またはコンピュータソフトウェア技術の当業者に周知で利用可能な種類のものであってもよい。

限定ではなく、例として、コンピュータシステム700のアーキテクチャを有するコンピュータシステム、特にコア740は、1つまたは複数の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行するプロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）の結果として機能を提供することができる。そのようなコンピュータ可読メディアは、上述したようなユーザアクセス可能な大容量記憶、ならびにコア内部大容量記憶部747やROM745などの非一時的な性質のものであるコア740の特定の記憶に関連付けられたメディアとすることができる。本開示の様々な実施形態を実施するソフトウェアを、そのようなデバイスに記憶し、コア740によって実行することができる。コンピュータ可読メディアは、特定の必要性に応じて、1つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア740、具体的にはコア中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM746に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することを含む、本明細書に記載される特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書に記載される特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに、またはソフトウェアと一緒に動作することができる、回路において配線またはそれ以外の方法で具体化されたロジック（例えば、アクセラレータ744）の結果としての機能を提供することもできる。必要に応じて、ソフトウェアへの参照はロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（IC）など）、実行のための論理を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを包含する。

本開示は、いくつかの非限定的な実施形態を説明しているが、本開示の範囲内にある変更、順列、および様々な代替的な同等物が存在する。したがって当業者であれば、本明細書に明確に図示または説明されていなくても、本開示の原理を具体化し、したがってその原理と範囲内に含まれる多くのシステムおよび方法を考案できることは理解されよう。

100 通信システム
110 第1の端末
120 第2の端末
130 第2の端末対
140 第2の端末対
150 ネットワーク
200 ストリーミングシステム
201 ビデオソース
202 圧縮されていないストリーム
203 エンコーダ
204 符号化されたビデオビットストリーム
205 ストリーミングサーバ
206 ストリーミングクライアント
209 ビデオビットストリーム
210 ビデオデコーダ
211 ビデオサンプルストリーム
212 ディスプレイ
213 キャプチャシステム
300 フレームワーク
301 エンコーダ
305 入力メッシュ
310 メッシュ
315 占有マップ
320 ジオメトリマップ
325 属性マップ
330 メタデータ
335 復号された占有マップ
340 復号されたジオメトリマップ
345 復号された属性マップ
350 復号されたメタデータ
351 デコーダ
360 再構築されたメッシュ
400 UVパラメータ化マッピングの図
450 UVパラメータ化の別の例の図
500 境界頂点を示す図
600 フロー図
700 コンピュータシステム
701 キーボード
702 マウス
703 トラックパッド
705 ジョイスティック
706 マイク
707 スキャナ
708 カメラ
710 タッチスクリーン
720 CD／DVD ROM／RW
721 CD／DVDなどの媒体
722 サムドライブ
723 リムーバブルハードドライブまたはソリッドステートドライブ
740 コア
741 中央処理装置（CPU）
742 グラフィックス処理装置（GPU）
743 フィールドプログラマブルゲートエリア（FPGA）
744 ハードウェアアクセラレータ
745 読み出し専用メモリ（ROM）
746 ランダムアクセスメモリ（RAM）
747 大容量記憶部
748 システムバス
749 周辺バス
750 グラフィックスアダプタ
754 ネットワークインターフェース
755 クラウドコンピューティング環境

Claims (20)

1. メッシュ圧縮のための幾何学的フィルタリングのための方法であって、前記方法は、少なくとも1つのプロセッサによって実行され、前記方法は、
   メッシュに関連付けられたコード化されたビットストリームを受信するステップであって、前記コード化されたビットストリームは、前記メッシュに関連付けられた境界情報を含む、ステップと、
   前記境界情報に基づいて、前記メッシュに関連付けられた1つまたは複数の境界頂点を決定するステップと、
   前記メッシュに関連付けられた前記1つまたは複数の境界頂点と、フィルタリングアルゴリズムにおける1つまたは複数のフィルタリングパラメータとに基づいて、前記メッシュに関連付けられたフィルタリングされたジオメトリマップを生成するステップと、
   ビデオコーデックを使用して、前記フィルタリングされたジオメトリマップを複数の単一チャネル画像または複数のチャネル画像に圧縮するステップと
   を含む、方法。
2. 前記フィルタリングアルゴリズムにおける前記1つまたは複数のフィルタリングパラメータは、フィルタリング強度係数、フィルタリング反復回数、重み付け係数、または近傍する頂点の数を含む、請求項1に記載の方法。
3. 前記フィルタリング強度係数は、境界頂点に関連付けられた第1のフィルタリング強度係数と、非境界頂点に関連付けられた第2のフィルタリング強度係数とを含む、請求項2に記載の方法。
4. 前記フィルタリング強度係数は量子化ステップサイズに基づいている、請求項3に記載の方法。
5. 前記フィルタリング反復回数は、境界頂点に関連付けられた第1のフィルタリング反復回数と、非境界頂点に関連付けられた第2のフィルタリング反復回数とを含む、請求項2に記載の方法。
6. 前記フィルタリング反復回数は、量子化ステップサイズに基づいている、請求項5に記載の方法。
7. 前記重み付け係数は、境界頂点に関連付けられた第1の重み付け係数と、非境界頂点に関連付けられた第2の重み付け係数とを含む、請求項2に記載の方法。
8. 近傍する頂点の前記数は、境界頂点に関連付けられた近傍する頂点の第1の数と、非境界頂点に関連付けられた近傍する頂点の第2の数とを含む、請求項2に記載の方法。
9. メッシュ圧縮のための幾何学的フィルタリングのためのデバイスであって、前記デバイスは、
   プログラムコードを記憶するように構成された少なくとも1つのメモリと、
   前記プログラムコードを読み出し、前記プログラムコードによって命令される通りに動作するように構成された少なくとも1つのプロセッサであって、前記プログラムコードは、
   前記少なくとも1つのプロセッサに、メッシュに関連付けられたコード化されたビットストリームを受信させるように構成された第1の受信コードであって、前記コード化されたビットストリームは、前記メッシュに関連付けられた境界情報を含む、第1の受信コードと、
   前記少なくとも1つのプロセッサに、前記境界情報に基づいて、前記メッシュに関連付けられた1つまたは複数の境界頂点を決定させるように構成された第1の決定コードと、
   前記少なくとも1つのプロセッサに、前記メッシュに関連付けられた前記1つまたは複数の境界頂点と、フィルタリングアルゴリズムにおける1つまたは複数のフィルタリングパラメータとに基づいて、前記メッシュに関連付けられたフィルタリングされたジオメトリマップを生成させるように構成された第1の生成コードと、
   前記少なくとも1つのプロセッサに、ビデオコーデックを使用して、前記フィルタリングされたジオメトリマップを複数の単一チャネル画像または複数のチャネル画像に圧縮させるように構成された第1の圧縮コードとを含む、少なくとも1つのプロセッサとを備える、デバイス。
10. 前記フィルタリングアルゴリズムにおける前記1つまたは複数のフィルタリングパラメータは、フィルタリング強度係数、フィルタリング反復回数、重み付け係数、または近傍する頂点の数を含む、請求項9に記載のデバイス。
11. 前記フィルタリング強度係数は、境界頂点に関連付けられた第1のフィルタリング強度係数と、非境界頂点に関連付けられた第2のフィルタリング強度係数とを含む、請求項10に記載のデバイス。
12. 前記フィルタリング強度係数は、量子化ステップサイズに基づいている、請求項11に記載のデバイス。
13. 前記フィルタリング反復回数は、境界頂点に関連付けられた第1のフィルタリング反復回数と、非境界頂点に関連付けられた第2のフィルタリング反復回数とを含む、請求項10に記載のデバイス。
14. 前記フィルタリング反復回数は、量子化ステップサイズに基づいている、請求項13に記載のデバイス。
15. 前記重み付け係数は、境界頂点に関連付けられた第1の重み付け係数と、非境界頂点に関連付けられた第2の重み付け係数とを含む、請求項10に記載のデバイス。
16. 近傍する頂点の前記数は、境界頂点に関連付けられた近傍する頂点の第1の数と、非境界頂点に関連付けられた近傍する頂点の第2の数とを含む、請求項10に記載のデバイス。
17. 命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、メッシュ圧縮のための幾何学的フィルタリングのためのデバイスの1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
    メッシュに関連付けられたコード化されたビットストリームを受信させ、前記コード化されたビットストリームは、前記メッシュに関連付けられた境界情報を含み、
    前記境界情報に基づいて、前記メッシュに関連付けられた1つまたは複数の境界頂点を決定させ、
    前記メッシュに関連付けられた前記1つまたは複数の境界頂点と、フィルタリングアルゴリズムにおける1つまたは複数のフィルタリングパラメータとに基づいて、前記メッシュに関連付けられたフィルタリングされたジオメトリマップを生成させ、
    ビデオコーデックを使用して、前記フィルタリングされたジオメトリマップを複数の単一チャネル画像または複数のチャネル画像に圧縮させる1つまたは複数の命令を含む、非一時的コンピュータ可読媒体。
18. 前記フィルタリングアルゴリズムにおける前記1つまたは複数のフィルタリングパラメータは、フィルタリング強度係数、フィルタリング反復回数、重み付け係数、または近傍する頂点の数を含む、請求項17に記載の非一時的コンピュータ可読媒体。
19. 前記フィルタリング強度係数は、境界頂点に関連付けられた第1のフィルタリング強度係数と、非境界頂点に関連付けられた第2のフィルタリング強度係数とを含む、請求項18に記載の非一時的コンピュータ可読媒体。
20. 前記フィルタリング反復回数は、境界頂点に関連付けられた第1のフィルタリング反復回数と、非境界頂点に関連付けられた第2のフィルタリング反復回数とを含む、請求項18に記載の非一時的コンピュータ可読媒体。

Images