JP2023514853A

JP2023514853A - 投影ベースのメッシュ圧縮

Info

Publication number: JP2023514853A
Application number: JP2022550760A
Authority: JP
Inventors: ダニーログラジオッシ; 央二中神; アレクサンドレザゲットー; アリタバタバイ
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2020-03-18
Filing date: 2021-02-13
Publication date: 2023-04-11
Also published as: US11373339B2; EP4094224A1; CN114641797A; EP4094224A4; WO2021188238A1; KR20220137937A; US20210295566A1

Abstract

投影ベースの方法を使用して、かつ投影ベースのポイントクラウド圧縮のために既に生成されたツール及びシンタックスを利用して、追跡されていないメッシュ及び追跡されたメッシュを圧縮する方法を説明する。V-PCC方法と同様に、メッシュを表面パッチにセグメント化するが、相違点は、セグメントがメッシュの接続性に従うことである。次に、各表面パッチ（又は3Dパッチ）を2Dパッチに投影することによって、メッシュの場合、三角形表面サンプリングは、コンピュータグラフィックスで使用される共通のラスタ化方法と同様である。各パッチに対して、投影された頂点の位置と、それらの頂点の接続性とをリストに保つ。サンプリングされた表面はポイントクラウドに似ており、ポイントクラウド圧縮のために使用される同じ方法で符号化される。更に、パッチごとに頂点及び接続性のリストを符号化して、そのデータと、符号化されたポイントクラウドデータとを送信する。【選択図】図１

Description

〔関連出願の相互参照〕
本出願は、米国特許法第１１９条（ｅ）の下で、２０２０年３月１８日出願の米国仮特許出願第６２／９９１，１２８号「投影ベースのメッシュ圧縮（ＰＲＯＪＥＣＴＩＯＮ－ＢＡＳＥＤＭＥＳＨＣＯＭＰＲＥＳＳＩＯＮ）」の優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。

本発明は、３次元グラフィックに関する。より具体的には、本発明は、３次元グラフィックの符号化に関する。

近年、３Ｄから２Ｄへの投影に基づいてポイントクラウドを圧縮するための新規の方法が標準化されている。この方法（Ｖ－ＰＣＣ（ビデオベースのポイントクラウド圧縮）としても知られる）は、３Ｄポイントクラウドデータをいくつかの２Ｄパッチにマッピングし、次に、パッチをアトラス画像内に更に配置し、その後、ビデオエンコーダで符号化する。アトラス画像は、ポイントのジオメトリと、それぞれのテクスチャと、ポイントクラウド再構築のためにどの位置を考慮すべきかを示すオキュパンシーマップとに対応する。

２０１７年、ＭＰＥＧは、ポイントクラウドの圧縮のための提案募集（ＣｆＰ）を実施した。いくつかの提案の評価の後、現在、ＭＰＥＧは、ポイントクラウド圧縮のための２つの異なる技術、すなわち、（ｏｃｔｒｅｅ及び同様の符号化方法に基づく）３Ｄネイティブ符号化技術、又は３Ｄから２Ｄへの投影後に従来のビデオ符号化を行うことを検討している。動的３Ｄシーンの場合、ＭＰＥＧは、パッチ表面モデリング、３Ｄ画像から２Ｄ画像へのパッチの投影、及びＨＥＶＣなどのビデオエンコーダで２Ｄ画像を符号化することに基づいて、テストモデルソフトウェア（ＴＭＣ２）を使用している。この方法は、ネイティブ３Ｄ符号化よりも効率的であることが判明しており、許容品質で競合ビットレートを実現することができる。

投影ベースの方法（ビデオベースの方法又はＶ－ＰＣＣとしても知られる）の３Ｄポイントクラウドの符号化の成功に起因して、規格は、未来のバージョンにおいて、３Ｄメッシュなどの更なる３Ｄデータを含むことを期待される。しかしながら、規格の現在のバージョンは、接続されていないポイントのセットの送信のみに適しているので、３Ｄメッシュ圧縮に必要なポイントの接続性を送信するための機構がない。

Ｖ－ＰＣＣの機能性をメッシュに拡張するための方法も提案されている。１つの可能な方法は、Ｖ－ＰＣＣを使用して頂点を符号化し、次に、ＴＦＡＮ又はＥｄｇｅｂｒｅａｋｅｒなどのメッシュ圧縮方法を使用して接続性を符号化することである。この方法の制限は、頂点から生成されるポイントクラウドがまばらではなく、投影後に効率的に符号化することができるように、元のメッシュが高密度である必要があることである。また、頂点の順序は接続性の符号化に影響を及ぼし、メッシュ接続性を再編成するための異なる方法が提案されている。まばらなメッシュを符号化するための代替の方法は、ＲＡＷパッチデータを使用して、３Ｄ内の頂点位置を符号化することである。ＲＡＷパッチは（ｘ，ｙ，ｚ）を直接符号化するので、この方法では、全ての頂点はＲＡＷデータとして符号化され、一方、接続性は、前述のように、同様のメッシュ圧縮方法によって符号化される。ＲＡＷパッチにおいて、頂点を任意の好ましい順序で送信することができるので、接続性符号化から生成される順序を使用することができる。この方法は、まばらなポイントクラウドを符号化することができるが、ＲＡＷパッチは、３Ｄデータを符号化するのに効率的ではなく、この方法から、三角形の面の属性などの更なるデータが欠けている場合がある。

本明細書では、投影ベースの方法を使用して、かつ投影ベースのポイントクラウド圧縮のために既に生成されたツール及びシンタックスを利用して、追跡されていないメッシュ及び追跡されたメッシュを圧縮する方法を説明する。Ｖ－ＰＣＣ方法と同様に、メッシュを表面パッチにセグメント化するが、相違点は、セグメントがメッシュの接続性に従うことである。次に、各表面パッチ（又は３Ｄパッチ）を２Ｄパッチに投影することによって、メッシュの場合、三角形表面サンプリングは、コンピュータグラフィックスで使用される共通のラスタ化方法と同様である。各パッチに対して、投影された頂点の位置と、それらの頂点の接続性とをリストに保つ。サンプリングされた表面はポイントクラウドに似ており、ポイントクラウド圧縮のために使用される同じ方法で符号化される。更に、パッチごとに頂点及び接続性のリストを符号化して、そのデータと、符号化されたポイントクラウドデータとを送信する。

一態様では、装置の非一時的メモリにプログラムされた方法。前記方法は、入力メッシュに対してメッシュボクセル化を実行するステップと、前記メッシュを、ラスタ化されたメッシュ表面と頂点位置及び接続性情報とを含むパッチにセグメント化するパッチ生成を実装するステップと、前記ラスタ化されたメッシュ表面から、ビデオベースのポイントクラウド圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、前記頂点位置及び接続性情報を用いてベースメッシュ符号化を実装するステップと、前記Ｖ－ＰＣＣ画像と前記ベースメッシュ符号化とに基づいて、Ｖ－ＰＣＣビットストリームを生成するステップであって、前記Ｖ－ＰＣＣビットストリームは、ポイントクラウド再構築及びメッシュ再構築のための情報を含む、ステップと、を含む。前記メッシュボクセル化は、負の値及び非整数値を回避するように、メッシュ値をシフト及び／又はスケーリングするステップを含む。前記メッシュボクセル化は、ゼロを下回る最も低い頂点値を見つけて、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトするステップを含む。前記パッチ生成を実装するステップは、三角形ごとの法線を計算するステップであって、前記三角形の前記法線を計算するステップは、エッジ間の外積を使用するステップを含む、ステップと、前記法線に従って三角形をカテゴリ化するステップと、隣接する三角形を分析することによって、精細化プロセスを実装するステップと、を含む。前記方法は、ポイントクラウドを部分的に含み、かつメッシュを部分的に含むコンテンツを表示するステップを更に含む。前記ビットストリームに、追跡された頂点のデルタ位置情報が含まれる。前記方法は、ジッパリング（ｚｉｐｐｅｒｉｎｇ）を実装するステップを更に含み、前記ジッパリングを実装するステップは、頂点を、境界頂点又は非境界頂点として分類するステップと、前記境界頂点のうちの隣接する境界頂点を決定するステップと、前記隣接する境界頂点をマージするステップと、を含む。

別の態様では、装置は、アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、入力メッシュに対してメッシュボクセル化を実行するステップと、前記メッシュを、ラスタ化されたメッシュ表面と頂点位置及び接続性情報とを含むパッチにセグメント化するパッチ生成を実装するステップと、前記ラスタ化されたメッシュ表面から、ビデオベースのポイントクラウド圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、前記頂点位置及び接続性情報を用いてベースメッシュ符号化を実装するステップと、前記Ｖ－ＰＣＣ画像と前記ベースメッシュ符号化とに基づいて、Ｖ－ＰＣＣビットストリームを生成するステップであって、前記Ｖ－ＰＣＣビットストリームは、ポイントクラウド再構築及びメッシュ再構築のための情報を含む、ステップと、を実行するためのものである、非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。前記メッシュボクセル化は、負の値及び非整数値を回避するように、メッシュ値をシフト及び／又はスケーリングするステップを含む。前記メッシュボクセル化は、ゼロを下回る最も低い頂点値を見つけて、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトするステップを含む。前記パッチ生成を実装するステップは、三角形ごとの法線を計算するステップであって、前記三角形の前記法線を計算するステップは、エッジ間の外積を使用するステップを含む、ステップと、前記法線に従って三角形をカテゴリ化するステップと、隣接する三角形を分析することによって、精細化プロセスを実装するステップと、を含む。前記装置において、前記アプリケーションは、ポイントクラウドを部分的に含み、かつメッシュを部分的に含むコンテンツを表示するように更に構成される。前記ビットストリームに、追跡された頂点のデルタ位置情報が含まれる。前記装置において、前記アプリケーションは、ジッパリングを実装するように更に構成され、前記ジッパリングを実装するステップは、頂点を、境界頂点又は非境界頂点として分類するステップと、前記境界頂点のうちの隣接する境界頂点を決定するステップと、前記隣接する境界頂点をマージするステップと、を含む。

別の態様では、システムは、３次元コンテンツを取得するための１又は２以上のカメラと、前記３次元コンテンツを符号化するためのエンコーダであって、前記３次元コンテンツの符号化は、前記３次元コンテンツの入力メッシュに対してメッシュボクセル化を実行するステップと、前記メッシュを、ラスタ化されたメッシュ表面と頂点位置及び接続性情報とを含むパッチにセグメント化するパッチ生成を実装するステップと、前記ラスタ化されたメッシュ表面から、ビデオベースのポイントクラウド圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、前記頂点位置及び接続性情報を用いてベースメッシュ符号化を実装するステップと、前記Ｖ－ＰＣＣ画像と前記ベースメッシュ符号化とに基づいて、Ｖ－ＰＣＣビットストリームを生成するステップであって、前記Ｖ－ＰＣＣビットストリームは、ポイントクラウド再構築及びメッシュ再構築のための情報を含む、ステップと、によって実行される、エンコーダと、を含む。前記メッシュボクセル化は、負の値及び非整数値を回避するように、メッシュ値をシフト及び／又はスケーリングするステップを含む。前記メッシュボクセル化は、ゼロを下回る最も低い頂点値を見つけて、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトするステップを含む。前記パッチ生成を実装するステップは、三角形ごとの法線を計算するステップであって、前記三角形の前記法線を計算するステップは、エッジ間の外積を使用するステップを含む、ステップと、前記法線に従って三角形をカテゴリ化するステップと、隣接する三角形を分析することによって、精細化プロセスを実装するステップと、を含む。前記エンコーダは、ポイントクラウドを部分的に含み、かつメッシュを部分的に含むコンテンツを表示するように更に構成される。前記ビットストリームに、追跡された頂点のデルタ位置情報が含まれる。前記エンコーダは、ジッパリングを実装するように更に構成され、前記ジッパリングを実装するステップは、頂点を、境界頂点又は非境界頂点として分類するステップと、前記境界頂点のうちの隣接する境界頂点を決定するステップと、前記隣接する境界頂点をマージするステップと、を含む。

いくつかの実施形態による投影ベースのメッシュ圧縮を実装する方法のフローチャートである。いくつかの実施形態によるメッシュボクセル化の図である。いくつかの実施形態によるパッチ生成の図である。いくつかの実施形態によるパッチ投影及びパッチラスタ化を含むパッチ生成の図である。いくつかの実施形態によるベースメッシュ符号化／シグナリングのためのデータ構造を示す図である。いくつかの実施形態によるポイントクラウドとメッシュ情報とを組み合わせる例を示す図である。いくつかの実施形態による追跡されていないメッシュ情報と追跡されたメッシュ情報とを組み合わせる例を示す図である。いくつかの実施形態による追跡されていないメッシュ情報と追跡されたメッシュ情報とを組み合わせる例を示す図である。いくつかの実施形態によるＶ－ＰＣＣ画像生成の図である。いくつかの実施形態によるメッシュ再構築の図である。いくつかの実施形態によるジッパリングアルゴリズムの図である。いくつかの実施形態による頂点を境界又は非境界として分類する図である。いくつかの実施形態による代替の接続性符号化の図である。いくつかの実施形態による投影ベースのメッシュ圧縮方法を実装するように構成される例示的なコンピュータ装置のブロック図である。

本明細書では、投影ベースの方法を使用して、かつ投影ベースのポイントクラウド圧縮のために既に生成されたツール及びシンタックスを利用して、追跡されていないメッシュ及び追跡されたメッシュを圧縮する方法を説明する。追跡されていないメッシュは、全てのフレームが異なるメッシュ及び異なる接続性を有する場所である。追跡されたメッシュは、メッシュを含む第１のフレームを有し、次に、そのメッシュは追跡され、メッシュの構造は同じに保たれ、その位置は時間とともに変化する。Ｖ－ＰＣＣ方法と同様に、メッシュを表面パッチにセグメント化するが、相違点は、セグメントがメッシュの接続性に従うことである。次に、各表面パッチ（又は３Ｄパッチ）を２Ｄパッチに投影することによって、メッシュの場合、三角形表面サンプリングは、コンピュータグラフィックスで使用される共通のラスタ化方法と同様である。各パッチに対して、投影された頂点の位置と、それらの頂点の接続性とをリストに保つ。サンプリングされた表面はポイントクラウドに似ており、ポイントクラウド圧縮のために使用される同じ方法で符号化される。更に、パッチごとに頂点及び接続性のリストを符号化して、そのデータと、符号化されたポイントクラウドデータとを送信する。

２つの新たなシンタックス要素を導入して、メッシュ情報、すなわち、メッシュパッチデータユニットと、追跡されたメッシュパッチデータユニットとを記述する。メッシュパッチデータユニットは、頂点位置及びそれらのそれぞれの接続性を示すことができる。代替的に、パッチデータを介さずにオキュパンシーマップを介して、頂点の位置を送信することができる。追跡されたメッシュの場合では、追跡されたメッシュの場合の２つの通常のモーション、すなわち、グローバルモーション及び表面モーションを送信することができるシンタックス要素を導入する。追跡されたメッシュパッチデータユニットのシンタックス要素は、パッチの平行移動及び回転を介してグローバルモーションを表現し、一方、頂点移動によって表面モーション（例えば布のしわの動き）を表現する。

各パッチに対して生成されるベースメッシュとして追加の接続性データを解釈して、この追加のデータを使用するか否かの柔軟性をデコーダに与えることができる。また、シンタックスによって、エンコーダはコンテンツを混合して、共存するポイントクラウド及びメッシュを有することができ（例えば、毛髪などのより精細な構造にはポイントクラウドを使用するが、平坦面にはメッシュを使用したいと望むことができる）、かつ追跡されたメッシュ及び追跡されていないメッシュを含むポイントクラウドでさえも有することができる（例えば、追跡することが困難である表面の部分を、追跡されていないものとして送信することができるか、又は過度に変形する追跡された部分でさえも、ポイントクラウドレイヤによって隠すことができる）。このデータを使用して、レンダリング及びインポイントフィルタリングアルゴリズム（ｉｎｐｏｉｎｔｆｉｌｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｓ）を向上させることができる。また、投影ベースの圧縮の同じ原理を用いて、メッシュを符号化して、ポイントクラウドの投影ベースの符号化の現在のＶ－ＰＣＣ方法とより良く統合させる。

図１に、いくつかの実施形態による投影ベースのメッシュ圧縮を実装する方法のフローチャートを示す。ステップ１００において、入力メッシュを受け取る又は取得する。例えば、入力メッシュは、（例えばネットワーク装置から）ダウンロードされるか、又は装置（例えばカメラ又は自律車両）によって取得／キャプチャされる。

ステップ１０２において、メッシュボクセル化を実行する。メッシュは、浮動小数点で頂点の位置を有することができるので、これらの位置は整数空間に変換される。Ｖ－ＰＣＣは、ボクセル化されたポイントクラウドを仮定する。

ステップ１０４において、パッチ生成（又は作成）を実装する。パッチ生成は、法線計算と、隣接性計算と、初期セグメント化と、精細化と、パッチ投影と、パッチラスタ化とを含む。法線計算は、各三角形の法線（例えば、三角形のエッジの外積）を計算することである。隣接性計算は、各三角形の隣接性（例えば、メッシュ内のどの三角形が、現在の三角形又は他の三角形に隣接するか又は接するか）を計算する。初期セグメント化は、向きに従って法線を分類することを含む。例えば、三角形の法線は、上、下、左、右、前、又は後に向くことができ、方向／向きに基づいて分類することができる。いくつかの実施形態では、三角形は、それらの法線の向きに基づいて色分けされる（例えば、上に向いている法線を含む三角形の全ては緑色である）。精細化は、アウトライア（例えば、青色の三角形によって取り囲まれる単一の赤色の三角形）を位置決めして、アウトライアを平滑化して取り除く（例えば、隣接する青色の三角形と一致するように、単一の赤色の三角形を変更する）。隣接する三角形を分析し、向きを平滑化する（例えば、法線の向きを調整する）ことによって、精細化を実行する。滑らかな面が存在すると、次に、パッチ投影を実行して、（例えば向きに基づいて）三角形の特定の分類のためにパッチを投影する。投影で、パッチ上に頂点及び接続性を示す。例えば、この例の身体及び顔面は、これら２つを分離する異なる分類を含む三角形が存在するので、別個の投影である。Ｖ－ＰＣＣはこれを理解しないが、むしろ、Ｖ－ＰＣＣはポイントを理解するので、投影はラスタ化される（例えば、ポイントの距離を含む表面上のポイントをサンプリングして、ジオメトリ画像及び表面の属性を生成する）。ラスタ化されたメッシュ表面は、Ｖ－ＰＣＣ画像に非常に類似している。

パッチ生成の結果、ラスタ化されたメッシュ表面と、頂点位置及び接続性とが得られる。ステップ１０６において、ラスタ化されたメッシュ表面を、Ｖ－ＰＣＣ画像生成／作成に利用する。ステップ１０８において、頂点位置及び接続性を、ベースメッシュ符号化のために使用する。ステップ１１０において、生成されたＶ－ＰＣＣ画像及びベースメッシュ符号化から、Ｖ－ＰＣＣビットストリームを生成する。いくつかの実施形態では、ベースメッシュ符号化は、いかなる追加の符号化も含まず、頂点位置及び接続性は、Ｖ－ＰＣＣビットストリームに直接進む。

Ｖ－ＰＣＣビットストリームは、ステップ１１２においてポイントクラウド再構築を可能にし、及び／又はステップ１１４においてメッシュ再構築を可能にする。Ｖ－ＰＣＣビットストリームから、ポイントクラウド及び／又はメッシュを抽出することができ、これにより、著しい柔軟性を提供する。いくつかの実施形態では、より少ない又は追加のステップを実装する。いくつかの実施形態では、ステップの順序が変更される。

図２に、いくつかの実施形態によるメッシュボクセル化の図を示す。各フレームは、異なるバウンディングボックスを有する。各フレームのバウンディングボックスを取得する（例えば、ｔ＝１、ｔ＝１６及びｔ＝３２においてフレーム２００）。次に、多くのバウンディングボックスからシーケンスバウンディングボックス２０２を計算する：ｓｅｑｕｅｎｃｅＢＢ＝（ｍｉｎＰｏｉｎｔ，ｍａｘＰｏｉｎｔ）。シーケンスバウンディングボックス２０２は、フレームにかかわらず、頂点の全てを含む。ビット深さによって定められる範囲内の最大範囲に合うためのスケールを計算する：ｍａｘＲａｎｇｅ＝ｍａｘ（ｍａｘＰｏｉｎｔ［０．．２］－ｍｉｎＰｏｉｎｔ［０．．２］），ｓｃａｌｅ＝（２^bitdepth －１）／ｍａｘＲａｎｇｅ。最小値によって、結果をスケーリング及びシフトする：ｖｏｘｅｌｉｚｅｄｐｏｉｎｔ＝ｆｌｏｏｒ（ｓｃａｌｅ＊ｏｒｉｇｉｎａｌＰｏｉｎｔ＋ｍｉｎＰｏｉｎｔ）。スケール量及びシフト量は、学習アルゴリズムに基づいて（例えば、バウンディングボックスを分析し、スケール量及びシフト量を自動的に計算することによって）ユーザ定義又はコンピュータ生成のものとすることができる。

いくつかの実施形態では、メッシュボクセル化は、入力メッシュのポイントの位置の浮動小数点値を整数に変換することを含む。整数の精度を、ユーザによって又は自動的に設定することができる。いくつかの実施形態では、メッシュボクセル化は、負の数が存在しないように値をシフトすることを含む。

例えば、元のメッシュが軸線よりも下にあると、負の数になる。メッシュボクセルを介して、負の値及び非整数値を回避するように、メッシュをシフト及び／又はスケーリングする。１つの実装では、ゼロを下回る最も低い頂点値を見つけて、次に、最も低い頂点値がゼロを上回るように値をシフトすることができる。いくつかの実施形態では、値の範囲を（例えばスケーリングによって）１１ビットなどの特定のビット範囲内に収める。

ボクセル化されたメッシュ２１０は、スケーリング及びシフト後の元のメッシュである。例えば、ボクセル化されたメッシュ２１０は、成長して正の値のみであるようにシフトされた後の元のメッシュであり、これは、いくつかの例では符号化にとってより良い。

図３に、いくつかの実施形態によるパッチ生成の図を示す。説明するように、パッチ生成は、法線計算と、隣接性計算と、初期セグメント化と、セグメント化精細化とを含む。各三角形の法線の計算は、三角形のエッジ間の外積を含む。法線は、画像３００に示すように、矢印又はスパイク（ｓｐｉｋｅｓ）として表現することができる。隣接性計算は、三角形が頂点を共有するかどうかを判定し、そうである場合、三角形は隣接する三角形である。図に示すように、灰色の三角形３０２の全ては、中央の白色の三角形３０４の隣接する三角形である。初期セグメント化及びセグメント化精細化は、法線の向きを分析し、法線の向き（例えば、上、下、左、右、前方、後方）を分類し、法線の向きが、全て同じであると分類される隣接する法線とは異なって分類されるかどうかを判定し（例えば、第１のパッチは、上３０６として分類され、一方、隣接するパッチの大部分又は全ては、前方として分類される）、その後、隣接するパッチの向きと一致するように、パッチの法線の分類を変更する（例えば、第１のパッチの分類を前方３０８に変更する）ことによって、Ｖ－ＰＣＣと同様に実行される。

説明するように、メッシュをパッチにセグメント化するパッチ生成を実装する。パッチ生成は、また、１）ラスタ化されたメッシュ表面と、２）頂点位置及び接続性情報とを生成する。ラスタ化されたメッシュ表面は、Ｖ－ＰＣＣ画像生成を経てＶ－ＰＣＣ画像として符号化されるポイントのセットである。頂点位置及び接続性情報は、ベースメッシュ符号化のために受け取られる。

本明細書で説明するパッチ生成は、Ｖ－ＰＣＣにおけるパッチ生成と同様である。しかしながら、ポイントごとの法線を計算する代わりに、三角形ごとの法線を計算する。エッジ間の外積を使用して法線ベクトルを決定して、三角形ごとの法線を計算する。次に、法線に従って三角形をカテゴリ化する。例えば、前、後、上、下、左、及び右などのｎ個の（例えば６つの）カテゴリに法線を分割する。異なる色で法線を示して、初期セグメント化を示す。図３は、異なる法線を示す異なる色として黒及びライトグレーなどのグレースケールで異なる色を示す。見ることが困難である場合があるが、上面（例えば、人物の頭部の上部、ボールの上部、及びスニーカーの上部）は１つの色（例えば緑色）であり、人物／ボールの第１の側は非常に暗く、別の色（例えば赤色）を表し、ボールの下部は別の色（例えば紫色）であり、人物及びボールの前部は、ほとんどライトグレーであり、別の色（例えばシアン）を表す。

法線の積に方向を乗じることによって、主方向を求めることができる。隣接する三角形を見ることによって、平滑化／精細化プロセスを実装することができる。例えば、閾値を上回る数の隣接する三角形が全て青色である場合、最初に三角形が赤色であると示す異常があった場合でも、この三角形も青色として分類される。

三角形の接続された成分を生成して、どの三角形が同じ色を有するか（例えば、少なくとも１つの頂点を共有する同じカテゴリを含む三角形）を識別する。

接続性情報は、３Ｄ内でポイントがどのように接続されるかを記述する。これらの接続は、一緒に三角形（すなわち、３つのポイントを共有する３つの別個の接続）を生成し、その結果、（三角形の集合によって記述される）表面を生成する。本明細書では三角形について説明するが、他の幾何学形状も可能である（例えば矩形）。

色を使用して、異なる色を含む三角形を識別することによって、接続性を符号化することができる。３つの接続によって識別される各三角形を、一意の色でコード化する。

図４に、いくつかの実施形態によるパッチ投影及びパッチラスタ化を含むパッチ生成の図を示す。パッチ投影は、三角形の成分を生成することを含む。少なくとも１つの頂点によって接続され（例えば隣接する）、かつ同じ分類である全ての三角形を一緒に、１つのパッチとしてグループ化する。

パッチ投影は、また、キャンバス上のパッチに各三角形を投影することを含む。頂点の投影された位置が既に占有されている場合、別のパッチにおいて三角形を符号化するので、三角形は欠損三角形リストに進み、後で再び処理される。

三角形が、最大許容深度を上回る深度値になるバウンディングボックスを生成する場合、値は投影されず、これも欠損三角形リストに進む。

パッチラスタ化は、投影された三角形をラスタ化して、ポイントクラウド表現（ジオメトリ及び属性）のためにポイントを生成することを含む。このパッチ投影及びパッチラスタ化のループは、三角形の全てが投影されるまで実行される。

三角形の全てが投影された後に、欠損三角形リスト内の三角形をパッチとしてまとめて、新たなパッチへの投影を再び試みる。

また、２Ｄ表面上にメッシュを投影することによって、三角形の投影によってカバーされるエリアを、画素の集合によって決定する。グループ化された画素が異なる色でコード化される場合、画像内の異なる色によって、三角形を識別することができる。三角形が分かると、三角形を形成する３つの接続を識別するだけで、接続性を取得することができる。

パッチに各三角形を投影する。頂点の投影された位置が既に占有されている場合、別のパッチにおいて三角形を符号化するので、三角形は欠損三角形リストに進み、後で再び処理される。代替的に、マップを使用して、重なる頂点を識別して、重なる頂点を含む三角形を表現することができる。別の代替例では、ポイントを別個のレイヤ（例えば、１つのレイヤ内の１つのポイントのセット及び第２のレイヤ内の第２のポイントのセット）に分離することができる。

画像４００は、少なくとも１つの頂点によって接続される同じ分類内の三角形を含むブランクパッチを示す。画像４０２は、頂点及び接続性を示す三角形を含むパッチを示す。画像４０４は、属性情報を含むパッチを示す。

図５に、いくつかの実施形態によるベースメッシュ符号化／シグナリングのためのデータ構造を示す。ベースメッシュシグナリングに関して、ビデオシーケンスと関連付けられるメタデータのために、パケット及びアトラスストリームを使用する。２Ｄ空間内の頂点の位置を追加することによって、メタデータを追加する。

データ構造は、ヘッダと、タイルグループレイヤと、パッチ情報（例えば、面の数、頂点の数、０から面情報を含む面の数までのリスト、及び０から頂点情報を含む頂点の数までのリスト）とを含む。頂点情報は、２Ｄ空間内の頂点の位置である。リストを用いて、ポイントクラウドからメッシュを再構築することができる。頂点リスト及び接続性情報を送信することによって、いかなる圧縮もなく、送信を実行することができる。いくつかの実施形態では、圧縮を利用するために、ＴＦＡＮ又はＥｄｇｅｂｒｅａｋｅｒを使用して、パッチ接続性を符号化することができる。いくつかの実施形態では、頂点のための平行四辺形予測を使用することができる。いくつかの実施形態では、ＤＰＣＭ符号化を実装する。いくつかの実施形態では、オキュパンシーマップを使用して（例えば、ポイントが存在するかどうかを示すためのフラグを含み、ポイントが頂点であるかどうかを示すためのフラグを使用することによって）頂点リストを符号化する。

パッチ内のポイントのリストは、三角形の頂点であり、メッシュの接続性は、投影の後でも同じである。

（例えばカラーコードに基づいて）接続性を符号化する。いくつかの実施形態では、整数値のリストを符号化する。リスト内の差分パルス符号変調（ＤＰＣＭ）を使用することができる。いくつかの実施形態では、リストを精細化することができるか、又はスマートメッシュ符号化（例えばＥｄｇｅｂｒｅａｋｅｒ）を実装することができる。いくつかの実施形態では、（例えば、Ｅｄｇｅｂｒｅａｋｅｒ又はＴＦＡＮ（両方とも、符号化アルゴリズムである）を使用して）より高度な方法も可能である。

パッチごとに、追加の情報を送信することができる。各パッチ情報内で、接続された成分（例えば頂点）のリストと、２Ｄ空間内の頂点の位置とを送信する。本明細書で説明するように、より効率的な表記法が、面及び頂点のためにＤＰＣＭスキームを使用することができる。

追跡されたメッシュパッチデータユニットは、パッチを使用して、接続性がフレーム相互間で変化しなかったことを示すことができる。これは、特に、追跡されたメッシュの場合に役に立つことができる。というのは、デルタ位置のみを送信するからである。追跡されたメッシュの場合、バウンディングボックスの位置及び回転（四元数を使用する、新たに導入されたシンタックス要素）によって、グローバルモーションをキャプチャすることができ、頂点モーションによって表面モーションをキャプチャする。デルタ頂点情報を送信するためのビットの数は、ＡＦＰＳで送信することができる。代替的に、モーション情報をホモグラフィ変換として送信することができる。

図６に、いくつかの実施形態によるポイントクラウドとメッシュ情報とを組み合わせる例を示す。説明するように、ポイントクラウドとメッシュ情報とを組み合わせることができる。例えば、頭部にはポイントクラウドのみのパッチを使用することができ、一方、身体にはポイントクラウド及びメッシュパッチを使用する。

図７Ａ及び図７Ｂに、いくつかの実施形態による追跡されていないメッシュ情報と追跡されたメッシュ情報とを組み合わせる例を示す。トラッキングの問題を回避するために、いくつかの実装は、メッシュを、追跡された部分と、追跡されていない部分とにセグメント化する。追跡された部分は、時間的に一貫しており、ｔｒａｃｋｅｄ＿ｍｅｓｈ＿ｐａｔｃｈ＿ｄａｔａ＿ｕｎｉｔ（）によって表すことができ、一方、追跡されていない部分は、新たな各フレームであり、ｍｅｓｈ＿ｐａｔｃｈ＿ｄａｔａ＿ｕｎｉｔ（）によって表すことができる。本明細書で説明するようにポイントクラウドをジオメトリに混入することができるので、例えば、元のメッシュを保持して、メッシュの上にポイントクラウドを挿入して欠陥を隠して、表面表現を改善することができる。

図８に、いくつかの実施形態によるＶ－ＰＣＣ画像生成の図を示す。通常、Ｖ－ＰＣＣのために、オキュパンシーマップ及びジオメトリを生成する。圧縮されていないジオメトリから、属性マップを生成する。メッシュを使用して、属性転送を実行することができる。

図９に、いくつかの実施形態によるメッシュ再構築の図を示す。パッチが生成される／受け取られると、接続性は、新たな頂点ナンバリングを使用するが、パッチを一緒に追加することができる。各パッチはミニメッシュに類似しているので、パッチの全てを一緒に結合する。頂点変換があり得るが、パッチを一緒に結合して、メッシュを形成する。しかしながら、頂点のうちのいくつかは、圧縮のために一致しないので、更なるステップを実行すべきである。ジッパリングアルゴリズムを実装して、位置ずれした頂点の問題に対処することができる。

図１０に、いくつかの実施形態によるジッパリングアルゴリズムの図を示す。ジッパリングアルゴリズムは、頂点を境界頂点及び非境界頂点として分類するステップを含む。分類するステップは、他の任意の頂点が特定の方向の頂点に接続するかどうかを判定するなどの任意の方法で実行することができる。次に、境界の最も隣接する境界頂点を決定し、それらの隣接する境界の頂点をマージする（例えば、同じ位置に置く）。更に、Ｖ－ＰＣＣでは、３つの座標のうちの２つを可逆的に符号化するので、ｘ，ｙ，ｚから、座標のうちの２つが正確であることが分かり、これにより、近いポイントを決定するのを助けることができる。同様に、法線座標のみを変えることによって生成される線が互いに交差する場合、２つのポイントは一致するとみなされる。適応的な方法を実装することができる。すなわち、パッチの境界の基準ポイントが与えられると、ポイントは、少なくとも１つの潜在的な候補に出合うまでますます変化することができ、新たな距離を使用して、他のパッチからの候補ポイントを修正し、複数の一致する候補の場合、最大数の一致を生成した値に基準を修正する。新たな修正された基準を用いて、隣接するパッチから最も近い境界画素を探索する。一致が見つかった場合、境界頂点値を基準ポイントに修正し、リストから境界頂点を削除する。そうでない場合には、非境界頂点のリスト内の一致の探索を実行する。一致が見つかった場合、非境界頂点値を基準ポイントに修正する。

図１１に、いくつかの実施形態による頂点を境界又は非境界として分類する図を示す。頂点がオープンエリア（例えば黒色のエリア）に接続される場合、その頂点は境界である。別の例では、頂点に隣接するオキュパンシーマップ内のゼロ値は、頂点が境界頂点であることを示す。

図１２に、いくつかの実施形態による代替の接続性符号化の図を示す。特定の値を使用して、頂点の存在及びエッジの存在を示すことができる。例えば、画像はオキュパンシーマップを示し、このオキュパンシーマップにおいて、パッチのうちの１つは、頂点を示すポイントと、エッジを示す黒い線とを含む。

図１３に、いくつかの実施形態による投影ベースのメッシュ圧縮方法を実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置１３００を使用して、３Ｄコンテンツを含む画像及びビデオなどの情報を、取得、記憶、計算、処理、通信及び／又は表示することができる。コンピュータ装置１３００は、投影ベースのメッシュ圧縮の態様のいずれかを実装することができる。一般に、コンピュータ装置１３００を実装するのに適したハードウェア構造は、ネットワークインターフェイス１３０２、メモリ１３０４、プロセッサ１３０６、Ｉ／Ｏデバイス１３０８、バス１３１０、及び記憶装置１３１２を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ１３０４は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置１３１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード又は他の任意の記憶装置を含むことができる。コンピュータ装置１３００は、１又は２以上のネットワークインターフェイス１３０２を含むことができる。ネットワークインターフェイスの一例は、イーサネット又は他のタイプのＬＡＮに接続されるネットワークカードを含む。Ｉ／Ｏデバイス１３０８は、以下のもの、すなわち、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス及び他のデバイスのうちの１又は２以上を含むことができる。投影ベースのメッシュ圧縮方法を実装するのに使用される投影ベースのメッシュ圧縮アプリケーション１３３０は、記憶装置１３１２及びメモリ１３０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置１３００は、図１３に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、投影ベースのメッシュ圧縮ハードウェア１３２０が含まれる。図１３のコンピュータ装置１３００は、投影ベースのメッシュ圧縮方法のためのアプリケーション１３３０及びハードウェア１３２０を含むが、投影ベースのメッシュ圧縮方法は、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、投影ベースのメッシュ圧縮アプリケーション１３３０は、メモリにプログラムされて、プロセッサを使用して実行される。別の例では、いくつかの実施形態では、投影ベースのメッシュ圧縮ハードウェア１３２０は、投影ベースのメッシュ圧縮方法を実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。

いくつかの実施形態では、投影ベースのメッシュ圧縮アプリケーション１３３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは、１又は２以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。

好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話／携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、移動体デバイス、ビデオプレーヤー、ビデオディスクライター／プレーヤー（例えば、ＤＶＤライター／プレーヤー、高精細ディスクライター／プレーヤー、超高精細ディスクライター／プレーヤー）、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー（例えば、スマートウォッチ）、車両（例えば、自動運転車両）又は他の任意の好適なコンピュータ装置を含む。

投影ベースのメッシュ圧縮方法を利用するために、装置が３Ｄコンテンツを取得又は受信して、３Ｄコンテンツの適切で効率的な表示を可能にするように最適化された方法でコンテンツを処理及び／又は送信する。投影ベースのメッシュ圧縮方法は、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。

動作時、投影ベースのメッシュ圧縮方法は、従来の実装と比較して、より効率的でより正確な投影ベースのメッシュ圧縮を可能にする。

例示的な実装では、１つのみのフレーム及び単一のマップを含むＴＭＣ２ｖ８．０上に、本明細書で説明する投影ベースのメッシュ圧縮を実装した。この実装からの情報は、以下を含む。
ビットストリームスタット（ｓｔａｔ）：
ヘッダ：１６Ｂ１２８ｂ
ｖｐｃｃＵｎｉｔＳｉｚｅ［ＶＰＣＣ＿ＶＰＳ］：３１Ｂ２４８ｂ
ｖｐｃｃＵｎｉｔＳｉｚｅ［ＶＰＣＣ＿ＡＤ］：１９０３９６Ｂ１５２３１６８ｂ
ｖｐｃｃＵｎｉｔＳｉｚｅ［ＶＰＣＣ＿ＯＶＤ］：２９５９１Ｂ２３６７２８ｂ（Ｏｃｍｖｉｄｅｏ＝２９５８３Ｂ）
ｖｐｃｃＵｎｉｔＳｉｚｅ［ＶＰＣＣ＿ＧＶＤ］：５９１０８Ｂ４７２８６４ｂ（Ｇｅｏｖｉｄｅｏ＝５９１００Ｂ）
ｖｐｃｃＵｎｉｔＳｉｚｅ［ＶＰＣＣ＿ＡＶＤ］：１７２４４１Ｂ１３７９５２８ｂ（Ｔｅｘｖｉｄｅｏ＝１７２４３３Ｂ）
ＴｏｔａｌＭｅｔａｄａｔａ：２２００５０Ｂ１７６０４００ｂ
ＴｏｔａｌＧｅｏｍｅｔｒｙ：５９１００Ｂ４７２８００ｂ
ＴｏｔａｌＴｅｘｔｕｒｅ：１７２４３３Ｂ１３７９４６４ｂ
Ｔｏｔａｌ：４５１５８３Ｂ１３７９４６４ｂ
全ビットストリームサイズ４５１５９９Ｂ

投影ベースのメッシュ圧縮のいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
入力メッシュに対してメッシュボクセル化を実行するステップと、
前記メッシュを、ラスタ化されたメッシュ表面と頂点位置及び接続性情報とを含むパッチにセグメント化するパッチ生成を実装するステップと、
前記ラスタ化されたメッシュ表面から、ビデオベースのポイントクラウド圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、
前記頂点位置及び接続性情報を用いてベースメッシュ符号化を実装するステップと、
前記Ｖ－ＰＣＣ画像と前記ベースメッシュ符号化とに基づいて、Ｖ－ＰＣＣビットストリームを生成するステップであって、前記Ｖ－ＰＣＣビットストリームは、ポイントクラウド再構築及びメッシュ再構築のための情報を含む、ステップと、
を含む方法。

２．前記メッシュボクセル化は、負の値及び非整数値を回避するように、メッシュ値をシフト及び／又はスケーリングするステップを含む、第１項に記載の方法。

３．前記メッシュボクセル化は、ゼロを下回る最も低い頂点値を見つけて、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトするステップを含む、第２項に記載の方法。

４．前記パッチ生成を実装するステップは、
三角形ごとの法線を計算するステップであって、前記三角形の前記法線を計算するステップは、エッジ間の外積を使用するステップを含む、ステップと、
前記法線に従って三角形をカテゴリ化するステップと、
隣接する三角形を分析することによって、精細化プロセスを実装するステップと、
を含む、第１項に記載の方法。

５．ポイントクラウドを部分的に含み、かつメッシュを部分的に含むコンテンツを表示するステップを更に含む、第１項に記載の方法。

６．前記ビットストリームに、追跡された頂点のデルタ位置情報が含まれる、第１項に記載の方法。

７．ジッパリングを実装するステップを更に含み、前記ジッパリングを実装するステップは、
頂点を、境界頂点又は非境界頂点として分類するステップと、
前記境界頂点のうちの隣接する境界頂点を決定するステップと、
前記隣接する境界頂点をマージするステップと、
を含む、第１項に記載の方法。

８．装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
入力メッシュに対してメッシュボクセル化を実行するステップと、
前記メッシュを、ラスタ化されたメッシュ表面と頂点位置及び接続性情報とを含むパッチにセグメント化するパッチ生成を実装するステップと、
前記ラスタ化されたメッシュ表面から、ビデオベースのポイントクラウド圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、
前記頂点位置及び接続性情報を用いてベースメッシュ符号化を実装するステップと、
前記Ｖ－ＰＣＣ画像と前記ベースメッシュ符号化とに基づいて、Ｖ－ＰＣＣビットストリームを生成するステップであって、前記Ｖ－ＰＣＣビットストリームは、ポイントクラウド再構築及びメッシュ再構築のための情報を含む、ステップと、
を実行するためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。

９．前記メッシュボクセル化は、負の値及び非整数値を回避するように、メッシュ値をシフト及び／又はスケーリングするステップを含む、第８項に記載の装置。

１０．前記メッシュボクセル化は、ゼロを下回る最も低い頂点値を見つけて、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトするステップを含む、第９項に記載の装置。

１１．前記パッチ生成を実装するステップは、
三角形ごとの法線を計算するステップであって、前記三角形の前記法線を計算するステップは、エッジ間の外積を使用するステップを含む、ステップと、
前記法線に従って三角形をカテゴリ化するステップと、
隣接する三角形を分析することによって、精細化プロセスを実装するステップと、
を含む、第８項に記載の装置。

１２．前記アプリケーションは、ポイントクラウドを部分的に含み、かつメッシュを部分的に含むコンテンツを表示するように更に構成される、第８項に記載の装置。

１３．前記ビットストリームに、追跡された頂点のデルタ位置情報が含まれる、第８項に記載の装置。

１４．前記アプリケーションは、ジッパリングを実装するように更に構成され、前記ジッパリングを実装するステップは、
頂点を、境界頂点又は非境界頂点として分類するステップと、
前記境界頂点のうちの隣接する境界頂点を決定するステップと、
前記隣接する境界頂点をマージするステップと、
を含む、第８項に記載の装置。

１５．システムであって、
３次元コンテンツを取得するための１又は２以上のカメラと、
前記３次元コンテンツを符号化するためのエンコーダであって、前記３次元コンテンツの符号化は、
前記３次元コンテンツの入力メッシュに対してメッシュボクセル化を実行するステップと、
前記メッシュを、ラスタ化されたメッシュ表面と頂点位置及び接続性情報とを含むパッチにセグメント化するパッチ生成を実装するステップと、
前記ラスタ化されたメッシュ表面から、ビデオベースのポイントクラウド圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、
前記頂点位置及び接続性情報を用いてベースメッシュ符号化を実装するステップと、
前記Ｖ－ＰＣＣ画像と前記ベースメッシュ符号化とに基づいて、Ｖ－ＰＣＣビットストリームを生成するステップであって、前記Ｖ－ＰＣＣビットストリームは、ポイントクラウド再構築及びメッシュ再構築のための情報を含む、ステップと、
によって実行される、エンコーダと、
を含むシステム。

１６．前記メッシュボクセル化は、負の値及び非整数値を回避するように、メッシュ値をシフト及び／又はスケーリングするステップを含む、第１５項に記載のシステム。

１７．前記メッシュボクセル化は、ゼロを下回る最も低い頂点値を見つけて、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトするステップを含む、第１６項に記載のシステム。

１８．前記パッチ生成を実装するステップは、
三角形ごとの法線を計算するステップであって、前記三角形の前記法線を計算するステップは、エッジ間の外積を使用するステップを含む、ステップと、
前記法線に従って三角形をカテゴリ化するステップと、
隣接する三角形を分析することによって、精細化プロセスを実装するステップと、
を含む、第１５項に記載のシステム。

１９．前記エンコーダは、ポイントクラウドを部分的に含み、かつメッシュを部分的に含むコンテンツを表示するように更に構成される、第１５項に記載のシステム。

２０．前記ビットストリームに、追跡された頂点のデルタ位置情報が含まれる、第１５項に記載のシステム。

２１．前記エンコーダは、ジッパリングを実装するように更に構成され、前記ジッパリングを実装するステップは、
頂点を、境界頂点又は非境界頂点として分類するステップと、
前記境界頂点のうちの隣接する境界頂点を決定するステップと、
前記隣接する境界頂点をマージするステップと、
を含む、第１５項に記載のシステム。

本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。

１００入力メッシュ
１０２メッシュボクセル化
１０４パッチ生成
１０６Ｖ－ＰＣＣ画像生成
１０８ベースメッシュ符号化
１１０Ｖ－ＰＣＣビットストリーム
１１２ポイントクラウド再構築
１１４メッシュ再構築
２００フレーム
２０２シーケンスバウンディングボックス
２１０ボクセル化されたメッシュ
３００画像
３０２灰色の三角形
３０４白色の三角形
３０６上
３０８前方
４００画像
４０２画像
４０４画像
１３００コンピュータ装置
１３０２ネットワークインターフェイス
１３０４メモリ
１３０６プロセッサ
１３０８Ｉ／Ｏデバイス
１３１０バス
１３１２記憶装置
１３２０投影ベースのメッシュ圧縮ハードウェア
１３３０投影ベースのメッシュ圧縮アプリケーション

Claims

装置の非一時的メモリにプログラムされた方法であって、
入力メッシュに対してメッシュボクセル化を実行するステップと、
前記メッシュを、ラスタ化されたメッシュ表面と頂点位置及び接続性情報とを含むパッチにセグメント化するパッチ生成を実装するステップと、
前記ラスタ化されたメッシュ表面から、ビデオベースのポイントクラウド圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、
前記頂点位置及び接続性情報を用いてベースメッシュ符号化を実装するステップと、
前記Ｖ－ＰＣＣ画像と前記ベースメッシュ符号化とに基づいて、Ｖ－ＰＣＣビットストリームを生成するステップであって、前記Ｖ－ＰＣＣビットストリームは、ポイントクラウド再構築及びメッシュ再構築のための情報を含む、ステップと、
を含むことを特徴とする方法。
前記メッシュボクセル化は、負の値及び非整数値を回避するように、メッシュ値をシフト及び／又はスケーリングするステップを含むことを特徴とする、請求項１に記載の方法。
前記メッシュボクセル化は、ゼロを下回る最も低い頂点値を見つけて、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトするステップを含むことを特徴とする、請求項２に記載の方法。
前記パッチ生成を実装するステップは、
三角形ごとの法線を計算するステップであって、前記三角形の前記法線を計算するステップは、エッジ間の外積を使用するステップを含む、ステップと、
前記法線に従って三角形をカテゴリ化するステップと、
隣接する三角形を分析することによって、精細化プロセスを実装するステップと、
を含むことを特徴とする、請求項１に記載の方法。
ポイントクラウドを部分的に含み、かつメッシュを部分的に含むコンテンツを表示するステップを更に含むことを特徴とする、請求項１に記載の方法。
前記ビットストリームに、追跡された頂点のデルタ位置情報が含まれることを特徴とする、請求項１に記載の方法。
ジッパリング（ｚｉｐｐｅｒｉｎｇ）を実装するステップを更に含み、前記ジッパリングを実装するステップは、
頂点を、境界頂点又は非境界頂点として分類するステップと、
前記境界頂点のうちの隣接する境界頂点を決定するステップと、
前記隣接する境界頂点をマージするステップと、
を含むことを特徴とする、請求項１に記載の方法。
装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
入力メッシュに対してメッシュボクセル化を実行するステップと、
前記メッシュを、ラスタ化されたメッシュ表面と頂点位置及び接続性情報とを含むパッチにセグメント化するパッチ生成を実装するステップと、
前記ラスタ化されたメッシュ表面から、ビデオベースのポイントクラウド圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、
前記頂点位置及び接続性情報を用いてベースメッシュ符号化を実装するステップと、
前記Ｖ－ＰＣＣ画像と前記ベースメッシュ符号化とに基づいて、Ｖ－ＰＣＣビットストリームを生成するステップであって、前記Ｖ－ＰＣＣビットストリームは、ポイントクラウド再構築及びメッシュ再構築のための情報を含む、ステップと、
を実行するためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含むことを特徴とする装置。
前記メッシュボクセル化は、負の値及び非整数値を回避するように、メッシュ値をシフト及び／又はスケーリングするステップを含むことを特徴とする、請求項８に記載の装置。
前記メッシュボクセル化は、ゼロを下回る最も低い頂点値を見つけて、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトするステップを含むことを特徴とする、請求項９に記載の装置。
前記パッチ生成を実装するステップは、
三角形ごとの法線を計算するステップであって、前記三角形の前記法線を計算するステップは、エッジ間の外積を使用するステップを含む、ステップと、
前記法線に従って三角形をカテゴリ化するステップと、
隣接する三角形を分析することによって、精細化プロセスを実装するステップと、
を含むことを特徴とする、請求項８に記載の装置。
前記アプリケーションは、ポイントクラウドを部分的に含み、かつメッシュを部分的に含むコンテンツを表示するように更に構成されることを特徴とする、請求項８に記載の装置。
前記ビットストリームに、追跡された頂点のデルタ位置情報が含まれることを特徴とする、請求項８に記載の装置。
前記アプリケーションは、ジッパリングを実装するように更に構成され、前記ジッパリングを実装するステップは、
頂点を、境界頂点又は非境界頂点として分類するステップと、
前記境界頂点のうちの隣接する境界頂点を決定するステップと、
前記隣接する境界頂点をマージするステップと、
を含むことを特徴とする、請求項８に記載の装置。
システムであって、
３次元コンテンツを取得するための１又は２以上のカメラと、
前記３次元コンテンツを符号化するためのエンコーダであって、前記３次元コンテンツの符号化は、
前記３次元コンテンツの入力メッシュに対してメッシュボクセル化を実行するステップと、
前記メッシュを、ラスタ化されたメッシュ表面と頂点位置及び接続性情報とを含むパッチにセグメント化するパッチ生成を実装するステップと、
前記ラスタ化されたメッシュ表面から、ビデオベースのポイントクラウド圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、
前記頂点位置及び接続性情報を用いてベースメッシュ符号化を実装するステップと、
前記Ｖ－ＰＣＣ画像と前記ベースメッシュ符号化とに基づいて、Ｖ－ＰＣＣビットストリームを生成するステップであって、前記Ｖ－ＰＣＣビットストリームは、ポイントクラウド再構築及びメッシュ再構築のための情報を含む、ステップと、
によって実行される、エンコーダと、
を含むことを特徴とするシステム。
前記メッシュボクセル化は、負の値及び非整数値を回避するように、メッシュ値をシフト及び／又はスケーリングするステップを含むことを特徴とする、請求項１５に記載のシステム。
前記メッシュボクセル化は、ゼロを下回る最も低い頂点値を見つけて、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトするステップを含むことを特徴とする、請求項１６に記載のシステム。
前記パッチ生成を実装するステップは、
三角形ごとの法線を計算するステップであって、前記三角形の前記法線を計算するステップは、エッジ間の外積を使用するステップを含む、ステップと、
前記法線に従って三角形をカテゴリ化するステップと、
隣接する三角形を分析することによって、精細化プロセスを実装するステップと、
を含むことを特徴とする、請求項１５に記載のシステム。
前記エンコーダは、ポイントクラウドを部分的に含み、かつメッシュを部分的に含むコンテンツを表示するように更に構成されることを特徴とする、請求項１５に記載のシステム。
前記ビットストリームに、追跡された頂点のデルタ位置情報が含まれることを特徴とする、請求項１５に記載のシステム。
前記エンコーダは、ジッパリングを実装するように更に構成され、前記ジッパリングを実装するステップは、
頂点を、境界頂点又は非境界頂点として分類するステップと、
前記境界頂点のうちの隣接する境界頂点を決定するステップと、
前記隣接する境界頂点をマージするステップと、
を含むことを特徴とする、請求項１５に記載のシステム。