JP2023513564A - 点群圧縮のためのティア化階層コード化の使用 - Google Patents

Abstract

三次元点群を符号化する方法。方法は、三次元点群内の点のセットを取得することであって、点のセット内の点は三次元座標を有する、取得することと、点を二次元表現に変換することであって、点のセット内の点について、座標を記述する情報が、二次元表現内の位置および位置における値として表される、変換することと、ティアベースの階層を使用して二次元表現を符号化し、符号化されたデータを出力することであって、ティアベースの階層コード化フォーマットが、二次元表現を複数のレイヤとして符号化し、複数のレイヤが、信号を異なる品質レベルで漸進的に再構成するために使用されるデータの階層を表す、出力コード化フォーマットすることと、を含む。【選択図】図８

Description

本発明は、非限定的な例として、６自由度（ＤｏＦ）ボリュメトリックビデオのための点群表現などの点群信号を処理するための方法に関する。データ処理は、以下に限定されないが、階層（ティアベース）コード化フォーマットの文脈で信号を取得すること、導出すること、符号化すること、出力すること、受信すること、および再構成することを含み得、信号は、品質レベルが順に高くなるティアに復号され、再構成されたデータの後続のティア（「階層」）が活用され、結合される。信号の異なるティアは、単一のビットストリームに多重化されている、またはされていない場合がある、異なるエレメンタリストリームによって、異なるコード化フォーマットでコード化され得る。

近年、ボリュメトリック「没入型」現実を表現するために点群信号を活用するアプリケーションの数が増加していて、これをリアルタイムでレンダリングすることができ、視聴者は再生中に視点を動的に変更することができる。これは、仮想または拡張（ＶＲ／ＡＲ）文脈において特にインパクトが大きいが、二次元（２Ｄ）ディスプレイにも適用可能であり、例えば、ディスプレイデバイスが視聴者の頭を追跡することを可能にすることにより、画面に表示される視点を視聴者の頭の動きに基づいて変更することができる。

特定のアプリケーションは、点群情報の効率的な符号化、伝送、保存、および復号を必要とする。この情報は、通常、多次元空間（例えば、三次元（３Ｄ）空間、経時的な３Ｄ空間など）内の点のセットを含む。したがって、没入型点群信号は、没入型６ＤｏＦ立体映像などの独特なユーザエクスペリエンスを可能にするが、同時に極めて大量のデータを必要とする。点群内の各点は、いくつかの異なる特性、例えば、（ｘ，ｙ，ｚ）位置、座標計算の基準点、その位置にある物体の表面を最良に補間する表面に対する複数の法線ベクトル（任意の所与の視点について、その点が知覚可能なサイズのボリュームを表す場合）、複数の色（例えば、右目対左目など、異なる角度から見られた色を含む）、その点の動き情報、基準系の動き情報、その特定の位置における信号の他の属性などを有し得る。これらの属性のうちの一部は、従来の画像または動画の画素値を表すために通常使用される８ビットまたは１０ビットよりも高いビット深度を必要とし得る。この情報は、通常、効率的に伝送および保存することが困難であり、圧縮に関して複数の課題をもたらし、課題は、これに限定されないが、処理能力要件を含む。例えば、疎な点群が空間のほんの一部しか占めていないにもかかわらず、可能な三次元空間全体を表すデータ構造が必要とされ得る。また、点群信号の具体的なフォーマットはユースケースごとに異なり得ることから、各タイプの点群信号に１００％専用のハードウェアベースの圧縮方式を定義することは実用的ではない。

ＭＰＥＧ内の標準化努力の最近の主題でもある点群データ圧縮の最先端の方法は、２つの異なる方法、すなわち、ボリュメトリックデータを（例えば、八分木構造を用いて）表現しようとするか、または、二次元（または、深度情報の追加に言及して、いわゆる「２．５Ｄ」）表面に変換される点群の部分を符号化するように、既存の離散コサイン変換（ＤＣＴ）ベースの動画コーデックを転用しようとするかのいずれかに基づいている。そうすることで、これらの方法は、２Ｄ動画を符号化および復号するために既に利用可能である６ＤｏＦデータハードウェアのために再利用され得る。しかしながら、これらの手法は、非常に異なる目的のために開発されたハードウェアを再利用することの制約にまさに起因して、符号化可能な解像度、使用可能なビット深度の精度、および符号化可能なデータの全体量の点で制限を課す。

第１の態様によれば、独立請求項１に記載の三次元点群を符号化する方法が提供される。

第２の態様によれば、独立請求項１５に記載の三次元点群を復号する方法が提供される。

従属特許請求には、好ましい実施形態が記載されている。他の特許請求されていない態様もまた、以下で説明される。

例示的な点群符号化および復号パイプラインの高度な概略図を示す。 階層解体プロセスの高度な概略図を示す。 階層解体プロセスの他の高度な概略図を示す。 ティア化された出力の残差を符号化するのに好適な符号化プロセスの高度な概略図を示す。 図４からの各出力レベルを復号するのに好適な階層復号プロセスの高度な概略図を示す。 階層コード化技術の符号化プロセスの高度な概略図を示す。 図６の出力を復号するのに好適な復号プロセスの高度な概略図を示す。 三次元点群を符号化する方法を示すフローチャートである。 三次元点群を復号する方法を示すフローチャートである。 三次元点群の複数の異なるビューの高度な概略図を示す。 投影された二次元表現を構築するために点群のビューを使用することの高度な概略図を示す。 各レイヤからの符号化データのすべてを復号する必要がないように関心領域を示すことができる方法の高度な概略図を示す。

本明細書おいて説明される実施形態は、６ＤｏＦ点群データを効率的に圧縮するようにティアベースの階層コード化方法を効果的に活用すること、および適合させることを可能にする。

ティアベースの階層コード化のいくつかの利点は、符号化効率、大規模並列処理（例えば、グラフィカルプロセッシングユニット（ＧＰＵ））を介した高速ソフトウェア処理への適合性、非常に高い解像度およびビット深度で信号を符号化および復号できること（すなわち、シリコン内にいかなる制約も「ハードワイヤリング」することなく）、漸進的な復号（すなわち、最大よりも低い解像度で復号プロセスを止められること）、ならびに関心領域復号（すなわち、信号全体の復号プロセスを必ずしも完了することなく、信号のある領域を完全に復号する可能性）を含む。

ティアベースのコード化フォーマットでは、信号は、元の信号のサンプリングレートの最上層から、通常、元の信号よりも低いサンプリングレートを有する最下層まで、複数のデータの「階層」（「階層ティア」または「レイヤ」としても知られている）に分解され、各々が信号の「品質レベル」（「ＬｏＱ」）に対応する。信号がピクチャである非限定的な例では、最下層は元のピクチャのサムネイルであり得るか、または単一のピクチャ要素であり得る。他の階層には、最終出力を生成するために、再構成されたレンダリングに適用される補正に関する情報が含まれている。所与の品質レベルの復号された信号は、まず最下層を復号し（したがって、第１の（最も低い）品質レベルの信号を再構成し）、次に第２の（次のより高い）品質レベルの信号のレンダリングを予測し、次に、対応する、再構成データの第２の階層（第２の品質レベルの「残差データ」としても知られている）を復号し、次に、予測結果を再構成データと結合して第２の（より高い）品質レベルの信号のレンダリングを再構成することを、所与の品質レベルが再構成されるまで以下同様に行うことによって再構成される。

異なるデータ階層は異なるコード化フォーマットを使用してコード化され得、異なる品質レベルは異なるサンプリングレートを有し得る（例えば、画像またはビデオ信号の場合、解像度）。後続の階層は、信号の同じ信号解像度（すなわち、サンプリングレート）を指し得、または漸進的に高くなる信号解像度を指し得る。図２～７に付随する説明は、例示的なティアベースのコード化フォーマットをさらに詳細に説明する。

本発明の非限定的な実施形態は、時間サンプルのシーケンスとして信号を参照することによって、ティアベースのコード化フォーマットのそのような利点を利用する（すなわち、６ＤｏＦ点群の場合、特定の時点におけるボリュームの状態は、ボリュメトリック動画シーケンス内のフレームに緩く対応する）。説明において、「点群」、「ボリュメトリックイメージ」、「ボリュメトリックピクチャ」、「ボリューム」、または「平面」（「超平面」の最も広い意味が意図され、すなわち、任意の数の寸法および所与のサンプリンググリッドを有する要素の配列）という用語が、サンプルシーケンスに沿った信号のサンプルのデジタルレンダリングを識別するためにしばしば使用され、各平面は、平面の寸法（例えば、Ｘ、Ｙ、Ｚ、および視点）の各々について所与の解像度を有し、１つ以上の「値」または「設定」（例えば、非限定的な例として、好適な色空間における色設定、アルファチャンネル透明度レベルを示す設定、表面の法線ベクトルを示す設定、動きを示す設定、濃度レベルを示す設定、温度レベルを示す設定など）によって特徴付けられる平面要素（または「要素」、「絵素」、もしくは「ボクセル」と呼ばれることが多い三次元画像の表示要素など）のセットを含む。各平面要素は、ボリュメトリック画像のサンプリンググリッド内の当該要素の整数位置を示す好適な座標のセットによって識別される。信号の次元は、空間次元のみを含むことができ（例えば、６ＤｏＦ画像の場合）、または時間次元を含むこともできる（例えば、６ＤｏＦ没入型ビデオ信号など、経時的に進展する信号の場合）。

非限定的な例として、信号は、３ＤｏＦ／６ＤｏＦビデオ信号、プレノプティック信号、イベント駆動型カメラ信号、他のタイプのボリュメトリック信号（例えば、医療イメージング、科学的イメージング、ホログラフィックイメージングなど）、または、場合よってはより多くの次元を有する信号であり得る。

簡潔にするために、本明細書に例示される非限定的な実施形態は、設定のモノスコピックまたはステレオスコピック２Ｄ平面（例えば、好適な色空間内の２Ｄ画像）としてある視点からレンダリングされる信号、例えば、６ＤｏＦ ＶＲビデオ信号または６ＤｏＦビデオ信号などを指すことが多い。「フレーム」という用語は、６ＤｏＦ点群信号の時間サンプルを指して、「画像」という用語と同義に使用される。６ＤｏＦビデオ信号について例示される任意の概念および方法が、他のタイプの点群信号にも容易に適用可能であり得、逆も同様である。本明細書に例示される実施形態の焦点は６ＤｏＦ点群ビデオ信号にあてられているが、当業者は、同じ概念および方法を、任意の他のタイプの多次元信号（例えば、プレノプティック信号、ＬＩＤＡＲ、イベント駆動型カメラ、ホログラムなど）にも適用できることを容易に理解することができる。

高いレベルでは、点群データは、複数のより低い次元（例えば、二次元）の表現として点群データが表現されるように処理される（例えば、変換される）。したがって、点群データは、より低い次元の表現内で対応する値を有する位置として表すことができる（すなわち、その位置における値）。次いで、より低い次元の表現が、ティアベースの階層コード化フォーマットを使用して符号化される。復号するためには、より低い次元の表現から点群データが再構成され得る。これらの例では、より低い次元の表現は、空間に関してより少ない数の次元を含み得る（例えば、一連の２Ｄフレームとして３Ｄ点群を表す）。

より詳細には、実施形態では、符号化方法は、多次元（例えば、三次元）点群内の点（例えば、所与の基準点に関して参照される要素）を取得することを含む。点は、より低い次元の表現（例えば、二次元表現）に変換される。点に関連するさらなる情報が、より低い次元の表現内での位置、およびその位置における対応する値として表される。例えば、これは、２Ｄフレーム内の画素位置であり得、その画素はまた、値として符号化されたメタデータを有する。より低い次元の表現は、ティアベースの階層コード化フォーマットを使用して符号化され、符号化されたデータが生成される。このようにして、より低い次元の表現は、複数のレイヤとして符号化される。複数のレイヤは、異なる品質レベルで信号を漸進的に再構成するために使用され得るデータの階層を表す。このようにすることで、３Ｄ点群は、より低い解像度の表現（例では、より低い空間分解能の２Ｄ「ビュー」）を使用して効果的に符号化される。

そのようなデータを復号するために、符号化されたデータは、より低い次元の表現から、三次元点群内の点の三次元座標を決定するように処理される。処理は、三次元点群内の点のセットの他の関連付けられた属性をさらに決定し得る。

実施形態では、より低い次元の表現に対してティア化階層コード化が実行される。以下、好適なティア化階層コード化の例をさらに詳細に説明する。

本明細書において説明される特定の例は、信号を符号化および復号するための方法に関する。データの処理は、データを取得すること、導出すること、出力すること、受信すること、および再構成することを含み得るが、これらに限定されない。

本明細書において説明される特定のティアベースの階層フォーマットは、オリジナルに最良に相似する（または、ロスなく再構成される）所与の品質レベルの信号の再構成を生成するために、（例えば、「残差データ」または単に「残差」の形態の）可変補正量を使用する。補正量は、所与の品質レベルの予測レンダリングの忠実度に基づき得る。残差は異なる品質レイヤの表現間で計算され、したがって、異なる品質レベルの共通の画素群について計算されるレイヤ間残差の形態とみなされ得る。

好ましい例では、エンコーダまたはデコーダはティアベースの階層コード化方式またはフォーマットの一部である。ティアベースの階層コード化方式の例は、ＬＣＥＶＣ：ＭＰＥＧ－５ Ｐａｒｔ ２ ＬＣＥＶＣ（「Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」）およびＶＣ－６：ＳＭＰＴＥ ＶＣ－６ ＳＴ－２１１７を含み、前者はＰＣＴ／ＧＢ２０２０／０５０６９５（および関連する規格文書）に説明されており、後者はＰＣＴ／ＧＢ２０１８／０５３５５２（および関連する規格文書）に説明されており、これらはすべて参照により本明細書に援用される。しかしながら、本明細書に例示される概念をこれらの具体的な階層コード化方式に限定する必要はない。

図１は、点群データのための階層コード化方式を例示する。特に、図１は、符号化および復号パイプラインの例を示している。点群１０１を定義するデータが階層エンコーダ１０２によって受信される。階層エンコーダ１０２は、図２～７を参照して以下で説明される階層エンコーダの適合されたバージョンによって符号化され得るように、点群データを処理する。ある場合では、データは、点群８０１のビューを生成すること（例えば、３Ｄの点の２Ｄビューをレンダリングすること）を含み得、他の場合では、点を表すデータ構造（例えば、点のセットの座標および特性のインデックス付きリスト）を生成することを含み得る。本明細書に記載される点への言及は、表面要素モデルにも適用される。階層エンコーダ１０２は、点群を定義する処理されたデータを取得し、符号化されたデータ１０３のセットを生成する。

ある場合では、階層エンコーダ１０２およびデコーダ１０４は、ＳＭＰＴＥ ＶＣ－６規格フォーマット（ＳＴ－２１１７（以下、「ＶＣ－６」））に基づくことができる。以下において、図２～５はＳＭＰＴＥ ＶＣ－６ ＳＴ－２１１７の実装と類似する例を示す。ＳＭＰＴＥ ＶＣ－６規格フォーマット（ＳＴ－２１１７）は、参照により本明細書に援用されるＰＣＴ／ＧＢ２０１８／０５３５５２で説明されている。他の例では、階層エンコーダ１０２およびデコーダ１０４は、ＬＣＥＶＣ ＭＰＥＧ－５ Ｐａｒｔ２規格（以下、「ＬＣＥＶＣ」）に基づくことができる。図６および７は、ＭＰＥＧ－５ Ｐａｒｔ２ ＬＣＥＶＣの実装と類似する例を提供する。どちらの例のセットも、共通の基礎動作（例えば、ダウンサンプリング、アップサンプリング、および残差生成）を利用し、モジュール実装技術を共有し得ることが分かり得る。

階層エンコーダ１０２は、点群１０１の１つ以上のビューを取得または生成し、これらのビューを、１つ以上のフレームのためのカスタムデータ平面として符号化し得る。カスタムデータ平面は、比較動画符号化において使用される３つの色平面を置き換え得る（例えば、ＹＵＶまたはＲＧＢ平面を置き換え得る）。カスタムデータ平面は、深度情報および他の特性値の符号化を可能にし得る。例えば、点群のビューは、三次元点の投影二次元表現として生成され得、位置を定義する二次元表現の２つの次元およびその位置における値は、点の三次元座標を再構成することを可能にする。例えば、ある場合では、二次元表現は特定のビューの深度マップを含み得、値はビュー内の点の深度を表す。他の場合では、異なる位置からの異なる視点方向を有する複数の二次元ビューが、例えば、複数の色平面に似た複数の「平面」として生成され得る。これらの複数のビューを使用して、元の三次元座標を再構成することができる。

特定の場合では、分類的特性がこれらのカスタムデータ平面内に数値として符号化され得、また、法線ベクトル、色情報、透明度情報、動きベクトルなどの態様が複数のデータ平面を使用して符号化され得る（例えば、法線ベクトルの要素ごとに１つの平面）。複数のデータフレームは動画の１つのフレーム（Ｆ）に関連付けられ得、次いで、動画の１つのフレームは、従来の動画フレームの色平面に倣って階層エンコーダ１０２によって符号化され得る。本明細書において説明されるティアベースの符号化フォーマットなどの技術は、４つ以上の成分平面を有する動画のフレームの符号化に容易に拡張可能である。これは、通常は色平面が並列して符号化されるため、同じ手法を使用してカスタムデータ「平面」を追加し、同様に並列して符号化できるからである。点群１０１が疎である場合、単一のビューしか必要とされない場合がある。点が二次元ビュー内で重複する場合、複数のビューが生成され得、特定のビューに最も近い点がビュー値として符号化され得る。単一のフレームまたは複数のフレームの複数のカスタムデータ平面として表され得る複数のビューからのデータを結合することによって、曖昧さ（またはオクルージョン）を解消し、元の点群を復元できる。その詳細を、以下により詳しく説明する。

階層エンコーダ１０２が一連のカスタムデータ平面として三次元点群を表現した後、これらのカスタムデータ平面によって構成される動画データの「フレーム」は、ＶＣ－６またはＬＣＥＶＣなどのティアベースのコード化フォーマットにおいて通常行われているように符号化され得る。これらのティアベースのコード化フォーマットでは、より低い品質レベルでの元のデータの表現である基本レベルまたはコアレベルが生成され、また、基本レベルデータの復号されたバージョンを使用してより高い品質レベルで元のデータを再現するために使用され得る１つ以上の残差レベルが生成される（例えば、所与の品質レベルのための残差が、基本レベルデータの復号されたバージョンに加えられ得る）。概して、本明細書で使用される「残差」という用語は、基準配列または基準フレームの値と、実際のデータ配列またはデータフレームとの間の差異を指す。配列は、コード化単位を表す一次元または二次元配列であり得る。例えば、コード化ユニットは、入力動画フレームの同様のサイズの領域に対応する２×２または４×４残差値セットであり得る。

図２～５は、上記のようにＶＣ－６に概ね対応する階層コード化方式を示している。そのような符号化技術では、残差データは、漸進的により高いレベルの品質において使用される。この提案された技術において、コアレイヤは、点群の符号化されたデータの平面を第１の解像度で表し、ティア化階層における後続のレイヤは、復号側がより高い解像度でデータ平面を再構成するために必要な残差データまたは調整レイヤである。各レイヤまたはレベルは階層インデックスと称され得、残差データは、より低い階層インデックスに存在する低品質情報を補正するために必要なデータである。この階層手法における各レイヤまたは階層インデックス、特に各残差レイヤは、多くのゼロ値要素を有する比較的疎なデータセットであることが多い。階層インデックスに言及する場合、すべての階層またはそのレベルのすべての成分セットをまとめて指しており、例えば、その品質レベルで行われる変換ステップから生じるすべてのサブセットをまとめて指す。

この特定の階層的な様式では、説明されているデータ構造は、前のまたは進行中の品質レベルに対するあらゆる要件または依存関係を取り除く。品質レベルは別々に符号化および復号され得、また他の層を参照することなく符号化および復号され得る。したがって、より高い品質レベルを復号するために最も低い品質レベルを復号する必要がある多くの既知の他の階層符号化方式とは対照的に、説明される方法論はいかなる他のレイヤの復号も必要としない。それにもかかわらず、以下に説明する情報交換の原理は、他の階層コード化方式にも適用可能であり得る。

図２に示されるように、符号化されたデータは、本明細書では概して階層インデックスと称されるレイヤまたはレベルのセットを表す。図２～５は、１つのデータ「平面」２１０を含むデータフレームの符号化を参照して説明されるが、親データ平面の各データ平面について、説明されている手法を並列して繰り返すことによって、フレームごとに複数のデータ平面が符号化され得る。基本またはコアレベルは、品質または解像度の最も低いレベルにおいてではあるが、元のデータ平面２１０を表し、後続の残差データ階層をコア階層インデックスのデータと結合することで、漸進的に高くなる解像度で元の画像を再現することができる。

コア階層インデックスを作成するには、その階層コード化動作で使用されるレベルの数または階層インデックスの数に対応する数のダウンサンプリング動作２０１を使用して、入力データ平面２１０がダウンサンプリングされ得る。階層構造内のレベルの数よりも１つ少ない数のダウンサンプリング動作２０１が必要とされる。本明細書に例示されるすべての例において、４つの出力符号化データのレベルまたは階層インデックス、およびこれに対応して３つのダウンサンプリング動作が存在するが、当然ながら、これらは例示のためのものにすぎないことが理解されるであろう。ここで、ｎはレベルの数を示し、ダウンサンプラの数はｎ－１である。コアレベルＲ１－ｎは第３のダウンサンプリング動作の出力である。上記のように、コアレベルＲ１－ｎは、最も低い品質レベルでの入力データ平面の表現に対応する。

ダウンサンプリング動作２０１を区別するために、各ダウンサンプリング動作は、動作が入力データ２１０に対して行われる順番で、または動作の出力が表すデータによって呼称される。例えば、例における第３のダウンサンプリング動作２０１１－ｎは、その出力がコア階層インデックスまたは階層１－ｎを生成するので（すなわち、このレベルのすべての階層のインデックスが１－ｎ）、コアダウンサンプラとも称され得る。したがって、この例では、第１のダウンサンプリング動作２０１－１はＲ－１ダウンサンプラに対応し、第２のダウンサンプリング動作２０１－２はＲ－２ダウンサンプラに対応し、第３のダウンサンプリング動作２０１１－ｎはコアまたはＲ－３ダウンサンプラに対応する。

図２に示されるように、コア品質レベルＲ１－ｎを表すデータに対して、本明細書ではコアアップサンプラと称されるアップサンプリング動作２０２１－ｎが実行される。第２のダウンサンプリング動作２０１－２の出力（Ｒ－２ダウンサンプラの出力、すなわち、コアダウンサンプラへの入力）とコアアップサンプラ２０２１－ｎの出力との間の差２０３－２が第１の残差データＲ－２として出力される。したがって、この第１の残差データＲ－２は、コアレベルＲ－３と、そのレベルを作成するために使用された信号との間の誤差を表す。この例では、信号自体に対して２つのダウンサンプリング動作が実行されているため、第１の残差データＲ－２は、コア品質レベルよりも高く、入力データ平面２１０よりも低いレベルで元の信号を再現するのに使用することができる調整レイヤである。

より高い品質レベルを表す残差データを作成する方法のバリエーションが図２および３に概念的に例示されている。

図２では、第２のダウンサンプリング動作２０１－２（またはＲ－２ダウンサンプラ、すなわち、第１の残差データＲ－２を作成するために使用される信号）の出力がアップサンプリング２０２－２され、第２のダウンサンプリング動作２０１－２（またはＲ－２ダウンサンプラ、すなわち、Ｒ－１ダウンサンプラの出力）への入力との間の差２０３－１が、第１の残差データＲ－２の作成とほぼ同じ方法で計算される。したがって、この差は、第２の残差データＲ－１であり、より低いレイヤからのデータを使用してより高い品質レベルで元の信号を再現するために使用することができる調整レイヤを表す。

しかしながら、図３のバリエーションでは、第２のダウンサンプリング動作２０１－２（またはＲ－２ダウンサンプラ）の出力を第１の残差データＲ－２と結合するか、または足し合わせる３０４－２ことでコアアップサンプラ２０２１－ｎの出力が再現される。このバリエーションでは、ダウンサンプリングされたデータではなく、この再現されたデータがアップサンプリング２０２－２される。アップサンプリングされたデータは、同様に、第２のダウンサンプリング動作（またはＲ－２ダウンサンプラ、すなわち、Ｒ－１ダウンサンプラの出力）への入力と比較２０３－１され、第２の残差データＲ－１を作成する。

図２および３の実装間の違いの結果、２つの実装間で残差データがわずかに異なる。図２は、並列化のより大きなポテンシャルからの利益を享受する。

第３の残差Ｒ０を作成するためにプロセスまたはサイクルが繰り返される。図２および３の例では、出力残差データＲ０（すなわち、第３の残差データ）は最も高いレベルに対応し、入力データ平面を再現するためにデコーダにおいて使用される。このレベルでは、差分動作は、第１のダウンサンプリング動作への入力と同じ入力データ平面に基づくものである。

図４は、データの各レベルまたは階層インデックスを符号化して、階層インデックスを有するデータの符号化された階層のセットを生成するための符号化プロセス４０１の例を例示する。この符号化プロセスは、各レベルを符号化するための好適な符号化プロセスの例にすぎないが、任意の好適な符号化プロセスが使用され得ることが理解されよう。プロセスへの入力は、図２または３から出力される残差データのそれぞれのレベルであり、出力は、符号化された残差データの階層のセットであり、符号化された残差データの階層は合わせて、符号化されたデータを階層的に表す。

第１のステップでは、変換４０２が実行される。変換は、ＷＯ２０１３／１７１１７３において説明されているような方向性分解変換、またはウェーブレットもしくは離散コサイン変換であり得る。方向性分解変換を使用する場合、４つの成分のセット（変換された係数とも称される）が出力され得る。階層インデックスに言及するとき、それは、すべての方向（Ａ、Ｈ、Ｖ、Ｄ）、すなわち、４つの階層にまとめて言及している。次いで、エントロピー符号化の前に、成分のセットが量子化される４０３。この例では、エントロピー符号化動作４０４はスパース化ステップ４０５に結合され、スパース化ステップ４０５は、残差データのスパース性を利用して全体的なデータサイズを減少させ、データ要素を順序付けされた四分木にマッピングすることを伴う。エントロピーコード化およびスパース化のかかる結合は、ＷＯ２０１９／１１１００４でさらに説明されているが、かかるプロセスの正確な詳細は本発明の理解には関連しない。各残差配列を階層とみなすことができる。

以上の処理は、ＳＭＰＴＥ ＳＴ ２１１７，ＶＣ－６ Ｍｕｌｔｉｐｌａｎａｒ Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔに従う再構成のためのデータの符号化に好適な符号化プロセスに対応する。ＶＣ－６は、それぞれ独立したサイズの任意の整数要素グリッドの順序付けされたセットを圧縮することができる、柔軟な多重解像度Ｉｎｔｒａ－Ｏｎｌｙビットストリームフォーマットであるが、ピクチャ圧縮のためにも設計されている。圧縮にデータ非依存技術を採用しており、低ビット深度ピクチャまたは高ビット深度ピクチャを圧縮することができる。ビットストリームのヘッダは、ピクチャに関する様々なメタデータを含むことができる。

各階層または階層インデックスは、別個のエンコーダまたは符号化動作を使用して実装され得ることが理解されよう。同様に、符号化モジュールは、残差データを生成し、その後、残差を符号化するために、ダウンサンプリングステップおよび比較ステップに分割され得、または代替的に、階層の各ステップが結合された符号化モジュールとして実装され得る。したがって、プロセスは、例えば、各階層インデックスのために１つずつの４つのエンコーダ、１つのエンコーダおよび並列もしくは直列に動作する複数の符号化モジュール、または複数の異なるデータセットに対して繰り返し動作する１つのエンコーダを使用して実装され得る。

次に、上記の例示的なプロセスを使用して符号化された元のデータ平面を再構成する例を示す。この再構成プロセスはピラミッド型再構成とも称され得る。有利なことに、この方法は、例えば、異なる画像サイズまたは解像度レベルに対応する異なる成分セットを個別に復号し、１つの復号された成分セットからの詳細を、より低い解像度の成分セットからのアップスケールされた復号されたデータと結合することによって、データストリームによって受信され得る、受信されたデータセットに符号化されたデータ平面を再構成するための効率的な技術を提供する。したがって、２つ以上の成分セットに対してこのプロセスを実行することによって、最も高い解像度の成分セットの完全なまたはすべての詳細を受信することを必要とせずに、漸進的に高くなる解像度または多くなる画素数のためにデータ平面内の構造または詳細を再構成することができる。むしろ、この方法は、より低い解像度の成分セットからデータ平面を段階的に再構成しながら、徐々に高くなる解像度の詳細を漸進的に追加することを容易にする。

さらに、各成分セットの復号は、受信される成分セットの並列処理を別々に容易にし、したがって、複数のプロセスが利用可能である実装での再構成速度および効率を向上させる。

各解像度レベルは、品質レベルまたは階層インデックスに対応している。これは総称であり、すべての新しい入力または受信された成分セットを記述する平面（この例では、整数値要素のグリッドの表現）、およびインデックスｍのサイクルのための出力再構成画像に関連付けられている。例えば、階層インデックスゼロの再構成画像は、ピラミッド型再構成の最終サイクルの出力である。

ピラミッド型再構成は、初期階層インデックスから開始し、新しい残差によって、階層インデックスゼロの最大品質（品質ゼロ）まで、より高い階層インデックスを導出するためにサイクルを使用して逆ピラミッドを再構成するプロセスであり得る。サイクルは、そのようなピラミッド再構成におけるステップと考えることができ、ステップはインデックスｍによって識別される。ステップは、典型的には、存在し得る前のステップから出力されたデータをアップサンプリングすること、例えば、復号された第１の成分セットをアップスケーリングすることを含み、存在し得る次のステップでアップサンプリングされる出力データを取得するために、さらなる入力として新しい残差データを使用する。第１および第２の成分セットのみが受信される場合、階層インデックスの数は２であり、存在し得る次のステップは存在しない。しかしながら、成分セットまたは階層インデックスの数が３以上である例では、出力データは後続するステップにおいて漸進的にアップサンプリングされ得る。

第１の成分セットは、典型的には、階層インデックス１－Ｎによって示され得る初期階層インデックスに対応し、ここで、Ｎは平面内の階層インデックスの数である。

典型的には、復号された第１の成分セットのアップスケーリングは、初期階層インデックスの復号手順の出力にアップサンプラを適用することを含む。例では、これは、初期階層インデックス成分セットの復号からの再構成ピクチャ出力の解像度を、２－Ｎに対応する第２の成分セットの解像度に適合させることを含む。典型的には、より低い階層インデックス成分セットからのアップスケールされた出力は、より高い階層インデックス解像度の予測平面に対応する。より低い解像度の初期階層インデックス平面およびアップサンプリングプロセスに起因して、予測平面は、典型的には、データの平滑化されたまたはぼかされたバージョンに対応する。

この予測平面に追加されることで、上の階層インデックスからのより高い解像度の詳細は結合された再構成平面セットを提供する。有利には、１つ以上のより高い階層インデックス成分セットのための受信された成分セットが残差データ、またはアップスケールされた予測データ平面と、元の圧縮されていない、もしくは符号化前のデータ平面との間の画素値差を示すデータを含む場合、所与の解像度または品質のデータセットを再構成するために必要とされる受信データの量は、他の技術を使用して同じ品質データ表現を受信するために必要とされるデータの量またはレートよりも大幅に少なくなり得る。したがって、本方法に従って、より低い解像度で受信された詳細度が低い平面データと、徐々に高い解像度で受信される、漸進的に詳細度が高くなる平面データとを結合することによって、データレート要件が低減される。

典型的には、符号化されたデータのセットは１つ以上のさらなる成分セットを含み、１つ以上のさらなる成分セットの各々は、第２の成分セットよりも高いデータ平面解像度に対応し、また、１つ以上のさらなる成分セットの各々は、漸進的に高くなるデータ平面解像度に対応し、方法は、１つ以上のさらなる成分セットの各々について、成分セットを復号して、復号されたセットを取得することを含み、方法は、１つ以上のさらなる成分セットの各々について、対応するデータ平面解像度の昇順に、さらなる成分セットの対応するデータ平面解像度に等しくなるように、再構成されたセットの対応するデータ平面解像度を増加させるために、最も高い対応するデータ平面解像度を有する再構成されたセットをアップスケーリングすることと、再構成されたセットをさらなる成分セットと結合して、さらなる再構成されたセットを生成することと、をさらに含む。

このようにして、方法は、所与の成分セットレベルまたは階層インデックスの再構成されたデータ平面出力を取得することと、その再構成されたセットをアップスケーリングすることと、アップスケーリングしたものを、上の成分セットまたは階層インデックスの復号された出力と結合して、新しいより高い解像度の再構成されたピクチャを生成することとを含み得る。受信されたセット内の成分セットの総数に応じて、漸進的に高くなる階層インデックスのために、これが繰り返し実行され得ることが理解されよう。

典型例では、各成分セットは、漸進的に高くなるデータ平面解像度に対応し、各漸進的にデータ平面画像解像度は、対応するデータ平面内のデータ位置（画素に類似）の数の４倍に対応する。したがって、典型的には、所与の成分セットに対応するデータ平面サイズは、下の成分セット、すなわち、当該階層インデックスよりも１つ少ない階層インデックスを有する成分セットに対応するデータ平面のサイズもしくは画素数の４倍、または高さの２倍および幅の２倍である。例えば、各対応するデータ平面の線形サイズが、下のデータ平面サイズに対して２倍である受信された成分セットのセットは、より単純なアップスケーリング動作を容易にし得る。

例示される例では、さらなる成分セットの数は、２である。したがって、受信されたセット内の成分セットの総数は４である。これは、初期の階層インデックスが階層－３であることに対応する。

第１の成分セットは基本データ平面符号化に対応し得、第２の成分セットおよび任意のさらなる成分セットは残差データに対応する。上述したように、方法は、最も低い階層インデックス、すなわち第１の成分セットが、伝送されるデータ平面の低解像度、またはダウンサンプリングされたバージョンを含む場合に、所与のデータ平面サイズに対して特に有利なデータレート要件の削減を提供する。このようにして、低解像度データ平面から出発する再構成のサイクルごとに、そのデータ平面がアップスケールされ、平滑化されているが高解像度のバージョンが生成され、次いで、そのアップスケールされた予測データ平面と、その解像度で伝送される実際のデータ平面との間の差を足し合わせることによって、そのデータ平面が改善され、この加法的改善はサイクルごとに繰り返され得る。したがって、元のデータ平面を最も低い階層インデックスにダウンサンプリングする際に失われ得る情報を再導入するために、初期階層インデックスの各成分の上で設定される各成分は残差データを含むだけでよい。

この方法は、圧縮されたデータを含むセットを受信したとき、例えば、分解、量子化、エントロピー符号化、およびスパース化によって、残差データを使用して表されるデータ平面を取得する方法を提供する。

スパース化ステップは、元のデータまたは伝送前のデータが疎だったセット（典型的には、残差データに対応し得る）に関して使用される場合、特に有利である。残差は、典型的には同じ位置の、第１のデータ平面の要素と第２のデータ平面の要素との間の差であり得る。そのような残差データは典型的には非常に疎であり得る。これは、詳細が最小である、無視できる、または存在しない複数の領域のうち、詳細な領域が疎に分布している点群のビューに対応すると考えることができる。そのような疎なデータは、データが、少なくとも二次元構造（例えば、グリッド）に編成され、そのように編成されるデータの大部分がゼロ（論理的または数値的に）であるか、または特定の閾値未満であると考えられるデータの配列として記述され得る。残差データは、一例にすぎない。さらに、メタデータは、疎であり得、かつこのプロセスによって大幅にサイズが縮小され得る。スパース化されたデータを伝送することは、そのような疎な領域を伝送することを省き、代わりに、デコーダにおいて、受信されたバイトセット内の適切な位置にそれらを再導入することによって、要求されるデータレートの大幅な低減を達成することを可能にする。

典型的には、エントロピー復号、逆量子化、および方向性合成変換ステップは、受信される符号化されたデータセットを伝送するエンコーダまたはノードによって定義されたパラメータに従って実行される。各階層インデックスまたは成分セットについて、ステップは、各レベルについてのセットをデータ効率の良い様式で伝送することを可能にすると同時に、上記で開示された技術に従って異なる階層インデックスと結合され得るセットに到達するように画像データを復号する役割を果たす。

上記で開示された方法に従って、符号化されたデータのセットを再構成する方法も提供され得、第１および第２の成分セットの各々の復号が上記で開示された方法に従って実行される。したがって、本開示の有利な復号方法は、受信された画像データのセット内の各成分セットまたは階層インデックスに対して利用され、それに応じて再構成され得る。

次に、図５を参照して復号例を説明する。符号化されたデータのセット５０１が受信され、セットは４つの階層インデックスを含み、各階層インデックスが、最も高い解像度または品質レベルである階層０から、初期階層である階層－３までの４つの階層を含む。階層－３成分セット内で運ばれるデータは、データ平面の基本符号化に対応し、他の成分セットは、その伝送されたデータ平面の残差データを含む。各レベルが、残差とみなすことができるデータを出力し得るが、初期階層レベル、すなわち階層－３の残差は、データ平面の実際の低解像度バージョンに事実上対応する。ステージ５０３では、各成分セットが並列処理され、その符号化されたセットが復号される。

初期階層インデックス、すなわちコア階層インデックスを参照して、各成分セット階層－３～階層０について以下の復号ステップが実行される。

ステップ５０７では、成分セットの逆スパース化が行われる。逆スパース化は、他のティアベースの階層フォーマットでは実行されない任意のステップであり得る。この例では、逆スパース化により、疎な二次元配列が、各階層で受信された符号化されたバイトセットから再現される。このプロセスにより、受信されなかった、二次元配列内のいくつかの位置においてグループ化されたゼロ値（伝送データ量を減らすために伝送バイトセットからこれらが省かれたため）が再入力される。配列内の非ゼロ値は、再現された二次元配列において各々の正しい値および位置を保持し、逆スパース化ステップは、それらの間の適切な位置または位置群に伝送されたゼロ値を再入力する。

ステップ５０９において、配列内の符号化されたシンボルを画素値で置き換えるために、伝送データを伝送する前に符号化する際に使用されたパラメータに対応する構成されたパラメータを有するレンジデコーダが、各階層の逆スパース化されたセットに適用される。受信されたセット内の符号化されたシンボルは、そのデータ平面の画素値分布の近似に従って、画素値と置換される。真の分布ではなく、データ平面内のすべての画素値にわたる各値の相対頻度の分布の近似を使用することは、セットを復号するために必要なデータの量を減らすことを可能にし、これは、このステップを実行するためにレンジデコーダが必要とするのは分布情報だからである。本開示において説明されるように、逆スパース化のステップおよびレンジ復号のステップは逐次的ではなく相互依存的である。これは、フロー図の矢印で形成されたループによって示されている。

ステップ５１１において、値の配列が逆量子化される。このプロセスは、ここでも、分解されたデータ平面を伝送する前に量子化する際に使用されたパラメータに従って行われる。

逆量子化後、ステップ５１３において、逆量子化された配列に逆方向性分解動作を適用することを含む合成変換によって、セットが変換される。これにより、平均演算子、水平演算子、垂直演算子、および対角演算子を含む演算子セットに従う方向性フィルタリングの逆転が起こり、結果として生じる配列は、階層－３にとってのデータであり、階層－２～階層０にとっての残差データである。

ステージ５０５は、各階層成分セット５０１についての合成変換の出力を利用する再構成に伴ういくつかのサイクルを例示している。ステージ５１５は、デコーダ５０３から出力される初期階層用の再構成された平面データを示している。ある例では、再構成された平面データ５１５は６４×６４の解像度を有する。５１６において、この再構成された（２Ｄ）平面データは、配列要素の構成数が４倍になるようにアップサンプリングされ、それにより、１２８×１２８の解像度を有する予測平面データ５１７が生成される。ステージ５２０において、予測平面データ５１７が、階層－２におけるデコーダの出力から復号された残差５１８に足される。これらの２つの１２８×１２８サイズの配列を足し合わせることにより、初期階層からの平滑化された詳細が、階層－２からの残差のより高い解像度の詳細によって拡張されたものを含む１２８×１２８サイズの再構成配列が生成される。結果として生じるこの再構成された平面データ５１９は、点群の近似を再構成するために使用され得、例えば、特定の場合では、同様に並列に復号された他の平面とともに再構成するために使用され得る。本例では、再構成された平面データ５１９はさらなるサイクルのために使用される。ステップ５１２において、再構成された平面データ５１９は、２５６×２５６サイズの予測配列５２４を生成するように、ステップ５１６と同様にアップサンプリングされる。次いでステップ５２８において、これが、復号された階層－１の出力５２６と結合され、残差５２６のより高い解像度の詳細によって拡張された平面データ５１９のアップスケールされたバージョンである２５６×２５６サイズの再構成配列５２７が生成される。５３０において、このプロセスの最後の繰り返しが行われ、再構成された平面データ５２７が５１２×５１２の解像度にアップスケールされ、ステージ５３２において階層０の残差と結合される。これにより、元の平面データ（例えば、２Ｄビューまたはメタデータ平面）を表す５１２×５１２再構成配列５３１が取得される。

本発明の原理を利用することができるさらなる階層コード化技術を図６および７に例示する。この技術は、異なる動画コード化フォーマット、基本コーデック（例えば、ＡＶＣ、ＨＥＶＣ、または任意の他の現在もしくは将来のコーデック）をコード化データの少なくとも２つの拡張レベルと組み合わせる、柔軟性があり、適応可能であり、高効率であり、かつ計算上安価なコード化フォーマットである。

符号化方式の一般的な構造は、基本コーデックで符号化されたダウンサンプリングソース信号（例えば、変換された点群データ）を使用し、基本コーデックの復号出力に第１のレベルの補正データを追加して、補正表現を生成し、次いで、補正表現のアップサンプリングバージョンにさらなるレベルの拡張データを追加するものである。このため、ストリームは基本ストリームおよび拡張ストリームと考えられ、これらのストリームは、符号化されたデータストリームを生成するためにさらに多重化されるか、または他の方法で結合され得る。特定の場合では、基本ストリームおよび拡張ストリームは、別々に伝送され得る。本明細書において説明される符号化されたデータへの言及は、拡張ストリーム、または基本ストリームおよび拡張ストリームの組み合わせを指し得る。基本ストリームは、ハードウェアデコーダによって復号され得る一方、拡張ストリームは、好適な消費電力を伴うソフトウェア処理実装に好適あり得る。この汎用符号化構造は、複数の自由度を生み出し、多くの状況への柔軟性および適応性を可能にし、コード化フォーマットを、ＯＴＴ伝送、ライブストリーミング、ライブ超高精細度（ＵＨＤ）ブロードキャストなど、多くのユースケースに好適なものにする。図２～５の例によれば、図６および７の符号化方式はまた、完全な品質レベルを下回る特定の品質レベルでのデータ平面再構成の使用を可能にする。これらのデータ平面再構成は、より高い品質レベルの残差データが利用可能ではない場合に低解像度の３Ｄ点群を再構成することを可能にし得る（例えば、３Ｄ空間詳細のより粗いレベルを表す）。これは、ロボット工学を含む多くの用途において、元の高解像度の点群が再構成できなくても、作業可能な点群表現にアクセスできる利点を有し得る。

特定の例では、各拡張ストリームまたは両方の拡張ストリームは、ネットワーク抽象化レイヤユニット（ＮＡＬＵ）のセットを使用して、１つ以上の拡張ビットストリームにカプセル化され得る。ＮＡＬＵは、拡張を正しい基本再構成フレームに適用するために、拡張ビットストリームをカプセル化することを意味する。ＮＡＬＵは、例えば、拡張が適用されなければならない基本デコーダ再構成フレームビットストリーム（ここでのフレームは、所与の時間サンプルについて並列に符号化された複数のデータ平面を含む）を含むＮＡＬＵへの参照インデックスを含み得る。このようにして、拡張は、基本ストリームに同期され得、各ビットストリームのフレームは、復号された出力動画を生成するように組み合わされる（すなわち、拡張レベルの各フレームの残存部分は、基本復号ストリームのフレームと組み合わされる）。

上で説明される初期プロセスに戻ると、基本ストリームは、拡張ストリーム内の２つのレベル（またはサブレベル）の拡張とともに提供され、一般化された符号化プロセスの例が図６のブロック図に描写されている。初期解像度での入力データ平面６００は、様々な符号化ストリーム６０１、６０２、６０３を生成するように処理される。入力データ平面６００は、点群、および／または点群内の点に関連するメタデータの２Ｄビューを含み得る（例えば、さらなる詳細については後述の図１１を参照されたい）。第１の符号化ストリーム（符号化基本ストリーム）は、基本コーデック（例えば、ＡＶＣ、ＨＥＶＣ、または任意の他のコーデック）に入力データ平面のダウンサンプリングバージョンを供給することによって生成される。ある場合では、入力データ平面は、基本エンコーダ６１３に送られるマルチ平面フレームの一部を形成し得る。符号化基本ストリームは、基本レイヤまたは基本レベルと称されることがある。第２の符号化ストリーム（符号化レベル１ストリーム）は、基本コーデックからの再構成平面と入力データ平面のダウンサンプリングバージョンとの間の差を取ることによって取得された残差を処理することによって生成される。第３の符号化ストリーム（符号化レベル２ストリーム）は、再構成された基本コーデックデータ平面の補正バージョンのアップサンプリングバージョンと、入力データ平面との間の差を取ることによって取得された残差を処理することによって生成される。特定の場合では、図６のコンポーネントは、汎用低複雑性エンコーダを提供し得る。特定の場合では、拡張ストリームは、低複雑性エンコーダの一部を形成する符号化プロセスによって生成され得、低複雑性エンコーダは、（例えば、基本コーデックとしてパッケージ化された）独立した基本エンコーダおよびデコーダを制御するように構成され得る。他の場合では、基本エンコーダおよびデコーダは低複雑性エンコーダの一部として供給され得る。ある場合では、図６の低複雑性エンコーダは、基本コーデックの一ラッパーの形態とみなされ得、基本コーデックの機能性は、低複雑性エンコーダを実装するエンティティから隠され得る。

ダウンサンプリングコンポーネント６０５によって例示されるダウンサンプリング動作を入力データ平面に適用することで、基本コーデックの基本エンコーダ６１３によって後に符号化される、ダウンサンプリングされたデータ平面が生成され得る。ダウンサンプリングは、データ平面を表す２Ｄ配列の次元に関して、垂直方向および水平方向の両方で行うことができ、または代替的に水平方向のみで行うことができる。基本エンコーダ６１３および基本デコーダ６１４は、基本コーデックによって（例えば、共通コーデックの異なる機能として）実装され得る。基本コーデック、ならびに／または基本エンコーダ６１３および基本デコーダ６１４のうちの１つ以上は、好適に構成された電子回路（例えば、ハードウェアエンコーダ／デコーダ）および／またはプロセッサによって実行される好適に構成されたコンピュータプログラムコードを含み得る。

各拡張ストリーム符号化プロセスは、必ずしもアップサンプリングステップを含むとは限らない場合がある。例えば、図６では、第１の拡張ストリームは概念的に補正ストリームであり、第２の拡張ストリームは、あるレベルの拡張を提供するためにアップサンプリングされる。

拡張ストリームを生成するプロセスをより詳細に考察すると、符号化レベル１ストリームを生成するために、基本デコーダ６１４によって符号化基本ストリームが復号される（すなわち、復号基本ストリームを生成するために符号化基本ストリームに復号動作が適用される）。復号は、基本コーデックの復号機能またはモードによって実行され得る。その後、レベル１コンパレータ６１０において、復号基本ストリームとダウンサンプリング入力データ平面との間の差が作成される（すなわち、減算動作がダウンサンプリング入力データ平面および復号基本ストリームに適用されて、第１の残差セットが生成される。コンパレータ６１０の出力は第１の残差セットと称され得、基本エンコーダ６１３、基本デコーダ６１４、およびダウンサンプリングブロック６０５の出力の解像度で、各配列要素について残差値が決定される。

その後、差が第１のエンコーダ６１５（すなわち、レベル１エンコーダ）によって符号化され、符号化レベル１ストリーム６０２が生成される（すなわち、符号化動作は、第１の拡張ストリームを生成するために第１のセットの残差に適用される）。

上述したように、拡張ストリームは、第１のレベルの拡張６０２および第２のレベルの拡張６０３を含み得る。第１のレベルの拡張６０２は、補正ストリーム、例えば、入力データ平面６００よりも低い（２Ｄ空間）解像度の基本符号化／復号信号に対してあるレベルの補正を提供するストリームであるとみなすことができる。第２のレベルの拡張６０３は、補正ストリームを元の入力動画６００に変換するさらなるレベルの拡張とみ得なされ、例えば、補正ストリームから再構成された信号に対してあるレベルの拡張または補正を適用する。

図６の例では、さらなる残差のセットを符号化することによって第２のレベルの拡張６０３が作成される。さらなる残差のセットは、レベル２コンパレータ６１９によって生成される。レベル２コンパレータ６１９は、復号レベル１ストリームのアップサンプリングバージョン、例えば、アップサンプリングコンポーネント６１７の出力と入力データ平面６００との間の差を決定する。アップサンプリングコンポーネント６１７への入力は、第１のデコーダ（すなわち、レベル１デコーダ）を第１のエンコーダ６１５の出力に適用することによって生成される。これにより、復号されたレベル１残差のセットが生成される。次いで、これらは、総和コンポーネント６２０において基本デコーダ６１４の出力と結合される。これにより、基本デコーダ６１４の出力に対してレベル１残差が効果的に適用される。これにより、レベル１符号化および復号プロセスにおけるロスをレベル２残差によって補正することが可能になる。総和コンポーネント６２０の出力は、デコーダにおいて、符号化基本ストリーム６０１および符号化レベル１ストリーム６０２に対してレベル１処理を適用した結果の出力を表すシミュレーション信号とみなされ得る。

上記のように、アップサンプリングストリームは入力データ平面と比較され、さらなる残差のセットが作成される（すなわち、差分動作がアップサンプリングされた再現ストリームに適用され、さらなる残差のセットが生成される）。次いで、さらなる残差のセットは、第２のエンコーダ６２１（すなわち、レベル２エンコーダ）によって符号化レベル２拡張ストリームとして符号化される（すなわち、次いで符号化動作がさらなる残差のセットに適用され、符号化されたさらなる拡張ストリームが生成される）。

したがって、図６に例示されるように、そして上記のように、符号化プロセスの出力は、基本ストリーム６０１および１つ以上の拡張ストリーム６０２、６０３であり、１つ以上の拡張ストリームは、好ましくは第１のレベルの拡張およびさらなるレベルの拡張を含む。３つのストリーム６０１、６０２、および６０３を、制御ヘッダなどの追加情報を伴ってまたは伴わずに、結合することで、入力データ平面６００を表す動画符号化フレームワークのための結合ストリームが生成され得る。所与の時点での点群のデータサンプルを表すデータフレームを構成するために、複数の平面は、並列にこのように符号化され得る。なお、図６に示されるコンポーネントは、データのブロックまたはコード化ユニット、例えば、特定の解像度レベルのデータ平面の２×２または４×４部分に対応するものに対して動作し得ることに留意されたい。コンポーネントは、ブロック間の依存関係なしで動作するため、データ平面内の複数のブロックまたはコード化ユニットに並列に適用され得る。これは、ブロック間に依存関係（例えば、空間的依存関係または時間的依存関係）が存在する比較動画符号化方式とは異なる。比較動画符号化方式の依存関係は並列性のレベルを制限し、はるかに高い複雑性を要求する。また、依存関係は、符号化手法を動画以外の用途に拡張することができないことを意味する。

対応する一般化された復号プロセスが図７のブロック図に描写されている。図７は、図６の低複雑性エンコーダに対応する低複雑性デコーダを示すと言うことができる。低複雑性デコーダは、低複雑性エンコーダによって生成された３つのストリーム６０１、６０２、６０３を、さらなる復号情報を含むヘッダ７０４とともに受信する。符号化基本ストリーム６０１は、低複雑性エンコーダで使用される基本コーデックに対応する基本デコーダ７１０によって復号される。符号化レベル１ストリーム６０２は、第１のデコーダ７１１（すなわち、レベル１デコーダ）によって受信され、第１のデコーダ７１１は、第１のセットの残差を、図１の第１のエンコーダ６１５によって符号化されたように復号する。第１の総和コンポーネント７１２において、基本デコーダ７１０の出力が、第１のデコーダ７１１から取得された復号された残差と結合される。レベル１再構成データ平面とも言われ得る結合されたデータ平面表現は、アップサンプリングコンポーネント７１３によってアップサンプリングされる。符号化レベル２ストリーム１０３が第２のデコーダ７１４（すなわち、レベル２デコーダ）によって受信される。第２のデコーダ７１４は、図１の第２のエンコーダ６２１によって符号化されたように第２のセットの残差を復号する。図７では、第２のデコーダ７１４によってヘッダ７０４が使用されるものとして示されているが、第１のデコーダ７１１および基本デコーダ７１０によってヘッダが使用され得る。第２のデコーダ７１４の出力は、復号された第２の残差のセットである。これらは、第１の残差のセットおよびアップサンプリングコンポーネント７１３への入力よりも高い解像度を有し得る。第２の総和コンポーネント７１５において、第２のデコーダ７１４からの第２のセットの残差が、アップサンプリングコンポーネント７１３の出力、すなわちアップサンプリングされた再構成レベル１信号と結合され、復号データ平面７５０が再構成される。次いで、点群データの再構成を可能にする複数のビューを提供するために、フレームごとに複数のデータ平面が同様にして並列に復号され得る。

低複雑性エンコーダに従って、図７の低複雑性デコーダは、所与のデータ平面の異なるブロックまたはコード化ユニットに対して並列に動作し得る。また、基本デコーダ７１０、第１のデコーダ７１１、および第２のデコーダ７１４のうちの２つ以上による復号が、並列に実行され得る。これは、ブロック間の依存関係がないために可能となる。

復号プロセスにおいて、デコーダはヘッダ７０４（グローバル構成情報、または平面構成情報、およびデータブロック構成情報を含み得る）を解析し、それらのヘッダに基づいて低複雑性デコーダを構成し得る。

図６および７の各々において、レベル２符号化動作およびレベル１符号化動作は、変換、量子化、およびエントロピー符号化のステップを含み得る（例えば、この順番で）。これらのステップは、図４および５に示される動作と同様に実装され得る。符号化動作はまた、残差ランキング、重み付け、およびフィルタリングを含み得る。同様に、復号ステージにおいて、残差はエントロピーデコーダ、逆量子化器、および逆変換モジュールを通過し得る（例えば、この順番で）。任意の好適な符号化動作および対応する復号動作が使用され得る。しかしながら、好ましくは、レベル２符号化ステップおよびレベル１符号化ステップは、ソフトウェアで実施され得る（例えば、符号化デバイス内の１つ以上の中央処理装置または画像処理装置によって実行される）。

本明細書において説明される変換は、アダマールベースの変換などの方向性分解変換を使用し得る。どちらも、平坦化された残差のコード化ユニット（すなわち、残差の２×２または４×４ブロック）に適用される小さいカーネルまたは行列を含み得る。変換のさらなる詳細は、例えば、参照により本明細書に組み込まれるＰＣＴ／ＥＰ２０１３／０５９８４７またはＰＣＴ／ＧＢ２０１７／０５２６３２に見出すことができる。エンコーダは、使用される異なる変換間で、例えば、適用されるカーネルのサイズ間で選択し得る。

変換は、残差情報を４つの表面に変換し得る。例えば、変換は、平均、垂直、水平、および対角の成分または変換された係数を生成し得る。特定の表面は、特定の成分のすべての値を含み得、例えば、第１の表面はすべての平均値を含み、第２のすべての垂直値を含み得るなどである。本開示において上記のように、変換によって出力されるこれらの成分は、そのような実施形態では、説明される方法に従って量子化される係数として使用され得る。量子化方式は、特定の変数が特定の離散的な大きさのみを取り得るように、残差信号を量子として作成するために有用であり得る。この例では、エントロピー符号化はランレングス符号化（ＲＬＥ）を含み得、その後、符号化された出力を処理することは、ハフマンエンコーダを使用して処理される。特定の場合では、エントロピー符号化が望ましい場合、これらの方式のうちの１つのみが使用され得る。

要約すると、本明細書における方法および装置は、異なる符号化および／または復号手法に従って動作する拡張レイヤのベースラインとして動作する既存の符号化および／または復号アルゴリズム（ＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５などのＭＰＥＧ規格、およびＶＰ９、ＡＶ１などの規格外のアルゴリズムなど）の上に構築される全体的な手法に基づいている。実施例の全体的な手法の背後にあるアイデアは、ＭＰＥＧアルゴリズムファミリーで使用されるようなユースブロックベースの手法の使用とは対照的に、データ平面を階層的に符号化／復号することである。データ平面を階層的に符号化することは、完全なデータ平面についての残差を生成し、その後、低減されたデータ平面を生成することなどを含む。

上記のように、ブロック間依存関係がないため、フレーム内に含まれる複数の異なるデータ平面のコード化ユニットまたはブロックに対してプロセスを並列に適用することができる。各データ平面の符号化は並列に実行され得る（例えば、（フレーム数）＊（データ平面成分の数）＊（フレーム当たりのコード化ユニットの数）に従って動作が複製されるように）。また、複数の異なるデータ平面のフレーム当たりのコード化ユニットの数は異なり得、例えば、メタデータデータ平面は、点群位置データよりも低い配列解像度で符号化され得ることにも留意されたい。

したがって、上で例示および説明されるように、復号プロセスの出力は、（任意選択的な）基本再構成、およびより高いレベルの元の信号の再構成である。

本明細書おいて説明される例では、残差は符号化パイプラインによって符号化される。これは、変換、量子化、およびエントロピー符号化動作を含み得る。また、残差ランキング、重み付け、およびフィルタリングが含まれ得る。その後、残差は、例えば、ハイブリッドストリームとして基本ストリームと結合され得る（または別々に伝送され得る）Ｌ－１およびＬ－２拡張ストリームとして、デコーダに伝送される。ある場合では、基本ストリームおよび２つの拡張ストリームを含むハイブリッドデータストリームに対してあるビットレートが設定され、その後、設定されたビットレートを満たすように、処理されるデータに基づいて、異なる適応型ビットレートが個別ストリームに適用される（例えば、画像データが変わると変化し得る、最も影響力のある個別ストリームによって制約されたデータが使用され得るように、場合によってはフレームごとに、複数の異なる個別ストリームに対してビットレートを適応的に割り当てることによって、低アーティファクトレベルを有すると知覚される高品質の動画が構築され得る）。

本明細書において説明される残差のセットは疎なデータとみなされ得、例えば、多くの場合、所与の配列要素または要素群について差異がなく、得られる残差値はゼロである。残差の分布を見ると、確率質量の多くは、ゼロ付近の小さな残差値に割り当てられ、例えば、特定の動画の場合は－２、－１、０、１、２などの値が最も頻繁に発生する。特定の場合では、残差値の分布は０に関して対称またはほぼ対称である。

残差は、それ自体が二次元画像として、例えば、差のデルタ画像として扱われ得る。このように見ると、データのスパース性は「ドット」、「小さな線」、「エッジ」、「コーナー」などの特徴に関連しているとみなされ得る。これらの特徴は、通常、完全には相関しないことが見出されている（例えば、空間および／または時間において）。これらの特徴は、それらが導出される元の平面データの特性（例えば、点群のビュー）とは異なる特性を有する。

上で説明されるように、本発明の実施形態は、ティアベースの階層コード化フォーマットを利用して、点群データを符号化および復号する。点群データを符号化および復号するためにティアベースの階層コード化フォーマットがどのように利用されるかの非限定的な例を、図８～１２を参照して説明する。

図８は、三次元点群を符号化する方法８００のフローチャートを示す。方法８００は、三次元点群内の点のセットを取得すること８０１を含み、点のセット内の点は三次元における座標を有する。三次元座標は、所与の基準点（例えば、３Ｄ点群の基準フレームの原点）に対しての座標であり得る。方法は、さらに、点を二次元表現に変換すること８０３を含む。点のセット内の点について、座標を記述する情報が、二次元表現内の位置、およびその位置における値として表される。方法は、ティアベースの階層コード化フォーマットを使用して二次元表現を符号化し、符号化されたデータを出力すること８０５をさらに含む。ティアベースの階層コード化フォーマットは、図２～７を参照して考察されるティアベースの階層コード化フォーマットの例に従ったものであり得る。ティアベースの階層コード化フォーマットは、二次元表現を複数のレイヤとして符号化する。複数のレイヤは、異なる品質レベルで信号を漸進的に再構成するために使用されるデータの階層を表す。

二次元表現は三次元点群の二次元ビューを含み得る。実施形態では、点のセット内の点について、二次元表現内の位置が、二次元ビュー上への点の投影を介して決定され、その位置における値が、二次元ビューに垂直な点の深度として決定される。他の場合では、値は、点強度（例えば、輝度または色強度）を含み得、２Ｄ投影を３Ｄ点群に戻すために、既知の３Ｄ再構成方法を使用して複数のビューが処理され得る。特定の場合では、符号化ビットストリームの追加データ平面および／または補足データとして符号化された追加メタデータが、再構成を容易にするために使用される（例えば、深度、点ビュー相関を可能にするための点の識別子、および／またはビューの位置および配向を示し得る）。

実施形態では、複数の対応する二次元ビューを含む複数の二次元表現が生成される。これらの実施形態では、対応する二次元ビューの数と、これらの二次元ビューの配向のセットとのうちの１つ以上が、点のセットを指定するように決定され得る。

方法８００は、ティアベースの階層コード化方式を使用して、二次元表現を、動画のフレームのためのカスタム色平面として符号化することをさらに含み得る。実施形態では、点のセットは時間とともに変化し、方法８００は複数の時間刻みにわたり繰り返される。任意選択的に、時間刻みは動画のフレームに関連付けられている。特定の場合では、各ビューは、点群内の点のさらなる特性を提供するメタデータのデータ平面とともに、動画データの標準フレームとして（例えば、ＹＵＶなどの３つの色成分によって）符号化され得、各点は、動画データのフレームにおける２Ｄ位置を有する。

点群データの点は、点のセット内の点に関連付けられた特性値のセットを取得し、特性値のセットを１つ以上の追加の二次元表現に変換することによって、二次元表現に変換され得る。実施形態では、二次元表現内の位置が、１つ以上の追加の二次元表現における点のインデックスとして使用され、特性値のセットが、１つ以上の追加の二次元表現内の位置における値として設定される。２つ以上の値で表される特性は、複数の追加の二次元表現として表され得る。実施形態では、特性値のセットが、右目のための色、左目のための色、アルファチャンネル、法線ベクトルの成分、物体の特性に関する情報、および動きベクトルの座標のうちの１つ以上に関する。

実施形態では、点のセット内の点について、３つの次元のうちの第１および第２の次元における座標値が、二次元表現内の位置を示すために使用され、第３の次元における座標値が、その位置における値として表される。

実施形態では、複数のレイヤは、二次元表現のための複数の異なる空間分解能を表す。複数のレイヤは、基本レイヤおよび１つ以上の残差データレイヤを含み得る（例えば、上記の図２～７に関して説明したように）。残差データは、第１のより低いレベルを使用して再構成された二次元表現のバージョンと、第２のより高いレベルの二次元表現のバージョンとの間の差異を示し得る。

実施形態では、方法８００は、二次元表現のビット深度を決定することをさらに含む。実施形態では、方法８００は、ビット深度に従って、二次元表現内のある位置における値を符号化することをさらに含む。

実施形態では、方法８００は、複数のレイヤのためのビット深度のセットを決定することをさらに含み、複数のレイヤのうちの少なくとも２つが、異なるビット深度を有する。実施形態では、方法８００は、決定されたビット深度のセットにおけるレイヤ符号化を使用して、二次元表現を符号化することをさらに含む。

実施形態では、方法８００は、符号化のロスレベルを取得することをさらに含み、ロスレベルは、ロスレスレベルおよびロッシーレベルのうちの１つ以上を含むセットから選択される。実施形態では、方法８００は、取得されたロスレベルで二次元表現を符号化することをさらに含む。

図９は、三次元点群を復号する方法９００のフローチャートを示す。復号方法９００は符号化方法８００に対応する方法である。

復号方法９００は、三次元点群を表す符号化されたデータを取得すること９０１を含む。符号化されたデータは、ティアベースの階層コード化フォーマットを使用して符号化される。上で説明されるように、ティアベースの階層コード化フォーマットは、１つ以上のデータ平面を含むフレームを複数のレイヤとして符号化し、複数のレイヤは異なる品質レベルを表す。言い換えれば、複数のレイヤは、異なる品質レベルで信号を再構成するために使用されるデータの階層を表す。ティアベースの階層コード化フォーマットの例については、図２～７を参照しながら上で考察されている。

復号方法９００は、符号化されたデータを復号して、三次元点群に関連付けられた二次元表現を再構成すること９０３を含む。復号９０３は、三次元点群に関連付けられたマルチ平面二次元表現を再構成し得る。

方法９００は、二次元表現を処理して、三次元点群内の点のセットの三次元座標を決定すること９０５を含む。特定の例では、三次元座標を記述する情報は、二次元表現内の位置、およびその位置における値として表される。処理９０５は、三次元点群内の点のセットの他の関連付けられた属性をさらに決定し得る。

符号化方法８００および復号方法９００は、対応するエンコーダおよびデコーダで実装され得る相補的態様を表す。これらのエンコーダおよびデコーダは、データストリームおよび／または保存されたデータファイルに適用され得る。一部の非限定的な実施形態では、復号は、少なくともスケーリング動作をＧＰＵの１つ以上のＴｅｎｓｏｒコアにオフロードすることによって実行される。

実施形態では、二次元表現は三次元点群の二次元ビューを含む。点のセット内の点について、二次元表現内の位置からの逆投影によって三次元座標が決定される。ある位置における値は、二次元ビューに垂直な、点の深度を示す。

実施形態では、符号化されたデータを取得すること９０１は、符号化された二次元データのフレームを取得することであって、フレームが、複数の関連付けられたカスタムデータ平面を有する、取得することと、複数の関連付けられたカスタムデータ平面に関連付けられた符号化されたデータを取得することと、を含む。ここでのカスタムデータ平面は、従来の動画データフレームの三刺激色値の代わりに点群データを有するカスタム「色」平面とみなすことができる。

実施形態では、カスタムデータ平面の符号化データを復号すること９０３は、カスタムデータ平面の複数のレイヤに関連付けられたデータを取得することを含む。実施形態では、カスタムデータ平面の符号化データを復号すること９０３は、複数のレイヤ内の基本レイヤを第１のより低い解像度で再構成することを含む。実施形態では、カスタムデータ平面の符号化データを復号すること９０３は、基本レイヤをアップサンプリングすることによって、二次元表現のあるバージョンを再構成することを含む。実施形態では、カスタムデータ平面の符号化データを復号すること９０３は、第２のより高い解像度の複数のレイヤ内の残差レイヤを二次元表現の再構成されたバージョンに適用して、第２のより高い解像度の二次元表現のバージョンを生成することを含む。

実施形態では、方法９００は、三次元点群に関連付けられた関心領域の指示を取得することをさらに含む。実施形態では、方法１０００は、符号化されたデータのサブセットを復号して、関心領域に関連付けられた二次元表現を抽出することをさらに含み、点のセットは関心領域内の点を含む。これについては図１２を参照して以下でより詳細に説明する。

符号化されたデータのサブセットは、カスタムデータ平面の複数のレイヤに関連付けられた符号化されたデータを取得することと、関心領域に関連付けられた基本レイヤの少なくとも一部分を復号することであって、基本レイヤが、複数のレイヤ内の第１のより低い解像度のレイヤである、復号することと、複数のレイヤ内の残差レイヤの一部分を第２のより高い解像度で復号することと、基本レイヤの一部分をアップサンプリングすることによって、二次元表現のあるバージョンを再構成することと、残差レイヤの復号された部分を二次元表現の再構成されたバージョンに適用して、二次元表現の第２のより高い解像度のバージョンを生成することと、によって復号され得る。

実施形態では、方法９００は、三次元点群の少なくとも一部分をレンダリングするための所望の解像度の指標を取得することをさらに含む。実施形態では、方法９００は、所望の解像度を提供するために復号すべき複数のレイヤのサブセットを決定することをさらに含む。実施形態では、方法９００は、複数のレイヤのサブセットの符号化されたデータを復号して、所望の解像度に関連付けられた１つ以上の二次元表現を再構成することをさらに含む。実施形態では、方法９００は、所望の解像度に関連付けられた１つ以上の二次元表現を処理して、三次元点群内の点のセットのための所望の解像度に対応する三次元座標を決定することをさらに含む。

実施形態では、ティアベースの階層コード化フォーマットは、ティアベースの階層動画コード化方式に関連付けられる。そのような実施形態では、符号化されたデータを復号することは、ティアベースの階層動画コード化方式内の符号化された動画のフレームについて、フレームに関連付けられた複数のカスタムデータ平面の符号化されたデータを抽出することであって、複数のカスタムデータ平面が、三次元点群内の点の三次元座標、および点の１つ以上の特性に関する情報を符号化する、抽出することと、抽出された符号化されたデータにティアベースの階層動画コード化方式のデコーダを適用して、所望の詳細度で複数のカスタムデータ平面を再構成することであって、複数のカスタムデータ平面が、三次元点群に関連付けられた複数の二次元表現を含む、再構成することと、複数のカスタムデータ平面を処理して、フレームに関連付けられた時点における三次元点群内の点のセットの状態を再構成することと、を含む。

方法８００および方法９００はそれぞれ、点群を効率的に符号化するためにティアベースの階層コード化フォーマットを活用することを可能にする。例えば、点群によって表される三次元モデルは１つ以上の二次元表現に変換され得、その場合、点群の各属性（例えば、基準に対する深度、色、法線ベクトルの座標、動きの存在、動きベクトルの座標など）は、それらの属性が動画データのフレームに関連付けられた色平面であるかのように符号化され得る。各平面は、異なるビット深度を有し得、異なる基準に従って符号化され得る（例えば、一部はロスレスモードで、他はロッシーモードで）。

復号方法９００は（符号化方法８００とともに）、適時レンダリングされるべき視点およびビューポート（ｖｉｅｗｐｏｒｔ）サイズに基づく、圧縮されたデータの部分的復号および／または関心領域の復号を可能にする。例えば、視点が遠い場合、最高レベルの品質まで点群を復号する必要がない場合がある。逆に、視点が非常に近い場合、視野に含まれる可能性が高い点群の関心領域を復号するだけで十分であり得る。点群データのマテリアル部分を圧縮されていない形態に展開する必要がないため、この特性は、所与のデバイスメモリで可能なものよりもはるかに大きく、はるかに詳細な「シーン」をデバイスメモリに保持することを可能にする。また、同一の符号化ファイルを異なる処理能力を持つ複数のデバイスに配布することもでき、すべてのデバイスが、異なる品質レベルで、点群をリアルタイムで復号およびレンダリングすることができる。

特定の例では、二次元表現が三次元点群の二次元ビュー（または「２．５Ｄ」）を含み得、点のセット内の点について、二次元表現内の位置が、二次元ビュー上への点の投影を介して決定され、その位置における値が記二次元ビューに垂直なその点の深度として決定される。複数の異なる既知の基準視点からの、好適な数の同様の構造を有する２．５Ｄビューが、メイン視点から取得された点群を、メイン視点から「塞がれている」（すなわち、見えない）追加の点と統合することで、点群を完成させ得る。

点群に関して例を考察したが、点群は、表面要素モデルなどの異なる三次元モデルにも適用され得る。各ビューを定義するポーズ（例えば、位置および配向）が、符号化されたデータ（例えば、メタデータなど）とともに符号化され得る。ポーズデータは、特定の二次元表現のセットに使用されたビューを決定するために、復号中に復号され得る。特定の実施形態では、複数の対応する二次元ビューを含む複数の二次元表現が生成され、対応する二次元ビューの数および二次元ビューの配向のセットのうちの１つ以上が、点のセットを指定するように決定される。例えば、点のセットの各点を再構成することを可能にする最小数のビューが計算され得る。これは、二次元表現内の任意の重複（例えば、共通のＸＹ座標を有するが、異なるＺ座標を有する点）を考慮に入れ得る。ビューのポーズは、点のセットをビューのセットにわたって分離できるように選択され得る。

したがって、方法８００の実施形態では、二次元表現を符号化することは、ティアベースの階層動画コード化方式を使用して、二次元表現を、動画のフレームのためのカスタム色平面として符号化することを含む。例えば、二次元表現は三次元シーンのビューを表し得、これは、通常の動画フレームであるが、深度情報および／または点特性などの点群を表現するために必要な情報を含むカスタム数の「色」チャンネルまたは平面を有する動画フレームとして符号化され得る。そのような実施形態では、ティアベースの階層動画コード化方式への変更が最小限に抑えられ得る（場合によっては、必要としない場合がある）。必要とされる可能性のある唯一の変更は、従来の３つの色平面（例えば、ＹＵＶまたはＲＧＢ）の代わりに、ｋ個のカスタムデータ平面（「カスタム色平面」とも称され得る）が存在することを示すことである。これらは二次元配列とみなされ得るが、通常の色強度データが点群データで置き換えられている。

実施形態では、点のセットが時間変化し、方法が、複数の時間刻みにわたり繰り返され、時間刻みが動画のフレームに関連付けられている。このようにして、所与の時点における複数の異なるビューを表す複数のフレーム（カスタムデータ平面のセットとして実装され得る）が時間刻みごとに存在し得る。複数の連続したフレームによって、静止点群が表され得、その場合、複数の連続したフレームは、利用可能な複数の異なるビューを通じて反復を表す。実施形態では、ティアベースの階層動画コード化方式における単一のフレームデータ構造の下で複数のビューが表され得、異なるビューについてのデータは、異なるカスタムデータフレームとして表される。これらの場合では、単一のフレームが、その単一のフレームと関連付けられた複数の異なるデータ平面によって表される複数の仮想フレームを有し得る（例えば、データ平面１～５はビュー１と関連付けられていて、データ平面６～１０はビュー２と関連付けられ得る）。特定の場合では、フレームは、フレームの特定の解像度（すなわち、ｘ範囲およびｙ範囲）を詳細に示すメタデータとともに符号化され得、解像度はフレームごとおよび／またはビューごとに異なり得る。

実施形態では、点を二次元表現に変換することは、点のセット内の点に関連付けられた特性値のセットを取得することと、特性値のセットを１つ以上の追加の二次元表現に変換することであって、二次元表現内の位置が、１つ以上の追加の二次元表現における点のインデックスとして使用され、特性値のセットが、１つ以上の追加の二次元表現内の位置における値として設定される、変換することと、をさらに含む。これらの追加の二次元表現は、上で説明されるように、１つ以上のフレームのためのデータ平面であり得る。２つ以上の値（例えば、３つの要素を有する法線ベクトル）で表される特性は、複数の追加の二次元表現として表され得る。特性値のセットは、右目のための色、左目のための色、法線ベクトル、および動きベクトルのうちの１つ以上に関連し得る。

特定の実施形態では、点のセット内の点について、３つの次元のうちの第１および第２の次元における座標値が、二次元表現内の位置を示すために使用され、第３の次元における座標値が、その位置における値として表される。例えば、ビューは、ＸＹ平面のビューであって、その位置における値によって表され得る深度がＺ値である。一部の非限定的な実施形態では、基準点に近い点の深度情報の精度を高めるために、Ｚ値は実際の深度の数学的関数を表す（例えば、非限定的な例として、１／深度）。ＸＹＺ軸と共面ではないビューの場合、元の三次元座標が所与のビュー平面上に投影され得、深度は、ビュー平面に対する法線または垂直距離として決定され得る。

階層構造の複数のレイヤは、二次元表現の異なる空間分解能を表し得る。例えば、第１の高解像度二次元表現をダウンサンプリングすることによって複数の異なるレイヤが生成され得る。複数のレイヤは、基本レイヤ（すなわち、階層構造内の最も下いレイヤ）と、１つ以上の残差データレイヤを含み得る。残差データは、第１のより低い品質レベルを使用して再構成された二次元表現のバージョンと、第２のより高い品質レベルの二次元表現のバージョンとの間の差異を示し得る（例えば、アップサンプリングされたより低いレベルと現在のレベル）。一部の非限定的な実施形態では、異なるデータレイヤは異なる符号化方法を使用して符号化され得る。一部の非限定的な実施形態では、基本レイヤは、従来のブロックベースの符号化方法によって符号化され得る。

一部の実施形態は、二次元表現のビット深度を決定することと、ビット深度に従って、二次元表現内のある位置における値を符号化することと、を含み得る。例えば、入力高解像度二次元表現は、バイナリ特性を符号化するには１ビットしか必要としないが、２５６より多くの値を取り得る特性を符号化には１６ビットを必要とし得る。階層動画コード化方式の例は、入力のためのカスタムビット深度を有するように容易に構成され得る。複数のレイヤも、複数の異なるビット深度で符号化され得る。例えば、方法は、複数のレイヤのためのビット深度のセットを決定することであって、複数のレイヤのうちの少なくとも２つが、異なるビット深度を有する、決定することと、決定されたビット深度のセットにおけるレイヤ符号化を使用して、二次元表現を符号化することと、を含み得る。より小さいビット深度（例えば、８ビット以下）はよりロスの多い符号化（例えば、８ビットの場合、連続値を２５６本のビンで量子化することに相当）を提供し得るが、帯域幅がより低い符号化されたストリーム、およびより小さいファイルサイズを提供する可能性がある。

実施形態では、方法は、符号化のロスレベルを取得することであって、ロスレベルは、ロスレスレベルおよびロッシーレベルのうちの１つ以上を含むセットから選択される、取得することと、取得されたロスレベルで二次元表現を符号化することと、を含む。ロッシー符号化は、符号化プロセスの一部として量子化および／または変換を適用することによって実装され得る。

二次元表現は、三次元点群の二次元ビューを含み得る、点のセット内の点について、三次元座標は、二次元表現における位置からの逆投影によって決定される可能性があり、その位置における値が、二次元ビューに垂直なその点の深度を示す。復号中に符号化データを取得することは、符号化された二次元データのフレームを取得することであって、フレームが、複数の関連付けられたカスタムデータ平面を有する、取得することと、複数の関連付けられたカスタムデータ平面に関連付けられた符号化されたデータを取得することと、を含み得る。例えば、上で説明されるように点群の異なるビューを提供する１つ以上の二次元表現は、符号化された動画の「フレーム」のための異なるデータ平面として表現され得る。カスタム色平面の符号化データを復号することは、カスタムデータ平面の複数のレイヤに関連付けられたデータを取得することを含み得る。

特定の例では、これは、複数のレイヤ内の基本レイヤを第１のより低い解像度で再構成することを含み得る。これは、最も低い解像度であり得る。基本レイヤをアップサンプリングすることによって、二次元表現のあるバージョンが再構成され得る。第２のより高い解像度の複数のレイヤ内の残差レイヤを二次元表現の再構成されたバージョンに適用することで、第２のより高い解像度の二次元表現のバージョンが生成され得る。これらのステップは、点群のより詳細な表現を構築するために、階層構造内の複数のレイヤに対して繰り返され得る。しかしながら、例えば、点群の高解像度バージョンが望まれていないまたは必要とされていない場合、処理リソースを節約するために動画の中間再構成バージョンが抽出され得る。例えば、レンダリング視点から離れているロボットデバイスの動きの場合、粗いモータの動きには初期の低解像度点群しか要求されない場合がある。これは、レイヤの中間再構成バージョンを使用して構築され得、したがって、より速い復号を可能にする。一部の非限定的な実施形態では、少なくとも１つの平面の復号は最も高い品質レベルまで実行される一方、少なくとも別の平面の復号は、レンダリングが実行される視点からの距離などのパラメータに基づいて、最も高い品質レベルよりも低い所与の品質レベルまでしか実行されない場合がある。

方法は、三次元点群に関連付けられた関心領域の指標を取得することと、符号化されたデータのサブセットを復号して、関心領域に関連付けられた二次元表現を抽出することと、を含み、点のセットが、関心領域内の点を含む。関心領域を指定することで、関心ボリューム内にある点群（例えば、複数の特定の点）のボリュームのみを再構成する、二次元表現の部分的復号が可能となり得る。関心領域は、ユーザが見る三次元モデルの一部分、ならびに／または位置特定および特性抽出を必要とする点に対応し得る。この場合、符号化されたデータのサブセットを復号することは、カスタムデータ平面の複数のレイヤに関連付けられた符号化されたデータを取得することと、関心領域に関連付けられた基本レイヤの少なくとも一部分を復号することであって、基本レイヤが、複数のレイヤ内の第１のより低い解像度のレイヤである、復号することと、複数のレイヤ内の残差レイヤの一部分を第２のより高い解像度で復号することと、基本レイヤの一部分をアップサンプリングすることによって、二次元表現のあるバージョンを再構成することと、残差レイヤの復号された部分を二次元表現の再構成されたバージョンに適用して、二次元表現の第２のより高い解像度のバージョンを生成することと、を含み得る。ある場合では、比較的迅速に実行できることから、基本レイヤ全体が復号され得るが、より高い解像度のレイヤは、処理リソースおよび時間を節約するために部分的にのみ復号され得る。

他の非限定的な実施形態では、少なくとも１つの平面の復号は平面全体に対して実行される一方、少なくとも別の平面の復号は、レンダリングに含まれる予想視野などのパラメータに基づいて、所与の関心領域に対してのみ実行され得る。

一部の非限定的な実施形態では、指定された時間内に復号プロセスを完了するために、少なくとも１つの平面の復号は、復号完了のタイミング要件に基づいて、最も高い品質レベルよりも低い品質レベルまで実行され得る。これにより、復号およびレンダリングデバイスにおいて利用可能な処理能力に基づいて、同一の符号化された点群を異なる品質レベルで復号およびレンダリングすることができる。一部の非限定的な実施形態では、点群は、最も高いパワーを有する復号およびレンダリングデバイスで利用可能な処理能力に基づいて、非常に高い解像度および品質で符号化される。同一の符号化されたファイルが最も低いパワーを有する復号およびレンダリングデバイスにも伝送され、これらのデバイスはそれでも、より低い品質レベルではあるが、符号化ファイルをリアルタイムで処理およびレンダリングすることができる。

特定の場合では、方法は、三次元点群の少なくとも一部分をレンダリングするための所望の解像度の指標を取得することと、所望の解像度を提供するために復号すべき複数のレイヤのサブセットを決定することと、複数のレイヤのサブセットの符号化されたデータを復号して、所望の解像度に関連付けられた１つ以上の二次元表現を再構成することと、所望の解像度に関連付けられた１つ以上の二次元表現を処理して、三次元点群内の点のセットのための所望の解像度に対応する三次元座標を決定することと、を含み得る。例えば、ユーザまたはプロセスによって三次元空間における解像度が提供され得、方法は、所望の解像度に近い点群の表現を生成することが必要な複数のレイヤのサブセットのみを復号し得る。

特定の場合では、ティアベースの階層的な動画コード化フォーマットはティアベースの階層動画コード化方式に関連付けられており、符号化されたデータを復号することは、ティアベースの階層動画コード化方式内の符号化された動画のフレームについて、フレームに関連付けられた複数のカスタムデータ平面の符号化されたデータを抽出することであって、複数のカスタムデータ平面が、三次元点群内の点の三次元座標、および点の１つ以上の特性に関する情報を符号化する、抽出することと、抽出された符号化されたデータにティアベースの階層動画コード化方式のデコーダを適用して、所望の詳細度で、かつ所望の時間内に複数のカスタムデータ平面を再構成することであって、複数のカスタムデータ平面が、三次元点群に関連付けられた複数の二次元表現を含む、再構成することと、複数のカスタムデータ平面を処理して、フレームに関連付けられた時点における三次元点群内の点のセットの状態を再構成することと、を含む。

図１０および図１１は、三次元（３Ｄ）点群の複数の異なる二次元（２Ｄ）ビューがどのように生成および符号化され得るかを示す。

図１０は、３Ｄ点群１００５の例１０００を示す。点群１００５は、定義された原点を有するｘ、ｙ、およびｚ軸を含み得る基準フレーム１０１０に対して定義される。図１０は、ある時点ｔにおける点群１００５のスナップショットを示す。本明細書において説明される方法は、動的点群を表すために、複数の異なる時間ｔにおける一連のサンプルについて繰り返され得る。点群１００５は一連の点１０１５を含み、一連の点１０１５は、特定の３Ｄ座標および関連付けられたデータ、すなわち、定義された３Ｄ空間内の点を含む。ある場合では、点は、空間内の物体の表面を表し得る。この例における点は説明を容易にするために拡大されており、実装形態では、２Ｄまたは３Ｄの空間的広がりを有さない場合があることに留意されたい。

図１０は、点群の２つの例示的なビュー１０２０である第１のビュー１０２０－Ａおよび第２のビュー１０２０－Ｂを示す。２つのビューは例示にすぎず、１～ｎの異なる数のビューが提供され得る。各ビュー１０２０は、点１０１５をビュー平面上への投影として表す（例えば、特定の２Ｄ画素位置への投影として）。ある場合では、ビュー平面内で表される各点は値を有する。この値は、深度および／または色値を表し得る。値が深度を表す場合、ビュー平面は、そのビューのためのＹＵＶ色成分平面とともに、追加のデータ平面として符号化され得る。点の位置だけが必要であり、点の重複またはオクルージョンがない場合、点群を再構成するのに、深度情報を有する１つのビュー平面しか必要とされない場合がある（例えば、ビュー平面の位置および配向を記述するメタデータを与えられた所与の深度データを逆投影することによって）。

図１１は、点群１１０５の符号化プロセスの例を示す。点群１１０５は図１０の点群１００５であり得る。この例では、各点が、３Ｄ空間内の位置に様々なメタデータを加えたものとして定義されている。図１１において、これは、（ｘ、ｙ、ｚ値を用いた）３Ｄ座標、色データ（例えば、色分類または三刺激（ＲＧＢまたはＹＵＶ）値として）、および点が属する表面の法線を表す法線ベクトルを含む点データ１１２５として示されている。実装形態に応じて、異なる点群表現は異なるメタデータを有し得る。

図１１は、図１０のビュー平面１０２０に対応し得る点群の様々なビュー１１２０を示す。図１１の右側には、各ビュー平面上に投影される点に関連付けられた値を符号化する２Ｄ配列１１４０が示されている。例えば、第１のデータ平面１１４０－Ａは、（例えば、２Ｄデータ平面内のｘおよびｙ座標によって表される）特定の配列位置に投影される４つの点の値を符号化する。値は、点データ１１２５の符号化を含み得、かつ／または視野平面からの深度（例えば、視野平面に対して垂直な方向における点の距離）を表し得る。図１１では、点データ１１２５を符号化するためにＮ個のデータ平面が生成され、フレーム１１６０の異なる平面成分を表すデータ平面セット１１５０を形成する。したがって、データ平面セット１１５０は、動画データのフレームの場合の色成分または平面と同様に符号化され得、この場合は３つではなくＮ個の異なる平面が存在する。図１１のプロセスは、経時的に複数のフレームについて繰り返され得る。例えば、空間内で移動する物体が、図示されるように符号化された単一の移動点によって表され得る。

図１２は、各レイヤからの符号化データのすべてを復号する必要がないように関心領域が示され得る方法を示す。図１２において、ボトムまたは基本レイヤ１２０１は二次元表現を生成するように復号されるが、より高いレイヤ（１２０３、１２０５）については、関心領域１２０７に関するデータのみが復号され得る。例えば、ボトムまたは基本レイヤ１２０１は、点群の粗いまたは低解像度のバージョンが構築されることを可能にし得るが、（例えば、点のより正確な位置を有する）より高い解像度のバージョンは、元の点群空間内の小さなボリュームであり得る関心領域１２０７のためにのみ必要とされ得る。レイヤの残差データが、独立して符号化および復号可能な（例えば、他のブロックとの時間的または空間的な依存関係を有さない）ブロック（例えば、２×２または４×４の画素群）として編成される場合、関心領域１２０７に関連するブロックのみが抽出および復号され、その関心領域１２０７内の点に関連するデータが導出され得る。

図面を参照して本明細書で説明されている例の少なくとも一部の態様は、具体的なチップセットとして、例えば、特定用途向け集積回路もしくは構成されたフィールドプログラマブルゲートアレイ、または処理システムもしくはプロセッサにおいて実行されるコンピュータプロセス、ならびに例を実施するように適合されたコンピュータプログラム、例えば、キャリア上またはキャリア内のコンピュータプログラムとして実装され得る。キャリアは、プログラムを保持できる任意のエンティティまたはデバイスであり得る。本明細書おいて説明される技術は、ソフトウェアまたはハードウェアとして実装され得るか、またはソフトウェアおよびハードウェアの組み合わせを使用して実装され得る。これらは、本明細書において説明される技術のいずれかまたはすべてを実行および／またはサポートするように装置を構成することを含み得る。

上記の実施形態は、例示的な例として理解されるべきである。さらなる実施形態が想定される。任意の１つの実施形態に関連して説明される任意の特徴が、単独で、または説明される他の特徴と組み合わせて使用され得、また、実施形態の任意の他の１つ以上の特徴、または実施形態の任意の他の任意の組み合わせと組み合わせて使用され得ることを理解されたい。さらに、添付の特許請求の範囲において定義されている本発明の範囲から逸脱することなく、上で説明されていない均等物および改変形態が採用され得る。

Claims (22)

1. 三次元点群を符号化する方法であって、
   前記三次元点群内の点のセットを取得することであって、前記点のセット内の点が、三次元における座標を有する、取得することと、
   前記点を二次元表現に変換することであって、前記点のセット内の点について、前記座標を記述する情報が、前記二次元表現内の位置、および前記位置における値として表される、変換することと、
   ティアベースの階層コード化フォーマットを使用して前記二次元表現を符号化し、符号化されたデータを出力することであって、前記ティアベースの階層コード化フォーマットが、前記二次元表現を複数のレイヤとして符号化し、前記複数のレイヤが、前記信号を異なる品質レベルで漸進的に再構成するために使用されるデータの階層を表す、出力することと、を含む、方法。
2. 前記二次元表現が、前記三次元点群の二次元ビューを含み、前記点のセット内の前記点について、前記二次元表現内の前記位置が、前記二次元ビュー上への前記点の投影を介して決定され、前記位置における前記値が、前記二次元ビューに垂直な前記点の深度として決定される、請求項１に記載の方法。
3. 複数の対応する二次元ビューを含む複数の二次元表現が生成され、対応する二次元ビューの数および前記二次元ビューの配向のセットのうちの１つ以上が、前記点のセットを指定するように決定される、請求項２に記載の方法。
4. 前記二次元表現を符号化することが、
   ティアベースの階層コード化方式を使用して、前記二次元表現を、動画のフレームのためのカスタム色平面として符号化することをさらに含む、請求項１～３のいずれか一項に記載の方法。
5. 前記点のセットが、時間変化し、前記方法が、複数の時間刻みにわたり繰り返され、時間刻みが、前記動画のフレームに関連付けられている、請求項４に記載の方法。
6. 前記点を二次元表現に変換することが、
   前記点のセット内の点に関連付けられた特性値のセットを取得することと、
   前記特性値のセットを１つ以上の追加の二次元表現に変換することであって、前記二次元表現内の前記位置が、前記１つ以上の追加の二次元表現における前記点のインデックスとして使用され、前記特性値のセットが、前記１つ以上の追加の二次元表現内の前記位置における値として設定される、変換することと、をさらに含む、請求項１～５のいずれか一項に記載の方法。
7. ２つ以上の値で表される特性が、複数の追加の二次元表現として表される、請求項６に記載の方法。
8. 前記特性値のセットが、右目のための色、左目のための色、アルファチャンネル、法線ベクトルの成分、物体の特性に関する情報、および動きベクトルの座標のうちの１つ以上に関する、請求項６または７に記載の方法。
9. 前記点のセット内の点について、３つの次元のうちの第１および第２の次元における座標値が、前記二次元表現内の位置を示すために使用され、第３の次元における座標値が、前記位置における値として表される、請求項１～８のいずれか一項に記載の方法。
10. 前記複数のレイヤが、前記二次元表現の異なる空間分解能を表す、請求項１～９のいずれか一項に記載の方法。
11. 前記複数のレイヤが、基本レイヤと、１つ以上の残差データレイヤと、を含み、残差データが、第１のより低いレベルを使用して再構成された前記二次元表現のバージョンと、第２のより高いレベルの前記二次元表現のバージョンとの間の差異を示す、請求項１０に記載の方法。
12. 前記二次元表現のビット深度を決定することと、
    前記ビット深度に従って、前記二次元表現内の前記位置における前記値を符号化することと、を含む、請求項１～１１のいずれか一項に記載の方法。
13. 前記複数のレイヤのためのビット深度のセットを決定することであって、前記複数のレイヤのうちの少なくとも２つが、異なるビット深度を有する、決定することと、
    前記決定されたビット深度のセットにおけるレイヤ符号化を使用して、前記二次元表現を符号化することと、を含む、請求項１～１２のいずれか一項に記載の方法。
14. 前記符号化のロスレベルを取得することであって、前記ロスレベルが、ロスレスレベルおよびロッシーレベルのうちの１つ以上を含むセットから選択される、取得することと、
    前記取得されたロスレベルで前記二次元表現を符号化することと、を含む、請求項１～１３のいずれか一項に記載の方法。
15. 三次元点群を復号する方法であって、
    前記三次元点群を表す符号化されたデータを取得することであって、前記符号化されたデータが、ティアベースの階層コード化フォーマットを使用して符号化されており、前記ティアベースの階層コード化フォーマットが、データのフレームを複数のレイヤとして符号化し、前記複数のレイヤが、異なる品質レベルを表す、取得することと、
    前記符号化されたデータを復号して、前記三次元点群に関連付けられた二次元表現を再構成することと、
    前記二次元表現を処理して、前記三次元点群内の点のセットの三次元座標を決定することであって、三次元座標を記述する情報が、前記二次元表現内の位置、および前記位置における値として表される、決定することと、を含む、方法。
16. 前記二次元表現が、前記三次元点群の二次元ビューを含み、前記点のセット内の点について、前記三次元座標が、前記二次元表現における前記位置からの逆投影によって決定され、前記位置における前記値が、前記二次元ビューに垂直な前記点の深度を示す、請求項１５に記載の方法。
17. 符号化されたデータを取得することが、
    符号化された二次元データのフレームを取得することであって、前記フレームが、複数の関連付けられたカスタムデータ平面を有する、取得することと、
    前記複数の関連付けられたカスタムデータ平面に関連付けられた符号化されたデータを取得することと、を含む、請求項１５または１６に記載の方法。
18. カスタム色平面の前記符号化されたデータを復号することが、
    カスタムデータ平面の前記複数のレイヤに関連付けられたデータを取得することと、
    前記複数のレイヤ内の基本レイヤを第１のより低い解像度で再構成することと、
    前記基本レイヤをアップサンプリングすることによって、前記二次元表現のバージョンを再構成することと、
    第２のより高い解像度の前記複数のレイヤ内の残差レイヤを前記二次元表現の前記再構成されたバージョンに適用して、前記第２のより高い解像度の前記二次元表現のバージョンを生成することと、を含む、請求項１５～１７に記載のいずれか一項に方法。
19. 前記方法が、
    前記三次元点群に関連付けられた関心領域の指標を取得することと、
    前記符号化されたデータのサブセットを復号して、前記関心領域に関連付けられた二次元表現を抽出することと、を含み、
    前記点のセットが、前記関心領域内の点を含む、請求項１５～１８のいずれか一項に記載の方法。
20. 前記符号化されたデータのサブセットを復号することが、
    カスタムデータ平面の前記複数のレイヤに関連付けられた符号化されたデータを取得することと、
    前記関心領域に関連付けられた基本レイヤの少なくとも一部分を復号することであって、前記基本レイヤが、前記複数のレイヤ内の第１のより低い解像度のレイヤである、復号することと、
    前記複数のレイヤ内の残差レイヤの一部分を第２のより高い解像度で復号することと、
    前記基本レイヤの前記一部分をアップサンプリングすることによって、前記二次元表現のバージョンを再構成することと、
    前記残差レイヤの前記復号された部分を前記二次元表現の前記再構成されたバージョンに適用して、前記二次元表現の前記第２のより高い解像度のバージョンを生成することと、を含む、請求項１９に記載の方法。
21. 前記三次元点群の少なくとも一部分をレンダリングするための所望の解像度の指標を取得することと、
    前記所望の解像度を提供するために復号すべき前記複数のレイヤのサブセットを決定することと、
    前記複数のレイヤの前記サブセットの符号化されたデータを復号して、前記所望の解像度に関連付けられた１つ以上の二次元表現を再構成することと、
    前記所望の解像度に関連付けられた前記１つ以上の二次元表現を処理して、前記三次元点群内の前記点のセットのための前記所望の解像度に対応する三次元座標を決定することと、を含む、請求項１５～２０のいずれか一項に記載の方法。
22. 前記ティアベースの階層コード化フォーマットが、ティアベースの階層動画コード化方式に関連付けられており、前記符号化されたデータを復号することが、
    前記ティアベースの階層動画コード化方式内の符号化された動画のフレームについて、前記フレームに関連付けられた複数のカスタムデータ平面の符号化されたデータを抽出することであって、前記複数のカスタムデータ平面が、前記三次元点群内の点の三次元座標、および前記点の１つ以上の特性に関する情報を符号化する、抽出することと、
    前記抽出された符号化されたデータに前記ティアベースの階層動画コード化方式のデコーダを適用して、所望の詳細度で前記複数のカスタムデータ平面を再構成することであって、前記複数のカスタムデータ平面が、前記三次元点群に関連付けられた複数の二次元表現を含む、再構成することと、
    前記複数のカスタムデータ平面を処理して、前記フレームに関連付けられた時点における前記三次元点群内の前記点のセットの状態を再構成することと、を含む、請求項１５～２１のいずれか一項に記載の方法。

Images