JP7466849B2

JP7466849B2 - スライス毎のｔｒｉｓｏｕｐノードサイズ

Info

Publication number: JP7466849B2
Application number: JP2022563466A
Authority: JP
Inventors: アレクサンドレザゲットー; ダニーログラジオッシ; アリタバタバイ; 央二中神
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2020-06-23
Filing date: 2021-06-20
Publication date: 2024-04-15
Anticipated expiration: 2041-06-20
Also published as: US11375208B2; US20210400280A1; WO2021262559A1; CN114600163A; EP4136620A4; JP2023522702A; KR20220127323A; EP4136620A1

Description

〔関連出願との相互参照〕
本出願は、２０２０年６月２３日に出願された「スライス毎のＴＲＩＳＯＵＰノードサイズ（ＴＲＩＳＯＵＰＮＯＤＥＳＩＺＥＰＥＲＳＬＩＣＥ）」という名称の米国仮特許出願シリアル番号第６３／０４３，１１６号の米国特許法第１１９条に基づく優先権を主張するものであり、この文献は全体が全ての目的で引用により本明細書に組み入れられる。

本発明は、３次元グラフィックスに関する。具体的には、本発明は３次元グラフィックスの符号化に関する。

点群は、３Ｄ空間内の一群の点で構成され、各点は、（ｘ，ｙ，ｚ）幾何学的位置及び属性情報（色及び反射率など）に関連する。点群は、仮想／拡張現実、没入型テレプレゼンス、自律運転、文化遺産記録、３Ｄ自由視点、地理情報システムなどの複数の用途で利用することができる。点群は、数千個～数十億個の点で構成することができる。これらを実行可能にするには圧縮が必要である。

ＭＰＥＧは、２０１７年に公募要領（ＣａｌｌｆｏｒＰｒｏｐｏｓａｌ：ＣｆＰ）で点群圧縮（ＰＣＣ）標準化を開始した。静的点群のためのカテゴリー１、動的点群のためのカテゴリー２、及びＬｉＤＡＲシーケンス（動的に取得された点群）のためのカテゴリー３という３つの点群カテゴリーが認定された。最終的に、カテゴリー１及びカテゴリー３のためのＧ－ＰＣＣ（ジオメトリベースのＰＣＣ）、並びにカテゴリー２のためのＶ－ＰＣＣ（ビデオベースのＰＣＣ）という２つの技術が定義された。最初のテストモデルは２０１７年１０月に開発され、１つはＧ－ＰＣＣ用（ＴＭＣ１３）であり、もう１つはＶ－ＰＣＣ用（ＴＭＣ２）であった。それ以後、２つのテストモデルは技術貢献及び技術協力を通じて進化し、ＰＣＣ標準仕様の初版は２０２０年に出来上がる見込みである。

Ｖ－ＰＣＣは、最初に点群を３Ｄパッチと呼ばれる３Ｄ接続領域に分割する。次に、各３Ｄパッチを２Ｄパッチ上に投影する。この投影は、仮想正投影カメラ（ｖｉｒｔｕａｌｏｒｔｈｏｇｒａｐｈｉｃｃａｍｅｒａ）のように機能して、点群の特定の部分を取り込むことができる。これらのカメラ画像を組み合わせることで、一群の投影された２Ｄパッチを含むモザイクが生成される。このプロセスの結果、一群のメタデータ情報と、（１）占有マップ（ｏｃｃｕｐａｎｃｙｍａｐ）、（２）ジオメトリ画像、及び（３）複数の属性画像という最大３つの関連画像とが得られる。その後、２Ｄビデオコーダを使用して、結果として得られた点群の２Ｄ表現を符号化する。

Ｇ－ＰＣＣでは、ジオメトリ及び属性が別々に符号化される。通常、圧縮されたジオメトリは、ルートから個々のボクセルのリーフレベルまでの八分木として表される。或いは、表現をボクセルよりも大きなブロックのレベルに留め、三角形スープ（ｔｒｉａｎｇｌｅｓｏｕｐ）を使用して各リーフ内の表面を近似することもできる。予測的ジオメトリコーディング（ｐｒｅｄｉｃｔｉｖｅｇｅｏｍｅｔｒｙｃｏｄｉｎｇ）スキームも利用可能である。属性コーディングについては、Ｇ－ＰＣＣでは、領域適応階層変換（ＲｅｇｉｏｎＡｄａｐｔｉｖｅＨｉｅｒａｒｃｈｉｃａｌＴｒａｎｓｆｏｒｍ：ＲＡＨＴ）、予測変換（ＰｒｅｄｉｃｔｉｎｇＴｒａｎｓｆｏｒｍ）、リフティング変換（ＬｉｆｔｉｎｇＴｒａｎｓｆｏｒｍ）という３つの方法が存在する。

点群を符号化する際に、スライス毎のＴｒｉｓｏｕｐノードサイズが柔軟性を可能にする。各ブロック／ノードが同じサイズである代わりに、ユーザ又は機械が点群スライス毎のブロック／ノードサイズを示すことができる。この特徴は、例えば小さなノードサイズの方が領域内の特異性（ｓｐｅｃｉｆｉｃｉｔｙ）を高める関心領域コーディングを可能にする。

１つの態様では、装置の非一時的メモリにプログラムされた方法が、点群情報を受け取るステップと、点群情報を複数のスライスにセグメント化するステップと、複数のノードサイズを決定するステップと、複数のスライスの各々について複数のノードサイズのうちの１つのノードサイズを使用して点群を符号化するステップとを含む。ノードサイズは、関心領域基準に従って決定することができる。ノードサイズは、関心領域では縮小される。複数のノードサイズは、関心領域を表すスライスのための小さなノードサイズと、残りのスライスのための大きなノードサイズとを含む。複数のスライスの量は、複数のノードサイズの量に等しい必要はない。複数のノードサイズは、ユーザが構成ファイル内でノードサイズを指定することによってプログラムされる。複数のノードサイズは機械学習を使用して決定される。複数のノードサイズは、関心領域以外の任意の基準に従って決定される。

別の態様では、装置が、点群情報を受け取り、点群情報を複数のスライスにセグメント化し、複数のノードサイズを決定し、複数のスライスの各々について複数のノードサイズのうちの１つのノードサイズを使用して点群を符号化するためのアプリケーションを記憶する非一時的メモリと、メモリに結合されて、アプリケーションを処理するように構成されたプロセッサとを含む。ノードサイズは、関心領域基準に従って決定することができる。ノードサイズは、関心領域では縮小される。複数のノードサイズは、関心領域を表すスライスのための小さなノードサイズと、残りのスライスのための大きなノードサイズとを含む。複数のスライスの量は、複数のノードサイズの量に等しい必要はない。複数のノードサイズは、ユーザが構成ファイル内でノードサイズを指定することによってプログラムされる。複数のノードサイズは機械学習を使用して決定される。複数のノードサイズは、関心領域以外の任意の基準に従って決定される。

別の態様では、システムが、点群情報を受け取り、点群情報を複数のスライスにセグメント化し、複数のノードサイズを決定し、複数のスライスの各々について複数のノードサイズのうちの１つのノードサイズを使用して点群を符号化するように構成されたエンコーダと、符号化された点群情報を復号するように構成されたデコーダとを含む。ノードサイズは、関心領域基準に従って決定することができる。ノードサイズは、関心領域では縮小される。複数のノードサイズは、関心領域を表すスライスのための小さなノードサイズと、残りのスライスのための大きなノードサイズとを含む。複数のスライスの量は、複数のノードサイズの量に等しい必要はない。複数のノードサイズは、ユーザが構成ファイル内でノードサイズを指定することによってプログラムされる。複数のノードサイズは機械学習を使用して決定される。複数のノードサイズは、関心領域以外の任意の基準に従って決定される。

いくつかの実施形態による、ＴＭＣ１３としても知られているＧ－ＰＣＣ基準エンコーダを示すブロック図である。いくつかの実施形態による、Ｄ／２×Ｄ／２×Ｄ／２の寸法のボクセルを有する８つのサブキューブに体積が縦方向及び横方向にセグメント化される様子を示す図である。いくつかの実施形態による、制御できるボクセルグリッド距離ｄによって決定されるデコーダ内の導出点の数を示す図である。いくつかの実施形態による、各ノードに適用されてｘ、ｙ及びｚ方向にそれぞれ１回ずつの３ステップで実行される領域適応階層変換（ＲＡＨＴ）を示す図である。いくつかの実施形態によるＲＡＨＴ変換領域予測を示す図である。いくつかの実施形態による、元々の順序で編成されたサンプル点群、並びに３つの精緻化度（ｒｅｆｉｎｅｍｅｎｔｌｅｖｅｌｓ）及び対応する詳細度（ＬｅｖｅｌｓｏｆＤｅｔａｉｌｓ）（ＬｏＤ０、ＬｏＤ１及びＬｏＤ２）に再編成されたサンプル点群の例を示す図である。いくつかの実施形態による、フラグを１に設定することによって同じ精緻化度内の予測を実行できることを示す図である。いくつかの実施形態による予測変換を示す図である。いくつかの実施形態による、予測変換の上に成り立つリフティング変換を示す図である。いくつかの実施形態による、スライス毎のｔｒｉｓｏｕｐノードサイズを利用して点群を符号化する方法のフローチャートを示す図である。いくつかの実施形態による、スライス毎のｔｒｉｓｏｕｐノードサイズ法の図である。いくつかの実施形態による、スライス毎のｔｒｉｓｏｕｐノードサイズ法を実装するように構成された例示的なコンピュータ装置のブロック図である。ノードサイズが一定である実験結果を示す図である。いくつかの実施形態による、異なるノードサイズでの実験結果を示す図である。いくつかの実施形態による、一定のノードサイズ及び異なるノードサイズでの実験結果の比較を示す図である。いくつかの実施形態によるＰＳＮＲプロットを示す図である。

ジオメトリベースの点群圧縮（Ｇ－ＰＣＣ）は、他の手法を上回る圧縮能力を有する点群符号化技術のための標準である。Ｇ－ＰＣＣは、八分木スキーム、ｔｒｉｓｏｕｐスキーム又は予測的ジオメトリスキームを使用してジオメトリコーディングを実行する。ｔｒｉｓｏｕｐでは、ルートから任意のレベルまで構築された刈り込み八分木（ｐｒｕｎｅｄｏｃｔｒｅｅ）によってジオメトリが表され、リーフはボクセルよりも大きな占有ノード（ｏｃｃｕｐｉｅｄｎｏｄｅｓ）を表す。オブジェクト表面は一連の三角形で近似され、複数の三角形を関連付ける接続情報が存在しないため、この方法は「三角形スープ」又は（ｔｒｉｓｏｕｐ）と呼ばれる。

Ｇ－ＰＣＣは、３Ｄ空間内で直接コンテンツを符号化する。これを達成するために、Ｇ－ＰＣＣは、３Ｄ空間内の点位置を記述する八分木などのデータ構造を利用する。さらに、Ｇ－ＰＣＣは、入力点群座標表現に関する仮定を行わない。点群は、浮動小数点値表現から変換された内部整数ベースの値（ｉｎｔｅｒｎａｌｉｎｔｅｇｅｒ－ｂａｓｅｄｖａｌｕｅ）を有する。この変換は、概念的には入力点群のボクセル化と同様であり、スケーリング、変換（ｔｒａｎｓｌａｔｉｏｎ）及び端数処理（ｒｏｕｎｄｉｎｇ）によって達成することができる。

Ｇ－ＰＣＣの別の重要な概念は、並列コーディング機能（ｐａｒａｌｌｅｌｃｏｄｉｎｇｆｕｎｃｔｉｏｎａｌｉｔｙ）を可能にするタイル及びスライスの定義である。Ｇ－ＰＣＣでは、スライスが、単独で符号化及び復号できる点（形状及び属性）集合として定義される。タイルは、境界ボックス情報を有する一群のスライスである。タイルは別のタイルと重なり合うことができ、デコーダは、特定のスライスにアクセスすることによって点群の部分領域を復号することができる。

現在のＧ－ＰＣＣ標準の１つの限界は、イントラ予測のみについて定められる点、すなわち現在のところ時間予測ツールを使用していない点である。しかしながら、次期標準では、点群動き推定及び相互予測に基づく技術が検討されている。

図１は、いくつかの実施形態による、ＴＭＣ１３としても知られているＧ－ＰＣＣ基準エンコーダを示すブロック図である。この図は、ＴＭＣ１３の機能一式を表すものではなく、そのコアモジュールの一部のみを表すものである。最初に、ジオメトリ及び属性が別々に符号化されることが分かる。しかしながら、属性コーディングは、復号されたジオメトリに依存する。結果として、点群位置が最初に符号化される。

ソースジオメトリの点は、ワールド座標系内で浮動小数点数によって表すことができる。従って、ジオメトリコーディングの第一段階は、座標変換の後にボクセル化を実行することである。第２段階は、八分木スキーム、ｔｒｉｓｏｕｐスキーム又は予測的ジオメトリスキームを使用したジオメトリ分析を含む。最後に、結果として得られた構造を算術的に符号化する。ＴＭＣ１３は、属性コーディングに関して任意のＲＧＢからＹＣｂＣｒへの変換をサポートしている。その後に、３つの利用可能な変換ツール、すなわち領域適応階層変換（ＲＡＨＴ）、予測変換及びリフティング変換のうちの１つを使用する。変換後には、係数が量子化されて算術的に符号化される。

八分木コーディング
ボクセル化された点群は、八分木構造を使用して可逆的に表される。量子化されたＤ×Ｄ×Ｄの体積のボクセルに点群が含まれると仮定する。最初に、図２に例示するように、Ｄ／２×Ｄ／２×Ｄ／２の寸法のボクセルを含む８つのサブキューブに体積を縦方向及び横方向にセグメント化する。このプロセスは、Ｄが１に等しくなるまで各サブキューブについて再帰的に繰り返される。一般に、ボクセル位置は１つしか占有されず、このため八分木は点群のジオメトリを表すのに非常に便利なものになっている。各分解ステップでは、どのブロックが占有されていてどのブロックが占有されていないかが検証される。占有されたブロックは１としてマークされ、占有されていないブロックは０としてマークされる。このプロセス中に生成されたオクテットは、八分木ノード占有状態を１バイトワードで表し、隣接するオクテットとの相関関係を考慮するエントロピーコーダによって圧縮される。孤立点の符号化については、体積内に他の相関する点が存在しないため、オクテットをエントロピー符号化する別の方法、すなわち直接符号化モード（ＤｉｒｅｃｔＣｏｄｉｎｇＭｏｄｅ：ＤＣＭ）が利用される。ＤＣＭでは、圧縮を実行することなく点の座標が直接符号化される。ＤＣＭモードは、ツリーの全てのノードについてＤＣＭの使用をシグナリングするのを避けるために、隣接ノードから推測される。

ｔｒｉｓｏｕｐを介した表面近似
或いは、ジオメトリは、ボクセルよりも大きな占有サブブロックがリーフによって表される、ルートから任意のレベルまで構築された刈り込み八分木によって表すこともできる。オブジェクト表面は一連の三角形で近似され、複数の三角形を関連付ける接続情報が存在しないため、この方法は「三角形スープ」（又はｔｒｉｓｏｕｐ）と呼ばれる。この方法は、量子化が大まかなレート適応をもたらすという理由で、低ビットレートでの主観的品質を高める任意の符号化ツールである。ｔｒｉｓｏｕｐが有効である場合、ジオメトリビットストリームは、八分木、セグメントインジケータ及び頂点位置情報の組み合わせになる。復号プロセスでは、デコーダがｔｒｉｓｏｕｐメッシュ平面とボクセル化グリッドとの間の交点を計算する。デコーダにおける導出点の数は、図３に示すように制御できるボクセルグリッド距離ｄによって決定される。

属性符号化
Ｇ－ＰＣＣでは、ＲＡＨＴ、予測変換及びリフティング変換という３つの属性符号化法が存在する。ＲＡＨＴの裏の本旨は、下位八分木レベルの属性値を使用して次のレベルの属性値を予測することである。予測変換は、補間ベースの階層的最近傍予測スキーム（ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｒｐｒｅｄｉｃｔｉｏｎｓｃｈｅｍｅ）を実装する。リフティング変換は予測変換の上に成り立つが、追加の更新／リフティングステップを有する。従って、これ以降は、これらを合わせて予測／リフティング変換と呼ぶ。ユーザは、上述した変換のどちらかを自由に選択することができる。しかしながら、特定の状況を考慮すると、一方の方法の方が他方より適切な場合もある。どちらの方法を使用すべきであるかを決定する共通基準は、レート－歪み性能と計算的複雑性との組み合わせである。

ＲＡＨＴ変換
ＲＡＨＴは、点群の八分木表現を考慮することによって実行される。ＲＡＨＴは、その正準定式化では、八分木のリーフ（最高レベル）から開始してそのルート（最低レベル）に到達するまで逆向きに進む。図４に示すように、この変換は各ノードに適用され、ｘ、ｙ及びｚ方向にそれぞれ１回ずつの３ステップで実行される。各ステップでは、ローパスｇｎ係数及びハイパスｈｎ係数が生成される。ＲＡＨＴは、Ｈａａｒに影響を受けた階層変換である。従って、ＲＡＨＴは、１ＤＨａａｒ変換を最初の例とした場合により良く理解することができる。Ｎ個の要素を有する信号ｖについて考察する。ｖをＨａａｒ分解すると、元々の信号のローパス成分及びハイパス成分であるｇ及びｈが生成され、これらはそれぞれＮ／２個の要素を有する。ｇ及びｈのｎ番目の係数は以下の方程式を使用して計算される。

（１）

この変換は、現在のｇを新たな入力信号ｖとして採用して再帰的に実行することができ、再帰毎にローパス係数の数は１／２になる。ｇ成分は、等しい重みの連続するｖのペアのスケーリング和（ｓｃａｌｅｄｓｕｍ）として解釈することができ、ｈ成分は、これらのスケーリング差（ｓｃａｌｅｄｄｉｆｆｅｒｅｎｃｅ）として解釈することができる。しかしながら、Ｈａａｒ変換を使用して点群を符号化することを選択した場合には、入力点群のスパース性（ｓｐａｒｓｉｔｙ）を考慮するように変換が修正される。この修正は、点の分布に従う重みの適合を可能にすることによって達成することができる。従って、ＲＡＨＴの再帰的実行は以下のように定義することができ、

（２）

（３）

（４）
ここで、ｌは分解レベルであり、ｗ１及びｗ２は、レベルｌ＋１のローパス係数

及び

に関連する重みであり、

はレベルｌのローパス係数

の重みである。この結果、高密度領域点に高い重みが適用されるようになり、従ってＲＡＨＴは、変換領域において非適応変換よりも信号のバランスをとることができる。

ＲＡＨＴの固定小数点定式化が開発された。この定式化は、行列分解及び量子化ステップのスケーリングに基づく。シミュレーションでは、固定小数点の実装を浮動小数点の実装と同等とみなせることが示された。

ごく直近では、ＲＡＨＴにおける変換領域予測が開発されており、現在のテストモデルＴＭＣ１３において利用可能である。その本旨は、各ブロックについて、ｄ－１における復号された属性の和から計算されたレベルｄにおける変換されアップコンバートされた属性の和をレベルｄにおける変換された属性の和の予測として使用し、さらに量子化してエントロピー的に符号化できる高パス残差（ｈｉｇｈ－ｐａｓｓｒｅｓｉｄｕａｌｓ）を生成することである。このアップコンバートプロセスは、隣接ノードの加重平均を使用して行われる。図５は、ＲＡＨＴ変換領域予測の簡略図である。予測を使用しないＲＡＨＴ定式化に対する報告された利得は、レート歪みの意味において著しい改善（色について最大約３０％の、反射率について１６％の全体的平均利得）を示す。

予測／リフティング変換
予測変換は、属性コーディングのための距離ベースの予測スキームである。予測変換は、決定論的ユークリッド距離基準（ｄｅｔｅｒｍｉｎｉｓｔｉｃＥｕｃｌｉｄｅａｎｄｉｓｔａｎｃｅｃｒｉｔｅｒｉｏｎ）を使用して入力点を精緻化度（Ｒ）の組に分配する詳細度（ＬｏＤ）表現を使用する。図６に、元々の順序で編成されたサンプル点群、並びに３つの精緻化度及び対応する詳細度（ＬｏＤ₀、ＬｏＤ₁及びＬｏＤ₂）に再編成されたサンプル点群の例を示す。詳細度ｌは、０～ｌの精緻化度の和集合をとることによって取得されることが分かる。

各点の属性は、ＬｏＤ順によって決定される予測を使用して符号化される。図６を実例として使用してＬｏＤ₀のみについて考察する。この具体例では、Ｐ₂の属性を、その最近傍Ｐ₄、Ｐ₅又はＰ₀の再構築版、或いはこれらの点の距離ベースの加重平均によって予測することができる。予測候補の最大数は指定することができ、最近傍の数は点毎にエンコーダによって決定される。また、近傍変動解析（ｎｅｉｇｈｂｏｒｈｏｏｄｖａｒｉａｂｉｌｉｔｙａｎａｌｙｓｉｓ）も実行される。所与の点Ｐの近傍のいずれか２つの属性間の最大差が閾値よりも大きい場合には、レート歪み最適化手順を使用して最良の予測子を制御する。デフォルトでは、以前のＬｏＤ、すなわちＬｏＤ（ｊ－１）におけるｋ近傍の属性値を使用して精緻化度Ｒ（ｊ）の属性値が予測される。しかしながら、図７に示すようにフラグを１に設定することによって同じ精緻化度内の予測を実行することもできる。

予測変換は、ＬｏＤ構造に基づいて、分割（ｓｐｌｉｔ）演算子及びマージ（ｍｅｒｇｅ）演算子という２つの演算子を使用して実行される。ＬｏＤ（ｊ）及びＲ（ｊ）に関連する属性の集合をそれぞれＬ（ｊ）及びＨ（ｊ）とする。分割演算子は、Ｌ（ｊ＋１）を入力として取り、低解像度サンプルＬ（ｊ）及び高解像度サンプルＨ（ｊ）を戻す。マージ演算子は、Ｌ（ｊ）及びＨ（ｊ）を入力として取り、Ｌ（ｊ＋１）を戻す。図８に予測変換を示す。最初に、点群全体を表す属性信号Ｌ（Ｎ＋１）をＨ（Ｎ）及びＬ（Ｎ）に分割する。次に、Ｌ（Ｎ）を使用してＨ（Ｎ）を予測して残差Ｄ（Ｎ）を計算する。その後、プロセスは再帰的に継続する。再構築された属性は、マージ演算の連鎖を通じて取得される。

図９の図に示すリフティング変換は予測変換の上に成り立つ。リフティング変換では、更新（ｕｐｄａｔｅ）演算子及び適応的量子化戦略が導入される。ＬｏＤ予測スキームでは、各点に影響値が関連付けられる。低ＬｏＤ内の点はより頻繁に利用され、従って符号化プロセスに与える影響が大きい。更新演算子は、図９に示すように、残差Ｄ（ｊ）に基づいてＵ（ｊ）を決定した後にＵ（ｊ）を使用してＬ（ｊ）の値を更新する。更新信号Ｕ（ｊ）は、残差Ｄ（ｊ）、予測点とその近傍との間の距離、及びこれらに対応する重みの関数である。最後に、量子化プロセスを導くために、各点に関連する変換された係数にそれぞれの重みの平方根を乗じる。

八分木では、点群が位置する点群の体積を決定し、立方体境界ボックス／ブロックを取得し、ブロックをサブブロックに分割し、反復毎にサブブロックがボクセルを含むかどうかを判定し、サブブロックが複数のボクセルを含む場合にはサブブロックが単一のボクセルで構成されるまでサブブロックをさらに分割（例えば、分解）する。

以前のＧ－ＰＣＣの実装では、全てのスライスにわたって単一のｔｒｉｓｏｕｐノードサイズが利用される。従って、スライス０のノードサイズはスライス１のノードサイズと同じになり、スライス１のノードサイズはスライスＮ－１と同じノードサイズになる。

しかしながら、本明細書で説明したように、スライス毎のｔｒｉｓｏｕｐノードサイズの実装では、１又は２以上のスライスのノードサイズが異なることができる。例えば、スライス番号が増加又は減少するにつれてノードサイズも増加又は減少することができる。さらに、スライス０のノードサイズを非常に小さくし、スライス１のノードサイズをわずかに大きくし、スライスＮ－１のノードサイズが最大になるまでこれを繰り返すことができる。別の例では、スライス０のノードサイズが第１のサイズであり、他のスライスのノードサイズが第２のサイズである。ノードサイズは、毎回（スライス毎に）２倍、２乗、又はその他のサイズに変更することができる。例えば、ユーザが各スライスのノードサイズを指定することができる。

ブロック／ノードサイズは、スライスの概念と共にスライス毎に使用される。スライスは、そのスライスに入る点の数を決定する。点群は、同じ大きさのブロック又は関心領域など、望む通りにスライスに分割することができる。例えば、ユーザ／装置が特定の関心領域を指定することができる。さらに、機械学習を利用して、顔検出又は他のいずれかの形状／物体を検出してグループ／スライスとして分離することができる。この結果、エンコーダがスライス毎に特定のブロック／ノードサイズを有することができるようになる。異なるノードサイズを有することにより、表面を近似する三角形の量が多い重要な領域と、三角形が少ないそれほど重要でない領域という異なる領域を有することができる。このため、エンコーダ／デコーダがより柔軟かつ効率的になることができる。

いくつかの実施形態では、セグメント化及びノードサイズ決定が人間によって（例えば、構成ファイル内で）実行され、いくつかの実施形態では、これらのステップが人間の介入を伴わずに機械学習を使用して実行される。例えば、ユーザが構成ファイル内で１０個のスライス及び１０個又はそれ未満のノードサイズを定義した後に、エンコーダが最初のスライスに最初のノードサイズを使用することができ、以下同様である。別の例では、ユーザが定義したノードサイズがスライスよりも少ない場合、最後のノードサイズが残りのスライスに適用される（例えば、５つのスライスが存在して２つのノードサイズが定義された場合には、第１のスライスに第１のノードサイズが使用され、第２～第５のスライスに第２のノードサイズが使用される）。機械学習では、装置／システムを、関心領域を決定するように訓練（例えば、顔、人間、特定の物体（例えば、車両）、動物及び／又はいずれかの指定された物体を検出するテンプレートマッチング又は他のいずれかの画像処理）することができる。装置／システムは、各スライスにどのようなノードサイズを使用するかを決定するように訓練することもできる。例えば、スライスが関心領域を含む場合、装置／システムは、スライスが関心領域を含まない場合よりも小さなノードサイズをスライスが使用すべきであると学習する。さらに、異なるレベルの関心領域を開発／学習することもできる。例えば、顔を最高レベルの関心領域として指定し、他の身体部分を２番目に高いレベルの関心領域として指定し、背景情報などの最低レベルの関心領域まで以下同様に指定することができる。

Ｇ－ＰＣＣでは、ｔｒｉｓｏｕｐノードサイズがジオメトリパラメータセット（ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ：ＧＰＳ）内に示される。また、ジオメトリヘッダ（ＧｅｏｍｅｔｒｙＨｅａｄｅｒ）では、ＧＰＳ内に定められたｔｒｉｓｏｕｐノードサイズパラメータを使用して、サンプリング値及び一意的セグメント数（ｎｕｍｂｅｒｏｆｕｎｉｑｕｅｓｅｇｍｅｎｔｓ）などの、ｔｒｉｓｏｕｐコーディングの残りのパラメータを示すこともできる。ｔｒｉｓｏｕｐノードサイズパラメータが０とは異なる値を有する場合には、ＧＰＳに定められたツリーレベルと共にｔｒｉｓｏｕｐが使用されることを示す。スライスをｔｒｉｓｏｕｐと共に使用したいと望む場合、現在の表記法ではスライス毎にノードサイズを変更することができない。本明細書では、ｔｒｉｓｏｕｐコーディング内のノードサイズのスライス単位での制御を可能にする大まかな構文修正について説明する。イネーブルフラグＧＰＳ（ｅｎａｂｌｅｆｌａｇＧＰＳ）を送信し、ＧＤＵヘッダ内でノードサイズ値を送信することができる。以下、大まかな構文修正を示す。

以下は、本明細書で説明するｔｒｉｓｏｕｐのシグナリングのための例示的なコードである。

この解決策では、１に等しいｔｒｉｓｏｕｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ジオメトリデータユニットヘッダがｌｏｇ２＿ｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅを含むｔｒｉｓｏｕｐ符号化構文を含むことができることを指定し、０に等しいｔｒｉｓｏｕｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ジオメトリデータユニットヘッダが八分木符号化構文のみを含むことを指定する。ｔｒｉｓｏｕｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合には、ビットストリーム適合要件（ｒｅｑｕｉｒｅｍｅｎｔｏｆｂｉｔｓｔｒｅａｍｃｏｎｆｏｒｍａｎｃｅ）として、ａ）ｉｎｆｅｒｒｅｄ＿ｄｉｒｅｃｔ＿ｃｏｄｉｎｇ＿ｍｏｄｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しくなければならず、ｂ）ｕｎｉｑｕｅ＿ｇｅｏｍｅｔｒｙ＿ｐｏｉｎｔｓ＿ｆｌａｇが１に等しくなければならない。ｌｏｇ２＿ｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ要素は、三角形ノードのサイズとしての変数であるＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅを、ＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅ＝（１＜＜ｌｏｇ２＿ｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ－１）のように指定する。

別の可能性は、デルタオフセットを有効にするフラグであるベースノードサイズをＧＰＳにおいて送信した後に、ＧＤＵヘッダにおいてデルタを送信することである。

ジオメトリパラメータセット構文

この解決策では、１に等しいｌｏｇ２＿ｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ＿ｏｆｆｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｌｏｇ２＿ｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ＿ｏｆｆｓｅｔによって示されるｔｒｉｓｏｕｐノードサイズオフセットがジオメトリデータユニットヘッダ内に存在することを指定し、０に等しいｌｏｇ２＿ｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ＿ｏｆｆｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、このようなオフセットが存在しないことを指定する。ｌｏｇ２＿ｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ＿ｏｆｆｓｅｔ要素は、ｔｒｉｓｏｕｐ符号化構文において使用されるｌｏｇ２＿ｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅに対するオフセットを指定する。

図１０に、いくつかの実施形態による、スライス毎のｔｒｉｓｏｕｐノードサイズを利用して点群を符号化する方法のフローチャートを示す。ステップ１０００において、装置が点群情報を受け取る。例えば、点群情報は、カメラ装置から直接受け取られ、及び／又はダウンロードされる。

ステップ１００２において、点群情報をスライスにセグメント化／分割する。セグメント化は、人間によって又は機械学習を介して実行することができる。例えば、ユーザがスライスを指示／選択する。別の例では、装置／システムが機械学習を利用して、関心領域を決定してこれらの領域を特定のスライスとして選択することなどによってスライスを指示／選択する。関心領域は、機械が顔認識、身体認識及び／又はその他の物体検出／認識などのいずれかの画像処理技術を使用することによって決定することができる。

ステップ１００４において、スライスのノード／ブロックサイズを決定する。ノードサイズは、人間によって又は機械学習を介して決定することができる。例えば、ユーザが構成ファイルを編集して、スライスに基づいて各ノードのサイズを示すことができる。この情報は、スライス０が第１の指定ノードサイズであり、スライス１が第２の指定ノードサイズであることなどの詳細、或いはスライス番号が増えるにつれてノードサイズが増加又は減少することなどのさらに一般的な情報を含むことができる。別の例では、（例えば、決定された領域に基づく）特定のスライスのノードサイズが関心領域を含まないスライスと比べて小さいことを装置／システムが学習するような機械学習によってノードサイズが決定される。例えば、装置／システムは、分類を使用して、顔を含むスライスに最小ノードサイズを利用し、（顔ではない）身体を含むスライスに２番目に小さなノードサイズを利用し、その他のスライスに最大ノードサイズを利用する。ノードサイズは、ボクセル又は他のいずれかの単位（例えば、最小ノードサイズは１ボクセル、２番目に小さなノードサイズは２ボクセル、最大ノードサイズは４ボクセル）に基づくことができる。

ステップ１００６において、エンコーダがスライス及びノードサイズに基づいて点群情報を符号化する。この符号化についてはＧ－ＰＣＣ標準に記載されており、本明細書で説明したようにスライス及びノードサイズ情報に基づいて修正される。

いくつかの実施形態では、これよりも少ない又はさらなるステップを実装することができる。例えば、デコーダは、様々なノードサイズ及びスライスに基づいて点群情報を復号する。いくつかの実施形態では、ステップの順序が変更される。例えば、スライスを選択するステップとノードサイズを決定するステップの順序を入れ替えることができる。

図１１に、いくつかの実施形態によるスライス毎のｔｒｉｓｏｕｐノードサイズの図を示す。図示のように、Ｇ－ＰＣＣは、スライス毎に異なるｔｒｉｓｏｕｐノードサイズで動作できることによって、そのジオメトリコーディングの柔軟性を高めることができる。従来のＧ－ＰＣＣ実装１１１０は、全てのスライスにわたって単一のｔｒｉｓｏｕｐノードサイズを使用する。スライス毎のｔｒｉｓｏｕｐノードサイズ法では、スライス０のノードサイズ１１００の方がスライス１のノードサイズ１１０２よりも小さく、以下スライスＮ－１の最大ノードサイズ１１０４まで同様である。

図１２は、いくつかの実施形態による、スライス毎のｔｒｉｓｏｕｐノードサイズ法を実装するように構成された例示的なコンピュータ装置のブロック図である。コンピュータ装置１２００は、３Ｄコンテンツを含む画像及びビデオなどの情報の取得、記憶、計算、処理、通信及び／又は表示のために使用することができる。コンピュータ装置１２００は、Ｇ－ＰＣＣ、点群コーディング、及び／又はスライス毎のｔｒｉｓｏｕｐノードサイズ法の態様のいずれかを実装することができる。一般に、コンピュータ装置１２００を実装するのに適したハードウェア構造は、ネットワークインターフェイス１２０２、メモリ１２０４、プロセッサ１２０６、Ｉ／Ｏ装置１２０８、バス１２１０及び記憶装置１２１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサが選択される限り重要ではない。メモリ１２０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置１２１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置１２００は、１又は２以上のネットワークインターフェイス１２０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置１２０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。記憶装置１２１２及びメモリ１２０４には、スライス毎のｔｒｉｓｏｕｐノードサイズ法を実行するために使用される（単複の）スライス毎のｔｒｉｓｏｕｐノードサイズアプリケーション１２３０が記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置１２００には、図１２に示すものよりも多くの又は少ないコンポーネントを含めることもできる。いくつかの実施形態では、スライス毎のｔｒｉｓｏｕｐノードサイズハードウェア１２２０が含まれる。図１２のコンピュータ装置１２００は、スライス毎のｔｒｉｓｏｕｐノードサイズ法のためのアプリケーション１２３０及びハードウェア１２２０を含むが、スライス毎のｔｒｉｓｏｕｐノードサイズ法は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのいずれかの組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、スライス毎のｔｒｉｓｏｕｐノードサイズアプリケーション１２３０がメモリにプログラムされ、プロセッサを使用して実行される。別の例として、いくつかの実施形態では、スライス毎のｔｒｉｓｏｕｐノードサイズハードウェア１２２０が、スライス毎のｔｒｉｓｏｕｐノードサイズ法を実装するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

いくつかの実施形態では、（単複の）スライス毎のｔｒｉｓｏｕｐノードサイズアプリケーション１２３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが１又は２以上のサブモジュールも含む。いくつかの実施形態では、これよりも少ない又はさらなるモジュールを含めることもできる。

いくつかの実施形態では、スライス毎のｔｒｉｓｏｕｐノードサイズハードウェア１２２０が、レンズ、イメージセンサ及び／又は他のいずれかのカメラコンポーネントなどのカメラコンポーネントを含む。

好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートホン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、拡張現実装置、仮想現実装置、スマートジュエリ（例えば、スマートウォッチ）、車両（例えば、自動走行車両）、又はその他のいずれかの好適なコンピュータ装置が挙げられる。

図１３に、ノードサイズが一定である場合の実験結果を示す。具体的には、この実験では全てのノードについてｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ＿ｌｏｇ２が４に等しい。

図１４に、いくつかの実施形態による、異なるノードサイズでの実験結果を示す。具体的には、この実験では、パーティション（例えば、スライス）１、２及び３についてはｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ＿ｌｏｇ２が４に等しく、パーティション０についてはｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ＿ｌｏｇ２が１に等しい。この結果では、ノードサイズが小さいほど髪（パーティション０）の品質が向上する。

図１５に、いくつかの実施形態による、一定のノードサイズ及び異なるノードサイズでの実験結果の比較を示す。具体的には、左の画像ではｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ＿ｌｏｇ２が３に等しく、全てのパーティションで一定である。右の画像では、パーティション１、２、３についてはｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ＿ｌｏｇ２が３に等しく、パーティション０についてはｔｒｉｓｏｕｐ＿ｎｏｄｅ＿ｓｉｚｅ＿ｌｏｇ２が１に等しい。この結果では、右画像のパーティション０（分割線の上方）の画質が、左画像のパーティション０及び両画像の他のパーティションと比べてノードサイズが小さいほど向上していることが分かる。

図１６に、いくつかの実施形態によるＰＳＮＲプロットを示す。ノードサイズが一定である場合と異なるノードサイズを利用した場合とのピーク信号対雑音比（ＰＳＮＲ）の比較を示す。

本明細書で説明したスライス毎のｔｒｉｓｏｕｐノードサイズ法を利用するために、装置は、３Ｄコンテンツを取得又は受信して、３Ｄコンテンツの正しい効率的な表示を可能にするように最適化された形でコンテンツを処理及び／又は送信する。スライス毎のｔｒｉｓｏｕｐノードサイズ法は、ユーザ支援を伴って、又はユーザ関与を伴わずに自動的に実装することができる。

動作中、スライス毎のｔｒｉｓｏｕｐノードサイズ法は、３Ｄコンテンツをより効率的に符号化することができる。スライス毎のｔｒｉｓｏｕｐノードサイズ法は、点群を符号化する際の柔軟性を可能にすることができる。各ブロック／ノードが同じサイズである代わりに、ユーザ又は機械は、関心領域がその領域内の特異性を高める小さなノードサイズを有することができるようにブロック／ノードサイズを示すことができる。

スライス毎のｔｒｉｓｏｕｐノードサイズのいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
点群情報を受け取るステップと、
点群情報を複数のスライスにセグメント化するステップと、
複数のノードサイズを決定するステップと、
複数のスライスの各々について複数のノードサイズのうちの１つのノードサイズを使用して点群を符号化するステップと、を含む方法。

２．ノードサイズは、関心領域基準に従って決定される、条項１に記載の方法。

３．ノードサイズは、関心領域では縮小される、条項２に記載の方法。

４．複数のノードサイズは、関心領域を表すスライスのための小さなノードサイズと、残りのスライスのための大きなノードサイズとを含む、条項３に記載の方法。

５．複数のスライスの量は、複数のノードサイズの量に等しい必要はない、条項１に記載の方法。

６．複数のノードサイズは、ユーザが構成ファイル内でノードサイズを指定することによってプログラムされる、条項１に記載の方法。

７．複数のノードサイズは、機械学習を使用して決定される、条項１に記載の方法。

８．複数のノードサイズは、関心領域以外の任意の基準に従って決定される、条項１に記載の方法。

９．
点群情報を受け取り、
点群情報を複数のスライスにセグメント化し、
複数のノードサイズを決定し、
複数のスライスの各々について複数のノードサイズのうちの１つのノードサイズを使用して点群を符号化する、
ためのアプリケーションを記憶する非一時的メモリと、
メモリに結合されて、アプリケーションを処理するように構成されたプロセッサと、を含む装置。

１０．ノードサイズは、関心領域基準に従って決定される、条項９に記載の装置。

１１．ノードサイズは、関心領域では縮小される、条項１０に記載の装置。

１２．複数のノードサイズは、関心領域を表すスライスのための小さなノードサイズと、残りのスライスのための大きなノードサイズとを含む、条項１１に記載の装置。

１３．複数のスライスの量は、複数のノードサイズの量に等しい必要はない、条項９に記載の装置。

１４．複数のノードサイズは、ユーザが構成ファイル内でノードサイズを指定することによってプログラムされる、条項９に記載の装置。

１５．複数のノードサイズは、機械学習を使用して決定される、条項９に記載の装置。

１６．複数のノードサイズは、関心領域以外の任意の基準に従って決定される、条項９に記載の装置。

１７．
点群情報を受け取り、
点群情報を複数のスライスにセグメント化し、
複数のノードサイズを決定し、
複数のスライスの各々について複数のノードサイズのうちの１つのノードサイズを使用して点群を符号化する、
ように構成されたエンコーダと、
符号化された点群情報を復号するように構成されたデコーダと、を含むシステム。

１８．ノードサイズは、関心領域基準に従って決定される、条項１７に記載のシステム。

１９．ノードサイズは、関心領域では縮小される、条項１８に記載のシステム。

２０．複数のノードサイズは、関心領域を表すスライスのための小さなノードサイズと、残りのスライスのための大きなノードサイズとを含む、条項１９に記載のシステム。

２１．複数のスライスの量は、複数のノードサイズの量に等しい必要はない、条項１７に記載のシステム。

２２．複数のノードサイズは、ユーザが構成ファイル内でノードサイズを指定することによってプログラムされる、条項１７に記載のシステム。

２３．複数のノードサイズは、機械学習を使用して決定される、条項１７に記載のシステム。

２４．複数のノードサイズは、関心領域以外の任意の基準に従って決定される、条項１７に記載のシステム。

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。

Claims

装置の非一時的メモリにプログラムされた方法であって、
点群情報を受け取るステップと、
前記点群情報を複数のスライスにセグメント化するステップと、
複数のノードサイズを決定するステップと、
前記複数のスライスの各々について前記複数のノードサイズのうちの１つのノードサイズを使用して前記点群情報を符号化するステップと、
を含み、前記複数のスライスのスライス番号が増加するにすれてノードサイズが２倍になり、スライスの数より少ないノードサイズが定義されたときに、定義されたノードサイズの数よりも大きい残りのスライスに最後のノードサイズが適用されることを特徴とする方法。
前記ノードサイズは、関心領域基準に従って決定される、
請求項１に記載の方法。
前記ノードサイズは、関心領域では縮小される、
請求項２に記載の方法。
前記複数のノードサイズは、前記関心領域を表すスライスのための小さなノードサイズと、残りのスライスのための大きなノードサイズとを含む、
請求項３に記載の方法。
前記複数のスライスの量は、前記複数のノードサイズの量に等しい必要はない、
請求項１に記載の方法。
前記複数のノードサイズは、ユーザが構成ファイル内で前記ノードサイズを指定することによってプログラムされる、
請求項１に記載の方法。
前記複数のノードサイズは、機械学習を使用して決定される、
請求項１に記載の方法。
前記複数のノードサイズは、関心領域以外の任意の基準に従って決定される、
請求項１に記載の方法。
点群情報を受け取ること、
前記点群情報を複数のスライスにセグメント化すること、
複数のノードサイズを決定すること、
前記複数のスライスの各々について前記複数のノードサイズのうちの１つのノードサイズを使用して前記点群情報を符号化すること、ここで前記複数のスライスのスライス番号が増加するにすれてノードサイズが２倍になり、スライスの数より少ないノードサイズが定義されたときに、定義されたノードサイズの数よりも大きい残りのスライスに最後のノードサイズが適用される、
ためのアプリケーションを記憶する非一時的メモリと、
前記メモリに結合されて、前記アプリケーションを処理するように構成されたプロセッサと、
を備えることを特徴とする装置。
前記ノードサイズは、関心領域基準に従って決定される、
請求項９に記載の装置。
前記ノードサイズは、関心領域では縮小される、
請求項１０に記載の装置。
前記複数のノードサイズは、前記関心領域を表すスライスのための小さなノードサイズと、残りのスライスのための大きなノードサイズとを含む、
請求項１１に記載の装置。
前記複数のスライスの量は、前記複数のノードサイズの量に等しい必要はない、
請求項９に記載の装置。
前記複数のノードサイズは、ユーザが構成ファイル内で前記ノードサイズを指定することによってプログラムされる、
請求項９に記載の装置。
前記複数のノードサイズは、機械学習を使用して決定される、
請求項９に記載の装置。
前記複数のノードサイズは、関心領域以外の任意の基準に従って決定される、
請求項９に記載の装置。
点群情報を受け取り、
前記点群情報を複数のスライスにセグメント化し、
複数のノードサイズを決定し、
前記複数のスライスの各々について前記複数のノードサイズのうちの１つのノードサイズを使用して前記点群情報を符号化する、ここで前記複数のスライスのスライス番号が増加するにすれてノードサイズが２倍になり、スライスの数より少ないノードサイズが定義されたときに、定義されたノードサイズの数よりも大きい残りのスライスに最後のノードサイズが適用される、
ように構成されたエンコーダと、
前記符号化された点群情報を復号するように構成されたデコーダと、
を備えることを特徴とするシステム。
前記ノードサイズは、関心領域基準に従って決定される、
請求項１７に記載のシステム。
前記ノードサイズは、関心領域では縮小される、
請求項１８に記載のシステム。
前記複数のノードサイズは、前記関心領域を表すスライスのための小さなノードサイズと、残りのスライスのための大きなノードサイズとを含む、
請求項１９に記載のシステム。
前記複数のスライスの量は、前記複数のノードサイズの量に等しい必要はない、
請求項１７に記載のシステム。
前記複数のノードサイズは、ユーザが構成ファイル内で前記ノードサイズを指定することによってプログラムされる、
請求項１７に記載のシステム。
前記複数のノードサイズは、機械学習を使用して決定される、
請求項１７に記載のシステム。
前記複数のノードサイズは、関心領域以外の任意の基準に従って決定される、
請求項１７に記載のシステム。