JP2024528550A - スピンセンサヘッドによってキャプチャされた点群を符号化/復号化する方法及び装置 - Google Patents
スピンセンサヘッドによってキャプチャされた点群を符号化/復号化する方法及び装置 Download PDFInfo
- Publication number
- JP2024528550A JP2024528550A JP2023580931A JP2023580931A JP2024528550A JP 2024528550 A JP2024528550 A JP 2024528550A JP 2023580931 A JP2023580931 A JP 2023580931A JP 2023580931 A JP2023580931 A JP 2023580931A JP 2024528550 A JP2024528550 A JP 2024528550A
- Authority
- JP
- Japan
- Prior art keywords
- point
- spherical coordinates
- bitstream
- point cloud
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000003860 storage Methods 0.000 claims description 27
- 238000009987 spinning Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001419 dependent effect Effects 0.000 claims 3
- 238000010586 diagram Methods 0.000 abstract description 13
- 230000015654 memory Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 19
- 230000006835 compression Effects 0.000 description 16
- 238000007906 compression Methods 0.000 description 16
- 230000011664 signaling Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000013139 quantization Methods 0.000 description 9
- 239000010410 layer Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 235000019994 cava Nutrition 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 206010012812 Diffuse cutaneous mastocytosis Diseases 0.000 description 1
- 241000597800 Gulella radius Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001541 differential confocal microscopy Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本発明は、スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームに点群を符号化する/スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームから点群を復号化する方法及び装置を提供する。点群の各点は球座標と属性に関連付けられる。該方法は、ビットストリームにおいて信号を送信してスケーリングオフセットを表すスケーリングオフセット情報を通知するステップと、点群の現在の点のそれぞれに対して、現在の点の球座標を符号化/復号化するステップと、符号化された球座標から現在の点の復号化された球座標を取得するステップと、スケーリングオフセットを用いて現在の点の復号化された球座標をスケーリングするステップと、スケーリングされた復号化された球座標に基づいて現在の点の少なくとも1つの属性を符号化/復号化するステップと、を含む。
【選択図】 図7
【選択図】 図7
Description
関連出願の相互引用
本願は2021年7月2日に提出された欧洲特許出願No.21305920.7の優先権と利益を主張し、その全内容は引用により本明細書に組み込まれる。
本願は2021年7月2日に提出された欧洲特許出願No.21305920.7の優先権と利益を主張し、その全内容は引用により本明細書に組み込まれる。
本願は、一般に、点群圧縮に関し、具体的に、スピンセンサヘッドによってキャプチャされた点群の点の位置及び属性を符号化/復号化する方法及び装置に関する。
本節は、本分野の各態様を読者に紹介することを目的としており、これらの態様は、以下で説明された及び/又は保護が求められる本願の少なくとも1つの例示的な実施例の各態様に関連付けられる。本議論は、読者に背景情報を提供することで本願の各態様への理解に役立つと認められる。
3Dデータの一種の表現形式として、点群は、あらゆるタイプの物理オブジェクト又はシーンを表現する面では様々な機能を備えるため、最近注目を集めている。点群は、文化遺産や建物など様々な目的に使用可能であり、例えば、雕像又は建筑物のようなオブジェクトを3D方式でスキャンすることで、物体を送信したり訪問したりしない場合で物体の空間配置を共有する。また、それは、物体が破壊される場合に備えて物体の知識を保存する方式でもあり、例えば、地震によって破壊された寺院である。このような点群は通常、静的で、色が付いていて巨大である。
もう1つの使用例は、トポロジーと地図作成において、3D表現を使用すると、地図は平面に限定されず、起伏を含む地形を含むこともできる。現在、グーグルマップは3D地図の良好な例であるが、使用されるのは点群ではなくメッシュである。しかし、点群は3D地図の適切なデータフォーマットであってもよく、このような点群は通常、静的で、色が付いていて巨大である。
仮想現実(VR)、拡張現実(AR)及び没入型世界は最近話題となっており、2Dフラットビデオの未来として多くの人が予見している。その基本的な理念は、視聴者が目の前の仮想世界を見ることしかできない標準的なテレビとは対照的に、視聴者を周囲の環境に没入させることである。環境における視聴者の自由度に応じて、没入感にはいくつかの段階がある。点群はVR/AR世界を配布するための適切な形式の候補である。
自動車産業、特に予測されている自動運転車も、点群を大量に使用できる分野である。自動運転車は、周囲の環境を「検出」し、検出した最も近い物体の存在と性質及び道路の構成に基づいて良好な運転決断を下す必要がある。
点群は、3次元(3D)空間における点のセットであり、選択可能に各の点に追加値を追加する。これらの追加値は通常属性と呼ばれる。属性は、例えば3つの要素からなる色、材料特性(例えば反射率)及び/又は点に関連付けられた表面の2成分法線ベクトルであってもよい。
したがって、点群は幾何学(3D空間における位置、通常は3Dデカルト座標x、yとzで示される)と少なくとも1つの属性との組み合わせである。
点群は、カメラのアレイ、深度センサ、レーザ機器(光検出と測距、ライダとも呼ばれる)、レーダなど各種のデバイスによってキャプチャ可能であり、又はコンピュータによって生成(例えば、映画のポストプロダクションなど)可能である。使用例に応じて、点群には、数千から最大で数十億の点が地図作成アプリケーションに使用される場合がある。点群の元の表現は、デカルト座標x、yまたはzごとに少なくとも十数ビットの、点ごとに非常に高いビット数が必要とされており、選択的に、(1つ又は複数の)属性により多くのビット、例えば10ビットの三倍を提供して色に使用する。
多くのアプリケーションでは、許容可能な(または非常に優れた)エクスペリエンスの品質を維持しながら、適切な量のビットレートまたはストレージスペースのみを消費することで、点群をエンドユーザに配布したり、サーバに保存したりすることができ、これは非常に重要である。これらの点群の効率的な圧縮は多くの没入型ワールドで流通チェーンを実用化するための重要なポイントである。
AR/VRメガネやその他の3D対応デバイスなど、エンドユーザによる配布および視覚化の場合に対して、圧縮は非可逆圧縮(例えばビデオ圧縮において)になる可能性がある。医療アプリケーションや自動運転などの他の使用例は、圧縮および送信された点群のその後の分析から得られた決定の結果が変更されないように、確かに可逆圧縮を必要としている。
最近まで、点群圧縮(別名PCC)の問題は大衆市場で扱われておらず、利用可能な標準化された点群コーデックもない。2017年に、運動画像専門家グループ又はMPEGとも呼ばれる標準化ワーキンググループISO/JCT1/SC29/WG11は、点群圧縮に関する作業項目を開始した。これにより、以下の2つの標準が生まれた。すなわち、
MPEG-I第5部分(ISO/IEC 23090-5)又はビデオに基づく点群圧縮(V-PCC)
MPEG-I第9部分(ISO/IEC 23090-9)又は幾何学に基づく点群圧縮(G-PCC)
MPEG-I第5部分(ISO/IEC 23090-5)又はビデオに基づく点群圧縮(V-PCC)
MPEG-I第9部分(ISO/IEC 23090-9)又は幾何学に基づく点群圧縮(G-PCC)
V-PCC符号化方法は、3Dオブジェクトに対して複数回の投影を実行して点群を圧縮することで、画像(又は動的点群を取り扱う時ビデオ)に詰め込まれた2Dパッチを得る。その後、従来の画像/ビデオコーデックを用いて、取得した画像又はビデオを圧縮し、これにより、すでに展開されている画像とビデオの解決案を最大限に活用する。画像/ビデオコーデックは、ライダによってキャプチャされた疎な幾何学データの投影から取得した滑らかでないパッチなどの滑らかでないパッチを通常のように圧縮できないため、本質的には、V-PCCは高密度で連続した点群上でのみ効率的である。
G-PCC符号化方法には、キャプチャされた幾何学データを圧縮する2つの解決案がある。
第1の解決案は占有ツリーを基にしており、ローカルでは8分木、4分木、または2分木のうちのいずれか1つであり、点群の幾何学形状を表す。占有されたノードは一定のサイズになるまで分割され、占有されたリーフノードは点の3D位置を提供し、通常、これらのノードの中心にある。占有情報は占有フラグによって運ばれ、占有フラグは信号を送信してノードの各子ノードの占有状態を通知する。隣接ベースの予測技術を使用することで、高密度の点群の占有フラグの高レベルの圧縮が可能になる。疎な点群は、ノード内の最小サイズ以外の点の位置を直接符号化することによって対処することができ、ノードに孤立点のみが存在する場合にツリー構造を停止し、この技術は直接符号化モード(DCM)と呼ばれる。
第2の解決案は予測ツリーを基にしており、各ノードは1つの点の3D位置を表し、且つノード間の親/子関係は、親から子までの空間予測を表す。この方法は疎ら点群のみを解決でき、占有ツリーよりも低い遅延やよりシンプルな復号化を提供する優位性がある。しかし、第1の占有ベースの方法と比べて、圧縮パフォーマンスはわずかに優れているだけであり、エンコーダが予測ツリーを構築する際に(潜在的な予測子の長いリストの中から)最適な予測子を集中的に探す必要があるため、符号化も複雑になる。
この2種類の解決案では、属性の符号化(復号化)は、幾何学符号化(復号化)が完成した後に実行され、実際には、2回の符号化が発生した。したがって、ジョイント幾何/属性の低遅延は、3D空間を独立して符号化されたサブボリュームに分割するスライスを使用することで得られたものであり、サブボリューム間で予測する必要はない。多くのスライスを使用する場合は、圧縮性能に大きな影響を与える。
エンコーダとデコーダのシンプルさ、低遅延、圧縮パフォーマンスの要件を組み合わせることは、従来の点群コーデックが十分に対処していない問題である。
1つの重要な使用例は、移動車両に搭載されたスピンセンサヘッド(例えば、スピンライダヘッド)によってキャプチャされた疎らな幾何学データの伝送である。これは通常、シンプルで低遅延の組み込み型エンコーダが必要である。エンコーダが、他の処理(例えば(半)自動運転)を並列実行するための計算ユニットに配置される可能性があるため、シンプルさが求められ、したがって、点群エンコーダの利用可能な処理能力が制限される。車両からクラウドへの高速伝送を可能にするために、低い遅延も求められ、これにより、複数の車両の収集に基づいてローカル交通をリアルタイムにチェックし、且つ交通情報に基づいて十分な速度で判断を行うことを容易にする。5Gを使用することも遅延を十分低くすることもできるが、エンコーダ自体は符号化により過度の遅延を導入すべきではない。そして、数百万台の自動車からクラウドへのデータストリームは非常に大規模になる可能性があるため、圧縮パフォーマンスは非常に重要になる
スピンセンサヘッドによってキャプチャされた疎らな幾何学データに関連する特定のアプリオリは、非常に効率的である符号化/復号化方法を得るために使用されている。
例えば、G-PCCはスピンセンサヘッドによってキャプチャされた仰角(水平地面に対して)、例えば図1と図2で描かれたものを利用している。スピンセンサヘッド10はセンサ11のセット(例えば、レーザ)を含み、ここで、5つのセンサが示される。スピンセンサヘッド10は垂直軸z周りに回転することで物理オブジェクトの幾何学データ、即ち、点群の点の3D位置をキャプチャすることができる。その後、スピンセンサヘッドによってキャプチャされた幾何学データを球座標(r3D,φ,θ)で示し、r3Dは点Pとスピンセンサヘッドの中心との距離であり、φはセンサヘッドの参考物に対してスピンする方位角であり、θはスピンセンサヘッドのセンサの水平参考平面(ここでy軸)の仰角インデックスkに対する仰角である。仰角インデックスkは相対的なものであってもよく、例えばセンサkに対する仰角であってもよく、又は単一のセンサが連続する仰角のそれぞれを次々に検出する場合の第k個のセンサ位置であってもよい。
球座標空間において、角度の離散性質を用いて、符号化された点に基づいて現在の点の位置を予測し、この準1D特性はすでにG-PCCにおける占有ツリーと予測ツリーで利用されている。
より正確に、占有ツリーはDCMを大量に使用し、コンテキスト自己適応エントロピーエンコーダを使用してノード内の点の直接位置に対してエントロピー符号化を行う。その後、点位置から座標(φ,θ)までのローカル変換及びこれらの座標の、符号化された点から得られた離散角座標(φi,θk)の位置からコンテキストを取得する。
この座標空間の準1D性質(r,φi,θk)を用いて、予測ツリーは、球座標(r,φ,θ)における現在の点の位置の第1バージョンを直接符号化し、ここで、rは水平xy平面における投影半径であり、図4上でr2Dによって描かれたものの通りである。その後、球座標(r,φ,θ)を3Dデカルト座標(x,y,z)に変換し、xyz残差を符号化することで座標変換の誤差、仰角及び方位角の近似及び潜在的なノイズを解決する。
図5は、G-PCC予測ツリーに基づくエンコーダの類似する点群エンコーダを示している。
まず、点群の点のデカルト座標(x,y,z)を球座標(r,φ,θ)に変換し、(r,φ,θ)=C2A(x,y,z)である。
例えば、基本方位ステップサイズφstep又は1ターン当たりの検出回数NPは、幾何学パラメータセット内のビットストリームBに符号化される。選択可能に、NPはエンコーダのパラメータであり、幾何学パラメータセット内のビットストリームにおいて信号通知を送信することができ、φstepはエンコーダとデコーダの両者から同様に導出可能である。
残差球座標(rres,φres,θres)はビットストリームBに符号化することができる。
残差球座標(rres,φres,θres)は、量子化された残差球座標Q(rres,φres,θres)に量子化(Q)することができる。量子化された残差球座標Q(rres,φres,θres)はビットストリームBに符号化することができる。
予測ツリーの各ノードに対して、φstep予測インデックスnと数mはビットストリームBにおいて信号によって示され、基本方位ステップサイズは一定の固定小数点精度を有し、同一の予測ツリーのすべてのノードによって共有される。
予測インデックスnは候補予測子リストから選択された予測子を指す。
候補予測子PR0は(rmin,φ0,θ0)に等しくてもよく、ここで、rminは最小半径値(幾何学パラメータセットで提供される)であり、現在のノード(現在の点P)に親ノードがなければ、φ0とθ0は0に等しく、又は親ノードに関連する点の方位角と仰角に等しい。
もう1つの候補予測子PR1は(r0,φ0,θ0)に等しくてもよく、ここでr0、φ0とθ0はそれぞれ現在のノードの親ノードに関連する点の半径、方位角と仰角である。
もう1つの候補予測子PR2は、現在のノードの親ノードに関連する点の半径、方位角と仰角(r0,φ0,θ0)及び祖父ノードに関連する点の半径、方位角及び仰角(r1,φ1,θ1)を用いた、半径、方位角と仰角の線形予測に等しくてもよい。
例えば、PR2=2*(r0,φ0,θ0)-(r1,φ1,θ1)
もう1つの候補予測子PR3は、現在のノードの親ノードに関連する点の半径、方位角と仰角(r0,φ0,θ0)、祖父ノードに関連する点の半径、方位角と仰角(r1,φ1,θ1)、及び曽祖父ノードに関連する点の半径、方位角及び仰角(r2,φ2,θ2)を用いた、半径、方位角と仰角の線形予測に等しくてもよい。
例えば、PR3=(r0,φ0,θ0)+(r1,φ1,θ1)-(r2,φ2,θ2)
復号化された残差球座標(rres,dec,φres,dec,θres,dec)は量子化された残差球座標Q(rdec,φres,θres)の逆量子化(IQ)の結果であってもよい。
x,y,z量子化ステップサイズが原始点精度(通常は1)に等しい場合、残差デカルト座標は、可逆符号化であってもよく、又は量子化ステップサイズが原始点精度(通常量子化ステップサイズ大于1)より大きい場合、それは非可逆符号化であってもよい。
復号化されたデカルト座標(xdec,ydec,zdec)はエンコーダにより使用可能であり、例えば、属性符号化の前に点をソート(復号化)することができる。
図6は、G-PCC予測ツリーに基づく予測ツリーデコーダと類似する点群デコーダを示す。
予測ツリーの各ノードに対して、ビットストリームBから予測インデックスnと数mにアクセスし、基本方位ステップサイズφstep又は1ターン当たりの検出回数NPはビットストリームB(例えばパラメータセットから)からアクセスされ、且つ同一予測ツリーのすべてのノードによって共有される。
復号化された残差球座標(rres,dec,φres,dec,θres,dec)は、ビットストリームBから残差球座標(rres,φres,θres)を復号化することによって得ることができる。
ビットストリームBから、量子化された残差球座標Q(rres,φres,θres)を復号化することができる。量子化された残差球座標Q(rres,φres,θres)に対して逆量子化を行うことで、復号化された残差球座標(rres,dec,φres,dec,θres,dec)を得る。
復号化された球座標(rdec,φdec,θdec)は、式(4)に基づいて、復号化された残差球座標(rres,dec,φres,dec,θres,dec)と予測された球座標(rpred,φpred,θpred)とを加算することによって得られる。
予測されたデカルト座標(xpred,ypred,zpred)は、式(3)に基づいて、復号化された球座標(rdec,φdec,θdec)に対して逆変換を行うことによって得られる。
ビットストリームBから、量子化された残差デカルト座標Q(xres,yres,zres)を復号化して逆量子化を行うことにより、逆量子化されたデカルト座標IQ(Q(xres,yres,zres))を得る。復号化されたデカルト座標(xdec,ydec,zdec)は式(5)によって与えられる。
点属性は、点の間の空間関係/距離に基づいて属性情報の関連付けを解除することに役立つために、点の符号化されたデカルト座標に基づいて符号化されてもよい。
G-PCCにおいて、点の属性の関連付けの解除及び符号化には、主に2種類の方法があり、1つの方法は、領域適応型階層変換に用いられるRAHTとして表され、もう1つの方法は、LoD予測として表される。
RAHTは多重解像度変換を用いて点の属性を符号化する。RAHTは、低解像度から最大解像度まで、変換された属性値を連続して次の解像度のサブバンドに符号化する。多重解像度分解は、符号化された点の座標に基づいて行われ、最後の1つの符号化された点から最初の符号化された点までの各分解層は、いずれも各次元における2倍解像度低下によって取得され、各解像度を、1つの八分木ジオメトリレベルの占用位置に用いられる属性符号化に対応させる(詳細については、https://www.mpegstandards.org/standards/MPEG-I/9/上的G-PCC codec description N0057(G-PCCコーデック説明N0057)、2021年1月を参照)。
LoD予測方法は、多重解像度表示を得るために使用されてもよいが、分解レベルの数(即ち、詳細のレベルの数)はパラメータ化可能なものである。各詳細レベルは、決定的な方法を用いて、その符号化された座標に基づいて点のサブセットを選択して取得される。LoD予測方法は、各層の間の点のサブサンプルを取得する。予測変換関連付け解除方法を用いる時、属性値から復号化された同一層における指定数量の最後の点及び/又は親層の点(以前に復号化された層の点に属する)から選択されたk-最も近い属性値の加重予測を使用して現在復号化された点の属性値(例えば、3チャンネル/コンポーネントカラー、単一チャネル/コンポーネント反射率)の予測を実行する。数字「k」はビットストリーム(属性パラメータセットにおいて)において指示され、加重予測における重みは、現在の点の座標(デカルト座標又は球座標で、配置によるものである)と最も隣接する座標との間の距離によって決定される。LoD予測方法の複雑さを制限するために、最も隣接することは、検索ウィンドウに属するものに限定される。該方法のより多くの詳細は、2021年1月のG-PCC codec description document N0057(G-PCCコーデック説明書類N0057、https://www.mpegstandards.org/standards/MPEG-I/9/から取得可能)において与えられる。
LoD予測方法は、上記予測変換と同様なメカニズムを使用可能であり、且つ各分解層の間にリフティングステップを追加できるため、リフティング変換として表示される場合もあり、これにより、最低解像度の表示(即、在第1个LoD層中)においてよりよいエネルギー圧縮を有し、したがって、非可逆属性符号化の効率はより高い。
観察により、スピンセンサヘッドによってキャプチャされた点群について、デカルト座標を使用する代わりに、属性符号化は、予測ツリー復号化(即、復号化された球座標)によって直接取得された(r,φ,θ)又は八分木ジオメトリを使用する際に復号化されたデカルト座標から取得(即ち、算出)された球座標(r,φ,θ)を使用することによって利益を受ける可能性がある。
球座標(r,φ,θ)は、常に同等の大きさで表されるわけではない。半径rは、x,y座標と量子化パラメータに対する値を有し、方位角φは、コーデックにおいて使用される方位角精度に対する値を有し、且つ仰角θは、第k個の仰角のインデックスに対する値(他の2つの座標に対して、小さい値であってもよい)を有する。そのため、属性符号化を改善するために、属性符号化の前に、ビットストリームにおいて信号を送信して通知されるスケーリング係数を使用して球座標(r,φ,θ)をスケーリングしてもよい。
G-PCCにおいて、3つの球座標ck(c0=r,c1=φ,且つc2=θ)のうちのそれぞれに対して1つのスケーリング係数が符号化される。各スケーリング係数は、5ビットのプレフィックス値とサフィックス値によって符号化される。プレフィックスの符号なし整数値(0~31)に1(1~32)を加える値は、サフィックスのビット数を表す。サフィックスは、符号なし整数値skであり、スケーリング係数σkの8ビットの固定小数点表現に対応し、k=0,1,2である。したがって、スケーリング係数σkが1.0であることに対して、skの符号化された値は256(符号化されたプレフィックスの値は7)であり、符号化されたskが1(符号化されたプレフィックスは0)に等しい場合、対応するスケーリング係数はσk=1.0/256である。
G-PCCにおいて、ほとんどの属性符号化設定は、正の座標を処理するために設計されている。そして、インデックス「i」を有し且つ球座標ck,iを有する各点について、スケーリング係数を乗算する前に、それぞれ球座標ckからスケーリングオフセットokを減算する、k=0,1,2である。
与えられているk({0,1,2}では)について、スケーリングオフセットokは、すべての符号化された点(即ち、任意の「i」に対して)の球座標ck,iの最小値に等しい。したがって、式(6)の差(ck,i-ok)が常に0以上であり且つスケーリング係数skが正であるため、スケーリングの球座標sck,iは0以上である。
スケーリングオフセットok(即ち、最小値を取得する)を計算することは、エンコーダとデコーダの両方のすべての符号化された点の球座標にアクセスする必要がある。その後、それらの属性を符号化又は復号化する前にすべての符号化された点の球座標をバッファする必要がある。この行為は、実行パイプラインに遅延が発生するため、遅延とメモリの占用が増加する。
属性符号化(復号化)を開始する前に、点群のすべての点の座標の符号化(復号化)を待つ要件を除去するとともに、符号化(復号化)を低下させることなく、かつ複雑さを増すことないことは、解決すべき課題となっている。
次のセクションは少なくとも1つの例示的な実施例の簡略化した概要を提示することで、本願の幾つかの態様の基本的な理解を提供する。本概要は例示的な実施例の詳しい説明ではない。実施例の肝心又は重要な要素を特定することを意図していない。以下の概要は、本明細書の他の箇所で提供されるより詳しい説明の序章として、例示的な実施例の少なくとも1つの幾つかの態様を、簡略化した形で提示するだけである。
本願の第1態様によると、点群をスピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームに符号化する方法を提供し、点群の各点は球座標と少なくとも1つの属性に関連付けられ、球座標は、該点をキャプチャしたスピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、点をキャプチャしたセンサの標高(elevation、海抜又は高さとも呼ばれる)に対する仰角と、該点から基準点までの距離に依存する半径と、を表し、該方法は、
-ビットストリームにおいて、信号を送信してスケーリングオフセットを表すスケーリングオフセット情報を通知するステップと、
点群の現在の点のそれぞれに対して、
-現在の点の球座標を符号化して、現在の点の符号化された球座標をビットストリームに追加するステップと、
-現在の点の符号化された球座標を復号化することにより、復号化された球座標を取得するステップと、
-スケーリングオフセットに基づいて、復号化された球座標をスケーリングするステップと、
-スケーリングされた復号化された球座標に基づいて、現在の点の少なくとも1つの属性を符号化し、少なくとも1つの符号化された属性をビットストリームに追加するステップと、を含む、
-ビットストリームにおいて、信号を送信してスケーリングオフセットを表すスケーリングオフセット情報を通知するステップと、
点群の現在の点のそれぞれに対して、
-現在の点の球座標を符号化して、現在の点の符号化された球座標をビットストリームに追加するステップと、
-現在の点の符号化された球座標を復号化することにより、復号化された球座標を取得するステップと、
-スケーリングオフセットに基づいて、復号化された球座標をスケーリングするステップと、
-スケーリングされた復号化された球座標に基づいて、現在の点の少なくとも1つの属性を符号化し、少なくとも1つの符号化された属性をビットストリームに追加するステップと、を含む、
本願の第2態様によると、スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームから点群を復号化する方法を提供し、該方法は、
-ビットストリームからのスケーリングオフセット情報にアクセスするステップと、
点群の現在の点のそれぞれに対して、
-ビットストリームから取得された現在の点の符号化された球座標を復号化することにより、復号化された球座標を取得するステップであって、現在の点の球座標が、現在の点をキャプチャしたスピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、現在の点をキャプチャしたセンサの標高に対する仰角と、現在の点から基準点までの距離に依存する半径と、を表すステップと、
-スケーリングオフセット情報から取得されたスケーリングオフセットに基づいて、復号化された球座標をスケーリングするステップと、
-スケーリングされた復号化された球座標に基づいて、現在の点の属性を復号化するステップと、を含む。
-ビットストリームからのスケーリングオフセット情報にアクセスするステップと、
点群の現在の点のそれぞれに対して、
-ビットストリームから取得された現在の点の符号化された球座標を復号化することにより、復号化された球座標を取得するステップであって、現在の点の球座標が、現在の点をキャプチャしたスピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、現在の点をキャプチャしたセンサの標高に対する仰角と、現在の点から基準点までの距離に依存する半径と、を表すステップと、
-スケーリングオフセット情報から取得されたスケーリングオフセットに基づいて、復号化された球座標をスケーリングするステップと、
-スケーリングされた復号化された球座標に基づいて、現在の点の属性を復号化するステップと、を含む。
例示的な一実施例では、スケーリングの球座標が負でないこと及び/又は特定の範囲内にあることを確保するように、スケーリングオフセットを決定する。
例示的な一実施例では、スケーリングオフセットは、点群のすべての点の復号化された球座標から算出された最小値よりも小さくなるように決定される。
例示的な一実施例では、スケーリングオフセットは、センサスピンヘッドのセンサとキャプチャ特性とに基づいて決定される。
例示的な一実施例では、スケーリングオフセット情報はスケーリングオフセットを含む。
例示的な一実施例では、スケーリングオフセット情報は、特定の方法を用いてスケーリングオフセットを決定することを指示する。
例示的な一実施例では、特定の方法はクリッピング又はモジュロ演算を用いる。
本願の第3態様によると、点群をスピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームに符号化する装置を提供する。該装置は、本願の第1態様による方法を実行するように構成される1つ又は複数のプロセッサを含む。
本願の第4態様によると、スピンセンサヘッドによってキャプチャされた点群の点をビットストリームから復号化する装置を提供する。該装置は、本願の第2態様による方法を実行するように構成される1つ又は複数のプロセッサを含む。
本願の第5態様によると、命令を含むコンピュータプログラム製品を提供し、該プログラムが1つ又は複数のプロセッサによって実行される場合、1つ又は複数のプロセッサに本願の第1態様による方法を実行させる。
本願の第6態様によると、命令を含むコンピュータプログラム製品を提供し、プログラムが1つ又は複数のプロセッサによって実行される場合、1つ又は複数のプロセッサに本願の第2態様による方法を実行させる。
本願の第7態様によると、非一時的な記憶媒体を提供し、該非一時的な記憶媒体は、本願の第1態様による方法を実行するためのプログラムコードの命令を運ぶ。
本願の第8態様によると、非一時的な記憶媒体を提供し、該非一時的な記憶媒体は、本願の第2態様による方法を実行するためのプログラムコードの命令を運ぶ。
本願の第9態様によると、スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームを提供し、該ビットストリームは、スケーリングオフセット情報を運ぶ少なくとも1つの構文要素を含み、該スケーリングオフセット情報は、符号化された点群データで示される点群の点の復号化された球座標をスケーリングするためのスケーリングオフセットを表す。
例示的な実施例における少なくとも1つの具体的な性質及び前記例示的な実施例における少なくとも1つの他の目的、利点、特徴および用途は、次の図面と組み合わせた例への説明により明らかになる。
現在、本出願の例示的な実施例の図面を例として参照する。
従来技術に係るセンサヘッド及び幾つかのパラメータの側面図である。
従来技術に係るセンサヘッド及び幾つかのパラメータの上面図である。
従来技術に係るスピンセンサヘッドによってキャプチャされたデータの規則的な分布を示す図である。
従来技術に係る3D空間における点の表示を示す図である。
従来技術に係るG-PCC予測ツリーに基づくエンコーダと類似する点群エンコーダを示す図である。
従来技術に係るG-PCC予測ツリーに基づくデコーダと類似する点群デコーダを示す図である。
少なくとも1つの例示的な実施例に係るスピンセンサヘッドによってキャプチャされた点群の点の属性を符号化する方法100のステップのブロック図である。
少なくとも1つの例示的な実施例に係るスピンセンサヘッドによってキャプチャされた点群の点の属性を復号化する方法200のステップのブロック図である。
各態様と例示的な実施例を実現するシステムの例示的なブロック図である。
異なる図面において、類似する符号で類似するコンポーネントを表すことが可能である。
以下、図面を参照して例示的な実施例のうちの少なくとも1つを説明し、ここで、例示的な実施例のうちの少なくとも1つの例を示す。しかし、例示的な実施例は多くの代替の形で実施可能であり且つ本明細書で説明される例を限定するものとして理解すべきではない。したがって、例示的な実施例を開示された特定の形式に限定すべきではないことを理解されたい。むしろ、本開示は、本願の精神と範囲内に含まれるすべての修正、同等物及び代替の解決案をカバーすることを目的としている。
図面がフローチャットの形式で示される時、対応する装置のブロック図も提供されることを理解されたい。同様に、図面がブロック図の形式で示される時、対応する方法/プロセスのフローチャットも提供されることを理解されたい。
これらの態様の少なくとも1つは、一般に、点群符号化と復号化に関し、且つ少なくとも1つの他の態様は、一般に、生成又は符号化されたビットストリームの伝送に関する。
そして、本態様は、点群圧縮に関連するMPEG-I第5部分又は第9部分のようなMPEG標準に限らず、他の標準と推薦に適用可能であり、例えば事前に存在したもの、まだ開発されていないもの、及び任意のこのような標準と推薦(MPEG-I第5部分と第9部分を含む)の拡張である。特に指示がない限り、又は技術的に除外されていない限り、本願で説明される態様は単独又は組み合わせて使用することができる。
本発明は、点群をスピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームに符号化する/スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームから点群を復号化する方法と装置に関する。点群の各点は球座標と属性に関連付けられる。該方法は、ビットストリームにおいて信号を送信して、スケーリングオフセットを表すスケーリングオフセット情報を通知するステップと、点群の現在の点のそれぞれに対して、現在の点の球座標を符号化/復号化するステップと、符号化された球座標から現在の点の復号化された球座標を取得するステップと、スケーリングオフセットを用いて現在の点の復号化された球座標をスケーリングするステップと、スケーリングされた復号化された球座標に基づいて現在の点の少なくとも1つの属性を符号化/復号化するステップと、を含む。
ビットストリームにおいて信号を送信してこのようなスケーリングオフセット情報を通知することにより、デコーダにおいてスケーリングオフセットを計算することを回避し、そして、属性復号化を開始する前にすべての点の座標の復号化を待つという要件を取り除き、復号化効率に影響を与えない。
本発明は、さらに、復号化された点の属性を復号化する前に、復号化された点のすべての座標のバッファを除去することでメモリ占用を減少させる。
図7は、少なくとも1つの例示的な実施例に係る、スピンセンサヘッドによってキャプチャされた点群の点の属性を符号化する方法100のステップのブロック図である。
ステップ110において、スケーリングオフセットokを決定する。
ステップ120において、ビットストリームBにおいて信号を送信して、スケーリングオフセットokを表すスケーリングオフセット情報を通知する。
点群の現在の点のそれぞれに対して、ステップ130において、現在の点の球座標は符号化されてビットストリームBに追加される。
ステップ140において、符号化された球座標を復号化することにより、復号化された球座標を取得する。
ステップ150において、例えば式(6)を用いてスケーリングオフセットokに基づいて、現在の点の復号化された球座標をスケーリングする。
ステップ160において、スケーリングされた復号化された球座標に基づいて現在の点の少なくとも1つの属性を符号化し、前記少なくとも1つの符号化された属性をビットストリームBに追加する。
このような方法は、点の属性を符号化する前に点群におけるすべての点の球座標をバッファすることを要求しない。この方法は、符号化効率を低下させることなく、符号化の複雑さを増すこともない。
スケーリングオフセット情報は、点群のすべての符号化された点の球座標の完全な復号化の前にスケーリングオフセットokを決定できるあらゆる情報であってもよい。
スケーリングオフセット情報は、符号化された点の球座標がすでに再構築/復号化される前に読み取り/アクセス/取得/復号化されたビットストリームの一部から提供可能である。
例示的な実施例において、G-PCCの属性パラメータセットにおいて信号を送信してスケーリングオフセット情報を通知する。
例示的な実施例において、G-PCCのジオメトリパラメータセットにおいて信号を送信してスケーリングオフセット情報を通知する。
例示的な実施例において、G-PCCの属性ブロックヘッダにおいて信号を送信してスケーリングオフセット情報を通知する。
例示的な実施例において、G-PCCのジオメトリブロックヘッダにおいて信号を送信してスケーリングオフセット情報を通知する。
1つの例示的な実施例において、スケーリングの球座標sk,iが負であない及び/又は特定範囲にあることを確保するように、スケーリングオフセットokを決定する。
第1変体において、エンコーダは、エンコーダにおいて、スケーリングオフセットokを、点群のすべての点の復号化された球座標ck,iから算出した任意のkに対する最小値mkとして決定する。
この変体は、属性復号化を開始する前に復号化側で点群のすべての点の球座標を復号化することを待つという要件が取り除かれたため、有利なものである。
しかし、エンコーダは、依然として、スケーリングオフセットokを決定できる前と属性符号化を開始できる前にすべての点の座標を待ち且つバッファする必要がある。
もう1つの変体では、任意のkに対して、エンコーダはいずれもスケーリングオフセットokを最小値mkより小さくなるように決定する。
前記もう1つの変体の1つの例示的な実施例では、スケーリングオフセットokはセンサとキャプチャ特性とによって決定される。
この例示的な実施例は、符号化側と復号化側において属性符号化/復号化を開始する前に、点群のすべての点の球座標を符号化/復号化すること待つという要件が取り除かれたため、有利なものである。
例えば、センサとキャプチャ特性は、点群のフレームをキャプチャするためにセンサスピンヘッドが完全なスピンを完成したか否か及び/又はセンサ特徴自体を示す二進法値である。例えば、点の座標の精度又は量子化ステップサイズのようなジオメトリ符号化設定は、スケーリングオフセットokを決定するために使用されてもよい。
第1の例として、方位角φ値は、[-π/2;π/2]範囲内の有効方位角回転に対応する範囲[-2N-2;2N-2]内に含まれる場合、レーザレーダセンサは自動車の前部に取り付けられ、前の点を取得するように構成され、半球体における取得に対応する(式(1)を参照)。その後、エンコーダは、o1(方位角座標k=1の場合に対して)を方位角取得範囲の下限、例えば、-2N-2、又はより低い値、例えば非可逆符号化の場合にΦが到達である最低値(又は最低値よりも低い)とするように選択してもよい。
第2の例として、エンコーダは、センサが取り付けられる自動車の前、後、左及び右側よりもセンサに近い任意の点を符号化しないように構成される。最小半径は、センサから自動車の最近側までの距離によって決定可能であり、且つo0(半径座標k=0を対象とする場合)を決定するために使用される。この最小半径は、センサから自動車の最近側までの物理距離、そしてエンコーダ設定情報(例えば半径の量子化ステップ)及び物理デカルト空間における点群の空間精度(例えば、点群空間におけるx=1、y=1及びz=1の平行移動は、現実/物理空間のxにおける1mm、yにおける1mm及びzにおける1mmの平行移動に対応する)に基づいて計算される。
第3の例として、エンコーダは、レーザレーダセンサからの「n」個の第1仰角の点を符号化しないように構成される(例えば、それらはもう1つのG-PCCスライスにおいて符号化を行い、且つブロックヘッダにおいて信号を送信してスケーリングオフセットを通知する)。その後、最小仰角インデックスo2(仰角座標k=2を対象とする場合)は「n」として決定することができる。
1つの例示的な実施例では、スケーリングオフセット情報はスケーリングオフセットokを含む。
1つの例示的な実施例では、スケーリングオフセット情報は、特定の方法を用いてスケーリングオフセットokを決定することを指示する。
1つの例示的な実施例では、スケーリングオフセット情報は、ジオメトリ符号化設定情報を含む。
変体では、G-PCCのジオメトリパラメータセットにおいて信号を送信して前記ジオメトリ符号化設定情報を通知する。
しかし、G-PCCの予測ツリーでは、この制約がG-PCC対応のビットストリームによって検査されることを強制したり保証したりするものは何もない。[-b1;b1]範囲内の方位角整数表現のみを生成するようにG-PCCエンコーダを慎重に設計してもよいが、復号化の観点から見ると、エンコーダがG-PCC対応のビットストリームを生成する際にこの制約を考慮する保証はない。
この問題を解決するために、変体では、ジオメトリ符号化設定情報は、復号化された方位角c1,iが範囲[-b1,b1]に属することを指示し且つスケーリングオフセットo1はo1=-b1に決定されることにより、スケーリングされた復号化された方位角sc1,iは負でないようにする。
この変体は、点の座標の復号化に対する修正を必要としないため、有利である。
しかし、エンコーダには、ビットストリームに対応できないエラーが存在する可能性があるため、ビットストリームを強制的に生成して該制約を検査することは最良の解決策ではない。
変体では、差(ck,i-ok)が負であっても、非負にスケーリングされた復号化された方位角sc1,iを得るように幾何復号化を修正する。
変体では、復号化された方位角c1,iは、復号化された方位角が範囲[-b1;b1]に属するか否かを検査するように制限される。スケーリングされた方位角を計算する前に、復号化された方位角c1,iが-b1より低い場合、復号化された方位角c1,iは-b1に等しいように設定されるか、或いは、復号化された方位角c1,iがb1より高い場合、復号化された方位角c1,iはb1に等しいように設定される。
もう1つの変体では、復号化された方位角c1,iはb1より高い場合、属性に対する復号化を妨害しないため、復号化された方位角の値は修正/制限されない。
負にスケーリングされた復号化された方位角sc1,iは零に制限され、スケーリングオフセットo1はo1=-b1に決定される。
変体では、エンコーダは、復号化された方位角c1,iに対してモジュロ演算(または同等の演算)を行って、復号化された方位角c1,iを、範囲[-b1,b1](または範囲[-π、π]と等価)に属するように制限する。復号化された方位角c1,iが[-b1,b1]の外にある場合、復号化された方位角を、c1,ib1モジュロに等しいように設定される。例えば、復号化された方位角c1,iが-b1より低い場合、復号化された方位角はc1,i+(1+2*b1)に等しいように設定され、c1,iがb1より高い場合、c1,iは、c1,i-(1+2*b1)に等しいように設定される。この反復プロセスは、CPUの動作時間に関しては、「真」のモジュロ演算を使用するよりもコストがより低いため、好ましいものである。
唯一の区別は、式(9)を用いる時、c1,iは厳密にb1より低い。
後続の復号化された点の予測で修正後の方位角が考慮されるように、幾何復号化プロセスの間に制限又はモジュロ演算を行ってもよい。
選択可能に、例えば上記のように、座標のスケーリングの間に、幾何復号化の後、属性復号化の前に制限又はモジュロ演算を行ってもよい。
変体では、エンコーダによって調整可能なスケーリングオフセット(必要の場合、点をバッファしない状況で完成でき、例えば1つ前のフレームにおいて実行する)を利用して属性パラメータセットにおいて信号を送信して通知してもよいが、(ck,i-ok)が常に零以上であることは保証できない。その後、式(6)を使用する代わりに、スケーリングされた係数sck,iが零以上であることを確保する方法でスケーリングの係数を決定し、例えば式(7)を用い、又はモジュロ演算、例えば式(10)を用いる。
図8は、少なくとも1つの例示的な実施例に係るスピンセンサヘッドによってキャプチャされた点群の点の属性を復号化する方法200のステップのブロック図である。
ステップ210において、ビットストリームBからのスケーリングオフセット情報にアクセスする。
点群の現在の点のそれぞれに対して、ステップ220において、ビットストリームBから取得された現在の点の符号化された球座標に基づいて、復号化された球座標を取得し、現在の点の球座標は、現在の点をキャプチャしたスピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、現在の点をキャプチャしたセンサの標高に対する仰角と、現在の点から基準点までの距離に依存する半径と、を表す。
ステップ230において、例えば式(6)を用いて、スケーリングオフセット情報から取得されたスケーリングオフセットokに基づいて、復号化された球座標をスケーリングする。
ステップ240において、スケーリングされた復号化された球座標に基づいて、点群の点の(1つ又は複数)属性を復号化する。
G-PCC対応のビットストリームは、符号化された点群データを復号化するための複数の設定情報を含むべきである。
G-PCC対応のビットストリームBの幾つかの現在の構文要素は、本発明を実現するように、特定値を有し、且つ幾つかの新しい構文要素を要求するべきである。
したがって、1つの例示的な実施例では、スケーリングオフセット情報は、特定の方法を用いてスケーリングオフセットokを決定することを指示する幾何符号化と属性符号化設定情報を含む。
例えば、前記幾何符号化と属性符号化設定情報を構成する従来の構文要素について、ジオメトリパラメータセットでは、従来の構文要素「geom_tree_type」を1に設定することで、予測ツリーを用いて幾何符号化を行うことを指示する。従来の構文要素の「geometry_angular_enabled_flag」がジオメトリパラメータセットにおいて1に設定されることにより、予測ツリーが予測案において球座標を使用することを指示する。属性パラメータセットでは、従来の構文要素の「attr_coding_type/attr_encoding」が0に設定されることにより、LoD予測変換を用いて点の属性符号化を行うことを指示し、従来の構文要素「lod_scalability_enabled_flag/scalable_lifting_enabled_flag」が0に設定されることにより、スケーリング可能な表現を使用しないことを指示し、従来の構文要素「max_num_detail_levels_minus1/num_detail_levels_minus1」が0に設定されることにより、単層の詳細を使用することを指示し、従来の構文要素「morton_sort_skip_enabled_flag/canonical_point_order_flag」が1に設定されることにより、点の属性の符号化順序が、その幾何符号化の順序と同じであることを指示する。従来の構文要素「aps_coord_conv_flag/spherical_coord_flag」が1に設定されることにより、球座標を用いて点の属性を符号化すること指示し、これは、点の属性のよりよい圧縮性能を与え、且つビットストリームにおいて信号を送信してスケーリング係数を通知することを指示する。
本発明によると、ビットストリームに新しい構文要素を追加することで、信号を送信してスケーリングオフセット情報を通知する。
信号を送信してスケーリングオフセット情報を通知することは、特定の拡張メカニズムが点の属性符号化に使用されることを指示し、且つ属性符号化パラメータはビットストリームにおいて(例えば、G-PCC対応のビットストリームの属性パラメータセットの拡張部分において)信号の送信により通知される。
1つの例示的な実施例では、信号を送信してスケーリングオフセット情報を通知する新しい構文要素は、二進法情報(例えば「attr_coord_conv_scale_fixed_offset_flag」のフラグとして表示される)とスケーリングオフセットとを含む。二進法情報が1に設定されることにより、その後にビットストリームにおいて効果的に信号を送信してスケーリングオフセットokを通知することを指示し、ビットストリームにおける二進法情報の後には、スケーリングオフセットを表す情報が続く。
復号化方法200はビットストリームから二進法情報(例えば、フラグ「attr_coord_conv_scale_fixed_offset_flag」)を復号化する。二進法情報が1に等しい場合、前記スケーリングオフセットokを表す情報をビットストリームから復号化することでスケーリングオフセットokを取得する。二進法情報が0に等しい場合、復号化方法200は有効にならない。
1つの例示的な実施例では、信号を送信してスケーリングオフセット情報を通知する新しい構文要素が二進法情報を含み、例えば「attr_coord_conv_scale_fixed_offset_flag」のフラグとして表され、それが1に設定されることにより、スケーリングオフセット(o1,o1,o2)がそれぞれ(0,-(2geom_angular_azimuth_scale_log2_minus11+11-1),0)であることを指示する。二進法情報を1に設定することは、さらに、式(6)ではなく式(7)を用いて、復号化された点の球座標をスケーリングすることを指示する。
復号化方法200はビットストリームから二進法情報(例えば、「attr_coord_conv_scale_fixed_offset_flag」)を復号化する。二進法情報が1に等しい場合、スケーリングオフセット(o0,o1,o2)をそれぞれ(0,-( 2geom_angular_azimuth_scale_log2 _minus11+11 -1),0)に設定し、式(6)ではなく式(7)を用いて、復号化された点の球座標をスケーリングする。二進法情報が0に等しい場合、復号化方法200は有効にならない。
1つの変形では、属性符号化設定情報(及び任意選択的なジオメトリ符号化設定情報)は、属性符号化/復号化方法が負幾何座標(及びそのためにスケーリングされた復号化された球座標の負の値)の使用をサポート可能であることを指示する。例えば、信号を送信して従来の構文要素を通知する以上の例を用いて、1つの例示的な実施例において、信号を送信してスケーリングオフセット情報の新しい構文要素が二進法情報を含むことを通知し、例えば「attr_coord_conv_scale_fixed_offset_flag」のフラグに表示され、それが1に設定されることにより、スケーリングオフセット(o1,o1,o2)がそれぞれ(0,0,0)に等しいことを指示する。
図9は、各態様と例示的な実施例のシステムの例示的な概略ブロック図を示す。
システム300は1つ又は複数のデバイスに組み込まれてもよく、次に説明される各コンポーネントを含む。各種の実施例では、システム300は、本願で説明される1つ又は複数の態様を実現するように構成されてもよい。
システム300のすべて又は一部を構成できる装置の例は、パーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、個人用ビデオ記録システム、接続された家電製品、接続された車両及びその関連する処理システム、ヘッドマウントディスプレイデバイス(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟(cave)」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダに入力を提供するプリプロセッサ、webサーバ、セットトップボックス、点群、ビデオ又は画像を処理するための他の任意のデバイス、又は他の通信デバイスを含む。システム300の素子は、単一集積回路(IC)、複数のIC及び/又はディスクリートコンポーネントにおいて個別に又は組み合わせて実施することができる。例えば、少なくとも1つの実施例において、システム300の処理とエンコーダ/デコーダ素子は複数のIC及び/又はディスクリートコンポーネントにわたって分布することができる。様々な実施例では、システム300は例えば通信バス又は専用の入力及び/又は出力ポートを介して、類似する他のシステム又は他の電子デバイスと通信可能に結合され得る。
システム300は少なくとも1つのプロセッサ310を含むことができ、該少なくとも1つのプロセッサ310は、ロードされる命令を実行することで、本願で説明された各態様を実現ように構成される。プロセッサ310は組み込み型メモリ、入力出力インターフェース及び当分野で知られている様々な他の回路を含むことができる。システム300は少なくとも1つのメモリ320(例えば、揮発性メモリデバイス及び/又は不揮発性メモリデバイス)を含むことができる。システム300は記憶デバイス340を含むことができ、不揮発性メモリ及び/又は揮発性メモリを含むことができ、電気的に消去可能なプログラマブル読み取り専用メモリ(EEPROM)、読み取り専用メモリ(ROM)、プログラマブル読み取り専用メモリ(PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュメモリー、ディスクドライブ及び/又は光ディスクドライブを含むことができるが、これらに限らない。非限定的な例として、記憶デバイス340は内部記憶デバイス、付属記憶デバイス及び/又はネットワークアクセス可能な記憶デバイスを含むことができる。
システム300は、例えばデータを処理することで符号化/復号化された点群幾何学データを提供するように構成されるエンコーダ/デコーダモジュール330を含むことができ、そして、エンコーダ/デコーダモジュール330はその自体のプロセッサとメモリを含む。エンコーダ/デコーダモジュール330は、符号化及び/又は復号化機能を実行するようにデバイスに含まれ得る(1つ又は複数の)モジュールを表すことができる。既知のように、デバイスは、符号化と復号化モジュールのいずれか1つ又はその両方を含むことができる。また、エンコーダ/デコーダモジュール330は、システム300の独立した素子として実現可能であり、又は当業者によって知られているハードウェアとソフトウェアとの組み合わせとしてプロセッサ310内に結合可能である。
本願で説明される各態様を実行するようにプロセッサ310又はエンコーダ/デコーダ330にロードされるプログラムコードは記憶デバイス340に記憶可能であり、その後、メモリ320にロードされてプロセッサ310によって実行される。各種の実施例によると、本願で説明されるプロセスを実行する間、プロセッサ310、メモリ320、記憶デバイス340及びエンコーダ/デコーダモジュール330のうちの1つ又は複数は様々な項目のうちの1つ又は複数を記憶することができる。このような記憶された項目は、点群フレーム、符号化/復号化された幾何学形状/属性ビデオ/画像又は符号化/復号化された幾何学形状/属性ビデオ/画像の一部、ビットストリーム、行列、変数、及び式、公式、演算と演算論理処理の中間又は最終結果を含むことができるが、これらに限らない。
いくつかの実施例では、プロセッサ310及び/又はエンコーダ/デコーダモジュール330内部のメモリは、命令を記憶し、且つ符号化又は復号化する間に実行される処理のため作業メモリを提供するために使用することができる。
しかし、他の実施例では、処理デバイス外部のメモリ(例えば、処理デバイスはプロセッサ310又はエンコーダ/デコーダモジュール330であってもよい)は、これらの機能のうちの1つ又は複数に用いられる。外部メモリはメモリ320及び/又は記憶デバイス340であってもよく、例えば、ダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリーである。いくつかの実施例では、外部不揮発性フラッシュメモリーは、テレビの操作システムを記憶するために使用される。少なくとも1つの実施例では、例えばRAMのような快速外部ダイナミック揮発性メモリは、ビデオの符号化と復号化操作のための作業メモリとして使用することができ、例えば、MPEG-2第2部分(ITU-T Recommendation H.262とISO/IEC 13818-2とも呼ばれ、MPEG-2ビデオとも呼ばれる)に対して、HEVC(効率的なビデオ符号化)、VVC(汎用ビデオ符号化)又はMPEG-I第3部分又は第9部分である。
ブロック390によって指示されたように、様々な入力デバイスを介して、システム300の素子への入力を提供することができる。このような入力デバイスは、(i)例えばブロードキャストデバイスが無線伝送するRF信号を受信できるRF部分、(ii)複合入力端子、(iii)USB入力端子、及び/又は(iv)HDMI入力端子、を含むが、これらに限定されない。
各種の実施例では、当分野において既知のように、ブロック390の入力デバイスは、関連付けられる対応する入力処理素子を有している。例えば、RF部分は、以下の必要な素子に関連付けられてもよい:(i)所望の周波数を選択し(信号選択、又は信号周波数帯域を周波数帯域内に制限することとも呼ばれ)、(ii)ダウンコンバートによって選択される信号、(iii)周波数帯域を再び狭い周波数帯域に制限することで、特定の実施例ではチャネルと呼ばれる信号周波数帯域を選択(例えば)し、(iv)ダウンコンバートされた信号と周波数帯域が制限される信号を復調し、(v)デバッグを実行し、及び(vi)逆多重化することで所望のパケットストリームを選択する。各種の実施例のRF部分は、これらの機能を実行する1つ又は複数の素子、例えば、周波数選択器、信号選択器、周波数帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、デバッグ装置及びデマルチプレクサを含むことができる。RF部分は、これらの機能のうちの各機能を実行するチューナーを含むことができ、これらの機能は、受信した信号をより低い周波数(例えば、中間周波数又はベースバンド付近周波数)又はベースバンドにダウンコンバートすることを含む。
1つのセットトップボックス実施例では、RF部分およびその関連する入力処理素子は、有線(例えば、ケーブル)媒体において送信されるRF信号を受信することができる。その後、RF部分はフィルタリング、ダウンコンバート、及び所望の周波数帯域に再フィルタリングすることにより周波数の選択を実行することができる。
各種の実施例は、上記(及び他の)素子の順序を再配置し、これらの素子のうちの一部を削除し、及び/又は、類似する又は異なる機能を実行する他の素子を追加する。
素子の追加は、従来の素子の間の素子を挿入すること、例えば、アンプとアナログデジタルコンバータを挿入することであってもよい。各種の実施例では、RF部分はアンテナを含む。
また、USB及び/又はHDMI端子は対応するインターフェースプロセッサを含むことができ、USB及び/又はHDMI接続によりシステム300を他の電子デバイスに接続するために使用される。なお、必要な時に、入力処理の各態様(例えば、Reed-Solomonデバッグ)は、例えば分離した入力処理IC内又はプロセッサ310内で実現可能である。同様に、必要な時に、分離したインターフェースIC内又はプロセッサ310内でUSB又はHDMIインターフェース処理の各態様を実現可能である。復調、デバッグ及び逆多重化されたストリームは、各種の処理素子に提供することができ、例えばプロセッサ310及びエンコーダ/デコーダ330を含み、それはメモリ及び記憶素子と組み合わせて操作され、これにより、必要な時にデータストリームを処理することで出力デバイスにおいて表示する。
一体型筐体内にシステム300の各種の素子を提供することである。一体型筐体内において、適切な接続配置390を行うことができ、例えば、当分野で知られている内部バス(I2Cバスを含む)、配線及びプリント回路基板を介して各種の素子を接続し且つそれらの間でデータを送信する。
システム300は通信インターフェース350を含むことができるので、通信チャネル700経由で他のデバイスと通信することができる。通信インターフェース350は、通信チャネル700においてデータを送受信する送受信機を含むが、これに限らない。通信インターフェース350はモデム又はネットワークカードを含むが、これらに限らず、且つ通信チャネル700は例えば有線及び/又は無線媒体内で実現可能である。
各種の実施例では、IEEE 802.11のようなWi-Fiネットワークを用いてデータをシステム300にストリーミングすることができる。これらの実施例のWi-Fi信号は、Wi-Fi通信に適合する通信チャネル700と通信インターフェース350によって受信され得る。これらの実施例の通信チャネル700は通常、アクセスポイント又はルータに接続することができ、該アクセスポイント又はルータは、インターネットを含める外部ネットワークのアクセスを提供し、ストリーミングアプリケーションやその他のオーバーザトップ(Over-the-top)通信を可能にする。
他の実施例はセットトップボックスを用いてシステム300にストリームデータを提供することができ、該セットトップボックスは入力ブロック390のHDMI接続を介してデータを送信する。
他の実施例も入力ブロック390のRFを用いてストリームデータをシステム300に提供することができる。
ストリームデータはシステム300が使用するシグナリング情報の方式として使用可能である。シグナリング情報は、ビットストリームB及び/又はスケーリングされたオフセット情報のような情報を含むことができる。
なお、様々なシグナリングを実現可能である。例えば、各種の実施例では、1つ又は複数の構文要素、フラグなどは、対応するデコーダに信号通知情報を送信するために使用されてもよい。
システム300は、ディスプレイ400、スピーカー500及び他の周辺機器600を含む各種の出力デバイスに出力信号を提供することができる。実施例の各種の例では、他の周辺機器600は、独立DVR、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム300の出力提供機能に基づく他のデバイスのうちの1つ又は複数を含むことができる。
各種の実施例では、制御信号は、例えばAV.Link(オーディオ/ビデオリンク)、CEC(家電制御)又はユーザの介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルのシグナリングを用いて、システム300と、ディスプレイ400、スピーカー500又は他の周辺機器600との間で通信することができる。
出力デバイスは、対応するインターフェース360、370及び380により、専用の接続経由で通信可能にシステム300に結合される。
選択可能に、通信インターフェース350経由で通信チャネル700を用いて出力デバイスをシステム300に接続することができる。ディスプレイ400とスピーカー500は電子デバイス(例えばテレビ)内のシステム300の他のコンポーネントとともに単一のユニットに統合され得る。
各種の実施例では、表示インターフェース360は、例えばタイミングコントローラ(T Con)チップのような表示ドライバを含むことができる。
例えば、入力端390のRF部分は別個のセットトップボックスの一部である場合、ディスプレイ400及びスピーカー500は選択可能に他のコンポーネントのうちの1つ又は複数と分離することができる。ディスプレイ400及びスピーカー500が外部コンポーネントであってもよい各種の実施例では、専用の出力接続(例えばHDMIポート、USBポート又はCOMP出力端を含む)経由で出力信号を提供することができる。
図1~9では、本明細書では各種の方法が説明され、それぞれの方法は1つ又は複数のステップ又は動作を含むことで、説明される方法を実現する。方法の正確な操作は特定のステップ又は動作順序を必要としない限り、特定のステップ及び/又は動作の順序及び/又は使用を修正するか、又は組み合わせることができる。
ブロック図及び/又は操作フローチャットについて幾つかの例が説明される。各ブロックは回路素子、モジュール又はコードの部分を表し、それは、(1つ又は複数の)指定論理機能を実現するための1つ又は複数の実行可能な命令を含む。なお、他の実施形態では、ブロック内にマークされた(1つ又は複数の)機能は指示された順序と異なってもよいことを理解されたい。例えば、関わる機能により、連続して示される2つのブロックは、実際には、基本的に同時に実行されてもよく、又はこれらのブロックが逆の順序で実行される場合もある。
例えば方法又はプロセス、装置、コンピュータプログラム、データストリーム、ビットストリーム又は信号において、本明細書で説明される実施形態和と態様を実現することができる。単一形式の実施形態のコンテキストのみで議論する場合でも(例えば、方法のみとして議論する)、議論される特徴の実施形態は他の形式(例えば、装置又はコンピュータプログラム)で実現可能である。
方法は例えばプロセッサにおいて実現可能であり、プロセッサは、一般に、例えばコンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む処理デバイスを指す。プロセッサは通信デバイスをさらに含む。
また、方法は、プロセッサにより実行可能な命令で実現することができ、このような命令(及び/又は実施形態によって生成されるデータ値)はコンピュータ読み取り可能な記憶媒体に記憶することができる。コンピュータ読み取り可能な記憶媒体は、1つ又は複数のコンピュータ読み取り可能な媒体において実施され且つそれに実施されたコンピュータにより実行可能なコンピュータ読み取り可能なプログラムコードを有するコンピュータ読み取り可能なプログラム製品の形式を用いることができる。情報を記憶する固有の能力及び情報の検索を提供する固有の能力を考慮すると、本明細書で使用されるコンピュータ読み取り可能な記憶媒体は、非一時的な記憶媒体として見なすことができる。コンピュータ読み取り可能な記憶媒体は、電子、磁気、光学、電磁、赤外線又は半導体システム、装置又はデバイス、又は前述したものの任意の適切な組み合わせであってもよいが、これらに限定されない。なお、以下、それに対して本実施例のコンピュータ読み取り可能な記憶媒体を適用するより具体的な例を提供したが、当業者であれば容易に理解できるように、それは単なる説明的なものであり、詳しいリストではない:ポータブルコンピュータのフロッピーディスク、ハードディスク、読み取り専用メモリ(ROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリー)、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、又は前述したものの任意の組み合わせ。
命令は、プロセッサ読み取り可能な媒体に有形に実施されるアプリケーションプログラムを形成することができる。
例えば、命令はハードウェア、ファームウェア、ソフトウェア又は組み合わせに存在することができる。例えば、オペレーティングシステム、独立したアプリケーション又は両者の組み合わせにおいて命令を見つけることができる。したがって、プロセッサは、例えばプロセスを実行するように構成されるデバイス、及びプロセスの命令を実行するためのプロセッサ読み取り可能な媒体(例えば記憶デバイス)を有するデバイスとして特徴付けられ得る。また、命令以外にも、又は命令の代わりに、プロセッサ読み取り可能な媒体は、実施形態によって生成されたデータ値を記憶することができる。
装置は、例えば適切なハードウェア、ソフトウェア及びファームウェアにおいて実現可能である。このような装置の例は、パーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、個人ビデオ録画システム、接続された家電、ヘッドマウントディスプレイデバイス(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダに入力を提供するプリプロセッサ、webサーバ、セットトップボックス、点群、ビデオ又は画像を処理するための他の任意のデバイス、又は他の通信デバイスを含む。なお、装置は移動可能であり、且つ移動中の車両に取り付けることもできる。
コンピュータソフトウェアは、プロセッサ510、ハードウェア、又はハードウェアとソフトウェアとの組み合わせによって実現可能である。非限定的な例として、1つ又は複数の集積回路によって実施例を実現することができる。メモリ520は、技術環境に適した任意のタイプであり且つ如何なる適切なデータ記憶技術(非限定的な例として、例えば光学メモリデバイス、磁器メモリデバイス、半導体に基づくメモリデバイス、固定メモリ及びリムーバブルメモリを含む)を用いて実現することができる。プロセッサ510は技術環境に適した如何なるタイプであってもよく、且つ非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの1つ又は複数を含むことができる。
実施形態が、例えば記憶可能又は送信可能な情報を運ぶようにフォーマットされた信号を生成できることは、当業者にとって自明なことである。情報は、例えば方法を実行するための命令又は説明された実施形態の1つによって生成されたデータを含むことができる。例えば、信号は、説明された実施例のビットストリームを運ぶようにフォーマットされ得る。このような信号は、例えば電磁波(例えば、スペクトルの無線周波数部分を使用)又はベースバンド信号にフォーマットされ得る。フォーマットは、例えばデータストリームを符号化し且つ符号化されたデータストリームを用いて搬送波を変調すること含む。信号によって運ばれる情報は、例えばアナログ又はデジタル情報であってもよい。既知のように、信号は異なる各種の有線又は無線リンクで送信され得る。信号はプロセッサ読み取り可能な媒体に記憶され得る。
本明細書で使用される用語は、特定の実施例を説明することを目的としており、限定するものではない。コンテキストに明示的な指示がない限り、本明細書で使用される単数型の「1つ」、「一種」及び「該」は、複数型をも含む。さらに、本明細書で使用される場合、「含む/備える(include/comprise)」及び/又は「含む/備える(including/comprising)」という用語は、例えば記載された特徴、整数、ステップ、操作、要素及び/又はコンポーネントの存在を指定することができるが、1つ又は複数の他の特徴、整数、ステップ、操作、要素、コンポーネント及び/又はそれらの組み合わせの存在又は追加を排除できない。そして、1つの要素が、もう1つの要素に「応答」又は「接続」すると呼ばれる場合、それは、直接、もう1つの要素に応答又は接続することができ、又は中間要素が存在してもよい。逆に、1つの要素が、もう1つの要素に「直接応答」又は「直接接続」すると呼ばれる場合、中間要素は存在しない。
なお、例えば「A/B」、「A及び/又はB」と「AとBのうちの少なくとも1つ」の場合、「/」、「及び/又は」と「少なくとも1つの」という符号/用語のうちのいずれか1つの使用は、挙げられた第1の選択肢(A)の選択のみを含むこと、又は挙げられた第2の選択肢(B)の選択のみを含むこと、又は2つの選択肢(AとB)の選択を含むことを目的としている。さらなる例として、「A、B及び/又はC」t「AとBのうちの少なくとも1つ」の場合、このような表現は、挙げられた第1の選択肢(A)の選択のみを含むこと、又は挙げられた第2の選択肢(B)の選択を含むこと、又は挙げられた第3の選択肢(C)の選択のみを含むこと、又は挙げられた第1と第2の選択肢(AとB)の選択のみを含むこと、又は挙げられた第1と第3の選択肢(AとC)の選択のみを含むこと、又は挙げられた第2と第3の選択肢(BとC)の選択のみを含むこと、又は3つの選択肢(AとBとC)の選択をすべて含むことを目的としている。当業者には明らかなように、これは列挙されたものと同じ数の項目に拡張することができる。
本願では、各種の数値を用いることができる。特定値は例示目的で使用でき、且つ説明された各態様はこれらの特定値に限らない。
なお、第1、第2などの用語は本明細書において各種の要素を説明するために使用可能であるが、これらの要素はこれらの用語によって限定されない。これらの用語は、1つの要素をもう1つの要素から区別することのみに使用される。例えば、本願の教示から逸脱しない限り、第1要素は第2要素と呼ばれることもでき、同様に、第2要素は第1要素と呼ばれてもよい。第1要素と第2要素との間は順序が暗示されない。
「例示的な一実施例」又は「例示的な実施例」又は「一実施形態」又は「実施形態」及他の変化についての引用は、頻繁に、特定の特徴、構造、特点など(実施例/実施形態に合わせて説明される)が少なくとも1つの実施例/実施形態に含まれ得ることを表すために使用される。したがって、本願のあちこちに現れた「例示的な一実施例では」又は「例示的な実施例では」又は「一実施形態では」又は「実施形態では」という用語及び他の如何なる変化の出現は必ずしも同一の実施例を指しているとは限らない。
同様に、本明細書は、「例示的な実施例/例/実施形態による」又は「例示的な実施例/例/実施形態では」及び他の変化の引用は、頻繁に、特定の特徴、構造又は特点(例示的な実施例/例/実施形態と組み合わせて説明される)が少なくとも1つの例示的な実施例/例/実施形態に含まれ得ることを表すために使用される。したがって、本願のあちこちに現れた「例示的な実施例/示例/実施形態による」又は「例示的な実施例/例/実施形態では」という記載は、必ずしも同一の例示的な実施例/例/実施形態を指すとは限らず、独立又は代替の例示的な実施例/例/実施形態は、必ずしも他の例示的な実施例/例/実施形態と相互排他的ではない。
請求項で現れる図面の符号は、説明的なものであり、請求項の範囲を限定するものではない。明確な説明がないが、任意の組み合わせ又は一部の組み合わせで本実施例/例及び変形例を採用することができる。
図面はフローチャットとして表現される場合、対応する装置のブロック図を提供する。同様に、図面はブロック図として表現される場合、対応する方法/プロセスのフローチャットも提供されることを理解されたい。
一部の図面は、通信の主な方向を示すために経路上に矢印が含まれているが、通信は、描かれたと逆の方向に発生する可能性があることを理解されたい。
各種の実施形態は復号化に関連する。本願で使用された「復号化」は、例えば、受信した点群フレーム(1つ又は複数の点群フレームに対して符号化を行う、受信したビットストリームを含む場合がある)に対して実行したプロセスの全部又は一部を含むことができ、これにより、表示される又は再構築された点群領域においてさらに処理されることに適合する最終出力を生成する。各種の実施例では、この種類のプロセスは、通常デコーダによって実行されるプロセスのうちの1つ又は複数を含む。各種の実施例では、例えば、この種類のプロセスは、選択可能に、本願で説明される各種の実施形態のデコーダによって実行されるプロセスをさらに含むことができる。
さらなる例として、一実施例では、「復号化」はエントロピー復号化を指すことができ、もう1つの実施例では、「復号化」は差分復号化のみを指してもよく、もう1つの実施例では、「復号化」はエントロピー復号化と差分復号化の組み合わせを指してもよい。具体的に説明されるコンテキストに基づいて、「復号化プロセス」という用語が果たして具体的に演算のサブセットを指しているか、それとも一般的により広い復号化プロセスを指しているかは明らかにあり、そして本分野技術者がよく理解できると認められる。
各種の実施形態はいずれも符号化に関する。以上の「復号化」の機論と同様に、本願で使用される「符号化」は、例えば入力点群フレームに対して実行して符号化されたビットストリームを生成するプロセスの全部又は一部を含むことができる。各種の実施例では、この種類のプロセスは、通常エンコーダによって実行されるプロセスのうちの1つ又は複数を含む。各種の実施例では、この種類のプロセスは、本願で説明される各種の実施形態のエンコーダによって実行されるプロセスを含むか、或いは選択的に含む。
さらなる例として、一実施例では、「符号化」はエントロピー符号化のみを指すことができ、もう1つの実施例では、「符号化」は差分符号化のみを指してもよく、もう1つの実施例では、「符号化」は差分符号化とエントロピー符号化との組み合わせを指すことができる。限定的に説明されたコンテキストに基づいて、「復号化プロセス」という用語が果たして具体的に演算のサブセットを指しているか、それとも一般的により広い復号化プロセスを指しているかは明らかにあり、そして本分野技術者がよく理解できると認められる
また、本願では、各種の情報の「決定」が言及された。情報の決定は、例えば、情報の推定、情報の計算、情報の予測又はメモリから情報を検索すること、のうちの1つ又は複数を含むことができる。
また、本願では、各種の情報への「アクセス」が言及された。情報へのアクセスは、情報の受信、(例えば、メモリ又はビットストリームからの)情報の検索、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の決定、情報の予測又は情報の推定のうちの1つ又は複数を含むことができる。
また、各種の情報の「受信」が言及された。「アクセス」と同様に、受信は広義的な用語である。情報の受信は、例えば、情報へのアクセス又は(例えば、メモリ又はビットストリームからの)情報の検索のうちの1つ又は複数を含むことができる。また、1つ又はもう1つの形態として、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の削除、情報の計算、情報の決定、情報の予測又は情報の推定のような操作期間は、通常、「受信」に関連する。
そして、本明細書で使用される「信号」という用語は、特に対応するデコーダを指し、あること等を指示する。例えば、いくつかの実施例では、エンコーダは信号を送信して、例えばスケーリングされたオフセット情報のような特定の情報を通知する。この方式により、実施例では、エンコーダ側とデコーダ側で同一パラメータを使用することができる。したがって、例えば、エンコーダはデコーダに特定パラメータを送信(明示的なシグナリング)することができ、これにより、デコーダは同一の特定パラメータを使用することができる。逆に、デコーダが特定のパラメータ及び他のパラメータを有している場合、伝送(暗黙的なシグナリングする必要なくシグナリングを使用することで、デコーダが特定のパラメータを知り且つ選択することを許可する。如何なる実際の機能の送信を回避することにより、各実施例ではビットの節約を実現する。なお、多くの方式でシグナリングを完成させることができる。例えば、各種の実施例では、1つ又は複数の構文要素、フラグなどは、信号を送信して情報を対応するデコーダに通知するために使用される。前文では「信号(signal)」の動詞形が言及されたが、「信号」という用語は、本明細書では名詞として使用することもできる。
複数の実施形態をすでに説明している。しかし、各種の修正が可能であることを理解されたい。例えば、異なる実施形態の要素を組み合わせ、補充、修正又は除去することで他の実施形態を生成することができる。また、当業者であれば、開示された構造とプロセスは他の構造とプロセスで代替することができ、これにより生じた実施形態は、少なくとも基本的に同じである(1つ又は複数の)方式で少なくとも基本的に同じである(1つ又は複数の)機能を実行し、これにより、開示された実施形態と少なくとも基本的に同じである(1つ又は複数の)結果を実現する。したがって、本願はこれらと他の実施形態を構想した。
本願の第5態様によると、コンピュータプログラムを提供し、該プログラムが1つ又は複数のプロセッサによって実行される場合、1つ又は複数のプロセッサに本願の第1態様による方法を実行させる。
本願の第6態様によると、コンピュータプログラムを提供し、プログラムが1つ又は複数のプロセッサによって実行される場合、1つ又は複数のプロセッサに本願の第2態様による方法を実行させる。
Claims (15)
- 点群をスピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームに符号化する方法であって、前記点群の各点は球座標と少なくとも1つの属性に関連付けられ、前記球座標は、前記点をキャプチャした前記スピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、前記点をキャプチャした前記センサの標高に対する仰角と、前記点から基準点までの距離に依存する半径と、を表し、前記方法は、
-前記ビットストリームにおいて、信号を送信してスケーリングオフセットを表すスケーリングオフセット情報を通知(120)するステップと、
前記点群の現在の点のそれぞれに対して、
-前記現在の点の前記球座標を符号化(130)して前記現在の点の符号化された球座標を前記ビットストリームに追加するステップと、
-前記現在の点の前記符号化された球座標を復号化することにより、復号化された球座標を取得(140)するステップと、
-前記スケーリングオフセットに基づいて、前記復号化された球座標をスケーリング(150)するステップと、
-スケーリングされた復号化された球座標に基づいて、前記現在の点の少なくとも1つの属性を符号化(160)し、少なくとも1つの符号化された属性を前記ビットストリームに追加するステップと、を含む、
点群をスピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームに符号化する方法。 - スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームから点群を復号化する方法であって、前記方法は、
-前記ビットストリームからのスケーリングオフセット情報にアクセス(210)するステップと、
前記点群の現在の点のそれぞれに対して、
-前記ビットストリームから取得された前記現在の点の符号化された球座標を復号化することにより、復号化された球座標を取得(220)するステップであって、前記現在の点の前記球座標が、前記現在の点をキャプチャした前記スピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、前記現在の点をキャプチャした前記センサの標高に対する仰角と、前記現在の点から基準点までの距離に依存する半径と、を表すステップと、
-前記スケーリングオフセット情報から取得されたスケーリングオフセットに基づいて、前記復号化された球座標をスケーリング(230)するステップと、
-スケーリングされた復号化された球座標に基づいて、前記現在の点の属性を復号化(240)するステップと、を含む、
スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームから点群を復号化する方法。 - 前記スケーリングされた球座標が負でないこと及び/又は特定の範囲内にあることを確保するように、前記スケーリングオフセットを決定する、
請求項1又は2に記載の方法。 - 前記スケーリングオフセットは、前記点群のすべての点の復号化された球座標から算出された最小値よりも小さくなるように決定される、
請求項3に記載の方法。 - 前記スケーリングオフセットは、前記センサスピンヘッドのセンサとキャプチャ特性とに基づいて決定される、
請求項3に記載の方法。 - 前記スケーリングオフセット情報は前記スケーリングオフセットを含む、
請求項1~5のいずれか一項に記載の方法。 - 前記スケーリングオフセット情報は、特定の方法を用いて前記スケーリングオフセットを決定することを指示する、
請求項1~6のいずれか一項に記載の方法。 - 特定の方法はクリッピング又はモジュロ演算を用いる、
請求項7に記載の方法。 - 点群をスピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームに符号化する装置であって、前記点群の各点は球座標と少なくとも1つの属性に関連付けられ、前記球座標は、前記点をキャプチャした前記スピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、前記点をキャプチャした前記センサの標高に対する仰角と、前記点から基準点までの距離に依存する半径と、を表し、前記装置は1つ又は複数のプロセッサを含み、前記1つ又は複数のプロセッサは、
-前記ビットストリームにおいて、信号を送信してスケーリングオフセットを表すスケーリングオフセット情報を通知し、
前記点群の現在の点のそれぞれに対して、
-前記現在の点の前記球座標を符号化して、符号化された球座標を前記ビットストリームに追加し、
-前記符号化された球座標を復号化することにより、前記現在の点の復号化された球座標を取得し、
-前記スケーリングオフセットに基づいて、前記復号化された球座標をスケーリングし、
-スケーリングされた復号化された球座標に基づいて、前記現在の点の少なくとも1つの属性を符号化し、少なくとも1つの符号化された属性を前記ビットストリームに追加するように構成される、
点群をスピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームに符号化する装置。 - スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームから点群を復号化する装置であって、前記装置は1つ又は複数のプロセッサを含み、前記1つ又は複数のプロセッサは、
-前記ビットストリームからのスケーリングオフセット情報にアクセスし、
前記点群の現在の点のそれぞれに対して、
-前記ビットストリームから取得された前記現在の点の符号化された球座標を復号化することにより、復号化された球座標を取得し、前記現在の点の前記球座標が、前記現在の点をキャプチャした前記スピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、前記現在の点をキャプチャした前記センサの標高に対する仰角と、前記現在の点から基準点までの距離に依存する半径と、を表し、
-前記スケーリングオフセット情報から取得されたスケーリングオフセットに基づいて、前記復号化された球座標をスケーリングし、
-スケーリングされた復号化された球座標に基づいて、前記現在の点の属性を復号化するように構成される、
スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームから点群を復号化する装置。 - 命令を含むコンピュータプログラム製品であって、前記プログラムが1つ又は複数のプロセッサによって実行される場合、点群をスピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームに符号化する方法を前記1つ又は複数のプロセッサに実行させ、前記点群の各点は球座標と少なくとも1つの属性に関連付けられ、前記球座標は、前記点をキャプチャした前記スピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、前記点をキャプチャした前記センサの標高に対する仰角と、前記点から基準点までの距離に依存する半径と、を表し、前記方法は、
-前記ビットストリームにおいて、信号を送信してスケーリングオフセットを表すスケーリングオフセット情報を通知するステップと、
前記点群の現在の点のそれぞれに対して、
-前記現在の点の前記球座標を符号化して、前記現在の点の符号化された球座標を前記ビットストリームに追加するステップと、
-前記現在の点の前記符号化された球座標を復号化することにより、復号化された球座標を取得するステップと、
-前記スケーリングオフセットに基づいて、前記復号化された球座標をスケーリングするステップと、
-スケーリングされた復号化された球座標に基づいて、前記現在の点の少なくとも1つの属性を符号化し、少なくとも1つの符号化された属性を前記ビットストリームに追加するステップと、を含む、
コンピュータプログラム製品。 - 命令を含むコンピュータプログラム製品であって、前記プログラムが1つ又は複数のプロセッサによって実行される場合、スピンセンサヘッドによってキャプチャされた符号化の点群データのビットストリームから点群を復号化する方法を前記1つ又は複数のプロセッサに実行させ、前記方法は、
-前記ビットストリームからのスケーリングオフセット情報にアクセスするステップと、
前記点群の現在の点のそれぞれに対して、
-前記ビットストリームから取得された前記現在の点の符号化された球座標を復号化することにより、復号化された球座標を取得するステップであって、前記現在の点の前記球座標が、前記現在の点をキャプチャした前記スピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、前記現在の点をキャプチャした前記センサの標高に対する仰角と、前記現在の点から基準点までの距離に依存する半径と、を表すステップと、
-前記スケーリングオフセット情報から取得されたスケーリングオフセットに基づいて、前記復号化された球座標をスケーリングするステップと、
-スケーリングされた復号化された球座標に基づいて、前記現在の点の属性を復号化するステップと、を含む、
コンピュータプログラム製品。 - 非一時的な記憶媒体であって、点群をスピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームに符号化する方法を実行するためのプログラムコードの命令を運び、前記点群の各点は球座標と少なくとも1つの属性に関連付けられ、前記球座標は、前記点をキャプチャした前記スピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、前記点をキャプチャした前記センサの標高に対する仰角と、前記点から基準点までの距離に依存する半径と、を表し、前記方法は、
-前記ビットストリームにおいて、信号を送信してスケーリングオフセットを表すスケーリングオフセット情報を通知するステップと、
前記点群の現在の点のそれぞれに対して、
-前記現在の点の前記球座標を符号化して、前記現在の点の符号化された球座標を前記ビットストリームに追加するステップと、
-前記現在の点の前記符号化された球座標を復号化することにより、復号化された球座標を取得するステップと、
-前記スケーリングオフセットに基づいて、前記復号化された球座標をスケーリングするステップと、
-スケーリングされた復号化された球座標に基づいて、前記現在の点の少なくとも1つの属性を符号化し、少なくとも1つの符号化された属性を前記ビットストリームに追加するステップと、を含む、
非一時的な記憶媒体。 - 非一時的な記憶媒体であって、スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームから点群を復号化する方法を実行するためのプログラムコードの命令を運び、前記方法は、
-前記ビットストリームからのスケーリングオフセット情報にアクセスするステップと、
前記点群の現在の点のそれぞれに対して、
-前記ビットストリームから取得された前記現在の点の符号化された球座標を復号化することにより、復号化された球座標を取得するステップであって、前記現在の点の前記球座標が、前記現在の点をキャプチャした前記スピンセンサヘッドのセンサのキャプチャ角度を表す方位角と、前記現在の点をキャプチャした前記センサの標高に対する仰角と、前記現在の点から基準点までの距離に依存する半径と、を表すステップと、
-前記スケーリングオフセット情報から取得されたスケーリングオフセットに基づいて、前記復号化された球座標をスケーリングするステップと、
-スケーリングされた復号化された球座標に基づいて、前記現在の点の属性を復号化するステップと、を含む、
非一時的な記憶媒体。 - スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリームであって、前記ビットストリームは、スケーリングオフセット情報を運ぶ少なくとも1つの構文要素を含み、前記スケーリングオフセット情報は、符号化された点群データで示される点群の点の復号化された球座標をスケーリングするためのスケーリングオフセットを表す、
スピンセンサヘッドによってキャプチャされた符号化された点群データのビットストリーム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21305920.7 | 2021-07-02 | ||
EP21305920.7A EP4113441A1 (en) | 2021-07-02 | 2021-07-02 | Method and apparatus of encoding/decoding point cloud captured by a spinning sensors head |
PCT/CN2022/088640 WO2023273551A1 (en) | 2021-07-02 | 2022-04-23 | Method and apparatus of encoding/decoding point cloud captured by a spinning sensors head |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024528550A true JP2024528550A (ja) | 2024-07-30 |
Family
ID=77726422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023580931A Pending JP2024528550A (ja) | 2021-07-02 | 2022-04-23 | スピンセンサヘッドによってキャプチャされた点群を符号化/復号化する方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240333972A1 (ja) |
EP (1) | EP4113441A1 (ja) |
JP (1) | JP2024528550A (ja) |
KR (1) | KR20240027776A (ja) |
CN (1) | CN117716393A (ja) |
WO (1) | WO2023273551A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10699444B2 (en) * | 2017-11-22 | 2020-06-30 | Apple Inc | Point cloud occupancy map compression |
EP3906675A4 (en) * | 2019-01-02 | 2022-11-30 | Nokia Technologies Oy | DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING |
US11831861B2 (en) * | 2019-08-12 | 2023-11-28 | Intel Corporation | Methods for viewport-dependent adaptive streaming of point cloud content |
EP4002277A4 (en) * | 2019-08-14 | 2023-02-22 | LG Electronics Inc. | POINT CLOUD DATA TRANSMITTING DEVICE, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING DEVICE AND POINT CLOUD DATA RECEIVING METHOD |
CN110533645A (zh) * | 2019-08-23 | 2019-12-03 | 上海交通大学 | 基于视觉任务的点云数据压缩质量评价方法及系统 |
US20220327743A1 (en) * | 2019-09-24 | 2022-10-13 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
-
2021
- 2021-07-02 EP EP21305920.7A patent/EP4113441A1/en active Pending
-
2022
- 2022-04-23 US US18/576,080 patent/US20240333972A1/en active Pending
- 2022-04-23 KR KR1020247003371A patent/KR20240027776A/ko unknown
- 2022-04-23 CN CN202280045341.3A patent/CN117716393A/zh active Pending
- 2022-04-23 WO PCT/CN2022/088640 patent/WO2023273551A1/en active Application Filing
- 2022-04-23 JP JP2023580931A patent/JP2024528550A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023273551A1 (en) | 2023-01-05 |
CN117716393A (zh) | 2024-03-15 |
KR20240027776A (ko) | 2024-03-04 |
US20240333972A1 (en) | 2024-10-03 |
EP4113441A1 (en) | 2023-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240185472A1 (en) | Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head | |
JP2024528550A (ja) | スピンセンサヘッドによってキャプチャされた点群を符号化/復号化する方法及び装置 | |
JP7535665B2 (ja) | 自己回転センサヘッドでキャプチャされた点群ジオメトリデータを符号化/復号化する方法及び装置 | |
WO2022213569A1 (en) | Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head | |
WO2023123261A1 (en) | Method and apparatus of encoding/decoding point cloud geometry data | |
WO2024093215A1 (en) | Encoding/decoding point cloud geometry data | |
US20240193818A1 (en) | Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head | |
RU2818834C2 (ru) | Способ и устройство кодирования/декодирования геометрических данных облака точек с использованием режима азимутального кодирования | |
WO2023179279A1 (en) | Encoding/decoding positions of points of a point cloud emcompassed in a cuboid volume | |
RU2824331C1 (ru) | Способ и устройство для кодирования/декодирования данных геометрии облака точек, захваченных вращающейся головкой датчиков | |
WO2023179277A1 (en) | Encoding/decoding positions of points of a point cloud encompassed in a cuboid volume | |
WO2023029664A1 (en) | Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor | |
WO2023029672A1 (en) | Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor | |
WO2023029671A1 (en) | Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor | |
WO2024066306A1 (en) | Encoding/decoding positions of points of a point cloud comprised in cuboid volumes | |
WO2023050950A1 (en) | Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor | |
WO2023050951A1 (en) | Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor | |
WO2023050953A1 (en) | Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor | |
JP2024536845A (ja) | 少なくとも1つのセンサでセンシングされた点群ジオメトリデータを符号化/復号化する方法及び装置関連出願の相互引用 | |
JP2024538574A (ja) | 少なくとも1つのセンサでセンシングされた点群ジオメトリデータを符号化/復号化する方法および装置 | |
CN118613870A (zh) | 编码/解码点云数据的切片的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240110 |