JP2024513583A - 符号化・復号化方法およびその関連機器、記憶媒体 - Google Patents
符号化・復号化方法およびその関連機器、記憶媒体 Download PDFInfo
- Publication number
- JP2024513583A JP2024513583A JP2023562955A JP2023562955A JP2024513583A JP 2024513583 A JP2024513583 A JP 2024513583A JP 2023562955 A JP2023562955 A JP 2023562955A JP 2023562955 A JP2023562955 A JP 2023562955A JP 2024513583 A JP2024513583 A JP 2024513583A
- Authority
- JP
- Japan
- Prior art keywords
- value
- point
- attribute
- neighboring
- predicted value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 202
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 12
- 238000013139 quantization Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- KCXVZYZYPLLWCC-UHFFFAOYSA-N EDTA Chemical compound OC(=O)CN(CC(O)=O)CCN(CC(O)=O)CC(O)=O KCXVZYZYPLLWCC-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229960001484 edetic acid Drugs 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
符号化・復号化方法およびその関連機器、記憶媒体を提供し、ここで、前記符号化方法は、符号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算することであって、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差であることと、前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを用いて、前記現在点の第1属性の予測値を決定することと、前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用することと、量子化された前記残差値を符号化することと、を含む。
Description
本発明の実施例は、符号化・復号化技術に関するがこれに限定されず、特に、符号化・復号化方法およびその関連機器、記憶媒体に関する。
三次元点群データは、仮想現実/拡張現実、ロボット、地理情報システム、医療分野などの、様々な分野に普及し始めている。三次元点群データの発展と、三次元点群データスキャン機器(例えば、レーザーレーダー、Kinect体性カメラなど)の基準度と速度の継続的な改善により、人々は、物体表面の大量の点群データを正確に取得できるようになり、通常、1つのシーンの点群データの場合でも、数十万の点が含まれる。このような膨大な量の点群データは、コンピュータの記憶と伝送にも課題をもたらす。
点群圧縮は、主にジオメトリ圧縮と属性圧縮に分けられ、ここで、属性圧縮については、国際標準化機構(MGEP:Moving Picture Experts Group)によって提供されるテストプラットフォームTMC13(Test Model for Category1&3)で説明されている点群属性圧縮フレームワークは、LOD(Level of Detail)に基づくリフティング変換(LiftingTransform)戦略、およびLODに基づく予測変換(Predicting Transform)戦略などを含む。また、AVS(Audio Video coding Standard)点群圧縮ワーキンググループによって提供されるテストプラットフォームPCEMで説明されている点群属性圧縮方法などもある。
しかし、点群属性圧縮の技術案には、まだ多くの改善の余地がある。
以下は、本発明で詳細に説明される主題の概要である。この概要は、特許請求の範囲を限定するためのものではない。
第1態様によれば、本発明の実施例は、符号化方法を提供し、前記方法は、
符号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算することであって、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である、ことと、
前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定することと、
前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用することと、
量子化された前記残差値を符号化することと、を含む。
第1態様によれば、本発明の実施例は、符号化方法を提供し、前記方法は、
符号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算することであって、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である、ことと、
前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定することと、
前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用することと、
量子化された前記残差値を符号化することと、を含む。
第2態様によれば、本発明の実施例は、復号化方法を提供し、前記方法は、
復号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算することであって、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である、ことと、
前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定することと、
コードストリームを解析して、前記現在点の第1属性の残差値を取得することと、
逆量子化された前記残差値に前記予測値を加算した合計値を計算して、前記現在点の第1属性の再構築値として使用することと、を含む。
復号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算することであって、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である、ことと、
前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定することと、
コードストリームを解析して、前記現在点の第1属性の残差値を取得することと、
逆量子化された前記残差値に前記予測値を加算した合計値を計算して、前記現在点の第1属性の再構築値として使用することと、を含む。
第3態様によれば、本発明の実施例はさらに、別の符号化方法を提供し、前記方法は、
符号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算することであって、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である、ことと、
前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定することと、
前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用することと、
量子化された前記残差値を符号化することと、
前記第1予測モードの識別情報をコードストリームに書き込むことであって、前記識別情報は、予測モードを指示するために使用される、ことと、を含む。
符号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算することであって、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である、ことと、
前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定することと、
前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用することと、
量子化された前記残差値を符号化することと、
前記第1予測モードの識別情報をコードストリームに書き込むことであって、前記識別情報は、予測モードを指示するために使用される、ことと、を含む。
第4態様によれば、本発明の実施例はさらに、別の復号化方法を提供し、前記方法は、
コードストリームを解析して、復号化対象点群内の現在点の予測モードの識別情報を取得することと、
前記識別情報で指示される予測モードを用いて、前記現在点の第1属性の予測値を決定することと、
コードストリームを解析して、前記現在点の第1属性の残差値を取得することと、
逆量子化された前記残差値に前記予測値を加算した合計値を計算して、前記現在点の第1属性の再構築値として使用することと、を含む。
コードストリームを解析して、復号化対象点群内の現在点の予測モードの識別情報を取得することと、
前記識別情報で指示される予測モードを用いて、前記現在点の第1属性の予測値を決定することと、
コードストリームを解析して、前記現在点の第1属性の残差値を取得することと、
逆量子化された前記残差値に前記予測値を加算した合計値を計算して、前記現在点の第1属性の再構築値として使用することと、を含む。
図面と詳細な説明を読み理解することにより、他の側面を理解することができる。
図面は、本発明の実施例を理解するために提供され、明細書の一部となり、本発明の実施例と共に、本発明の技術的解決策を説明するために使用され、本発明の技術的解決策を限定するものではない。
本発明では、複数の実施例が説明されているが、当該説明は、例示的なものに過ぎず、限定のためのものではなく、より多くの実施例と実施形態が本発明で説明される実施例の範囲に含まれる。
本発明において、「例示的に」または「例えば」などの用語は、一例、実例または説明を表すために使用される。本発明において「例示的に」または「例えば」として説明されるいかなる実施例は、他の実施例よりも好ましいか有利であると解釈されるべきではない。
代表的な実施例を説明する際に、本明細書では、方法および/またはプロセスを特定の一連のステップとして提示した場合がある。しかし、この方法またはプロセスが本明細書に記載されるステップの特定の順序に依存しない限り、この方法またはプロセスは、前記特定の順序のステップに限定されるべきではない。当業者であれば理解できるように、他のステップ順序も可能である。したがって、本明細書で説明されるステップの特定の順序は、特許請求を限定するものとして解釈されるべきではない。さらに、当該方法および/またはプロセスに関する特許請求は、記載された順序に従ってそれらのステップを実行することに限定されるべきではない。当業者であれば理解できるように、これらの順序は変化可能であり、これらの変化は、依然として本発明の実施例の趣旨および範囲内にある。
図1は、点群符号化のフレームワークの概略図であり、図1に示す点群符号化のフレームワークは、点群エンコーダに適用されることができる。符号化対象点群内の各点の幾何情報と属性情報は、別々に符号化される。ジオメトリ符号化プロセスにおいて、すべての点群が1つのバウンディングボックス(bounding box)に含まれるように、幾何情報が座標変換されてから量子化され、この量子化ステップは、主にスケーリングの役割を果たし、量子化と丸めにより、点群の一部の幾何情報が同じくなるため、パラメータに基づいて、重複した点を除去するか否かを决定し、量子化プロセスと重複した点の除去は、ボクセル化プロセスとも呼ばれる。次に、bounding boxに対して八分木分割を実行する。八分木に基づく幾何情報の符号化プロセスにおいて、バウンディングボックスを8つのサブ立方体に8等分し、空でない(点群内の点を含む)サブ立方体は、分割によって得られた葉ノードが1×1×1サイズの立方体になるまで、引き続き8等分され、葉ノード内の点に対して算術符号化を実行して、2進ジオメトリビットストリーム、即ち、ジオメトリコードストリームを生成する。trisoup(triangle soup)に基づく幾何情報の符号化プロセスにおいても、まず八分木分割を実行する必要があるが、八分木に基づく幾何情報の符号化とは異なり、当該trisoupでは、点群をそれぞれ1x1x1サイズの立方体まで段階的に分割する必要なく、サブブロック(block)の辺長がWになる時点で分割を終了し、各blockの点群の分布によって形成された表面に基づいて、当該表面とblockの12個の辺によって生成された最大12個のvertex(交点)を取得し、vertexに対して算術符号化(交点に基づく表面フィッティング)を実行して、2進ジオメトリビットストリーム、即ち、ジオメトリコードストリームを生成する。Vertexはさらに、ジオメトリ再構築のプロセスの実現にも使用され、再構築された幾何情報は、点群の属性を符号化するときに使用される。
属性符号化プロセスにおいて、ジオメトリ符号化が完了し、幾何情報が再構築された後、色変換が実行され、色情報(即ち、属性情報の一種)がRGB色空間からYUV色空間に変換される。そして、再構築された幾何情報を利用して点群が再着色され、これにより、符号化されてない属性情報が再構築された幾何情報に対応するようになる。属性符号化は主に、色情報に対して実行され、色情報符号化プロセスには、3つの変化方法が含まれ、第1の方法は、詳細レベル(LOD:Level of Detail)分割に依存する距離ベースの予測変換(Predictive Transform)であり、第2の方法は、詳細レベル(LOD:Level of Detail)分割に依存する距離ベースのリフティング変換であり、第3の方法は、領域適応階層変換(RAHT:Regionadaptive Hierarchal Transform)を直接実行する変換であり、第2と第3の方法では、色情報を空間領域から周波数領域に変換し、変化により高周波係数と低周波係数を取得し、係数を量子化し(即ち、量子化係数)、最後に、量子化された係数に対して算術符号化を実行して、バイナリ属性ビットストリーム、即ち、属性コードストリームを生成する。
図2は、点群復号化のフレームワークの概略図であり、図2に示す点群復号化のフレームワークは、点群デコーダに適用されることができる。取得されたバイナリコードストリームの場合、まず、バイナリコードストリーム内のジオメトリビットストリームと属性ビットストリームを個別に復号化する。ジオメトリビットストリームを復号化する場合、算術復号化-八分木合成-表面フィッティング-ジオメトリ再構築-逆座標変換によって、点群の幾何情報を取得し、属性ビットストリームを復号化する場合、算術復号化-逆量子化-LODに基づく予測変換またはリフティング逆変換またはRAHTに基づく逆変換-逆色変換によって、点群の属性情報を取得し、幾何情報および属性情報に基づいて、符号化対象点群データの三次元画像モデルを復元する。
a、反復により点群内のすべての点をトラバースする。
b、現在点がすでにトラバースされた場合、当該点を無視する。
c、そうでない場合、当該点からセットV内の各点までの距離をそれぞれ計算し、最小距離をDとして記録する。
d、距離Dが閾値以上である場合、当該点を細分化レベルR0およびセットVに追加する。
e、点群内の少なくとも1つの点がすべてトラバースされるまで、a~dのプロセスを繰り返す。
(4)すべてのLOD層が生成されるまで、またはすべての点がトラバースされるまで、(1)~(3)のプロセスを繰り返すことによって反復を継続する。
図3は、LODを生成するプロセスの概略図であり、図3に示すように、点群には、P0、P1、P2、P3、P4、P5、P6、P7、P8、P9などの10個の点が含まれ、距離閾値に基づいてLOD分割を実行することにより、LOD0セットには、P4、P5、P0、P2が順番に含まれ、LOD1セットには、P4、P5、P0、P2、P3、P1、P6が順番に含まれ、LOD2セットには、P4、P5、P0、P2、P3、P1、P6、P7、P8、P9が順番に含まれる。
すべての点をトラバースして検索する元のLOD分割の技術案と比較して、モートンコードに基づいてLOD分割を実行する技術案は、計算の複雑さを軽減することができる。
さらに、D0(初期距離の閾値)とρ(隣接するLOD層を分割するときの距離閾値比)は、それぞれ初期パラメータであり、ρ>1である。Iがすべての点のインデックスを表すと仮定すると、k番目(k=1、2、...、N-1)の反復では、LODk内の点は、LOD0層~LODk-1層から最近傍点、即ち、最も近い点を探し出す。ここで、Nは、LOD分割の総数であり、k=0である場合、即ち、0回目の反復では、LOD0内の点は、LOD0から最近傍点を探し出す。例として、探し出すプロセスは、次の通りである。
(1)分割距離閾値をD0に初期化する。
(2)k番目の反復で、L(k)は、k番目の層LODに属する点を保存し、O(k)は、LODk層よりも高い細分化レベルの点集合を保存する。ここで、L(k)とO(k)の計算プロセスは、次の通りである。
まず、O(k)とL(k)は、空集合に初期化される。
次に、毎回の反復で、Iに保存された点のインデックス順序に従って点をトラバースする。各トラバーサルでは、現在点からセットO(k)内の一定範囲内のすべての点までの幾何距離を計算し、I内の現在点に対応するモートンコードに基づいて、セットO(k)から、現在点に対応するモートンコード点より大きい最初のインデックスを探し出し、そして、当該インデックスの1つの検索範囲SR1内で探し出し(ここで、SR1は、モートンコードに基づく検索範囲を表し、8、16、64などの値をとることができる)、当該範囲内で現在点との距離が閾値より小さい点が探し出された場合、現在点をセットL(k)に追加し、そうでない場合、現在点をセットO(k)に追加する。
(3)各反復プロセスにおいて、セットL(k)とO(k)が個別に計算され、O(k)内の点は、セットL(k)内の点を予測するために使用される。セットR(k)=L(k)-L(k-1)、即ち、R(k)が、LOD(k-1)セットとLOD(k)セットの違いによって形成された点集合を表すと仮定する。セットR(k)内の点について、セットO(k)で最も近いh個の予測近傍点(一般に、hは3に設定できる)を探し出す。最近傍点を探し出すプロセスは、次の通りである。
a、セットR(k)内の点Piの場合、当該点に対応するモートンコードはMiである。
b、セットO(k)から、現在点Piに対応するモートンコードMiより大きい最初の点のインデックスjを探し出す。
c、インデックスjに基づいて、セットO(k)の1つの検索範囲[j-SR2,j+SR2]から、現在点Piの最近傍点(ここで、SR2は、1つの検索範囲を表し、8、16、32、64などの値をとることができる)を探し出す。
(4)I内のすべての点がトラバースされるまで、(1)~(3)のプロセスを繰り返すことによって反復を継続する。
図4は、LODを生成するプロセスの別の概略図であり、図4に示すように、点群には、P0、P1、P2、P3、P4、P5、P6、P7、P8、P9などの10個の点が含まれ、モートンコードに基づいてLOD分割を実行し、まず、当該10個の点を、モートンコードの昇順に並べ替え、この10個の点の順序は、P4、P1、P9、P5、P0、P6、P8、P2、P7、P3であり、そして、最近傍点を探し出し、このようにして、LOD0セットにはまだ、P4、P5、P0、P2が順番に含まれ、LOD1セットにはまだ、P4、P5、P0、P2、P3、P1、P6が順番に含まれ、LOD2セットにはまだ、P4、P5、P0、P2、P3、P1、P6、P7、P8、P9が順番に含まれる。
リフティング変換(Lifting Transform)モードの場合、まず、モートンコードに応じて並べ替えられた点群を使用してLODを構築し、つまり、所定数のLOD層に従って、並べ替えられた点に対してダウンサンプリングを実行し、毎回のサンプリングの後に得られた点によって一層のLODが形成され、LOD全体が完全に構築されるまで、サンプリングの距離は大きいものから小さいものになる。そして、LOD順序に従って点群内の点の近傍点を探し出し、すべての近傍点の属性値の加重平均を属性予測値として使用し、ここで、各近傍点の重みは、現在点と当該現在点の近傍点の間の幾何座標におけるユークリッド距離の二乗の逆数であり、最後に、現在点の実際の属性値から属性予測値を減算して属性残差値を取得する。
一例において、リフティング変換(Lifting Transform)モードの場合、LODを構築した後、K近傍法(KNN:k-NearestNeighbor)により、各点のために最大K個の最近傍点を探し出すことができ、この場合、合計K+1種の予測モードがあり、それぞれ1番目、2番目、……、K番目の最近傍点の属性値を予測参照値として使用すること、およびK個の最近傍点の属性の加重平均値を予測参照値として使用することであり、ここで、各最近傍点の重みは、現在点と当該現在点の最近傍点の間の幾何座標におけるユークリッド距離の二乗の逆数であり、そして、このK+1個の予測参照値および対応するモードに対してレート歪み最適化(RDO:Rate-distortion optimization)コスト値を計算し、最小コスト値に対応する属性予測値を、現在点の属性予測値として使用する。
一例において、点群色符号化に適用される予測変換(Predicting Transform)モードにおける色予測技術は、以下のプロセスによって実現されることができる。
1、各点のユークリッド距離に基づいてLODを生成し、LODの順序に従って現在点の3つの最近傍点を取得し、取得した3つの最近傍点を現在点の近傍点集合として使用する。
2、近傍点集合の色情報に基づいて、現在点の色を予測し、4つの予測モードがある。
一例において、予測モード0、即ち、predMode=0(predModeの値が0に設定される)は、近傍点と現在点の間のユークリッド距離の逆数を重みとして使用し、近傍点集合内の3つの近傍点の色を加重平均して、現在点の色予測値を取得する。予測モード1、即ち、predMode=1の場合、1番目の近傍点(1st nearest point)の色情報を予測値として直接使用する。予測モード2、即ち、predMode=2の場合、2番目の近傍点(2st nearest point)の色情報を予測値として直接使用する。予測モード3、即ち、predMode=3の場合、3番目の近傍点(3st nearest point)の色情報を予測値として直接使用する。予測モードおよび各予測モードの符号化に必要なビット数idxBitsは、表1に示すとおりである。
4つの予測モードの色予測値を計算した後、RDO技術を用いて4つの予測モードに対してRDOに基づく選択を実行し、最適な予測モードを選択して現在点の色情報を予測し、算術エンコーダを用いて最適な予測モード情報に対してエントロピ符号化を実行することができる。
一例において、点群内の現在点を予測する場合、LODを生成するときの近郊点検索結果に基づいて、複数の予測変数候補を作成することができ、即ち、predModeは、0~3の値を取ることができる。図3に示すように、予測モードを使用してP2の属性値を符号化する場合、P2の3つの最近傍点(即ち、P0、P5およびP4)が取得され、P0、P5およびP4の、距離に基づく加重平均値の予測変数インデックスを0に設定し、そして、最近傍点P4の属性値の予測変数インデックスを1に設定し、さらに、表2に示すように、次の近傍点P5およびP0の属性値予測変数インデックスをそれぞれ2および3に設定することができる。予測変数候補を作成した後、レート歪み最適化プロセス(RDO)を利用して最適な予測変数を選択し、そして、選択した予測変数インデックスに対して算術符号化を実行する(ここで、現在点の予測モードが0である場合、符号化する必要はなく、現在点の予測モードが、RDOによって選択された1、2、3の3つの予測モードである場合、選択した予測変数インデックスを属性コードストリームに符号化する)。
一例において、点群色符号化に適用される予測変換(Predicting Transform)モードにおける色予測技術は、以下のプロセスによって実現されることができる。
現在点の近傍点集合の属性の最大差maxDiffを計算し、maxDiffを設定された閾値と比較し、maxDiffが閾値より小さい場合、近傍点の属性値を加重平均した予測モードを使用し、そうでない場合、当該点に対してRDO技術を使用して最適予測モードを選択する。
RDO技術は、現在点の各予測モードのコストスコアを計算し、コストスコアが最も小さい予測モード、即ち、最適予測モードを現在点の属性予測モードとして選択する。
例えば、表1に示す4つの予測モードに基づいて、まず、現在点の近傍点集合の属性の最大差maxDiffを計算し、そのプロセスは、以下の通りである。まず、R(赤)成分における近傍点の最大差を計算し、即ち、MAX(R)-MIN(R)を計算し、G(緑)、B(青)成分に対しても同様の計算が行われ、次に、R、G、B成分の最大の差異値をmaxDiffとして選択し、即ち、maxDiff=max(max(R1,R2,R3)-min(R1,R2,R3),max(G1,G2,G3)-min(G1,G2,G3),max(B1,B2,B3)-min(B1,B2,B3))である;maxDiffを閾値と比較し、閾値より小さい場合、現在点の予測モードは0に設定され、即ち、predMode=0であり、閾値以上である場合、現在点に対してRDO技術を使用して、各予測モードに対応する属性予測値attrPredを計算し、現在点の属性値attrValueから予測値attrPredを減算して量子化することによって、量子化残差attrResidualQuantを取得し、RDO技術における歪みDは、attrResidualQuantの3つの成分の合計であり、即ち、D=attrResidualQuant[0]+attrResidualQuant[1]+attrResidualQuant[2]である;各予測モードを符号化するために必要なビット数idxBitsを計算してRDO技術におけるレートRとして使用し、即ち、R=idxBitsであり、各予測モードのコストスコアは、D+lambdaxRとして表すことができ、ここで、lambda=0.01xQstepであり、コストスコアが最も小さい予測モードを、現在点の最適予測モードとして選択する。ここで、R1は、R成分における1番目の近傍点の属性値を表し、R2は、R成分における2番目の近傍点の属性値を表し、R3は、R成分における3番目の近傍点の属性値を表し、G1は、G成分における1番目の近傍点の属性値を表し、G2は、G成分における2番目の近傍点の属性値を表し、G3は、G成分における3番目の近傍点の属性値を表し、B1は、B成分における1番目の近傍点の属性値を表し、B2は、B成分における2番目の近傍点の属性値を表し、B3は、B成分における3番目の近傍点の属性値を表す。
一例において、属性符号化プロセスは、所定の入力点群の位置情報に基づいて詳細レベル(LOD:Level of Detail)を生成し、LODの順序に従って、点群予測を実行し、予測後に計算された残差結果(残差値とも呼ばれる)を量子化し、残差値および予測モードに対して算術符号化を実行して属性コードストリームを形成することを含くんでもよい。一例において、属性復号化プロセスは、属性コードストリームを解析することにより、点群内の点の属性情報の残差値を取得し、その後、予測モードを取得して点群予測を実行することにより、点群の属性予測値を取得し、そして、点の属性情報の残差値に対して逆量子化を実行することにより、逆量子化された点の属性情報の残差値を取得し、当該逆量子化された点の属性情報の残差値と上記の予測値を加算して点の属性情報の再構築値を取得し、これにより、復号化された点群を取得することを含んでもよい。
属性符号化は、色情報の符号化だけでなく、反射率情報などの他の属性情報の符号化も含む。属性符号化プロセスにおいて、符号化対象点群内の各点の色情報と反射率情報は、個別に符号化される。例えば、まず、属性における色情報(color)を符号化し、色情報の符号化が完了した後に色属性コードストリームが形成され、次に、反射率情報(reflectance)を符号化し、符号化が完了した後に反射率属性コードストリームが形成される。反射率情報を予測するプロセスにおいて、RDOが最適予測モードの選択に使用されない場合、反射率情報の予測モード(predMode)は、デフォルトでは、色属性から継承された予測モードを使用し、つまり、反射率情報は、デフォルトで色情報の予測モードを使用する。しかし、色属性の特性は、反射率属性の特性とは異なるため、色属性の予測モードを直接継承して反射率情報を予測すると、ロジック誤差が生じるため、予測結果にも偏差が生じる可能性があり、これにより、予測精度が低くなり、符号化・復号化性能が低下する。
本発明の実施例は、符号化方法を提供し、図5に示すように、当該方法は、以下のステップを含む。
ステップ501において、符号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算し、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である。
ステップ502において、前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定する。
ステップ503において、前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用する。
ステップ504において、量子化された前記残差値を符号化する。
いくつかの例示的な実施例において、前記第1属性は、反射率情報および色情報のうちの少なくとも1つを含む。
いくつかの例示的な実施例において、前記第1予測モードは、近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む。
いくつかの例示的な実施例において、前記近傍点の属性の加重平均値を予測値として使用することは、
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
いくつかの例示的な実施例において、いずれかの近傍点の属性値を予測値として使用することは、
現在点のN番目(Nは、正の整数である)の近傍点の属性値を予測値として使用することを含む。
現在点のN番目(Nは、正の整数である)の近傍点の属性値を予測値として使用することを含む。
いくつかの例示的な実施例において、前記現在点の近傍点は、R個(Rは、1より大きい正の整数である)の近傍点を含む。
いくつかの例示的な実施例において、Mの値は、3、4または5であってもよい。
いくつかの例示的な実施例において、Nの値は、1、2または3であってもよい。
いくつかの例示的な実施例において、Rの値は、3、4または5であってもよい。
いくつかの例示的な実施例において、当該方法は、
前記第1パラメータが閾値以上である場合、レート歪み最適化(RDO)を用いて第2予測モードを選択することと、
前記第2予測モードを用いて前記現在点の第1属性の予測値を決定することと、
前記第2予測モードの識別情報をコードストリームに書き込むことであって、前記識別情報は、予測モードを指示するために使用される、ことと、をさらに含む。
前記第1パラメータが閾値以上である場合、レート歪み最適化(RDO)を用いて第2予測モードを選択することと、
前記第2予測モードを用いて前記現在点の第1属性の予測値を決定することと、
前記第2予測モードの識別情報をコードストリームに書き込むことであって、前記識別情報は、予測モードを指示するために使用される、ことと、をさらに含む。
いくつかの例示的な実施例において、前記第2予測モードは、
近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すると、の少なくとも1つを含む。
近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すると、の少なくとも1つを含む。
いくつかの例示的な実施例において、前記近傍点の属性の加重平均値を予測値として使用することは、
S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含み、対応する識別情報は、事前設定のインデックス値であり且つグローバル一意性を有する。
S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含み、対応する識別情報は、事前設定のインデックス値であり且つグローバル一意性を有する。
いくつかの例示的な実施例において、いずれかの近傍点の属性値を予測値として使用することは、
現在点のT番目(Tは、正の整数である)の近傍点の属性値を予測値として使用することを含み、対応する識別情報は、T番目の近傍点のインデックス値である。
現在点のT番目(Tは、正の整数である)の近傍点の属性値を予測値として使用することを含み、対応する識別情報は、T番目の近傍点のインデックス値である。
いくつかの例示的な実施例において、Sの値は、3、4または5であってもよい。
いくつかの例示的な実施例において、Tの値は、1、2または3であってもよい。
いくつかの例示的な実施例において、Uの値は、3、4または5であってもよい。
本発明の1つの例示的な実施例において、符号化方法を提供し、図6に示すように、前記方法は、以下のステップを含む。
ステップ601において、符号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算し、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である。
いくつかの例において、符号化対象点群内の現在点の近傍点は、符号化対象点群内の現在点の符号化済みの近傍点を指す。
いくつかの例において、現在点の近傍点は、R個(Rは、1より大きい正の整数である)の近傍点を含んでもよい。一例において、Rの値は、3、4または5であってもよい。例えば、現在点の近傍点は、3つの近傍点を含み、当該3つの近傍点は、近傍から遠方にかけて距離に基づいて、現在点に最も近い3つの近傍点、または現在点に最も近いZ個(Z>3、Zは、正の整数である)の近傍点のうちのいずれか3つの近傍点であってもよい。
いくつかの例において、前記第1属性は、反射率情報および色情報のうちの少なくとも1つを含む。
一例において、前記第1属性は、反射率情報を含み、前記第1パラメータは、近傍点の反射率情報の再構築値の最大値と最小値の差である。例えば、当該第1パラメータmaxDiff=max(Re)-min(Re)であり、ここで、max(Re)は、近傍点の反射率情報の再構築値のうちの最大値を表し、min(Re)は、近傍点の反射率情報のうちの最小値を表す。例えば、現在点の近傍点は、3つの近傍点を含み、第1パラメータは、当該3つの近傍点の反射率情報の再構築値の最大値と最小値の差である。
一例において、前記第1属性は、色情報を含み、前記第1パラメータは、近傍点の色情報の再構築値の最大値と最小値の差である。例えば、以下の方式によって第1パラメータmaxDiffを計算することができる。
R成分における近傍点の最大差異値、即ち、max(R)-min(R)を計算する。
G成分における近傍点の最大差異値、即ち、max(G)-min(G)を計算する。
B成分における近傍点の最大差異値、即ち、max(B)-min(B)を計算する。
R、G、B成分における最大差異値のうちの最大値をmaxDiffとして選択する。
即ち、maxDiff=max(max(R)-min(R),max(G)-min(G),max(B)-min(B))であり、ここで、max(R)は、R成分における近傍点の再構築値のうちの最大値を表し、min(R)は、R成分における近傍点の再構築値のうちの最小値を表し、max(G)は、G成分における近傍点の再構築値のうちの最大値を表し、min(G)は、G成分における近傍点の再構築値のうちの最小値を表し、max(B)は、B成分における近傍点の再構築値のうちの最大値を表し、min(B)は、B成分における近傍点の再構築値のうちの最小値を表す。例えば、現在点の近傍点は、3つの近傍点を含み、第1パラメータは、当該3つの近傍点の色情報の再構築値の最大値と最小値の差であり、つまり、第1パラメータは、当該3つの近傍点のR成分における最大差異値、G成分における最大差異値、B成分における最大差異値の3つの数値のうちの最大値である。
ステップ602において、前記第1パラメータが閾値より小さいか否かを判断する。
いくつかの例において、当該閾値は、事前設定されることができる。例えば、色情報に対応する閾値を事前に設定し、第1属性が色情報である場合、第1パラメータが、色情報の閾値より小さいか否かを判断することができる。別の例では、反射率情報に対応する閾値を事前に設定し、第1属性が反射率情報である場合、第1パラメータが、反射率情報の閾値より小さいか否かを判断することができる。
前記第1パラメータが閾値より小さい場合、ステップ603~ステップ605を実行し、前記第1パラメータが閾値以上である場合、ステップ606~ステップ608を実行する。
ステップ603において、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定する。
いくつかの例において、前記第1予測モードは、近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む。例えば、近傍点の属性の加重平均値を予測値として使用するように、第1予測モードを事前設定することができる。別の例では、いずれかの近傍点の属性値を予測値として使用するように、第1予測モードを事前設定することができる。
いくつかの例において、前記近傍点の属性の加重平均値を予測値として使用することは、
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。一例において、Mの値は、3、4または5であってもよい。例えば、3つの近傍点の属性の加重平均値を予測値として使用することができる。
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。一例において、Mの値は、3、4または5であってもよい。例えば、3つの近傍点の属性の加重平均値を予測値として使用することができる。
いくつかの例において、第1パラメータの計算に使用される現在点の近傍点をM個の近傍点として選択することができる。例えば、第1パラメータの計算に使用される現在点の近傍点として3つの近傍点を選択することができ、当該3つの近傍点をM個の近傍点として選択することもできる。例えば、第1パラメータの計算に使用される現在点の近傍点として、現在点に最も近い3つの近傍点を選択し、現在点に最も近い3つの近傍点の属性の加重平均値を予測値として使用する。
いくつかの例において、M個の近傍点として、第1パラメータの計算に使用される現在点の近傍点のうちの点、または第1パラメータの計算に使用されない現在点の近傍点のうちの点を選択することができ、例えば、第1パラメータの計算に使用される現在点の近傍点として、5つの近傍点を選択することができ、M個の近傍点として、3つの近傍点を選択することができる。当該3つの近傍点は、当該5つの近傍点のうちの3つの点であってもよく、または当該3つの近傍点は、当該5つの近傍点のうちの点ではなくてもよく、または当該3つの近傍点の一部は、当該5つの近傍点のうちの点であってもよい。例えば、第1パラメータの計算に使用される現在点の近傍点として、現在点に最も近い5つの近傍点を選択し、現在点に最も近い3つの近傍点の属性の加重平均値を予測値として使用する。
いくつかの例において、各近傍点の重みは、現在点とその近傍点とのユークリッド距離の二乗の逆数であってもよい。
いくつかの例において、いずれかの近傍点の属性値を予測値として使用することは、現在点のN番目(Nは、正の整数である)の近傍点の属性値を予測値として使用することを含む。一例において、Nの値は、1、2または3であってもよい。N番目の近傍点は、近傍から遠方にかけて、現在点にN番目に最も近い近傍点であり、例えば、現在点に1番目に最も近い近傍点の属性値を予測値として使用してもよく、当該属性値は、再構築値であってもよい。別の例では、現在点に2番目に最も近い近傍点の属性値を予測値として使用することができる。別の例では、現在点に3番目に最も近い近傍点の属性値を予測値として使用することができる。
いくつかの例において、ユーザは、符号化・復号化される第1予測モードを事前設定することができ、例えば、ユーザは、M個の近傍点の属性の加重平均値を予測値として使用するように、符号化側の第1予測モードを事前設定することができる。別の例では、ユーザは、現在点のN番目の近傍点の属性値を予測値として使用するように、符号化側の第1予測モードを事前に設定することができる。一例において、符号化側に事前設定された第1モードと復号化側に事前設定された第1モードは同じである。別の例では、符号化側に事前設定された第1モードは、復号化側に事前設定された第1モードとは異なる。
いくつかの例において、前記第1予測モードはさらに、近傍点の平均値を予測値として使用することを含み得る。例えば、選択された3つの近傍点の属性値の平均値を現在点の予測値として使用することができる。
いくつかの例において、前記第1予測モードはさらに、近傍点の属性値に対して数学的演算を実行することによって得られた値を予測値として使用することを含み得る。当該数学的演算は、加重平均および平均化以外の任意の数学的演算方法を指す。
いくつかの例において、複数の予測モードから1つの予測モードを選択して、符号化側の第1予測モードとして事前に設定することができる。例えば、当該複数の予測モードは、第1パラメータの計算に使用される現在点の近傍点に基づいて決定されることができる。
例えば、現在点に3つの近傍点がある場合、当該複数の予測モードは、当該3つの近傍点の属性の加重平均値を予測値として使用する予測モード、および1番目の近傍点、2番目の近傍点、3番目の近傍点の属性値を予測値として使用する予測モードを含むことができ、例えば、表1に示すように、予測モード0、予測モード1、予測モード2および予測モード3を含み、予測モード0、即ち、predMode=0(predModeの値が0に設定される)は、近傍点と現在点とのユークリッド距離の二乗の逆数を重みとして、3つの近傍点の属性値を加重平均して、現在点の予測値として使用し、予測モード1、即ち、predMode=1は、1番目の近傍点(1st nearest point)の属性値を予測値として直接使用し、予測モード2、即ちpredMode=2は、2番目の近傍点(2st nearest point)の属性値を予測値として直接使用し、予測モード3、即ちpredMode=3は、3番目の近傍点(3st nearest point)の属性値を予測値として直接使用する。例えば、図3の点P2を例にとると、点P2の3つの近傍点P0、P5およびP4を選択し、4つの予測モードから1つを選択して第1予測モードとして設定することができ、当該4つの予測モードは、予測モード0、予測モード1、予測モード2および予測モード3を含み、予測モード0、即ちpredMode=0(predModeの値が0に設定される)は、近傍点と現在点とのユークリッド距離の二乗の逆数を重みとして、P0、P5およびP4の属性を加重平均して得られた値を現在点の予測値として使用し、予測モード1、即ちpredMode=1は、1番目の近傍点(1st nearest point)、即ちP4の属性値を予測値として直接使用し、予測モード2、即ちpredMode=2は、2番目の近傍点(2st nearest point)、即ちP5の属性値を予測値として直接使用し、予測モード3、即ちpredMode=3は、3番目の近傍点(3st nearest point)、即ちP0の属性値を予測値として直接使用する。各予測モードは、1つの識別子(インデックス番号であってもよい)に対応することができ、本例において、4つの予測モードのインデックス番号は、表1に示すように、それぞれ0、1、2、3である。
別の例では、現在点に3つの近傍点がある場合、当該複数の予測モードは、それぞれ1番目の近傍点、2番目の近傍点、3番目の近傍点の属性値を予測値として使用する予測モードを含むことができ、例えば、表3に示すように、予測モード1、予測モード2および予測モード3を含み、予測モード1、即ち、predMode=1は、1番目の近傍点(1st nearest point)の属性値を予測値として直接使用し、予測モード2、即ちpredMode=2は、2番目の近傍点(2st nearest point)の属性値を予測値として直接使用し、予測モード3、即ちpredMode=3は、3番目の近傍点(3st nearest point)の属性値を予測値として直接使用する。例えば、図3の点P2を例にとると、点P2の3つの近傍点として点P0、P5およびP4を選択し、3つの予測モードから1つを選択して第1予測モードとして設定し、当該3つの予測モードは、予測モード1、予測モード2および予測モード3を含み、予測モード1、即ちpredMode=1は、1番目の近傍点(1st nearest point)、即ちP4の属性値を予測値として直接使用し、予測モード2、即ちpredMode=2は、2番目の近傍点(2st nearest point)、即ちP5の属性値を予測値として直接使用し、予測モード3、即ちpredMode=3は、3番目の近傍点(3st nearest point)、即ちP0の属性値を予測値として直接使用する。
一例において、符号化側および復号化側に第1予測モードを事前設定することができ、例えば、符号化側と復号化側の予測モードのデフォルト初期化値を、第1予測モードに対応する識別子に設定することができる。例えば、表3における予測モード1を第1予測モードに設定する場合、符号化側と復号化側のデフォルト初期化値を1に設定することができる。一例において、符号化側と復号化側に、同じ第1予測モードを設定することができる。別の例では、符号化側と復号化側に、異なる第1予測モードを設定することができる。
ステップ604において、前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用する。
ステップ605において、量子化された前記残差値を符号化する。
ステップ606において、レート歪み最適化(RDO)を採用して第2予測モードを選択し、前記第2予測モードを使用して前記現在点の第1属性の予測値を決定する。
いくつかの例において、レート歪み最適化(RDO)を採用して、複数の代替予測モードから第2予測モードを選択することができる。例えば、当該複数の代替予測モードは、近傍点の属性の加重平均値を予測値として使用する予測モード、およびD(Dは、正の整数である)個の予測モードを含み得る。当該D個の予測モードは、近傍から遠方にかけて距離に基づいて、現在点の1番目の近傍点、2番目の近傍点、……、E番目(Eは、正の整数である)の近傍点の属性値を予測値として使用する予測モードを第1~第Eの予測モードとしてそれぞれ使用することを含む。例えば、当該複数の予測モードは、近傍点の属性の加重平均値を予測値として使用する予測モードと、現在点に1番目に最も近い近傍点の属性値を予測値として使用する予測モードと、現在点に2番目に最も近い近傍点の属性値を予測値として使用する予測モードと、現在点に3番目に最も近い近傍点の属性値を予測値として使用する予測モードと、を含み得る。別の例では、当該複数の代替予測モードは、F(Fは、正の整数である)個の予測モードを含み得る。当該F個の予測モードは、近傍から遠方にかけて距離に基づいて、現在点の1番目の近傍点、2番目の近傍点、……、G番目(Gは、正の整数である)の近傍点の属性値を予測値として使用する予測モードを第1~第Gの予測モードとしてそれぞれ使用することを含む。例えば、当該複数の代替予測モードは、現在点に1番目に最も近い近傍点の属性値を予測値として使用する予測モードと、現在点に2番目に最も近い近傍点の属性値を予測値として使用する予測モードと、現在点に3番目に最も近い近傍点の属性値を予測値として使用する予測モードと、を含み得る。
いくつかの例において、RDOを採用して、複数の代替予測モードから第2予測モードを選択することは、
複数の代替予測モード内の各予測モードに対して以下のステップを実行することを含む。
複数の代替予測モード内の各予測モードに対して以下のステップを実行することを含む。
1つの予測モードに対応する予測値attrPredを計算し、現在点の反射率値attrValueから予測値attrPredを減算して量子化することによって、量子化残差attrResidualQuantを取得し、当該量子化残差attrResidualQuantをRDO技術における歪みDとして使用し、即ち、D=attrResidualQuantである。
当該予測モードの符号化に必要なビット数idxBitsを計算し、当該ビット数idxBitsをRDO技術におけるレートRとして使用し、即ち、R=idxBitsである。
当該予測モードのコストスコアを計算し、ここで、コストスコア=D+lambdaxR、lambda=0.01xQstepであり、Qstepは、量子化ステップ長である。
コストスコアが最も小さい予測モードを第2予測モードとして選択する。
いくつかの例において、前記第2予測モードは、
近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む。
近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む。
いくつかの例において、前記近傍点の属性の加重平均値を予測値として使用することは、S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
一例において、Sの値は、3、4または5であってもよい。例えば、3つの近傍点の属性の加重平均値を予測値として使用することができる。
いくつかの例において、S個の近傍点として、第1パラメータの計算に使用される現在点の近傍点を選択することができる。例えば、第1パラメータの計算に使用される現在点の近傍点として、3つの近傍点を選択することができ、当該3つの近傍点をS個の近傍点として選択することもできる。例えば、第1パラメータの計算に使用される現在点の近傍点として、現在点に最も近い3つの近傍点を選択し、現在点に最も近い3つの近傍点の属性の加重平均値を予測値として使用する。
いくつかの例において、S個の近傍点として、第1パラメータの計算に使用される現在点の近傍点のうちの点、または第1パラメータの計算に使用されない現在点の近傍点のうちの点を選択することができ、例えば、第1パラメータの計算に使用される現在点の近傍点として、5つの近傍点を選択することができ、S個の近傍点として、3つの近傍点を選択することができる。当該3つの近傍点は、当該5つの近傍点のうちの3つの点であってもよく、または当該3つの近傍点は、当該5つの近傍点のうちの点ではなくてもよく、または当該3つの近傍点の一部は、当該5つの近傍点のうちの点であってもよい。例えば、第1パラメータの計算に使用される現在点の近傍点として、現在点に最も近い5つの近傍点を選択し、現在点に最も近い3つの近傍点の属性の加重平均値を予測値として使用する。
いくつかの例において、各近傍点の重みは、現在点とその近傍点とのユークリッド距離の二乗の逆数であってもよい。
いくつかの例において、各近傍点の重みは、他の値であってもよく、例えば、事前設定された係数などであってもよい。
一例において、S個の近傍点とM個の近傍点として、同じ近傍点を選択してもよく、例えば、両方とも現在点に最も近い3つの近傍点の属性加重平均を現在点の予測値として選択してもよい。
一例において、S個の近傍点とM個の近傍点として、異なる近傍点を選択してもよく、例えば、M個の近傍点の場合、現在点に最も近い3つの近傍点の属性加重平均を現在点の予測値として選択し、S個の近傍点の場合、現在点に5番目~7番目に最も近い近傍点の属性加重平均を現在点の予測値として選択する。
一例において、S個の近傍点とM個の近傍点のうちの点の一部だけが同じであってもよい。例えば、M個の近傍点の場合、現在点に最も近い3つの近傍点の属性加重平均を現在点の予測値として選択し、S個の近傍点の場合、現在点に2番目~4番目に最も近い近傍点の属性加重平均を現在点の予測値として選択する。
いくつかの例において、いずれかの近傍点の属性値を予測値として使用することは、現在点のT番目(Tは、正の整数である)の近傍点の属性値を予測値として使用することを含む。一例において、Tの値は、1、2または3であってもよい。T番目の近傍点は、近傍から遠方にかけて、現在点にT番目に最も近い近傍点であり、例えば、現在点に1番目に最も近い近傍点の属性値を予測値として使用してもよく、当該属性値は、再構築値であってもよい。別の例では、現在点に2番目に最も近い近傍点の属性値を予測値として使用することができる。別の例では、現在点に3番目に最も近い近傍点の属性値を予測値として使用することができる。
いくつかの例において、レート歪み最適化(RDO)を採用して、複数の代替予測モードから第2予測モードを選択することができる。例えば、当該複数の代替予測モードは、第1パラメータの計算に使用される現在点の近傍点に基づいて決定されることができる。
例えば、現在点に3つの近傍点がある場合、当該複数の代替予測モードは、当該3つの近傍点の属性の加重平均値を予測値として使用する予測モード、およびそれぞれ1番目の近傍点、2番目の近傍点、3番目の近傍点の属性値を予測値として使用する予測モードを含むことができ、例えば、表1に示すように、予測モード0、予測モード1、予測モード2および予測モード3を含み、予測モード0、即ち、predMode=0(predModeの値が0に設定される)は、近傍点と現在点とのユークリッド距離の二乗の逆数を重みとして、3つの近傍点の属性値を加重平均して、現在点の予測値として使用し、予測モード1、即ち、predMode=1は、1番目の近傍点(1st nearest point)の属性値を予測値として直接使用し、予測モード2、即ちpredMode=2は、2番目の近傍点(2st nearest point)の属性値を予測値として直接使用し、予測モード3、即ちpredMode=3は、3番目の近傍点(3st nearest point)の属性値を予測値として直接使用する。例えば、図3の点P2を例にとると、点P2の3つの近傍点P0、P5およびP4を選択し、4つの予測モードから第2予測モードを選択することができ、当該4つの予測モードは、予測モード0、予測モード1、予測モード2および予測モード3を含み、予測モード0、即ちpredMode=0(predModeの値が0に設定される)は、近傍点と現在点とのユークリッド距離の二乗の逆数を重みとして、P0、P5およびP4の属性を加重平均して得られた値を現在点の予測値として使用し、予測モード1、即ちpredMode=1は、1番目の近傍点(1st nearest point)、即ちP4の属性値を予測値として直接使用し、予測モード2、即ちpredMode=2は、2番目の近傍点(2st nearest point)、即ちP5の属性値を予測値として直接使用し、予測モード3、即ちpredMode=3は、3番目の近傍点(3st nearest point)、即ちP0の属性値を予測値として直接使用する。各予測モードは、1つの識別子(当該識別情報は、インデックス番号であってもよい)に対応することができ、本例において、4つの予測モードのインデックス番号は、表1に示すように、それぞれ0、1、2、3である。
別の例では、現在点に3つの近傍点がある場合、当該複数の代替予測モードは、それぞれ1番目の近傍点、2番目の近傍点、3番目の近傍点の属性値を予測値として使用する予測モードを含むことができ、例えば、表3に示すように、予測モード1、予測モード2および予測モード3を含み、予測モード1、即ち、predMode=1は、1番目の近傍点(1st nearest point)の属性値を予測値として直接使用し、予測モード2、即ちpredMode=2は、2番目の近傍点(2st nearest point)の属性値を予測値として直接使用し、予測モード3、即ちpredMode=3は、3番目の近傍点(3st nearest point)の属性値を予測値として直接使用する。
ステップ607において、前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用する。
いくつかの例において、以下の方式によって現在点の第1属性の残差値attrResidualQuantを計算することができる。
ここで、attrPredValueは、属性予測値を表し、attrValueは、現在点の属性値(元の値)を表し、量子化ステップ長Qstepは、量子化パラメータQpから算出される。
ステップ608において、量子化された前記残差値を符号化し、前記第2予測モードの識別情報をコードストリームに書き込み、前記識別情報は、予測モードを指示するために使用される。
いくつかの例において、各予測モードは、1つの識別子に対応することができる。一例において、事前に近傍点の属性の加重平均値を予測値として使用する予測モードの識別子を、事前設定のインデックス値に設定することができ、当該予測モードの識別子は、グローバル一意性を有し、例えば、当該予測インデックス値は、0であってもよい。別の例において、事前に現在点のT番目の近傍点の属性値を予測値として使用する予測モードの識別子を、当該T番目の近傍点のインデックス値に設定することができる。例えば、現在点のT番目の近傍点の属性値を予測値として使用する予測モードの識別子を、Tに設定することができる。別の例では、現在点のT番目の近傍点の属性値を予測値として使用する予測モードの識別子を1に設定し、現在点の2番目の近傍点の属性値を予測値として使用する予測モードの識別子を2に設定し、現在点の3番目の近傍点の属性値を予測値として使用する予測モードの識別子を3に設定する。現在点のT番目の近傍点は、近傍から遠方にかけて距離に基づいて、現在点にT番目に最も近い近傍点を指す。
いくつかの例において、当該識別情報は、予測モードのインデックス番号など、予測モードの情報を指示するための1つの識別ビットであってもよい。
本発明の実施例は、復号化方法を提供し、図7に示すように、前記方法は、以下のステップを含む。
ステップ701において、復号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算し、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である。
ステップ702において、前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定する。
ステップ703において、コードストリームを解析して、前記現在点の第1属性の残差値を取得する。
ステップ704において、逆量子化された前記残差値に前記予測値を加算した合計値を計算して、前記現在点の第1属性の再構築値として使用する。
いくつかの例示的な実施例において、前記第1属性は、反射率情報および色情報のうちの少なくとも1つを含む。
いくつかの例示的な実施例において、前記第1予測モードは、近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む。
いくつかの例示的な実施例において、前記近傍点の属性の加重平均値を予測値として使用することは、
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
いくつかの例示的な実施例において、いずれかの近傍点の属性値を予測値として使用することは、
現在点のN番目(Nは、正の整数である)の近傍点の属性値を予測値として使用することを含む。
現在点のN番目(Nは、正の整数である)の近傍点の属性値を予測値として使用することを含む。
いくつかの例示的な実施例において、前記現在点の近傍点は、R個(Rは、1より大きい正の整数である)の近傍点を含む。
いくつかの例示的な実施例において、Mの値は、3、4または5であってもよい。
いくつかの例示的な実施例において、Nの値は、1、2または3であってもよい。
いくつかの例示的な実施例において、Rの値は、3、4または5であってもよい。
いくつかの例示的な実施例において、当該方法は、
前記第1パラメータが閾値以上である場合、コードストリームを解析して、予測モードの識別情報を取得することと、
前記識別情報で指示される予測モードを用いて、前記現在点の第1属性の予測値を決定することと、をさらに含む。
前記第1パラメータが閾値以上である場合、コードストリームを解析して、予測モードの識別情報を取得することと、
前記識別情報で指示される予測モードを用いて、前記現在点の第1属性の予測値を決定することと、をさらに含む。
いくつかの例示的な実施例において、前記識別情報が事前設定のインデックス値である場合、近傍点の属性の加重平均値を前記現在点の予測値として使用し、
前記識別情報が前記事前設定のインデックス値以外のインデックス値である場合、いずれかの近傍点の属性値を前記現在点の予測値として使用する。
前記識別情報が前記事前設定のインデックス値以外のインデックス値である場合、いずれかの近傍点の属性値を前記現在点の予測値として使用する。
いくつかの例示的な実施例において、近傍点の属性の加重平均値を前記現在点の予測値として使用することは、
S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
いくつかの例示的な実施例において、いずれかの近傍点の属性値を前記現在点の予測値として使用することは、
T番目(Tは、前記識別情報に対応するインデックス値である)の近傍点の属性値を前記現在点の予測値として使用することを含む。
T番目(Tは、前記識別情報に対応するインデックス値である)の近傍点の属性値を前記現在点の予測値として使用することを含む。
本発明の1つの例示的な実施例は、復号化方法を提供し、図8に示すように、当該方法は、以下のステップを含む。
ステップ801において、復号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算し、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である。
いくつかの例において、復号化対象点群内の現在点の近傍点は、復号化対象点群内の現在点の復号化済みの近傍点を指す。
いくつかの例において、現在点の近傍点は、R個(Rは、1より大きい正の整数である)の近傍点を含んでもよい。一例において、Rの値は、3、4または5であってもよい。例えば、現在点の近傍点は、3つの近傍点を含み、当該3つの近傍点は、近傍から遠方にかけて距離に基づいて、現在点に最も近い3つの近傍点、または現在点に最も近いZ個(Z>3)の近傍点のうちのいずれか3つの近傍点であってもよい。
いくつかの例において、前記第1属性は、反射率情報および色情報のうちの少なくとも1つを含む。
一例において、前記第1属性は、反射率情報を含み、前記第1パラメータは、近傍点の反射率情報の再構築値の最大値と最小値の差である。例えば、当該第1パラメータmaxDiff=max(Re)-min(Re)であり、ここで、max(Re)は、近傍点の反射率情報の再構築値のうちの最大値を表し、min(Re)は、近傍点の反射率情報のうちの最小値を表す。例えば、現在点の近傍点は、3つの近傍点を含み、第1パラメータは、当該3つの近傍点の反射率情報の再構築値の最大値と最小値の差である。
一例において、前記第1属性は、色情報を含み、前記第1パラメータは、近傍点の色情報の再構築値の最大値と最小値の差である。例えば、以下の方式によって第1パラメータmaxDiffを計算することができる。
R成分における近傍点の最大差異値、即ち、max(R)-min(R)を計算する。
G成分における近傍点の最大差異値、即ち、max(G)-min(G)を計算する。
B成分における近傍点の最大差異値、即ち、max(B)-min(B)を計算する。
R、G、B成分における最大差異値のうちの最大値をmaxDiffとして選択する。
即ち、maxDiff=max(max(R)-min(R),max(G)-min(G),max(B)-min(B))であり、ここで、max(R)は、R成分における近傍点の再構築値のうちの最大値を表し、min(R)は、R成分における近傍点の再構築値のうちの最小値を表し、max(G)は、G成分における近傍点の再構築値のうちの最大値を表し、min(G)は、G成分における近傍点の再構築値のうちの最小値を表し、max(B)は、B成分における近傍点の再構築値のうちの最大値を表し、min(B)は、B成分における近傍点の再構築値のうちの最小値を表す。例えば、現在点の近傍点は、3つの近傍点を含み、第1パラメータは、当該3つの近傍点の色情報の再構築値の最大値と最小値の差であり、つまり、第1パラメータは、当該3つの近傍点のR成分における最大差異値、G成分における最大差異値、B成分における最大差異値の3つの数値のうちの最大値である。
ステップ802において、前記第1パラメータが閾値より小さいか否かを判断する。
いくつかの例において、当該閾値は、事前設定されることができる。例えば、色情報に対応する閾値を事前設定し、第1属性が色情報である場合、第1パラメータが、色情報の閾値より小さいか否かを判断することができる。別の例では、反射率情報に対応する閾値を事前設定し、第1属性が反射率情報である場合、第1パラメータが、反射率情報の閾値より小さいか否かを判断することができる。
前記第1パラメータが閾値より小さい場合、ステップ803を実行し、前記第1パラメータが閾値以上である場合、ステップ804を実行する。
ステップ803において、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定する。
いくつかの例において、前記第1予測モードは、近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む。例えば、近傍点の属性の加重平均値を予測値として使用するように、第1予測モードを事前設定することができる。別の例では、いずれかの近傍点の属性値を予測値として使用するように、第1予測モードを事前設定することができる。
いくつかの例において、前記近傍点の属性の加重平均値を予測値として使用することは、
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。一例において、Mの値は、3、4または5であってもよい。例えば、3つの近傍点の属性の加重平均値を予測値として使用することができる。
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。一例において、Mの値は、3、4または5であってもよい。例えば、3つの近傍点の属性の加重平均値を予測値として使用することができる。
いくつかの例において、第1パラメータの計算に使用される現在点の近傍点をM個の近傍点として選択することができる。例えば、第1パラメータの計算に使用される現在点の近傍点として3つの近傍点を選択することができ、当該3つの近傍点をM個の近傍点として選択することもできる。例えば、第1パラメータの計算に使用される現在点の近傍点として、現在点に最も近い3つの近傍点を選択し、現在点に最も近い3つの近傍点の属性の加重平均値を予測値として使用する。
いくつかの例において、M個の近傍点として、第1パラメータの計算に使用される現在点の近傍点のうちの点、または第1パラメータの計算に使用されない現在点の近傍点のうちの点を選択することができ、例えば、第1パラメータの計算に使用される現在点の近傍点として、5つの近傍点を選択することができ、M個の近傍点として、3つの近傍点を選択することができる。当該3つの近傍点は、当該5つの近傍点のうちの3つの点であってもよく、または当該3つの近傍点は、当該5つの近傍点のうちの点ではなくてもよく、または当該3つの近傍点の一部は、当該5つの近傍点のうちの点であってもよい。例えば、第1パラメータの計算に使用される現在点の近傍点として、現在点に最も近い5つの近傍点を選択し、現在点に最も近い3つの近傍点の属性の加重平均値を予測値として使用する。
いくつかの例において、各近傍点の重みは、現在点とその近傍点とのユークリッド距離の二乗の逆数であってもよい。
いくつかの例において、各近傍点の重みは、他の値であってもよく、例えば、事前設定された係数などであってもよい。
いくつかの例において、いずれかの近傍点の属性値を予測値として使用することは、現在点のN番目(Nは、正の整数である)の近傍点の属性値を予測値として使用することを含む。一例において、Nの値は、1、2または3であってもよい。N番目の近傍点は、近傍から遠方にかけて、現在点にN番目に最も近い近傍点であり、例えば、現在点に1番目に最も近い近傍点の属性値を予測値として使用してもよく、当該属性値は、再構築値であってもよい。別の例では、現在点に2番目に最も近い近傍点の属性値を予測値として使用することができる。別の例では、現在点に3番目に最も近い近傍点の属性値を予測値として使用することができる。
いくつかの例において、ユーザは、符号化・復号化される第1予測モードを事前設定することができ、例えば、ユーザは、M個の近傍点の属性の加重平均値を予測値として使用するように、復号化側の第1予測モードを事前設定することができる。別の例では、ユーザは、現在点のN番目の近傍点の属性値を予測値として使用するように、符号化側の第1予測モードを事前に設定することができる。一例において、符号化側に事前設定された第1モードと復号化側に事前設定された第1モードは同じである。別の例では、符号化側に事前設定された第1モードは、復号化側に事前設定された第1モードとは異なる。
いくつかの例において、前記第1予測モードはさらに、近傍点の平均値を予測値として使用することを含み得る。例えば、選択された3つの近傍点の属性値の平均値を現在点の予測値として使用することができる。
いくつかの例において、前記第1予測モードはさらに、近傍点の属性値に対して数学的演算を実行することによって得られた値を予測値として使用することを含み得る。当該数学的演算は、加重平均および平均化以外の任意の数学的演算方法を指す。
ステップ804において、コードストリームを解析して、予測モードの識別情報を取得し、前記識別情報で指示される予測モードを使用して、前記現在点の第1属性の予測値を決定する。
いくつかの例において、前記識別情報が事前設定のインデックス値である場合、近傍点の属性の加重平均値を前記現在点の予測値として使用する。例えば、近傍点の属性の加重平均値を予測値として使用する予測モードの識別子をインデックス値0に事前に設定した場合、解析によって得られた予測モードの識別情報が0である場合、当該識別情報0で指示される予測モード、即ち、近傍点の属性の加重平均値を予測値として使用する予測モードを使用して、現在点の予測値を決定する。
いくつかの例において、当該識別情報で指示される近傍点の属性の加重平均値を前記現在点の予測値として使用する予測モードは、
S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
一例において、Sの値は、3、4または5であってもよい。例えば、3つの近傍点の属性の加重平均値を予測値として使用することができる。
いくつかの例において、S個の近傍点として、第1パラメータの計算に使用される現在点の近傍点を選択することができる。例えば、第1パラメータの計算に使用される現在点の近傍点として、3つの近傍点を選択することができ、当該3つの近傍点をS個の近傍点として選択することもできる。例えば、第1パラメータの計算に使用される現在点の近傍点として、現在点に最も近い3つの近傍点を選択し、現在点に最も近い3つの近傍点の属性の加重平均値を予測値として使用する。
いくつかの例において、S個の近傍点として、第1パラメータの計算に使用される現在点の近傍点のうちの点、または第1パラメータの計算に使用されない現在点の近傍点のうちの点を選択することができ、例えば、第1パラメータの計算に使用される現在点の近傍点として、5つの近傍点を選択することができ、S個の近傍点として、3つの近傍点を選択することができる。当該3つの近傍点は、当該5つの近傍点のうちの3つの点であってもよく、または当該3つの近傍点は、当該5つの近傍点のうちの点ではなくてもよく、または当該3つの近傍点の一部は、当該5つの近傍点のうちの点であってもよい。例えば、第1パラメータの計算に使用される現在点の近傍点として、現在点に最も近い5つの近傍点を選択し、現在点に最も近い3つの近傍点の属性の加重平均値を予測値として使用する。
いくつかの例において、各近傍点の重みは、現在点とその近傍点とのユークリッド距離の二乗の逆数であってもよい。
いくつかの例において、各近傍点の重みは、他の値であってもよく、例えば、事前設定された係数などであってもよい。
一例において、S個の近傍点とM個の近傍点として、同じ近傍点を選択してもよく、例えば、両方とも現在点に最も近い3つの近傍点の属性加重平均を現在点の予測値として選択してもよい。
一例において、S個の近傍点とM個の近傍点として、異なる近傍点を選択してもよく、例えば、M個の近傍点の場合、現在点に最も近い3つの近傍点の属性加重平均を現在点の予測値として選択し、S個の近傍点の場合、現在点に5番目~7番目に最も近い近傍点の属性加重平均を現在点の予測値として選択する。
一例において、S個の近傍点とM個の近傍点のうちの点の一部だけが同じであってもよい。例えば、M個の近傍点の場合、現在点に最も近い3つの近傍点の属性加重平均を現在点の予測値として選択し、S個の近傍点の場合、現在点に2番目~4番目に最も近い近傍点の属性加重平均を現在点の予測値として選択する。
いくつかの例において、前記識別情報が前記事前設定のインデックス値以外のインデックス値である場合、いずれかの近傍点の属性値を前記現在点の予測値として使用する。一例において、いずれかの近傍点の属性値を予測値として使用することは、現在点のT番目(Tは、正の整数である)の近傍点の属性値を予測値として使用することを含む。一例において、Tの値は、1、2または3であってもよい。T番目の近傍点は、近傍から遠方にかけて、現在点にT番目に最も近い近傍点であり、例えば、インデックス値1が、現在点の1番目の近傍点の属性値を予測値として使用することを指示し、インデックス値2が、現在点の2番目の近傍点の属性値を予測値として使用することを指示し、インデックス値3が、現在点の3番目の近傍点の属性値を予測値として使用することを指示するように事前設定することができ、解析によって得られた識別情報が1である場合、現在点の1番目の近傍点の属性値を現在点の予測値として使用し、解析によって得られた識別情報が2である場合、現在点の2番目の近傍点の属性値を現在点の予測値として使用し、解析によって得られた識別情報が3である場合、現在点の3番目の近傍点の属性値を現在点の予測値として使用する。1番目の近傍点、2番目の近傍点、3番目の近傍点は、近傍から遠方にかけて距離に基づいて、現在点に1番目に最も近い近傍点、2番目に最も近い近傍点、3番目に最も近い近傍点を指す。
ステップ805において、コードストリームを解析して、前記現在点の第1属性の残差値を取得し、逆量子化された前記残差値に前記予測値を加算した合計値を計算して、前記現在点の第1属性の再構築値として使用する。
本発明の実施例は、符号化方法を提供し、図9に示すように、前記方法は、以下のステップを含む。
ステップ901において、符号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算し、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である。
ステップ902において、前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定する。
ステップ903において、前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用する。
ステップ904において、量子化された前記残差値を符号化し、前記第1予測モードの識別情報をコードストリームに書き込み、前記識別情報は、予測モードを指示するために使用される。
いくつかの例示的な実施例において、前記第1属性は、反射率情報および色情報のうちの少なくとも1つを含む。
いくつかの例示的な実施例において、前記第1予測モードは、近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む。
いくつかの例示的な実施例において、前記近傍点の属性の加重平均値を予測値として使用することは、
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
いくつかの例示的な実施例において、いずれかの近傍点の属性値を予測値として使用することは、
現在点のN番目(Nは、正の整数である)の近傍点の属性値を予測値として使用することを含む。
現在点のN番目(Nは、正の整数である)の近傍点の属性値を予測値として使用することを含む。
いくつかの例示的な実施例において、前記現在点の近傍点は、R個(Rは、1より大きい正の整数である)の近傍点を含む。
いくつかの例示的な実施例において、Mの値は、3、4または5であってもよい。
いくつかの例示的な実施例において、Nの値は、1、2または3であってもよい。
いくつかの例示的な実施例において、Rの値は、3、4または5であってもよい。
いくつかの例示的な実施例において、当該方法は、
前記第1パラメータが閾値以上である場合、レート歪み最適化(RDO)を用いて第2予測モードを選択することと、
前記第2予測モードを用いて前記現在点の第1属性の予測値を決定することと、
前記第2予測モードの識別情報をコードストリームに書き込むことであって、前記識別情報は、予測モードを指示するために使用される、ことと、をさらに含む。
前記第1パラメータが閾値以上である場合、レート歪み最適化(RDO)を用いて第2予測モードを選択することと、
前記第2予測モードを用いて前記現在点の第1属性の予測値を決定することと、
前記第2予測モードの識別情報をコードストリームに書き込むことであって、前記識別情報は、予測モードを指示するために使用される、ことと、をさらに含む。
いくつかの例示的な実施例において、前記第2予測モードは、
近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む。
近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む。
いくつかの例示的な実施例において、前記近傍点の属性の加重平均値を予測値として使用することは、
S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含み、対応する識別情報は、事前設定のインデックス値であり且つグローバル一意性を有する。
S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含み、対応する識別情報は、事前設定のインデックス値であり且つグローバル一意性を有する。
いくつかの例示的な実施例において、いずれかの近傍点の属性値を予測値として使用することは、
現在点のT番目(Tは、正の整数である)の近傍点の属性値を予測値として使用することを含み、対応する識別情報は、T番目の近傍点のインデックス値である。
現在点のT番目(Tは、正の整数である)の近傍点の属性値を予測値として使用することを含み、対応する識別情報は、T番目の近傍点のインデックス値である。
いくつかの例示的な実施例において、Sの値は、3、4または5であってもよい。
いくつかの例示的な実施例において、Tの値は、1、2または3であってもよい。
いくつかの例示的な実施例において、Uの値は、3、4または5であってもよい。
本発明の1つの例示的な実施例において、符号化方法を提供し、図10に示すように、前記方法は、以下のステップを含む。
ステップ1001において、符号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算し、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である。
ここで、現在点の近傍点および第1パラメータに関連する内容は、上記の実施例と同じであり、ここでは、繰り返して説明しない。
ステップ1002において、前記第1パラメータが閾値より小さいか否かを判断する。
いくつかの例において、当該閾値は、事前設定されることができる。例えば、色情報に対応する閾値を事前設定し、第1属性が色情報である場合、第1パラメータが、色情報の閾値より小さいか否かを判断することができる。別の例では、反射率情報に対応する閾値を事前設定し、第1属性が反射率情報である場合、第1パラメータが、反射率情報の閾値より小さいか否かを判断することができる。
前記第1パラメータが閾値より小さい場合、ステップ1003~ステップ1005を実行し、前記第1パラメータが閾値以上である場合、ステップ1006~ステップ1008を実行する。
ステップ1003において、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定する。
ここで、第1予測モードに関連する内容は、上記の実施例と同じであり、ここでは、繰り返して説明しない。
ここで、第2予測モードに関連する内容は、上記の実施例と同じであり、ここでは、繰り返して説明しない。
ステップ1004において、前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用する。
ステップ1005において、量子化された前記残差値を符号化し、前記第1予測モードの識別情報をコードストリームに書き込み、前記識別情報は、予測モードを指示するために使用される。
ここで、識別情報に関連する内容は、上記の実施例と同じであり、ここでは、繰り返して説明しない。
ステップ1006において、レート歪み最適化(RDO)を採用して第2予測モードを選択し、前記第2予測モードを使用して前記現在点の第1属性の予測値を決定する。
ステップ1007において、前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用する。
ステップ1008において、量子化された前記残差値を符号化し、前記第2予測モードの識別情報をコードストリームに書き込み、前記識別情報は、予測モードを指示するために使用される。
ここで、識別情報に関連する内容は、上記の実施例と同じであり、ここでは、繰り返して説明しない。
本発明の実施例は、復号化方法を提供し、図11に示すように、当該方法は、以下のステップを含む。
ステップ1101において、コードストリームを解析して、復号化対象点群内の現在点の予測モードの識別情報を取得する。
ステップ1102において、前記識別情報で指示される予測モードを用いて、前記現在点の第1属性の予測値を決定する。
ステップ1103において、コードストリームを解析して、前記現在点の第1属性の残差値を取得する。
ステップ1104において、逆量子化された前記残差値に前記予測値を加算した合計値を計算して、前記現在点の第1属性の再構築値として使用する。
いくつかの例示的な実施例において、前記第1属性は、反射率情報および色情報のうちの少なくとも1つを含む。
いくつかの例示的な実施例において、前記識別情報が事前設定のインデックス値である場合、近傍点の属性の加重平均値を前記現在点の予測値として使用し、
前記識別情報が前記事前設定のインデックス値以外のインデックス値である場合、いずれかの近傍点の属性値を前記現在点の予測値として使用する。
前記識別情報が前記事前設定のインデックス値以外のインデックス値である場合、いずれかの近傍点の属性値を前記現在点の予測値として使用する。
いくつかの例示的な実施例において、近傍点の属性の加重平均値を前記現在点の予測値として使用することは、
X個(Xは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
X個(Xは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む。
ここで、近傍点の属性の加重平均値を予測値として使用することに関連する内容は、上記の実施例と同じであり、ここでは、繰り返して説明しない。
いくつかの例示的な実施例において、いずれかの近傍点の属性値を前記現在点の予測値として使用することは、
Y番目(Yは、前記識別情報に対応するインデックス値である)の近傍点の属性値を前記現在点の予測値として使用することを含む。Yは、正の整数である。
Y番目(Yは、前記識別情報に対応するインデックス値である)の近傍点の属性値を前記現在点の予測値として使用することを含む。Yは、正の整数である。
ここで、いずれかの近傍点の属性値を予測値として使用することに関連する内容は、上記の実施例と同じであり、ここでは、繰り返して説明しない。
本発明の1つの例示的な実施例は、符号化方法を提供し、前記方法は、以下のステップを含む。
ステップ1において、現在点の隣接点を決定し、隣接点に基づいてmaxDiffを計算する。
ステップ2において、maxDiff<閾値の場合、「近傍点の属性値を加重平均する予測モード」を使用して、現在点の予測値を決定し、エンコーダは、そのモード番号をコードストリームに書き込む(即ち、表1においてPredictor indexが0であるモードインデックス番号に対応する);逆に、maxDiff>=閾値の場合、RDOの方法を使用して、隣接候補点から1つの隣接点を選択し、当該選択された点の値を現在点の予測値として使用し、エンコーダは、当該隣接点のモードインデックス番号をコードストリームに書き込むように指示する(即ち、表1においてPredictor indexが0でないモードインデックス番号1、2、3に対応する)。
いくつかの例において、maxDiffの計算に使用される隣接点(「隣接点集合A」)、「maxDiff<閾値」の場合の加重平均値の計算に使用される隣接点(「隣接点集合B」)、および「maxDiff>=閾値」の場合、RDOによって現在点の予測値を決定するプロセスで使用される隣接候補点(「隣接点集合C」)という3つの点集合は、異なる数の点によって構成されたものであってもよい。例えば、現在点との距離に応じて、最初の5つの最近隣点をセットAおよびBとして選択するが、セットCの場合、最初の3つの最近隣点を使用して、「maxDiff>=閾値」の場合の3つの予測モードを構成することができる。
本発明の1つの例示的な実施例は、復号化方法を提供し、前記方法は、以下のステップを含む。
ステップ1において、現在点の隣接点を決定する。
ステップ2において、コードストリームを解析して、現在点のモードインデックス番号を取得する。
ここで、当該モードインデックス番号は、予測モードの識別情報を指す。
ステップ3において、モードインデックス番号が「近傍点の属性値を加重平均する予測モード」を使用することを指示する場合、隣接点を使用して現在点の予測値を計算する;逆に、モードインデックス番号が「近傍点の属性値を使用して現在点の予測値を決定する」ことを指示する場合、デコーダは、現在点の予測値を、前記モードインデックス番号によって指示される隣接点の属性値と等しくなるように設定する。(例えば、モードインデックス番号indexは、ユークリッド距離に応じた、隣接点のうち現在点にindex番目に最も隣接する点を指示する)。
本発明の1つの例示的な実施例は、復号化方法を提供し、前記方法は、以下のステップを含む。
ステップ1において、コードストリームを解析して、現在点のモードインデックス番号を取得する。
ステップ2において、モードインデックス番号が、「近傍点の属性値を加重平均する予測モード」を使用することを指示する場合、現在点の隣接点を決定し、隣接点を使用して現在点の予測値を計算する。逆に、
ステップ3において、モードインデックス番号が、「近傍点の属性値を使用して現在点の予測値を決定する」ことを指示する場合、現在点の隣接点を決定し、デコーダは、現在点の予測値を、前記モードインデックス番号によって指示される隣接点の属性値と等しくなるように設定する。(例えば、モードインデックス番号indexは、ユークリッド距離に応じた、隣接点のうち現在点にindex番目に最も隣接する点を指示する)。
ステップ3において、モードインデックス番号が、「近傍点の属性値を使用して現在点の予測値を決定する」ことを指示する場合、現在点の隣接点を決定し、デコーダは、現在点の予測値を、前記モードインデックス番号によって指示される隣接点の属性値と等しくなるように設定する。(例えば、モードインデックス番号indexは、ユークリッド距離に応じた、隣接点のうち現在点にindex番目に最も隣接する点を指示する)。
この例示的な実施例では、まず、予測モードを決定し、次に、予測モードに基づいて隣接点を取得することにより、得られた隣接点が利用できないことを回避し、それにより、リソースの浪費を回避する。
本発明の1つの例示的な実施例は、符号化方法を提供し、前記方法は、以下のステップを含む。
ステップ1において、現在点の隣接点を決定し、隣接点に基づいてmaxDiffを計算する。
ステップ2において、maxDiff<閾値の場合、「近傍点の属性値を加重平均する予測モード」を使用して、現在点の予測値を決定し、この場合、エンコーダは、そのモード番号をコードストリームに書き込む必要がなく(即ち、表1においてPredictor indexが0であるモードインデックス番号に対応する);逆に、maxDiff>=閾値の場合、RDOの方法を使用して、隣接候補点から1つの隣接点を選択して、当該選択された点の値を現在点の予測値として使用し、エンコーダは、当該隣接点のモードインデックス番号をコードストリームに書き込むように指示する(即ち、表1においてPredictor indexが0でないモードインデックス番号1、2、3に対応する)。
本発明の1つの例示的な実施例は、復号化方法を提供し、前記方法は、以下のステップを含む。
ステップ1において、現在点の隣接点を決定し、第1パラメータ(即ち、maxDiff)の値を計算する。
ステップ2において、maxDiffのY値が正の整数であり、閾値より小さい場合、「近傍点の属性値を加重平均する予測モード」を使用して、現在点の予測値を計算し(即ち、表1においてPredictor indexが0であるモードインデックス番号に対応する)、ここで、デコーダは、既存の復号化情報に基づいて現在点のモード情報を導出し、コードストリームを解析することによりモード情報を取得する必要はない。逆に、
ステップ3において、maxDiffの値が閾値より大きい場合、デコーダは、コードストリームを解析して、モードインデックス番号を取得し、デコーダは、現在点の予測値を、前記モードインデックス番号によって指示される隣接点の属性値と等しくなるように設定する。
ステップ3において、maxDiffの値が閾値より大きい場合、デコーダは、コードストリームを解析して、モードインデックス番号を取得し、デコーダは、現在点の予測値を、前記モードインデックス番号によって指示される隣接点の属性値と等しくなるように設定する。
本発明の実施例はさらに、エンコーダを提供し、図12に示すように、前記エンコーダは、プロセッサと、前記プロセッサで実行可能なコンピュータプログラムが記憶されたメモリと、を備え、ここで、前記プロセッサは、前記コンピュータプログラムを実行することにより、上記のいずれか1つの符号化方法を実行する。
いくつかの例において、図13に示すように、エンコーダの処理プロセスは、次のとおりである。現在点の近傍点集合の属性値の最大差異maxDiff(即ち、第1パラメータ)を計算し、maxDiffが閾値より小さいか否かを判断し、maxDiff<閾値の場合、事前設定された第1予測モードpreModeを選択して、点群属性予測値を計算し、そうでない場合、RDOを実行して、第2予測モードを選択して点群属性予測値を計算し、点群属性残差を計算し、RDOによって選択された予測モードが選択されない場合、残差を符号化して属性コードストリームに書き込み、RDOによって選択された予測モードが選択される場合、予測モードを符号化し(即ち、予測モードの識別情報をコードストリームに書き込み、例えば、選択された第2予測モードが予測モード1である場合、preMode1をコードストリームに書き込む)、および残差を符号化し、符号化されたコードワードを属性コードストリームに書き込む。一例において、第1予測モードpreModeは、表1に示す予測モード0、1、2、3のうちの1つであってもよく、RDOにより、予測モード1、2、3から1つを選択して第2予測モードとして使用することができる。
本発明の実施例はさらに、デコーダを提供し、図14に示すように、前記デコーダは、プロセッサと、前記プロセッサで実行可能なコンピュータプログラムが記憶されたメモリと、を備え、ここで、前記プロセッサは、前記コンピュータプログラムを実行することにより、上記のいずれか1つの復号化方法を実行する。
一例において、図15に示すように、デコーダの処理プロセスは、次のとおりである。属性コードストリームを取得し、残差を復号化し、現在点の近傍点集合の属性値の最大差異maxDiff(即ち、第1パラメータ)を計算し、maxDiffが閾値より小さいか否かを判断し、maxDiff<閾値の場合、事前設定された第1予測モードpreModeを選択して、点群属性予測値を計算し、そうでない場合、予測モードを復号化し(即ち、解析により予測モードの識別情報を取得する)、復号化によって得られた予測モードpreMode(即と、識別情報で指示される予測モード)を採用して、点群属性予測値を計算し、残差および予測値に基づいて、点群再構築属性値を計算することにより、点群を再構築する。一例において、第1予測モードpreModeは、表1に示す予測モード0、1、2、3のうちの1つであってもよい。
本発明の実施例はさらに、点群コーデックを備える端末を提供し、前記点群コーデックは、上記のエンコーダ、および/または上記のデコーダを含む。
本発明の実施例はさらに、点群コーデックを備える符号化・復号化システムを提供し、前記点群コーデックは、上記のエンコーダ、および/または上記のデコーダを含む。
本発明の実施例による技術的解決策は、符号化・復号化のプロセスでロジック誤差が生じるため、予測結果にも偏差が生じる可能性があり、これにより、符号化・復号化性能が低下するという問題を回避する。例えば、本発明の実施例がG-PCC参照ソフトウェアTMC13 V12.0上で実装される場合、CTC CYテスト条件下でMPEGによって要求されるテストセットcat3-fusedにおいてテストシーケンスをテストすることにより得られたテスト結果は、エンドツーエンドレートパーセンテージ(End to End BD-AttrRate%)が-0.1%であり、これは、本発明の実施例による技術的解決策を採用することにより、符号化・復号化性能を効果的に向上させることができることを意味する。
図16は、符号化機器のフレームワークの概略図であり、図16に示すように、符号化機器1は、プロセッサ101、メモリ103およびバスシステム104を含み得る。プロセッサ101およびメモリ103は、バスシステム104を介して接続され、当該メモリ103は、命令を記憶するように構成され、当該プロセッサ101は、本発明に記載のいずれか1つの予測方法、符号化方法または復号化方法を実行するように構成される。
当該プロセッサ101は、中央処理装置(CPU:central processing unit)であってもよく、当該プロセッサ101は、他の汎用プロセッサ、DSP、ASIC、FPGAまたは他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェアデバイスなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、または当該プロセッサは、任意の従来のプロセッサなどであってもよい。
当該メモリ103は、ROM機器またはRAM機器を含んでもよい。他の任意の適切なタイプの記憶機器もメモリ103として使用することができる。メモリ103は、プロセッサ101がバス104を介してアクセスするコードとデータを含むことができる。
データバスに加えて、当該バスシステム104は、電力バス、制御バス及びステータス信号バスなどを含むことができる。図では、様々なバスがバスシステム104と表記されている。
符号化機器1はさらに、表示画面102などの1つまたは複数の出力機器を含むことができる。当該表示画面102は、表示画面と、タッチ入力を感知するように動作可能なセンサとを組み合わせたタッチ表示画面であってもよい。表示画面102は、バス104を介してプロセッサ101に接続されることができる。
1つまたは複数の例示的な実施例において、説明される機能は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせによって実施されることができる。ソフトウェアによって実施される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体に記憶されるか、またはコンピュータ可読媒体によって伝送され、ハードウェアに基づく処理ユニットによって実行されることができる。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含んでもよく、または通信プロトコルに従って、ある場所から別の場所へコンピュータプログラムを転送する通信媒体を含む。これにより、コンピュータ可読媒体は通常、非一時的な有形コンピュータ可読記憶媒体、または信号またはキャリアなどの通信媒体に対応することができる。データ記憶媒体は、1つまたは複数のコンピュータまたは1つまたは複数のプロセッサによってアクセスされて、本発明に説明される技術を実施するための命令、コードおよび/またはデータ構造を検索できる任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
限定のためではない例として、このようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、フラッシュメモリ、または命令またはデータ構造の形でプログラムされるコードを記憶し、コンピュータによってアクセス可能な任意の他の媒体を含んでもよい。また、任意の接続をコンピュータ可読媒体と呼ぶことができ、例を挙げると、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)または、赤外線、無線およびマイクロ波などの無線技術を使用して、Web、サーバまたは他の遠隔ソースで命令を伝送する場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSLまたは、赤外線、無線およびマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、キャリア、信号、または他の一時的な媒体を含まず、非一時的な有形記憶媒体を対象としていることを理解されたい。本明細書で使用される場合、磁気ディスクおよび光ディスクは、コンパクトディスク(CD)、レーザ光ディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピーディスクまたはブルーレイディスクなどを含み、ここで、磁気ディスクは通常、データを磁気的に再生し、光ディスクは、レーザを使用してデータを光学的に再生する。上記の組み合わせもコンピュータ可読媒体の範囲内に含まれるべきである。
例えば、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他の同等の集積回路またはディスクリート論理回路などの1つまたは複数のプロセッサによって、命令を実行することができる。したがって、本明細書で使用される用語「プロセッサ」は、上記の構造または本明細書で説明される技術の実施に適する任意の他の構造を指すことができる。さらに、いくつかの態様では、本明細書で説明される機能は、符号化および復号化用に構成された専用のハードウェアおよび/またはソフトウェアモジュール内に適用されてもよく、または組み合わせられたコーデックに組み込まれてもよい。さらに、上記の技術は、1つまたは複数の回路または論理要素に完全に実装されることができる。
本発明の実施例の技術的解決策は、携帯電話、集積回路(IC)または1セットのIC(例えば、チップセット)を含む、様々な装置または機器で実施されることができる。本発明の実施例では、説明される技術を実行するように構成された装置の機能的側面を強調するために、様々なコンポーネント、モジュールまたはユニットが説明されるが、必ずしも異なるハードウェアユニットによる実装を必要とするわけではない。むしろ、上述したように、様々なユニットは、コーデックのハードウェアユニット内に組み合わされてもよく、あるいは、適切なソフトウェアおよび/またはファームウェアと連携して、相互運用可能なハードウェアユニット(上記の1つまたは複数のプロセッサを含む)の集合によって提供されてもよい。
当業者であれば理解できるように、上で開示された方法におけるすべてまたはいくつかのステップ、システム、装置における機能モジュール/ユニットは、ソフトウェア、ファームウェア、ハードウェアおよびそれらの適切な組み合わせとして実施されることができる。ハードウェア実施形態において、上記の説明で言及した機能モジュール/ユニット間の分割は、必ずしも物理コンポーネントの分割に対応するわけではなく、例えば、1つの物理コンポーネントは、複数の機能を備える可能性があり、または1つの機能またはステップは、いくつかの物理コンポーネントによって協同に実行されてもよい。いくつかのコンポーネントまたはすべてのコンポーネントは、デジタル信号プロセッサまたはマイクロプロセッサなどのプロセッサによって実行されるソフトウェアとして実施されてもよく、またはハードウェアとして実施されてもよく、または特定用途向け集積回路などの集積回路として実施されてもよい。このようなソフトウェアは、コンピュータ可読媒体に配布されることができ、コンピュータ可読媒体は、コンピュータ記憶媒体(または非一時的な媒体)および通信媒体(または一時的な媒体)を含むことができる。当業者には知られているように、コンピュータ記憶媒体という用語は、情報(コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなど)を記憶するために使用される任意の方法または技術によって実現される、揮発性及び不揮発性、移動可能及び移動不可能な媒体を含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)または他の光ディスクストレージ、磁気カセット、テープ、ディスクストレージ、またはその他の磁気媒体、または所望の情報を記憶するために使用され且つコンピュータによってアクセスされることができる任意の他の媒体を含むが、これらに限定されない。さらに、当業者には知られているように、通信媒体は通常、コンピュータ可読命令、データ構造、プログラムモジュール、またはキャリアや他の伝送メカニズムなどの変調されたデータ信号におけるデータを含み、任意の情報配信媒体を含むことができる。
Claims (60)
- 符号化方法であって、
符号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算することであって、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である、ことと、
前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定することと、
前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用することと、
量子化された前記残差値を符号化することと、を含む、前記符号化方法。 - 前記第1属性は、反射率情報および色情報のうちの少なくとも1つを含む、
請求項1に記載の符号化方法。 - 前記第1予測モードは、近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む、
請求項1に記載の符号化方法。 - 前記近傍点の属性の加重平均値を予測値として使用することは、
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む、
請求項3に記載の符号化方法。 - いずれかの近傍点の属性値を予測値として使用することは、
現在点のN番目(Nは、正の整数である)の近傍点の属性値を予測値として使用することを含む、
請求項3に記載の符号化方法。 -
- 前記現在点の近傍点は、R個(Rは、1より大きい正の整数である)の近傍点を含む、
請求項3に記載の符号化方法。 - Mの値は、3、4または5である、
請求項4に記載の符号化方法。 - Nの値は、1、2または3である、
請求項5に記載の符号化方法。 - Rの値は、3、4または5である、
請求項7に記載の符号化方法。 - 前記符号化方法は、
前記第1パラメータが閾値以上である場合、レート歪み最適化(RDO)を用いて第2予測モードを選択することと、
前記第2予測モードを用いて前記現在点の第1属性の予測値を決定することと、
前記第2予測モードの識別情報をコードストリームに書き込むことであって、前記識別情報は、予測モードを指示するために使用される、ことと、をさらに含む、
請求項1に記載の符号化方法。 - 前記第2予測モードは、
近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すると、の少なくとも1つを含む、
請求項11に記載の符号化方法。 - 前記近傍点の属性の加重平均値を予測値として使用することは、
S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含み、対応する識別情報は、事前設定のインデックス値であり且つグローバル一意性を有する、
請求項12に記載の符号化方法。 - いずれかの近傍点の属性値を予測値として使用することは、
現在点のT番目(Tは、正の整数である)の近傍点の属性値を予測値として使用することを含み、対応する識別情報は、T番目の近傍点のインデックス値である、
請求項12に記載の符号化方法。 -
- Sの値は、3、4または5である、
請求項13に記載の符号化方法。 - Tの値は、1、2または3である、
請求項14に記載の符号化方法。 - Uの値は、3、4または5である、
請求項15に記載の符号化方法。 - Mの値は、Rの値と同じである、
請求項7に記載の符号化方法。 - 復号化方法であって、
復号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算することであって、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である、ことと、
前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定することと、
コードストリームを解析して、前記現在点の第1属性の残差値を取得することと、
逆量子化された前記残差値に前記予測値を加算した合計値を計算して、前記現在点の第1属性の再構築値として使用することと、を含む、前記復号化方法。 - 前記第1属性は、反射率情報および色情報のうちの少なくとも1つを含む、
請求項20に記載の復号化方法。 - 前記第1予測モードは、近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む、
請求項20に記載の復号化方法。 - 前記近傍点の属性の加重平均値を予測値として使用することは、
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む、
請求項22に記載の復号化方法。 - いずれかの近傍点の属性値を予測値として使用することは、
現在点のN番目(Nは、正の整数である)の近傍点の属性値を予測値として使用することを含む、
請求項22に記載の復号化方法。 - 前記現在点の近傍点は、R個(Rは、1より大きい正の整数である)の近傍点を含む、
請求項20に記載の復号化方法。 - Mの値は、3、4または5である、
請求項23に記載の復号化方法。 - Nの値は、1、2または3である、
請求項24に記載の復号化方法。 - Rの値は、3、4または5である、
請求項26に記載の復号化方法。 - 前記復号化方法は、
前記第1パラメータが閾値以上である場合、コードストリームを解析して、予測モードの識別情報を取得することと、
前記識別情報で指示される予測モードを用いて、前記現在点の第1属性の予測値を決定することと、をさらに含む、
請求項20に記載の復号化方法。 - 前記識別情報が事前設定のインデックス値である場合、近傍点の属性の加重平均値を前記現在点の予測値として使用し、
前記識別情報が前記事前設定のインデックス値以外のインデックス値である場合、いずれかの近傍点の属性値を前記現在点の予測値として使用する、
請求項21に記載の復号化方法。 - 近傍点の属性の加重平均値を前記現在点の予測値として使用することは、
S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む、
請求項30に記載の復号化方法。 - いずれかの近傍点の属性値を前記現在点の予測値として使用することは、
T番目(Tは、前記識別情報に対応するインデックス値である)の近傍点の属性値を前記現在点の予測値として使用することを含む、
請求項32に記載の復号化方法。 - 符号化方法であって、
符号化対象点群内の現在点の近傍点を決定し、前記近傍点に基づいて第1パラメータを計算することであって、前記第1パラメータは、前記近傍点の第1属性の再構築値の最大値と最小値の差である、ことと、
前記第1パラメータが閾値より小さい場合、事前設定された第1予測モードを使用して、前記現在点の第1属性の予測値を決定することと、
前記現在点の第1属性の元の値と前記予測値との差を計算して、前記現在点の第1属性の残差値として使用することと、
量子化された前記残差値を符号化することと、
前記第1予測モードの識別情報をコードストリームに書き込むことであって、前記識別情報は、予測モードを指示するために使用される、ことと、を含む、前記符号化方法。 - 前記第1属性は、反射率情報および色情報のうちの少なくとも1つを含む、
請求項33に記載の符号化方法。 - 前記第1予測モードは、近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む、
請求項33に記載の符号化方法。 - 前記近傍点の属性の加重平均値を予測値として使用することは、
M個(Mは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む、
請求項35に記載の符号化方法。 - いずれかの近傍点の属性値を予測値として使用することは、
現在点のN番目(Nは、正の整数である)の近傍点の属性値を予測値として使用することを含む、
請求項35に記載の符号化方法。 -
- 前記現在点の近傍点は、R個(Rは、1より大きい正の整数である)の近傍点を含む、
請求項33に記載の符号化方法。 - Mの値は、3、4または5である、
請求項36に記載の符号化方法。 - Nの値は、1、2または3である、
請求項37に記載の符号化方法。 - Rの値は、3、4または5である、
請求項39に記載の符号化方法。 - 前記符号化方法は、
前記第1パラメータが閾値以上である場合、レート歪み最適化(RDO)を用いて第2予測モードを選択することと、
前記第2予測モードを用いて前記現在点の第1属性の予測値を決定することと、
前記第2予測モードの識別情報をコードストリームに書き込むことであって、前記識別情報は、予測モードを指示するために使用される、ことと、をさらに含む、
請求項9に記載の符号化方法。 - 前記第2予測モードは、
近傍点の属性の加重平均値を予測値として使用すること、いずれかの近傍点の属性値を予測値として使用すること、の少なくとも1つを含む、
請求項43に記載の符号化方法。 - 前記近傍点の属性の加重平均値を予測値として使用することは、
S個(Sは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含み、対応する識別情報は、事前設定のインデックス値であり且つグローバル一意性を有する、
請求項44に記載の符号化方法。 - いずれかの近傍点の属性値を予測値として使用することは、
現在点のT番目(Tは、正の整数である)の近傍点の属性値を予測値として使用することを含み、対応する識別情報は、T番目の近傍点のインデックス値である、
請求項44に記載の符号化方法。 -
- Sの値は、3、4または5である、
請求項45に記載の符号化方法。 - Tの値は、1、2または3である、
請求項46に記載の符号化方法。 - Uの値は、3、4または5である、
請求項47に記載の符号化方法。 - 復号化方法であって、
コードストリームを解析して、復号化対象点群内の現在点の予測モードの識別情報を取得することと、
前記識別情報で指示される予測モードを用いて、前記現在点の第1属性の予測値を決定することと、
コードストリームを解析して、前記現在点の第1属性の残差値を取得することと、
逆量子化された前記残差値に前記予測値を加算した合計値を計算して、前記現在点の第1属性の再構築値として使用することと、を含む、前記復号化方法。 - 前記第1属性は、反射率情報および色情報のうちの少なくとも1つを含む、
請求項51に記載の復号化方法。 - 前記識別情報が事前設定のインデックス値である場合、近傍点の属性の加重平均値を前記現在点の予測値として使用し、
前記識別情報が前記事前設定のインデックス値以外のインデックス値である場合、いずれかの近傍点の属性値を前記現在点の予測値として使用する、
請求項51に記載の復号化方法。 - 近傍点の属性の加重平均値を前記現在点の予測値として使用することは、
X個(Xは、1より大きい正の整数である)の近傍点の属性の加重平均値を予測値として使用することを含む、
請求項53に記載の復号化方法。 - いずれかの近傍点の属性値を前記現在点の予測値として使用することは、
Y番目(Yは、前記識別情報に対応するインデックス値である)の近傍点の属性値を前記現在点の予測値として使用することを含む、
請求項53に記載の復号化方法。 - エンコーダであって、
プロセッサと、前記プロセッサで実行可能なコンピュータプログラムが記憶されたメモリと、を備え、前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項1ないし19のいずれか一項に記載の符号化方法、または請求項33ないし50のいずれか一項に記載の符号化方法を実現する、前記エンコーダ。 - デコーダであって、
プロセッサと、前記プロセッサで実行可能なコンピュータプログラムが記憶されたメモリと、を備え、前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項20ないし32のいずれか一項に記載の復号化方法、または請求項51ないし55のいずれか一項に記載の復号化方法を実現する、前記デコーダ。 - 点群コーデックを備える端末であって、前記点群コーデックは、請求項56に記載のエンコーダ、および/または請求項57に記載のデコーダを含む、前記端末。
- 点群コーデックを備えるコーデックシステムであって、前記点群コーデックは、請求項56に記載のエンコーダ、および/または請求項57に記載のデコーダを備える、前記コーデックシステム。
- コンピュータプログラムが記憶された、非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されるときに、請求項1ないし19のいずれか一項に記載の符号化方法、または請求項33ないし50のいずれか一項に記載の符号化方法、または請求項20ないし32のいずれか一項に記載の復号化方法、または請求項51ないし55のいずれか一項に記載の復号化方法を実現する、前記非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/087918 WO2022217611A1 (zh) | 2021-04-16 | 2021-04-16 | 编解码方法及相关设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2024513583A true JP2024513583A (ja) | 2024-03-26 |
JPWO2022217611A5 JPWO2022217611A5 (ja) | 2024-04-04 |
Family
ID=83639448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023562955A Pending JP2024513583A (ja) | 2021-04-16 | 2021-04-16 | 符号化・復号化方法およびその関連機器、記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240037800A1 (ja) |
EP (1) | EP4322527A1 (ja) |
JP (1) | JP2024513583A (ja) |
KR (1) | KR20230173135A (ja) |
CN (1) | CN117157973A (ja) |
WO (1) | WO2022217611A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10861196B2 (en) * | 2017-09-14 | 2020-12-08 | Apple Inc. | Point cloud compression |
US11166048B2 (en) * | 2018-10-02 | 2021-11-02 | Tencent America LLC | Method and apparatus for video coding |
US11010931B2 (en) * | 2018-10-02 | 2021-05-18 | Tencent America LLC | Method and apparatus for video coding |
CN110418135B (zh) * | 2019-08-05 | 2022-05-27 | 北京大学深圳研究生院 | 一种基于邻居的权重优化的点云帧内预测方法及设备 |
-
2021
- 2021-04-16 EP EP21936486.6A patent/EP4322527A1/en active Pending
- 2021-04-16 CN CN202180096891.3A patent/CN117157973A/zh active Pending
- 2021-04-16 KR KR1020237038796A patent/KR20230173135A/ko active Search and Examination
- 2021-04-16 WO PCT/CN2021/087918 patent/WO2022217611A1/zh active Application Filing
- 2021-04-16 JP JP2023562955A patent/JP2024513583A/ja active Pending
-
2023
- 2023-10-13 US US18/379,997 patent/US20240037800A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4322527A1 (en) | 2024-02-14 |
WO2022217611A1 (zh) | 2022-10-20 |
KR20230173135A (ko) | 2023-12-26 |
CN117157973A (zh) | 2023-12-01 |
US20240037800A1 (en) | 2024-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11895307B2 (en) | Block-based predictive coding for point cloud compression | |
JP7216351B2 (ja) | 点群符号化構造 | |
US10904564B2 (en) | Method and apparatus for video coding | |
WO2021062772A1 (zh) | 预测方法、编码器、解码器及计算机存储介质 | |
KR20230075426A (ko) | 포인트 클라우드 인코딩 및 디코딩 방법과 시스템 및 포인트 클라우드 인코더와 포인트 클라우드 디코더 | |
JP4350504B2 (ja) | メッシュを導入した画像の符号化及び復号のための方法及び装置とそれに対応するプログラム | |
WO2022257145A1 (zh) | 点云属性的预测方法、装置及编解码器 | |
CN115086658B (zh) | 点云数据的处理方法、装置、存储介质及编解码设备 | |
WO2022188582A1 (zh) | 点云中邻居点的选择方法、装置及编解码器 | |
JP2024513583A (ja) | 符号化・復号化方法およびその関連機器、記憶媒体 | |
TW202232953A (zh) | 用於幾何點雲壓縮的基於模型的預測 | |
TW202147850A (zh) | 用於組合無損和有損寫碼之方法和系統 | |
WO2022257528A1 (zh) | 点云属性的预测方法、装置及相关设备 | |
WO2024065269A1 (zh) | 点云编解码方法、装置、设备及存储介质 | |
WO2023197338A1 (zh) | 索引确定方法、装置、解码器以及编码器 | |
WO2024178632A1 (zh) | 点云编解码方法、装置、设备及存储介质 | |
WO2023024842A1 (zh) | 点云编解码方法、装置、设备及存储介质 | |
WO2023173238A1 (zh) | 编解码方法、码流、编码器、解码器以及存储介质 | |
WO2024212228A1 (zh) | 编码方法、编码器、电子设备以及存储介质 | |
WO2024065406A1 (zh) | 编解码方法、码流、编码器、解码器以及存储介质 | |
Li et al. | Background Knowledge | |
WO2024065272A1 (zh) | 点云编解码方法、装置、设备及存储介质 | |
WO2024197680A1 (zh) | 点云编解码方法、装置、设备及存储介质 | |
WO2024212114A1 (zh) | 点云编解码方法、装置、设备及存储介质 | |
WO2022140937A1 (zh) | 点云编解码方法与系统、及点云编码器与点云解码器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240319 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240319 |