JP2023543752A - 点群コーデック方法及びシステム、並びに点群エンコーダ及び点群デコーダ - Google Patents
点群コーデック方法及びシステム、並びに点群エンコーダ及び点群デコーダ Download PDFInfo
- Publication number
- JP2023543752A JP2023543752A JP2023518709A JP2023518709A JP2023543752A JP 2023543752 A JP2023543752 A JP 2023543752A JP 2023518709 A JP2023518709 A JP 2023518709A JP 2023518709 A JP2023518709 A JP 2023518709A JP 2023543752 A JP2023543752 A JP 2023543752A
- Authority
- JP
- Japan
- Prior art keywords
- point
- quantization
- point cloud
- attribute information
- current point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 472
- 238000013139 quantization Methods 0.000 claims abstract description 993
- 230000008569 process Effects 0.000 claims abstract description 55
- 230000014509 gene expression Effects 0.000 claims description 130
- 238000004590 computer program Methods 0.000 claims description 27
- 230000002441 reversible effect Effects 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 abstract description 16
- 238000005457 optimization Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 24
- 238000012360 testing method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000009466 transformation Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000036961 partial effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000010187 selection method Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101000638069 Homo sapiens Transmembrane channel-like protein 2 Proteins 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 102100032054 Transmembrane channel-like protein 2 Human genes 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本願は、点群コーデック方法及びシステム、並びに点群エンコーダ及び点群デコーダを提供し、点群内の現在点の属性情報を取得し;現在点の属性情報を処理して、現在点の属性情報の残差値を取得し;目標量子化方式を使用して、現在点の属性情報の残差値を量子化して、現在点の属性情報の量子化残差値を取得し;ここで、目標量子化方式は、第1量子化方式、第2量子化方式、及び第3量子化方式のうちの少なくとも2つの量子化方式を含み、第1量子化方式は、点群内の少なくとも1つの点の量子化パラメータに量子化パラメータ増分を設定する方式であり、第2量子化方式は、点群内の点の残差値を重み付け処理する方式であり、第3量子化方式は、点群内の少なくとも1つの点の属性情報の残差値を可逆符号化する方式であり、それにより、点群内の点の属性情報の量子化効果を向上させる。
Description
(関連出願への相互参照)
本願は、2020年09月25日に中国特許局に提出された、出願番号がPCT/CN2020/117941である中国特許出願、2020年12月22日に中国特許局に提出された、出願番号がPCT/CN2020/138423である中国特許出願、2020年12月22日に中国特許局に提出された、出願番号がPCT/CN2020/138421である中国特許出願の優先権を主張し、上記の3つの特許出願の内容の全てが引用により本願に組み込まれる。
本願は、2020年09月25日に中国特許局に提出された、出願番号がPCT/CN2020/117941である中国特許出願、2020年12月22日に中国特許局に提出された、出願番号がPCT/CN2020/138423である中国特許出願、2020年12月22日に中国特許局に提出された、出願番号がPCT/CN2020/138421である中国特許出願の優先権を主張し、上記の3つの特許出願の内容の全てが引用により本願に組み込まれる。
本願は、点群コーデックの技術分野に関し、特に、点群コーデック方法及びシステム、並びに点群エンコーダ及び点群デコーダに関する。
収集デバイスで物体の表面を収集して、点群データを形成し、点群データは数十万、さらにはそれ以上の点を含む。ビデオ作成中で、点群データは、点群符号化装置と点群復号化装置との間で点群メディアファイルの形で伝送される。しかしながら、このような膨大な点は伝送の課題となり、したがって、点群符号化装置は、点群データを圧縮してから伝送する必要がある。
点群データの圧縮には、主にジオメトリ情報の圧縮と属性情報の圧縮とが含まれ、属性情報の圧縮時には、量子化により点群データ内の冗長情報を削減又は除去する。
しかしながら、現在、点群内の点を量子化する場合、その量子化効果が悪い。
本願実施例は、点群内の点の量子化効果を向上させる点群コーデック方法及びシステム、並びに点群エンコーダ及び点群デコーダを提供する。
第1態様において、本願は、点群符号化方法を提供し、前記方法は、
点群内の現在点の属性情報を取得することと、
前記現在点の属性情報を処理して、前記現在点の属性情報の残差値を取得することと、
目標量子化方式を使用して、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得することと、を含み、
ここで、前記目標量子化方式は、第1量子化方式、第2量子化方式、及び第3量子化方式のうちの少なくとも2つの量子化方式を含み、前記第1量子化方式は、前記点群内の少なくとも1つの点の量子化パラメータに量子化パラメータ増分を設定する方式であり、前記第2量子化方式は、前記点群内の点の残差値を重み付け処理する方式であり、前記第3量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆符号化する方式である。
点群内の現在点の属性情報を取得することと、
前記現在点の属性情報を処理して、前記現在点の属性情報の残差値を取得することと、
目標量子化方式を使用して、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得することと、を含み、
ここで、前記目標量子化方式は、第1量子化方式、第2量子化方式、及び第3量子化方式のうちの少なくとも2つの量子化方式を含み、前記第1量子化方式は、前記点群内の少なくとも1つの点の量子化パラメータに量子化パラメータ増分を設定する方式であり、前記第2量子化方式は、前記点群内の点の残差値を重み付け処理する方式であり、前記第3量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆符号化する方式である。
第2態様において、本願実施例は、点群復号化方法を提供し、前記方法は、
点群のコードストリームを解析して、前記点群の現在点の属性情報の量子化残差値を取得することと、
目標逆量子化方式を使用して、前記現在点の属性情報の量子化残差値を逆量子化して、前記現在点の属性情報の再構築残差値を取得することと、を含み、
ここで、前記目標逆量子化方式は、第1逆量子化方式、第2逆量子化方式、及び第3逆量子化方式のうちの少なくとも2つの逆量子化方式を含み、前記第1逆量子化方式は、前記点群内の少なくとも1つの点の逆量子化パラメータに逆量子化パラメータ増分を設定する方式であり、前記第2逆量子化方式は、前記点群内の点の残差値を重み付け除去処理する方式であり、前記第3逆量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆復号化する方式である。
点群のコードストリームを解析して、前記点群の現在点の属性情報の量子化残差値を取得することと、
目標逆量子化方式を使用して、前記現在点の属性情報の量子化残差値を逆量子化して、前記現在点の属性情報の再構築残差値を取得することと、を含み、
ここで、前記目標逆量子化方式は、第1逆量子化方式、第2逆量子化方式、及び第3逆量子化方式のうちの少なくとも2つの逆量子化方式を含み、前記第1逆量子化方式は、前記点群内の少なくとも1つの点の逆量子化パラメータに逆量子化パラメータ増分を設定する方式であり、前記第2逆量子化方式は、前記点群内の点の残差値を重み付け除去処理する方式であり、前記第3逆量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆復号化する方式である。
第3態様において、本願は、上記の第1態様又はその各実現形態における方法を実行するための点群エンコーダを提供する。具体的には、当該エンコーダは、上記の第1態様又はその各実現形態における方法を実行するための機能ユニットを備える。
第4態様において、本願は、上記の第2態様又はその各実現形態における方法を実行するための点群デコーダを提供する。具体的には、当該デコーダは、上記の第2態様又はその各実現形態における方法を実行するための機能ユニットを備える。
第5態様において、プロセッサと、メモリと、を備える点群エンコーダを提供する。当該メモリは、コンピュータプログラムを記憶するように構成され、当該プロセッサは、当該メモリに記憶されたコンピュータプログラムを呼び出して実行することにより、上記の第1態様又はその各実現形態における方法を実行するように構成される。
第6態様において、プロセッサと、メモリと、を備える点群デコーダを提供する。当該メモリは、コンピュータプログラムを記憶するように構成され、当該プロセッサは、当該メモリに記憶されたコンピュータプログラムを呼び出して実行することにより、上記の第2態様又はその各実現形態における方法を実行するように構成される。
第7態様において、点群エンコーダと、点群デコーダと、を含む点群コーデックシステムを提供する。点群エンコーダは、上記の第1態様又はその各実現形態における方法を実行するように構成され、点群デコーダは、上記の第2態様又はその各実現形態における方法を実行するように構成される。
第8態様において、上記の第1態様~第2態様のいずれか又はその各実施形態における方法を実現するためのチップを提供する。具体的には、当該チップは、プロセッサを備え、当該プロセッサは、メモリからコンピュータプログラムを呼び出して実行することにより、前記チップが搭載された機器に、上記の第1態様~第2態様のいずれか又はその各実現形態における方法を実行するように構成される。
第9態様において、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、当該コンピュータプログラムは、コンピュータに、上記の第1態様~第2態様のいずれか又はその各実現形態における方法を実行させる。
第10態様において、コンピュータプログラム命令を含むタプログラム製品を提供し、当該コンピュータプログラム命令は、コンピュータに、上記の第1態様~第2態様のいずれか又はその各実現形態における方法を実行させる。
第11態様において、コンピュータプログラムを提供し、当該コンピュータプログラムは、コンピュータで実行されるときに、コンピュータに、上記の第1態様~第2態様のいずれか又はその各実現形態における方法を実行させる。
第12態様において、コードストリームを提供し、前記コードストリームは、上記の第1態様に記載の方法によって取得される。
上記の技術案によれば、点群内の現在点の属性情報を取得し;現在点の属性情報を処理して、現在点の属性情報の残差値を取得し;目標量子化方式を使用して、現在点の属性情報の残差値を量子化して、現在点の属性情報の量子化残差値を取得し;ここで、目標量子化方式は、第1量子化方式、第2量子化方式、及び第3量子化方式のうちの少なくとも2つの量子化方式を含み、第1量子化方式は、点群内の少なくとも1つの点の量子化パラメータに量子化パラメータ増分を設定する方式であり、第2量子化方式は、点群内の点の残差値を重み付け処理する方式であり、第3量子化方式は、点群内の少なくとも1つの点の属性情報の残差値を可逆符号化する方式であり、それにより、点群内の点の属性情報の量子化効果を向上させる。
本願は、点群圧縮技術分野に適用することができる。
本願実施例の理解を容易にするために、まず、本願実施例に係る関連概念について以下のように簡単に説明する。
点群(Point Cloud)は、空間内に不規則に分布された、3D物体又は3Dシーンの空間構造と表面属性を表現する離散点セットを指す。
点群データ(Point Cloud Data)は、点群の具体的な記録形態であり、点群内の点は、点の位置情報と点の属性情報を含み得る。例えば、点の位置情報は、点の3D座標情報であり得る。点の位置情報は、点のジオメトリ情報とも呼ばれ得る。例えば、点の属性情報は、色情報及び/又は反射率などを含み得る。例えば、前記色情報は、任意の色空間の情報であり得る。例えば、前記色情報は、(RGB)であり得る。別の例として、前記色情報は、輝度クロミナンス(YcbCr,YUV)情報であり得る。例えば、Yは、輝度(Luma)を表し、Cb(U)は、青色の色差を表し、Cr(V)は、赤色を表し、UとVは、色差情報を説明するための色度(Chroma)を表す。例えば、レーザ計測の原理に従って得られた点群において、前記点群内の点は、点の3D座標情報及び点のレーザ反射強度(reflectance)の情報を含み得る。別の例として、撮影測定原理に従って得られた点群において、前記点群内の点は、点の3D座標情報及び点の色情報を含み得る。別の例として、レーザ計測と撮影測定原理を合わせて得られた点群において、前記点群内の点は、点の3D座標情報、点のレーザ反射強度(reflectance)、及び点の色情報を含み得る。
点群データの取得方法は、次の少なくとも1つを含み得るが、これらに限定されない。
(1)コンピュータ機器が生成する。コンピュータ機器は、仮想3D物体及び仮想3Dシーンに基づいて点群データを生成することができる。(2)三次元(3D:3-Dimension)レーザスキャンによって取得する。3Dレーザスキャンにより、静的実世界の3D物体又は3Dシーンの点群データを取得することができ、毎秒100万レベルの点群データを取得することができる。
(3)3D撮影測定によって取得する。3D撮影機器(即ち、カメラのセット又は複数のレンズ及びセンサを有するカメラ)により実世界の視覚的シーンを収集して実世界の視覚的シーンの点群データを取得し、3D撮影により動的実世界の3D物体又は3Dシーンの点群データを取得することができる。(4)医療機器によって生物組織器官の点群データを取得する。医療分野では磁気共鳴映像(MRI:Magnetic Resonance Imaging)、コンピュータ断層撮影(CT:Computed Tomography)、電磁定位情報などの医療機器によって生物組織器官の点群データを取得することができる。
(1)コンピュータ機器が生成する。コンピュータ機器は、仮想3D物体及び仮想3Dシーンに基づいて点群データを生成することができる。(2)三次元(3D:3-Dimension)レーザスキャンによって取得する。3Dレーザスキャンにより、静的実世界の3D物体又は3Dシーンの点群データを取得することができ、毎秒100万レベルの点群データを取得することができる。
(3)3D撮影測定によって取得する。3D撮影機器(即ち、カメラのセット又は複数のレンズ及びセンサを有するカメラ)により実世界の視覚的シーンを収集して実世界の視覚的シーンの点群データを取得し、3D撮影により動的実世界の3D物体又は3Dシーンの点群データを取得することができる。(4)医療機器によって生物組織器官の点群データを取得する。医療分野では磁気共鳴映像(MRI:Magnetic Resonance Imaging)、コンピュータ断層撮影(CT:Computed Tomography)、電磁定位情報などの医療機器によって生物組織器官の点群データを取得することができる。
点群は、その取得経路によって、密な点群と疎な点群に分けられる。
点群は、データの時系列のタイプによって次のように分けられる。
第1タイプの静的点群:物体が静止しており、点群を取得する機器も静止している。
第2タイプの動的点群:物体は動いているが、点群を取得する機器は静止している。
第3タイプの動的取得点群:点群を取得する機器が動いている。
点群の用途によって、大きく2つに分けられる。
カテゴリ1:機械感知点群であって、自律航法システム、リアルタイム巡検システム、地理情報システム、視覚選別ロボット、救急救助ロボットなどのシーンに使用できる
カテゴリ2:人眼感知点群であって、デジタル文化遺産、自由視点放送、3D没入通信、3D没入インタラクションなどの点群適用シーンで使用できる。
カテゴリ2:人眼感知点群であって、デジタル文化遺産、自由視点放送、3D没入通信、3D没入インタラクションなどの点群適用シーンで使用できる。
図1は、本願実施例に係る例示的な点群コーデックシステムのブロック図である。なお、図1は、一例に過ぎず、本願実施例の点群コーデックシステムは、図1示すように構成されているが、これらに限定されない。図1に示すように、当該点群コーデックシステム100は、符号化装置110及び復号化装置120を備える。ここで、符号化装置は、点群データを復号化(圧縮として理解できる)してコードストリームを生成し、コードストリームを復号化装置に伝送するために使用される。復号化装置は、符号化装置が復号化して生成したコードストリームを復号化して、復号化された点群データを取得する。
本願実施例の符号化装置110は、点群符号化機能を有する装置として理解でき、復号化装置120は、点群復号化機能を有する装置として理解でき、即ち、本願実施例は、符号化装置110及び復号化装置120は、スマートフォン、デスクトップコンピュータ、モバイルコンピューティングデバイス、ノートブック(ラップトップなど)コンピュータ、タブレットコンピュータ、セットトップボックス、テレビ、カメラ、表示装置、デジタルメディアプレーヤ、点群ゲームコンソール、車載コンピュータなどの幅広いデバイスを含む。
いくつかの実施例では、符号化装置110は、チャネル130を介して符号化された点群データ(コードストリームなど)を復号化装置120に伝送することができる。チャネル130は、符号化された点群データを、符号化装置110から復号化装置120に伝送できる1つ又は複数の媒体及び/又はデバイスを含み得る。
一例では、チャネル130は、符号化装置110が符号化された点群データを復号化装置120にリアルタイムで直接送信できる1つ又は複数の通信媒体を含む。本例では、符号化装置110は、符号化された点群データを通信規格に従って変調し、且つ変調された点群データを復号化装置120に送信することができる。ここで、通信媒体は、無線周波数帯などの無線通信媒体を含み、例示的に、通信媒体は、1つ以上の物理的な伝送線路などの有線通信媒体も含む。
別の例では、チャネル130は、符号化装置110によって符号化された点群データを記憶可能な記憶媒体を含む。記憶媒体は、光ディスク、DVD、フラッシュメモリなどの複数のローカルアクセス型データ記憶媒体を含む。本例では、復号化装置120は、当該記憶媒体から符号化された点群データを取得することができる。
別の例では、チャネル130は、符号化装置110によって符号化された点群データを記憶可能な記憶サーバを含み得る。本例では、復号化装置120は、記憶されている符号化された点群データを当該記憶サーバからダウンロードすることができる。例示的に、当該記憶サーバは、符号化された点群データを記憶し、且つ当該符号化された点群データを、Webサーバ(Webサイト用など)、ファイル転送プロトコル(FTP)サーバなどの復号化装置120に送信することができる。
いくつかの実施例では、符号化装置110は、点群エンコーダ112及び出力インターフェース113を含む。ここで、出力インターフェース113は、変調器/復調器(モデム)及び/又は送信機を含み得る。
いくつかの実施例では、符号化装置110は、点群エンコーダ112及び入力インターフェース113に加えて、点群ソース111も含む。
点群ソース111は、点群収集装置(スキャナなど)、点群アーカイブ、点群入力インターフェース、コンピュータグラフィックスシステムのうちの少なくとも1つを含み得、ここで、点群入力インターフェースは、点群コンテンツプロバイダから点群データを受信するために使用され、コンピュータグラフィックスシステムは、点群データを生成するために使用される。
点群エンコーダ112は、点群ソース111からの点群データを符号化して、コードストリームを生成する。点群エンコーダ112は、出力インターフェース113を介して符号化された点群データを復号化装置120に直接伝送する。符号化された点群データは、復号化装置120が後で読み取るように、記憶媒体又は記憶サーバに記憶されてもよい。
いくつかの実施例では、復号化装置120は、入力インターフェース121及び点群デコーダ122を含む。
いくつかの実施例では、復号化装置120は、入力インターフェース121及び点群デコーダ122に加えて、表示装置123も含み得る。
ここで、入力インターフェース121は、受信機及び/又はモデムを含む。入力インターフェース121は、チャネル130を介して符号化された点群データを受信することができる。
点群デコーダ122は、符号化された点群データを復号化して、復号化された点群データを取得し、復号化された点群データを表示装置123に伝送するために使用される。
表示装置123は、復号化された点群データを表示する。表示装置123は、復号化装置120と一体化されてもよいし、復号化装置120の外部に設けられてもよい。表示装置123は、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又はその他のタイプの表示装置などの様々な表示装置を含み得る。
また、図1は、一例に過ぎず、本願実施例の技術方案は、図1に限定されるものではなく、本願の技術は、片側の点群符号化や片側の点群復号化にも適用することができる。
現在の点群エンコーダは、MPEG(Moving Picture Experts Group)が提供するジオメトリベースの点群圧縮(G-PCC:Geometry Point Cloud Compression)コーデックフレームワーク又はビデオベースの点群圧縮(V-PCC:Video Point Cloud Compression)コーデックフレームワークを使用してもよいし、音声ビデオ符号化規格(AVS:Audio Video ステップStandard)が提供するAVS-PCCコーデックフレームワークを使用してもよい。G-PCC及びAVS-PCCは、いずれも静的疎な点群を対象としており、その符号化フレームワークは、ほぼ同じである。G-PCCコーデックフレームワークは、第1静的点群及び第3タイプの動的取得点群を圧縮するために使用され得、V-PCCコーデックフレームワークは、第2タイプの動的点群を圧縮するために使用され得る。G-PCCコーデックフレームワークは、点群コーデックTMC13とも呼ばれ、V-PCCコーデックフレームワークは、点群コーデックTMC2とも呼ばれる。
下記において、G-PCCコーデックフレームワークを例として、本願実施例に適用可能な点群エンコーダ及び点群デコーダについて説明する。
図2は、本願実施例による例示的な点群エンコーダのブロック図である。
以上により、点群内の点は、点の位置情報及び点の属性情報を含み得、したがって、点群内の点の符号化は、主に位置符号化及び属性符号化を含むことが分かる。いくつかの例では、点群内の点の位置情報は、ジオメトリ情報とも呼ばれ、対応する点群内の点の位置符号化もジオメトリ符号化とも呼ばれ得る。
位置符号化のプロセスは、点群内の点に対して、座標変換、量子化、重複点除去などの前処理を行い、次に、前処理された点群に対してジオメトリ符号化を行い、例えば、八分木を構築し、構築された八分木に基づいてジオメトリ符号化して、ジオメトリコードストリームを形成することを含む。同時に、構築された八分木から出力される位置情報に基づいて、点群データにおける各点の位置情報を再構築して、各点の位置情報の再構築値を取得する。
属性符号化のプロセスは、所与の点群の位置情報の再構築情報及び属性情報のオリジナル値を入力することにより、3つの予測モードのうちの1つを選択して点群予測を行い、予測された結果を量子化し、算術符号化して属性コードストリームを形成することを含む。
図2に示すように、位置符号化は、
座標変換(Tanmsform coordinates)ユニット201、量子化及び重複点除去(Quantize and remove points)ユニット202、八分木分析(Analyze octree)ユニット203、ジオメトリ再構築(Reconstruct geometry)ユニット204、及び第1算術符号化(Arithmetic enconde)ユニット205によって実現することができる。
座標変換(Tanmsform coordinates)ユニット201、量子化及び重複点除去(Quantize and remove points)ユニット202、八分木分析(Analyze octree)ユニット203、ジオメトリ再構築(Reconstruct geometry)ユニット204、及び第1算術符号化(Arithmetic enconde)ユニット205によって実現することができる。
座標変換ユニット201は、点群内の点の世界座標を相対座標に変換するために使用され得る。例えば、点のジオメトリ座標からxyz座標軸の最小値をそれぞれ減算することは、点群内の点の座標を世界座標から相対座標に変換するDC操作に相当する。
量子化及び重複点除去ユニット202は、量子化により、座標の数を減らすことができ、量子化後に、本来異なる点に同じ座標が与えられ、これに基づき、重複除去操作で重複点を削除し、例えば、同じ量子化位置及び異なる属性情報を有する複数のクラウドは、属性変換により1つのクラウドに統合することができる。本願のいくつかの実施例では、量子化及び重複点除去ユニット202は、例示的なユニットモジュールである。
八分木分析ユニット203は、八分木(octree)符号化方式で量子化された点の位置情報を符号化することができる。例えば、点群を八分木の形に従って分割し、したがって、点の位置は、八分木の位置に1対1に対応し、八分木内の点の位置を統計し、そのフラグ(flag)を1として、ジオメトリ符号化を行うことができる。
ジオメトリ再構築ユニット204は、八分木分析ユニット203が出力した位置情報に基づいて位置再構築を行い、点群データ内の各点の位置情報の再構築値を取得することができる。
第1算術符号化ユニット205は、エントロピー符号化方式で八分木分析ユニット203が出力した位置情報を算術符号化し、即ち、八分木分析ユニット203が出力した位置情報を、算術符号化方式でジオメトリコードストリームを生成することができ、ジオメトリコードストリームは、ジオメトリビットストリーム(geometry bitstream)とも呼ばれ得る。
属性符号化は、
色空間変換(Transform colors)ユニット210、属性変換(Transfer attributes)ユニット211、領域適応階層変換(RAHT:Region Adaptive Hierarchical Transform ) ユニット212、予測変換(predicting transform)ユニット213、及びリフティング変換(lifting transform)ユニット214、量子化係数(Quantize coefficients)ユニット215、及び第2算術符号化ユニット216によって実現することができる。
色空間変換(Transform colors)ユニット210、属性変換(Transfer attributes)ユニット211、領域適応階層変換(RAHT:Region Adaptive Hierarchical Transform ) ユニット212、予測変換(predicting transform)ユニット213、及びリフティング変換(lifting transform)ユニット214、量子化係数(Quantize coefficients)ユニット215、及び第2算術符号化ユニット216によって実現することができる。
なお、点群エンコーダ200は、図2に示すより、より多い、より少ない、又は異なる機能コンポーネントを含み得る。
色空間変換ユニット210は、点群内の点のRGB色空間を、YCbCr形式又は他の形式に変換するために使用され得る。
属性変換ユニット211は、点群内の点の属性情報を変換して、属性歪みを最小限にするために使用され得る。例えば、属性変換ユニット211は、点の属性情報のオリジナル値を取得するために使用され得る。例えば、前記属性情報は、点の色情報であり得る。
属性変換ユニット211により点の属性情報のオリジナル値を変換して取得した後、いずれかの予測ユニットを選択して、点群内の点を予測することができる。予測ユニットは、RAHT212、予測変換(predicting transform)ユニット213、及びリフティング変換(lifting transform)ユニット214を備えることができる。
換言すれば、RAHT212、予測変換(predicting transform)ユニット213、及びリフティング変換(lifting transform)ユニット214のいずれかは、点群内の点の属性情報を予測して、点の属性情報の予測値を取得し、さらに、点の属性情報の予測値に基づいて点の属性情報の残差値を取得するために使用され得る。例えば、点の属性情報の残差値は、点の属性情報のオリジナル値から点の属性情報の予測値を減算したものであり得る。
本願の一実施例では、予測変換ユニット213は、詳細レベル(LOD:level of detail)を生成するためにも使用され得る。LODの生成プロセスは、点群内の点の位置情報に基づいて、点と点とのユークリッド距離を取得することと、ユークリッド距離に基づいて、点を異なる詳細表現レベルに分割することと、を含む。一実施例では、ユークリッド距離をソートした後、異なる範囲のユークリッド距離を、異なる詳細表現レベルに分割することができる。例えば、ランダムに点を選択して、第1詳細表現レベルとすることができる。次に、残りの点と当該点のユークリッド距離を計算し、ユークリッド距離が第1閾値要件を満たす点を、第2詳細表現レベルとして分類する。第2詳細表現レベルの点の重心を取得して、第1、第2詳細表現レベルを除いた点と当該重心とのユークリッド距離を計算し、ユークリッド距離が第2閾値を満たす点を、第3詳細表現レベルとして分類する。このように、すべての点を詳細表現レベルに分類する。ユークリッド距離の閾値を調整することにより、LODの各レベルの点の数を漸増させることができる。なお、LOD分割の方式は、他の方式を採用することもでき、本願はこれらに限定されない。
なお、点群を直接1つ又は複数の詳細表現レベルに分割してもよいし、点群を複数の点群スライス(slice)に分割してから、各点群スライスを1つ又は複数のLODに分割してもよい。
例えば、点群を複数の点群スライスに分割することができ、各点群スライスの点の数は、55万~110万個であり得る。各点群スライスは、個別の点群として扱うことができる。各点群スライスは、複数の詳細表現レベルに分割することもでき、各詳細表現レベルは、複数の点を含む。一実施例では、点と点とのユークリッド距離に基づいて、詳細表現レベルの分割を行うことができる。
量子化ユニット215は、点の属性情報の残差値を量子化するために使用され得る。例えば、前記量子化ユニット215と前記予測変換ユニット213とが接続されている場合、前記量子化ユニットは、前記予測変換ユニット213が出力した点の属性情報の残差値を量子化するために使用され得る。
例えば、予測変換ユニット213が出力した点の属性情報の残差値に対して、量子化ステップ長を使用して量子化することにより、システム性能の向上を実現する。
第2算術符号化ユニット216は、ゼロランレングス符号化(Zero run length coding)を使用して点の属性情報の残差値をエントロピー符号化することにより、属性コードストリームを取得することができる。前記属性コードストリームは、ビットストリーム情報であり得る。
図3は、本願実施例による例示的なデコーダのブロック図である。
図3に示すように、復号フレーム300は、符号化装置から点群のコードストリームを取得し、解析コードにより点群内の点の位置情報及び属性情報を取得することができる。点群の復号化は、位置復号化及び属性復号化を含む。
位置復号化のプロセスは、ジオメトリコードストリームを算術復号化することと、八分木を構築した後にマージして、点の位置情報を構築することにより、点の位置情報の再構築情報を取得することと、点の位置情報の再構築情報を座標変換して、点の位置情報を取得することと、を含む。点の位置情報は、点のジオメトリ情報とも呼ばれ得る。
属性復号化のプロセスは、属性コードストリームを解析することにより、点群内の点の属性情報の残差値を取得することと、点の属性情報の残差値を逆量子化することにより、逆量子化された点の属性情報の残差値を取得することと、位置復号化プロセス中に取得した点の位置情報の再構築情報に基づいて、次のようなRAHT、予測変換、及びリフティング変換の3つの予測モードのうちの1つを選択して点群予測を行い、予測値を取得し、予測値と残差値とを加算して点の属性情報の再構築値を取得することと、点の属性情報の再構築値を色空間逆変換することにより、復号化点群を取得することと、を含む。
図3に示すように、位置復号化は、
第1算術復号化ユニット301、八分木分析(synthesize octree)ユニット302、ジオメトリ再構築(Reconstruct geometry)ユニット304、及び座標逆変換(inverse transform coordinates)ユニット305によって実現することができる。
第1算術復号化ユニット301、八分木分析(synthesize octree)ユニット302、ジオメトリ再構築(Reconstruct geometry)ユニット304、及び座標逆変換(inverse transform coordinates)ユニット305によって実現することができる。
属性符号化は、
第2算術復号化ユニット310、逆量子化(inverse quantize)ユニット311、RAHTユニット312、予測変換(predicting transform)ユニット313、リフティング変換(lifting transform)ユニット314、色空間逆変換(inverse trasform colors)ユニット315によって実現することができる。
第2算術復号化ユニット310、逆量子化(inverse quantize)ユニット311、RAHTユニット312、予測変換(predicting transform)ユニット313、リフティング変換(lifting transform)ユニット314、色空間逆変換(inverse trasform colors)ユニット315によって実現することができる。
なお、解凍は、圧縮の逆処理であり、同様に、デコーダ300内の各ユニットの機能は、エンコーダ200内の対応するユニットの機能を参照することができる。また、点群デコーダ300は、図3より、より多い、より少ない、又は異なる機能コンポーネントを含み得る。
例えば、デコーダ300は、点群内の点と点とのユークリッド距離に基づいて、点群を複数のLODに分割し、次に、LOD内の点の属性情報を順次復号化、例えば、ゼロランレングス符号化技術におけるゼロの数(zero_cnt)を計算して、zero_cntに基づいて、残差を復号化することができ、次に、復号化フレーム200は、すべての点群が復号化されるまで、復号化された残差値を逆量子化し、逆量子化された残差値と現在点の予測値とを加算して、当該点群の再構築値を取得することができる。現在点は、後続のLOD内の点の最近傍点として、現在点の再構築値を利用して、後続の点の属性情報を予測する。
上記の図2から分かるように、点群エンコーダ200は、機能的には主に、位置符号化モジュール及び属性符号化モジュールの2つの部分を含み、ここで、位置符号化モジュールは、点群の位置情報の符号化を実現して、ジオメトリコードストリームを形成するために使用され、属性符号化モジュールは、点群の属性情報の符号化を実現して、属性コードストリームを形成するために使用される。本願は、主に属性情報の符号化に関する方式であり、以下では、図4を参照して、本願に係る点群エンコーダにおける属性符号化モジュールについて説明する。
図4は、本願実施例に係る属性符号化モジュールの部分ブロック図であり、当該属性符号化モジュール400は、上記の図2に示す点群エンコーダ200における属性情報符号化を実現するためのユニットとして理解できる。図4に示すように、当該属性符号化モジュール400は、前処理ユニット410、残差ユニット420、量子化ユニット430、予測ユニット440、逆量子化ユニット450、再構築ユニット460、フィルタリングユニット470、復号化キャッシュユニット480、及び符号化ユニット490を備える。なお、属性符号化モジュール400はさらに、より多い、より少ない、又は異なる機能コンポーネントを含み得る。
いくつかの実施例では、前処理ユニット410は、図2に示す色空間変換ユニット210、属性変換ユニット211を備えることができる。
いくつかの実施例では、量子化ユニット430は、上記の図2における量子化係数ユニット215として理解でき、符号化ユニット490は、上記の図2における第2算術符号化ユニット216として理解できる。
いくつかの実施例では、予測ユニット440は、図2に示すRAHT212、予測変換ユニット213、及びリフティング変換ユニット214を備えることができる。予測ユニット440は、具体的には、点群内の点の位置情報の再構築情報を取得し、点の位置情報の再構築情報に基づいて、RAHT212、予測変換ユニット213、及びリフティング変換ユニット214のいずれかから点群内の点の属性情報を予測することにより、点の属性情報の予測値を取得するために使用される。
残差ユニット420は、点群内の点の属性情報のオリジナル値及び属性情報の再構築値に基づいて、点群内の点の属性情報の残差値を取得することができ、例えば、点の属性情報のオリジナル値から属性情報の再構築値を減算して、点の属性情報の残差値を取得することができる。
量子化ユニット430は、属性情報の残差値を量子化することができ、具体的には、量子化ユニット430は、点群に関連付けられた量子化パラメータ(QP)値に基づいて、点の属性情報の残差値を量子化することができる。点群エンコーダは、点群に関連付けられたQP値を調整することにより点に適用される量子化の度合いを調整することができる。
逆量子化ユニット450は、量子化された属性情報の残差値にそれぞれ逆量子化を適用して、量子化された属性情報の残差値から属性情報の残差値を再構築することができる。
再構築ユニット460は、再構築された属性情報の残差値を、予測ユニット440が生成した予測値に加算して、点群内の点の属性情報の再構築値を生成することができる。
フィルタリングユニット470は、再構築操作におけるノイズを除去又は低減することができる。
復号化キャッシュユニット480は、点群内の点の属性情報の再構築値を記憶することができる。予測ユニット440は、点の属性情報の再構築値を使用して、他の点の属性情報を予測することができる。
上記の図3から分かるように、点群デコーダ300は、機能的には主に、位置復号化モジュール及び属性復号化モジュールの2つの部分を含み、ここで、位置復号化モジュールは、点群のジオメトリコードストリームの復号化を実現して、点の位置情報を取得するために使用され、属性復号化モジュールは、点群の属性コードストリームの復号化を実現して、点の属性情報を取得するために使用される。以下では、図5を参照して、本願に係る点群デコーダにおける属性復号化モジュールについて説明する。
図5は、本願実施例に係る属性復号化モジュールの部分ブロック図であり、当該属性復号化モジュール500は、上記の図3に示す点群デコーダ300における属性コードストリーム復号化を実現するためのユニットとして理解できる。図5に示すように、当該属性復号化モジュール500は、復号化ユニット510、予測ユニット520、逆量子化ユニット530、再構築ユニット540、フィルタリングユニット550、及び復号化キャッシュユニット560を備える。なお、属性復号化モジュール500は、より多い、より少ない、又は異なる機能コンポーネントを含み得る。
属性復号化モジュール500は、属性コードストリームを受信することができる。復号化ユニット510は、属性コードストリームを解析して、属性コードストリームから構文要素を抽出することができる。属性コードストリームの解析の一部として、復号化ユニット510は、属性コードストリームにおける符号化された構文要素を解析することができる。予測ユニット520、逆量子化ユニット530、再構築ユニット540及びフィルタリングユニット550は、属性コードストリームから抽出した構文要素に基づいて属性情報を復号化することができる。
いくつかの実施例では、予測ユニット520は、コードストリームから解析した1つ又は複数の構文要素に基づいて点の予測モードを決定し、決定された予測モードを使用して点の属性情報を予測することができる。
逆量子化ユニット530は、点群内の点に関連付けられた量子化された属性情報の残差値を逆量子化(即ち、解量子化)して、点の属性情報の残差値を取得することができる。逆量子化ユニット530は、点群に関連付けられたQP値を使用して量子化の度合いを決定することができる。
再構築ユニット540は、点群内の点の属性情報の残差値及び点群内の点の属性情報の予測値を使用して、点群内の点の属性情報を再構築する。例えば、再構築ユニット540は、点群内の点の属性情報の残差値を、点の属性情報の予測値に加算して、点の属性情報の再構築値を取得することができる。
フィルタリングユニット550は、再構築操作におけるノイズを除去又は低減することができる。
属性復号化モジュール500は、点群内の点の属性情報の再構築値を復号化キャッシュユニット560に記憶することができる。属性復号化モジュール500は、復号化キャッシュユニット560における属性情報の再構築値を基準点として後続の予測に使用するか、又は、属性情報の再構築値を表示装置に送信して表示することができる。
点群の属性情報のコーデックの基本的なフローは、符号化側において、点群データの属性情報を前処理して、点群内の点の属性情報のオリジナル値を取得することである。予測ユニット410は、点群内の点の位置情報の再構築値に基づいて、上記3つの予測方式のうちの1つを選択して、点群内の点の属性情報を予測して、属性情報の予測値を取得する。残差ユニット420は、点群内の点の属性情報のオリジナル値及び属性情報の予測値に基づいて、属性情報の残差値を計算することができ、即ち、点群内の点の属性情報のオリジナル値及び属性情報の予測値の差分を、点群内の点の属性情報の残差値とする。当該残差値は、量子化ユニット430によって量子化され、人の目に敏感でない情報を除去して、視覚的冗長性を解消することができる。符号化ユニット490は、量子化ユニット430が出力した量子化された属性情報の残差値を受信し、当該量子化された属性情報の残差値を符号化して、属性コードストリームを出力することができる。
また、逆量子化ユニット450は、量子化ユニット430が出力した量子化された属性情報の残差値を受信し、量子化された属性情報の残差値を逆量子化して、点群内の点の属性情報の残差値を取得することもできる。再構築ユニット460は、逆量子化ユニット450が出力した点群内の点の属性情報の残差値、及び予測ユニット410が出力した点群内の点の属性情報の予測値を取得し、点群内の点の属性情報の残差値と予測値とを加算して、点の属性情報の再構築値を取得する。点の属性情報の再構築値は、フィルタリングユニット470によってフィルタリングされた後、復号化キャッシュユニット480にキャッシュされ、後続の他の点の予測プロセスに使用される。
復号化側において、復号化ユニット510は、属性コードストリームを解析して、点群内の点量子化された属性情報の残差値、予測情報、量子化係数などを取得することができ、予測ユニット520は、予測情報に基づいて、点群内の点の属性情報を予測して、点の属性情報の予測値を生成する。逆量子化ユニット530は、属性コードストリームから得た量子化係数を使用して、点の量子化された属性情報の残差値を逆量子化して、点の属性情報の残差値を取得する。再構築ユニット440は、点の属性情報の予測値と残差値とを加算して点の属性情報の再構築値を取得する。フィルタリングユニット550は、点の属性情報の再構築値をフィルタリングして、復号化された属性情報を取得する。
なお、符号化側属性情報の符号化時に決定した予測、量子化、符号化、フィルタリングなどのモード情報又はパラメータ情報などは、必要に応じて属性コードストリームで運ぶ。復号化側は、属性コードストリームを解析し、既存の情報に基づいて分析して、符号化側と同じ予測、量子化、符号化、フィルタリングなどのモード情報又はパラメータ情報を決定し、それにより、符号化側が取得した属性情報の再構築値と復号化側が取得した属性情報の再構築値が同じであることを保証する。
以上は、G-PCCコーデックフレームワークに基づく点群コーデックの基本的なフローであり、技術の発展に伴い、当該フレームワーク又はフローのいくつかのジュール又はステップは、最適化される可能性があり、本願は、当該G-PCCコーデックフレームワークに基づく点群コーデックの基本的なフローに適用されるが、当該フレームワーク及びフローに限定されない。
以上により、本願実施例に係る点群符号化システム、点群エンコーダ、点群デコーダについて説明されている。これに基づき、以下では、具体的な実施例を参照して、本願実施例によって提供される技術方案について詳細に説明する。
下記において、図6を参照して、符号化側について説明する。
実施例1
図6は、本願実施例による点群符号化方法のフローチャートであり、本願実施例は、図1、図2、及び図4に示す点群エンコーダに適用される。図6に示すように、本願実施例の方法は、次のステップを含む。
図6は、本願実施例による点群符号化方法のフローチャートであり、本願実施例は、図1、図2、及び図4に示す点群エンコーダに適用される。図6に示すように、本願実施例の方法は、次のステップを含む。
ステップS101において、点群内の現在点の属性情報を取得する。
いくつかの実施例では、現在点は、現在点又は処理対象点又は処理中の点、符号化対象点などとも呼ばれる。
点群は、複数の点を含み、各点は、点のジオメトリ情報及び点の属性情報を含み得る。ここで、点のジオメトリ情報は、点の位置情報とも呼ばれ得、点の位置情報は、点の3D座標情報であり得る。ここで、点の属性情報は、色情報及び/又は反射率などを含み得る。
一例では、点群エンコーダは、点群内の点のオリジナル属性情報を点の属性情報のオリジナル値として取得することができる。
別の例では、図2に示すように、点群エンコーダは、点群内の点のオリジナル属性情報を取得した後、当該オリジナル属性情報を色空間変換し、例えば、点のRGB色空間をYCbCr形式又は他の形式に変換する。色空間変換された点を属性変換して、属性歪みを最小限にして、点の属性情報のオリジナル値を取得する。
ステップS102において、現在点の属性情報を処理して、現在点の属性情報の残差値を取得する。
いくつかの実施例では、点群内の点のジオメトリ情報に基づいて、点群内の現在点の属性情報の予測値を決定する。例えば、点群内の点のジオメトリを符号化して、点群内の現在点のジオメトリ情報の再構築値を取得し、現在点のジオメトリ情報の再構築値に基づいて、現在点の属性情報の予測値を決定し、現在点の属性情報の予測値及び属性情報のオリジナル値に基づいて、現在点の属性情報の残差値を決定する。
いくつかの実施例では、属性情報のオリジナル値は、属性情報の真の値とも呼ばれる。
なお、点群エンコーダは、点群内の点のジオメトリ情報の符号化を完了した後、また、点群内の点の属性情報を符号化する。図2に示すように、ジオメトリ情報の符号化プロセスでは、第1算術符号化ユニット205は、八分木ユニット203が処理した点のジオメトリ情報を符号化して、ジオメトリコードストリームを形成するに加えて、ジオメトリ再構築ユニット204は、八分木ユニット203が処理した点のジオメトリ情報を再構築して、ジオメトリ情報の再構築値を取得する。予測ユニットは、ジオメトリ再構築ユニット204が出力したジオメトリ情報の再構築値を取得することができる。
例えば、点群内の点のジオメトリ情報の再構築値に基づいて、点群内の点を並べ替え、並べ替えられた点群を取得する。例えば、点群内の点のジオメトリ情報の再構築値に基づいて、点のモートンコードを決定し、モートンコードに基づいて点群内の点を並べ替え、点のモートン順序を取得する。並べ替えられた点群における現在の点に対して、属性情報が符号化された点から、当該現在点の少なくとも1つの近傍点を取得し、当該少なくとも1つの近傍点の属性情報の再構築値に基づいて、当該現在点の属性情報の予測値を予測する。
ここで、現在点の少なくとも1つの近傍点の属性情報の再構築値に基づいて、当該現在点の属性情報の予測値を予測する方式は、次のいくつかの方式を含むが、これらに限定されない。
方式1において、少なくとも1つの近傍点の属性情報の再構築値の平均値を、当該現在点の属性情報の予測値とする。
方式2において、少なくとも1つの近傍点をK個の近傍点とすると、K個の近傍点内の各近傍点の属性情報の再構築値を、現在点の予測基準値として、K個の予測基準値を取得する。また、K個の近傍点の属性情報の再構築値の平均値を、現在点の別の予測基準値とすることにより、現在点は、合計K+1個の予測基準値を有する。このK+1個の予測基準値の各予測基準値に対応するレート歪み最適化(RDO)コストを計算し、レート歪み最適化コストが最も小さい予測基準値を、当該現在点の属性情報の予測値とする。
次に、点群内の点の属性情報の予測値に基づいて、点群内の点の属性情報の残差値を決定する。
例えば、現在点の属性情報のオリジナル値と属性情報の予測値との差分を、現在点の属性情報の残差値として決定する。
例えば、点群内の1つの現在点について、上記ステップによって当該現在点の属性情報の予測値及び属性情報のオリジナル値を取得し、当該現在点の属性情報のオリジナル値と属性情報の予測値との差分を、当該現在点の属性情報の残差値として決定することができる。
ステップS103において、目標量子化方式を使用して、現在点の属性情報の残差値を量子化して、現在点の属性情報の量子化残差値を取得する。
図4を参照すると、現在の属性情報の符号化プロセスでは、残差ユニット420は、点群内の点の属性情報のオリジナル値及び属性情報の予測値に基づいて、属性情報の残差値を計算することができる。当該残差値は、量子化ユニット430によって量子化され、人の目に敏感でない情報を除去して、視覚的冗長性を解消することができる。逆量子化ユニット450は、量子化ユニット430が出力した量子化された属性情報の残差値を受信し、量子化された属性情報の残差値を逆量子化して、点群内の点の属性情報の残差値を取得することもできる。再構築ユニット460は、逆量子化ユニット450が出力した点群内の点の属性情報の残差値、及び予測ユニット410が出力した点群内の点の属性情報の予測値を取得し、点群内の点の属性情報の残差値と予測値とを加算して、点の属性情報の再構築値を取得する。点の属性情報の再構築値は、復号化キャッシュユニット480にキャッシュされ、後続の他の点の予測プロセスに使用される。
以上により、現在の属性情報の符号化プロセスでは、点の属性情報の残差値を量子化するが、現在の量子化プロセスは、その量子化効果が悪いことが分かる。
この技術的問題を解決するために、本願実施例は、目標量子化方式を採用して、現在点の属性情報の残差値を量子化して、現在点の属性情報の量子化残差値を取得する。ここで、目標量子化方式は、第1量子化方式、第2量子化方式、及び第3量子化方式のうちの少なくとも2つの量子化方式を含み、第1量子化方式は、点群内の少なくとも1つの点の量子化パラメータに量子化パラメータ増分を設定する方式であり、第2量子化方式は、点群内の点の残差値を重み付け処理する方式であり、第3量子化方式は、点群内の少なくとも1つの点の属性情報の残差値を可逆符号化する方式である。
いくつかの実施例では、第1量子化方式は、漸進式量子化方式とも呼ばれ得、第2量子化方式は、適応量子化方式とも呼ばれ得、第3量子化方式は、等間隔非量子化方式とも呼ばれ得る。
実施例2
目標量子化方式が、第1量子化方式及び第2量子化方式を含む場合、本願実施例の点群符号化プロセスは、図7に示す通りである。
目標量子化方式が、第1量子化方式及び第2量子化方式を含む場合、本願実施例の点群符号化プロセスは、図7に示す通りである。
図7は、本願の一実施例による点群符号化方法のフローチャートであり、次のステップを含む。
ステップS201において、点群内の点のジオメトリ情報及び属性情報を取得する。
ステップS202において、点群内の各点のジオメトリ情報に基づいて、点群に対してLOD分割を行い、点群のマルチレベルのLODを取得し、ここで、各LODは、少なくとも1レベルの詳細表現レベルを含み、各レベルの詳細表現には、少なくとも1つの点が含まれる。
一例では、点群内の点のジオメトリ情報に基づいて、点のモートンコードを取得し、モートンコードに従って並べ替え、点群のモートン順序を取得する。点群のモートン順序に基づいてLOD分割を行う。
別の例では、点群内の点のジオメトリ情報に基づいて、点群を並べ替え、点群のオリジナル順序を取得する。点群のオリジナル順序に基づいてLOD分割を行う。
並べ替えられた点群に対してLOD分割を行い、例えば、並べ替えられた点群からランダムに選択された点を、第1詳細表現レベルとする。次に、ジオメトリ情報に基づいて、残りの点と当該点のユークリッド距離を計算し、ユークリッド距離が第1閾値要件を満たす点を、第2詳細表現レベルとして分類する。第2詳細表現レベルの点の重心を取得して、第1、第2詳細表現レベルを除いた点と当該重心とのユークリッド距離を計算し、ユークリッド距離が第2閾値を満たす点を、第3詳細表現レベルとして分類する。このように、すべての点を詳細表現レベルに分類する。各レベルの詳細表現内の点は、点の属性情報の再構築値の大きさに基づいて当該詳細表現レベルでソートする。
なお、上記LOD分割の方式は一例に過ぎず、LOD分割の方式は、他の方式を採用することもでき、本願はこれらに限定されない。
図8は、点群の一部のLOD分割の概略図であり、ここで、図8の上部は、オリジナル点群内の10個の点p0、p2、……、p9であり、これら10個の点のジオメトリ情報に基づいて、これら10個の点を並べ替え、点p0、p2、……、p9のオリジナル順序を取得する。点p0、p2、……、p9のオリジナル順序に基づいて、点p0,p2、……、p9に対してLOD分割を行い、3つの詳細表現レベルを取得し、この3つの詳細表現レベルは、互いに重ならない。例えば、第1レベルの詳細表現レベルR0は、p0、p5、p4、及びp2を含み、第2レベルの詳細表現レベルR1は、p1、p6、及びp3を含み、第3レベルの詳細表現レベルR2は、p9、p8、及びp7を含む。第1レベルの詳細表現レベルR0は、第1レベルのLODを構成し、L0と表記し、第1レベルのLOD及び第2レベルの詳細表現レベルR1は、第2レベルのLODを構成し、L1と表記し、第2レベルのLOD及び第3レベルの詳細表現レベルR2は、第3レベルのLODを構成し、L2と表記する。LODに含まれる点は、レベルごとに順次増加する。
図8に示すように、LOD分割して取得したマルチレベルの詳細表現レベルをレベル数の昇順に従って並べ替え、点群のLOD順序を取得することができる。いくつかの実施例では、マルチレベルの詳細表現レベルに対して、レベル数の降順に従って並べ替え、点群のLOD順序を取得する。
ステップS203において、点群内の現在点の属性情報の予測値を決定する。
例えば、点群のマルチレベルの詳細表現レベルに基づいて、レベル数の昇順に従って並べ替え、点群のLOD順序を取得し、点群のLOD順序に基づいて、点群内の点の属性情報の予測値を決定する。
いくつかの実施例では、点群内の符号化対象となる1つの現在点を例にとると、上記ステップS203は、次のいくつかの方式を含むが、これらに限定されない。
方式1において、点群のLOD順序に基づいて、符号化された点群から現在点の少なくとも1つの近傍点を取得し、例えば、KNNアルゴリズムに従って、符号化された点群から当該現在点の3つの最近傍点を探し出し、この3つの最近傍点の属性情報の再構築値の重み付け平均値を、現在点の属性情報の予測値とする。
方式2において、点群のLOD順序に基づいて、符号化された点群から現在点の少なくとも1つの近傍点を取得し、例えば、KNNアルゴリズムに従って、符号化された点群から当該現在点の3つの最近傍点を探し出し、この3つの最近傍点における各近傍点の属性情報の再構築値を、現在点の予測基準値として、3つの予測基準値を取得する。また、3つの近傍点の属性情報の再構築値の平均値を、現在点の別の予測基準値とし、このようにして、現在点は、3+1個の予測基準値を有する。この3+1個の予測基準値の各予測基準値に対応するレート歪み最適化(RDO)コストを計算し、レート歪み最適化コストが最も小さい予測基準値を、当該現在点の属性情報の予測値とする。
一例では、レート歪み最適化コストを決定するとき、近傍点と現在点との距離(ユークリッド距離など)の逆数を、当該近傍点の重みとすることができる。
いくつかの実施例では、次の表1に基づいて、上記3+1個の予測基準値に対応する予測インデックスを決定することができる。
例えば、現在点が図8中の点p2である場合を例にとると、点p2に最も近い3つの近傍点は、p4、p5、及びp1であり、ここで、p4は、現在点p2の3つの近傍点のうち、p2に最も近い1点であり、第1近傍点、即ち、1st nearest pointと表記し、表1に示すように、それに対応する予測インデックスは、1である。p5は、現在点p2の3つの近傍点うち、現在点p2は、p4の次に近い点であり、第2近傍点、即ち、2nd nearest pointと表記し、表1に示すように、それに対応する予測インデックスは、2である。p1は、現在点p2の3つの近傍点のうち、現在点p2に最も遠い1点であり、第3近傍点、即ち、3rd nearest pointと表記し、表1に示すように、それに対応する予測インデックスは、3である。表1に示すように、p4、p5、及びp1の属性情報の再構築値の重み付け平均値に対応する予測インデックスは、0である。
上記の方法によれば、p4、p5、及びp1、p4、p5、及びp1の属性情報の平均値、この3+1個の予測基準値における各予測基準値に対応するレート歪み最適化(RDO)コストを計算し、レート歪み最適化コストが最も小さい予測基準値を、当該現在点の属性情報の予測値とし、例えば、レート歪み最適化コストが最も小さい予測基準値は、点p5の属性情報の再構築値である。
例示的に、点群エンコーダは、当該点p5に対応する予測インデックス2を、後続に形成される属性コードストリームで運ぶことができる。このように、復号化側は、当該属性コードストリームから直接予測インデックス2を解析し、予測インデックス2に対応する点p5の属性情報の再構築値を使用して、点p2の属性情報を予測して、点p2の属性情報の予測値を取得することができる。
ステップS204において、現在点の属性情報の予測値及び属性情報のオリジナル値に基づいて、現在点の属性情報の残差値を決定する。例えば、現在点の属性情報のオリジナル値と属性情報との差分を、現在点の属性情報の残差値として決定する。
ステップS205において、現在点のジオメトリ情報に基づいて、現在点が位置する目標LODを決定する。
LODは、点群内の点のジオメトリ情報に基づいて分割され、したがって、現在点のジオメトリ情報に基づいて、現在点が位置する目標LODを決定することができる。
ステップS206において、目標LODに適合する目標量子化ステップ長を決定する。
ここで、前記目標LODに適合する目標量子化ステップ長を決定する方式は、次のいくつかの方式を含むが、これらに限定されない。
方式1において、前記目標LODに適合する目標量子化ステップ長を決定し、次のステップA1、ステップA2、及びステップA3を含む。
ステップA1において、現在点の符号化パラメータ内の量子化パラメータを決定する。
ステップA2において、目標LODの階層レベルインデックスを取得し、目標LODの階層レベルインデックスに基づいて、目標LODの量子化パラメータ増分を決定する。
ステップA3において、量子化パラメータ及び目標LODの量子化パラメータ増分に基づいて、目標LODに対応する目標量子化ステップ長を決定する。
いくつかの実施例では、最初の7レベルのLOD機器の量子化パラメータ増分DeltaQP値は、表2に示す通りである。
ここで、Rは、符号化ビットレートであり、表2は、5種類のビットレートにおける最初の7レベルのLODのDeltaQPの値である。なお、上記の表1は、一例に過ぎず、本願実施例の最初の7レベルのLODに対応するDeltaQP値は、表2に示すものを含むが、これらに限定されない。
例示的に、上記の表2におけるDeltaQP値は、いずれも-10に設定することができる。
いくつかの実施例では、R1~R5は、MPEG共通テスト環境で推奨される5種類の符号化ビットレートを表し、共通テスト環境で所定のビットレート点のQP値は、表3に示す通りである。
いくつかの実施例では、5種類のビットレートにおける最初の7レベルのLODの真のQPの値は、表4に示す通りである。
ここで、表2における各ビットレートでのDeltaQP値と、表3に示す対応ビットレートでのQPを加算して、表4における対応ビットレートでの真のQP値を取得する。
なお、上記の表4は、一例に過ぎず、本願実施例における最初の7レベルのLODに対応する真のQPの値は、表4に示すものを含むが、これらに限定されない。
なお、上記の表2及び表4は、最初の7レベルのQP値及びDeltaQP値のみを示しており、他のレベルのQP値及びDeltaQP値は、従来技術を参照でき、ここでは繰り返して説明しない。
この方式1では、現在点の符号化パラメータから、現在点に対応する量子化パラメータ、例えば、表3におけるQPiを決定し、現在点が位置する目標LODの階層レベルインデックスに基づいて、上記の表2から、目標LODに対応する量子化パラメータ増分、例えば、表2におけるDeltaQPiを決定することができ、量子化パラメータ及び前記目標LODの量子化パラメータ増分に基づいて、前記目標LODに対応する目標量子化ステップ長、例えば、現在点に対応するQPi値と、当該目標LODのDeltaQPi値とを加算して、QPi+DeltaQPiを取得し、QPi+DeltaQPiに対応する量子化ステップ長を、目標LODに対応する目標量子化ステップ長として決定することができる。
いくつかの実施例では、上記した前記目標LODの階層レベルインデックスに基づいて、前記目標LODの量子化パラメータ増分を決定することは、前記目標LODが前記点群の最初のN個のLODに属する場合、前記目標LODの量子化パラメータ増分がjであると決定することであって、前記Nは、第1閾値より小さいか等しい正の整数であり、前記jは、0より大きく、且つ第2閾値より小さいか等しい正数である、ことと、前記目標LODが前記点群の最初のN個のLODに属さない場合、前記目標LODの量子化パラメータ増分が0であると決定することと、を含む。
例示的に、前記量子化パラメータが第3閾値より大きいか等しい場合、前記jは、第1所定値であり、前記量子化パラメータが前記第3閾値より小さい場合、前記jは、第2所定値である。
例示的に、第1閾値は、14であり得、第2閾値は、10であり得る。
例示的に、jは、例えば、6又は10であり得る。
例示的に、Nは、6、7又は8であり得る。
方式2において、上記した前記目標LODに適合する目標量子化ステップ長を決定することは、次のステップB1及びステップB2を含む。
ステップB1において、前記目標LODの階層レベルインデックスを取得する。
ステップB2において、前記目標LODの階層レベルインデックスに基づいて、量子化ステップ長ルックアップテーブルで前記目標LODに対応する目標量子化ステップ長を照会する。
ここで、量子化ステップ長ルックアップテーブルは、LODと量子化ステップ長との対応関係を含む。
いくつかの実施例では、上記の量子化ステップ長ルックアップテーブルは、所定である。
いくつかの実施例では、本願実施例は、量子化ステップ長ルックアップテーブルを構築するプロセスをさらに含む。具体的には、現画像ブロックの階層レベルインデックス及び量子化パラメータオフセットパラメータを決定し、現画像ブロックの階層レベルインデックス及び量子化パラメータオフセットパラメータに基づいて、詳細レベルの階層レベルLODに対応する量子化ステップ長Qstepを決定する。さらに、詳細レベルの階層レベルと量子化ステップ長との対応関係を取得し、後続の符号化ステップ又は復号化時に量子化ステップ長を照会して決定するように、当該対応関係を量子化ステップ長ルックアップテーブル(look-up table)に事前に記憶する。
例示的に、階層レベルインデックスは、例えば、LodSplitIndexであり得、量子化パラメータオフセットパラメータは、例えば、QpShiftValueであり得る。
いくつかの実施例では、上記した現画像ブロックの階層レベルインデックス及び量子化パラメータオフセットパラメータを決定する方式は、現在の符号化ブロックの符号化パラメータを取得することと、前記符号化パラメータにおける階層レベルインデックス及び量子化パラメータオフセットパラメータを読み取ることと、を含み得る。
ここで、前記現在の符号化ブロックの符号化パラメータを取得する具体的な実施形態は少なくとも、レート歪み最適化を使用して現在の符号化ブロックの符号化パラメータを決定することを含む。
ここで、符号化パラメータは、構成ファイルに所定されたパラメータ及び/又は点群のデータに基づいて決定されたパラメータを含み得る。
このように、本例では、まず、現在の符号化ブロックの符号化パラメータを取得し、次に、符号化パラメータにおける量子化パラメータ最適化イネーブルID、階層レベルインデックス、及び量子化パラメータオフセットパラメータを読み取ることにより、現在の符号化ブロックの量子化パラメータ最適化イネーブルID、階層レベルインデックス、及び量子化パラメータオフセットパラメータの決定効率を向上させるのに有利である。
一可能な例では、前記コードストリームは、パラメータセットコードストリームを含み、後続にコードストリームを復号化するときに、直接コードストリーム内のパラメータセットコードストリームに基づいて、復号化のための対応するパラメータを決定することができ、後続の復号化時の効率を向上させるのに有利である。
一可能な例では、前記パラメータセットは、1つ又は複数の異なる時刻の点群を復号化するためのデータを含み、前記データは、属性データであり、前記パラメータセットは、属性パラメータセットである。このように、復号化側がコードストリームを復号化するとき、直接コードストリーム内のパラメータセットにおける異なる時刻の点群のデータを復号化するためのデータに基づいて復号化することができ、後続の復号化時の効率を向上させるのに有利である。
いくつかの実施例では、上記した現画像ブロックの階層レベルインデックス及び量子化パラメータオフセットパラメータに基づいて、詳細レベルの階層レベルLODに対応する量子化ステップ長Qstepを決定することは、前記現在の符号化ブロックの符号化パラメータ内の量子化パラメータQpを決定することと、現在の符号化ブロックの前記階層レベルインデックス及び前記量子化パラメータオフセットパラメータに基づいて、点群内の各LODの量子化パラメータオフセットを決定することと、前記現在の符号化ブロックの量子化パラメータQp及び前記点群内の各LODの量子化パラメータオフセットに基づいて、前記点群内の各LODに対応する量子化ステップ長Qstepを決定することと、を含む。
ここで、いくつかの実施例では、上記の量子化パラメータオフセットは、量子化パラメータ増分とも呼ばれる。
ここで、量子化パラメータQpは、属性パラメータセットが提供するQPパラメータによって決定され得る。
いくつかの実施例では、現在の符号化ブロックの量子化パラメータQpと量子化ステップ長Qstepとの関係は、下記式2に示す通りである。
実際の適用では、下記式3を使用して量子化ステップ長Qstepを決定することができる。
上記式における「×」は、乗算演算であり、「<<」は、左シフト演算であり、「%」は、剰余演算である。
残差を量子化する場合も、残差を8ビット左シフトしてマッチングを行う。
このように、本例では、まず、現在の符号化ブロックの符号化パラメータ内の量子化パラメータQpを決定し、次に、現在の符号化ブロックの階層レベルインデックス及び量子化パラメータオフセットパラメータに基づいて、各LODの量子化パラメータオフセットを決定し、次に、量子化パラメータQp及び各LODの量子化パラメータオフセットに基づいて、各LODに対応する量子化ステップ長Qstepを決定することにより、量子化ステップ長を決定する柔軟性を向上させるのに有利である。
一可能な例では、前記階層レベルインデックス及び前記量子化パラメータオフセットパラメータに基づいて、各LODの量子化パラメータオフセットを決定することは、現在処理中の詳細レベルのLODが、前記階層レベルインデックスによって制約される階層レベル範囲に属するか否かを判断することであって、前記階層レベル範囲は、複数の詳細レベルにおける最初のN個の階層レベルを含み、Nは、第1閾値より小さいか等しい正の整数である、ことと、属する場合、前記量子化パラメータオフセットパラメータに基づいて、現在処理中の詳細レベルのLODの量子化パラメータオフセットの値jを決定することであって、jは、0より大きく、且つ第2閾値より小さいか等しい正数である、ことと、属さない場合、現在処理中の詳細レベルのLODの量子化パラメータオフセットの値は0であると決定することと、を含む。
つまり、点群のLODをグループ化し、各グループのLODは、1つの量子化ステップ長ルックアップテーブルに対応し、ここで、当該グループに対応する量子化ステップ長ルックアップテーブルには、当該グループ内少なくとも1つのLODに対応する量子化ステップ長が含まれる。現在点が位置する目標LODに対応する目標量子化ステップ長を探し出すとき、まず、当該目標LODが属する目標LODグループを決定し、当該目標LODグループに対応する量子化ステップ長ルックアップテーブルから、目標LODに対応する目標量子化ステップ長を探し出す。
ここで、階層レベルインデックスの値の範囲は、0~LODの数(正の整数)であり、階層レベルインデックスを6とすると、LOD0~LOD5の量子化ステップ長(即ち、最初の6レベルの詳細レベルの量子化ステップ長)は、QP-QpShiftValue(即ち、量子化パラメータ-量子化オフセットパラメータ)から変換される。
また、詳細レベルをさらに複数のグループに分割した場合、例えば、階層レベルインデックスが配列4 5 6である場合、これに対応して、この3つの分割位置に応じて、詳細レベルを4グループに分けることができ、それぞれLOD0~LOD3、LOD4であり、LOD5及びLOD6及びその以降を含む詳細レベルである。異なるグループに対応する量子化パラメータのオフセットの値jは、異なってもよい。
具体的な実装では、量子化パラメータが大きいほど、それに対応する量子化ステップ長が大きくなり、圧縮後のコードストリームの大きさが小さくなる。jが0より大きく、且つ第2閾値より小さいか等しい正数である場合、最初のN個の階層レベルの詳細レベルに対応する量子化パラメータは、下位階層レベルより小さく、これは、後続の上位階層レベルの詳細レベル内の点が、前の下位階層レベルの詳細レベル内の点の再構築値を利用して予測変換を行うことを考慮したもので、前の階層レベルの詳細レベルの量子化ステップ長が長い場合、それに対応する再構築誤差も大きく、このとき、再構築誤差を後続の階層レベルに渡すと、後続の詳細レベル内の点の予測に影響を与え、予測の精度が低下する。したがって、量子化ステップ長Qstepiを決定するとき、下位階層レベルの詳細レベルについては、それに適合するより小さい量子化パラメータに対応する量子化ステップ長を決定して、再構築誤差を低減することができ、また、下位階層レベルの詳細レベル内の点の数が小さいため、小さい量子化ステップ長を採用しても色コードストリームの大きさに大きな影響を与えず、前の階層レベル詳細レベル誤差が小さい場合でも、後続の階層レベルの詳細レベルの予測効果もより良く、このとき、小さい量子化ステップ長を採用せずより良い効果が得られ、適切に大きい量子化ステップ長は、さらにコードストリームの大きさを小さくすることができ、符号化効率への影響を低減することができる。
ここで、第1閾値は、14であり得、第2閾値は、10であり得る。これは、一般的に詳細レベルの総レベル数が11~14であることを考慮したものであり、共通テスト環境CTCが設定した5種類のビットレートの最小QP値が10であるため、jは、0より大きく、且つ第2閾値より小さいか等しい正数であってもよく、これにより、この値を減算した後に負数が発生しないことを保証する。
jは、例えば6又は10であり得る。jの値が大きいほど、Qp-jが小さくなるため、対応する量子化ステップ長も小さくなり、さらに、再構築点の歪みが小さいほど、再構築値の誤差も小さくなり、後の階層レベルの詳細レベル内の点に対する予測もより正確になり、したがって、jが10の場合、予測した結果は正確、即ち、予測効果がより良くなる。もちろん、下位階層レベルの詳細レベル内の点の残差を量子化するとき、6をjの値とすることで、小さい量子化ステップ長を取得して、最初のNレベルの詳細レベル内の点を量子化することもでき、再構築値誤差を減らし、後続の予測精度を向上させるとともに、コードストリーム大きさへの影響を低減するのに有利である。
Nは、例えば6又は8であり得る。量子化ステップ長の減少は、誤差を減らすとともに符号化のコードストリーム大きさを増加させ、符号化効率に影響を与え、したがって、Nの値は、6にすることができ、これは基本的に詳細レベルの総レベル数の半分であり、且つ前の階層レベル内の点の数は比較的少なく、小さい量子化ステップ長を採用して誤差を減らすとともにコードストリームがあまり増加させない。又はNは、8であり、最初の8レイアの詳細レベル内の点を、小さい量子化ステップ長で量子化することにより、再構築値誤差を減らし、後続の予測精度を向上させるとともに、コードストリーム大きさへの影響を低減することができる。
このように、本例では、まず、現在処理中の詳細レベルのLODが、階層レベルインデックスによって制約される階層レベル範囲に属するか否かを判断し、属する場合、量子化パラメータオフセットパラメータに基づいて、現在処理中の詳細レベルのLODの量子化パラメータオフセットの値jを決定し、jは、0より大きく、且つ第2閾値より小さいか等しい正数であり、属さない場合、現在処理中の詳細レベルのLODの量子化パラメータオフセットの値は0であると決定し、より前の階層レベルの詳細レベルについては、より小さい量子化パラメータに対応する量子化ステップ長が適合し、即ち、より前の階層レベルの詳細レベルは、より小さい量子化ステップ長に対応し、より後ろの階層レベルの詳細レベルに対応する量子化ステップ長は、前の階層レベルの量子化ステップ長より大きいため、予測精度を向上させるとともに、符号化効率への影響を低減するのに有利である。
一可能な例では、前記量子化パラメータQpが第3閾値より大きいか等しい場合、jは、第1所定値であり、前記量子化パラメータQpが前記第3閾値より小さい場合、jは、第2所定値である。
ここで、前記第3閾値は、30であり得、前記第1所定値は、10であり得、前記第2所定値は、6であり得る。
つまり、現在の符号化ブロックに対応する量子化パラメータQp自体の大きさに基づいて、セグメント関数を採用する形式でjの値を決定し、例えば、量子化パラメータQpが30より大きいか等しい場合、jは、10であり、Qpが30より小さい場合、jは、6である。
このように、本例では、量子化パラメータQpが30より大きいか等しい場合、jは、10であり、量子化パラメータQpが30より小さい場合、jは、6であり、量子化パラメータQp自体の値に基づいてjの値を決定することにより、jの値を決定する柔軟性を向上させるのに有利である。
一可能な例では、前記階層レベルインデックス及び前記量子化パラメータオフセットパラメータに基づいて、LODの量子化パラメータオフセットを決定することは、現在処理中の詳細レベルのLOD所に対応する階層レベル組み合わせを判断し、前記階層レベルインデックスを照会して、前記現在処理中の詳細レベルのLODの階層レベルインデックスを決定することと、前記処理される詳細レベルのLODの階層レベルインデックスに基づいて、前記量子化パラメータオフセットパラメータを照会し、対応する量子化パラメータオフセットを決定することと、を含む。
ここで、複数の階層レベルグループが存在する場合、例えば、1つのグループの場合、量子化パラメータオフセットパラメータは、3 5 6などの1つの配列であり得、即ち、第1~第4グループの量子化パラメータオフセットは、それぞれ-3、-5、及び-6であり、決定された量子化パラメータがQPである場合、実際の第1~第4グループの量子化パラメータは、それぞれQP-3、QP-5、QP-6、QPである。
ここで、階層レベル組み合わせは、複数あり得、いずれかの階層レベル組み合わせは、前後に隣接する少なくとも2つの階層レベルを含み得、当該複数の階層レベル組み合わせは、当該第1階層レベル組み合わせ及び当該第2階層レベル組み合わせを含み、当該第1階層レベル組み合わせ内の階層レベルは、当該第2階層レベル組み合わせ内の階層レベルの前にあり、当該第1階層レベル組み合わせに対応する量子化パラメータは、当該第2階層レベル組み合わせに対応する量子化パラメータより小さく、異なる階層レベル組み合わせは、異なる量子化パラメータに対応するため、異なる階層レベルの詳細レベルに対応する量子化ステップ長をさらに細分化し、量子化ステップ長を決定する柔軟性を向上させるのに有利である。
ここで、第1階層レベル組み合わせは、複数の詳細レベル内の最初の2つの階層レベルを含み得、当該第1階層レベル組み合わせに対応する量子化ステップ長は、1である。最初の2つの階層レベルは、可逆量子化を採用することができるため、誤差をさらに減らし、後続の予測精度を向上させるのに有利であり、また、最初の2つの階層レベル内の点の数が少ないため、コードストリーム大きさに大きな影響を与えない。
ここで、複数の階層レベル組み合わせは、前から後ろに並べ替えられた第1階層レベル組み合わせ、第2階層レベル組み合わせ、第3階層レベル組み合わせ、及び第4階層レベル組み合わせを含み得、また、いずれかの階層レベル組み合わせには、前後に隣接する少なくとも2つの階層レベルを含み、第1階層レベル組み合わせは、オリジナル量子化ステップ長の1/sqrt(4)を、本階層レベルの量子化ステップ長とし、オリジナル量子化ステップ長は、量子化パラメータQpに基づいて決定される量子化ステップ長を指し、第2階層レベル組み合わせは、オリジナル量子化ステップ長の1/sqrt(3)を、本階層レベルの量子化ステップ長とし、第3階層レベル組み合わせは、オリジナル量子化ステップ長の1/sqrt(2)を、本階層レベルの量子化ステップ長とし、第4階層レベル組み合わせは、オリジナル量子化ステップ長を、本階層レベルの量子化ステップ長とする。
例えば、オリジナル量子化ステップ長、即ち、現在の符号化ブロックに対応する量子化パラメータQpに基づいて決定される量子化ステップ長がα(αは正の整数)である場合、第1階層レベル組み合わせ、第2階層レベル組み合わせ、第3階層レベル組み合わせ、及び第4階層レベル組み合わせは、それぞれα/sqrt(4)、α/sqrt(3)、α/sqrt(2)、αを、当該階層レベルの量子化ステップ長として採用し、階層レベル組み合わせが後になるほど、対応する量子化ステップ長は長くなり、同一階層レベル組み合わせ内の異なる階層レベルは、同じ量子化ステップ長を採用する。異なる階層レベルの詳細レベルに対応する量子化ステップ長をさらに細分化して、量子化ステップ長を決定する柔軟性を向上させる。
このように、本例では、量子化パラメータオフセットを決定するとき、まず、詳細レベルの階層レベルに対応する階層レベル組み合わせを判断し、次に、当該階層レベル組み合わせ内の詳細レベルに対応する階層レベルインデックスをさらに決定し、さらに、対応する階層レベルインデックスに基づいて、量子化パラメータオフセットパラメータを照会して、対応する量子化パラメータオフセットを決定し、異なる階層レベル組み合わせは、異なる量子化パラメータオフセットに対応するため、異なる階層レベルの詳細レベルに対応する量子化ステップ長をさらに細分化し、量子化ステップ長を決定する柔軟性を向上させるのに有利である。
いくつかの実施例では、本願は、量子化パラメータ最適化イネーブルIDをさらに含み、量子化パラメータ最適化イネーブルIDは、上記の第1量子化方式を採用して量子化が可能であるか否かを示すために使用され、例えば、量子化パラメータ最適化イネーブルIDは、enableProgressiveQpであり得、0又は1の2つの値をとることができる。
ステップS207において、現在点の第1量子化重みを決定する。
いくつかの実施例では、説明を簡単にするために、前記現在点の量子化重み及び前記現在点の量子化ステップ長に基づいて、前記予測残差値を量子化する前の予測値を、予測残差値と呼び、前記現在点の量子化重みに基づいて、前記予測残差値を処理した後、且つ前記現在点の量子化ステップ長に基づいて、前記予測残差値を処理する前の予測値を、重み付け残差値と呼び、前記現在点の量子化重み及び前記現在点の量子化ステップ長に基づいて、前記予測残差値を量子化した後の予測値を、量子化残差値と呼ぶ。もちろん、上記の命名方式は、本願の一例に過ぎず、本願に対する制限として理解されるべきではない。本願の代替実施例では、前記量子化残差値は、重み付け量子化残差値とも呼ばれ得、さらには、直接残差値と呼ぶこともできる。
いくつかの実施例では、上記のステップS207は、前記現在点のインデックスを決定することと、前記現在点のインデックスに対応する量子化重みを、前記現在点の第1量子化重みとして決定することと、を含む。
要するに、エンコーダは、点のインデックスに基づいて、点の第1量子化重みを取得することができる。
例示的に、前記点群の量子化重みは、配列として記憶され、前記配列の次元は、前記点群内の点の数と同じである。例えば、QuantWeight[index]は、点のインデックスがindexである量子化重みを表し、この場合、QuantWeight[ ]は、前記点群内のすべての点の量子化重みを記憶した配列として理解でき、前記配列の次元は、前記点群内の点の数と一致し、点のインデックスを介して点の量子化重みを照会することができる。
本願のいくつかの実施例では、前記点群を1つ又は複数のLODに分割し、各LODは、1つ又は複数の点を含み、前記複数のLOD内の最初のMレベルのLOD内の点の第1量子化重みの初期値は、前記複数のLOD内の残りのLOD内の点の第1量子化重みの初期値より大きい。Mは、0より大きい整数である。例えば、最初の7レベルのLOD内の各点の第1量子化重みの初期値を、512と設定し、残りのLOD内の各点の第1量子化重みの初期値を、256と設定する。
一実現形態では、前記点群の符号化順序の逆順に従って、前記点群内の点をトラバースすることにより、現在点の第1量子化重みに基づいて前記現在点のN個の最近傍点の第1量子化重みを更新し、Nは、0より大きい整数である。例えば、現在点については、前記現在点の第1量子化重みに基づいて、前記現在点のN個の最近傍点のそれぞれの第1量子化重みを更新し、Nは、0より大きい整数である。一実現形態では、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得し、前記影響重みは、前記現在点及び前記N個の最近傍点の位置情報に依存し、前記現在点の第1量子化重み及び前記N個の最近傍点のそれぞれに対する前記現在点の影響重みに基づいて、前記N個の最近傍点の第1量子化重みを更新する。一実現形態では、前記点群の属性パラメータセットは、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを含み、前記属性パラメータセットを照会することにより、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得する。
例示的に、前記点群内の各点の第1量子化重みの初期値は、所定値である。
なお、本願実施例は、初期値の具体的な値を限定しない。一例として前記初期値は、256、512又は他の特定の値であってもよい。256に初期化することは、前記点群内のすべての点の量子化重みの値を256に設定することである。
エンコーダが前記点群内の各点を逆順にトラバースした後、各点の第1量子化重みは、前記点群の点の属性情報を予測するプロセスにおける重要度に応じて更新され、重要な点ほどその量子化重みの値が大きい。
例えば、図9に示すように、前記点群内のすべての点の第1量子化重みの初期値を256に設定し、次に、符号化順序の逆順に各点をトラバースして、その3つの最近傍点の第1量子化重みを更新すると仮定し、現在トラバースされている点インデックスがindexであり、現在点の3つの最近傍点のインデックスがそれぞれindexN1、indexN2、indexN3であると仮定すると、現在点P1の3つの最近傍点P10、P3、P11の第1量子化重みは、次のように表記できる。
現在点P1の第1量子化重みを利用して、次の方式でその3つの最近傍点の第1量子化重みを更新する。
例示的に、kの値は、8である。
ここで、16、8、4は、それぞれ第1、2、3最近傍点に対する現在点の影響重みであり、当該影響重みは、構文として点群の属性パラメータセットに定義され得、即ち、属性パラメータセットによって影響重みの値を設定することができる。エンコーダは、属性情報の符号化プロセスにおいて、前記属性パラメータセットをアクティブ化又はアクセスし、次に、前記属性パラメータセットから点の影響重みの値を呼び出すことができる。本願実施例は、k及び影響重みの具体的な値を限定するものではなく、上記の数字は例示的な説明に過ぎず、本願の制限として理解されるべきではない。例えば、本願の代替実施例では、第1、2、3最近傍点の影響重みを、それぞれ64、32、16に変更することもできる。現在点の第1量子化重みが256で、最近傍点0(即ち、第1最近傍点)の第1量子化重みも256で、(32×256)≫8の結果が32、即ち、演算結果が右に8ビットシフトすると仮定すると、このとき、最近傍点0の量子化重みは、256+32=288に更新され、この結果は、点群のすべての点の量子化重みを含む配列QuantWeight[]に同時に保存され得、最近傍点0をトラバースすると、第1量子化重み288を使用して最近傍点0の3つの隣接点を更新する。
下記において、表5を参照して属性パラメータセットの構文について説明する。
ステップS208において、目標量子化ステップ長及び第1量子化重みに基づいて、現在点の属性情報の残差値を量子化して、現在点の属性情報の量子化残差値を取得する。
本願のいくつかの実施例では、上記のステップS204及びステップS403は、次のステップC1及びステップC2を含む。
ステップC1において、前記現在点の第1量子化重みに基づいて、前記現在点の第2量子化重みを決定する。
ステップC2において、前記目標量子化ステップ長及び前記第2量子化重みに基づいて、前記現在点の属性情報の量子化残差値を逆量子化して、前記再構築残差値を取得する。
例示的に、前記第2量子化重みは、前記現在点の目標量子化ステップ長より小さいか等しく、ここで、現在点の目標量子化ステップ長は、現在点が位置する目標LODの目標量子化ステップ長である。
本願実施例では、前記現在点の目標量子化ステップ長が小さく設定されている場合、前記現在点の第1量子化重みは、目標量子化ステップ長を超える可能性があり、このとき、第1量子化重み及び目標量子化ステップ長のうちの小さい値を使用して、第2量子化重みを取得する必要があり、これにより、エンコーダは、予測残差値に対して量子化操作を行うことを保証、即ち、エンコーダの符号化性能を保証する。
例示的に、前記第2量子化重みの値は、2の整数乗に等しい。
例示的に、前記現在点の第1量子化重みの値は、2の整数乗に等しくなく、前記現在点の第1量子化重みの値に基づいて、前記現在点の第1量子化重みに最近接する2の整数乗を、前記第2量子化重みとして決定する。
例えば、前記現在点の第1量子化重みの値が18であると仮定すると、ハードウェアの実装を容易にするために、18をそれと最も近い2の整数乗、即ち、16又は32に変換することができ、例えば、18を16に変換し、即ち、18を16に置き換える。前記現在点の第1量子化重みの値が30であると仮定すると、30と最も近い2の整数乗は32になり、このとき、前記現在点の第1量子化重みは、32に変換され、2の整数乗については、2進シフト操作により適応量子化を実現でき、ハードウェアの実装が容易になる。
本願実施例では、前記第2量子化重みの値を、2の整数乗に構成することにより、重み付けの乗算演算をシフト演算として処理することができ、エンコーダの処理効率を向上させ、エンコーダの性能をさらに向上させることができる。
なお、本願の別の代替実施例では、まず、現在点の量子化重み及び現在点の目標量子化ステップ長から最小値を取り、次に、前記最小値に最も近い2の整数乗を、前記第2量子化重みとして決定する。もちろん、他の方法により第2量子化重みを決定することもでき、本願実施例はこれを限定しない。例えば、前記現在点の第1量子化重みを、直接前記現在点の第2量子化重みとして決定することができる。
いくつかの実施例では、前記ステップC2は、前記第2量子化重みに前記予測残差値を乗算して、重み付け残差値を取得することと、前記現在点の目標量子化ステップ長を利用して前記重み付け残差値を量子化して、前記量子化残差値を取得することと、を含む。
具体的には、エンコーダは、予測変換により現在点の属性情報の予測値を取得し、現在点の属性情報の真の値を知ることができ、真の値から予測値を減算することにより、現在点の属性情報の予測残差値を取得することができ、予測残差値と第2量子化重みを乗算して重み付け予測残差値を取得し、量子化ステップ長を利用して重み付け予測残差値を量子化して、量子化重み付け予測残差値、即ち、量子化残差値を取得し、次いで現在点の量子化残差値をエントロピー符号化してコードストリームに書き込むことができる。
これに対応して、デコーダは、まず、再構築された位置情報に基づいて点群内の各点の第1量子化重みを計算し、目標量子化ステップ長と比較して各点の第2量子化重みを決定し、次に、コードストリームを解析して現在点の量子化残差値を取得し、逆量子化して重み付け予測残差値を取得し、重み付け予測残差値を第2量子化重みで除算して予測残差値を取得し、デコーダは、予測変換により現在点の属性情報の予測値を決定し、次いで現在点の属性情報の予測値及び予測残差値に基づいて、現在点の属性情報の再構築値を取得し、デコーダは、現在点の属性情報の再構築値を取得した後、次の点を順次トラバースして復号化及び再構築を行う。
以上より、本願実施例では、エンコーダは、量子化前に、予測残差値に第2量子化重みを乗算して重み付けを行い、デコーダは、量子化の後、逆量子化された重み付け予測残差値から第2量子化重みを除算して重み付け影響を除去して、予測残差値を取得する。なお、量子化は可逆的ではないため、デコーダが得られる重み付け予測残差値は、必ずしもエンコーダが得られる重み付け予測残差値と等しいものではない。
本願のいくつかの実施例では、前記ステップC2は、前記現在点の第2量子化重みに基づいて、前記目標量子化ステップ長を更新することと、前記更新された量子化ステップ長に基づいて、前記現在点の属性情報の残差値を量子化することと、を含み得る。
ステップS209において、現在点の量子化残差値を符号化して、属性コードストリームを生成する。
本願実施例では、現在点のジオメトリ情報に基づいて現在点が位置する目標LODを決定し、当該目標LODに対応する目標量子化ステップ長を決定し、当該目標量子化ステップ長は、量子化パラメータ増分によって決定されるものであるため、量子化ステップ長を決定する柔軟性を向上させる。また、本実施例では、前記現在点の量子化ステップ長を重み付けするための第1量子化重みを導入し、現在点の量子化重みを導入することにより、現在点の第1量子化重みに基づいて、現在点の目標量子化ステップ長を補正し、即ち、現在点の重要度に応じて現在点の目標量子化ステップ長を適応的に調整することができ、さらに、調整された目標量子化ステップ長に基づいて、現在点の残差値を量子化し、点群内の点の属性情報を予測するプロセスにおいて、符号化順序の前寄りにある点については、予測において重要である場合、量子化ステップ長が大きすぎることを回避でき、さらに、大きい再構築誤差が生じることを回避することができ、量子化重みの高い点は、小さい量子化ステップ長を採用して量子化を行い、再構築誤差を低減し、符号化順序の後寄りにある点については、予測精度を向上させ、符号化効果を向上させることができる。
本願によって提供される技術方案に基づき、G-PCCリファレンスソフトウェアTMC13 V11.0上でテストを行い、CTC CYテスト条件下でMPEG(Moving Picture Experts Group)が要求するテストシーケンスの一部をテストし、テスト結果は、下記表6に示す通りであり、以下では、表6を参照して性能向上効果について説明する。
ここで、cat1-A点群シーケンス内の点は、色属性情報及び反射率属性情報などの他の属性情報を含み、cat1-B点群シーケンス内の点は、色属性情報を含む。BD-AttrRateは、ビデオ符号化アルゴリズムの性能を評価する主要なパラメータの1つであり、新しいアルゴリズム(即ち、本願の技術方案)で符号化したビデオのオリジナルアルゴリズムに対するビットレート及びピーク信号対雑音比(PSNR:Peak ステップSignal to Noise Ratio)上での変化、即ち、新しいアルゴリズムとオリジナルアルゴリズムの信号対雑音比が同じ場合のビットレートの変化を表す。「-」は、ビットレート及びPSNR性能向上などの、性能向上を表す。表6に示すように、cat1-A点群シーケンスについては、本願の技術方案を採用し、従来技術に比べて、輝度成分で0.8%、色度成分Cbで4.1%、色度成分Crで5.4%の性能が向上している。「平均値」は、cat1-A点群シーケンス及びcat1-B点群シーケンスの性能向上の平均値を表す。
実施例3
目標量子化方式が第1量子化方式及び第3量子化方式を含む場合、本願実施例の点群符号化プロセスは、図10に示す通りである。
目標量子化方式が第1量子化方式及び第3量子化方式を含む場合、本願実施例の点群符号化プロセスは、図10に示す通りである。
図10は、本願の一実施例による点群符号化方法のフローチャートであり、図10に示すように、次のステップを含む。
ステップS301において、点群内の点のジオメトリ情報及び属性情報を取得する。
ステップS302において、点群内の各点のジオメトリ情報に基づいて、点群に対してLOD分割を行い、点群のマルチレベルのLODを取得し、ここで、各LODは、少なくとも1レベルの詳細表現レベルを含み、各レベルの詳細表現には、少なくとも1つの点が含まれる。
ステップS303において、点群内の現在点の属性情報の予測値を決定する。
ステップS304において、現在点の属性情報の予測値及び属性情報のオリジナル値に基づいて、現在点の属性情報の残差値を決定する。例えば、現在点の属性情報のオリジナル値と属性情報との差分を、現在点の属性情報の残差値として決定する。
ここで、上記のステップS301~ステップS304の実現プロセスは、上記のステップS201~ステップS204の説明を参照でき、ここでは繰り返して説明しない。
ステップS305において、現在点のジオメトリ情報に基づいて、現在点が位置する目標LODを決定する。
ステップS306において、現在点が可逆符号化された点に属するか否かを判断し、現在点が非可逆符号化された点に属すると決定する場合、次のステップS307~ステップS309を実行し、現在点が可逆符号化された点に属すると決定する場合、次のステップS310を実行する。
ステップS307において、目標LODに適合する目標量子化ステップ長を決定する。具体的には、上記のステップS206の説明を参照でき、ここでは繰り返して説明しない。
ステップS308において、目標量子化ステップ長に基づいて、現在点の属性情報の残差値を量子化して、現在点の属性情報の量子化残差値を取得する。
ステップS309において、現在点の量子化残差値を符号化して、属性コードストリームを生成する。
ステップS310において、現在点の残差値を可逆符号化して、属性コードストリームを生成する。
量子化は、属性情報の再構築値に誤差を与えるため、後続の属性情報予測の精度を低下させ、それにより、属性情報全体の符号化効果を低下させる。この技術的問題を解決するために、本願は、点群内の少なくとも1つの点の属性情報の残差値を可逆符号化することにより、属性情報の再構築値に対する量子化の影響を低減し、さらに、属性情報予測の精度を向上させ、属性コードストリーム大きさに大きな影響を与えることなく、それにより、属性情報の符号化効果を向上させる。
下記において、本願に係る可逆符号化プロセスについて説明する。
なお、本願において、点の属性情報の残差値を可逆符号化することは、点の属性情報の残差値を量子化しないこととも言える。
本願では、属性情報の残差値が可逆符号化された点の数については制限せず、例えば、点群内の一部の点の属性情報の残差値を量子化し、一部の点の属性情報の残差値を量子化しない(即ち、可逆符号化する)か、又は、点群内のすべての点の属性情報の残差値を量子化しない(即ち、可逆符号化)。
一例では、上記の属性情報の残差値が可逆符号化された少なくとも1つの点は、N個の点を含み得る。
例示的に、当該Nは、2の整数倍であり、例えば、点群内の2つ、4つ、16個又は24個の点の属性情報の残差値を可逆符号化する。
例示的に、上記のN個の点は、点群内の任意のN個の点であり得、例えば、並べ替えられた点群内の連続するN個の点であってもよいし、ランダムに選択されたN個の点であってもよいし、指定されたN個の点であってもよいし、所定の点間隔に従って選択したN個の点であってもよいし、ここで、点間隔は、不均一間隔であってもよい。
例示的に、上記のN個の点における各隣接する2つの点間の間隔は等しく、例えば、上記の点群は、1200個の点を含み、Nを24とすると、これら24個の点間の間隔は等しく、いずれも50個の点である。
いくつかの実施例では、所定間隔に基づいて、点群内の所定間隔ごとの点の属性情報の残差値を可逆符号化する。例えば、上記の点群が1200個の点を含み、所定間隔が10である場合、並べ替えられた点群内の10個の点ごとの点の属性情報の残差値を可逆符号化する。例示的に、1200個の点のうちの第1点を、最初の、属性情報の残差値が量子化されていない点とし、10個の点間隔で、第11点を2番目の属性情報の残差値が量子化されていない点とし、このように類推する。例示的に、1200個の点のうちの11番目の点を、最初の属性情報の残差値が可逆符号化された点とし、10個の点間隔で、第21点を2番目の属性情報の残差値が可逆符号化された点とし、このように類推する。
いくつかの実施例では、本願実施例はさらに、マルチレベルの詳細表現レベルのうちの少なくとも1レベルの詳細表現レベル内の少なくとも1つの点の属性残差値を可逆符号化する、ステップS3061をさらに含む。
いくつかの実施例では、上記のステップS3061は、マルチレベルの詳細表現レベル内の1つの詳細表現のうちの少なくとも1つの点の属性残差値を可逆符号化するか、又は、マルチレベルの詳細表現レベルにおける部分詳細表現レベル内の少なくとも1つの点の属性残差値を可逆符号化し、マルチレベルの詳細表現レベルおける部分詳細表現レベル内の各点の属性残差値を量子化するか、又は、マルチレベルの詳細表現レベル内の各レベルの詳細表現レベル内の少なくとも1つの点の属性残差値を可逆符号化することを含み得る。
いくつかの実施例では、上記のステップS3061は、ステップS3061-A1、ステップS3061-A2、及びステップS3061-A3を含む。
ステップS3061-A1において、マルチレベルの詳細表現レベルに含まれる点の総数が第1所定値より小さいか等しい少なくとも1つの第1タイプの詳細表現レベル、及び含まれる点の総数が第1所定値より大きい少なくとも1つの第2タイプの詳細表現レベルを取得し、第1所定値の具体的な値は、実際の必要に応じて決定され、本願はこれらを限定しない。
ステップS3061-A2において、第1タイプの詳細表現レベル内のすべての点の属性情報の残差値を可逆符号化する。
ステップS3061-A3において、第2タイプの詳細表現レベル内の少なくとも1つの点の属性情報の残差値を可逆符号化する。
以上より、マルチレベルの詳細表現レベルの各レベルに含まれる点の数は、同じであっても異なってもよいことが分かる。これに基づき、マルチレベルの詳細表現レベルの各レベルの詳細表現レベルに含まれる総数に基づいて、マルチレベルの詳細表現レベルを、第1タイプの詳細表現レベル及び第2タイプの詳細表現レベルに分割し、ここで、第1タイプの詳細表現レベルに含まれる点の総数は、第1所定値より小さいか等しく、第2タイプの詳細表現レベルに含まれる点の総数は、第1所定値より大きい。例えば、点群をLOD分割して、14レベルの詳細表現レベルを取得し、総数の昇順にすると、詳細表現レベルに含まれる点の数は、1、6、28、114、424、1734、10000……の順である。第1所定値を24とすると、図9に示すように、上記の14レベルの詳細表現レベルのうち、最初の2レベルの詳細表現レベル(即ち、1つの点を含む第1レベルの詳細表現レベル及び6つの点を含む第2レベルの詳細表現レベル)を、第1タイプの詳細表現レベルに分割して、2つの第1タイプの詳細表現レベルを取得し、上記の14レベルのうち、残りの12レベルの詳細表現レベル(即ち、28つの点を含む第3レベルの詳細表現レベル、及び第3レベルの詳細表現レベルの後の他の詳細表現レベル)を、第2タイプの詳細表現レベルに分割して、12個の第2タイプの詳細表現レベルを取得する。
第1タイプの詳細表現レベル内のすべての点の属性情報の残差値を量子化せず、例えば、上記のレベルの詳細表現レベルの最初の2レベルの詳細表現レベル内のすべての点の属性情報の残差値を可逆符号化する。
第2タイプの詳細表現レベル内の少なくとも1つの点の属性情報の残差値を量子化せず、例えば、上記の14レベルの詳細表現レベルの最後の2レベルの各レベルうちの少なくとも1つの点の属性情報の残差値を可逆符号化する。属性情報の残差値が可逆符号化された点を選択する場合、異なる第2タイプの詳細表現レベルは、異なるスキップ量子化(skip quantization)選択方式を採用でき、例えば、各レベルの第2タイプの詳細表現レベルは、異なる選択方式がある。例示的に、異なる第2タイプの詳細表現レベルは、同じスキップ量子化(skip quantization)選択方式を採用でき、例えば、各レベルの第2タイプの詳細表現レベルの選択方式は同じである。
いくつかの実施例では、符号化側と復号化側の整合性を保つために、符号化側は、上記の第1タイプの詳細表現レベル及び第2詳細表現レベルの関連情報を属性コードストリームで運ぶことができる。このようにして、復号化側は、属性コードストリームから第1タイプの詳細表現レベル及び第2詳細表現レベルの関連情報を解析し、解析された第1タイプの詳細表現レベル及び第2詳細表現レベルの関連情報に基づいて、点の属性情報の再構成を行うことができる。
いくつかの実施例では、各第2タイプの詳細表現レベルにおける、属性情報の残差値が可逆符号化された点の数が同じである場合、上記のステップS3061-A3は、ステップS3061-A3-1を含む。
ステップS3061-A3-1において、第2タイプの詳細表現レベル内のM個の点の属性情報の残差値を可逆符号化し、ここで、Mは、2の正の整数倍であり、例えば、2、4、24、32などである。
例示的に、同じレベルの第2タイプの詳細表現レベル内のM個の点における隣接する2つの点間の間隔は等しい。例えば、第2詳細表現レベル1は、200個の点を含み、第2詳細表現レベル2は、300個の点を含み、Mが10と等しいとすると、第2詳細表現レベル1内の20個の点の属性情報の残差値に対して、最初の点、11番目の点、21番目の点、31番目の点……181番目の点、191番目の点の順に可逆符号化を行い、隣接する2つの属性情報の残差値が可逆符号化された点間の間隔は、10個の点である。第2詳細表現レベル2内の30個の点の属性情報の残差値に対して、最初の点、11番目の点、21番目の点、31番目の点……281番目の点、291番目の点の順に可逆符号化を行い、隣接する2つの属性情報の残差値が可逆符号化された点間の間隔は、10個の点である。
いくつかの実施例では、次のプログラムに従って、上記のMを符号化側の属性パラメータセットに追加することにより、符号化パラメータによって各第2タイプの詳細表現レベルにおける等間隔で量子化されていない点の具体的な値を設定することができる。
いくつかの実施例では、少なくとも1つの第2タイプの詳細表現レベルが、L個の第2タイプの詳細表現レベルを含み、異なる第2タイプの詳細表現レベルにおける、属性情報の残差値が可逆符号化された点の数が異なる場合、上記のステップS3061-A3は、ステップS3061-A3-2及びステップS3061-A3-3を含む。
ステップS3061-A3-2において、P個の第2タイプの詳細表現レベルの各第2タイプの詳細表現レベルにおける第1数の点の属性情報の残差値を可逆符号化する。
ステップS3061-A3-3において、Q個の第2タイプの詳細表現レベルの各第2タイプの詳細表現レベルにおける第2数の点の属性情報の残差値を可逆符号化する。
ここで、Lは、2より大きいか等しい正の整数であり、P、Qは、いずれも正の整数であり、且つPとQとの和は、Lより小さいか等しく、P個の第2タイプの詳細表現レベルは、Q個の第2タイプの詳細表現レベルと重ならず、第1数は、第2数とは異なる。
上記P個の第2タイプの詳細表現レベルは、L個の第2タイプの詳細表現レベルのうちの任意のP個の第2タイプの詳細表現レベルであり得、このP個の第2詳細表現レベルは、連続する第2タイプの詳細表現レベルであってもよいし、連続しない第2タイプの詳細表現レベルであってもよい。
上記Q個の第2タイプの詳細表現レベルは、L個の第2タイプの詳細表現レベルのうち、P個の第2タイプの詳細表現レベルを除いた任意のQ個の第2タイプの詳細表現レベルであり得、このQ個の第2詳細表現レベルは、連続する第2タイプの詳細表現レベルであってもよいし、連続しない第2タイプの詳細表現レベルであってもよい。
例えば、図11に示すように、Lは12であり、この12個の第2タイプの詳細表現レベルからP個(例えば、P=7)の第2タイプの詳細表現レベルを任意に選択し、残りの7つの第2タイプの詳細表現レベルからQ個(例えば、Q=7)の第2タイプの詳細表現レベルを任意に選択する。
一例では、P個の第2タイプの詳細表現レベルは、L個の第2タイプの詳細表現レベルにおける最初のP個の第2タイプの詳細表現レベルである。
一例では、Q個の第2タイプの詳細表現レベルは、L個の第2タイプの詳細表現レベルにおける最後のQ個の第2タイプの詳細表現レベルである。
引き続き図11を参照すると、12個の第2タイプの詳細表現レベルにおける最初のP個(例えば、P=7)の第2タイプの詳細表現レベルを、上記P個の第2タイプの詳細表現レベルとし、12個の第2タイプの詳細表現レベルにおける最後のQ個(例えば、Q=7)の第2タイプの詳細表現レベルを、Q個の第2タイプの詳細表現レベルとする。ここで、P個の第2タイプの詳細表現レベルの間は互いに連続し、Q個の第2タイプの詳細表現レベルの間は互いに連続する。
いくつかの実施例では、図11に示すように点群のマルチレベルの詳細表現レベルが14レベルの詳細表現を含む場合、Pは、7又は8を取ることができる。
一例では、P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルは、Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルに隣接する。例えば、図11に示すように、P=7、Q=7とすると、P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルは、第7レベルの詳細表現レベルであり、Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルは、第8レイアの詳細表現レベルであり、第7レベルの詳細表現レベルは、第8レイアの詳細表現レベルに隣接する。
以上の方法により、L個の第2タイプの詳細表現レベルを、P個の第2タイプの詳細表現レベル及びQ個の第2タイプの詳細表現レベルに分割し、P個の第2タイプの詳細表現レベルの各第2タイプの詳細表現レベルについては、当該第2タイプの詳細表現レベルにおける第1数の点の属性情報の残差値を量子化しない。Q個の第2タイプの詳細表現レベルの各第2タイプの詳細表現レベルについては、当該第2タイプの詳細表現レベルにおける第2数の点の属性情報の残差値を量子化しない。
P個の第2タイプの詳細表現レベルがQ個の第2タイプの詳細表現レベルの前に位置する場合、第1数は、第2数より大きく、例えば、第1数は、24、32又は64であり、対応する第2数は、8、16又は32である。これは、属性情報の予測プロセスにおいて、図8に示すように、レベル数の昇順に従ってマルチレベルの詳細表現レベルを並べ替え、点群のLOD順序を取得し、点群のLOD順序に従って属性情報を符号化する。予測のプロセスにおいて、LOD順序における前寄りの点が、後続の予測のプロセスで基準点として使用される可能性が高く、したがって、属性情報の再構築値に対する量子化の影響を低減するために、前寄りのP個の第2タイプの詳細表現レベル内のより多い点の属性情報の残差値を量子化しない。一方、冗長性を解消するために、後寄りのQ個の第2タイプの詳細表現レベル内の少ない点の属性情報の残差値を量子化しない。
いくつかの実施例では、第1数は、第2数の正の整数倍であり、例えば、第1数は、第2数の3倍又は2倍であり、例えば、第1数は24で、第2数は8である。
一例では、P個の第2タイプの詳細表現レベルの各第2タイプの詳細表現レベルの第1数の点における隣接する2つの点間の間隔は等しい。
一例では、Q個の第2タイプの詳細表現レベルの各第2タイプの詳細表現レベルの第2数の点における隣接する2つの点間の間隔は等しい。
本実施例では、実際の量子化プロセスにおいて、次の方式で量子化を行うことができる。
方式1において、点群内の点の属性情報の残差値を量子化するプロセスにおいて、属性情報の残差値が可逆符号化された少なくとも1つの点をスキップする。
方式2において、属性情報の残差値が可逆符号化された少なくとも1つの点の量子化ステップ長を1に設定する。
方式3において、属性情報の残差値が可逆符号化された少なくとも1つの点の量子化パラメータQPを目標値に設定し、目標値は、量子化ステップ長が1であるときに対応するQP値である。
量子化ステップ長は、量子化パラメータQP値によって計算して得られるため、QP値は通常、構成ファイルによって事前に設定される。これに基づき、QPを、量子化ステップ長が1であるときに対応するQP値に設定することができる。
いくつかの実施例では、当該属性コードストリームは、第1情報を含み、当該第1情報は、属性情報の残差値を可逆符号化する点を示すために使用される。
いくつかの実施例では、第1情報は、属性情報の残差値が可逆符号化された点の識別情報を含み、例えば、点群には、100個の属性情報の残差値が可逆符号化された点を含み、このようにして、これら100個の点の識別情報は、属性コードストリームで運ばれる。復号化側は、属性コードストリームを解析して、属性情報の残差値が可逆符号化された点の識別情報、これら点の属性情報の残差値を取得した後、当該識別情報に対応する点の属性情報の残差値を量子化せず、これら点の属性情報の残差値を直接使用して、属性情報の再構築を行うことにより、符号化側とのとの整合性を保つ。
いくつかの実施例では、第1情報は、属性情報の残差値が可逆符号化された点の総数、例えば、上記Nを含む。
いくつかの実施例では、L個の第2タイプの詳細表現レベルの各レベルに含まれる属性情報の残差値が可逆符号化された点の数が同じであり、これら点間が等間隔に配列された場合、第1情報は、各第2タイプの詳細表現レベルにおける属性情報の残差値が等間隔に可逆符号化された点の具体的な数(num)を含み、即ち、属性コードストリームでnumを運ぶ。
本例では、第2タイプの詳細表現レベルにおける最初の属性情報の残差値が可逆符号化された点が、当該第2詳細表現レベル内の最初の点でない場合、上記第1情報はさらに、最初の属性情報の残差値が可逆符号化された点の識別情報も運ぶ必要がある。
いくつかの実施例では、P個の第2タイプの詳細表現レベル及びQ個の第2タイプの詳細表現レベルにおいて、可逆符号化された点がいずれも等間隔に配列した場合、上記第1情報はさらに、第1数及び第2数、及びP個の第2タイプの詳細表現レベルとQ個の第2タイプの詳細表現レベルの分割情報を含む。
本例では、P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルが、Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルに隣接する場合、上記分割情報はさらに、Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルの識別情報を含むか、又は、P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルの識別情報を含むか、又は、P及び/又はQを含む。このように、復号化側は、これらの情報に基づいて、L個の第2タイプの詳細表現レベルから、P個の第2タイプの詳細表現レベル及びQ個の第2タイプの詳細表現レベルを決定し、さらに、P個の第2タイプの詳細表現レベルの各レベルにおける第1数の等間隔の点の属性情報の残差値を可逆符号化し、Q個の第2タイプの詳細表現レベルの各レベルにおける第2数の等間隔の点の属性情報の残差値を可逆符号化することができる。
本例では、第1情報はさらに、各第2タイプの詳細表現レベルにおける、最初の属性情報の残差値が量子化されて可逆符号化された点の識別情報を含み得る。
上記した実施例に基づき、本願の一具体的な実施例では、点群の符号化プロセスは、符号化側が、現在点が最初の7レベルのLODに属するか否かを判断し、第3量子化方式に基づいて、当該現在点が量子化されていない点であるか否かを判断することを含む。
現在点が最初の7レベルのLODに属し、当該現在点が量子化されていない点でない場合、現在の符号化パラメータのQP値を読み取り、次に、現在点が属する目標LODのDeltaQP値を加算し、QP+DeltaQPを対応するQstepに変換し、量子化しない点である場合、この点のQstep=1(即ち、量子化が必要ない)である。
現在点が最初の7レベルのLODに属さず、当該現在点が量子化されていない点でない場合、現在の符号化パラメータのQP値を読み取り、QPを対応するQstepに変換し、現在点が量子化されていない点である場合、この点のQstep=1(即ち、量子化が必要ない)である。次に、上記の決定された量子化ステップ長を使用して現在点の属性情報の残差値を量子化する。
本願実施例では、第1量子化方式と第3量子化方式を組み合わせることができ、具体的には、前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定し、前記現在点が非可逆符号化された点に属すると決定する場合、前記目標LODに適合する目標量子化ステップ長を決定し、前記目標量子化ステップ長に基づいて、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得する。前記現在点が可逆符号化された点に属すると決定する場合、現在点の属性情報の残差値を可逆符号化する。本実施例では、現在点のジオメトリ情報に基づいて現在点が位置する目標LODを決定し、当該目標LODに対応する目標量子化ステップ長を決定し、当該目標量子化ステップ長は、量子化パラメータ増分によって決定されるものであるため、量子化ステップ長を決定する柔軟性を向上させる。また、点群内の少なくとも1つの点の属性情報の残差値を可逆符号化する(即ち、量子化しない)ことにより、属性情報の再構築値に対する量子化の影響を低減し、さらに、属性情報予測の精度を向上させる。
本願の技術方案がG-PCCリファレンスソフトウェアTMC13 V11.0上で実現された後、汎用テスト構成CTC CYテスト条件下でMPEGが要求する部分点群テストシーケンス(cat1-A)をテストし、テスト結果を表7に示す。
ここで、cat1-A点群シーケンス内の点は、色属性情報及び他の属性情報を含む。表7に示すように、cat1-A点群シーケンスについては、本願の技術方案を採用し、従来技術に比べて、輝度成分、色度成分Cb、色度成分Crの性能がいずれも向上している。
実施例4
目標量子化方式が、第1量子化方式、第2量子化方式、及び第3量子化方式を含む場合、本願実施例の符号化プロセスは、図13に示す通りである。
目標量子化方式が、第1量子化方式、第2量子化方式、及び第3量子化方式を含む場合、本願実施例の符号化プロセスは、図13に示す通りである。
図13は、本願の一実施例による点群符号化方法のフローチャートであり、図13に示すように、次のステップを含む。
ステップS401において、点群内の点のジオメトリ情報及び属性情報を取得する。
ステップS402において、点群内の各点のジオメトリ情報に基づいて、点群に対してLOD分割を行い、点群のマルチレベルのLODを取得し、ここで、各LODは、少なくとも1レベルの詳細表現レベルを含み、各レベルの詳細表現には、少なくとも1つの点が含まれる。
ステップS403において、点群内の現在点の属性情報の予測値を決定する。
ステップS404において、現在点の属性情報の予測値及び属性情報のオリジナル値に基づいて、現在点の属性情報の残差値を決定する。例えば、現在点の属性情報のオリジナル値と属性情報との差分を、現在点の属性情報の残差値として決定する。
ここで、上記のステップS401~ステップS404の実現プロセスは、上記のステップS201~ステップS204の説明を参照でき、ここでは繰り返して説明しない。
ステップS405において、現在点のジオメトリ情報に基づいて、現在点が位置する目標LODを決定する。
ステップS406において、現在点が可逆符号化された点であるか否かを判断し、現在点が非可逆符号化された点に属すると決定する場合、以下のステップS407~ステップS410を実行し、現在点が可逆符号化された点に属すると決定する場合、ステップS411を実行する。
ここで、現在点が可逆符号化された点であるか否かを判断するプロセスは、上記のステップS306の説明を参照でき、ここでは繰り返して説明しない。
ステップS407において、目標LODに適合する目標量子化ステップ長を決定する。具体的には、上記のステップS206の説明を参照でき、ここでは繰り返して説明しない。
ステップS408において、現在点の第1量子化重みを決定する。具体的には、上記のステップS207の説明を参照でき、ここでは繰り返して説明しない。
ステップS409において、目標量子化ステップ長及び第1量子化重みに基づいて、現在点の属性情報の残差値を量子化して、現在点の属性情報の量子化残差値を取得する。
ステップS410において、現在点の属性情報の量子化残差値を符号化して、コードストリームを形成する。
ステップS411において、現在点の属性情報の残差値を可逆符号化して、コードストリームを形成する。
本願の一具体的な実施例では、第1量子化方式を採用して、点群内のすべての点の量子化重み(即ち、第1量子化重み)を計算して取得する。現在点が最初の7レベルのLODに属するか否かを判断し、第2量子化方式に基づいて、当該点が量子化されていない点であるか否かを判断する。
当該現在点が量子化されていない点でないと決定する場合、現在点Qstep=1(即ち、この点は量子化する必要がない)を実行する。
本願実施例では、第1量子化方式、第2量子化方式、第3量子化方式を組み合わせることができ、具体的には、前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定し、前記現在点が非可逆符号化された点に属すると決定する場合、前記目標LODに適合する目標量子化ステップ長を決定し、現在点の第1量子化重みを決定し、前記目標量子化ステップ長及び第1量子化重みに基づいて、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得する。前記現在点が可逆符号化された点に属すると決定する場合、現在点の属性情報の残差値を可逆符号化する。本実施例では、点群内の少なくとも1つの点の属性情報の残差値を可逆符号化する(即ち、量子化しない)ことにより、属性情報の再構築値に対する量子化の影響を低減し、さらに、属性情報予測の精度を向上させる。また、本実施例では、前記現在点の量子化ステップ長を重み付けするための第1量子化重みを導入し、現在点の量子化重みを導入することにより、現在点の第1量子化重みに基づいて、現在点の目標量子化ステップ長を補正し、即ち、現在点の重要度に応じて現在点の目標量子化ステップ長を適応的に調整することができ、さらに、調整された目標量子化ステップ長に基づいて、現在点の残差値を量子化し、点群内の点の属性情報を予測するプロセスにおいて、符号化順序の前寄りにある点については、予測において重要である場合、量子化ステップ長が大きすぎることを回避でき、さらに、大きい再構築誤差が生じることを回避することができ、量子化重みの高い点は、小さい量子化ステップ長を採用して量子化を行い、再構築誤差を低減し、符号化順序の後方にある点については、予測精度を向上させ、符号化効果を向上させることができる。
本願の技術方案がG-PCCリファレンスソフトウェアTMC13 V11.0上で実現された後、汎用テスト構成CTC CYテスト条件下でMPEGが要求する部分点群テストシーケンス(cat1-A)をテストし、テスト結果を表8に示す。
ここで、cat1-A点群シーケンス内の点は、色属性情報及び他の属性情報を含む。表7に示すように、cat1-A点群シーケンスについては、本願の技術方案(第1量子化方式、第2量子化方式、及び第3量子化方式の組み合わせ)を採用し、従来技術に比べて、輝度成分、色度成分Cb、色度成分Crの性能がいずれも向上している。
実施例5
以上により、本願実施例に係る点群符号化方法について説明しており、これに基づき、以下では、復号化側の本願に係る点群復号化方法について説明する。
以上により、本願実施例に係る点群符号化方法について説明しており、これに基づき、以下では、復号化側の本願に係る点群復号化方法について説明する。
図14は、本願実施例による点群復号化方法のフローチャートであり、図14に示すように、本願実施例の方法は、次のステップを含む。
ステップS501において、点群のコードストリームを解析して、点群の現在点の属性情報の量子化残差値を取得する。
ステップS502において、目標逆量子化方式を使用して、現在点の属性情報の量子化残差値を逆量子化して、現在点の属性情報の再構築残差値を取得する。
ここで、目標逆量子化方式は、第1逆量子化方式、第2逆量子化方式、及び第3逆量子化方式のうちの少なくとも2つの逆量子化方式を含み、第1逆量子化方式は、点群内の少なくとも1つの点の逆量子化パラメータに逆量子化パラメータ増分を設定する方式であり、第2逆量子化方式は、点群内の点の残差値を重み付け処理する方式であり、第3逆量子化方式は、点群内の少なくとも1つの点の属性情報の残差値を可逆復号化する方式である。
ここで、逆量子化は、逆量子化又は解量子化とも呼ばれ得、Scalingとして理解できる。予測値は、属性予測値の色予測値であり得る。
なお、点群内の点のジオメトリ情報の復号化が完了した後、属性情報の復号化を実行する。ジオメトリコードストリームの復号化が完了した後、点群内の点のジオメトリ情報を取得することができる。
点群の属性コードストリームを解析して、点群内の点の属性情報の量子化残差値を取得する。目標量子化方式を使用して点群内の点の属性情報の量子化残差値を逆量子化して、点の属性情報の再構築残差値を取得する。ここで、目標逆量子化方式は、第1逆量子化方式、第2逆量子化方式、及び第3逆量子化方式のうちの少なくとも2つの逆量子化方式を含む。
本願実施例は、点群内の点のジオメトリ情報に基づいて、点群内の点の属性情報の予測値を決定することをさらに含む。
具体的には、点群内の点のジオメトリ情報を復号化して、点群内の点のジオメトリ情報の再構築値を取得し、点群内の点のジオメトリ情報の再構築値に基づいて、点群内の点の属性情報の予測値を決定する。
点群内の点の属性情報の予測値及び再構築残差値に基づいて、点群内の点の属性情報の再構築値を取得する。
実施例6
目標逆量子化方式が、第1逆量子化方式及び第2逆量子化方式を含む場合、復号化プロセスは、図15に示す通りである。
目標逆量子化方式が、第1逆量子化方式及び第2逆量子化方式を含む場合、復号化プロセスは、図15に示す通りである。
図15は、本願の一実施例による点群復号化方法のフローチャートであり、図15に示すように、次のステップを含む。
ステップS601において、ジオメトリコードストリームを復号化して、点群内の点のジオメトリ情報を取得する。
ステップS602において、点群内の点のジオメトリ情報に基づいて、点群を1つ又は複数の詳細レベル(LOD)に分割する。ここで、各LODは、少なくとも1つの詳細表現レベルを含み、各レベルの詳細表現には、少なくとも1つの点が含まれる。
ステップS603において、現在点のジオメトリ情報に基づいて、現在点が位置する目標LODを決定する。
ステップS604において、現在点の属性情報の予測値を決定する。例えば、マルチレベルの詳細表現レベルに基づいて点群内の点を並べ替え、LOD順序を取得し、復号化対象点のジオメトリ情報に基づいて、当該LOD順序で復号化対象点の少なくとも1つの復号化済み近傍点を取得し、少なくとも1つの復号化済み近傍点の属性情報の再構築値に基づいて、当該復号化対象点の属性情報の予測値を決定する。
ステップS605において、目標LODに適合する目標量子化ステップ長を決定する。
ここで、ステップS605を実現する方式は、次のいくつかの方式を含むが、これらに限定されない。
方式1において、コードストリームを復号化して、現在点の符号化パラメータ内の量子化パラメータを取得し、目標LODの階層レベルインデックスを取得し、目標LODの階層レベルインデックスに基づいて、目標LODの量子化パラメータ増分を決定し、量子化パラメータ及び目標LODの量子化パラメータ増分に基づいて、目標LODに対応する目標量子化ステップ長を決定する。
いくつかの実施例では、目標LODの階層レベルインデックスに基づいて、目標LODの量子化パラメータ増分を決定することは、目標LODが点群の最初のN個のLODに属する場合、目標LODの量子化パラメータ増分がjであると決定することであって、Nは、第1閾値より小さいか等しい正の整数であり、jは、0より大きく、且つ第2閾値より小さいか等しい正数である、ことと、目標LODが点群の最初のN個のLODに属さない場合、目標LODの量子化パラメータ増分が0である
と決定することと、を含む。
と決定することと、を含む。
例示的に、量子化パラメータが第3閾値より大きいか等しい場合、jは、第1所定値であり、量子化パラメータが第3閾値より小さい場合、jは、第2所定値である。
方式2において、目標LODの階層レベルインデックスを取得し、目標LODの階層レベルインデックスに基づいて、量子化ステップ長ルックアップテーブルで目標LODに対応する目標量子化ステップ長を照会し、量子化ステップ長ルックアップテーブルは、LODと量子化ステップ長との対応関係を含む。
ここで、詳細レベル(LOD)の数は、点群の共通符号化パラメータCTCによって設定されるものであり、当該部分パラメータは、点群の属性パラメータセットに属する。本願実施例では、異なる量子化ステップ長Qstepを採用して、分割された複数のLODを逆量子化し、異なるLODの分割及び量子化ステップ長の変化値は事前に設定することができる。
実際の適用では、階層レベルが前の詳細レベルに適合する量子化ステップ長は小さく、階層レベルが後の詳細レベルに適合する量子化ステップ長は大きくすることができるが、階層レベルが前の詳細レベル内の点の数は少なく、階層レベルが後の詳細レベル内の点の数は多く、点の数が少ない詳細レベルは、小さい量子化ステップ長に適合し、点の数が多い詳細レベルは、大きい量子化ステップ長に適合し、復号化時に全体の処理時間は、それほど長くはない。
本願の方案では、現在処理中の点Piの残差を逆量子化する場合、量子化ステップ長Qstepiは、当該点Piが位置する詳細レベルの階層レベルに適合し、固定された量子化ステップ長を採用せずに逆量子化することは、復号化効率の向上に有利である。
一可能な例では、現在の復号化ブロックの階層レベルインデックス、量子化パラメータオフセットパラメータ詳細レベルの階層レベルLODに対応する量子化ステップ長Qstepを決定する前に、前記方法は、現在の復号化ブロックの量子化パラメータ最適化イネーブルIDの値を決定することと、量子化パラメータ最適化イネーブルIDの値が第1の値であることを検出し、現在の復号化ブロックの階層レベルインデックス及び量子化パラメータオフセットパラメータを決定することと、階層レベルインデックス及び量子化パラメータオフセットパラメータに基づいて、詳細レベルの階層レベルLODに対応する量子化ステップ長Qstepを決定することと、とをさらに含む。
具体的な実装では、量子化ステップ長を決定するとき、まず、量子化パラメータ最適化イネーブルIDの値を決定する必要があり、量子化パラメータ最適化イネーブルIDの値は、0又は1を取ることができ、そのうちの1つの値を第1の値として表記し、量子化パラメータ最適化イネーブルIDの値が当該第1の値である場合にのみ、階層レベルインデックス及び量子化パラメータオフセットパラメータを決定し、詳細レベルに対応する量子化ステップ長Qstepをさらに決定することができる。
このように、本例では、まず、現在の復号化ブロックの量子化パラメータ最適化イネーブルIDの値を決定し、量子化パラメータ最適化イネーブルIDの値が第1の値であることを検出した場合に、現在の復号化ブロックの階層レベルインデックス及び量子化パラメータオフセットパラメータを決定し、階層レベルインデックス、量子化パラメータオフセットパラメータに基づいて、詳細レベルの階層レベルLODに対応する量子化ステップ長Qstepを決定するため、復号化効率の向上に有利である。
一可能な例では、現在の復号化ブロックの量子化パラメータ最適化イネーブルIDの値を決定することは、コードストリームを解析して、現在の復号化ブロックのパラメータセットにおける量子化パラメータ最適化イネーブルIDの値を取得することを含む。
具体的な実装では、コードストリームには、パラメータセットが含まれ得、コードストリームを解析するとき、現在の復号化ブロックのパラメータセットにおける量子化パラメータ最適化イネーブルIDの値を取得することができる。
このように、本例では、コードストリームを解析して、現在の復号化ブロックのパラメータセットにおける量子化パラメータ最適化イネーブルIDの値を取得することにより、復号化効率の向上に有利である。
一可能な例では、パラメータセットは、現在の符号化ブロックの属性パラメータセットである。
具体的な実装では、コードストリームを解析するとき、現在の復号化ブロックの属性パラメータセットにおける量子化パラメータ最適化イネーブルIDの値を取得することができる。
このように、本例では、コードストリームを解析して、現在の復号化ブロックの属性パラメータセットにおける量子化パラメータ最適化イネーブルIDの値を取得することができ、復号化効率の向上に有利である。
一可能な例では、現在の復号化ブロックの階層レベルインデックス及び量子化パラメータオフセットパラメータを決定することは、属性パラメータセットにおける階層レベルインデックス及び量子化パラメータオフセットパラメータを読み取ることを含む。
具体的な実装では、属性パラメータセットにおける階層レベルインデックス及び量子化パラメータオフセットパラメータを直接読み取ることができる。
このように、本例では、現在の符号化ブロックの階層レベルインデックス及び量子化オフセットパラメータを決定することにより、属性パラメータセットにおける階層レベルインデックス及び量子化パラメータオフセットパラメータを読み取ることができ、復号化効率の向上に有利である。
一可能な例では、詳細レベルの階層レベルLODiに適合する量子化ステップ長Qstepiを決定することは、階層レベルLODiの階層レベルインデックスに基づいて、量子化ステップ長ルックアップテーブルを照会して、階層レベルLODiに対応する量子化ステップ長Qstepiを取得することを含み、量子化ステップ長ルックアップテーブルは、詳細レベルの階層レベルLODと量子化ステップ長Qstepとの対応関係を含む。
具体的な実装では、各階層レベルLODiに対応する階層レベルインデックスに基づいて、量子化ステップ長ルックアップテーブルを照会でき、量子化ルックアップテーブルが、詳細レベルの階層レベルLODと量子化ステップ長Qstepとの対応関係を含むため、ルックアップテーブルを直接照会する方式によって、特定の詳細レベル階層レベルLODiに適合する量子化ステップ長Qstepiを決定することができる。
このように、本例では、階層レベルLODiの階層レベルインデックスに基づいて、量子化ステップ長ルックアップテーブルを照会して、階層レベルLODiに対応する量子化ステップ長Qstepiを取得し、量子化ステップ長ルックアップテーブルは、詳細レベルの階層レベルLODと量子化ステップ長Qstepとの対応関係を含み、異なる階層レベルの詳細レベルに対応する量子化ステップ長は異なるため、量子化ステップ長を決定する柔軟性を向上させるのに有利である。
一可能な例では、階層レベルインデックス及び量子化パラメータオフセットパラメータに基づいて、詳細レベルの階層レベルLODに対応する量子化ステップ長Qstepを決定することは、現在の符号化ブロックの符号化パラメータ内の量子化パラメータQpを決定することと、階層レベルインデックス及び量子化パラメータオフセットパラメータに基づいて、各階層レベルLODの量子化パラメータオフセットを決定することと、量子化パラメータQp及び各階層レベルLODの量子化パラメータオフセットに基づいて、各階層レベルLODに対応する量子化ステップ長Qstepを決定することと、を含む。
具体的な実装では、量子化パラメータQpは、属性パラメータセットが提供するQPパラメータによって決定され得る。
現在の符号化ブロックの符号化パラメータ内の量子化パラメータQpを決定した後、階層レベルインデックス及び量子化パラメータオフセットパラメータに基づいて、各階層レベルLODの量子化パラメータオフセットを決定し、さらに、決定されたQp及び各階層レベルLODの量子化パラメータオフセットに基づいて、各階層レベルに対応する量子化ステップ長を対応的に決定することができる。
このように、本例では、まず、現在の符号化ブロックの符号化パラメータ内の量子化パラメータQpを決定し、次に、階層レベルインデックス及び量子化パラメータオフセットパラメータに基づいて、各階層レベルLODの量子化パラメータオフセットを決定し、次に、量子化パラメータQp及び各階層レベルLODの量子化パラメータオフセットに基づいて、各階層レベルLODに対応する量子化ステップ長Qstepを決定し、異なる階層レベルの詳細レベルに対応する量子化ステップ長は異なるため、量子化ステップ長を決定する柔軟性を向上させるのに有利である。
一可能な例では、階層レベルインデックス及び量子化パラメータオフセットパラメータに基づいて、各階層レベルLODの量子化パラメータオフセットを決定することは、現在処理中の詳細レベルの階層レベルLOD是が、階層レベルインデックスによって制約される階層レベル範囲に属するか否かを判断することであって、階層レベル範囲は、複数の詳細レベルにおける最初のN個の階層レベルを含み、Nは、第1閾値より小さいか等しい正の整数である、ことと、属する場合、量子化パラメータオフセットパラメータに基づいて、現在処理中の詳細レベルの階層レベルLODの量子化パラメータオフセットの値jを決定することであって、jは、0より大きく、且つ第2閾値より小さいか等しい正数である、ことと、属さない場合、現在処理中の詳細レベルの階層レベルLODの量子化パラメータオフセットの値は0であると決定することと、を含む。
具体的な実装では、第1閾値は、14であり得、第2閾値は、10であり得る。これは、一般的に詳細レベルの総レベル数が11~14であることを考慮したものであり、共通テスト環境CTCが設定した5種類のビットレートの最小QP値は10であるため、jは、0より大きく、且つ第2閾値より小さいか等しい正数であり得、これにより、当該数値を減算した後に負数が発生しないことを保証する。量子化パラメータが大きいほど、それに対応する量子化ステップ長は長くなる。jが0より大きく、且つ10より小さいか等しい正数である場合、最初のN個の階層レベルの詳細レベルに対応する量子化パラメータは、後ろの階層レベルより小さく、且つ当該数値を減算した後に負数が発生しない。
ここで、階層レベルインデックスの値の範囲は、0~LODの数(正の整数)であり、階層レベルインデックスが6であると仮定すると、LOD0~LOD5の量子化ステップ長(即ち、最初の6レベルの詳細レベルの量子化ステップ長)は、QP-QpShiftValue(即ち、量子化パラメータ-量子化オフセットパラメータ)から変換される。
また、詳細レベルを複数のグループにさらに分割した場合、例えば、階層レベルインデックスが配列4 5 6である場合、これに対応して、詳細レベルをこの3つの分割位置に応じて、4グループに分けることができ、それぞれLOD0~LOD3、LOD4であり、LOD5及びLOD6及びその以降を含む詳細レベルである。異なるグループに対応する量子化パラメータのオフセットの値jは、異なっていてもよい。
jの値が大きいほど、量子化パラメータ-量子化パラメータオフセット、即ち、Qp-jが小さいため、対応する量子化ステップ長も小さくなる。量子化ステップ長が小さいことを考慮すると、復号化の時間が長くなり、復号化効率に影響を与え、したがって、Nの値は、6にすることができ、基本的に詳細レベルの総レベル数の半分であり、且つ前の階層レベル内の点の数は少なく、小さい量子化ステップ長を採用して処理すると、復号化時間がそれほど増加しない。
最初のNレベル、即ち、下位階層レベルの詳細レベル内の点の残差を量子化するとき、6をjの値とすることで、小さい量子化ステップ長を取得して、最初のNレベルの詳細レベル内の点を量子化して、復号化効率を向上させることができる。
Nは、8であり得、最初の8レイアの詳細レベル内の点に対して、小さい量子化ステップ長を採用して逆量子化し、最初の8レイアの詳細レベル内の点の数が相対的に少ないため、復号化効率の向上に有利である。
このように、本例では、まず、現在処理中の詳細レベルの階層レベルLODが階層レベルインデックスによって制約される階層レベル範囲に属するか否かを判断し、属する場合、量子化パラメータオフセットパラメータに基づいて、現在処理中の詳細レベルのLODの量子化パラメータオフセットの値jを決定し、jは、0より大きく、且つ第2閾値より小さいか等しい正数であり、属さない場合、現在処理中の詳細レベルのLODの量子化パラメータオフセットの値は0であると決定し、より前の階層レベルの詳細レベルについては、より小さい量子化パラメータに対応する量子化ステップ長が適合し、即ち、前の階層レベルの詳細レベルは、より小さい量子化ステップ長に対応し、より後ろの階層レベルの詳細レベルに対応する量子化ステップ長は、前の階層レベルの量子化ステップ長より大きいため、復号化効率の向上に有利である。
一可能な例では、量子化パラメータQpが第3閾値より大きいか等しい場合、jは、第1所定値であり、量子化パラメータQpが第3閾値より小さい場合、jは、第2所定値である。
ここで、第3閾値は、30であり得、第1所定値は、10であり得、第2所定値は、6であり得る。
つまり、現在の符号化ブロックに対応する量子化パラメータQp自体の大きさに基づいて、セグメント関数を採用する形式で、jの値を決定し、例えば、量子化パラメータQpが30より大きいか等しい場合、jは、10であり、Qpが30より小さい場合、jは、6である。
このように、本例では、量子化パラメータQpが30より大きいか等しい場合、jは、10であり、量子化パラメータQpが30より小さい場合、jは、6であり、量子化パラメータQp自体の値に基づいてjの値を決定することにより、jの値を決定する柔軟性を向上させるのに有利である。
一可能な例では、階層レベルインデックス及び量子化パラメータオフセットパラメータに基づいて、各階層レベルLODの量子化パラメータオフセットを決定することは、現在処理中の詳細レベルのLODに対応する階層レベル組み合わせを判断し、階層レベルインデックスを照会して、現在処理中の詳細レベルのLODの階層レベルインデックスを決定することと、処理される詳細レベルのLODの階層レベルインデックスに基づいて、量子化パラメータオフセットパラメータを照会し、対応する量子化パラメータオフセットを決定することと、を含む。
具体的な実装では、複数の階層レベルグループが存在する場合、例えば、1つのグループの場合、量子化パラメータオフセットパラメータは、3 5 6などの1つの配列であり得、即ち、第1~第4グループの量子化パラメータオフセットは、それぞれ-3、-5、及び-6であり、決定された量子化パラメータがQPである場合、実際の第1~第4グループの量子化パラメータは、それぞれQP-3、QP-5、QP-6、QPである。
ここで、階層レベル組み合わせは、複数あり得、いずれかの階層レベル組み合わせは、前後に隣接する少なくとも2つの階層レベルを含み得、当該複数の階層レベル組み合わせは、当該第1階層レベル組み合わせ及び当該第2階層レベル組み合わせを含み、当該第1階層レベル組み合わせ内の階層レベルは、当該第2階層レベル組み合わせ内の階層レベルの前にあり、当該第1階層レベル組み合わせに対応する量子化パラメータは、当該第2階層レベル組み合わせに対応する量子化パラメータより小さく、異なる階層レベル組み合わせは、異なる量子化パラメータに対応するため、異なる階層レベルの詳細レベルに対応する量子化ステップ長をさらに細分化し、量子化ステップ長を決定する柔軟性を向上させるのに有利である。
ここで、第1階層レベル組み合わせは、複数の詳細レベル内の最初の2つの階層レベルを含み得、当該第1階層レベル組み合わせに対応する量子化ステップ長は、1である。詳細レベルの最初の2つの階層レベル内の点の数が比較的に少ないため、量子化ステップ長が1であっても、復号化効率に大きな影響を与えない。
ここで、複数の階層レベル組み合わせは、前から後ろに並べ替えられた第1階層レベル組み合わせ、第2階層レベル組み合わせ、第3階層レベル組み合わせ、及び第4階層レベル組み合わせを含み得、また、いずれかの階層レベル組み合わせには、前後に隣接する少なくとも2つの階層レベルを含み、第1階層レベル組み合わせは、オリジナル量子化ステップ長の1/sqrt(4)を、本階層レベルの量子化ステップ長とし、オリジナル量子化ステップ長は、量子化パラメータQpに基づいて決定される量子化ステップ長を指し、第2階層レベル組み合わせは、オリジナル量子化ステップ長の1/sqrt(3)を、本階層レベルの量子化ステップ長とし、第3階層レベル組み合わせは、オリジナル量子化ステップ長の1/sqrt(2)を、本階層レベルの量子化ステップ長とし、第4階層レベル組み合わせは、オリジナル量子化ステップ長を、本階層レベルの量子化ステップ長とする。
例えば、オリジナル量子化ステップ長、即ち、現在の符号化ブロックに対応する量子化パラメータQpに基づいて決定される量子化ステップ長がα(αは正の整数)である場合、第1階層レベル組み合わせ、第2階層レベル組み合わせ、第3階層レベル組み合わせ、及び第4階層レベル組み合わせは、それぞれα/sqrt(4)、α/sqrt(3)、α/sqrt(2)、αを、当該階層レベルの量子化ステップ長として採用し、階層レベル組み合わせが後になるほど、対応する量子化ステップ長は長くなり、同一階層レベル組み合わせ内の異なる階層レベルは、同じ量子化ステップ長を採用する。異なる階層レベルの詳細レベルに対応する量子化ステップ長をさらに細分化し、量子化ステップ長を決定する柔軟性を向上させる。
このように、本例では、量子化パラメータオフセットを決定するとき、まず、詳細レベルの階層レベルに対応する階層レベル組み合わせを判断し、次に、当該階層レベル組み合わせ内の詳細レベルに対応する階層レベルインデックスをさらに決定し、さらに、対応する階層レベルインデックスに基づいて、量子化パラメータオフセットパラメータを照会して、対応する量子化パラメータオフセットを決定し、異なる階層レベル組み合わせは、異なる量子化パラメータオフセットに対応するため、異なる階層レベルの詳細レベルに対応する量子化ステップ長をさらに細分化し、量子化ステップ長を決定する柔軟性を向上させるのに有利である。
ステップS606において、現在点の第1量子化重みを決定する。
例えば、現在点のインデックスを決定し、現在点のインデックスに対応する量子化重みを、現在点の第1量子化重みとして決定する。
ステップS607において、目標量子化ステップ長及び第1量子化重みに基づいて、現在点の属性情報の量子化残差値を逆量子化して、現在点の属性情報の再構築残差値を取得する。
いくつかの実施例では、ステップS607は、ステップS6071及びステップS6072を含む。
ステップS6071において、現在点の第1量子化重みに基づいて、現在点の第2量子化重みを決定する。
ステップS6072において、目標量子化ステップ長及び第2量子化重みに基づいて、現在点の属性情報の量子化残差値を逆量子化して、再構築残差値を取得する。
いくつかの例では、第2量子化重みは、目標量子化ステップ長より小さいか等しい。
いくつかの実施例では、第2量子化重みの値は、2の整数乗に等しい。
いくつかの実施例では、第1量子化重みの値は、2の整数乗に等しくなく、現在点の第1量子化重みの値に基づいて、現在点の第1量子化重みに最近接する2の整数乗を、現在点の第2量子化重みとして決定する。
いくつかの実施例では、上記のステップS6072は、現在点の目標量子化ステップ長を利用して、量子化残差値を逆量子化して、重み付け残差値を取得し、重み付け残差値を第2量子化重みで除算して、再構築残差値を取得することと、を含む。
いくつかの実施例では、上記のステップS6072は、現在点の第2量子化重みに基づいて、目標量子化ステップ長を更新し、更新された量子化ステップ長に基づいて、現在点の属性情報の量子化残差値を逆量子化することを含む。
いくつかの実施例では、本願実施例は、点群の符号化順序の逆順に従って、点群内の点をトラバースすることにより、現在点の第1量子化重みに基づいて現在点のN個の最近傍点の第1量子化重みを更新することをさらに含み、Nは、0より大きい整数である。
いくつかの実施例では、点群内の各点の第1量子化重みの初期値は、所定値である。
いくつかの実施例では、点群のLODにおける最初のM個のLOD内の点の第1量子化重みの初期値は、残りのLOD内の点の第1量子化重みの初期値より大きく、Mは、正の整数である。
いくつかの実施例では、現在点の第1量子化重みに基づいて現在点のN個の最近傍点の第1量子化重みを更新することは、N個の最近傍点のそれぞれに対する現在点の影響重みを取得することであって、影響重みは、現在点及びN個の最近傍点の位置情報に関連する、ことと、現在点の量子化重み及びN個の最近傍点のそれぞれに対する現在点の影響重みに基づいて、N個の最近傍点の第1量子化重みを更新することと、を含む。
いくつかの実施例では、点群の属性パラメータセットは、N個の最近傍点のそれぞれに対する現在点の影響重みを含み、N個の最近傍点のそれぞれに対する現在点の影響重みを取得することは、属性パラメータセットを照会することにより、N個の最近傍点のそれぞれに対する現在点の影響重みを取得することを含む。
いくつかの実施例では、現在点の量子化重み及びN個の最近傍点のそれぞれに対する現在点の影響重みに基づいて、N個の最近傍点の第1量子化重みを更新することは、
下記式13に基づいてN個の最近傍点の第1量子化重みを更新することを含む。
下記式13に基づいてN個の最近傍点の第1量子化重みを更新することを含む。
ステップS608において、現在点の属性情報の予測値及び再構築残差値に基づいて、現在点の属性情報の再構築値を決定する。
上述した実施例に基づき、本願の一具体的な実施例によって提供される点群の復号化のプロセスは、復号化側が第2量子化方式を利用して、点群内のすべての点の量子化重みを取得することを含む。現在点が最初の7レベルのLODに属するか否かを判断し、
実施例7
目標逆量子化方式が、第1逆量子化方式及び第3逆量子化方式を含む場合、復号化プロセスは、図16に示す通りである。
目標逆量子化方式が、第1逆量子化方式及び第3逆量子化方式を含む場合、復号化プロセスは、図16に示す通りである。
図16は、本願の一実施例による点群復号化方法のフローチャートであり、図16に示すように、次のステップを含む。
ステップS701において、ジオメトリコードストリームを復号化して、点群内の点のジオメトリ情報を取得する。
ステップS702において、点群内の点のジオメトリ情報に基づいて、点群を1つ又は複数の詳細レベル(LOD)に分割する。ここで、各LODは、少なくとも1つの詳細表現レベルを含み、各レベルの詳細表現には、少なくとも1つの点が含まれる。
ステップS703において、現在点のジオメトリ情報に基づいて、現在点が位置する目標LODを決定する。
ステップS704において、現在点の属性情報の予測値を決定する。例えば、マルチレベルの詳細表現レベルに基づいて点群内の点を並べ替え、LOD順序を取得し、復号化対象点のジオメトリ情報に基づいて、当該LOD順序で復号化対象点の少なくとも1つの復号化済み近傍点を取得し、少なくとも1つの復号化済み近傍点の属性情報の再構築値に基づいて、当該復号化対象点の属性情報の予測値を決定する。
ステップS705において、現在点が可逆符号化された点に属するか否かを判断し、属さない場合、ステップS706及びステップS707を実行し、属する場合、ステップS708を実行する。
ステップS706において、目標LODに適合する目標量子化ステップ長を決定する。具体的なプロセスについては、上記実施例を参照することができる。
ステップS707において、目標量子化ステップ長に基づいて、現在点の属性情報の量子化残差値を逆量子化して、現在点の属性情報の再構築残差値を取得する。
ステップS708において、現在点の属性情報の残差値に対して可逆コーデックを行い、現在点の属性情報の再構築残差値を取得する。
ステップS709において、現在点の属性情報の再構築残差値及び予測値に基づいて、現在点の属性情報の再構築値を取得する。
下記において、本願実施例に係る可逆復号化プロセスについて説明する。
いくつかの実施例では、点の属性情報の残差値を可逆復号化することは、点の属性情報の残差値を量子化しないこと、又は、点の属性情報の残差値をスケーリング(scaling)しないこととも呼ばれ得る。点の属性情報の残差値を量子化することは、点の属性情報の残差値をスケーリング(scaling)するとも呼ばれる。
いくつかの実施例では、上記のステップS705における現在点が可逆符号化された点に属すか否かを判断することは、ステップS7051及びステップS7051を含む。
ステップS7051において、点群のコードストリームを復号化して、第1情報を取得し、第1情報は、属性情報の残差値が可逆符号化された点を示すために使用される。
ステップS7052において、第1情報に基づいて、現在点の属性情報の残差値が可逆符号化されたか否かを決定する。
点群の属性コードストリームを復号化して、点群内の点の属性情報の残差情報及び第1情報を取得でき、当該第1情報は、属性情報の残差値が可逆符号化された(又は量子化されない)点を示すために使用される。
一例では、第1情報は、属性情報の残差値が可逆符号化された点の識別情報を含み、例えば、符号化側は、異なるフェッチモードを採用して属性情報の残差値が量子化されない点を選択し、対応する第1情報は、属性情報の残差値が量子化されていない点のフェッチモードの番号又はインデックスを含み得る。
別の例では、第1情報は、属性情報の残差値が可逆符号化された点の総数を含む。
いくつかの実施例では、上記のステップS7052において、第1情報で運ばれる情報は異なり、現在点の属性情報の残差情報が可逆符号化されたか否かを決定する実施形態は異なり、具体的な実現プロセスは、次のいくつかのケースを含むが、これらに限定されない。
ケース1において、第1情報は、Nを含み、Nは、点群における属性情報の残差値が可逆符号化された点の総数である。
例示的に、Nは、2の整数倍である。
例示的に、N個の点における各隣接する2つの点間の間隔は等しい。
このとき、上記のステップS7052は、現在点がN個の点のうちの1つであると決定する場合、現在点の属性情報の残差情報が可逆符号化されたと決定することを含む。例えば、点群内の点のジオメトリ情報に基づいて点群内の点を並べ替え、並べ替えられた点群を取得する。並べ替えられた点群については、点の総数及びNの値に基づいて、N個の点のうち隣接する2点間の間隔を決定し、当該間隔に基づいて、現在点がこのN個の点のうちの1つであるか否かを判断する。例えば、上記の間隔は、10であり、現在点は、並べ替えられた点群内の21番目の点であり、点群内の最初の点から、10個の点ごとに属性情報の残差値が可逆符号化された点であり、最初の点、11番目の点、21番目の点……の順であり、さらに現在点が、属性情報の残差情報が可逆符号化された点であると決定する。
ケース2において、第1情報が所定間隔を含む場合、当該所定間隔は、点群内の隣接する2つの可逆符号化点間の間隔である。
いくつかの実施例では、上記のステップS7052は、所定間隔に基づいて、現在点と、前の属性情報の残差情報が可逆符号化された点との間隔が所定間隔に等しいと決定する場合、現在点の属性情報の残差情報が可逆符号化されたと決定することを含む。
ケース3において、第1情報が第1所定値を含む場合、第1所定値は、含まれる点の総数が第1所定値より小さいか等しい詳細表現レベルを、第1タイプの詳細表現レベルとして分類し、含まれる点の総数が第1所定値より大きい詳細表現レベルを、第2タイプの詳細表現レベルとして分類することを示すために使用される。
この場合、ステップS7052は、第1所定値に基づいて、マルチレベルの詳細表現レベルに含まれる点の総数が第1所定値より小さいか等しい少なくとも1つの第1タイプの詳細表現レベル、及び含まれる点の総数が第1所定値より大きい少なくとも1つの第2タイプの詳細表現レベルを取得することと、
現在点が第1タイプの詳細表現レベルに属する場合、現在点の属性情報の残差情報が可逆符号化されたと決定することを含む。
現在点が第1タイプの詳細表現レベルに属する場合、現在点の属性情報の残差情報が可逆符号化されたと決定することを含む。
ケース4において、第1情報がMを含み、Mが第2タイプの詳細表現レベルにおける属性情報の残差値が可逆符号化された点の数であり、Mは、2の正の整数倍である。例示的に、このM個の点のうち隣接する2つの点間の間隔は等しい。
この場合、上記のステップS7052は、現在点がM個の点のうちの1つである場合、現在点の属性情報の残差情報が可逆符号化されたと決定することを含む。
ケース5において、少なくとも1つの第2タイプの詳細表現レベルは、L個の第2タイプの詳細表現レベルを含み、Lは、2より大きいか等しい正の整数であり、第1情報は、第1数、第2数、及びP個の第2タイプの詳細表現レベル及びQ個の第2タイプの詳細表現レベルの分割情報を含む。
一例では、第1数は、第2数より大きく、例えば、第1数は24で、第2数は8である。
一例では、第1数は、第2数の正の整数倍であり、例えば、第1数は、第2数の2倍であり、例えば、第1数は24で、第2数は12である。又は、第1数は、第2数の3倍であり、例えば、第1数は24で、第2数は8である。
一例では、第1数の点における隣接する2つの点間の間隔は等しい。
一例では、第2数の点における隣接する2つの点間の間隔は等しい。
この場合、上記のステップS7052は、分割情報に基づいて、L個の第2タイプの詳細表現レベルを分割して、P個の第2タイプの詳細表現レベルとQ個の第2タイプの詳細表現レベルを取得することと、現在点がP個の第2タイプの詳細表現レベルにおける属性情報の残差値が可逆符号化された第1数の点のうちの1つであると決定する場合、現在点の属性情報の残差情報が可逆符号化されたと決定することと、現在点がQ個の第2タイプの詳細表現レベルにおける属性情報の残差値が可逆符号化された第2数の点のうちの1つであると決定する場合、現在点の属性情報の残差情報が可逆符号化されたと決定することと、を含み、
ここで、Lは、2より大きいか等しい正の整数であり、P、Qは、正の整数であり、且つPとQとの和は、Lより小さいか等しく、P個の第2タイプの詳細表現レベルは、Q個の第2タイプの詳細表現レベルと重ならず、第1数は、第2数とは異なる。
ここで、Lは、2より大きいか等しい正の整数であり、P、Qは、正の整数であり、且つPとQとの和は、Lより小さいか等しく、P個の第2タイプの詳細表現レベルは、Q個の第2タイプの詳細表現レベルと重ならず、第1数は、第2数とは異なる。
一例では、P個の第2タイプの詳細表現レベルは、L個の第2タイプの詳細表現レベルにおける最初のP個の第2タイプの詳細表現レベルである。
一例では、Q個の第2タイプの詳細表現レベルは、L個の第2タイプの詳細表現レベルにおける最後のQ個の第2タイプの詳細表現レベルである。
一例では、P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルは、Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルに隣接する。
本例では、上記の分割情報は、Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルの識別情報を含んでもよいし、P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルの識別情報を含んでもよい。
一例では、第1情報はさらに、第2タイプの詳細表現レベルにおける最初の属性情報の残差値が可逆符号化された点の識別情報を含む。
一例では、第1情報は、属性情報の残差値が可逆符号化された点の識別情報を含む。
いくつかの実施例では、現在点の属性情報の残差情報が可逆符号化されたと決定する場合、次の方式によって、現在点の属性情報の残差を逆量子化する。
方式1において、点群内の点の属性情報的残差情報を逆量子化するプロセス中に、当該現在点をスキップする。
方式2において、当該現在点の逆量子化ステップ長を1に設定する。
方式3において、当該現在点の量子化パラメータQPを目標値に設定し、目標値は、逆量子化ステップ長が1であるときに対応するQP値である。
上記した実施例に基づき、本願の一具体的な実施例では、点群復号化のプロセスは、デコーダが、現在点が最初の7レベルのLODに属するか否かを判断し、当該現在点が量子化されていない点であるか否かを判断することと、
現在点が最初の7レベルのLODに属され、当該現在点が量子化されていない点でない場合、コードストリーム内の符号化パラメータのQP値を読み取り、次に、当該現在点が位置する目標LODのDeltaQP値を加算し、QP+DeltaQPを対応するQstepに変換し、当該現在点が量子化されていない点である場合、この点のQstep=1(即ち、量子化が必要ない)であり、Qstepを利用して、復号化して取得した量子化残差を逆量子化することと、
現在点が最初の7レベルのLODに属さず、当該現在点が量子化されていない点でない場合、この現在点のQstep=1(即ち、量子化が必要ない)となるようにし、Qstepを利用して、復号化して取得した量子化残差を逆量子化することと、を含む。
現在点が最初の7レベルのLODに属され、当該現在点が量子化されていない点でない場合、コードストリーム内の符号化パラメータのQP値を読み取り、次に、当該現在点が位置する目標LODのDeltaQP値を加算し、QP+DeltaQPを対応するQstepに変換し、当該現在点が量子化されていない点である場合、この点のQstep=1(即ち、量子化が必要ない)であり、Qstepを利用して、復号化して取得した量子化残差を逆量子化することと、
現在点が最初の7レベルのLODに属さず、当該現在点が量子化されていない点でない場合、この現在点のQstep=1(即ち、量子化が必要ない)となるようにし、Qstepを利用して、復号化して取得した量子化残差を逆量子化することと、を含む。
実施例8
目標逆量子化方式が、第1逆量子化方式、第2逆量子化方式、及び第3逆量子化方式を含む場合、復号化プロセスは、図17に示す通りである。
目標逆量子化方式が、第1逆量子化方式、第2逆量子化方式、及び第3逆量子化方式を含む場合、復号化プロセスは、図17に示す通りである。
図17は、本願の一実施例による点群復号化方法のフローチャートであり、図17に示すように、次のステップを含む。
ステップS801において、ジオメトリコードストリームを復号化して、点群内の点のジオメトリ情報を取得する。
ステップS802において、点群内の点のジオメトリ情報に基づいて、点群を1つ又は複数の詳細レベル(LOD)に分割する。ここで、各LODは、少なくとも1つの詳細表現レベルを含み、各レベルの詳細表現には、少なくとも1つの点が含まれる。
ステップS803において、現在点のジオメトリ情報に基づいて、現在点が位置する目標LODを決定する。
ステップS804において、現在点の属性情報の予測値を決定する。例えば、マルチレベルの詳細表現レベルに基づいて点群内の点を並べ替え、LOD順序を取得し、復号化対象点のジオメトリ情報に基づいて、当該LOD順序で復号化対象点の少なくとも1つの復号化済み近傍点を取得し、少なくとも1つの復号化済み近傍点の属性情報の再構築値に基づいて、当該復号化対象点の属性情報の予測値を決定する。
ステップS805において、現在点が可逆符号化された点に属するか否かを判断し、属さない場合、ステップS806~ステップS809を実行し、属する場合、ステップS708を実行する。
ステップS806において、目標LODに適合する目標量子化ステップ長を決定することであって、上記のステップS605の説明を参照することができる。
ステップS807において、現在点の第1量子化重みを決定することであって、上記のステップS606の説明を参照することができる。
ステップS808において、目標量子化ステップ長及び第1量子化重みに基づいて、現在点の属性情報の量子化残差値を逆量子化して、現在点の属性情報の再構築残差値を取得し、上記のステップS607の説明を参照することができる。
ステップS809において、現在点の属性情報の残差値に対して可逆コーデックを行い、現在点の属性情報の再構築残差値を取得する。
ステップS810において、現在点の属性情報の再構築残差値及び予測値に基づいて、現在点の属性情報の再構築値を取得する。
本願の一具体的な実施例では、点群復号化のプロセスは、復号化側が点群内のすべての点の量子化重み計算して取得することと、現在点が最初の7レベルのLODに属するか否かを判断し、当該現在点が量子化されていない点であるか否かを判断することであって、
図6~図17は、本願の一例に過ぎず、本願に対する制限として理解されるべきではない。
以上により、添付の図面を参照して、本願の好ましい実施形態について説明したが、本願は、上記の実施形態における具体的な詳細に限定されない。本願の技術的構想の範囲内で、本願の技術的解決策に対して様々な簡単な変更を行うことができ、これらの簡単な変更はすべて、本願の保護範囲に属する。例えば、上記の具体的な実施形態で説明される各具体的な技術的特徴は、矛盾することなく、任意の適切な方式で組み合わせることができ、不必要な繰り返しを回避するために、本願は様々な可能な組み合わせについては説明しない。別の例では、本願の様々な異なる実施形態も、任意に組み合わせることができ、本願の思想に違反しない限り、当該組み合わせも、本願で開示される内容と見なされるべきである。
本願の各実施例において、上記の各プロセスのシーケンス番号の大きさは、実行シーケンスを意味するものではなく、各プロセスの実行シーケンスは、その機能と内部論理によって決定されるべきであり、本願実施例の実施プロセスにいかなる制限も構成すべきではないことを理解されたい。また、本願実施例では、「及び/又は」という用語は、関連付けられた関係についてのみ説明し、3つの関係が存在し得ることを表示する。具体的には、A及び/又はBは、Aが独立で存在する場合、AとBの両方が存在する場合、Bが独立で存在する場合の3つの場合を表示することができる。また、本明細書における記号「/」は、通常、関連付けられた対象間の関係が、「又は」という関係にあることを表示する。
以上により、図6~図17を参照して、本願の方法の実施例について詳細に説明しており、以下では、図18~図20を参照して、本願の装置の実施例について詳細に説明する。
図18は、本願実施例による例示的な点群エンコーダ10のブロック図である。
図18に示すように、点群エンコーダ10は、
点群内の現在点の属性情報を取得するように構成される取得ユニット11と、
前記現在点の属性情報を処理して、前記現在点の属性情報の残差値を取得するように構成される処理ユニット12と、
目標量子化方式を使用して、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得するように構成される量子化ユニット13と、を備え、
ここで、前記目標量子化方式は、第1量子化方式、第2量子化方式、及び第3量子化方式のうちの少なくとも2つの量子化方式を含み、前記第1量子化方式は、前記点群内の少なくとも1つの点の量子化パラメータに量子化パラメータ増分を設定する方式であり、前記第2量子化方式は、前記点群内の点の残差値を重み付け処理する方式であり、前記第3量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆符号化する方式である。
点群内の現在点の属性情報を取得するように構成される取得ユニット11と、
前記現在点の属性情報を処理して、前記現在点の属性情報の残差値を取得するように構成される処理ユニット12と、
目標量子化方式を使用して、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得するように構成される量子化ユニット13と、を備え、
ここで、前記目標量子化方式は、第1量子化方式、第2量子化方式、及び第3量子化方式のうちの少なくとも2つの量子化方式を含み、前記第1量子化方式は、前記点群内の少なくとも1つの点の量子化パラメータに量子化パラメータ増分を設定する方式であり、前記第2量子化方式は、前記点群内の点の残差値を重み付け処理する方式であり、前記第3量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆符号化する方式である。
いくつかの実施例では、取得ユニット11はさらに、前記点群内の点のジオメトリ情報を取得するように構成され、処理ユニット12は、前記点群内の点のジオメトリ情報に基づいて、前記点群を1つ又は複数の詳細レベル(LOD)に分割するように構成される。
いくつかの実施例では、前記目標量子化方式は、前記第1量子化方式及び前記第2量子化方式を含み、量子化ユニット13は具体的には、前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定し、前記目標LODに適合する目標量子化ステップ長を決定し、前記現在点の第1量子化重みを決定し、前記目標量子化ステップ長及び前記第1量子化重みに基づいて、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得するように構成される。
いくつかの実施例では、前記目標量子化方式は、前記第1量子化方式及び前記第3量子化方式を含み、量子化ユニット13は具体的には、前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定し、
前記現在点が非可逆符号化された点に属すると決定する場合、前記目標LODに適合する目標量子化ステップ長を決定し、前記目標量子化ステップ長に基づいて、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得するように構成される。
前記現在点が非可逆符号化された点に属すると決定する場合、前記目標LODに適合する目標量子化ステップ長を決定し、前記目標量子化ステップ長に基づいて、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得するように構成される。
いくつかの実施例では、前記目標量子化方式は、前記第1量子化方式、前記第2量子化方式、及び前記第3量子化方式を含み、量子化ユニット13は具体的には、前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定し、前記現在点が非可逆符号化された点に属すると決定する場合、前記目標LODに適合する目標量子化ステップ長を決定し、前記現在点の第1量子化重みを決定し、前記目標量子化ステップ長及び前記第1量子化重みに基づいて、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得するように構成される。
いくつかの実施例では、量子化ユニット13はさらに、前記現在点が可逆符号化された点に属すると決定する場合、現在点の属性情報の残差値を可逆符号化するように構成される。
いくつかの実施例では、量子化ユニット13は具体的には、前記目標LODの階層レベルインデックスを取得し、前記目標LODの階層レベルインデックスに基づいて、量子化ステップ長ルックアップテーブルで前記目標LODに対応する目標量子化ステップ長を照会するように構成され、前記量子化ステップ長ルックアップテーブルは、LODと量子化ステップ長との対応関係を含む。
いくつかの実施例では、量子化ユニット13は具体的には、前記現在点の符号化パラメータ内の量子化パラメータを決定し、前記目標LODの階層レベルインデックスを取得し、前記目標LODの階層レベルインデックスに基づいて、前記目標LODの量子化パラメータ増分を決定し、前記量子化パラメータ及び前記目標LODの量子化パラメータ増分に基づいて、前記目標LODに対応する目標量子化ステップ長を決定するように構成される。
いくつかの実施例では、量子化ユニット13は具体的には、前記目標LODが前記点群の最初のN個のLODに属する場合、前記目標LODの量子化パラメータ増分がjであると決定し、前記Nは、第1閾値より小さいか等しい正の整数であり、前記jは、0より大きく、且つ第2閾値より小さいか等しい正数であり、前記目標LODが前記点群の最初のN個のLODに属さない場合、前記目標LODの量子化パラメータ増分が0であると決定するように構成される。
例示的に、前記量子化パラメータが第3閾値より大きいか等しい場合、前記jは、第1所定値であり、
前記量子化パラメータが前記第3閾値より小さい場合、前記jは、第2所定値である。
前記量子化パラメータが前記第3閾値より小さい場合、前記jは、第2所定値である。
いくつかの実施例では、量子化ユニット13は具体的には、前記現在点のインデックスを決定し、前記現在点のインデックスに対応する量子化重みを、前記現在点の第1量子化重みとして決定するように構成される。
いくつかの実施例では、量子化ユニット13は具体的には、前記現在点の第1量子化重みに基づいて、前記現在点の第2量子化重みを決定し、前記目標量子化ステップ長及び前記第2量子化重みに基づいて、前記現在点の属性情報の残差値を量子化して、前記量子化残差値を取得するように構成される。
例示的に、前記第1量子化重みの値は、2の整数乗に等しくなく、量子化ユニット13は具体的には、前記現在点の第1量子化重みの値に基づいて、前記現在点の第1量子化重みに最近接する2の整数乗を、前記現在点の第2量子化重みとして決定するように構成される。
いくつかの実施例では、量子化ユニット13は具体的には、前記第2量子化重みに前記現在点の属性情報の残差値を乗算して、重み付け残差値を取得し、前記目標量子化ステップ長を利用して前記重み付け残差値を量子化して、前記現在点の属性情報の量子化残差値を取得するように構成される。
いくつかの実施例では、量子化ユニット13は具体的には、前記現在点の第2量子化重みに基づいて、前記目標量子化ステップ長を更新し、前記更新された量子化ステップ長に基づいて、前記現在点の属性情報の残差値を量子化するように構成される。
いくつかの実施例では、量子化ユニット13はさらに、前記点群の符号化順序の逆順に従って、前記点群内の点をトラバースすることにより、現在点の第1量子化重みに基づいて前記現在点のN個の最近傍点の第1量子化重みを更新するように構成され、Nは、0より大きい整数である。
例示的に、前記点群内の各点の第1量子化重みの初期値は、所定値である。
例示的に、前記点群のLODにおける最初のM個のLOD内の点の第1量子化重みの初期値は、残りのLOD内の点の第1量子化重みの初期値より大きく、前記Mは、正の整数である。
いくつかの実施例では、量子化ユニット13は具体的には、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得し、前記影響重みは、前記現在点及び前記N個の最近傍点の位置情報に関連し、前記現在点の量子化重み及び前記N個の最近傍点のそれぞれに対する前記現在点の影響重みに基づいて、前記N個の最近傍点の第1量子化重みを更新するように構成される。
いくつかの実施例では、前記点群の属性パラメータセットは、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを含み、量子化ユニット13は具体的には、前記属性パラメータセットを照会することにより、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得するように構成される。
例示的に、前記点群の量子化重みは、配列として記憶され、前記配列の次元は、前記点群内の点の数と同じである。
いくつかの実施例では、エンコーダはさらに、符号化ユニット14を備え、符号化ユニット14は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆符号化するように構成される。
例示的に、前記少なくとも1つの点は、N個の点を含み、前記Nは、2の整数倍である。
例示的に、前記少なくとも1つの点は、N個の点を含み、前記N個の点における各隣接する2つの点間の間隔は等しい。
いくつかの実施例では、符号化ユニット14は具体的には、前記マルチレベルの詳細表現レベルのうちの少なくとも1レベルの詳細表現レベル内の少なくとも1つの点の属性残差値を可逆符号化するように構成される。
いくつかの実施例では、符号化ユニット14は具体的には、前記マルチレベルの詳細表現レベルに含まれる点の総数が第1所定値より小さいか等しい少なくとも1つの第1タイプの詳細表現レベル、及び含まれる点の総数が前記第1所定値より大きい少なくとも1つの第2タイプの詳細表現レベルを取得し、前記第1タイプの詳細表現レベル内のすべての点の属性情報の残差値を可逆符号化し、前記第2タイプの詳細表現レベル内の少なくとも1つの点の属性情報の残差値を可逆符号化するように構成される。
いくつかの実施例では、符号化ユニット14は具体的には、前記第2タイプの詳細表現レベル内のM個の点の属性情報の残差値を可逆符号化するように構成され、前記Mは、2の正の整数倍である。
いくつかの実施例では、前記少なくとも1レベルの第2タイプの詳細表現レベルは、L個の第2タイプの詳細表現レベルを含み、前記Lは、2より大きいか等しい正の整数であり、符号化ユニット14は具体的には、P個の第2タイプの詳細表現レベルのそれぞれにおける第1数の点の属性情報の残差値を可逆符号化し、Q個の第2タイプの詳細表現レベルのそれぞれにおける第2数の点の属性情報の残差値を可逆符号化するように構成され、
ここで、前記P、Qは、正の整数であり、且つ前記Pと前記Qとの和は、前記Lより小さいか等しく、前記P個の第2タイプの詳細表現レベルは、前記Q個の第2タイプの詳細表現レベルと重ならず、前記第1数は、前記第2数とは異なる。
ここで、前記P、Qは、正の整数であり、且つ前記Pと前記Qとの和は、前記Lより小さいか等しく、前記P個の第2タイプの詳細表現レベルは、前記Q個の第2タイプの詳細表現レベルと重ならず、前記第1数は、前記第2数とは異なる。
例示的に、前記P個の第2タイプの詳細表現レベルは、前記L個の第2タイプの詳細表現レベルにおける最初のP個の第2タイプの詳細表現レベルである。
例示的に、前記Q個の第2タイプの詳細表現レベルは、前記L個の第2タイプの詳細表現レベルにおける最後のQ個の第2タイプの詳細表現レベルである。
例示的に、前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルは、前記Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルに隣接する。
例示的に、前記第1数は、前記第2数より大きい。
例示的に、前記第1数は、前記第2数の正の整数倍である。
例示的に、前記第1数の点における隣接する2つの点間の間隔は等しい。
例示的に、前記第2数の点における隣接する2つの点間の間隔は等しい。
いくつかの実施例では、符号化ユニット14はさらに、現在点の属性情報の残差値及び属性情報の予測値に基づいて、前記現在点の属性情報の再構築値を決定するように構成される。
いくつかの実施例では、符号化ユニット14はさらに、コードストリームを生成するように構成され、前記コードストリームは、第1情報を含み、前記第1情報は、属性情報の残差値が可逆符号化された点を示すために使用される。
例示的に、前記第1情報は、前記属性情報の残差値が可逆符号化された点の識別情報を含む。
例示的に、前記第1情報は、前記属性情報の残差値が可逆符号化された点の数を含む。
例示的に、前記第1情報は、前記第1数、前記第2数、及び前記P個の第2タイプの詳細表現レベルと前記Q個の第2タイプの詳細表現レベルの分割情報を含む。
例示的に、前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルが、前記Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルに隣接する場合、前記分割情報はさらに、前記Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルの識別情報、又は、前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルの識別情報を含む。
例示的に、前記第1情報はさらに、前記第2タイプの詳細表現レベルにおける最初の属性情報の残差値が可逆符号化された点の識別情報を含む。
いくつかの実施例では、符号化ユニット14は具体的には、前記点群内の点の属性情報の残差値を量子化するプロセスにおいて、前記属性情報の残差値が可逆符号化された少なくとも1つの点をスキップするか、又は、
前記属性情報の残差値が可逆符号化された少なくとも1つの点の量子化ステップ長を1に設定するか、又は、
前記属性情報の残差値が可逆符号化された少なくとも1つの点の量子化パラメータQPを目標値に設定するように構成され、前記目標値は、量子化ステップ長が1であるときに対応するQP値である。
前記属性情報の残差値が可逆符号化された少なくとも1つの点の量子化ステップ長を1に設定するか、又は、
前記属性情報の残差値が可逆符号化された少なくとも1つの点の量子化パラメータQPを目標値に設定するように構成され、前記目標値は、量子化ステップ長が1であるときに対応するQP値である。
装置の実施例と方法の実施例は相互に対応し、同様の説明は方法の実施例を参照することができることを理解されたい。簡潔にするために、ここでは繰り返して説明しない。具体的には、図18に示す点群エンコーダ10は、本願実施例の方法を実行することができ、点群エンコーダ10における各ユニットの前記操作及び他の操作及び/又は機能は、それぞれ方法100~400などの各方法における対応するプロセスを実現するために用いられ、簡潔性のために、ここでは繰り返して説明しない。
図19は、本願実施例による例示的な点群デコーダ20のブロック図である。
図19に示すように、当該点群デコーダ20は、
点群のコードストリームを解析して、前記点群の現在点の属性情報の量子化残差値を取得するように構成される復号化ユニット21と、
目標逆量子化方式を使用して、前記現在点の属性情報の量子化残差値を逆量子化して、前記現在点の属性情報の再構築残差値を取得するように構成される逆量子化ユニット22と、を備え、
ここで、前記目標逆量子化方式は、第1逆量子化方式、第2逆量子化方式、及び第3逆量子化方式のうちの少なくとも2つの逆量子化方式を含み、前記第1逆量子化方式は、前記点群内の少なくとも1つの点の逆量子化パラメータに逆量子化パラメータ増分を設定する方式であり、前記第2逆量子化方式は、前記点群内の点の残差値を重み付け除去処理する方式であり、前記第3逆量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆復号化する方式である。
点群のコードストリームを解析して、前記点群の現在点の属性情報の量子化残差値を取得するように構成される復号化ユニット21と、
目標逆量子化方式を使用して、前記現在点の属性情報の量子化残差値を逆量子化して、前記現在点の属性情報の再構築残差値を取得するように構成される逆量子化ユニット22と、を備え、
ここで、前記目標逆量子化方式は、第1逆量子化方式、第2逆量子化方式、及び第3逆量子化方式のうちの少なくとも2つの逆量子化方式を含み、前記第1逆量子化方式は、前記点群内の少なくとも1つの点の逆量子化パラメータに逆量子化パラメータ増分を設定する方式であり、前記第2逆量子化方式は、前記点群内の点の残差値を重み付け除去処理する方式であり、前記第3逆量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆復号化する方式である。
いくつかの実施例では、復号化ユニット21は、前記点群内の点のジオメトリ情報を取得し、前記点群内の点のジオメトリ情報に基づいて、前記点群を1つ又は複数の詳細レベル(LOD)に分割するように構成される。
いくつかの実施例では、前記目標逆量子化方式は、前記第1逆量子化方式及び前記第2逆量子化方式を含み、逆量子化ユニット22は具体的には、前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定し、前記目標LODに適合する目標量子化ステップ長を決定し、前記現在点の第1量子化重みを決定し、前記目標量子化ステップ長及び前記第1量子化重みに基づいて、前記現在点の属性情報の量子化残差値を逆量子化するように構成される。
いくつかの実施例では、前記目標逆量子化方式は、前記第1逆量子化方式及び前記第3逆量子化方式を含み、逆量子化ユニット22は具体的には、前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定し、前記現在点が非可逆符号化された点に属すると決定する場合、前記目標LODに適合する目標量子化ステップ長を決定し、前記目標量子化ステップ長に基づいて、前記現在点の属性情報の量子化残差値を逆量子化するように構成される。
いくつかの実施例では、前記目標逆量子化方式は、前記第1逆量子化方式、前記第2逆量子化方式、及び前記第3逆量子化方式を含み、逆量子化ユニット22は具体的には、前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定し、前記現在点が非可逆符号化された点に属すると決定する場合、前記目標LODに適合する目標量子化ステップ長を決定し、前記現在点の第1量子化重みを決定し、前記目標量子化ステップ長及び前記第1量子化重みに基づいて、前記現在点の属性情報の量子化残差値を逆量子化するように構成される。
いくつかの実施例では、復号化ユニット21はさらに、前記現在点が可逆符号化された点に属すると決定する場合、現在点の属性情報の残差値を可逆コーデックするように構成される。
いくつかの実施例では、逆量子化ユニット22は具体的には、前記目標LODの階層レベルインデックスを取得することと、前記目標LODの階層レベルインデックスに基づいて、量子化ステップ長ルックアップテーブルで前記目標LODに対応する目標量子化ステップ長を照会するように構成され、前記量子化ステップ長ルックアップテーブルは、LODと量子化ステップ長との対応関係を含む。
いくつかの実施例では、逆量子化ユニット22は具体的には、コードストリームを復号化して、前記現在点の符号化パラメータ内の量子化パラメータを取得し、前記目標LODの階層レベルインデックスを取得し、前記目標LODの階層レベルインデックスに基づいて、前記目標LODの量子化パラメータ増分を決定し、前記量子化パラメータ及び前記目標LODの量子化パラメータ増分に基づいて、前記目標LODに対応する目標量子化ステップ長を決定するように構成される。
いくつかの実施例では、逆量子化ユニット22は具体的には、前記目標LODが前記点群の最初のN個のLODに属する場合、前記目標LODの量子化パラメータ増分がjであると決定し、前記Nは、第1閾値より小さいか等しい正の整数であり、前記jは、0より大きく、且つ第2閾値より小さいか等しい正数であり、前記目標LODが前記点群の最初のN個のLODに属さない場合、前記目標LODの量子化パラメータ増分が0であると決定するように構成される。
例示的に、前記量子化パラメータが第3閾値より大きいか等しい場合、前記jは、第1所定値であり、前記量子化パラメータが前記第3閾値より小さい場合、前記jは、第2所定値である。
いくつかの実施例では、逆量子化ユニット22は具体的には、前記現在点のインデックスを決定し、前記現在点のインデックスに対応する量子化重みを、前記現在点の第1量子化重みとして決定するように構成される。
いくつかの実施例では、逆量子化ユニット22は具体的には、前記現在点の第1量子化重みに基づいて、前記現在点の第2量子化重みを決定し、前記目標量子化ステップ長及び前記第2量子化重みに基づいて、前記現在点の属性情報の量子化残差値を逆量子化して、前記再構築残差値を取得するように構成される。
例示的に、前記第2量子化重みは、前記目標量子化ステップ長より小さいか等しい。
例示的に、前記第2量子化重みの値は、2の整数乗に等しい。
例示的に、前記第1量子化重みの値は、2の整数乗に等しくなく、いくつかの実施例では、逆量子化ユニット22は具体的には、前記現在点の第1量子化重みの値に基づいて、前記現在点の第1量子化重みに最近接する2の整数乗を、前記現在点の第2量子化重みとして決定するように構成される。
いくつかの実施例では、逆量子化ユニット22は具体的には、前記現在点の目標量子化ステップ長を利用して、前記量子化残差値を逆量子化して、重み付け残差値を取得し、
前記重み付け残差値を前記第2量子化重みで除算して、前記再構築残差値を取得するように構成される。
前記重み付け残差値を前記第2量子化重みで除算して、前記再構築残差値を取得するように構成される。
いくつかの実施例では、逆量子化ユニット22は具体的には、前記現在点の第2量子化重みに基づいて、前記目標量子化ステップ長を更新し、前記更新された量子化ステップ長に基づいて、前記現在点の属性情報の量子化残差値を逆量子化するように構成される。
いくつかの実施例では、復号化ユニット21はさらに、前記点群の符号化順序の逆順に従って、前記点群内の点をトラバースすることにより、現在点の第1量子化重みに基づいて前記現在点のN個の最近傍点の第1量子化重みを更新するように構成され、Nは、0より大きい整数である。
例示的に、前記点群内の各点の第1量子化重みの初期値は、所定値である。
例示的に、前記点群のLODにおける最初のM個のLOD内の点の第1量子化重みの初期値は、残りのLOD内の点の第1量子化重みの初期値より大きく、前記Mは、正の整数である。
いくつかの実施例では、復号化ユニット21は具体的には、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得し、前記影響重みは、前記現在点及び前記N個の最近傍点の位置情報に関連し、前記現在点の量子化重み及び前記N個の最近傍点のそれぞれに対する前記現在点の影響重みに基づいて、前記N個の最近傍点の第1量子化重みを更新するように構成される。
いくつかの実施例では、前記点群の属性パラメータセットは、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを含み、復号化ユニット21はさらに、前記属性パラメータセットを照会することにより、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得するように構成される。
例示的に、前記点群の量子化重みは、配列として記憶され、前記配列の次元は、前記点群内の点の数と同じである。
いくつかの実施例では、復号化ユニット22はさらに、前記点群のコードストリームを復号化して、第1情報を取得し、前記第1情報は、属性情報の残差値が可逆符号化された点を示すために使用され、前記第1情報に基づいて、前記現在点の属性情報の残差値が可逆符号化されたか否かを決定するように構成される。
例示的に、前記第1情報は、Nを含み、前記Nは、前記点群における属性情報の残差値が可逆符号化された点の総数である。
例示的に、前記Nは、2の整数倍である。
例示的に、前記N個の点における各隣接する2つの点間の間隔は等しい。
いくつかの実施例では、復号化ユニット21は具体的には、前記現在点が前記N個の点のうちの1つであると決定する場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定するように構成される。
いくつかの実施例では、前記第1情報が所定間隔を含む場合、復号化ユニット21は具体的には、前記所定間隔に基づいて、前記現在点と、前の属性情報の残差情報が可逆符号化された点との間隔が前記所定間隔に等しいと決定する場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定するように構成される。
いくつかの実施例では、前記第1情報が、第1所定値を含む場合、復号化ユニット21は具体的には、前記第1所定値に基づいて、前記マルチレベルの詳細表現レベルに含まれる点の総数が前記第1所定値より小さいか等しい少なくとも1つの第1タイプの詳細表現レベル、及び含まれる点の総数が前記第1所定値より大きい少なくとも1つの第2タイプの詳細表現レベルを取得し、前記現在点が前記第1タイプの詳細表現レベルに属する場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定するように構成される。
いくつかの実施例では、前記第1情報がMを含み、前記Mが前記第2タイプの詳細表現レベルにおける属性情報の残差値が可逆符号化された点の数であり、前記Mは、2の正の整数倍であり、復号化ユニット21は具体的には、前記現在点が前記M個の点のうちの1つである場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定するように構成される。
いくつかの実施例では、前記少なくとも1つの第2タイプの詳細表現レベルは、L個の第2タイプの詳細表現レベルを含み、前記Lは、2より大きいか等しい正の整数であり、前記第1情報が第1数、第2数、及びP個の第2タイプの詳細表現レベルとQ個の第2タイプの詳細表現レベルの分割情報を含む場合、復号化ユニット21は具体的には、前記分割情報に基づいて、前記L個の第2タイプの詳細表現レベルを分割して、前記P個の第2タイプの詳細表現レベルと前記Q個の第2タイプの詳細表現レベルを取得し、前記現在点が前記P個の第2タイプの詳細表現レベルにおける属性情報の残差値が可逆符号化された第1数の点のうちの1つであると決定する場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定し、前記現在点が前記Q個の第2タイプの詳細表現レベルにおける属性情報の残差値が可逆符号化された第2数の点のうちの1つであると決定する場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定するように構成され、ここで、前記P、Qは、正の整数であり、且つ前記Pと前記Qとの和は、前記Lより小さいか等しく、前記P個の第2タイプの詳細表現レベルは、前記Q個の第2タイプの詳細表現レベルと重ならず、前記第1数は、前記第2数とは異なる。
例示的に、前記P個の第2タイプの詳細表現レベルは、前記L個の第2タイプの詳細表現レベルにおける最初のP個の第2タイプの詳細表現レベルである。
例示的に、前記Q個の第2タイプの詳細表現レベルは、前記L個の第2タイプの詳細表現レベルにおける最後のQ個の第2タイプの詳細表現レベルである。
例示的に、前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルは、前記Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルに隣接する。
例示的に、前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルが、前記Q個の第2タイプの詳細表現レベル内の最初の第2タイプの詳細表現レベルに隣接する場合、前記分割情報はさらに、前記Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルの識別情報、又は、前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルの識別情報を含む。
例示的に、前記第1情報はさらに、前記第2タイプの詳細表現レベルにおける最初の属性情報の残差値が可逆符号化された点の識別情報を含む。
例示的に、前記第1情報は、属性情報の残差値が可逆符号化された点の識別情報を含む。
例示的に、前記第1数は、前記第2数より大きい。
例示的に、前記第1数は、前記第2数の正の整数倍である。
例示的に、前記第1数の点における隣接する2つの点間の間隔は等しい。
例示的に、前記第2数の点における隣接する2つの点間の間隔は等しい。
装置の実施例と方法の実施例は相互に対応し、同様の説明は方法の実施例を参照することができることを理解されたい。簡潔にするために、ここでは繰り返して説明しない。具体的には、図19に示す点群デコーダ20は、本願実施例の方法500、600及び/又は700におけるに対応する本体に対応して実行することができ、また、点群デコーダ20における各ユニットの前記操作及び他の操作及び/又は機能は、それぞれ方法500、600及び/又は700などの各方法における対応するプロセスを実現するために用いられ、簡潔性のために、ここでは繰り返して説明しない。
以上により、図面を参照して、機能ユニットの観点から本願実施例の装置及びシステムについて説明されている。当該機能ユニットは、ハードウェアの形で実装することができ、ソフトウェア命令の形で実装することもでき、ハードウェアモジュールとソフトウェアユニットの組み合わせで実装することもできることを理解されたい。具体的には、本願実施例における方法の実施例の各ステップは、プロセッサ内のハードウェア集積論理回路及び/又はソフトウェア形の命令によって完了することができ、本願実施形態に開示された方法のステップは、ハードウェア復号化プロセッサによって完了されるか、又は復号化プロセッサ内のハードウェア及びソフトウェアユニットの組み合わせによって完了されることができる。例示的に、ソフトウェアユニットは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能な読み取り専用メモリ、又は電気的に消去可能なプログラム可能なメモリ、レジスタ等の従来の記憶媒体に配置されることができる。当該記憶媒体はメモリ内に配置され、プロセッサは、メモリ内の情報を読み取り、そのハードウェアと組み合わせて上記の方法の実施例のステップを完了する。
図20は、本願実施例による例示的な電子機器30のブロック図である。
図20に示すように、当該電子機器30は、本願実施例で説明した点群エンコーダ、又は点群デコーダであり得、当該電子機器30は、
メモリ33と、プロセッサ32とを備え、当該メモリ33は、コンピュータプログラム34を記憶し、当該該プログラムコード34を当該プロセッサ32に送信するように構成される。換言すれば、当該プロセッサ32は、メモリ33からコンピュータプログラム34を呼び出して実行することにより、本願実施例における方法を実現することができる。
メモリ33と、プロセッサ32とを備え、当該メモリ33は、コンピュータプログラム34を記憶し、当該該プログラムコード34を当該プロセッサ32に送信するように構成される。換言すれば、当該プロセッサ32は、メモリ33からコンピュータプログラム34を呼び出して実行することにより、本願実施例における方法を実現することができる。
例えば、当該プロセッサ32は、当該コンピュータプログラム34内の命令に従って、上記の方法200のステップを実行するように構成される。
本願のいくつかの実施例では、当該プロセッサ32は、
汎用プロセッサ、デジタル信号プロセッサ(DSP:Digital ステップSignal Processor)、特定用途向け集積回路(ASIC:Application ステップSpecific Integrated Circuit)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどを含んでもよいが、これらに限定されない。
汎用プロセッサ、デジタル信号プロセッサ(DSP:Digital ステップSignal Processor)、特定用途向け集積回路(ASIC:Application ステップSpecific Integrated Circuit)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどを含んでもよいが、これらに限定されない。
本願のいくつかの実施例では、当該メモリ33は、
揮発性メモリ及び/又は不揮発性メモリを含むが、これらに限定されない。ここで、ここで、不揮発性メモリは、読み取り専用メモリ(ROM:Read-Only Memory)、プログラマブル読み取り専用メモリ(PROM:Programmable ROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM:Erasable PROM)、電気的に消去可能なプログラマブル読み取り専用メモリ(EEPROM:Electrically EPROM)又はフラッシュメモリであり得る。揮発性メモリは、外部キャッシュとして使用されるランダムアクセスメモリ(RAM:Random Access Memory)であり得る。例示的であるが限定的ではない例示によれば、多くの形のRAM、例えば、静的ランダムアクセスメモリ(SRAM:Static RAM)、ダイナミックランダムアクセスメモリ(DRAM:Dynamic RAM)、同期ダイナミックランダムアクセスメモリ(SDRAM:Synchronous DRAM)、ダブルデータレートの同期ダイナミックランダムアクセスメモリ(DDRSDRAM:Double Data Rate ステップSDRAM)、拡張された同期ダイナミックランダムアクセスメモリ(ESDRAM:Enhanced ステップSDRAM)、同期接続ダイナミックランダムアクセスメモリ(SLDRAM:Synchronous link DRAM)及びダイレクトメモリバスランダムアクセスメモリ(DR RAM:Direct Rambus RAM)などであり得る。
揮発性メモリ及び/又は不揮発性メモリを含むが、これらに限定されない。ここで、ここで、不揮発性メモリは、読み取り専用メモリ(ROM:Read-Only Memory)、プログラマブル読み取り専用メモリ(PROM:Programmable ROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM:Erasable PROM)、電気的に消去可能なプログラマブル読み取り専用メモリ(EEPROM:Electrically EPROM)又はフラッシュメモリであり得る。揮発性メモリは、外部キャッシュとして使用されるランダムアクセスメモリ(RAM:Random Access Memory)であり得る。例示的であるが限定的ではない例示によれば、多くの形のRAM、例えば、静的ランダムアクセスメモリ(SRAM:Static RAM)、ダイナミックランダムアクセスメモリ(DRAM:Dynamic RAM)、同期ダイナミックランダムアクセスメモリ(SDRAM:Synchronous DRAM)、ダブルデータレートの同期ダイナミックランダムアクセスメモリ(DDRSDRAM:Double Data Rate ステップSDRAM)、拡張された同期ダイナミックランダムアクセスメモリ(ESDRAM:Enhanced ステップSDRAM)、同期接続ダイナミックランダムアクセスメモリ(SLDRAM:Synchronous link DRAM)及びダイレクトメモリバスランダムアクセスメモリ(DR RAM:Direct Rambus RAM)などであり得る。
本願のいくつかの実施例では、当該コンピュータプログラム34は、1つ又は複数のユニットに分割され得、当該1つ又は複数のユニットは、当該メモリ33に記憶され、当該プロセッサ32によって実行されて、本願で提供される方法を完了する。当該1つ又は複数のユニットは、特定の機能を実行できる一連のコンピュータプログラム命令セグメントであり得、当該命令セグメントは、当該電子機器30における当該コンピュータプログラム34の実行プロセスを説明するために使用される。
図20に示すように、当該電子機器30はさらに、
当該プロセッサ32又はメモリ33に接続可能なトランシーバ33を含み得、
ここで、プロセッサ32は、他の機器と通信するように前記トランシーバ33を制御することができ、具体的には、情報又はデータを他の機器に送信するか、又は他の機器によって送信される情報又はデータを受信することができる。トランシーバ33は、送信機及び受信機を含み得る。トランシーバ33は、1つ又は複数のアンテナをさらに含み得る。
当該プロセッサ32又はメモリ33に接続可能なトランシーバ33を含み得、
ここで、プロセッサ32は、他の機器と通信するように前記トランシーバ33を制御することができ、具体的には、情報又はデータを他の機器に送信するか、又は他の機器によって送信される情報又はデータを受信することができる。トランシーバ33は、送信機及び受信機を含み得る。トランシーバ33は、1つ又は複数のアンテナをさらに含み得る。
当該電子機器30の各構成要素は、バスシステムにより接続され、ここで、バスシステムは、データバスに加えて、電力バス、制御バス、及び状態信号バスを含むことを理解されたい。
図21は、本願実施例による点群コーデックシステム40の例示的なブロック図である。
図21に示すように、当該点群コーデックシステム40は、点群エンコーダ41と、点群デコーダ42と、を備え、ここで、点群エンコーダ41は、本願実施例に係る点群符号化方法を実行するために使用され、点群デコーダ42は、本願実施例に係る点群復号化方法を実行するために使用される。
本願は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体をさらに提供し、当該コンピュータプログラムは実行されるときに、コンピュータに、上記の方法実施例における方法を実行させることができる。
本願実施例は、コンピュータ可読命令を含むコンピュータプログラム製品をさらに提供し、当該命令は実行されるときに、コンピュータに、上記の方法実施例における方法を実行させる。
本願実施例は、コードストリームをさらに提供し、当該コードストリームは、上記の図6、図7、図10又は図13に示す符号化方法によって得られる。
ソフトウェアを使用して実現する場合、コンピュータプログラム製品の形態で全体的又は部分的に実現することができる。当該コンピュータプログラム製品は、1つ又は複数のコンピュータ命令を含む。コンピュータに当該コンピュータプログラム命令をロードして実行する場合、本願実施例に記載のプロセス又は機能を全体的又は部分的に生成する。当該コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブル装置であり得る。当該コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよいし、1つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に伝送されてもよいし、例えば、当該コンピュータ命令は、有線(例えば、同軸ケーブル、光ファイバ、デジタル加入者線(DSL:Digital ステップSubscriber Line))又は無線(赤外線、無線、マイクロ波など)を介して、1つのWebサイト、コンピュータ、サーバ又はデータセンタから別のWebサイト、コンピュータ、サーバ又はデータセンタに伝送することができる。当該コンピュータ可読記憶媒体は、コンピュータがアクセス可能ないずれの利用可能な媒体であることができ、又は1つ以上の利用可能な媒体によって統合されたサーバ、データセンタなどのデータ記憶装置であることができる。当該利用可能な媒体は、磁気媒体(フロッピーディスク、ハードディスク、磁気テープなど)、光学媒体(例えば、デジタルビデオディスク(DVD:Digital Video Disc))、又は半導体媒体(例えば、ソリッドステートハードディスク(SSD:Solid ステップState Disk))などであり得る。
当業者なら、本明細書で開示される実施例を参照しながら説明された各例示のユニット及びアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアの組み合わせによって実現されてもよいことを理解することができる。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、特定の適用と技術ソリューションの設計上の制約条件によって異なる。専門技術者は、各特定の用途に応じて異なる方法を使用して、説明された機能を実現することができるが、このような実現は、本願の範囲を超えると見なされるべきではない。
本願で提供されるいくつかの実施例では、開示されたシステム、装置及び方法は、他の方式で実現できることを理解されたい。例えば、上記で説明された装置の実施例は例示的なものに過ぎず、例えば、当該ユニットの分離は、論理機能の分離に過ぎず、実際の実現時には別の分離方法があり、例えば、複数のユニット又はコンポーネントを別のシステムに統合又は集積したり、又は一部の特徴を無視したり、又は実行しないことができる。なお、表示又は議論された相互結合又は直接結合又は通信接続は、いくつかの通信インターフェースを使用して実現することができ、装置又はユニット間の間接的な結合又は通信接続は、電気的、機械的又は他の形態であり得る。
個別のパーツとして説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示されるパーツは、物理ユニットである場合とそうでない場合があり、1箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の需要に応じて、その中のユニットの一部又は全部を選択して本実施形態における技術的解決策の目的を達成することができる。例えば、本願の各実施例における各機能ユニットは、1つの処理ユニットに統合されてもよく、又は各ユニットが物理的に別々に存在してもよいし、2つ又は2つ以上のユニットが1つのユニットに統合されてもよい。
以上は、本願の特定の実施形態に過ぎず、本願の保護範囲はこれに限定されない。本願で開示された技術的範囲内で、当業者が容易に想到し得る変形又は置換はすべて、本願の保護範囲内に含まれるべきである。したがって、本願の保護範囲は、特許請求の保護範囲に従うものとする。
Claims (105)
- 点群符号化方法であって、
点群内の現在点の属性情報を取得することと、
前記現在点の属性情報を処理して、前記現在点の属性情報の残差値を取得することと、
目標量子化方式を使用して、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得することと、を含み、
前記目標量子化方式は、第1量子化方式、第2量子化方式、及び第3量子化方式のうちの少なくとも2つの量子化方式を含み、前記第1量子化方式は、前記点群内の少なくとも1つの点の量子化パラメータに量子化パラメータ増分を設定する方式であり、前記第2量子化方式は、前記点群内の点の残差値を重み付け処理する方式であり、前記第3量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆符号化する方式である、点群符号化方法。 - 前記点群符号化方法は、
前記点群内の点のジオメトリ情報を取得することと、
前記点群内の点のジオメトリ情報に基づいて、前記点群を1つ又は複数の詳細レベル(LOD)に分割することと、をさらに含み、各前記LODは、少なくとも1つのマルチレベルの詳細表現レベルを含み、詳細表現レベルの各レベルは、少なくとも1つの点を含む、
請求項1に記載の点群符号化方法。 - 前記目標量子化方式は、前記第1量子化方式及び前記第2量子化方式を含み、前記目標量子化方式を使用して、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得することは、
前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定することと、
前記目標LODに適合する目標量子化ステップ長を決定することと、
前記現在点の第1量子化重みを決定することと、
前記目標量子化ステップ長及び前記第1量子化重みに基づいて、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得することと、を含む、
請求項2に記載の点群符号化方法。 - 前記目標量子化方式は、前記第1量子化方式及び前記第3量子化方式を含み、前記目標量子化方式を使用して、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得することは、
前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定することと、
前記現在点が非可逆符号化された点に属すると決定する場合、前記目標LODに適合する目標量子化ステップ長を決定することと、
前記目標量子化ステップ長に基づいて、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得することと、を含む、
請求項2に記載の点群符号化方法。 - 前記目標量子化方式は、前記第1量子化方式、前記第2量子化方式、及び前記第3量子化方式を含み、前記目標量子化方式を使用して、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得することは、
前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定することと、
前記現在点が非可逆符号化された点に属すると決定する場合、前記目標LODに適合する目標量子化ステップ長を決定し、前記現在点の第1量子化重みを決定することと、
前記目標量子化ステップ長及び前記第1量子化重みに基づいて、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得することと、を含む、
請求項2に記載の点群符号化方法。 - 前記点群符号化方法は、
前記現在点が可逆符号化された点に属すると決定する場合、現在点の属性情報の残差値を可逆符号化することをさらに含む、
請求項4又は5に記載の点群符号化方法。 - 前記目標LODに適合する目標量子化ステップ長を決定することは、
前記目標LODの階層レベルインデックスを取得することと、
前記目標LODの階層レベルインデックスに基づいて、量子化ステップ長ルックアップテーブルで前記目標LODに対応する目標量子化ステップ長を照会することと、を含み、前記量子化ステップ長ルックアップテーブルは、LODと量子化ステップ長との対応関係を含む、
請求項3~5のいずれか一項に記載の点群符号化方法。 - 前記目標LODに適合する目標量子化ステップ長を決定することは、
前記現在点の符号化パラメータ内の量子化パラメータを決定することと、
前記目標LODの階層レベルインデックスを取得し、前記目標LODの階層レベルインデックスに基づいて、前記目標LODの量子化パラメータ増分を決定することと、
前記量子化パラメータ及び前記目標LODの量子化パラメータ増分に基づいて、前記目標LODに対応する目標量子化ステップを決定することと、を含む、
請求項3~5のいずれか一項に記載の点群符号化方法。 - 前記目標LODの階層レベルインデックスに基づいて、前記目標LODの量子化パラメータ増分を決定することは、
前記目標LODが前記点群の最初のN個のLODに属する場合、前記目標LODの量子化パラメータ増分がjであると決定することであって、前記Nは、第1閾値より小さいか等しい正の整数であり、前記jは、0より大きく、且つ第2閾値より小さいか等しい正数である、ことと、
前記目標LODが前記点群の最初のN個のLODに属さない場合、前記目標LODの量子化パラメータ増分が0であると決定することと、を含む、
請求項8に記載の点群符号化方法。 - 前記量子化パラメータが第3閾値より大きいか等しい場合、前記jは、第1所定値であり、
前記量子化パラメータが前記第3閾値より小さい場合、前記jは、第2所定値である、
請求項9に記載の点群符号化方法。 - 前記現在点の第2量子化重みを決定することは、
前記現在点のインデックスを決定することと、
前記現在点のインデックスに対応する量子化重みを、前記現在点の第1量子化重みとして決定することと、を含む、
請求項3又は5に記載の点群符号化方法。 - 前記目標量子化ステップ長及び前記第1量子化重みに基づいて、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得することは、
前記現在点の第1量子化重みに基づいて、前記現在点の第2量子化重みを決定することと、
前記目標量子化ステップ長及び前記第2量子化重みに基づいて、前記現在点の属性情報の残差値を量子化して、前記量子化残差値を取得することと、を含む、
請求項11に記載の点群符号化方法。 - 前記第2量子化重みは、前記目標量子化ステップ長より小さいか等しい、
請求項12に記載の点群符号化方法。 - 前記第2量子化重みの値は、2の整数乗に等しい、
請求項12に記載の点群符号化方法。 - 前記第1量子化重みの値は、2の整数乗に等しくなく、前記現在点の第1量子化重みに基づいて、前記現在点の第2量子化重みを決定することは、
前記現在点の第1量子化重みの値に基づいて、前記現在点の第1量子化重みに最近接する2の整数乗を、前記現在点の第2量子化重みとして決定することを含む、
請求項12に記載の点群符号化方法。 - 前記目標量子化ステップ長及び前記第2量子化重みに基づいて、前記現在点の属性情報の残差値を量子化することは、
前記第2量子化重みに前記現在点の属性情報の残差値を乗算して、重み付け残差値を取得することと、
前記目標量子化ステップ長を利用して前記重み付け残差値を量子化して、前記現在点の属性情報の量子化残差値を取得することと、を含む、
請求項12に記載の点群符号化方法。 - 前記目標量子化ステップ長及び前記第2量子化重みに基づいて、前記現在点の属性情報の残差値を量子化することは、
前記現在点の第2量子化重みに基づいて、前記目標量子化ステップ長を更新することと、
前記更新された量子化ステップ長に基づいて、前記現在点の属性情報の残差値を量子化することと、を含む、
請求項12に記載の点群符号化方法。 - 前記点群符号化方法は、
前記点群の符号化順序の逆順に従って、前記点群内の点をトラバースすることにより、現在点の第1量子化重みに基づいて前記現在点のN個の最近傍点の第1量子化重みを更新することをさらに含み、Nは、0より大きい整数である、
請求項12に記載の点群符号化方法。 - 前記点群内の各点の第1量子化重みの初期値は、所定値である、
請求項21に記載の点群符号化方法。 - 前記点群のLODにおける最初のM個のLOD内の点の第1量子化重みの初期値は、残りのLOD内の点の第1量子化重みの初期値より大きく、前記Mは、正の整数である、
請求項21に記載の点群符号化方法。 - 前記現在点の第1量子化重みに基づいて前記現在点のN個の最近傍点の第1量子化重みを更新することは、
前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得することであって、前記影響重みは、前記現在点及び前記N個の最近傍点の位置情報に関連する、ことと、
前記現在点の量子化重み及び前記N個の最近傍点のそれぞれに対する前記現在点の影響重みに基づいて、前記N個の最近傍点の第1量子化重みを更新することと、を含む、
請求項21に記載の点群符号化方法。 - 前記点群の属性パラメータセットは、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを含み、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得することは、
前記属性パラメータセットを照会することにより、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得することを含む、
請求項24に記載の点群符号化方法。 - 前記点群の量子化重みは、配列として記憶され、前記配列の次元は、前記点群内の点の数と同じである、
請求項12に記載の点群符号化方法。 - 前記点群符号化方法は、
前記点群内の少なくとも1つの点の属性情報の残差値を可逆符号化することをさらに含む、
請求項4~6のいずれか一項に記載の点群符号化方法。 - 前記少なくとも1つの点は、N個の点を含み、前記Nは、2の整数倍である、
請求項29に記載の点群符号化方法。 - 前記少なくとも1つの点は、N個の点を含み、前記N個の点における各隣接する2つの点間の間隔は等しい、
請求項29に記載の点群符号化方法。 - 前記点群内の少なくとも1つの点の属性残差値を可逆符号化することは、
前記点群のマルチレベルの詳細表現レベルのうちの少なくとも1レベルの詳細表現レベル内の少なくとも1つの点の属性残差値を可逆符号化することを含む、
請求項29に記載の点群符号化方法。 - 前記点群のマルチレベルの詳細表現レベルのうちの少なくとも1レベルの詳細表現レベル内の少なくとも1つの点の属性残差値を可逆符号化することは、
前記点群の前記マルチレベルの詳細表現レベルに含まれる点の総数が第1所定値より小さいか等しい少なくとも1つの第1タイプの詳細表現レベル、及び含まれる点の総数が前記第1所定値より大きい少なくとも1つの第2タイプの詳細表現レベルを取得することと、
前記第1タイプの詳細表現レベル内のすべての点の属性情報の残差値を可逆符号化することと、
前記第2タイプの詳細表現レベル内の少なくとも1つの点の属性情報の残差値を可逆符号化することと、を含む、
請求項32に記載の点群符号化方法。 - 前記第2タイプの詳細表現レベル内の少なくとも1つの点の属性情報の残差値を可逆符号化することは、
前記第2タイプの詳細表現レベル内のM個の点の属性情報の残差値を可逆符号化することを含み、前記Mは、2の正の整数倍である、
請求項33に記載の点群符号化方法。 - 前記少なくとも1レベルの第2タイプの詳細表現レベルがL個の第2タイプの詳細表現レベルを含み、前記Lが2より大きいか等しい正の整数である場合、前記第2タイプの詳細表現レベル内の少なくとも1つの点の属性情報の残差値を可逆符号化することは、
P個の第2タイプの詳細表現レベルのそれぞれにおける第1数の点の属性情報の残差値を可逆符号化することと、
Q個の第2タイプの詳細表現レベルのそれぞれにおける第2数の点の属性情報の残差値を可逆符号化することと、を含み、
前記P、Qは、正の整数であり、且つ前記Pと前記Qとの和は、前記Lより小さいか等しく、前記P個の第2タイプの詳細表現レベルは、前記Q個の第2タイプの詳細表現レベルと重ならず、前記第1数は、前記第2数とは異なる、
請求項33に記載の点群符号化方法。 - 前記P個の第2タイプの詳細表現レベルは、前記L個の第2タイプの詳細表現レベルにおける最初のP個の第2タイプの詳細表現レベルである、
請求項35に記載の点群符号化方法。 - 前記Q個の第2タイプの詳細表現レベルは、前記L個の第2タイプの詳細表現レベルにおける最後のQ個の第2タイプの詳細表現レベルである、
請求項35に記載の点群符号化方法。 - 前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルは、前記Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルに隣接する、
請求項35に記載の点群符号化方法。 - 前記第1数は、前記第2数より大きい、
請求項35に記載の点群符号化方法。 - 前記第1数は、前記第2数の正の整数倍である、
請求項39に記載の点群符号化方法。 - 前記第1数の点における隣接する2つの点間の間隔は等しい、
請求項35に記載の点群符号化方法。 - 前記第2数の点における隣接する2つの点間の間隔は等しい、
請求項35に記載の点群符号化方法。 - 前記現在点が可逆符号化された点である場合、前記点群符号化方法は、
現在点の属性情報の残差値及び属性情報の予測値に基づいて、前記現在点の属性情報の再構築値を決定することをさらに含む、
請求項6に記載の点群符号化方法。 - 前記点群符号化方法は、
コードストリームを生成することをさらに含み、前記コードストリームは、第1情報を含み、前記第1情報は、属性情報の残差値が可逆符号化された点を示すために使用される、
請求項35~42のいずれか一項に記載の点群符号化方法。 - 前記第1情報は、前記属性情報の残差値が可逆符号化された点の識別情報を含む、
請求項45に記載の点群符号化方法。 - 前記第1情報は、前記属性情報の残差値が可逆符号化された点の数を含む、
請求項45に記載の点群符号化方法。 - 前記第1情報は、前記第1数、前記第2数、及び前記P個の第2タイプの詳細表現レベルと前記Q個の第2タイプの詳細表現レベルの分割情報を含む、
請求項45に記載の点群符号化方法。 - 前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルが、前記Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルに隣接する場合、前記分割情報はさらに、前記Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルの識別情報、又は、前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルの識別情報を含む、
請求項48に記載の点群符号化方法。 - 前記第1情報はさらに、前記第2タイプの詳細表現レベルにおける最初の属性情報の残差値が可逆符号化された点の識別情報を含む、
請求項45に記載の点群符号化方法。 - 前記点群内の少なくとも1つの点の属性情報の残差値を可逆符号化することは、
前記点群内の点の属性情報の残差値を量子化するプロセス中に、前記属性情報の残差値が可逆符号化された少なくとも1つの点をスキップすること、又は、
前記属性情報の残差値が可逆符号化された少なくとも1つの点の量子化ステップ長を1に設定すること、又は、
前記属性情報の残差値が可逆符号化された少なくとも1つの点の量子化パラメータQPを目標値に設定することを含み、前記目標値は、量子化ステップ長が1であるときに対応するQP値である、
請求項29に記載の点群符号化方法。 - 点群復号化方法であって、
点群のコードストリームを解析して、前記点群の現在点の属性情報の量子化残差値を取得することと、
目標逆量子化方式を使用して、前記現在点の属性情報の量子化残差値を逆量子化して、前記現在点の属性情報の再構築残差値を取得することと、を含み、
前記目標逆量子化方式は、第1逆量子化方式、第2逆量子化方式、及び第3逆量子化方式のうちの少なくとも2つの逆量子化方式を含み、前記第1逆量子化方式は、前記点群内の少なくとも1つの点の逆量子化パラメータに逆量子化パラメータ増分を設定する方式であり、前記第2逆量子化方式は、前記点群内の点の残差値を重み付け除去処理する方式であり、前記第3逆量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆復号化する方式である、点群復号化方法。 - 前記点群復号化方法は、
前記点群内の点のジオメトリ情報を取得することと、
前記点群内の点のジオメトリ情報に基づいて、前記点群を1つ又は複数の詳細レベル(LOD)に分割することと、をさらに含み、各前記LODは、少なくとも1つのマルチレベルの詳細表現レベルを含み、マルチレベルの詳細表現レベルの各レベルは、少なくとも1つの点を含む、
請求項52に記載の点群復号化方法。 - 前記目標逆量子化方式は、前記第1逆量子化方式及び前記第2逆量子化方式を含み、前記目標逆量子化方式を使用して、前記現在点の属性情報の量子化残差値を逆量子化することは、
前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定することと、
前記目標LODに適合する目標量子化ステップ長を決定することと、
前記現在点の第1量子化重みを決定することと、
前記目標量子化ステップ長及び前記第1量子化重みに基づいて、前記現在点の属性情報の量子化残差値を逆量子化することと、を含む、
請求項53に記載の点群復号化方法。 - 前記目標逆量子化方式は、前記第1逆量子化方式及び前記第3逆量子化方式を含み、前記目標逆量子化方式を使用して、前記現在点の属性情報の量子化残差値を逆量子化することは、
前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定することと、
前記現在点が非可逆符号化された点に属すると決定する場合、前記目標LODに適合する目標量子化ステップ長を決定することと、
前記目標量子化ステップ長に基づいて、前記現在点の属性情報の量子化残差値を逆量子化することと、を含む、
請求項53に記載の点群復号化方法。 - 前記目標逆量子化方式は、前記第1逆量子化方式、前記第2逆量子化方式、及び前記第3逆量子化方式を含み、前記目標逆量子化方式を使用して、前記現在点の属性情報の量子化残差値を逆量子化することは、
前記現在点のジオメトリ情報に基づいて、前記現在点が位置する目標LODを決定することと、
前記現在点が非可逆符号化された点に属すると決定する場合、前記目標LODに適合する目標量子化ステップ長を決定し、前記現在点の第1量子化重みを決定することと、
前記目標量子化ステップ長及び前記第1量子化重みに基づいて、前記現在点の属性情報の量子化残差値を逆量子化することと、を含む、
請求項53に記載の点群復号化方法。 - 前記点群復号化方法は、
前記現在点が可逆符号化された点に属すると決定する場合、現在点の属性情報の残差値を可逆復号化することをさらに含む、
請求項55又は56に記載の点群符号化方法。 - 前記目標LODに適合する目標量子化ステップ長を決定することは、
前記目標LODの階層レベルインデックスを取得することと、
前記目標LODの階層レベルインデックスに基づいて、量子化ステップ長ルックアップテーブルで前記目標LODに対応する目標量子化ステップ長を照会することと、を含み、前記量子化ステップ長ルックアップテーブルは、LODと量子化ステップ長との対応関係を含む、
請求項54又は56に記載の点群符号化方法。 - 前記目標LODに適合する目標量子化ステップ長を決定することは、
コードストリームを復号化して、前記現在点の符号化パラメータ内の量子化パラメータを取得することと、
前記目標LODの階層レベルインデックスを取得し、前記目標LODの階層レベルインデックスに基づいて、前記目標LODの量子化パラメータ増分を決定することと、
前記量子化パラメータ及び前記目標LODの量子化パラメータ増分に基づいて、前記目標LODに対応する目標量子化ステップ長を決定することと、を含む、
請求項54又は56に記載の点群符号化方法。 - 前記目標LODの階層レベルインデックスに基づいて、前記目標LODの量子化パラメータ増分を決定することは、
前記目標LODが前記点群の最初のN個のLODに属する場合、前記目標LODの量子化パラメータ増分がjであると決定することであって、前記Nは、第1閾値より小さいか等しい正の整数であり、前記jは、0より大きく、且つ第2閾値より小さいか等しい正数である、ことと、
前記目標LODが前記点群の最初のN個のLODに属さない場合、前記目標LODの量子化パラメータ増分が0であると決定することと、を含む、
請求項59に記載の点群復号化方法。 - 前記量子化パラメータが第3閾値より大きいか等しい場合、前記jは、第1所定値であり、
前記量子化パラメータが前記第3閾値より小さい場合、前記jは、第2所定値である、
請求項60に記載の点群復号化方法。 - 前記現在点の第1量子化重みを決定することは、
前記現在点のインデックスを決定することと、
前記現在点のインデックスに対応する量子化重みを、前記現在点の第1量子化重みとして決定することと、を含む、
請求項54又は56に記載の点群復号化方法。 - 前記目標量子化ステップ長及び前記第1量子化重みに基づいて、前記現在点の属性情報の量子化残差値を逆量子化することは、
前記現在点の第1量子化重みに基づいて、前記現在点の第2量子化重みを決定することと、
前記目標量子化ステップ長及び前記第2量子化重みに基づいて、前記現在点の属性情報の量子化残差値を逆量子化して、前記再構築残差値を取得することと、を含む、
請求項54又は56に記載の点群復号化方法。 - 前記第2量子化重みは、前記目標量子化ステップ長より小さいか等しい、
請求項63に記載の点群復号化方法。 - 前記第2量子化重みの値は、2の整数乗に等しい、
請求項63に記載の点群復号化方法。 - 前記第1量子化重みの値は、2の整数乗に等しくなく、前記現在点の第1量子化重みに基づいて、前記現在点の第2量子化重みを決定することは、
前記現在点の第1量子化重みの値に基づいて、前記現在点の第1量子化重みに最近接する2の整数乗を、前記現在点の第2量子化重みとして決定することを含む、
請求項63に記載の点群復号化方法。 - 前記目標量子化ステップ長及び前記第2量子化重みに基づいて、前記現在点の属性情報の量子化残差値を逆量子化することは、
前記現在点の目標量子化ステップ長を利用して、前記量子化残差値を逆量子化して、重み付け残差値を取得することと、
前記重み付け残差値を前記第2量子化重みで除算して、前記再構築残差値を取得することと、を含む、
請求項63に記載の点群復号化方法。 - 前記目標量子化ステップ長及び前記第2量子化重みに基づいて、前記現在点の属性情報の量子化残差値を逆量子化することは、
前記現在点の第2量子化重みに基づいて、前記目標量子化ステップ長を更新することと、
前記更新された量子化ステップ長に基づいて、前記現在点の属性情報の量子化残差値を逆量子化する、
請求項63に記載の点群復号化方法。 - 前記点群復号化方法は、
前記点群の符号化順序の逆順に従って、前記点群内の点をトラバースすることにより、現在点の第1量子化重みに基づいて前記現在点のN個の最近傍点の第1量子化重みを更新することをさらに含み、Nは、0より大きい整数である、
請求項63に記載の点群復号化方法。 - 前記点群内の各点の第1量子化重みの初期値は、所定値である、
請求項72に記載の点群復号化方法。 - 前記点群のLODにおける最初のM個のLOD内の点の第1量子化重みの初期値は、残りのLOD内の点の第1量子化重みの初期値より大きく、前記Mは、正の整数である、
請求項72に記載の点群復号化方法。 - 前記現在点の第1量子化重みに基づいて前記現在点のN個の最近傍点の第1量子化重みを更新することは、
前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得することであって、前記影響重みは、前記現在点及び前記N個の最近傍点の位置情報に関連する、ことと、
前記現在点の量子化重み及び前記N個の最近傍点のそれぞれに対する前記現在点の影響重みに基づいて、前記N個の最近傍点の第1量子化重みを更新することと、を含む、
請求項72に記載の点群復号化方法。 - 前記点群の属性パラメータセットは、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを含み、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得することは、
前記属性パラメータセットを照会することにより、前記N個の最近傍点のそれぞれに対する前記現在点の影響重みを取得することを含む、
請求項75に記載の点群復号化方法。 - 前記点群の量子化重みは、配列として記憶され、前記配列の次元は、前記点群内の点の数と同じである、
請求項52に記載の点群復号化方法。 - 前記点群復号化方法は、
前記点群のコードストリームを復号化して、第1情報を取得することであって、前記第1情報は、属性情報の残差値が可逆符号化された点を示すために使用される、ことと、
前記第1情報に基づいて、前記現在点の属性情報の残差値が可逆符号化されたか否かを決定することと、をさらに含む、
請求項55~57のいずれか一項に記載の点群復号化方法。 - 前記第1情報は、Nを含み、前記Nは、前記点群における属性情報の残差値が可逆符号化された点の総数である、
請求項80に記載の点群復号化方法。 - 前記Nは、2の整数倍である、
請求項81に記載の点群復号化方法。 - 前記N個の点における各隣接する2つの点間の間隔は等しい、
請求項81に記載の点群復号化方法。 - 前記第1情報に基づいて、前記現在点の属性情報の残差情報が可逆符号化されたか否かを決定することは、
前記現在点が前記N個の点のうちの1つであると決定する場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定することを含む、
請求項83に記載の点群復号化方法。 - 前記第1情報が所定間隔を含む場合、前記第1情報に基づいて、前記現在点の属性情報の残差情報が可逆符号化されたか否かを決定することは、
前記所定間隔に基づいて、前記現在点と、前の属性情報の残差情報が可逆符号化された点との間隔が前記所定間隔に等しいと決定する場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定することを含む、
請求項80に記載の点群復号化方法。 - 前記第1情報が第1所定値を含む場合、前記第1情報に基づいて、前記現在点の属性情報の残差情報が可逆符号化されたか否かを決定することは、
前記第1所定値に基づいて、前記点群のマルチレベルの詳細表現レベルに含まれる点の総数が前記第1所定値より小さいか等しい少なくとも1つの第1タイプの詳細表現レベル、及び含まれる点の総数が前記第1所定値より大きい少なくとも1つの第2タイプの詳細表現レベルを取得することと、
前記現在点が前記第1タイプの詳細表現レベルに属する場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定することを含む、
請求項80に記載の点群復号化方法。 - 前記第1情報がMを含み、前記Mが1つの前記第2タイプの詳細表現レベルにおける属性情報の残差値が可逆符号化された点の数であり、前記Mが2の正の整数倍である場合、前記第1情報に基づいて、前記現在点の属性情報の残差情報が可逆符号化されたか否かを決定することは、
前記現在点が前記M個の点のうちの1つである場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定することを含む、
請求項86に記載の点群復号化方法。 - 前記少なくとも1つの第2タイプの詳細表現レベルは、L個の第2タイプの詳細表現レベルを含み、前記Lは、2より大きいか等しい正の整数であり、前記第1情報が第1数、第2数、及びP個の第2タイプの詳細表現レベルとQ個の第2タイプの詳細表現レベルの分割情報を含む場合、前記第1情報に基づいて、前記現在点の属性情報の残差情報が可逆符号化されたか否かを決定することは、
前記分割情報に基づいて、前記L個の第2タイプの詳細表現レベルを分割して、前記P個の第2タイプの詳細表現レベルと前記Q個の第2タイプの詳細表現レベルを取得することと、
前記現在点が前記P個の第2タイプの詳細表現レベルにおける属性情報の残差値が可逆符号化された第1数の点のうちの1つであると決定する場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定することと、
前記現在点が前記Q個の第2タイプの詳細表現レベルにおける属性情報の残差値が可逆符号化された第2数の点のうちの1つであると決定する場合、前記現在点の属性情報の残差情報が可逆符号化されたと決定することと、を含み、
前記P、Qは、正の整数であり、且つ前記Pと前記Qとの和は、前記Lより小さいか等しく、前記P個の第2タイプの詳細表現レベルは、前記Q個の第2タイプの詳細表現レベルと重ならず、前記第1数は、前記第2数とは異なる、
請求項86に記載の点群復号化方法。 - 前記P個の第2タイプの詳細表現レベルは、前記L個の第2タイプの詳細表現レベルにおける最初のP個の第2タイプの詳細表現レベルである、
請求項88に記載の点群復号化方法。 - 前記Q個の第2タイプの詳細表現レベルは、前記L個の第2タイプの詳細表現レベルにおける最後のQ個の第2タイプの詳細表現レベルである、
請求項88に記載の点群復号化方法。 - 前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルは、前記Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルに隣接する、
請求項88に記載の点群復号化方法。 - 前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルが、前記Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルに隣接する場合、前記分割情報はさらに、前記Q個の第2タイプの詳細表現レベルにおける最初の第2タイプの詳細表現レベルの識別情報、又は、前記P個の第2タイプの詳細表現レベルにおける最後の第2タイプの詳細表現レベルの識別情報を含む、
請求項91に記載の点群復号化方法。 - 前記第1情報はさらに、前記第2タイプの詳細表現レベルにおける最初の属性情報の残差値が可逆符号化された点の識別情報を含む、
請求項88に記載の点群復号化方法。 - 前記第1情報はさらに、属性情報の残差値が可逆符号化された点の識別情報を含む、
請求項88に記載の点群復号化方法。 - 前記第1数は、前記第2数より大きい、
請求項88に記載の点群復号化方法。 - 前記第1数は、前記第2数の正の整数倍である、
請求項95に記載の点群復号化方法。 - 前記第1数の点における隣接する2つの点間の間隔は等しい、
請求項88に記載の点群復号化方法。 - 前記第2数の点における隣接する2つの点間の間隔は等しい、
請求項88に記載の点群復号化方法。 - 点群エンコーダであって、
点群内の現在点の属性情報を取得するように構成される取得ユニットと、
前記現在点の属性情報を処理して、前記現在点の属性情報の残差値を取得するように構成される処理ユニットと、
目標量子化方式を使用して、前記現在点の属性情報の残差値を量子化して、前記現在点の属性情報の量子化残差値を取得するように構成される量子化ユニットと、を備え、
前記目標量子化方式は、第1量子化方式、第2量子化方式、及び第3量子化方式のうちの少なくとも2つの量子化方式を含み、前記第1量子化方式は、前記点群内の少なくとも1つの点の量子化パラメータに量子化パラメータ増分を設定する方式であり、前記第2量子化方式は、前記点群内の点の残差値を重み付け処理する方式であり、前記第3量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆符号化する方式である、点群エンコーダ。 - 点群デコーダであって、
点群のコードストリームを解析して、前記点群の現在点の属性情報の量子化残差値を取得するように構成される復号化ユニットと、
目標逆量子化方式を使用して、前記現在点の属性情報の量子化残差値を逆量子化して、前記現在点の属性情報の再構築残差値を取得するように構成される逆量子化ユニットと、を備え、
前記目標逆量子化方式は、第1逆量子化方式、第2逆量子化方式、及び第3逆量子化方式のうちの少なくとも2つの逆量子化方式を含み、前記第1逆量子化方式は、前記点群内の少なくとも1つの点の逆量子化パラメータに逆量子化パラメータ増分を設定する方式であり、前記第2逆量子化方式は、前記点群内の点の残差値を重み付け除去処理する方式であり、前記第3逆量子化方式は、前記点群内の少なくとも1つの点の属性情報の残差値を可逆復号化する方式である、点群デコーダ。 - 点群エンコーダであって、
コンピュータプログラムを実行するように構成されたプロセッサと、
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体と、を備え、前記コンピュータプログラムが前記プロセッサによって実行されるときに、請求項1~51のいずれか一項に記載の点群符号化方法を実現する、点群エンコーダ。 - 点群デコーダであって、
コンピュータプログラムを実行するように構成されたプロセッサと、
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体と、を備え、前記コンピュータプログラムが前記プロセッサによって実行されるときに、請求項52~98のいずれか一項に記載の点群復号化方法を実現する、点群デコーダ。 - プロセッサによってロードされ、請求項1~98のいずれか一項に記載の方法を実行するように構成されたコンピュータ命令を含む、コンピュータ可読記憶媒体。
- 点群コーデックシステムであって、
請求項100又は102に記載の点群エンコーダと、
請求項101又は103に記載の点群デコーダと、を含む、点群コーデックシステム。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2020/117941 | 2020-09-25 | ||
PCT/CN2020/117941 WO2022061785A1 (zh) | 2020-09-25 | 2020-09-25 | 点云编码方法、点云解码方法及相关装置 |
PCT/CN2020/138421 WO2022133752A1 (zh) | 2020-12-22 | 2020-12-22 | 点云的编码方法、解码方法、编码器以及解码器 |
PCT/CN2020/138423 WO2022133753A1 (zh) | 2020-12-22 | 2020-12-22 | 点云编解码方法与系统、及点云编码器与点云解码器 |
CNPCT/CN2020/138423 | 2020-12-22 | ||
CNPCT/CN2020/138421 | 2020-12-22 | ||
PCT/CN2021/087064 WO2022062369A1 (zh) | 2020-09-25 | 2021-04-13 | 点云编解码方法与系统、及点云编码器与点云解码器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023543752A true JP2023543752A (ja) | 2023-10-18 |
JPWO2022062369A5 JPWO2022062369A5 (ja) | 2024-03-28 |
Family
ID=80844505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023518709A Pending JP2023543752A (ja) | 2020-09-25 | 2021-04-13 | 点群コーデック方法及びシステム、並びに点群エンコーダ及び点群デコーダ |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230232004A1 (ja) |
EP (1) | EP4221207A4 (ja) |
JP (1) | JP2023543752A (ja) |
KR (1) | KR20230075426A (ja) |
CN (1) | CN116325731A (ja) |
WO (1) | WO2022062369A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116783887A (zh) * | 2020-12-22 | 2023-09-19 | Oppo广东移动通信有限公司 | 点云的编码方法、解码方法、编码器以及解码器 |
WO2023213074A1 (zh) * | 2022-05-06 | 2023-11-09 | 腾讯科技(深圳)有限公司 | 点云处理方法、装置、设备、存储介质及产品 |
WO2024007253A1 (zh) * | 2022-07-07 | 2024-01-11 | Oppo广东移动通信有限公司 | 点云率失真优化方法及属性压缩方法、装置和存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8077775B2 (en) * | 2006-05-12 | 2011-12-13 | Freescale Semiconductor, Inc. | System and method of adaptive rate control for a video encoder |
JP2018078503A (ja) * | 2016-11-11 | 2018-05-17 | 日本電信電話株式会社 | データ符号化方法、データ符号化装置及びデータ符号化プログラム |
US10911787B2 (en) * | 2018-07-10 | 2021-02-02 | Apple Inc. | Hierarchical point cloud compression |
US10904564B2 (en) * | 2018-07-10 | 2021-01-26 | Tencent America LLC | Method and apparatus for video coding |
US11030777B2 (en) * | 2018-09-14 | 2021-06-08 | Sony Group Corporation | Adaptive subband coding for lifting transform |
JP7512209B2 (ja) * | 2019-02-05 | 2024-07-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
BR112021016832A2 (pt) * | 2019-03-18 | 2021-10-19 | Panasonic Intellectual Property Corporation Of America | Método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais, e dispositivo de decodificação de dados tridimensionais |
WO2020213735A1 (ja) * | 2019-04-19 | 2020-10-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
CN114009025A (zh) * | 2019-07-02 | 2022-02-01 | 松下电器(美国)知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 |
EP4005210A1 (en) * | 2019-07-22 | 2022-06-01 | InterDigital VC Holdings, Inc. | Method and apparatus for video encoding and decoding with matrix based intra-prediction |
EP4075804A4 (en) * | 2020-01-07 | 2023-01-25 | LG Electronics Inc. | POINT CLOUD DATA TRANSMISSION DEVICE, TRANSMISSION METHOD, PROCESSING DEVICE AND PROCESSING METHOD |
-
2021
- 2021-04-13 CN CN202180064277.9A patent/CN116325731A/zh active Pending
- 2021-04-13 EP EP21870758.6A patent/EP4221207A4/en active Pending
- 2021-04-13 JP JP2023518709A patent/JP2023543752A/ja active Pending
- 2021-04-13 KR KR1020237009716A patent/KR20230075426A/ko active Search and Examination
- 2021-04-13 WO PCT/CN2021/087064 patent/WO2022062369A1/zh active Application Filing
-
2023
- 2023-03-23 US US18/125,276 patent/US20230232004A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022062369A1 (zh) | 2022-03-31 |
CN116325731A (zh) | 2023-06-23 |
EP4221207A4 (en) | 2024-03-20 |
US20230232004A1 (en) | 2023-07-20 |
KR20230075426A (ko) | 2023-05-31 |
EP4221207A1 (en) | 2023-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11812058B2 (en) | Methods of coding attributes for point cloud coding | |
US20210329270A1 (en) | Method and apparatus for point cloud coding | |
US11671576B2 (en) | Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding | |
JP2023543752A (ja) | 点群コーデック方法及びシステム、並びに点群エンコーダ及び点群デコーダ | |
US11284111B2 (en) | Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding | |
US11232599B2 (en) | Method and apparatus for inter-channel prediction and transform for point cloud attribute coding | |
US11399192B2 (en) | Spatial scalable coding for point cloud coding | |
US20230342985A1 (en) | Point cloud encoding and decoding method and point cloud decoder | |
EP4258671A1 (en) | Point cloud attribute predicting method, encoder, decoder, and storage medium | |
CN117321991A (zh) | 点云属性的预测方法、装置及编解码器 | |
WO2022217472A1 (zh) | 点云编解码方法、编码器、解码器及计算机可读存储介质 | |
WO2022140937A1 (zh) | 点云编解码方法与系统、及点云编码器与点云解码器 | |
WO2023103565A1 (zh) | 点云属性信息的编解码方法、装置、设备及存储介质 | |
WO2024065406A1 (zh) | 编解码方法、码流、编码器、解码器以及存储介质 | |
WO2023024842A1 (zh) | 点云编解码方法、装置、设备及存储介质 | |
CN118765499A (zh) | 编码方法、编码器以及存储介质 | |
CN118055254A (zh) | 点云属性编解码方法、装置、设备 | |
CN117354496A (zh) | 点云编解码方法、装置、设备及存储介质 | |
CN115474041A (zh) | 点云属性的预测方法、装置及相关设备 | |
CN115733990A (zh) | 点云编解码方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240315 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240315 |