JP2024500701A - 点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダ - Google Patents
点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダ Download PDFInfo
- Publication number
- JP2024500701A JP2024500701A JP2023536205A JP2023536205A JP2024500701A JP 2024500701 A JP2024500701 A JP 2024500701A JP 2023536205 A JP2023536205 A JP 2023536205A JP 2023536205 A JP2023536205 A JP 2023536205A JP 2024500701 A JP2024500701 A JP 2024500701A
- Authority
- JP
- Japan
- Prior art keywords
- point
- point cloud
- attribute information
- current point
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 200
- 238000013139 quantization Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 58
- 230000000875 corresponding effect Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 22
- 238000004458 analytical method Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000003068 static effect Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101000638069 Homo sapiens Transmembrane channel-like protein 2 Proteins 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 102100032054 Transmembrane channel-like protein 2 Human genes 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3068—Precoding preceding compression, e.g. Burrows-Wheeler transformation
- H03M7/3071—Prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本願は、点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダを提供し、点群における点の幾何学的情報によって現在点の属性情報の予測モードを決定し、このようにして、予測モードの決定プロセスと点群における点の属性情報の再構成プロセスとが切り離され、2つのプロセスは並行して実行することができ、更に、符号化/復号化の効率を向上させる。
Description
本願は、点群符号化/復号化技術分野に関し、特に、点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダに関する。
収集機器によって物体表面を収集して、点群データを形成し、点群データは、数十万あるいはそれ以上の点を含む。ビデオ制作プロセスにおいて、点群データは、点群符号化機器と点群復号化機器との間で点群メディアファイルの形態で伝送される。しかし、このような大量の点は、伝送に課題をもたらし、よって、点群符号化機器は、点群データを圧縮して伝送する必要がある。
点群データの圧縮は、主に、幾何情報の圧縮と属性情報の圧縮を含み、属性情報の圧縮中に、予測により点群データにおける冗長情報を削減又は除去する。例えば、符号化済みの点から現在点の1つ又は複数の隣接点を取得し、隣接点の属性情報に基づいて、現在点の属性情報を予測する。
現在、隣接点の属性情報の再構成値に基づいて現在点の予測モードを決定し、予測モードの決定プロセスと属性情報の再構成プロセスとが結合されるため、点群符号化の効果を低減させる。
本願の実施例は、点群符号化効率を向上させるために、点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダを提供する。
第1態様によれば、本願は、点群符号化方法を提供し、前記方法は、
点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定することと、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、
前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得ることと、
前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成することと、を含む。
点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定することと、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、
前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得ることと、
前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成することと、を含む。
第2態様によれば、本願の実施例は点群復号化方法を提供し、前記方法は、
点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定することと、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、を含む。
点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定することと、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、を含む。
第3態様によれば、本願は、上記の第1態様又はその各実施形態における方法を実行する点群エンコーダを提供する。具体的に、当該エンコーダは、上記の第1態様又はその各実施形態における方法を実行するように構成される機能ユニットを備える。
第4態様によれば、本願は、上記の第2態様又はその各実施形態における方法を実行する点群デコーダを提供する。具体的に、当該デコーダは、上記の第2態様又はその各実施形態における方法を実行するように構成される機能ユニットを備える。
第5態様によれば、プロセッサとメモリとを備える点群エンコーダを提供する。当該メモリは、コンピュータプログラムを記憶し、当該プロセッサは、当該メモリに記憶されたコンピュータプログラムを呼び出し実行して、上記の第1態様又はその各実施形態における方法を実行する。
第6態様によれば、プロセッサとメモリとを備える点群デコーダを提供する。当該メモリは、コンピュータプログラムを記憶し、当該プロセッサは、当該メモリに記憶されたコンピュータプログラムを呼び出し実行して、上記の第2態様又はその各実施形態における方法を実行する。
第7態様によれば、点群エンコーダと点群デコーダとを備える点群符号化と復号化システムを提供する。点群エンコーダは、上記の第1態様又はその各実施形態における方法を実行し、点群デコーダは、上記の第2態様又はその各実施形態における方法を実行する。
第8態様によれば、上記の第1態様ないし第2態様のいずれか1つの態様又はその各実施形態における方法を実現するチップを提供する。具体的に、当該チップは、プロセッサを備え、前記プロセッサは、メモリからコンピュータプログラムを呼び出し実行して、当該チップが実装された機器に、上記の第1態様及び第2態様のいずれか1つの態様又はその各実現方式における方法を実行させる。
第9態様によれば、コンピュータに、上記の第1態様ないし第2態様のいずれか1つの態様又はその各実施形態における方法を実行させるコンピュータプログラムが記憶された、コンピュータ可読記憶媒体を提供する。
第10態様によれば、コンピュータに、上記の第1態様ないし第2態様のいずれか1つの態様又はその各実施形態における方法を実行させるコンピュータプログラム命令を含む、コンピュータプログラム製品を提供する。
第11態様によれば、コンピュータで実行されるとき、コンピュータに、上記の第1態様ないし第2態様のいずれか1つの態様又はその各実施形態における方法を実行させる、コンピュータプログラムを提供する。
上記の技術的解決策に基づいて、点群における点の幾何学的情報によって現在点の属性情報の予測モードを決定し、このようにして、予測モードの決定プロセスと点群における点の属性情報の再構成プロセスとが切り離され、2つのプロセスは並行して行うことができ、更に、符号化/復号化の効率を向上させる。
本願は、点群圧縮の技術分野に適用されてもよい。
本願の実施例の理解を容易にするために、まず、本願の実施例に係る関連概念について簡単に説明する。
点群(Point Cloud)とは、空間内にランダムに分布する、三次元物体又は三次元シナリオの空間構造及び表面属性を表す離散点セットを指す。
点群データ(Point Cloud Data)は、点群の具体的な記録形態であり、点群における点は、点の位置情報と点の属性情報を含み得る。例えば、点の位置情報は、点の三次元座標情報であってもよい。点の位置情報は、点の幾何学的情報とも呼ばれることができる。例えば、点の属性情報は、色情報及び/又は反射率などを含んでもよい。例えば、前記色情報は、任意の色空間における情報であってもよい。例えば、前記色情報は、RGBであってもよい。別の例では、前記色情報は、輝度クロマ(YUV:YcbCr)情報であってもよい。例えば、Yは、ルーマ(Luma)を示し、Cb (U)は、青彩色差を示し、Cr (V)は、赤彩を示し、UとVは、クロマ(Chroma)を示し、色差情報を記述するために使用される。例えば、レーザ測定原理に基づいて得られた点群における点は、点の三次元座標情報と点のレーザ反射率(reflectance)を含み得る。また例えば、撮影測定原理に基づいて得られた点群における点は、点の三次元座標情報と点の色情報を含み得る。また例えば、レーザ測定と撮影測定原理を組み合わせて得られた点群における点は、点の三次元座標情報、点のレーザ反射率(reflectance)及び点の色情報を含み得る。
点群データを取得するアプローチは、以下の少なくとも1つを含むが、これに限定されない。(1)コンピュータ機器によって生成される。コンピュータ機器は、仮想三次元物体及び仮想三次元シナリオに基づいて点群データを生成することができる。(2)三次元(3D:3-Dimension)レーザスキャンによって取得される。3Dレーザスキャンによって、静的現実世界の三次元物体又は三次元シナリオの点群データを取得することができ、1秒間に数百万の点群データを取得することができる。(3)3D撮影測定によって取得される。3D撮影機器(つまり、一組のカメラ又は複数のカメラレンズとセンサを備えるカメラ機器)によって、現実世界のビジュアルシナリオを収集することにより、現実世界のビジュアルシナリオの点群データを取得し、3D撮影を用いて、動的現実世界の三次元物体又は三次元シナリオの点群データを取得することができる。(4)医療機器によって生物組織や臓器の点群データを取得する。医療分野では、磁気共鳴撮影(MRI:Magnetic Resonance Imaging)、コンピュータ断層撮影(CT:Computed Tomography)、電磁位置決め情報などの医療機器を用いて、生物組織や臓器の点群データを取得することができる。
点群は、取得のアプローチに応じて、密な点群と疎な点群に分けられることができる。
点群は、データのタイミング種類に応じて、第1種類静的点群、第2種類動的点群、第3種類動的取得点群に分けられる。
第1種類静的点群:即ち、物体は静的であり、点群を取得する機器も静的である。
第2種類動的点群:物体は、動的であるが、点群を取得する機器は、静的である。
第3種類動的取得点群:点群を取得する機器は、動的である。
点群の用途に応じて、2つのタイプに分けられる。
タイプ1:機械感知点群であり、自律航法システム、リアルタイム検査システム、地理情報システム、視覚選別ロボット、レスキューロボットなどのシーンに使用することができる。
タイプ2:人目感知点群であり、デジタル文化遺産、自由視点放送、三次元没入型通信、三次元没入型対話などの点群適用シーンに使用することができる。
図1は、本願の実施例に係る点群符号化と復号化システム100の例示的なブロック図である。説明すべきこととして、図1は、1つの例に過ぎず、本願の実施例の点群符号化と復号化システムは、図1に示すものを含むが、これに限定されない。図1に示すように、当該点群符号化と復号化システム100は、符号化機器110と復号化機器120とを備える。ここで、符号化機器は、点群データを符号化(圧縮と理解してもよい)してビットストリームを生成し、ビットストリームを復号化機器に伝送する。復号化機器は、符号化機器符号化で生成されたビットストリームを復号化し、復号化された点群データを得る。
本願の実施例の符号化機器110は、点群符号化機能を有する機器として理解してもよく、復号化機器120は、点群復号化機能を有する機器として理解してもよく、つまり、本願の実施例の符号化機器110と復号化機器120は、スマートフォン、デスクトップコンピュータ、モバイルコンピューティング装置、ノートブック(例えば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、テレビ、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲーム機、車両コンピュータなど、より広範な装置を含む。
いくつかの実施例において、符号化機器110は、チャネル130を介して、符号化された点群データ(例えば、ビットストリーム)を復号化機器120に伝送することができる。チャネル130は、符号化された点群データを符号化機器110から復号化機器120に伝送することができる1つ又は複数の媒体及び/又は装置を含み得る。
1つの例において、チャネル130は、符号化機器110に、符号化された点群データをリアルタイムで復号化機器120に直接送信できるようにする1つ又は複数の通信メディアを含む。個の例において、符号化機器110は、通信規格に基づいて、符号化された点群データを変調し、変調された点群データを復号化機器120に送信することができる。ここで、通信メディアは、無線周波数スペクトルのような無線通信メディアを含み、例示的に、通信メディアは、1つ又は複数の物理的伝送路などの有線通信メディアを含み得る。
別の例において、チャネル130は、記憶媒体を含み、当該記憶媒体は、符号化機器110によって符号化された点群データを記憶することができる。記憶媒体は、光ディスク、DVD、フラッシュメモリなどの、様々なローカルにアクセス可能なデータ記憶媒体を含む。当該例において、復号化機器120は、当該記憶媒体から符号化された点群データを取得することができる。
別の例において、チャネル130は、ストレージサーバを含んでもよく、当該ストレージサーバは、符号化機器110によって符号化された点群データを記憶することができる。この例において、復号化機器120は、当該ストレージサーバから、記憶された符号化された点群データをダウンロードすることができる。選択的に、当該ストレージサーバは、符号化された点群データを記憶することができ、当該符号化された点群データを、webサーバ(例えば、ウェブサイト)、ファイル転送プロトコル(FTP)サーバなどの復号化機器120に送信することができる。
いくつかの実施例において、符号化機器110は、点群エンコーダ112及び出力インターフェース113を含む。ここで、出力インターフェース113は、変調器/復調器(モデム)及び/又は送信機を含んでもよい。
いくつかの実施例において、符号化機器110は、点群エンコーダ112と入力インターフェース113に加えて、点群ソース111を更に含み得る。
点群ソース111は、点群収集装置(例えば、スキャナ)、点群アーカイブ、点群入力インターフェース、コンピュータグラフィックスシステムのうちの少なくとも1つを含み得、ここで、点群入力インターフェースは、点群コンテンツプロバイダから点群データを受信するために使用され、コンピュータグラフィックスシステムは、点群データを生成するために使用される。
点群エンコーダ112は、点群ソース111からの点群データを符号化し、ビットストリームを生成する。点群エンコーダ112は、出力インターフェース113を介して、符号化された点群データを復号化機器120に直接伝送する。符号化された点群データは更に、復号化機器120が後続で読み取るように、記憶媒体又はストレージサーバに記憶されることができる。
いくつかの実施例において、復号化機器120は、入力インターフェース121と点群デコーダ122を含む。
いくつかの実施例において、復号化機器120は、入力インターフェース121と点群デコーダ122に加えて、表示装置123を更に含み得る。
ここで、入力インターフェース121は、受信器及び/又はモデムを含む。入力インターフェース121は、チャネル130を介して符号化された点群データを受信することができる。
点群デコーダ122は、符号化された点群データを復号化し、復号化された点群データを得、復号化された点群データを表示装置123に伝送するように構成される。
表示装置123は、復号化された点群データをディスプレイする。表示装置123は、復号化機器120と一体化されてもよく、復号化機器120の外部に配置されてもよい。表示装置123は、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ又は他の種類の表示装置などの、様々な表示装置を含んでもよい。
更に、図1は、一例に過ぎず、本願の実施例の技術的解決策は図1に限定されなく、例えば、本願の技術は、片面の点群符号化又は片面の点群復号化に適用されてもよい。
現在の点群エンコーダは、動画エキスパートグループ(MPEG:Moving Picture Experts Group)によって提供されるジオメトリベースの点群圧縮(G-PCC:Geometry Point Cloud Compression)符号化/復号化フレームワーク又はビデオベースの点群圧縮 (V-PCC:Video Point Cloud Compression)符号化/復号化フレームワークを採用してもよく、オーディオビデオ規格(AVS:Audio Video Standard)によって提供されるAVS-PCC符号化/復号化フレームワークを採用してもよい。G-PCC及びAVS-PCCは、いずれも静的な疎な点群を対称としており、その符号化フレームワークは、ほぼ同じである。G-PCC符号化/復号化フレームワークは、第1静的点群と第3種類動的取得点群を圧縮するために使用されることができ、V-PCC符号化/復号化フレームワークは、第2種類動的点群を圧縮するために使用されることができる。G-PCC符号化/復号化フレームワークは、点群エンコーダ/デコーダTMC13とも呼ばれ、V-PCC符号化/復号化フレームワークは、点群エンコーダ/デコーダTMC2とも呼ばれる。
以下では、G-PCC符号化/復号化フレームワークを例として、本願の実施例が適する点群エンコーダと点群デコーダについて説明する。
図2は、本願の実施例による点群エンコーダ200の例示的なブロック図である。
以上の記載から分かるように、点群における点は、点の位置情報と点の属性情報を含むことができるため、点群における点の符号化は、主に、位置符号化と属性符号化を含む。いくつかの実施例において、点群における点の位置情報は、幾何学的情報とも呼ばれ、それに対応して、点群における点の位置符号化は、幾何学的符号化とも呼ばれることができる。
位置符号化のプロセスは、以下のステップを含む。点群における点に対して、座標変換、量子化と重複点の除去などの前処理を行い、次に、前処理後の点群に対して、八分木構築などの幾何学的符号化を行い、構築された八分木に基づいて、幾何学的符号化を行って幾何学的ビットストリームを形成する。同時に、構築された八分木によって出力された位置情報に基づいて、点群データにおける各点の位置情報を再構成し、各点の位置情報の再構成値を得る。
属性符号化プロセスは、以下のステップを含む。入力点群の位置情報の再構成情報と属性情報の元の値を与えて、3種類の予測モードのうちの1つを選択して点群予測を行い、予測された結果を量子化し、算術符号化を行って属性ビットストリームを形成する。
図2に示すように、位置符号化は、
座標転換(Tanmsform coordinates)ユニット201、量子化と重複点の除去(Quantize and remove points)ユニット202、八分木解析(Analyze octree)ユニット203、幾何学的再構成(Reconstruct geometry)ユニット204及び第1算術符号化(Arithmetic enconde)ユニット205によって実現されることができる。
座標転換(Tanmsform coordinates)ユニット201、量子化と重複点の除去(Quantize and remove points)ユニット202、八分木解析(Analyze octree)ユニット203、幾何学的再構成(Reconstruct geometry)ユニット204及び第1算術符号化(Arithmetic enconde)ユニット205によって実現されることができる。
座標転換ユニット201は、点群における点の世界座標を相対座標に変換するように構成されることができる。例えば、点の幾何学的座標からxyz座標軸の最小値をそれぞれ減算し、直流除去動作に相当し、それにより、点群における点の座標を世界座標から相対座標に転換する。
量子化と重複点の除去ユニット202は、量子化により座標の数を減らすことができ、量子化の後、元の異なる点は、同じ座標を付与される可能性があり、これに基づいて、重複排除動作により重複する点を削除することができ、例えば、同じ量子化位置と異なる属性情報を有する複数の群は、属性転換により1つの群に統合されることができる。本願のいくつかの実施例において、量子化と重複点の除去ユニット202は、代替ユニットモジュールである。
八分木解析ユニット203は、八分木(octree)符号化方式を利用して、量子化された点の位置情報を符号化することができる。例えば、点群を、八分木の形に従って分割し、これにより、点の位置は、八分木の位置と一対一で対応することができ、八分木において点がある位置を統計し、それのフラグ(flag)を1として、幾何学的符号化を行う。
幾何学的再構成ユニット204は、八分木解析ユニット203によって出力される位置情報に基づいて位置再構成を行い、点群データにおける各点の位置情報の再構成値を得ることができる。
第1算術符号化ユニット205は、エントロピ符号化方式により、八分木解析ユニット203によって出力された位置情報に対して算術符号化を行い、つまり、八分木解析ユニット203によって出力された位置情報に対して算術符号化方式で幾何学的ビットストリームを生成することができ、幾何学的ビットストリームは、幾何学的ビットストリーム(geometry bitstream)とも呼ばれることができる。
属性符号化は、
色空間転換(Transform colors)ユニット210、属性変換(Transfer attributes)ユニット211、領域適応階層変換(RAHT:Region Adaptive Hierarchical Transform)ユニット212、予測変化(predicting transform)ユニット213及びリフティング変化(lifting transform)ユニット214、量子化係数(Quantize coefficients)ユニット215及び第2算術符号化ユニット216によって実現されることができる。
色空間転換(Transform colors)ユニット210、属性変換(Transfer attributes)ユニット211、領域適応階層変換(RAHT:Region Adaptive Hierarchical Transform)ユニット212、予測変化(predicting transform)ユニット213及びリフティング変化(lifting transform)ユニット214、量子化係数(Quantize coefficients)ユニット215及び第2算術符号化ユニット216によって実現されることができる。
説明すべきこととして、点群エンコーダ200は、図2に示すものよりも多い、少ない又は異なる機能コンポーネントを含み得る。
色空間転換ユニット210は、点群における点のRGB色空間をYCbCrフォーマット又は他のフォーマットに変換するように構成されることができる。
属性変換ユニット211は、属性歪みを最小化するために、点群における点の属性情報を転換するように構成されることができる。例えば、属性変換ユニット211は、点の属性情報の元の値を得るように構成されることができる。例えば、前記属性情報は、点の色情報であってもよい。
属性変換ユニット211によって点の属性情報の元の値が転換された後、任意の予測ユニットを選択して、点群における点を予測することができる。予測ユニットは、RAHT 212、予測変化(predicting transform)ユニット213及びリフティング変化(lifting transform)ユニット214を含み得る。
言い換えれば、RAHT 212、予測変化(predicting transform)ユニット213及びリフティング変化(lifting transform)ユニット214のいずれか1つは、点の属性情報の予測値を得、点の属性情報の予測値に基づいて点の属性情報の残差値を得るために、点群における点の属性情報を予測するように構成されることができる。例えば、点の属性情報の残差値は、点の属性情報の元の値から点の属性情報の予測値を減算した値であってもよい。
本願の一実施例において、予測変換ユニット213は更に、詳細レベル(LOD:level of detail)を生成するように構成されることができる。LODの生成プロセスは、点群における点の位置情報に基づいて、点と点間のユークリッド距離を取得することと、ユークリッド距離に基づいて、点を異なる詳細表現層に分けることと、を含む。1つの実施例において、ユークリッド距離をソートした後、異なる範囲のユークリッド距離を異なる詳細表現層に分割することができる。例えば、1つの点を第1詳細表現層としてランダムに選択することができる。その後、残余の点と当該点との間のユークリッド距離を計算し、ユークリッド距離が第1閾値要求を満たす点を、第2詳細表現層に分類する。第2詳細表現層における点のセントロイドを取得し、第1、第2詳細表現層以外の点と当該セントロイドとの間のユークリッド距離を計算し、ユークリッド距離が第2閾値を満たす点を、第3詳細表現層に分類する。これによって類推して、すべての点を詳細表現層に分類する。ユークリッド距離の閾値を調整することにより、各層のLOD層の点の数を徐々に増加させることができる。理解されたいこととして、LODの分割方式は、他の方式を採用してもよく、本願は、これに対して限定しない。
説明すべきこととして、点群を1つ又は複数の詳細表現層に直接分割してもよく、点群を複数の点群スライス(slice)に分割した後、各点群スライスを1つ又は複数のLOD層に分割してもよい。
例えば、点群を複数の点群スライスに分割することができ、各点群スライスの点の数は、55万~110万であり得る。各点群スライスは、独立した点群として見なされることができる。各点群スライスは更に、複数の詳細表現層に分割されることができ、各詳細表現層は、複数の点を含む。1つの実施例において、点と点間のユークリッド距離に基づいて、詳細表現層の分割を行うことができる。
量子化ユニット215は、点の属性情報の残差値を量子化するように構成されることができる。例えば、前記量子化ユニット215が前記予測変換ユニット213に接続された場合、前記量子化ユニットは、前記予測変換ユニット213によって出力された点の属性情報の残差値を量子化するように構成されることができる。
例えば、予測変換ユニット213によって出力された点の属性情報の残差値を、量子化ステップを用いて量子化することにより、システム性能を向上させる。
第2算術符号化ユニット216は、ゼロランレングス符号化(Zero run length coding)を使用して、点の属性情報の残差値に対してエントロピ符号化を行い、属性ビットストリームを得ることができる。前記属性ビットストリームは、ビットストリーム情報であってもよい。
図3は、本願の実施例によるデコーダ300の例示的なブロック図である。
図3に示すように、復号化フレームワーク300は、符号化機器から点群ビットストリームを取得し、ビットストリームを解析して点群における点の位置情報と属性情報を得ることができる。点群の復号化は、位置復号化と属性復号化を含む。
位置復号化のプロセスは、幾何学的ビットストリームに対して算術復号化を行うことと、八分木を構築した後統合し、点の位置情報を再構成して、点の位置情報の再構成情報を得ることと、点の位置情報の再構成情報に対して座標変換を行い、点の位置情報を得ることと、を含む。点の位置情報は、点の幾何学的情報とも呼ばれることができる。
属性復号化プロセスは、属性ビットストリームを解析することにより、点群における点の属性情報の残差値を取得することと、点の属性情報の残差値に対して逆量子化を行い、逆量子化された点の属性情報の残差値を得ることと、位置復号化プロセスで取得された点の位置情報の再構成情報に基づいて、RAHT、予測変化とリフティング変化の3つの予測モードから1つを選択して点群予測を行い、予測値を得、予測値を残差値と加算して点の属性情報の再構成値を得ることと、点の属性情報の再構成値に対して色空間逆変換を行い、復号化点群を得ることと、を含む。
図3に示すように、位置復号化は、
第1算術復号化ユニット301、八分木合成(synthesize octree)ユニット302、幾何学的再構成(Reconstruct geometry)ユニット303及び座標逆転換(inverse transform coordinates)ユニット304によって実現されることができる。
第1算術復号化ユニット301、八分木合成(synthesize octree)ユニット302、幾何学的再構成(Reconstruct geometry)ユニット303及び座標逆転換(inverse transform coordinates)ユニット304によって実現されることができる。
属性符号化は、
第2算術復号化ユニット310、逆量子化(inverse quantize)ユニット311、RAHTユニット312、予測変化(predicting transform)ユニット313、リフティング変化(lifting transform)ユニット314及び色空間逆転換(inverse trasform colors)ユニット315によって実現されることができる。
第2算術復号化ユニット310、逆量子化(inverse quantize)ユニット311、RAHTユニット312、予測変化(predicting transform)ユニット313、リフティング変化(lifting transform)ユニット314及び色空間逆転換(inverse trasform colors)ユニット315によって実現されることができる。
説明すべきこととして、減圧は、圧縮の逆プロセスであり、同様に、デコーダ300における各ユニットの機能は、エンコーダ200における対応するユニットの機能を参照することができる。更に、点群デコーダ300は、図3に示すものよりも多い、少ない又は異なる機能コンポーネントを含み得る。
例えば、デコーダ300は、点群における点と点間のユークリッド距離に基づいて、点群を複数のLODに分割し、そして、LODにおける点の属性情報を順次に復号化することができ、例えば、ゼロランレングス符号化技術における零の数(zero_cnt)を計算して、zero_cntに基づいて残差を復号化し、そして、復号化フレームワーク200は、復号化された残差値に基づいて逆量子化を行い、逆量子化された残差値を現在点の予測値と加算して、点群全体の復号化が完了するまで当該点群の再構成値を得ることができる。現在点は、後続のLODにおける点に最も隣接する点として使用され、現在点の再構成値を利用して、後続の点の属性情報を予測する。
上記の図2から分かるように、機能面において点群エンコーダ200は、主に、位置符号化モジュールと属性符号化モジュールの2つの部分を含み、ここで、位置符号化モジュールは、点群の位置情報を符号化して、幾何学的ビットストリームを形成するように構成され、属性符号化モジュールは、点群の属性情報を符号化して、属性ビットストリームを形成するように構成される。本願は、主に、属性情報の符号化に関し、以下では、図4を参照して、本願に関わる点群エンコーダにおける属性符号化モジュールについて紹介する。
図4は、本願の実施例に関わる属性符号化モジュール400の部分的なブロック図であり、当該属性符号化モジュール400は、上記の図2に示す点群エンコーダ200における、属性情報符号化を実現するように構成されたユニットとして理解できる。図4に示すように、当該属性符号化モジュール400は、前処理ユニット410、残差ユニット420、量子化ユニット430、予測ユニット440、逆量子化ユニット450、再構成ユニット460、フィルタリングユニット470、復号化バッファユニット480及び符号化ユニット490を含む。説明すべきこととして、属性符号化モジュール400は更に、より多い、少ない又は異なる機能コンポーネントを含み得る。
いくつかの実施例において、前処理ユニット410は、図2に示す色空間転換ユニット210、属性変換ユニット211を含み得る。
いくつかの実施例において、量子化ユニット430は、上記の図2における量子化係数ユニット215として理解でき、符号化ユニット490は、上記の図2における第2算術符号化ユニット216として理解できる。
いくつかの実施例において、予測ユニット440は、図2に示すRAHT 212、予測変化ユニット213及びリフティング変化ユニット214を含み得る。予測ユニット440は、具体的に、点の属性情報の予測値を得るために、点群における点の位置情報の再構成情報を取得し、点の位置情報の再構成情報に基づいて、RAHT 212、予測変化ユニット213及びリフティング変化ユニット214のうちの任意の1つを選択して点群における点の属性情報を予測するように構成される。
残差ユニット420は、点群における点の属性情報の元の値と属性情報の再構成値に基づいて、点群における点の属性情報の残差値を得ることができ、例えば、点の属性情報の元の値から属性情報の再構成値を減算して、点の属性情報の残差値を得る。
量子化ユニット430は、属性情報の残差値を量子化することができ、具体的には、量子化ユニット430は、点群に関連する量子化パラメータ(QP)値に基づいて点の属性情報の残差値を量子化する。点群エンコーダは、点群に関連するQP値を調整することにより、点に適用される量子化度を調整することができる。
逆量子化ユニット450は、量子化された属性情報の残差値をそれぞれ逆量子化して、量子化された属性情報の残差値から属性情報の残差値を再構成することができる。
再構成ユニット460は、再構成された属性情報の残差値を予測ユニット440によって生成された予測値に加算して、点群における点の属性情報の再構成値を生成することができる。
フィルタリングユニット470は、再構成動作におけるノイズを除去又は低減することができる。
復号化バッファユニット480は、点群における点の属性情報の再構成値を記憶することができる。予測ユニット440は、点の属性情報の再構成値を使用して、他の点の属性情報を予測することができる。
上記の図3から分かるように、機能面において点群デコーダ300は、主に、位置復号化モジュールと属性復号化モジュールの2つの部分を含み、ここで、位置復号化モジュールは、点群の幾何学的ビットストリームを復号化して、点の位置情報を得るように構成され、属性復号化モジュールは、点群の属性ビットストリームを復号化して、点の属性情報を得るように構成される。以下では、図5を参照して、本願に関わる点群デコーダにおける属性復号化モジュールについて紹介する。
図5は、本願の実施例に関わる属性復号化モジュール500の部分的なブロック図であり、当該属性復号化モジュール500は、上記の図3に示す点群デコーダ300における、属性ビットストリーム復号化を実現するように構成されたユニットとして理解できる。図5に示すように、当該属性復号化モジュール500は、復号化ユニット510、予測ユニット520、逆量子化ユニット530、再構成ユニット540、フィルタリングユニット550及び復号化バッファユニット560を含む。説明すべきこととして、属性復号化モジュール500は、より多い、少ない又は異なる機能コンポーネントを含み得る。
属性復号化モジュール500は、属性ビットストリームを受信することができる。復号化ユニット510は、属性ビットストリームを解析することにより、属性ビットストリームから構文要素を抽出することができる。属性ビットストリームを解析する一部として、復号化ユニット510は、属性ビットストリームにおける符号化された構文要素を解析することができる。予測ユニット520、逆量子化ユニット530、再構成ユニット540及びフィルタリングユニット550は、属性ビットストリームから抽出された構文要素に基づいて属性情報を復号化することができる。
いくつかの実施例において、予測ユニット520は、ビットストリームから解析された1つ又は複数の構文要素に基づいて点の予測モードを決定し、決定された予測モードを使用して点の属性情報を予測することができる。
逆量子化ユニット530は、点群における点に関連する量子化された属性情報の残差値を逆量子化(即ち、脱量子化)し、点の属性情報の残差値を得ることができる。逆量子化ユニット530は、点群に関連するQP値を使用して量子化度を決定することができる。
再構成ユニット540は、点群における点の属性情報の残差値及び点群における点の属性情報の予測値を使用して、点群における点の属性情報を再構成する。例えば、再構成ユニット540は、点群における点の属性情報の残差値を点の属性情報の予測値に加算し、点の属性情報の再構成値を得ることができる。
フィルタリングユニット550は、再構成動作におけるノイズを除去又は低減することができる。
属性復号化モジュール500は、点群における点の属性情報の再構成値を復号化バッファユニット560に記憶することができる。属性復号化モジュール500は、復号化バッファユニット560における属性情報の再構成値を基準点として後続の予測に使用するか、又は、属性情報の再構成値を表示装置に伝送して表示することができる。
点群の属性情報の符号化/復号化の基本的なプロセスは、以下の通りである。符号化端において、点群データの属性情報に対して前処理を行い、点群における点の属性情報の元の値を得る。予測ユニット410は、点群における点の位置情報の再構成値に基づいて、上記の3種類の予測方式の1つの予測方式を選択して、点群における点の属性情報を予測し、属性情報の予測値を得る。残差ユニット420は、点群における点の属性情報の元の値と属性情報の予測値に基づいて、属性情報の残差値を計算することができ、つまり、点群における点の属性情報の元の値と属性情報の予測値との差を、点群における点の属性情報の残差値として使用する。当該残差値は、量子化ユニット430によって量子化され、人目では敏感ではない情報を除去することができ、視覚的な冗長性を排除することができる。符号化ユニット490は、量子化ユニット430によって出力された量子化された属性情報の残差値を受信し、当該量子化された属性情報の残差値を符号化し、属性ビットストリームを出力することができる。
更に、逆量子化ユニット450は、量子化ユニット430によって出力された量子化された属性情報の残差値を受信し、量子化された属性情報の残差値に対して逆量子化を行い、点群における点の属性情報の残差値を得ることもできる。再構成ユニット460は、逆量子化ユニット450によって出力された点群における点の属性情報の残差値、及び予測ユニット410によって出力の点群における点の属性情報の予測値を得、点群における点の属性情報の残差値を予測値と加算し、点の属性情報の再構成値を得る。点の属性情報の再構成値は、フィルタリングユニット470によってフィルタリングされた後復号化バッファユニット480にバッファリングされ、後続の他の点の予測プロセスに使用される。
復号化端において、復号化ユニット510は、属性ビットストリームを解析し、点群における点の量子化された属性情報の残差値、予測情報、量子化係数などを得ることができ、予測ユニット520は、予測情報に基づいて、点群における点の属性情報を予測し、点の属性情報の予測値を生成する。逆量子化ユニット530は、属性ビットストリームから得られた量子化係数を使用し、点の量子化された属性情報の残差値に対して逆量子化を行い、点の属性情報の残差値を得る。再構成ユニット440は、点の属性情報の予測値を残差値と加算して点の属性情報の再構成値を得る。フィルタリングユニット550は、点の属性情報の再構成値をフィルタリングし、復号化された属性情報を得る。
説明すべきこととして、符号化端で属性情報を符号化する際に決定された予測、量子化、符号化、フィルタリングなどのモード情報又はパラメータ情報などは、必要に応じて、属性ビットストリームに搬送される。復号化端は、属性ビットストリームを解析し、既存情報に基づいて解析することにより、符号化端と同じ予測、量子化、符号化、フィルタリングなどのモード情報又はパラメータ情報を決定し、それにより、符号化端によって得られた属性情報の再構成値が、復号化端によって得られた属性情報の再構成値と同じであるようにする。
上記の記載は、G-PCC符号化/復号化フレームワークに基づく点群エンコーダ/デコーダの基本的なプロセスであり、技術の発展に伴い、当該フレームワーク又はプロセスのいくつかのモジュール又はステップは最適化される可能性があり、本願は、当該G-PCC符号化/復号化フレームワークに基づく点群エンコーダ/デコーダの基本的なプロセスに適用されるが、当該フレームワーク及びプロセスに限定されない。
図6は、一実施例の符号化端での予測の概略図であり、図6に示すように、以下のステップを含む。
ステップS61において、現在点の隣接点の、色値などの属性情報の再構成値を得、隣接点の属性情報の再構成値に基づいて、隣接点の最大色差maxDiffを計算する。
具体的に、現在点が3つの隣接点を有し、それぞれ、点1、点2と点3であると仮定すると、ここで点1の色値は、(R1,G1,B1)であり、点2の色値は、(R2,G2,B2)であり、点3の色値は、(R3,G3,B3)である。この3つの隣接点のR成分、G成分とB成分における最大差を計算し、R、G、B成分の最大差をmaxDiffとして使用する。
ステップS62において、maxDiffを、所定の閾値thresholdと比較する。
ステップS63において、maxDiffが、thresholdより小さい場合、現在点の目標予測モードが、単一予測変数モード(single-pred)であることを決定し、加重平均方式により、現在点を予測し、例えば、上記の3つの隣接点の属性情報の再構成値の加重平均値を、現在点の属性情報の予測値として使用する。
ステップS64において、maxDiffがthreshold以上である場合、現在点の目標予測モードがマルチ予測変数モード(multi-pred)であることを決定する。具体的には、3つの隣接点における各隣接点の属性情報の再構成値を1つの予測変数として使用し、3つの隣接点の予測変数を得、更に、3つの隣接点の属性情報の再構成値の加重平均値を他の予測変数として使用し、加重平均予測変数とし、図6内のテーブルに示す3+1個の予測変数を得、各予測変数にインデックスを設定する。
ステップS65において、3+1個の予測変数における各予測変数に対応するスコアを計算し、例えばレート歪み最適化(RDO:Rate Distortion Optimization)技術を使用して、3+1個の予測変数における各予測変数に対応するRDO値を計算する。
ステップS66において、最小スコアの予測変数を、現在点の最適な予測変数として決定し、最適な予測変数の情報に対してエントロピ符号化を行う。
図7は、一実施例の復号化端での予測の概略図であり、図7に示すように、以下のステップを含む。
ステップS71において、ビットストリームを復号化し、現在点の隣接点の属性情報を得、隣接点の属性情報を復号化し、隣接点の属性情報の再構成値を得、隣接点の属性情報の再構成値に基づいて、隣接点の最大色差maxDiffを計算し、具体的には、上記の図6におけるステップ2を参照されたい。
ステップS72において、maxDiffを、所定の閾値thresholdと比較する。
ステップS73において、maxDiffが、thresholdより小さい場合、現在点の目標予測モードが、単一予測変数モード(single-pred)であることを決定し、加重平均方式により、現在点を予測し、例えば、上記の3つの隣接点の属性情報の再構成値の加重平均値を、現在点の属性情報の予測値として使用する。
ステップS74において、maxDiffがthreshold以上である場合、現在点の目標予測モードがマルチ予測変数モード(multi-pred)であることを決定する。
ステップS75において、ビットストリームを解析し、ビットストリームに含む最小スコアの予測変数の情報を得、当該予測変数の情報に対応する予測変数を現在点の予測値として使用する。
上記の図6と図7から分かるように、現時点で、現在点の属性情報の予測値を決定する際に、現在点の隣接点の最大色差maxDiffを計算する必要があり、maxDiffに基づいて、現在点が単一予測変数モード(single-pred)を採用するかマルチ予測変数モード(multi-pred)を採用するかを予測する。この判断プロセスは、現在点の隣接点の属性情報の再構成値に依存し、このような依存関係は、予測モードの決定プロセスと属性情報の再構成プロセスが並行して行うことができず、点群符号化/復号化の効率を低下させる。
上記の技術的課題を解决するために、点群における点の幾何学的情報によって現在点の属性情報の予測モードを決定し、このようにして、予測モードの決定プロセスは、点群における点の属性情報の再構成プロセスから切り離され、2つのプロセスは並行して行うことができ、更に、符号化/復号化の効率を向上させる。
以下では、具体的な実施例を組み合わせて本願の一実施例による技術的解決策について詳細に説明する。
以下、図8を参照して符号化端について紹介する。
図8は、本願の実施例による点群符号化方法600の例示的なフローチャートであり、本願の実施例は、図1、図2と図4に示す点群エンコーダに適用される。図8に示すように、本願の実施例の方法は、以下のステップを含む。
ステップS601において、点群における現在点の幾何学的情報と属性情報を取得する。
点群は、複数の点を含み、各点は、点の幾何学的情報と点の属性情報を含み得る。ここで、点の幾何学的情報は、点の位置情報とも呼ばれ、点の位置情報は、点の三次元座標情報であってもよい。ここで、点の属性情報は、色情報及び/又は反射率などを含んでもよい。
ここで、現在点は、点群における現在符号化対称となる1つの点として理解でき、いくつかの実施例において、現在点は、目標点とも呼ばれる。
1つの例において、現在点の属性情報は、現在点の原属性情報であってもよい。
他の例において、図2に示すように、点群エンコーダは、現在点の原属性情報を得た後、当該原属性情報に対して色空間転換を行い、例えば、現在点のRGB色彩空間をYCbCrフォーマット又は他のフォーマットに変換する。色空間転換後の現在点に対して属性変換を行うことにより、属性歪みを最小化し、現在点の属性情報を得る。
ステップS602において、現在点の幾何学的情報に基づいて、現在点のK(Kは2以上の正の整数である)個の隣接点を決定する。
説明すべきこととして、点群エンコーダによる点群における点の幾何学的情報の符号化が完了した後、点群における点の属性情報を符号化する。図2を参照すると、幾何学的情報の符号化プロセスにおいて、第1算術符号化ユニット205は、八分木ユニット203によって処理された点の幾何学的情報を符号化して幾何学的ビットストリームを形成し、幾何学的再構成ユニット204は、八分木ユニット203によって処理された点の幾何学的情報を再構成し、幾何学的情報の再構成値を得る。
いくつかの実施例において、現在点の幾何学的情報の再構成値に基づいて、点群における符号化済みの点から現在点のK個の隣接点を取得する。
例えば、点群における点の幾何学的情報(即ち、幾何学的座標)をモートンコードに転換し、具体的には、点群における点の幾何学的情報(x,y,z)に1つの固定値(j1,j2,j3)を加算して、新しい座標(x+j1,y+j2,z+j3)で点のモートンコードを生成する。点のモートンコードに応じて点群における点をソートし、点群のモートン順序を得る。点群のモートン順序に基づいて、点群における符号化済みの点から現在点のK個の隣接点を取得し、ここで、Kは、2以上の正の整数である。
ステップS603において、現在点の幾何学的情報とK個の隣接点の幾何学的情報に基づいて、現在点の属性情報の目標予測モードを決定する。
点群における点の属性情報の予測モードは、マルチ予測変数モード(multi-pred)と単一予測変数モード(single-pred)を含む。
ここで、マルチ予測変数モード(multi-pred)は、K+1種類の予測変数を含み、ここでKは、現在点の隣接点の数であり、K個の隣接点における各隣接点の属性情報の再構成値を1つの予測変数として使用し、K種類の予測変数を得、当該予測変数は、隣接点予測変数とも呼ばれる。K個の隣接点の属性情報の再構成値の加重平均値を第K+1種類の予測変数として使用し、当該予測変数は、加重平均予測変数とも呼ばれることができる。
単一予測変数モードは、1種類の予測変数、即ち、K個の隣接点の属性情報の再構成値の加重平均値によって形成された加重平均予測変数を含む。
本願は、現在点の幾何学的情報とK個の隣接点の幾何学的情報を用いて、現在点の属性情報の目標予測モードが、マルチ予測変数モード(multi-pred)であるか単一予測変数モード(single-pred)であるかを決定する。
いくつかの実施例において、上記のS603は、S603-A1とS603-A2を含む。
ステップS603-A1において、現在点の幾何学的情報とK個の隣接点の幾何学的情報に基づいて、K個の隣接点からなる隣接点セットと現在点との間の第1距離を決定する。
ステップS603-A2において、第1距離に基づいて、現在点の属性情報の目標予測モードを決定する。
現在点と隣接点との距離が遠い場合、単一予測変数モード(single-pred)を採用して現在点の属性情報を予測すると、精度が低いため、本願は、現在点とK個の隣接点からなる隣接点セットと、現在点との間の第1距離を計算し、当該第1距離のサイズに基づいて、現在点の属性情報の目標予測モードを決定することにより、現在点の属性情報の目標予測モードを正確に決定し、現在点を正確に予測することができる。更に、本願は、K個の隣接点からなる隣接点セットと現在点との間の第1距離を用いて現在点の属性情報の予測モードを決定し、このようにして、予測モードの決定プロセスは、点群における点の属性情報の再構成プロセスから切り離され、2つのプロセスは並行して行うことができ、更に、符号化/復号化の効率を向上させる。
上記のS603-A1においてK個の隣接点からなる隣接点セットと現在点との間の第1距離を決定する方式は、以下のいくつかの方式を含むが、これに限定されない。
方式一では、K個の隣接点の幾何学的情報に基づいて、隣接点セットの幾何学的セントロイドの幾何学的情報を決定し、現在点の幾何学的情報と幾何学的セントロイドの幾何学的情報に基づいて、現在点と幾何学的セントロイドとの間の第2距離を決定し、第2距離に基づいて、第1距離を決定し、例えば、第2距離を第1距離として使用し、又は第2距離に対して対応する演算(例えば丸め演算)を行い、演算結果を第1距離として使用する。
現在点P0の幾何学的情報はが(x,y,z)であると仮定すると、現在点P0の幾何学的情報と幾何学的セントロイドCの幾何学的情報に基づいて、現在点P0と幾何学的セントロイドCとの間の第2距離を決定する。
例えば、エンコーダは、以下のプログラムを実行して、現在点P0と幾何学的セントロイドCとの間のユークリッド距離を得る。
方式二では、K個の隣接点における各隣接点に対して、当該隣接点の幾何学的情報と現在点の幾何学的情報に基づいて、当該隣接点と現在点との間の第3距離を決定し、K個の隣接点における各隣接点と現在点との間の第3距離の平均値を、第1距離として使用する。
ここで、(xi,yi,zi)は、K個の隣接点におけるi番目の隣接点の幾何学的情報である。
上記の方式に基づいて現在点と隣接点セットとの間の第1距離を決定した後、上記のS603-A2を実行し、第1距離に基づいて、現在点の属性情報の目標予測モードを決定する。
いくつかの実施例において、上記のS603-A2は、以下のS603-A21とS603-A22を含む。
ステップS603-A21において、第1距離が第1数値以上である場合、目標予測モードをマルチ予測変数モードとして決定する。
ステップS603-A22において、第1距離が、第1数値より小さい場合、目標予測モードを単一予測変数モードとして決定する。
本願において、第1距離が第1数値以上である場合、現在点と隣接点との距離が遠いことを示し、この場合、マルチ予測変数モードを採用して現在点の属性情報を予測することにより、予測精度を向上させることができる。第1距離が第1数値より小さい場合、現在点と隣接点との距離が近いことを示し、単一予測変数モードを採用して現在点の属性情報を予測することができ、その予測プロセスは簡単である。
1つの可能な実施形態において、上記の第1数値は、所定の閾値である。
1つの可能な実施形態において、点群エンコーダは、以下のステップAないしステップCを実行することにより、第1数値を決定する。
ステップAにおいて、点群における点の幾何学的情報に基づいて、点群のバウンディングボックス(bounding box)を得、当該バウンディングボックスは、点群を囲むために使用される。例えば、バウンディングボックスは、点群を囲む立方体として理解でき、ここで、バウンディングボックスの長さ、幅、高さはそれぞれ、点群における点のXYZ座標軸上の最大値と最小値との差である。例えば、バウンディングボックスの長さは、点群における点のX軸上の最大値と最小値との差であり、バウンディングボックスの幅は、点群における点のY軸上の最大値と最小値との差であり、バウンディングボックスの高さは、点群における点のZ軸上の最大値と最小値との差である。つまり、バウンディングボックスは、点群を囲む最小の立方体として理解でき、バウンディングボックスの長さ幅高さを、バウンディングボックスの3辺とする。
ステップBにおいて、点群のバウンディングボックスの第1辺の長さを取得する。当該第1辺は、点群のバウンディングボックスの任意の1つの辺の長さであってもよく、例えば、第1辺は、バウンディングボックスの最短の辺であるか、又はバウンディングボックスの最長の辺であってもよい。
ステップCにおいて、第1辺の長さに基づいて、第1数値を決定する。
上記のステップCにおける第1辺の長さに基づいて、第1数値を決定する方式は、以下のいくつかを含むが、これに限定されない。
方式一では、第1辺の長さと所定値の比率を、第1数値として決定し、当該所定値は、実際の必要匂い時手決定することができる。
方式二では、上記のステップCは、以下のステップC1とステップC2を含む。
ステップC1において、量子化パラメータ(QP)を取得する。
ステップC2において、QPと第1辺の長さに基づいて、第1数値を決定する。
量子化パラメータQPは、現在点の目標予測モードの選択と相関があるため、例えば、QP値が大きい場合、マルチ予測変数モードを使用して現在点に対して属性予測すると、その予測効果が悪く、この場合、通常、単一予測変数モードを使用して、現在点の属性情報を予測する。これに基づいて、本願は、QPと第1辺の長さを用いて、第1数値を決定し、決定された第1数値がQPと相関があるようにし、このようにして、後続で第1数値に基づいて現在点の目標予測モードを決定する際に、QPの影響を考慮して、目標予測モードの決定精度を向上させることができる。
上記のステップC2におけるQPと第1辺の長さに基づいて、第1数値を決定する方式は、以下のいくつかを含むが、これに限定されない。
最初の方式において、第1辺の長さとQPの比率を、第1数値として使用する。
2番目の方式において、第1辺の長さと第1所定値の第1比率を得、QPと第2所定値の第2比率を得、第1比率と第2比率に基づいて、第1数値を決定する。例えば、第1比率を、第2比率を丸めた桁数だけ左にシフトし、第1数値を得る。
ここで、2T3は、第1所定値T1と等しく、例えば、T1が64であると、T3は6であり、「>>」は、右にシフトすることであり、ここで、1桁右へシフトすることは、2で除算することと同じである。
選択的に、上記の第1所定値T1は、第2所定値T2より大きい。
選択的に、第2所定値T2=6である。
選択的に、第1辺が、バウンディングボックスの最短の辺である場合、第1所定値は64である。
選択的に、第1辺が、バウンディングボックスの最長の辺である場合、第1所定値は128である。
本願は、上記の方法を用いて第1数値を決定した後、当該第1数値を、現在点と隣接点セットとの間の第1距離と比較し、第1距離が当該第1数値以上である場合、現在点の目標予測モードをマルチ予測変数モードとして決定し、第1距離が、第1数値より小さい場合、現在点の目標予測モードを単一予測変数モードとして決定する。続いて、以下のS604を実行する。
ステップS604において、目標予測モードを使用して現在点の属性情報を予測し、現在点の属性情報の予測値を得る。
ステップS605において、現在点の属性情報の予測値に基づいて、現在点の属性情報の残差値を得る。例えば、現在点の属性情報の元の値と予測値との差を、現在点の属性情報の残差値として使用する。
ステップS606において、現在点の属性情報の残差値を符号化し、点群ビットストリームを得る。
上記のS604は、以下の2つの状況を含む。
状況1において、上記の決定された現在点の目標予測モードが、マルチ予測変数モードである場合、上記のS604は、以下のS604-A1ないしS604-A5を含む。
ステップS604-A1において、K個の隣接点の属性情報の再構成値を取得する。
ステップS604-A2において、K個の隣接点の属性情報の再構成値をK個の予測変数として使用する。
ステップS604-A3において、K個の隣接点の属性情報の再構成値の加重平均値をK+1番目の予測変数として使用する。
ステップS604-A4において、K+1個の予測変数における各予測変数のレート歪み最適化(RDO)値を決定する。
ステップS604-A5において、最小RDO値の予測変数を現在点の属性情報の予測値として使用する。
例を挙げて説明すると、K=3、つまり、現在点が3つの隣接点を含み、それぞれP1、P2及びP3であると仮定すると、この3つの隣接点は、すべて符号化済みの点であり、図4に示すように、その属性情報の再構成値は、復号化バッファユニット480に格納され、点群エンコーダは、復号化バッファユニット480から当該3つの隣接点の属性情報の再構成値を得て、現在点の属性情報の予測に使用することができる。例えば、この3つの隣接点における各隣接点の属性情報の再構成値を現在点の1つの予測変数として使用し、3つの予測変数を得る。更に、表1に示すように、3つの隣接点の属性情報の再構成値の平均値を現在点の他の予測変数として使用することで、現在点は、合計3+1個の予測変数を有する。
表1から分かるように、上記の3+1個の予測変数は、3+1種類の予測モードに対応し、ここで、第1種類予測モードは、第1隣接点の属性情報の再構成値、即ち、第1予測変数に対応する予測モードであり、そのインデックスは1であり、第2種類予測モードは、第2隣接点の属性情報の再構成値、即ち、第2予測変数に対応する予測モードであり、そのインデックスは2であり、第3種類予測モードは、第3隣接点の属性情報の再構成値、即ち、第3予測変数に対応する予測モードであり、そのインデックスは3である。第4種類予測モードは、3つの隣接点の属性情報の再構成値の平均値、即ち、第4予測変数に対応する予測モードであり、そのインデックスは0である。ここで、第1隣接点は、上記の3つの隣接点のうち、現在点に最も近い隣接点であり、第2隣接点は、3つの隣接点のうち、現在点に2番目に近い1つの点であり、第3隣接点は、3つの隣接点のうち、現在点から最も離れている1つの点である。
上記の3+1個の予測変数における各予測変数に対応するレート歪み最適化(RDO)値を計算し、レート歪み最適化値が最も小さい予測変数を、当該現在点の属性情報の予測値として使用し、例えば、RDOが最も小さい(最小RDO値)予測変数は、点P2の属性情報の再構成値である。
1つの例において、RDO値を決定する際に、隣接点と現在点との距離(例えば、ユークリッド距離)の逆数を当該隣接点の重みとして使用することができる。
状況1において、復号化端で現在点の予測値を迅速かつ正確に決定するために、上記の決定された最小RDO値の予測変数に対応する予測モード情報を点群ビットストリームに搬送することにより、復号化端に、点群ビットストリームから当該現在点に対応する予測モード情報を直接解析させ、当該予測モード情報が指示する予測変数を使用して現在点の予測値を決定することができる。例えば、上記の決定された最小RDO値の予測変数は、点P2の属性情報の再構成値であり、それの対応するインデックスは2であり、インデックス2を点群ビットストリームに搬送することができる。復号化端は、点群ビットストリームからインデックス2を直接解析し、インデックス2に対応する点P2の属性情報の再構成値を使用して、現在点の属性情報を予測することができ、例えば、点P2の属性情報の再構成値を、現在点の属性情報の予測値として使用する。
状況2において、現在点の目標予測モードが単一予測変数モードである場合、上記のS604は、以下のS604-B1とS604-B2を含む。
ステップS604-B1において、K個の隣接点の属性情報の再構成値を取得する。
ステップS604-B2において、K個の隣接点の属性情報の再構成値の加重平均値を、現在点の属性情報の予測値として使用する。
例を挙げて説明すると、K=3、即ち、現在点が3つの隣接点を含み、それぞれP1、P2及びP3であると仮定すると、この3つの点の属性情報の再構成値を得、この3つの隣接点の属性情報の再構成値の加重平均値を、現在点の属性情報の予測値として使用する。
1つの例において、再構成値の加重平均値を決定する際に、隣接点と現在点との距離(例えば、ユークリッド距離)の逆数を当該隣接点の重みとして使用することができる。
現在点の目標予測モードが単一予測変数モードである場合、表2に示すように、予測変数は、加重平均値を含み、その対応するインデックスは空白であってもよい。
つまり、現在点の目標予測モードが単一予測変数モードである場合、点群ビットストリームに現在点に対応する予測モード情報を搬送しなくてもよい。このように、復号化端で点群ビットストリームから現在点に対応する予測モード情報を解析できない場合、符号化端における現在点の目標予測モードがデフォルトで単一予測変数モードであり、更に、復号化端も単一予測変数モードを使用して現在点の属性情報を予測して、復号化端と符号化端の一致性が確保される。
1つの具体的な実施例において、図9に示すように、符号化端の予測プロセス600aは、以下のステップを含む。
ステップS600-1において、現在点と、3つの隣接点によって構成された隣接点セットとの間の第1距離を計算し、説明すべきこととして、本願は、3つの隣接点を例として説明しており、現在点の隣接点数は、3つを含むが、これに限定されなく、2つ、4つ又は5個などであってもよく、本願は、これに対して限定しない。
ステップS600-2において、第1距離が第1数値以上であるか否かを判断し、第1距離が第1数値以上である場合、S600-3を実行し、第1距離が、第1数値より小さい場合、S600-4を実行する。
ステップS600-3において、現在点の目標予測モードがマルチ予測変数モード(Multi-pred)であることを決定する。
ステップS600-4において、各予測変数に対応するRDO値を計算する。具体的に、まず、インデックス0に対応する加重平均予測変数に対応するROD値を計算し、現在のインデックスが最後のインデックスであるか否かを判断し、最後のインデックスではない場合、インデックスを循環させ、最後のインデックスまで、次のインデックスに対応する予測変数に対応するROD値を計算する。このように、循環することにより、各予測変数に対応するRDO値を計算することができる。
ステップS600-5において、最小RDO値の予測変数を選択して現在点の属性情報の予測値として使用し、S600-7を実行する。
ステップS600-6において、現在点の単一予測変数モード(Single-pred)を決定し、隣接点の属性情報の加重平均値を現在点の属性情報の予測値として使用し、S600-7を実行する。
ステップS600-7において、終了する。
ここで、図9に示す本願の予測プロセスを、上記の図6に示す既存技術の予測プロセスと比較して、本願は、現在点の幾何学的情報と隣接点の幾何学的情報に基づいて、現在点と隣接点セットとの間の第1距離を決定する。第1距離を第1数値と比較して、マルチ予測変数モード(Multi-pred)を使用するか単一予測変数モード(Single-pred)を使用するかを判断して、現在点の属性情報を予測することにより、現在点の予測モードの選択プロセスを、点群における点の幾何学的情報に関連させ、隣接点の属性情報の再構成プロセスから切り離され、更に、予測モードの選択プロセスと属性情報の再構成プロセスは、並行して行うことができ、符号化の効率を向上させる。
図10は、本願の実施例による点群符号化方法700の例示的なフローチャートであり、上記の実施例を鑑みて、図10に示すように、本願の実施例の方法は、以下のステップを含む。
ステップS701において、点群における現在点の幾何学的情報と属性情報を取得する。
ステップS702において、現在点の幾何学的情報に基づいて、現在点のK(Kは2以上の正の整数である)個の隣接点を決定する。
上記のS701とS702の具体的な実現プロセスは、上記のS601とS602の説明を参照することができ、ここでは繰り返して説明しない。
ステップS703において、現在点の幾何学的情報とK個の隣接点の幾何学的情報に基づいて、K個の隣接点からなる隣接点セットと現在点との間の第1距離を決定し、具体的な実現プロセスは、上記のS603-A1の関連する説明を参照し、ここでは繰り返して説明しない。
ステップS704において、第1数値を決定し、具体的には、上記のS603-A22の説明を参照されたい。例えば、点群における点の幾何学的情報に基づいて、点群のバウンディングボックス(bounding box)を取得し、点群のバウンディングボックスの第1辺の長さを取得し、第1辺の長さと量子化パラメータ(QP)に基づいて、第1数値を決定する。
説明すべきこととして、上記のS703と上記のS704の実行プロセスには優先順位がなく、S704は、上記のS703の前に実行してもよく、S703の後に実行してもよく、上記のS703同時に実行してもよく、本願は、これに対して限定しない。
ステップS705において、第1距離が第1数値以上であるか否かを判断し、第1距離が第1数値以上である場合、S707を実行し、第1距離が、第1数値より小さい場合、S706を実行する。
ステップS706において、第1距離が第1数値より小さい場合、K個の隣接点の属性情報の再構成値に基づいて、単一予測変数モードを使用して、現在点の属性情報を予測し、現在点の属性情報の予測値を得る。例えば、K個の隣接点の属性情報の再構成値の平均値を、現在点の属性情報の予測値として使用する。
ステップS707において、第1距離が第1数値以上である場合、K個の隣接点の属性情報の再構成値に基づいて、マルチ予測変数モードを使用して、現在点の属性情報を予測し、現在点の属性情報の予測値を得る。例えば、K+1個の予測変数に対応するRDO値を計算し、最小RDO値の予測変数を現在点の属性情報の予測値として使用する。
ステップS708において、現在点の属性情報と予測値に基づいて、現在点の属性情報の残差値を得る。
ステップS709において、現在点の属性情報の残差値を符号化し、点群ビットストリームを得、現在点の目標予測モードがマルチ予測変数モードである場合、点群ビットストリームは、当該現在点の属性情報の残差値及び最小RDO値の予測変数に対応する予測モード情報を含む。選択的に、当該予測モード情報は、残差値の後に位置する。
本願の技術的効果を更に説明するために、G-PCC参照ソフトウェアTMC13 V11.0上で本願の技術的解決策を実現した後、汎用テスト構成(CTC)CYテスト条件下で動画エキスパートグループ(MPEG)が要求する部品点群テストセット(cat1-Aとcat1-B)をテストし、テスト結果は、表1に示す通りである。
ここで、CY_aiは、テスト条件であり、幾何学的無損失、無損失に近い属性のテスト条件を示し、cat1-A点群テストセットにおける点は、色属性情報と他の属性情報、例えば反射率属性情報を含み、cat1-B点群テストセットにおける点は、色属性情報のみを含む。BD-AttrRateは、ビデオ符号化アルゴリズム性能を評価する主なパラメータの1つであり、新しいアルゴリズム(即ち、本願の技術的解決策)を用いて符号化されたビデオが、元のアルゴリズムを用いて符号化されたビデオに対して、コードレートとピーク信号対雑音比(PSNR:Peak Signal to Noise Ratio)における変化を表し、つまり、同じ信号対雑音比の下で、新しいアルゴリズムと元のアルゴリズムのコードレートの変化である。表1に示すように、cat1-A点群テストセットについて、従来技術と比較して本願の技術的解決策は、輝度成分のコードレートは、1.4%だけ増加し、クロマ成分Cbのコードレートは、1.4%だけ増加し、クロマ成分Crのコードレートは、1.4%だけ増加する。「平均値」は、cat1-A点群テストセットとcat1-B点群テストセットとのコードレートの変化の平均値を示す。
上記の表1から分かるように、本願の技術的解決策は、より小さい性能歪みコストで、既存技術において予測モードの決定と属性情報の再構成を切り離すことができないという問題を解決する。
以上では、本願の実施例に関わる点群符号化方法について説明しており、これに基づいて、以下では、復号化端ついて、本願に関わる点群復号化方法について説明する。
図11は、本願の実施例による点群復号化方法800の例示的なフローチャートであり、図11に示すように、本願の実施例の方法は、以下のステップを含む。
ステップS801において、点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得する。
説明すべきこととして、点群における点の幾何学的情報の復号化を完了した後、属性情報を復号化する。幾何学的ビットストリームに対する復号化が完了した後、点群における点の幾何学的情報を得ることができる。
点群ビットストリームは、属性ビットストリームと幾何学的ビットストリームを含み、幾何学的ビットストリームを復号化することにより、現在点の幾何学的情報を得ることができ、属性ビットストリームを復号化することにより、現在点の属性情報を得ることができる。
ステップS802において、現在点の幾何学的情報に基づいて、現在点のK(Kは2以上の正の整数である)個の隣接点を決定する。
具体的には、現在点の幾何学的情報に基づいて、点群における、属性情報が復号化された点から現在点に最も近いK個の隣接点を得ることができる。上記のS802の具体的な実現プロセスは、上記のS602の説明を参照することができ、ここでは繰り返して説明しない。
ステップS803において、現在点の幾何学的情報とK個の隣接点の幾何学的情報に基づいて、現在点の属性情報の目標予測モードを決定する。
いくつかの実施例において、上記のS803は、S803-A1とS803-A2を含む。
ステップS803-A1において、現在点の幾何学的情報とK個の隣接点の幾何学的情報に基づいて、K個の隣接点からなる隣接点セットと現在点との間の第1距離を決定する。
ステップS803-A2において、第1距離に基づいて、現在点の属性情報の目標予測モードを決定する。
上記のS803-A1における現在点の幾何学的情報とK個の隣接点の幾何学的情報に基づいて、K個の隣接点からなる隣接点セットと現在点との間の第1距離を決定方式は、以下のいくつかを含むが、これに限定されない。
方式一では、上記のS803-A1は、S803-A11とS803-A12を含む。
ステップS803-A11において、K個の隣接点の幾何学的情報に基づいて、隣接点セットの幾何学的セントロイドの幾何学的情報を決定する。
ステップS803-A12において、現在点の幾何学的情報と前記幾何学的セントロイドの幾何学的情報に基づいて、現在点と幾何学的セントロイドとの間の第2距離を決定する。
例えば、現在点と幾何学的セントロイドとの間の第2距離は、現在点と幾何学的セントロイドとの間のユークリッド距離である。
例えば、現在点と幾何学的セントロイドとの間の第2距離は、現在点と幾何学的セントロイドとの間のマンハッタン距離である。
ステップS803-A13において、第2距離に基づいて、第1距離を決定する。例えば、第2距離を第1距離として使用する。
方式二では、上記のS803-A1は、S803-A13とS803-A14を含む。
ステップS803-A13において、K個の隣接点における各隣接点に対して、隣接点の幾何学的情報及び現在点の幾何学的情報に基づいて、隣接点と現在点との間の第3距離を決定する。
ステップS803-A14において、K個の隣接点における各隣接点と現在点との間の第3距離の平均値を、第1距離として使用する。
いくつかの実施例において、上記のS803-A2は、以下のS803-A21とS803-A22を含む。
ステップS803-A21において、第1距離が第1数値以上である場合、目標予測モードをマルチ予測変数モードとして決定する。
ステップS803-A22において、第1距離が第1数値より小さい場合、目標予測モードを単一予測変数モードとして決定する。
1つの例において、上記の第1数値は、所定値である。
他の例において、点群デコーダは、以下のステップD1ないしステップD4を実行し、第1数値を決定する。
ステップD1において、点群ビットストリームを復号化し、点群における点の幾何学的情報を取得し、具体的には、点群の幾何学的ビットストリームを復号化し、点群における点の幾何学的情報を得る。
ステップD2において、点群における点の幾何学的情報に基づいて、点群のバウンディングボックスを取得し、当該バウンディングボックスは、当該点群を囲むために使用され、例えば、バウンディングボックスは、当該点群を囲む最小の立方体として理解できる。
ステップD3において、点群のバウンディングボックスの第1辺の長さを取得し、ここで、第1辺は、バウンディングボックスの任意の1つの辺であり、例えば、バウンディングボックスの最短の辺であってもよく、バウンディングボックスの最長の辺であってもよい。
ステップD4において、第1辺の長さに基づいて、第1数値を決定する。
いくつかの実施例において、上記のステップD4における第1辺の長さに基づいて、第1数値を決定することは、以下のステップD41とステップD42を含む。
ステップD41において、点群ビットストリームを復号化し、量子化パラメータ(QP)を取得する。説明すべきこととして、符号化端は、QPを属性パラメータセットに符号化し、当該パラメータセットは、点群ビットストリーム内に符号化され、復号化端は、属性パラメータセットを復号化することによりQPを取得する。
ステップD42において、QPと第1辺の長さに基づいて、第1数値を決定する。
上記のステップD42におけるQPと第1辺の長さに基づいて、第1数値を決定する方式は、以下のいくつかを含むが、これに限定されない。
方式一、第1辺の長さとQPの比率を、第1数値として使用する。
方式二、第1辺の長さと第1所定値の第1比率を得、QPと第2所定値の第2比率を得、第1比率と第2比率に基づいて、第1数値を決定する。例えば、第1比率を、第2比率を丸めた桁数だけ左にシフトし、第1数値を得る。
ここで、2T3は、第1所定値T1と等しい。
選択的に、第1所定値T1は、第2所定値T2より大きい。
選択的に、第2所定値T2=6である。
選択的に、第1辺が、バウンディングボックスの最短の辺である場合、第1所定値は64である。
選択的に、第1辺が、バウンディングボックスの最長の辺である場合、第1所定値は128である。
ステップS804において、目標予測モードを使用して現在点の属性情報を予測し、現在点の属性情報の予測値を得る。
本願において、現在点の目標予測モードをマルチ予測変数モードとして決定した場合、点群ビットストリームから現在点に対応する予測モード情報を解析する。現在点の目標予測モードを単一予測変数モードとして決定した場合、点群ビットストリームから現在点に対応する予測モード情報を解析せず、デフォルトで単一予測変数モードを使用して現在点の属性情報の予測値を予測する。具体的には、以下の2つの状況を含む。
状況1において、目標予測モードがマルチ予測変数モードである場合、上記のS804は、以下のS804-A1ないしS804-A3を含む。
ステップS804-A1において、点群ビットストリームを復号化し、現在点の属性情報の予測モード情報を得る。
ステップS804-A2において、K個の隣接点における予測モード情報に対応する目標隣接点の属性情報の再構成値を取得する。
ステップS804-A3において、目標隣接点の属性情報の再構成値を、現在点の属性情報の予測値として使用する。
上記の符号化端の技術的解決策から分かるように、現在点の目標予測モードをマルチ予測変数モードとして決定した場合、ROD値が最も小さい予測変数に対応する予測モード情報を属性ビットストリームに搬送して復号化端に送信する。
復号化端は、まず、点群の幾何学的ビットストリームを解析し、点群における各点の幾何学的情報を得、点群における点の幾何学的情報に基づいて、現在点に最も近いK個の隣接点を取得する。K個の隣接点の幾何学的情報と現在点の幾何学的情報に基づいて、現在点と、K個の隣接点からなる隣接点セットとの間の第1距離を取得する。第1距離が第1数値以上である場合、現在点の目標予測モードをマルチ予測変数モードとして決定し、この場合、復号化端は、点群の属性ビットストリームを復号化し、属性ビットストリームに搬送される現在点の属性情報の予測モード情報を得、当該予測モード情報は、上記の表1におけるインデックス値であってもよく、例えば、予測モード情報に含まれるインデックス値が2であると、符号化端は、第2隣接点P2の属性情報の再構成値を現在点の属性情報の予測値として使用し、説明の便宜上、ここでは、第2隣接点P2を目標隣接点とする。これに基づいて、復号化端は、復号化された点群から当該予測モード情報に対応する目標隣接点P2の属性情報の再構成値を得、目標隣接点の属性情報の再構成値を現在点の属性情報の予測値として使用する。
説明すべきこととして、現在点の属性情報の予測モード情報と現在点の属性情報の残差値は、共同で符号化され、例えば、予測モード情報は、残差値の後ろに位置し、このように、ビットストリームを復号化して、現在点の残差値を得る際に、現在点の予測モード情報を得ることができる。
状況2において、目標予測モードが単一予測変数モードである場合、上記のS804は、以下のS804-B1ないしS804-B2を含む。
ステップS804-B1において、K個の隣接点の属性情報の再構成値を取得する。
ステップS804-B2において、K個の隣接点の属性情報の再構成値の加重平均値を、目標点の属性情報の予測値として使用する。
上記のK個の隣接点は、点群における復号化された点であり、図5に示すように、復号化された点の属性情報の再構成値は、復号化バッファユニット560に格納され、デコーダは、復号化バッファユニット560からK個の隣接点の属性情報の再構成値を取得することができる。K個の隣接点の属性情報の再構成値の加重平均値を、目標点の属性情報の予測値として使用する。
1つの例において、再構成値の加重平均値を決定する際に、隣接点と現在点との距離(例えば、ユークリッド距離)の逆数を当該隣接点の重みとして使用する。
1つの具体的な実施例において、図12に示すように、復号化端の予測プロセス800aは、以下のステップを含む。
ステップS800-1において、現在点と、3つの隣接点によって構成された隣接点セットとの間の第1距離を取得する。
ステップS800-2において、第1距離が第1数値以上であるか否かを判断し、第1距離が第1数値以上である場合、S800-3を実行し、第1距離が、第1数値より小さい場合、S800-5を実行する。
ステップS800-3において、現在点の目標予測モードがマルチ予測変数モード(Multi-pred)であることを決定する。
ステップS800-4において、点群ビットストリームを復号化し、現在点の属性情報の予測モード情報を得、予測モード情報に対応する目標隣接点の属性情報の再構成値を、現在点の属性情報の再構成値として使用する。
ステップS800-5において、現在点の目標予測モードが単一予測変数モード(single-pred)であることを決定し、加重予測変数(即ち、K個の隣接点の属性情報の再構成値の加重平均値)を現在点の属性情報の再構成値として使用する。
ここで、図12に示す本願の予測プロセスを上記の図7に示す既存技術の予測プロセスと比較して、本願は、現在点の幾何学的情報と隣接点の幾何学的情報に基づいて、現在点と隣接点セットとの間の第1距離を決定し、第1距離を第1数値と比較して、マルチ予測変数モード(Multi-pred)を使用するか単一予測変数モード(single -pred)を使用するかを判断して、現在点の属性情報を予測し、マルチ予測変数モード(Multi-pred)を使用すると判断した場合、点群ビットストリームから予測モード情報を得、単一予測変数モード(single-pred)を使用すると判断した場合、点群ビットストリームから予測モード情報は得られない。このようにして、現在点の予測モードの選択プロセスを、点群における点の幾何学的情報に関連させ、隣接点の属性情報の再構成プロセスから切り離し、更に、予測モードの選択プロセスと属性情報の再構成プロセスは、並行して行うことができ、復号化の効率を向上させる。
図13は、本願の実施例による点群復号化方法900の例示的なフローチャートであり、図13に示すように、本願の実施例の方法は、以下のステップを含む。
ステップS901において、点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得する。
ステップS902において、現在点の幾何学的情報に基づいて、現在点のK(Kは2以上の正の整数である)個の隣接点を決定する。
ステップS903において、現在点の幾何学的情報とK個の隣接点の幾何学的情報に基づいて、K個の隣接点からなる隣接点セットと現在点との間の第1距離を決定する。
ステップS904において、第1数値を決定する。具体的には、上記のS803-A21の説明を参照されたい。例えば、点群における点の幾何学的情報に基づいて、点群のバウンディングボックス(bounding box)を取得し、点群のバウンディングボックスの第1辺の長さを取得し、第1辺の長さと量子化パラメータ(QP)に基づいて、第1数値を決定する。
説明すべきこととして、上記のS903と上記のS904の実行プロセスには優先順位がなく、S904は、上記のS903の前に実行してもよく、S903の後に実行してもよく、上記のS903同時に実行してもよく、本願は、これに対して限定しない。
ステップS905において、第1距離が第1数値以上であるか否かを判断し、第1距離が第1数値以上である場合、S907を実行し、第1距離が、第1数値より小さい場合、S906を実行する。
ステップS906において、第1距離が第1数値より小さい場合、K個の隣接点の属性情報の再構成値に基づいて、単一予測変数モードを使用して、現在点の属性情報を予測し、現在点の属性情報の予測値を得る。例えば、K個の隣接点の属性情報の再構成値の平均値を、現在点の属性情報の予測値として使用する。
ステップS907において、第1距離が第1数値以上である場合、点群ビットストリームを復号化し、点群ビットストリームに搬送される現在点の属性情報予測モード情報を得る。
ステップS908において、K個の隣接点における、予測モード情報に対応する目標隣接点の属性情報の再構成値を得、目標隣接点の属性情報の再構成値を現在点の属性情報の予測値として使用する。
ステップS909において、点群ビットストリームを復号化し、現在点の属性情報の残差値を得、現在点の属性情報の残差値と予測値に基づいて、現在点の属性情報の再構成値を得る。例えば、現在点の属性情報の予測値を残差値と加算して、現在点の属性情報の再構成値を得る。
理解すべきこととして、図8ないし図13は、本願の一例に過ぎず、本願を制限するものとして理解すべきではない。
以上では、図面を参照して、本願の好ましい実施形態について詳細に説明したが、本願は、上記の実施形態における具体的な詳細に限定されなく、本願の技術構想範囲内で、本願の技術的解決策に対して様々な単純な変形を行うことができ、このような単純な変形は、すべて本願の保護範囲に含まれる。例えば、具体的な実施形態で説明された各具体的な技術的特徴は、矛盾がない限り、任意の適切な方式で組み合わせることができ、必要ない繰り返しを回避するために、本願は、あらゆる可能な組み合わせについて特に説明しない。例えば、本願の様々な異なる実施形態間も任意に組み合わせることができ、本願の精神に違反しない限り、すべて本願で開示された内容と見なす。
更に理解すべきこととして、本願の様々な方法実施例において、前記各プロセスの番号の大きさは実行する前後順番を意味せず、各プロセスの実行順番は、その機能と内部論理によって決定されるべきであり、本願実施例の実施プロセスに対してあらゆる制限を構成してはならないことを理解されたい。更に、本願の実施例において、「及び/又は」という用語は、単に関連付けられた対象の関連関係を説明するためのものに過ぎず、3つの関係が存在し得ることを示す。具体的に、A及び/又はBは、Aが単独で存在する場合、AとBの両方が存在する場合、Bが単独で存在する場合という3つの場合を示す。更に、本明細書における記号「/」は、一般的に、前後の関連付けられるオブジェクトが、「又は」という関係であることを示す。
以上では、図8ないし図13を参照して、本願の方法実施例を詳細に説明しており、以下では、図14ないし図16を参照して、本願の装置実施例を説明する。
図14は、本願の実施例による点群エンコーダ10の例示的なブロック図である。
図14に示すように、点群エンコーダ10は、
点群における現在点の幾何学的情報と属性情報を取得するように構成される取得ユニット11と、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定するように構成される隣接点決定ユニット12と、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニット13と、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を取得し、前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得、前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成するように構成される符号化ユニット14と、を備える。
点群における現在点の幾何学的情報と属性情報を取得するように構成される取得ユニット11と、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定するように構成される隣接点決定ユニット12と、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニット13と、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を取得し、前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得、前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成するように構成される符号化ユニット14と、を備える。
いくつかの実施例において、予測モード決定ユニット13は具体的に、前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記K個の隣接点からなる隣接点セットと前記現在点との間の第1距離を決定し、前記第1距離に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される。
いくつかの実施例において、予測モード決定ユニット13は具体的に、前記第1距離が第1数値以上である場合、前記目標予測モードをマルチ予測変数モードとして決定し、前記第1距離が、前記第1数値より小さい場合、前記目標予測モードを単一予測変数モードとして決定するように構成される。
いくつかの実施例において、符号化ユニット14は具体的に、前記目標予測モードがマルチ予測変数モードである場合、前記K個の隣接点の属性情報の再構成値を取得し、前記述K個の隣接点の属性情報の再構成値をK個の予測変数として使用し、前記K個の隣接点の属性情報の再構成値の加重平均値をK+1番目の予測変数として使用し、K+1個の予測変数における各予測変数のレート歪み最適化RDO値を決定し、最小RDO値の予測変数を前記現在点の属性情報の予測値として使用するように構成される。
いくつかの実施例において、前記点群ビットストリームは、前記最小RDO値の予測変数に対応する予測モード情報を含む。
いくつかの実施例において、予測モード決定ユニット13は具体的に、前記目標予測モードが単一予測変数モードである場合、前記K個の隣接点の属性情報の再構成値を得、前記K個の隣接点の属性情報の再構成値の加重平均値を、前記現在点の属性情報の予測値として使用するように構成される。
いくつかの実施例において、符号化ユニット14は更に、点群における点の幾何学的情報に基づいて、前記点群のバウンディングボックスを取得し、前記バウンディングボックスは、前記点群を囲むために使用され、前記点群のバウンディングボックスの第1辺の長さを取得し、前記第1辺の長さに基づいて、前記第1数値を決定するように構成される。
いくつかの実施例において、符号化ユニット14は具体的に、量子化パラメータ(QP)を取得し、前記QPと前記第1辺の長さに基づいて、前記第1数値を決定するように構成される。
いくつかの実施例において、符号化ユニット14は具体的に、前記第1辺の長さと前記QPとの比率を、前記第1数値として使用するように構成される。
いくつかの実施例において、符号化ユニット14は具体的に、前記第1辺の長さと第1所定値の第1比率を取得し、前記QPと第2所定値の第2比率を取得し、前記第1比率と前記第2比率に基づいて、前記第1数値を決定するように構成される。
いくつかの実施例において、符号化ユニット14は具体的に、前記第1比率を、前記第2比率を丸めた桁数だけ左にシフトし、前記第1数値を得るように構成される。
選択的に、前記第1所定値T1は、前記第2所定値T2より大きい。
選択的に、前記第2所定値T2=6である。
選択的に、前記第1辺が、前記バウンディングボックスの最短の辺である場合、前記第1所定値は64である。
選択的に、前記第1辺が、前記バウンディングボックスの最長の辺である場合、前記第1所定値は128である。
いくつかの実施例において、予測モード決定ユニット13は具体的に、前記K個の隣接点の幾何学的情報に基づいて、前記隣接点セットの幾何学的セントロイドの幾何学的情報を決定し、前記現在点の幾何学的情報と前記幾何学的セントロイドの幾何学的情報に基づいて、前記現在点と前記幾何学的セントロイドとの間の第2距離を決定し、前記第2距離に基づいて、前記第1距離を決定するように構成される。
いくつかの実施例において、予測モード決定ユニット13は具体的に、前記第2距離を前記第1距離として使用するように構成される。
1つの例において、前記現在点と前記幾何学的セントロイドとの間の第2距離は、前記現在点と前記幾何学的セントロイドとの間のユークリッド距離である。
他の例において、前記現在点と前記幾何学的セントロイドとの間の第2距離は、前記現在点と前記幾何学的セントロイドとの間のマンハッタン距離である。
いくつかの実施例において、予測モード決定ユニット13は具体的に、前記K個の隣接点における各隣接点に対して、前記隣接点の幾何学的情報及び前記現在点の幾何学的情報に基づいて、前記隣接点と前記現在点との間の第3距離を決定し、前記K個の隣接点における各前記隣接点と前記現在点との間の第3距離の平均値を、前記第1距離として使用するように構成される。
装置実施例は、方法実施例と互いに対応することができ、類似する説明は、方法実施例を参照することができることを理解されたい。繰り返しを回避するために、本明細書では詳細を再度説明しない。具体的に、図14に示す点群エンコーダ10は、本願の実施例の方法を実行することができ、点群エンコーダ10における各ユニットの前記及び他の動作及び/又は機能はそれぞれ、方法600と700などの各方法における対応するプロセスを実現するために使用され、簡潔のために、ここでは繰り返して説明しない。
図15は、本願の実施例による点群デコーダ20の例示的なブロック図である。
図15に示すように、当該点群デコーダ20は、
点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得するように構成される復号化ユニット21と、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定するように構成される隣接点決定ユニット22と、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニット23と、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得るように構成される解析ユニット24と、を備えることができる。
点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得するように構成される復号化ユニット21と、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定するように構成される隣接点決定ユニット22と、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニット23と、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得るように構成される解析ユニット24と、を備えることができる。
いくつかの実施例において、予測モード決定ユニット23は具体的に、前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記K個の隣接点からなる隣接点セットと前記現在点との間の第1距離を決定し、前記第1距離に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される。
いくつかの実施例において、予測モード決定ユニット23は具体的に、前記第1距離が第1数値以上である場合、前記目標予測モードをマルチ予測変数モードとして決定し、前記第1距離が、前記第1数値より小さい場合、前記目標予測モードを単一予測変数モードとして決定するように構成される。
いくつかの実施例において、解析ユニット24は具体的に、前記目標予測モードがマルチ予測変数モードである場合、前記点群ビットストリームを復号化し、前記現在点の属性情報の予測モード情報を得、前記K個の隣接点における、前記予測モード情報に対応する目標隣接点の属性情報の再構成値を取得し、前記目標隣接点の属性情報の再構成値を前記現在点の属性情報の予測値として使用するように構成される。
いくつかの実施例において、解析ユニット24は具体的に、前記目標予測モードが単一予測変数モードである場合、前記K個の隣接点の属性情報の再構成値を得、前記K個の隣接点の属性情報の再構成値の加重平均値を、前記目標点の属性情報の予測値として使用するように構成される。
いくつかの実施例において、解析ユニット24は更に、前記点群ビットストリームを復号化し、点群における点の幾何学的情報を取得し、点群における点の幾何学的情報に基づいて、前記点群のバウンディングボックスを取得し、前記バウンディングボックスは、前記点群を囲むために使用され、前記点群のバウンディングボックスの第1辺の長さを取得し、前記第1辺の長さに基づいて、前記第1数値を決定するように構成される。
いくつかの実施例において、解析ユニット24は具体的に、前記点群ビットストリームを復号化し、量子化パラメータ(QP)を取得し、前記QPと前記第1辺の長さに基づいて、前記第1数値を決定するように構成される。
いくつかの実施例において、解析ユニット24は具体的に、前記第1辺の長さと前記QPとの比率を、前記第1数値として使用するように構成される。
いくつかの実施例において、解析ユニット24は具体的に、前記第1辺の長さと第1所定値の第1比率を取得し、前記QPと第2所定値の第2比率を取得し、前記第1比率と前記第2比率に基づいて、前記第1数値を決定するように構成される。
いくつかの実施例において、解析ユニット24は具体的に、前記第1比率を、前記第2比率を丸めた桁数だけ左にシフトし、前記第1数値を得るように構成される。
選択的に、前記第1所定値T1は、前記第2所定値T2より大きい。
選択的に、前記第2所定値T2=6である。
選択的に、前記第1辺が、前記バウンディングボックスの最短の辺である場合、前記第1所定値は64である。
選択的に、前記第1辺が、前記バウンディングボックスの最長の辺である場合、前記第1所定値は128である。
いくつかの実施例において、予測モード決定ユニット23は具体的に、前記K個の隣接点の幾何学的情報に基づいて、前記隣接点セットの幾何学的セントロイドの幾何学的情報を決定し、前記現在点の幾何学的情報と前記幾何学的セントロイドの幾何学的情報に基づいて、前記現在点と前記幾何学的セントロイドとの間の第2距離を決定し、前記第2距離に基づいて、前記第1距離を決定するように構成される。
いくつかの実施例において、予測モード決定ユニット23は具体的に、前記第2距離を前記第1距離として使用するように構成される。
1つの例において、前記現在点と前記幾何学的セントロイドとの間の第2距離は、前記現在点と前記幾何学的セントロイドとの間のユークリッド距離である。
他の例において、前記現在点と前記幾何学的セントロイドとの間の第2距離は、前記現在点と前記幾何学的セントロイドとの間のマンハッタン距離である。
いくつかの実施例において、予測モード決定ユニット23は具体的に、前記K個の隣接点における各隣接点に対して、前記隣接点の幾何学的情報及び前記現在点の幾何学的情報に基づいて、前記隣接点と前記現在点との間の第3距離を決定し、前記K個の隣接点における各前記隣接点と前記現在点との間の第3距離の平均値を、前記第1距離として使用するように構成される。
装置実施例は、方法実施例と互いに対応することができ、類似する説明は、方法実施例を参照することができることを理解されたい。繰り返しを回避するために、本明細書では詳細を再度説明しない。具体的に、図15に示す点群デコーダ20は、本願の実施例の方法800及び/又は900を実行する対応する主体に対応することができ、点群デコーダ20における各ユニットの前述及び他の操作及び/又は機能はそれぞれ、方法800及び/又は900などの各方法における対応するプロセスを実現するために使用され、簡潔のために、ここでは繰り返して説明しない。
以上では、図面を参照して、機能ユニットの角度で本願の実施例の装置とシステムについて説明する。当該機能ユニットは、ハードウェアの形を介して実現してもよく、ソフトウェアの形の命令を介して実現してもよく、ハードウェア及びソフトウェアユニットの組み合わせを介して実現してもよいことを理解されたい。具体的に、本願の実施例における方法実施例の各ステップは、プロセッサのハードウェアの集積論理回路及び/又はソフトウェア形の命令を介して完了することができ、本願の実施例で開示される方法のステップは、ハードウェア復号プロセッサによって直接実行されてもよく、復号プロセッサ内のハードウェアとソフトウェアユニットの組み合わせによって実行されてもよい。例示的に、ソフトウェアユニットは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、電気的に消去可能なプログラマブルメモリ、レジスタなどの従来の記憶媒体に配置されることができる。当該記憶媒体はメモリに配置され、プロセッサは、メモリ内の情報を読み取り、そのハードウェアと組み合わせて上記の方法実施例におけるステップを完了する。
図16は、本願の実施例による電子機器30の例示的なブロック図である。
図16に示すように、当該電子機器30は、本願の実施例に記載の点群エンコーダであってもよく、点群デコーダであってもよく、当該電子機器30は、
メモリ31とプロセッサ32とを備えることができ、当該メモリ31は、コンピュータプログラム34を記憶し、当該プログラムコード34を当該プロセッサ32に伝送する。言い換えれば、当該プロセッサ32は、メモリ31からコンピュータプログラム34を呼び出して実行することにより、本願の実施例における方法を実現することができる。
メモリ31とプロセッサ32とを備えることができ、当該メモリ31は、コンピュータプログラム34を記憶し、当該プログラムコード34を当該プロセッサ32に伝送する。言い換えれば、当該プロセッサ32は、メモリ31からコンピュータプログラム34を呼び出して実行することにより、本願の実施例における方法を実現することができる。
例えば、当該プロセッサ32は、当該コンピュータプログラム34内の命令に従って上記の方法200におけるステップを実行することができる。
本願のいくつかの実施例において、当該プロセッサ32は、
汎用プロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、又は他のプログラマブルロジックデバイス、ディスクリートゲート、又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどを含んでもよいが、これらに限定されない。
汎用プロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、又は他のプログラマブルロジックデバイス、ディスクリートゲート、又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどを含んでもよいが、これらに限定されない。
本願のいくつかの実施例において、当該メモリ31は、
揮発性メモリ及び/又は不揮発性メモリを含んでもよいが、これらに限定されない。ここで、不揮発性メモリは、読み取り専用メモリ(ROM:Read-Only Memory)、プログラム可能な読み取り専用メモリ(PROM:Programmable ROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM:Erasable PROM)、電気的に消去可能なプログラマブル読み取り専用メモリ(EEPROM:Electrically EPROM)、又はフラッシュメモリであり得る。揮発性メモリは、外部キャッシュとして使用される、ランダムアクセスメモリ(RAM:Random Access Memory)であり得る。例示的であるが限定的ではない例示によれば、多くの形のRAMが利用可能であり、例えば、スタティックランダムアクセスメモリ(SRAM:Static RAM)、ダイナミックランダムアクセスメモリ(DRAM:Dynamic RAM)、同期ダイナミックランダムアクセスメモリ(SDRAM:Synchronous DRAM)、ダブルデータレートの同期ダイナミックランダムアクセスメモリ(DDR SDRAM:Double Data Rate SDRAM)、拡張型同期ダイナミックランダムアクセスメモリ(ESDRAM:Enhanced SDRAM)、同期接続ダイナミックランダムアクセスメモリ(SLDRAM:synch link DRAM)、及びダイレクトメモリバスランダムアクセスメモリ(DR RAM:Direct Rambus RAM)などが利用可能である。
揮発性メモリ及び/又は不揮発性メモリを含んでもよいが、これらに限定されない。ここで、不揮発性メモリは、読み取り専用メモリ(ROM:Read-Only Memory)、プログラム可能な読み取り専用メモリ(PROM:Programmable ROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM:Erasable PROM)、電気的に消去可能なプログラマブル読み取り専用メモリ(EEPROM:Electrically EPROM)、又はフラッシュメモリであり得る。揮発性メモリは、外部キャッシュとして使用される、ランダムアクセスメモリ(RAM:Random Access Memory)であり得る。例示的であるが限定的ではない例示によれば、多くの形のRAMが利用可能であり、例えば、スタティックランダムアクセスメモリ(SRAM:Static RAM)、ダイナミックランダムアクセスメモリ(DRAM:Dynamic RAM)、同期ダイナミックランダムアクセスメモリ(SDRAM:Synchronous DRAM)、ダブルデータレートの同期ダイナミックランダムアクセスメモリ(DDR SDRAM:Double Data Rate SDRAM)、拡張型同期ダイナミックランダムアクセスメモリ(ESDRAM:Enhanced SDRAM)、同期接続ダイナミックランダムアクセスメモリ(SLDRAM:synch link DRAM)、及びダイレクトメモリバスランダムアクセスメモリ(DR RAM:Direct Rambus RAM)などが利用可能である。
本願のいくつかの実施例において、当該コンピュータプログラム34は、1つ又は複数のユニットに分割されることができ、当該1つ又は複数のユニットは、当該メモリ31に記憶され、当該プロセッサ32によって実行されて、本願による方法を完了する。当該1つ又は複数のユニットは、特定の機能を完了できる一連のコンピュータプログラム命令セグメントであってもよく、当該命令セグメントは、当該電子機器30における当該コンピュータプログラム34の実行プロセスを説明するために使用される。
図16に示すように、当該電子機器30は更に、
トランシーバ33を備えることができ、当該トランシーバ33は、当該プロセッサ32又はメモリ31に接続することができる。
トランシーバ33を備えることができ、当該トランシーバ33は、当該プロセッサ32又はメモリ31に接続することができる。
ここで、プロセッサ32は、他の機器と通信するように前記トランシーバ33を制御することができ、具体的に、他の機器に情報又はデータを送信するか、他の機器によって送信された情報又はデータを受信することができる。トランシーバ33は、送信機及び受信機を備えることができる。トランシーバ33は更に、アンテナを備えることができ、アンテナの数は、1つ又は複数であってもよい。
当該電子機器30の各構成要素は、バスシステムにより接続され、バスシステムは、データバスに加えて、電力バス、制御バス、及び状態信号バスを含む。
図17は、本願の実施例による点群符号化と復号化システム40の例示的なブロック図である。
図17に示すように、当該点群符号化と復号化システム40は、点群エンコーダ41と点群デコーダ42を備えることができ、ここで、点群エンコーダ41は、本願の実施例に関わる点群符号化方法を実行し、点群デコーダ42は、本願の実施例に関わる点群復号化方法を実行する。
本願は更に、コンピュータによって実行されるとき、コンピュータに上記の方法実施例の方法を実行させるコンピュータプログラムが記憶された、コンピュータ記憶媒体を提供する。又は、本願の実施例は更に、コンピュータによって実行されるとき、コンピュータに上記の方法実施例の方法を実行させる命令を含む、コンピュータプログラム製品を提供する。
ソフトウェアを使用して実現する場合、コンピュータプログラム製品の形で完全に又は部分的に実現することができる。当該コンピュータプログラム製品は、1つ以上のコンピュータ命令を含む。コンピュータに当該コンピュータプログラム命令をロードして実行する場合、本願実施例に記載のプロセス又は機能を全体的又は部分的に生成する。当該コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブル装置であり得る。当該コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶され、又は1つのコンピュータ読み取り可能な記憶媒体から別のコンピュータ読み取り可能な記憶媒体に伝送することができ、例えば、当該コンピュータ命令は、有線(例えば、同軸ケーブル、光ファイバ、デジタル加入者線(DSL:Digital Subscriber Line))又は無線(例えば、赤外線、無線、マイクロ波等)を介して、1つのWebサイト、コンピュータ、サーバ又はデータセンタから別のWebサイト、コンピュータ、サーバ又はデータセンタに伝送することができる。当該コンピュータ読み取り可能な記憶媒体は、コンピュータがアクセス可能ないずれの利用可能な媒体であることができ、又は1つ以上の利用可能な媒体によって統合されたサーバ、データセンタなどのデータ記憶装置であることができる。前記利用可能な媒体は、磁気媒体(例えば、フロッピーディスク、ハードディスク、磁気テープ)、光学媒体(例えば、デジタル多用途ディスク(DVD:Digital Versatile Disc))、または半導体媒体(例えば、ソリッドステートハードディスク(SSD:Solid State Disk))などであり得る。
当業者なら自明であるが、本明細書で開示される実施例を参照して説明された各実施例のユニット及びアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアの組み合わせによって実現できる。これらの機能がハードウェアの形で実行されるかソフトウェアの形で実行されるかは、技術的解決策の特定の用途及び設計上の制約条件によって異なる。専門技術者は、各特定の用途に応じて異なる方法を使用して、説明された機能を実現することができるが、このような実現は、本願の保護範囲を超えると見なすべきではない。
本願で提供されるいくつかの実施例では、開示されたシステム、装置及び方法は、他の方法で実現できることを理解されたい。例えば、上記で説明された装置の実施例は、例示的なものに過ぎず、例えば、当該ユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方式を採用することができ、例えば、複数のユニット又はコンポーネントを組み合わせるか又は別のシステムに統合してもよく、その一部の特徴を無視するか実行しなくてもよい。更に、表示又は議論された相互結合又は直接結合又は通信接続は、いくつかのインターフェースを使用して実現することができ、装置又はユニット間の間接結合又は通信接続は、電気的又は機械的な形であってもよく、他の形であってもよい。
個別の部品として説明されるユニットは、物理的に分離されても分離されなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよい。つまり、1箇所に配置されてもよく、ネットワークユニットに分散されてもよい。実際のニーズに従って、その中の一部又はすべてのユニットを選択して、本実施例の解決策の目的を達成することができる。例えば、本願の各実施例における各機能ユニットは、1つの処理ユニットに統合されてもよく、又は各ユニットは、別々に独立した物理ユニットであってもよく、又は2つ又は2つ以上のユニットが1つのユニットに統合されてもよい。
上記は、本願の特定の実施形態に過ぎず、本願の保護範囲はこれに限定されない。本願に開示される技術的範囲内で当業者が容易に想到し得る変更又は置換は、すべて本願の保護範囲に含まれるべきである。したがって、本願の保護範囲は、特許請求の保護範囲を基準とするべきである。
Claims (47)
- 点群符号化方法であって、
点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定することと、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、
前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得ることと、
前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成することと、を含むことを特徴とする、点群符号化方法。 - 前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することは、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記K個の隣接点からなる隣接点セットと前記現在点との間の第1距離を決定することと、
前記第1距離に基づいて、前記現在点の属性情報の目標予測モードを決定することと、を含むことを特徴とする、
請求項1に記載の点群符号化方法。 - 前記第1距離に基づいて、前記現在点の属性情報の目標予測モードを決定することは、
前記第1距離が第1数値以上である場合、前記目標予測モードをマルチ予測変数モードとして決定することと、
前記第1距離が、前記第1数値より小さい場合、前記目標予測モードを単一予測変数モードとして決定することと、を含むことを特徴とする、
請求項2に記載の点群符号化方法。 - 前記目標予測モードがマルチ予測変数モードである場合、前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることは、
前記K個の隣接点の属性情報の再構成値を取得することと、
前記K個の隣接点の属性情報の再構成値をK個の予測変数として使用することと、
前記K個の隣接点の属性情報の再構成値の加重平均値をK+1番目の予測変数として使用することと、
K+1個の予測変数における各予測変数のレート歪み最適化(RDO)値を決定することと、
最小RDO値の予測変数を前記現在点の属性情報の予測値として使用することと、を含むことを特徴とする、
請求項3に記載の点群符号化方法。 - 前記点群ビットストリームは、前記最小RDO値の予測変数に対応する予測モード情報を含むことを特徴とする、
請求項4に記載の点群符号化方法。 - 前記目標予測モードが単一予測変数モードである場合、前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることは、
前記K個の隣接点の属性情報の再構成値を取得することと、
前記K個の隣接点の属性情報の再構成値の加重平均値を、前記現在点の属性情報の予測値として使用することと、を含むことを特徴とする、
請求項3に記載の点群符号化方法。 - 前記点群符号化方法は、
点群における点の幾何学的情報に基づいて、前記点群のバウンディングボックスを取得することであって、前記バウンディングボックスは、前記点群を囲むために使用される、ことと、
前記点群のバウンディングボックスの第1辺の長さを取得することと、
前記第1辺の長さに基づいて、前記第1数値を決定することと、を更に含むことを特徴とする、
請求項3に記載の点群符号化方法。 - 前記第1辺の長さに基づいて、前記第1数値を決定することは、
量子化パラメータ(QP)を取得することと、
前記QPと前記第1辺の長さに基づいて、前記第1数値を決定することと、を含むことを特徴とする、
請求項7に記載の点群符号化方法。 - 前記QPと前記第1辺の長さに基づいて、前記第1数値を決定することは、
前記第1辺の長さと前記QPとの比率を、前記第1数値として使用することを含むことを特徴とする、
請求項8に記載の点群符号化方法。 - 前記QPと前記第1辺の長さに基づいて、前記第1数値を決定することは、
前記第1辺の長さと第1所定値との第1比率を取得することと、
前記QPと第2所定値との第2比率を取得することと、
前記第1比率と前記第2比率に基づいて、前記第1数値を決定することと、を含むことを特徴とする、
請求項8に記載の点群符号化方法。 - 前記第1比率と前記第2比率に基づいて、前記第1数値を決定することは、
前記第1比率を、前記第2比率を丸めた桁数だけ左にシフトし、前記第1数値を得ることを含むことを特徴とする、
請求項10に記載の点群符号化方法。 - 前記第1所定値は、前記第2所定値より大きいことを特徴とする、
請求項10ないし12のいずれか一項に記載の点群符号化方法。 - 前記第2所定値は、6であることを特徴とする、
請求項10ないし12のいずれか一項に記載の点群符号化方法。 - 前記第1辺が、前記バウンディングボックスの最短辺である場合、前記第1所定値は、64であることを特徴とする、
請求項10ないし12のいずれか一項に記載の点群符号化方法。 - 前記第1辺が、前記バウンディングボックスの最長辺である場合、前記第1所定値は、128であることを特徴とする、
請求項10ないし12のいずれか一項に記載の点群符号化方法。 - 前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記K個の隣接点からなる隣接点セットと前記現在点との間の第1距離を決定することは、
前記K個の隣接点の幾何学的情報に基づいて、前記隣接点セットの幾何学的セントロイドの幾何学的情報を決定することと、
前記現在点の幾何学的情報と前記幾何学的セントロイドの幾何学的情報に基づいて、前記現在点と前記幾何学的セントロイドとの間の第2距離を決定することと、
前記第2距離に基づいて、前記第1距離を決定することと、を含むことを特徴とする、
請求項1ないし12のいずれか一項に記載の点群符号化方法。 - 前記第2距離に基づいて、前記第1距離を決定することは、
前記第2距離を前記第1距離として使用することを含むことを特徴とする、
請求項17に記載の点群符号化方法。 - 前記現在点と前記幾何学的セントロイドとの間の第2距離は、前記現在点と前記幾何学的セントロイドとの間のユークリッド距離であることを特徴とする、
請求項17に記載の点群符号化方法。 - 前記現在点と前記幾何学的セントロイドとの間の第2距離は、前記現在点と前記幾何学的セントロイドとの間のマンハッタン距離であることを特徴とする、
請求項17に記載の点群符号化方法。 - 前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記K個の隣接点からなる隣接点セットと前記現在点との間の第1距離を決定することは、
前記K個の隣接点における各隣接点に対して、前記隣接点の幾何学的情報及び前記現在点の幾何学的情報に基づいて、前記隣接点と前記現在点との間の第3距離を決定することと、
前記K個の隣接点における各前記隣接点と前記現在点との間の第3距離の平均値を、前記第1距離として使用することと、を含むことを特徴とする、
請求項1ないし12のいずれか一項に記載の点群符号化方法。 - 点群復号化方法であって、
点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定することと、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、を含むことを特徴とする、点群復号化方法。 - 前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することは、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記K個の隣接点からなる隣接点セットと前記現在点との間の第1距離を決定することと、
前記第1距離に基づいて、前記現在点の属性情報の目標予測モードを決定することと、を含むことを特徴とする、
請求項22に記載の点群復号化方法。 - 前記第1距離に基づいて、前記現在点の属性情報の目標予測モードを決定することは、
前記第1距離が第1数値以上である場合、前記目標予測モードをマルチ予測変数モードとして決定することと、
前記第1距離が、前記第1数値より小さい場合、前記目標予測モードを単一予測変数モードとして決定することと、を含むことを特徴とする、
請求項23に記載の点群復号化方法。 - 前記目標予測モードがマルチ予測変数モードである場合、前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることは、
前記点群ビットストリームを復号化し、前記現在点の属性情報の予測モード情報を得ることと、
前記K個の隣接点における前記予測モード情報に対応する目標隣接点の属性情報の再構成値を取得することと、
前記目標隣接点の属性情報の再構成値を、前記現在点の属性情報の予測値として使用することと、を含むことを特徴とする、
請求項24に記載の点群復号化方法。 - 前記目標予測モードが単一予測変数モードである場合、前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることは、
前記K個の隣接点の属性情報の再構成値を取得することと、
前記K個の隣接点の属性情報の再構成値の加重平均値を、前記目標点の属性情報の予測値として使用することと、を含むことを特徴とする、
請求項24に記載の点群復号化方法。 - 前記点群復号化方法は、
前記点群ビットストリームを復号化し、点群における点の幾何学的情報を取得することと、
点群における点の幾何学的情報に基づいて、前記点群のバウンディングボックスを取得することであって、前記バウンディングボックスは、前記点群を囲むために使用される、ことと、
前記点群のバウンディングボックスの第1辺の長さを取得することと、
前記第1辺の長さに基づいて、前記第1数値を決定することと、を更に含むことを特徴とする、
請求項24に記載の点群復号化方法。 - 前記第1辺の長さに基づいて、前記第1数値を決定することは、
前記点群ビットストリームを復号化し、量子化パラメータ(QP)を取得することと、
前記QPと前記第1辺の長さに基づいて、前記第1数値を決定することと、を含むことを特徴とする、
請求項27に記載の点群復号化方法。 - 前記QPと前記第1辺の長さに基づいて、前記第1数値を決定することは、
前記第1辺の長さと前記QPとの比率を、前記第1数値として使用することを含むことを特徴とする、
請求項28に記載の点群復号化方法。 - 前記QPと前記第1辺の長さに基づいて、前記第1数値を決定することは、
前記第1辺の長さと第1所定値との第1比率を取得することと、
前記QPと第2所定値との第2比率を取得することと、
前記第1比率と前記第2比率に基づいて、前記第1数値を決定することと、を含むことを特徴とする、
請求項29に記載の点群復号化方法。 - 前記第1比率と前記第2比率に基づいて、前記第1数値を決定することは、
前記第1比率を、前記第2比率を丸めた桁数だけ左にシフトし、前記第1数値を得ることを含むことを特徴とする、
請求項30に記載の点群復号化方法。 - 前記第1所定値は、前記第2所定値より大きいことを特徴とする、
請求項30ないし32のいずれか一項に記載の点群復号化方法。 - 前記第2所定値は、6であることを特徴とする、
請求項30ないし32のいずれか一項に記載の点群復号化方法。 - 前記第1辺が、前記バウンディングボックスの最短辺である場合、前記第1所定値は、64であることを特徴とする、
請求項30ないし32のいずれか一項に記載の点群復号化方法。 - 前記第1辺が、前記バウンディングボックスの最長辺である場合、前記第1所定値は、128であることを特徴とする、
請求項30ないし32のいずれか一項に記載の点群復号化方法。 - 前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点と前記隣接点セットとの間の第1距離を決定することは、
前記K個の隣接点の幾何学的情報に基づいて、前記隣接点セットの幾何学的セントロイドの幾何学的情報を決定することと、
前記現在点の幾何学的情報と前記幾何学的セントロイドの幾何学的情報に基づいて、前記現在点と前記幾何学的セントロイドとの間の第2距離を決定することと、
前記第2距離に基づいて、前記第1距離を決定することと、を含むことを特徴とする、
請求項22ないし32のいずれか一項に記載の点群復号化方法。 - 前記第2距離に基づいて、前記第1距離を決定することは、
前記第2距離を前記第1距離として使用することを含むことを特徴とする、
請求項37に記載の点群復号化方法。 - 前記現在点と前記幾何学的セントロイドとの間の第2距離は、前記現在点と前記幾何学的セントロイドとの間のユークリッド距離であることを特徴とする、
請求項37に記載の点群復号化方法。 - 前記現在点と前記幾何学的セントロイドとの間の第2距離は、前記現在点と前記幾何学的セントロイドとの間のマンハッタン距離であることを特徴とする、
請求項37に記載の点群復号化方法。 - 前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点と前記隣接点セットとの間の第1距離を決定することは、
前記K個の隣接点における各隣接点に対して、前記隣接点の幾何学的情報及び前記現在点の幾何学的情報に基づいて、前記隣接点と前記現在点との間の第3距離を決定することと、
前記K個の隣接点における各前記隣接点と前記現在点との間の第3距離の平均値を、前記第1距離として使用することと、を含むことを特徴とする、
請求項22ないし32のいずれか一項に記載の点群復号化方法。 - 点群エンコーダであって、
点群における現在点の幾何学的情報と属性情報を取得するように構成される取得ユニットと、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定するように構成される隣接点決定ユニットと、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニットと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を取得し、前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得、前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成するように構成される符号化ユニットと、を備えることを特徴とする、点群エンコーダ。 - 点群デコーダであって、
点群における現在点の幾何学的情報と属性情報を取得するように構成される復号化ユニットと、
前記現在点の幾何学的情報に基づいて、前記現在点のK(Kは2以上の正の整数である)個の隣接点を決定するように構成される隣接点決定ユニットと、
前記現在点の幾何学的情報と前記K個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニットと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得るように構成される復号化ユニットと、を備えることを特徴とする、点群デコーダ。 - 点群エンコーダであって、
コンピュータプログラムを記憶するメモリと、
前記メモリに記憶されたコンピュータプログラムを呼び出し実行して、請求項1ないし21のいずれか一項に記載の点群符号化方法を実行するプロセッサと、を備えることを特徴とする、点群エンコーダ。 - 点群デコーダであって、
コンピュータプログラムを記憶するメモリと、
前記メモリに記憶されたコンピュータプログラムを呼び出し実行して、請求項22ないし41のいずれか一項に記載の点群復号化方法を実行するプロセッサと、を備えることを特徴とする、点群デコーダ。 - 点群符号化と復号化システムであって、
請求項42又は44に記載の点群エンコーダと、
請求項43又は45に記載の点群デコーダと、を備えることを特徴とする、点群符号化と復号化システム。 - コンピュータに、請求項1ないし21のいずれか一項に記載の点群符号化方法、又は請求項22ないし41のいずれか一項に記載の点群復号化方法を実行させるコンピュータプログラムが記憶された、コンピュータ可読記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/140248 WO2022140937A1 (zh) | 2020-12-28 | 2020-12-28 | 点云编解码方法与系统、及点云编码器与点云解码器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024500701A true JP2024500701A (ja) | 2024-01-10 |
Family
ID=82258960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023536205A Pending JP2024500701A (ja) | 2020-12-28 | 2020-12-28 | 点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダ |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230290012A1 (ja) |
JP (1) | JP2024500701A (ja) |
KR (1) | KR20230125782A (ja) |
CN (2) | CN116438797A (ja) |
WO (1) | WO2022140937A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11010931B2 (en) * | 2018-10-02 | 2021-05-18 | Tencent America LLC | Method and apparatus for video coding |
WO2020197086A1 (ko) * | 2019-03-25 | 2020-10-01 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
US11475604B2 (en) * | 2019-03-26 | 2022-10-18 | Tencent America LLC | Method and apparatus for adaptive point cloud attribute coding |
CN111145090B (zh) * | 2019-11-29 | 2023-04-25 | 鹏城实验室 | 一种点云属性编码方法、解码方法、编码设备及解码设备 |
-
2020
- 2020-12-28 JP JP2023536205A patent/JP2024500701A/ja active Pending
- 2020-12-28 CN CN202080107001.XA patent/CN116438797A/zh active Pending
- 2020-12-28 CN CN202310896794.3A patent/CN116708769A/zh active Pending
- 2020-12-28 KR KR1020237020518A patent/KR20230125782A/ko active Search and Examination
- 2020-12-28 WO PCT/CN2020/140248 patent/WO2022140937A1/zh active Application Filing
-
2023
- 2023-05-16 US US18/318,656 patent/US20230290012A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116708769A (zh) | 2023-09-05 |
WO2022140937A1 (zh) | 2022-07-07 |
CN116438797A (zh) | 2023-07-14 |
KR20230125782A (ko) | 2023-08-29 |
US20230290012A1 (en) | 2023-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022062369A1 (zh) | 点云编解码方法与系统、及点云编码器与点云解码器 | |
US20230342985A1 (en) | Point cloud encoding and decoding method and point cloud decoder | |
US20230047400A1 (en) | Method for predicting point cloud attribute, encoder, decoder, and storage medium | |
WO2022257145A1 (zh) | 点云属性的预测方法、装置及编解码器 | |
CN117242493A (zh) | 点云解码、上采样及模型训练方法与装置 | |
US12113963B2 (en) | Method and apparatus for selecting neighbor point in point cloud, encoder, and decoder | |
US20230237704A1 (en) | Point cloud decoding and encoding method, and decoder, encoder and encoding and decoding system | |
JP2024505796A (ja) | 点群復号化方法、点群符号化方法、復号器及び符号器 | |
JP2024500701A (ja) | 点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダ | |
WO2023024842A1 (zh) | 点云编解码方法、装置、设备及存储介质 | |
US20240087174A1 (en) | Coding and decoding point cloud attribute information | |
WO2022217472A1 (zh) | 点云编解码方法、编码器、解码器及计算机可读存储介质 | |
CN115474041B (zh) | 点云属性的预测方法、装置及相关设备 | |
WO2022133752A1 (zh) | 点云的编码方法、解码方法、编码器以及解码器 | |
WO2023240455A1 (zh) | 点云编码方法、编码装置、编码设备以及存储介质 | |
CN115733990A (zh) | 点云编解码方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231208 |