JP7490685B2 - 点群符号化方法、点群復号化方法、符号器、復号器及びコンピュータ記憶媒体 - Google Patents

点群符号化方法、点群復号化方法、符号器、復号器及びコンピュータ記憶媒体 Download PDF

Info

Publication number
JP7490685B2
JP7490685B2 JP2021578172A JP2021578172A JP7490685B2 JP 7490685 B2 JP7490685 B2 JP 7490685B2 JP 2021578172 A JP2021578172 A JP 2021578172A JP 2021578172 A JP2021578172 A JP 2021578172A JP 7490685 B2 JP7490685 B2 JP 7490685B2
Authority
JP
Japan
Prior art keywords
point cloud
order
cloud data
processing order
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021578172A
Other languages
English (en)
Other versions
JP2022539411A (ja
Inventor
チャン、ウェイ
フオ、チュンイェン
マー、イェンチュオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2022539411A publication Critical patent/JP2022539411A/ja
Application granted granted Critical
Publication of JP7490685B2 publication Critical patent/JP7490685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Description

［関連出願の参照］
本出願は、発明の名称を「ビデオデータの符号化及び復号化の方法、装置及びシステム（Ｍｅｔｈｏｄ、Ａｐｐａｒａｔｕｓ、ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｅｎｃｏｄｉｎｇ ａｎｄ Ｄｅｃｏｄｉｎｇ Ｖｉｄｅｏ Ｄａｔａ）」とする、２０１９年７月３日に出願された米国特許出願第６２／８７０，５５３号の優先権を主張し、そのすべての内容が参照として本出願に組み込まれる。
本発明の実施形態は、ビデオ符号化及び復号化技術分野に関し、特に点群符号化方法、点群復号化方法、符号器、復号器及びコンピュータ記憶媒体に関する。
幾何に基づいた点群圧縮（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ、Ｇ－ＰＣＣ）の符号器フレームワークにおいて、点群の幾何情報と、各点群に対応する属性情報とが別々に符号化される。幾何情報の符号化が完了した後、幾何情報を再構成する。属性情報の符号化は、再構成された幾何情報に依存する。
現在、属性情報の符号化は主に色情報の符号化を対象とする。まず、色情報をＲＧＢ色空間からＹＵＶ色空間に変換する。その後、再構成された幾何情報を使用して点群を再着色し、符号化されていない属性情報と再構成された幾何情報とを対応させる。色情報の符号化には、主に２つの変換方法がある。１つは、詳細度（ｌｅｖｅｌ ｏｆ ｄｅｔａｉｌ、ＬＯＤ）分割に依存する距離に基づいたリフティング変換（ｌｉｆｔｉｎｇ ｔｒａｎｓｆｏｒｍ）である。もう１つは、直接に実行されるＲＡＨＴ（Ｒｅｇｉｏｎａｌ Ａｄａｐｔｉｖｅ ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）である。この二つの方法を介して、色情報を空間領域から周波数領域に変換し、変換によって高周波係数と低周波係数を取得して、最後に係数を量子化し符号化して、２進ビットストリームを生成する。
しかしながら、ＲＡＨＴを実行するとき、どの点群に対しても同じ固定した順序でＲＡＨＴを行うことは、ＲＡＨＴの変換効率を十分に発揮させない。したがって、変換効率が低いという課題が存在しており、それによって、符号化及び復号化の効率が低下する。
本発明の実施形態は、点群符号化方法、点群復号化方法、符号器、復号器及びコンピュータ記憶媒体を提供する。これによって、符号化及び復号化プロセスにおける座標処理順序を適応的に変更し、さらにＲＡＨＴの変換効率を十分に発揮させることができ、変換効率が低いという課題を解決し、符号化及び復号化の効率を大幅に向上させることができる。
本発明の実施形態の技術方案は以下のように実現されることができる。
第一様態において、本発明の実施形態は点群符号化方法を提供する。当該方法は符号器に適用され、以下の内容を含む。
点群符号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。処理順序に対応する座標軸順序インデックスを確定する。
座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込む。
処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得する。
符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込む。
第二様態において、本発明の実施形態は点群復号化方法を提供する。当該方法は復号器に適用され、以下の内容を含む。
ビットストリームを解析して座標軸順序インデックスを取得する。
座標軸順序インデックスに基づいて、点群復号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。
ビットストリームを解析して点群データの復元データを取得する。
処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定する。
第三様態において、本発明の実施形態は符号器を提供する。当該符号器は第一確定部分、符号化部分及び変換部分を含む。
上記第一確定部分は、点群符号化プロセスにおける点群データの処理順序を確定し、処理順序に対応する座標軸順序インデックスを確定するように構成されている。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。
上記符号化部分は、座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込むように構成されている。
上記変換部分は、処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得するように構成されている。
上記符号化部分はさらに、符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込むように構成されている。
第四様態において、本発明の実施形態は符号器を提供する。当該符号器は第一プロセッサと、第一プロセッサによって実行される命令を格納する第一メモリとを含む。上記命令は第一プロセッサによって実行されると、上記点群符号化方法を実行する。
第五様態において、本発明の実施形態は復号器を提供する。当該復号器は解析部分、及び第二確定部分を含む。
上記解析部分は、ビットストリームを解析して座標軸順序インデックスを取得するように構成されている。
上記第二確定部分は、座標軸順序インデックスに基づいて、点群復号化プロセスにおける点群データの処理順序を確定するように構成されている。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。
上記解析部分はさらに、ビットストリームを解析して点群データの復元データを取得するように構成されている。
上記第二確定部分はさらに、処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定するように構成されている。
第六様態において、本発明の実施形態は復号器を提供する。当該復号器は第二プロセッサと、第二プロセッサによって実行される命令を格納する第二メモリを含む。上記命令は第二プロセッサによって実行されると、上記点群復号化方法を実行する。
第七様態において、本発明の実施形態はコンピュータ可読記憶媒体を提供する。当該コンピュータ可読記憶媒体はコンピュータプログラムを格納する。当該コンピュータプログラムは第一プロセッサによって実行されると、点群符号化方法を実行する。又は、第二プロセッサによって実行されると、点群復号化方法を実行する。
本発明の実施形態は点群符号化方法、点群復号化方法、符号器、復号器及びコンピュータ記憶媒体を提供する。符号器は点群符号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。符号器は、処理順序に対応する座標軸順序インデックスを確定する。符号器は座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込む。符号器は処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得する。符号器は符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込む。復号器はビットストリームを解析して座標軸順序インデックスを取得する。復号器は座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。復号器はビットストリームを解析して点群データの復元データを取得する。復号器は処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定する。即ち、本発明の実施形態において、符号化側では、符号器はまず点群データに対応する変換処理の処理順序を確定し、処理順序に基づいてＲＡＨＴを実行しながら、処理順序をビットストリームに書き込み、復号器に送信することができる。復号化側では、復号器はビットストリームを解析して、点群データに対応する変換処理の処理順序を取得し、その処理順序に基づいてＲＡＨＴを実行することができる。このように、本発明に係る点群符号化方法及び点群復号化方法では、すべての点群データ又は一部の点群データに対して、ＲＡＨＴを行うには固定した順序を使用せず、ビットストリームにおけるシンタックス要素を用いて処理順序を示す。これにより、符号化及び復号化プロセスにおける座標処理順序を適応的に変更し、さらにＲＡＨＴの変換効率を十分に発揮させることができ、変換効率が低いという課題を解決し、符号化及び復号化の効率を大幅に向上させることができる。
図１は、点群圧縮（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ、Ｇ－ＰＣＣ）符号化のプロセスを示すブロック図である。 図２は、Ｇ－ＰＣＣ復号化のプロセスを示すブロック図である。 図３は、空間符号化を示す概略図１である。 図４は、空間符号化を示す概略図２である。 図５は、空間符号化を示す概略図３である。 図６は、空間符号化を示す概略図４である。 図７は、ＲＡＨＴ（Ｒｅｇｉｏｎａｌ Ａｄａｐｔｉｖｅ ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）を示す概略図１である。 図８は、ＲＡＨＴを示す概略図２である。 図９は、ＲＡＨＴを示す概略図３である。 図１０は、点群符号化の実現プロセスを示す概略図１である。 図１１は、点群符号化の実現プロセスを示す概略図２である。 図１２は、点群復号化の実現プロセスを示す概略図１である。 図１３は、点群復号化の実現プロセスを示す概略図２である。 図１４は、符号器の構造を示す概略図１である。 図１５は、符号器の構造を示す概略図２である。 図１６は、復号器の構造を示す概略図１である。 図１７は、復号器の構造を示す概略図２である。
本発明の実施形態の特徴及び技術内容をより詳しく理解できるように、以下、図面を参照しながら本発明の実施形態の実現を詳細に説明する。添付された図面はただ説明するために用いられ、本発明を限定するものではない。
本発明の実施形態では、幾何に基づいた点群圧縮（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ、Ｇ－ＰＣＣ）の符号器フレームワークにおいて、入力された３次元画像モデルの点群をスライス（ｓｌｉｃｅ）に分割した後、各スライスを独立して符号化する。
図１は、点群圧縮（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ、Ｇ－ＰＣＣ）符号化のプロセスを示すブロック図である。図１のＧ－ＰＣＣ符号化のプロセスのブロック図に示されているように、それは点群符号器に適用される。符号化しようとする点群データについて、まずスライス分割により、点群データを複数のスライスに分割する。各スライスでは、点群の幾何情報と、各点群に対応する属性情報とが別々に符号化される。幾何情報の符号化プロセスにおいて、すべての点群が境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）に含まれるように、幾何情報に対して座標変換を行う。その後、主に拡大縮小（ｓｃａｌｉｎｇ）の役割を果たす定量化を行う。定量化の丸めにより、一部の点群の幾何情報が同じになるため、パラメータに基づいて重複点を除去するかどうかを決定する。定量化と重複点の除去というプロセスはボクセル化（ｖｏｘｅｌｉｚａｔｉｏｎ）プロセスとも呼ばれる。次に、境界ボックスに対して八分木分割を行う。八分木に基づいた幾何情報の符号化プロセスにおいて、境界ボックスは８つのサブキューブ（ｓｕｂ－ｃｕｂｅ）に均等に分割され、非空（点群における点を含む）のサブキューブは、分割によって取得されたリーフノードが１×１×１のユニットキューブ（ｕｎｉｔ ｃｕｂｅ）になるまで、８つの均等な部分に分割され続く。リーフノードにおけるノードに対して算術符号化を行って、２進の幾何ビットストリーム（ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ）、即ち幾何コードストリーム（ｇｅｏｍｅｔｒｙ ｃｏｄｅ ｓｔｒｅａｍ）を生成する。トライアングルスープ（ｔｒｉａｎｇｌｅ ｓｏｕｐ、ｔｒｉｓｏｕｐ）に基づいた幾何情報の符号化プロセスにおいて、まず、八分木分割が行われる。八分木に基づいた幾何情報の符号化とは異なり、当該トライスープ（ｔｒｉｓｏｕｐ）では、点群を辺長が１×１×１のユニットキューブに段階的に分割する必要はなく、点群を辺長がＷのブロック（ｂｌｏｃｋ）に分割した後、分割を停止する。各ブロックにおける点群の分布によって形成された表面に基づいて、その表面とブロックの１２個の辺の両方で生成される最大で１２個の交点（ｖｅｒｔｅｘ）を取得する。交点に対して算術符号化（交点に基づく表面フィッティング（ｓｕｒｆａｃｅ ｆｉｔｔｉｎｇ）を行って、２進の幾何ビットストリーム、即ち幾何コードストリームを生成する。交点は幾何再構成の実現にも使用される。再構成された幾何情報は、点群の属性情報を符号化するときに使用される。
属性情報の符号化プロセスにおいて、幾何情報の符号化が完了し、幾何情報が再構成された後、色変換を行う。即ち、色情報（つまり、属性情報）をＲＧＢ色空間からＹＵＶ色空間に変換する。その後、再構成された幾何情報を使用して点群を再着色し、符号化されていない属性情報と再構成された幾何情報とを対応させる。属性情報の符号化は主に色情報を対象とする。色情報の符号化プロセスには、主に２つの変換方法がある。１つは、詳細度（ｌｅｖｅｌ ｏｆ ｄｅｔａｉｌ、ＬＯＤ）分割に依存する距離に基づいたリフティング変換（ｌｉｆｔｉｎｇ ｔｒａｎｓｆｏｒｍ）である。もう１つは、直接に実行されるＲＡＨＴ（Ｒｅｇｉｏｎａｌ Ａｄａｐｔｉｖｅ ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）である。この二つの方法を介して、色情報を空間領域から周波数領域に変換し、変換によって高周波係数と低周波係数を取得して、最後に係数を量子化する（即ち、量子化係数）。最後に、八分木分割と表面フィッティングを経た幾何符号化データと量子化係数処理属性符号化データとをスライス合成し、各ブロックの交点座標を順に符号化（つまり算術符号化）して、２進の属性ビットストリーム、つまり属性コードストリームを生成する。
図２は、Ｇ－ＰＣＣ復号化のプロセスを示すブロック図である。図２のＧ－ＰＣＣ復号化のプロセスのブロック図に示されているように、それは点群復号器に適用される。取得された２進ビットストリームに対して、まず、２進ビットストリームにおける幾何ビットストリームと属性ビットストリームとをそれぞれ独立して復号化する。幾何ビットストリームを復号化するとき、算術復号化－八分木合成（ｏｃｔｒｅｅ ｓｙｎｔｈｅｓｉｓ）－表面フィッティング－幾何の再構成－逆座標変換を介して、点群の幾何情報を取得する。属性ビットストリームを復号化するとき、算術復号化－逆量子化－ＬＯＤに基づいたリフティング逆変換（ｌｉｆｔｉｎｇ ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）又はＲＡＨＴに基づいた逆変換－逆色変換を介して、点群の属性情報を取得する。幾何情報と属性情報に基づいて、符号化しようとする点群データの３次元画像モデルを復元する。
Figure 0007490685000001
Figure 0007490685000002
Figure 0007490685000003
図３は、空間符号化を示す概略図１である。図４は、空間符号化を示す概略図２である。図３と図４を結びつけて説明する。例示として、上位ビットから下位ビットまでの並べ替えの順序はｚ、ｙ、ｘ（ｘ｜（ｙ<<１）｜（ｚ<<２））である。
図３は、００００００から１１１１１１１までの８＊８画像の各画素の空間符号化を示している。１次元の２進数を用いて、０～７のｘ、ｙの値の位置座標を符号化する。２進座標値（ｂｉｎａｒｙ ｃｏｏｒｄｉｎａｔｅ ｖａｌｕｅ）をインターリーブ（Ｉｎｔｅｒｌｅａｖｅ）して、２進Ｚ値マップを取得する。数値方向に沿ってｚ状を接続し、再帰的なｚ状カーブを生成する。図の各位置で、ｚ値を接続順に置く。実際に、図３はＺ方向に反復的に生成される。００から１１まで（図全体に１つのｚ）、次に００００から１１１１まで（前のｚの各点に１つのｚを置く）、そして００００００００から１１１１１１まで（前のｚの各点に１つのｚを置く）、毎回２ビットずつ増加し、再帰的に増加する。
例示的に、図４は、２×２、４×４、８×８、及び１６×１６の空間符号化順序（ｓｐａｔｉａｌ ｅｎｃｏｄｉｎｇ ｏｒｄｅｒ）を示しており、そこから、モートンコードの符号化順序は、空間ｚ順に従って実施されることが分かる。
図５は、空間符号化を示す概略図３である。図６は、空間符号化を示す概略図４である。図５と図６は、３次元に拡張した場合である。図５と図６では再帰プロセスが示されており、これにより座標インターリーブが実現される。全体のプロセスとしては、座標値を分散させ続ける。ｘ｜（ｙ<<１）｜（ｚ<<２）。つまり、各座標値を分散させ、最初にｚ、次にｙ、最後にｘというように順次にインターリーブしていく。復号化プロセスは、集成プロセス（ａｇｇｒｅｇａｔｉｏｎ ｐｒｏｃｅｓｓ）である。
ＲＡＨＴ（Ｒｅｇｉｏｎａｌ Ａｄａｐｔｉｖｅ ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）は、点群データに対して八分木分割を行うことで取得される階層構造（ｈｉｅｒａｒｃｈｉｃａｌ ｓｔｒｕｃｔｕｒｅ）に基づいて実行される。八分木の底層から、階層的に変換を行う。図７は、ＲＡＨＴを示す概略図１である。図７に示されているように、八分木分割が完了した後、ボクセルブロック（ｖｏｘｅｌ ｂｌｏｃｋ）１が取得される（つまり、図７における３つの色深度が交互に並ぶ幾何で、各スクエアが点群における点を表す）。最下層からＲＡＨＴを実行し、例示として、変換順序はＸ－Ｙ－Ｚ順序である。図７に示しているように、まずＸ方向に沿ってＲＡＨＴを行う。Ｘ方向に隣接するボクセルブロックがあれば、それらに対してＲＡＨＴを行って、隣接する２点の属性値の加重平均（ＤＣ係数）と残差（ＡＣ係数）を取得する。取得されたＤＣ係数は親ノードのボクセルブロック２の属性情報として存在し、次の層でＲＡＨＴが行われる。ＡＣ係数は保持され、最後の符号化に使用される。隣接点がない場合、当該ボクセルブロックの属性値は直接に第２層の親ノードに送信される。第２層では、Ｙ方向に沿ってＲＡＨＴを行う。Ｙ方向に隣接するボクセルブロックがあれば、それらに対してＲＡＨＴを行って、隣接する２点の属性値の加重平均（ＤＣ係数）と残差（ＡＣ係数）を取得する。その後、第３層では、Ｚ方向に沿ってＲＡＨＴを行って、３つの色深度が交互に並ぶ親ノードのボクセルブロック３を、八分木の次の層の子ノードとして取得する。点群全体に親ノードが１つだけになるまで、ｘ、ｙ、及びＺ方向に沿ってＲＡＨＴを繰り返す。
実際に、点群における点をトラバース（ｔｒａｖｅｒｓｅ）するとき、点群の並べ替えられたモートンコードを使用する。即ち、モートンコードを右に１ビットシフトした後の値が等しいかどうかで、２つの子ノードが同じ親ノードの下にあるかどうかを判断することができる。
Figure 0007490685000004
Figure 0007490685000005
Figure 0007490685000006
本発明の実施形態において、ＲＡＨＴの具体的なステップは以下のようである。
（１）点群における点の属性値を第１層のＤＣ係数とし、それらの重みを全部１に設定して、ＲＡＨＴを開始する。
（２）この層において、ＤＣ係数とＡＣ係数を対応するインデックスに基づいて、次の層の親層内の親ノードに書き込む。ＡＣ係数がない場合は、書き込まない。
（３）モートンコードに基づいて並べ替えられた各インデックスに従って、インデックスに対応するＤＣ係数をトラバースする。
（４）すべてのＤＣ係数に対応するモートンコードを右に１ビットシフトする。この場合、各ＤＣ係数のモートンコードは、その親ノードのモートンコードを表す。
（５）図８は、ＲＡＨＴを示す概略図２である。図８に示されているように、２つのＤＣ係数のモートンコードが同じであるかどうかを判断する。同じである場合、それらは同じ親ノードの下にあることを示す。これらに対してＲＡＨＴを行って、取得されたＤＣ係数を次の層の親ノードのＤＣ係数に書き込み、ＡＣ係数を次の層の最後のＤＣ係数に書き込み、２つのＤＣ係数の合計の重みを親ノードのＤＣ係数に割り当てる。それらが異なる場合は、このＤＣ係数とその重みを次の層に直接に書き込む。
(６) ある層にＤＣ係数が１つだけになるまで、(２)～(５)を繰り返す。
（７）最後に、ＤＣ係数を量子化して、この層の属性値のＤＣ係数とＡＣ係数を符号化する。
相応に、復号器のブロック図において、ＲＡＨＴの変換順序は逆ＲＡＨＴに使用される必要がある。
以下、復号化プロセスにおけるＲＡＨＴについて説明する。
復号化プロセスにおけるＲＡＨＴは、符号化プロセスにおけるＲＡＨＴの逆変換である。符号化プロセスと同様に、逆変換を行う前に、まず、点群における各点のモートンコードを計算する。各点のモートンコードＭを取得した後、点群における点を昇順に並べ替え、各点の重みを１に設定する。逆ＲＡＨＴでは、並べ替えられたモートンコードの順序に従って、点群におけるすべての点をトラバースする。
ＲＡＨＴは層ごとに行われるため、底層から点群における隣接点を層ごとに判断し、重みに基づいて属性値に対してＲＡＨＴを行う。逆ＲＡＨＴは最上層から始まり、上から下に向かって行われる。したがって、逆ＲＡＨＴを行う前に、各層の重み情報を取得する必要がある。
逆ＲＡＨＴを行う前に、取得されたモートンコード情報を利用して、符号化側において、最下層から各層でＲＡＨＴを実行し隣接ノードを判断し、各層の重み情報とＡＣ係数の対応する位置を取得することができる。各層でＲＡＨＴが行われるたびに、対応するモートンコードは１ビット左にシフトされる。後で使用するために、重み情報と各層のノードに対応するモートンコード情報をバッファに記録する。
逆ＲＡＨＴでは、最上位の層から各層のモートンコード情報に基づいて、隣接するノードを判断する。取得された重み情報と復号化して取得された属性情報を利用して、逆ＲＡＨＴを行う。図９は、ＲＡＨＴを示す概略図３である。図９に示されているように、逆ＲＡＨＴは、第（ｋ＋１）層から第ｋ層までのプロセスに相当する。隣接するノードが判断されたとき、トラバースされたＤＣ係数とそれに対応するＡＣ係数を用いて、ＲＡＨＴの逆変換を行う。
Figure 0007490685000007
具体的には、点群の属性情報に対して層ごとにＲＡＨＴを実行する場合、各層において、固定した順序にある３軸に沿って各ノードに対してＲＡＨＴを繰り返して実行する。しかしながら、どの点群に対しても同じ固定した順序でＲＡＨＴを行うことは、ＲＡＨＴの変換効率を十分に発揮させない。例えば、現在、Ｇ－ＰＣＣでは、一般的に使用されている固定した順序はＺＹＸであるが、Ｘ－Ｙ－Ｚのような他の可能な変換順序も存在する。点群におけるノードに対して、ＺＹＸ順序を使用してＲＡＨＴを実行することには、変換効率が低いという課題が存在している。それによって、符号化及び復号化の効率が低下する。
上記欠点を克服するために、本発明の実施形態は、点群符号化方法、点群復号化方法、符号器、復号器、及びコンピュータ記憶媒体を提供する。符号化側において、符号器はまず、点群データに対応する変換処理の処理順序を確定し、処理順序に基づいてＲＡＨＴを実行しながら処理順序をビットストリームに書き込み、復号器に送信することができる。復号化側において、復号器はビットストリームを解析して、点群データに対応する変換処理の処理順序を取得して、その処理順序に基づいてＲＡＨＴを実行する。このように、本発明に係る点群符号化方法及び点群復号化方法では、すべての点群データ又は一部の点群データに対して、ＲＡＨＴを行うには固定した順序を使用せず、ビットストリームにおけるシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を用いて処理順序を示す。これにより、符号化及び復号化プロセスにおける座標処理順序を適応的に変更し、さらにＲＡＨＴの変換効率を十分に発揮させることができ、変換効率が低いという課題を解決し、符号化及び復号化の効率を大幅に向上させることができる。
本発明において、本発明の実施形態における点群符号化方法は、図１に示されているようなＲＡＨＴに適用されることができる。相応に、本発明の実施形態における点群復号化方法は、図２に示されているようなＲＡＨＴに適用されることができる。つまり、本発明の実施形態における点群符号化方法及び点群復号化方法は、ビデオ符号化システムに適用されることができ、ビデオ復号化システムに適用されることもでき、さらに同時にビデオ符号化システムとビデオ復号化システムとの両方に適用可能である。本発明の実施形態では、特に限定されない。
以下、本発明の実施形態における図面を参照しながら、本発明の実施形態における技術方案を明確且つ完全に説明する。
本発明の一つの実施形態において、点群符号化方法が提供される。図１０は、点群符号化の実現プロセスを示す概略図１である。図１０に示されているように、本発明の実施形態において、符号器が点群データを符号化する方法は、以下のステップを含む。
ステップ１０１、点群符号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示す。点群データは点群におけるすべてのデータ又は一部のデータである。
本発明の実施形態において、符号器はまず、点群符号化プロセスにおける点群データの処理順序を確定することができる。点群データは点群におけるすべてのデータ又は一部のデータである。処理順序は点群データの３次元座標の座標軸処理順序を示すために用いられることができる。
本発明の実施形態において、点群データは点群におけるすべてのデータであることができる。相応に、点群データの処理順序を確定することは、点群におけるすべてのデータの処理順序を確定することである。言い換えれば、本発明では、点群における各点に対して、符号器は同じ処理順序で変換処理を行うことができる。
さらに、本発明の実施形態において、符号器は点群を分割することにより、点群に対応する複数のスライスを取得することができる。したがって、点群データは点群における一部のデータであることもできる。即ち、点群データは点群における任意の一つのスライスのデータであることができる。相応に、点群データの処理順序を確定することは、点群における任意の一つのスライスのデータの処理順序を確定することである。即ち、本発明では、点群における同じスライスの各点に対して、符号器は同じ処理順序を用いて変換処理を行うことができる。
本発明の実施形態において、処理順序はＲＡＨＴを行うときに使用される変換順序である。点群における各点はいずれも、Ｘ、Ｙ、Ｚの３次元の点群データであるため、処理順序は、Ｘ、Ｙ、Ｚの３つの座標軸で変換が順次に行われる順序を示す。
例示的に、本発明の実施形態において、点群の属性情報に対して層ごとにＲＡＨＴを実行する場合、各層において処理順序に基づいて、３軸に沿って各ノードに対してＲＡＨＴを繰り返して実行する。例えば、処理順序がＸ－Ｙ－Ｚ順序である場合、符号器は点群におけるノードに対して、まずＸ軸で、次にＹ軸で、最後にＺ軸でＲＡＨＴを実行することができる。処理順序がＹ－Ｚ－Ｘ順序である場合、符号器は点群におけるノードに対して、まずＹ軸で、次にＺ軸で、最後にＸ軸でＲＡＨＴを実行することができる。
本発明の実施形態において、点群における各点はいずれも、Ｘ、Ｙ、Ｚの３次元の点群データであるため、符号器がＲＡＨＴを実行する順序は、６つの異なる組み合わせを含むことができる。即ち、処理順序は６つの異なる変換順序を含むことができる。
さらに、本発明の実施形態において、点群データの処理順序は、Ｚ－Ｙ－Ｘ順序、Ｘ－Ｙ－Ｚ順序、Ｘ－Ｚ－Ｙ順序、Ｙ－Ｚ－Ｘ順序、Ｚ－Ｘ－Ｙ順序、及びＹ－Ｘ－Ｚ順序のうちのいずれかであることができる。Ｘ、Ｙ、Ｚは、点群データの３次元座標の座標軸である。
本発明の実施形態において、符号器が点群符号化プロセスにおける点群データの処理順序を確定するとき、符号器は点群データにおけるノードのモートンコードに基づいて処理順序を確定することができることに留意すべきである。
具体的には、本発明の実施形態において、符号器はまず点群データにおける各ノードのモートンコードを算出して、次に、モートンコードの昇順に従って、点群データにおけるノードを並べ替え、最後に、並べ替えられた順序で点群データにおける各ノードをトラバースすることができる。
ステップ１０２、処理順序に対応する座標軸順序インデックスを確定する。
本発明の実施形態において、点群符号化プロセスにおける点群データの処理順序を確定した後、符号器はさらに、処理順序に対応する座標軸順序インデックス（即ち、インデックス番号）を確定することができる。
異なる処理順序に対して、符号器は異なる座標軸順序インデックスを設定することができる。相応に、処理順序が６つの異なる変換順序のうちのいずれかであることができるため、座標軸順序インデックスは６つの異なる値を含むことができる。
さらに、本発明の実施形態において、符号器が処理順序に対応する座標軸順序インデックスを確定するとき、符号器は予め設定されたインデックスと処理順序との対応表に基づいて、処理順序に対応する座標軸順序インデックスの値を設定することができる。
具体的には、本発明において、表１は予め設定されたインデックスと処理順序との対応表１である。表１に示されているように、異なる処理順序に対して、予め設定されたインデックスと処理順序との対応表を照合することにより、対応する座標軸順序インデックスを確定することができる。
Figure 0007490685000008
上記の表１から、本発明において、処理順序と座標軸順序インデックスは１対１で対応していないことが分かる。ＲＡＨＴの６つの変換順序のうち、Ｚ－Ｙ－Ｘ順序は、２つの異なる座標軸順序インデックスに対応する。具体的には、Ｚ－Ｙ－Ｘ順序はそれぞれインデックス０とインデックス４に対応する。また、Ｘ－Ｙ－Ｚ順序は、２つの異なる座標軸順序インデックスに対応する。具体的には、Ｘ－Ｙ－Ｚ順序は、それぞれインデックス１とインデックス７に対応する。Ｚ－Ｙ－Ｘ順序とＸ－Ｙ－Ｚ順序以外の４つのＲＡＨＴ順序は、それぞれ唯一の座標軸順序インデックスに対応する。Ｘ－Ｚ－Ｙ順序はインデックス２に対応し、Ｙ－Ｚ－Ｘ順序はインデックス３に対応し、Ｚ－Ｘ－Ｙ順序はインデックス５に対応し、Ｙ－Ｘ－Ｚ順序はインデックス６に対応する。
例示的に、本発明において、符号器が予め設定されたインデックスと処理順序との対応表に基づいて、処理順序に対応する座標軸順序インデックスの値を設定するとき、点群データの処理順序がＺ－Ｙ－Ｘ順序であれば、符号器は座標軸順序インデックスの値を０又は４に設定することができる。点群データの処理順序がＸ－Ｙ－Ｚ順序であれば、符号器は座標軸順序インデックスの値を１又は７に設定することができる。点群データの処理順序がＸ－Ｚ－Ｙ順序であれば、符号器は座標軸順序インデックスの値を２に設定することができる。点群データの処理順序がＹ－Ｚ－Ｘ順序であれば、符号器は座標軸順序インデックスの値を３に設定することができる。点群データの処理順序がＺ－Ｘ－Ｙ順序であれば、符号器は座標軸順序インデックスの値を５に設定することができる。点群データの処理順序がＹ－Ｘ－Ｚ順序であれば、符号器は座標軸順序インデックスの値を６に設定することができる。
本発明において、Ｇ－ＰＣＣにはＸ、Ｙ、Ｚ座標軸の具体的な概念がないことに留意すべきである。一般的には、Ｘ、Ｙ、Ｚ座標軸に基づいて、０、１、２で座標軸処理順序を表すことができる。例えば、処理順序がＸ－Ｙ－Ｚ順序であれば、０－１－２で示すことができる。
上記表１に基づいて、表２は予め設定されたインデックスと処理順序との対応表２である。表２に示されているように、異なる処理順序に対して、予め設定されたインデックスと処理順序との対応表を照合することにより、対応する座標軸順序インデックスを確定することができる。
Figure 0007490685000009
例示的に、本発明において、符号器が予め設定されたインデックスと処理順序との対応表に基づいて、処理順序に対応する座標軸順序インデックスの値を設定するとき、点群データの処理順序がＺ－Ｙ－Ｘ順序である場合、即ち２－１－０で処理順序を示す場合、符号器は座標軸順序インデックスの値を０又は４に設定することができる。また、点群データの処理順序がＸ－Ｙ－Ｚ順序である場合、即ち０－１－２で処理順序を示す場合、符号器は座標軸順序インデックスの値を１又は７に設定することができる。また、点群データの処理順序がＸ－Ｚ－Ｙ順序である場合、即ち０－２－１で処理順序を示す場合、符号器は座標軸順序インデックスの値を２に設定することができる。点群データの処理順序がＹ－Ｚ－Ｘ順序である場合、即ち２－０－１で処理順序を示す場合、符号器は座標軸順序インデックスの値を３に設定することができる。点群データの処理順序がＺ－Ｘ－Ｙ順序である場合、即ち１－２－０で処理順序を示す場合、符号器は座標軸順序インデックスの値を５に設定することができる。また、点群データの処理順序がＹ－Ｘ－Ｚ順序である場合、即ち１－０－２で処理順序を示す場合、符号器は座標軸順序インデックスの値を６に設定することができる。
本発明において、座標軸順序インデックスは、シンタックスaxis_coding_orderで表されることができる。即ち、シンタックスaxis_coding_orderでＸ、Ｙ、Ｚの３つの座標軸の処理順序を指定することができる。具体的には、上記表２に基づいて、Ｇ－ＰＣＣ基準のaxis_coding_orderは、RecPic[pointIdx][axis]バッファにおけるデータを処理するために用いられることができる。例えば、axis_coding_orderの値が０に等しい場合、即ち処理順序がＺ－Ｙ－Ｘである場合、axisの値が０に等しければ、RecPic[pointIdx][0]にはＺ軸のデータが格納され、axisの値が１に等しければ、RecPic[pointIdx][1]にはＹ軸のデータが格納され、axisの値が２に等しければ、RecPic[pointIdx][2]にはＸ軸のデータが格納されることになる。
ステップ１０３、座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込む。
本発明の実施形態において、処理順序に対応する座標軸順序インデックスを確定した後、符号器はさらに、座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込むことができる。
さらに、本発明の実施形態において、符号器が座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込むとき、符号器はまず固定長符号化を用いて座標軸順序インデックスを符号化し、符号化ビットを確定して、その後、符号化ビットをビットストリームに書き込むことができる。
本発明において、固定長符号化とは、情報源の統計的特性を利用せず、情報源の出力記号列の任意の値（確率は異なるかもしれない）を、同じ長さの出力符号語に符号化することを意味する。固定長符号化を用いて座標軸順序インデックスを符号化した後、符号器は同じ長さの固定長符号を取得する。
さらに、本発明の実施形態において、符号器が座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込むとき、符号器は符号化ビットをパラメータセットのデータユニットに対応するビットストリームに書き込むことができる。パラメータセットのデータユニットは、点群データの復号化に使用されるパラメータを含む。
本発明の実施形態において、パラメータセットはシーケンス層のパラメータセット（ｓｅｑｕｅｎｃｅ－ｌａｙｅｒ ｐａｒａｍｅｔｅｒ ｓｅｔ）であることができる。
さらに、本発明の実施形態において、パラメータセットはシーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）であることができる。
本発明の実施形態において、パラメータセットのデータユニットは、点群データの属性情報を含むことができる。属性情報は、点群データにおける点に関連したスカラー属性又はベクトル属性である。
本発明の実施形態において、パラメータセットのデータユニットはさらに、点群データの幾何情報を含むことができる。幾何情報は、点群データにおける点に関連したデカルト座標（Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅ）である。
さらに、本発明の実施形態において、符号器が座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込むとき、符号器は符号化ビットを、ビットストリームの補助情報が位置するデータユニットに書き込むことができる。
例示的に、本発明の実施形態において、補助情報はビデオユーザビリティ情報（ｖｉｄｅｏ ｕｓａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）であることができる。
ビデオユーザビリティ情報は、ユーザがより広い範囲で適用されるように、対応するビットストリームに追加情報を提供する。例えば、ビットストリーム制約情報において、ビデオユーザビリティ情報は以下の内容を規定する。（１）動きがピクチャの境界を越えているかどうか、（２）各ピクチャの最大バイト数、（３）各マクロブロック（ｍａｃｒｏ ｂｌｏｃｋ）の最大ビット数、（４）最大動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）（水平と垂直）の長さ、（５）並べ替え直したフレームの数、（６）最大復号化フレームバッファのサイズ。復号器が当該情報を見た場合、復号器は、復号化要求（一般的にビットストリームの実際の要求より高い）を設定するには「レベル」（ｌｅｖｅｌ）情報を使用せず、より厳しい制限に基づいて復号化操作をカスタマイズ（ｃｕｓｔｏｍｉｚｅ）することができる。
例示的に、本発明の実施形態において、補助情報は補足拡張情報（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）であることができる。ＳＥＩはビットストリームのカテゴリに属する概念であり、ビデオビットストリームに情報を追加する方法を提供し、Ｈ．２６４／Ｈ．２６５ビデオ圧縮基準（ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ ｓｔａｎｄａｒｄ）の特徴の１つである。
ＳＥＩは、復号化プロセスに必要なオプションではなく、復号化プロセス（エラー許容、エラー訂正）に役立つ可能性があり、ビデオビットストリームに統合されることができる。即ち、符号器がビデオビットストリームを出力するとき、ＳＥＩを提供しなくてもよい。又は、ビデオ伝送プロセス、デカプセル化（ｄｅ－ｃａｐｓｕｌａｔｉｏｎ）、復号化プロセスにおいて、何らかの理由でＳＥＩを廃棄する場合がある。
本発明の実施形態において、符号器が座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込むとき、符号器は符号化ビットを、点群データに対応する点群符号化データ（ｐｏｉｎｔ ｃｌｏｕｄ ｅｎｃｏｄｉｎｇ ｄａｔａ）を含む送信ストリーム（ｔｒａｎｓｍｉｓｓｉｏｎ ｓｔｒｅａｍ）に書き込むことができる。即ち、ビットストリームは、点群符号化データを含む送信ストリームであることができる。
さらに、本発明の実施形態において、符号器が座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込むとき、符号器は符号化ビットを、点群データに対応する点群符号化データを含むメディアファイルに書き込むことができる。即ち、ビットストリームは、点群符号化データを含むメディアファイルであることができる。
換言すると、本発明において、座標軸順序インデックスaxis_coding_orderは、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＳＰＳ）の補助情報（例えば、ＶＵＩ）において符号化されることができ、点群データの他の補助情報（例えば、ＳＥＩ）のデータユニットにおいて符号化されることができ、さらに、送信ストリームやファイルのフォーマットで補助情報のユニットにおいて符号化されることができる。
ステップ１０４、処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得する。
本発明の実施形態において、点群符号化プロセスにおける点群データの処理順序を確定した後、つまりステップ１０１の後、符号器は処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得することができる。
本発明の実施形態において、処理順序は点群の属性情報に対してＲＡＨＴを実行するときの変換順序である。したがって、符号器は処理順序を確定した後、その処理順序を使用して点群データに対してＲＡＨＴを実行し、対応の符号化しようとする点群データを取得することができる。
本発明の実施形態において、点群データは点群におけるすべてのデータであることができるため、処理順序は点群におけるすべてのデータの変換順序であってもよい。さらに、処理順序を確定した後、符号器は処理順序に基づいて、点群における各点に対してＲＡＨＴを順次実行することができる。
さらに、本発明の実施形態において、点群データは点群における一部のデータであることもできる。即ち、点群データは点群における任意の一つのスライスのデータであることができる。そのため、処理順序は点群における一部のデータの変換順序であってもよい。さらに、点群におけるあるスライスに対応する処理順序を確定した後、符号器は処理順序に基づいて、当該スライスにおける各点に対してＲＡＨＴを順次実行することができる。
換言すると、本発明において、処理順序が点群におけるすべてのデータの変換順序である場合、符号器は同じ変換順序を使用して、点群におけるすべてのデータに対してＲＡＨＴを実行することができる。また、処理順序が点群における一部のデータの変換順序である場合、符号器は同じ変換順序を使用して、点群における一部のデータに対してＲＡＨＴを実行することができる。例えば、分割後の一つのスライスにおけるデータに対して、同じ変換順序を使用してＲＡＨＴを実行することができる。
さらに、本発明の実施形態において、符号器が処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得するとき、符号器はまず、処理順序に基づいて点群データに対して座標マッピングを行うことができる。
具体的には、本発明の実施形態において、符号器が処理順序に基づいて点群データに対して座標マッピングを行うとき、符号器は処理順序に基づいて点群データの座標を再配列することができる。
さらに、本発明の実施形態において、符号器が処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得するとき、符号器は処理順序に基づいて、点群データを対応する座標軸方向に順次処理することができる。
本発明において、ＲＡＨＴの実行プロセスは以下のようである。最初に１つの座標方向に変換し、次に別の座標方向に変換し、最後に３つ目の座標方向に変換する。
本出願の実施形態において、符号器が処理順序に基づいて、点群データを対応する座標軸方向に順次処理するとき、符号器は処理順序に基づいて、点群データに対してＲＡＨＴを対応する座標軸方向に順次実行することができる。
さらに、本発明の実施形態において、符号器が処理順序に基づいて、点群データに対してＲＡＨＴを対応する座標軸方向に順次実行するとき、符号器はまず点群データにおけるノードのモートンコードを確定して、次に、処理順序及びモートンコードに基づいて、点群データに対してＲＡＨＴを実行することができる。
さらに、本発明の実施形態において、符号器が処理順序及びモートンコードに基づいて、点群データに対してＲＡＨＴを実行するとき、符号器はまず処理順序と予め設定された順序が同じであるかどうかを確定することができる。
本発明の実施形態において、予め設定された順序は、符号器によって予め記憶されたデフォルト（ｄｅｆａｕｌｔ）の変換順序であってもよい。例えば、符号器はＺ－Ｙ－Ｘ順序を、予め設定された順序として設定することができる。
さらに、本発明の実施形態において、符号器は処理順序と予め設定された順序とを比較することができる。処理順序と予め設定された順序が同じである場合、符号器は直接に予め設定された順序とモートンコードに基づいて、点群データに対してＲＡＨＴを実行する。処理順序と予め設定された順序が異なる場合、符号器は処理順序とモートンコードに基づいて、点群データに対してＲＡＨＴを実行する。
本発明の実施形態において、図１１は、点群符号化の実現プロセスを示す概略図２である。図１１に示されているように、符号器が点群符号化プロセスにおける点群データの処理順序を確定した後、即ちステップ１０１の後、且つ符号器が処理順序に対応する座標軸順序インデックスを確定する前、即ちステップ１０２の前に、符号器が点群データを符号化する方法は、以下のステップをさらに含む。
ステップ１０６、処理順序に基づいて順序指示パラメータ（ｏｒｄｅｒ ｉｎｄｉｃａｔｉｏｎ ｐａｒａｍｅｔｅｒ）を確定する。順序指示パラメータは、予め設定された順序を使用するかどうかを示すために用いられる。
ステップ１０７、順序指示パラメータを符号化し、符号化ビットをビットストリームに書き込む。
点群データの処理順序を確定した後、符号器はまず処理順序に基づいて順序指示パラメータを設定し、次に、順序指示パラメータを符号化して、符号化ビットをビットストリームに書き込むことができる。
本発明の実施形態において、順序指示パラメータは、予め設定された順序を使用するかどうかを指示するために用いられることができる。即ち、符号器が予め設定された順序を使用して変換を行う場合、順序指示パラメータは、予め設定された順序を使用することを示すと設定されることができる。符号器が予め設定された順序を使用せず変換を行う場合、順序指示パラメータは、予め設定された順序を使用しないことを示すと設定されることができる。
さらに、本発明の実施形態において、符号器が処理順序に基づいて順序指示パラメータを確定するとき、処理順序と予め設定された順序が異なる場合、符号器は処理順序に基づいて点群データを変換する必要がある。そのため、順序指示パラメータの値は、予め設定された順序を使用しないことを示すと設定されることができる。処理順序と予め設定された順序が同じである場合、符号器は予め設定された順序に基づいて点群データを変換することができる。そのため、順序指示パラメータの値は、予め設定された順序を使用することを示すと設定することができる。
例示的に、本発明において、順序指示パラメータを設定するとき、符号器は順序指示パラメータの値を０に設定することができる。これによって、予め設定された順序を使用しないことを示す。又は、符号器は順序指示パラメータの値を１に設定することができる。これによって、予め設定された順序を使用することを示す。
本発明において、シンタックスattr_raht_order_default_flagで順序指示パラメータを示すことができる。具体的には、attr_raht_order_default_flagの値が１に等しい場合、予め設定された順序を使用することを示す。attr_raht_order_default_flagの値が０に等しい場合、予め設定された順序を使用しないことを示す。
ステップ１０５、符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込む。
本発明の実施形態において、符号器は処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得した後、符号化しようとする点群データを符号化して、符号化ビットをビットストリームに書き込むことができる。
上記ステップ１０１からステップ１０７までに係る点群符号化方法によれば、符号器は既存技術で提案されたように、固定した変換順序で点群データに対してＲＡＨＴを実行するというのではない。例えば、すべての点群データに対してＸ－Ｙ－Ｚ順序でＲＡＨＴを実行する。その代わり、点群データを符号化するプロセスにおいて、変換の前に点群データに対応する処理順序を確定し、その後、処理順序を使用してＲＡＨＴを実行する。
本発明において、Ｘ、Ｙ、Ｚの３つの座標の処理順序の角度から見ると、現在、Ｇ－ＰＣＣでは、符号器は固定した順序で変換を行う。これに対して、本発明で提案された点群符号化方法では、Ｇ－ＰＣＣにおける３つの座標に対する符号器の処理順序を適応的に変更することができるため、符号化の効率を向上させることができる。
なお、本発明において、処理順序の柔軟性をシーケンス層に限定し、点群全体で同じ座標処理順序を使用することができる。即ち、点群における分割（例えば、スライス）はすべて同じ座標処理順序を使用することができる。
本発明において、符号化側は点群データを符号化する前に、点群データを前処理することができる。具体的には、符号器は点群データのＸ、Ｙ、Ｚ座標軸をリセットし、処理順序を再確定することができる。その後、符号器は前処理された点群データを符号化し、表示の角度から、シーケンス層で前処理の方式を示す。即ち、処理順序に対応する座標軸順序インデックスを符号化した後、符号化ビットをビットストリームに書き込む。したがって、ビットストリームが復号化側に伝送された後、復号器はビットストリームを復号化して復号化点群を取得して、シーケンス層で示される前処理の方式に基づいて点群に対して後処理を行う。即ち、復号化側は解析によって座標軸順序インデックスを取得し、座標軸順序インデックスが示す処理順序を確定することにより、点群データのＸ、Ｙ、Ｚの座標軸を適応的に設定することができる。
本発明の実施形態は点群符号化方法を提供する。符号器は点群符号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。符号器は、処理順序に対応する座標軸順序インデックスを確定する。符号器は座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込む。符号器は処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得する。符号器は符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込む。即ち、本発明の実施形態において、符号化側では、符号器はまず点群データに対応する変換処理の処理順序を確定し、処理順序に基づいてＲＡＨＴを実行しながら、処理順序をビットストリームに書き込み、復号器に送信することができる。復号化側では、復号器はビットストリームを解析して、点群データに対応する変換処理の処理順序を取得し、その処理順序に基づいてＲＡＨＴを実行することができる。このように、本発明に係る点群符号化方法及び点群復号化方法では、すべての点群データ又は一部の点群データに対して、ＲＡＨＴを行うには固定した順序を使用せず、ビットストリームにおけるシンタックス要素を用いて処理順序を示す。これにより、符号化及び復号化プロセスにおける座標処理順序を適応的に変更し、さらにＲＡＨＴの変換効率を十分に発揮させることができ、変換効率が低いという課題を解決し、符号化及び復号化の効率を大幅に向上させることができる。
上記実施形態に基づいて、本発明の別の実施形態において、点群復号化方法が提供される。図１２は、点群復号化の実現プロセスを示す概略図１である。図１２に示されているように、本発明の実施形態において、復号器が点群データを復号化する方法は、以下のステップを含む。
ステップ２０１、ビットストリームを解析して座標軸順序インデックスを取得する。
本発明の実施形態において、復号器はビットストリームを解析して点群データの座標軸順序インデックスを取得することができる。
本発明の実施形態において、復号器がビットストリームを解析して取得した座標軸順序インデックスは、処理順序を示すために用いられることができる。
具体的には、本発明において、処理順序が６つの異なる変換順序のうちのいずれかであることができるため、復号器が解析によって取得した座標軸順序インデックスも６つの異なる値を含むことができる。
本発明において、座標軸順序インデックスは、シンタックスaxis_coding_orderで表されることができる。即ち、シンタックスaxis_coding_orderでＸ、Ｙ、Ｚの３つの座標軸の処理順序を指定することができる。具体的には、上記表２に基づいて、Ｇ－ＰＣＣ基準のaxis_coding_orderは、RecPic[pointIdx][axis]バッファにおけるデータを処理するために用いられることができる。例えば、axis_coding_orderの値が０に等しい場合、即ち処理順序がＺ－Ｙ－Ｘである場合、axisの値が０に等しければ、RecPic[pointIdx][0]にはＺ軸のデータが格納され、axisの値が１に等しければ、RecPic[pointIdx][1]にはＹ軸のデータが格納され、axisの値が２に等しければ、RecPic[pointIdx][2]にはＸ軸のデータが格納されることになる。
例示的に、Ｇ－ＰＣＣ基準テキストでは、座標軸順序インデックスに対応するシンタックスの部分は、以下の表３に示されるようであることができる。
Figure 0007490685000010
さらに、本発明の実施形態において、復号器がビットストリームを解析して座標軸順序インデックスを取得するとき、復号器は固定長符号を解析して座標軸順序インデックスを取得することができる。
本発明において、固定長符号は、固定長符号化を用いて符号化した後に取得された同じ長さの出力符号語である。言い換えれば、符号器は固定長符号化を用いて座標軸順序インデックスを符号化した後、同じ長さの固定長符号を取得する。
さらに、本発明の実施形態において、復号器がビットストリームを解析して座標軸順序インデックスを取得するとき、復号器は、ビットストリームにおけるパラメータセットのデータユニットに対応するビットストリームを解析することができる。パラメータセットのデータユニットは、点群データの復号化に使用されるパラメータを含む。
本発明の実施形態において、パラメータセットはシーケンス層のパラメータセットであることができる。
さらに、本発明の実施形態において、パラメータセットはシーケンスパラメータセットであることができる。
本発明の実施形態において、パラメータセットのデータユニットは、点群データの属性情報を含むことができる。属性情報は、点群データにおける点に関連したスカラー属性又はベクトル属性である。
本発明の実施形態において、パラメータセットのデータユニットはさらに、点群データの幾何情報を含むことができる。幾何情報は、点群データにおける点に関連したデカルト座標である。
さらに、本発明の実施形態において、復号器がビットストリームを解析して座標軸順序インデックスを取得するとき、復号器はビットストリームを受信した後、ビットストリームの補助情報が位置するデータユニットを解析して、座標軸順序インデックスを取得することができる。
例示的に、本発明の実施形態において、補助情報はビデオユーザビリティ情報（ＶＵＩ）であることができる。
例示的に、本発明の実施形態において、補助情報は補足拡張情報（ＳＥＩ）であることができる。
本発明の実施形態において、復号器がビットストリームを解析して座標軸順序インデックスを取得するとき、解析されたビットストリームは、点群データに対応する点群符号化データを含む送信ストリームであることができる。即ち、ビットストリームは、点群符号化データを含む送信ストリームであることができる。
さらに、本発明の実施形態において、復号器がビットストリームを解析して座標軸順序インデックスを取得するとき、解析されたビットストリームは、点群データに対応する点群符号化データを含むメディアファイルであることができる。即ち、ビットストリームは、点群符号化データを含むメディアファイルであることができる。
換言すると、本発明において、座標軸順序インデックスaxis_coding_orderは、ＳＰＳの補助情報（例えば、ＶＵＩ）において符号化されることができ、点群データの他の補助情報（例えば、ＳＥＩ）のデータユニットにおいて符号化されることができ、さらに、送信ストリームやファイルのフォーマットで補助情報のユニットにおいて符号化されることができる。
ステップ２０２、座標軸順序インデックスに基づいて、点群復号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示す。点群データは点群におけるすべてのデータ又は一部のデータである。
本発明の実施形態において、復号器はビットストリームを解析して座標軸順序インデックスを取得した後、座標軸順序インデックスに基づいて、点群復号化プロセスにおける点群データの処理順序を確定することができる。
本発明において、処理順序は、点群データの３次元座標の座標軸処理順序を示す。点群データは点群におけるすべてのデータ又は一部のデータである。
さらに、本発明の実施形態において、処理順序は、点群データの３次元座標の座標軸処理順序を示すために用いられることができる。
本発明の実施形態において、点群データは点群におけるすべてのデータであることができる。相応に、復号器が座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定することは、点群におけるすべてのデータの処理順序を確定することである。言い換えれば、本発明では、点群における各点に対して、復号器は同じ処理順序で変換処理を行うことができる。
さらに、本発明の実施形態において、符号器は点群を分割することにより、点群に対応する複数のスライスを取得することができる。したがって、点群データは点群における一部のデータであることもできる。即ち、点群データは点群における任意の一つのスライスのデータであることができる。相応に、復号器が座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定することは、点群における任意の一つのスライスのデータの処理順序を確定することである。即ち、本発明では、点群における同じスライスの各点に対して、復号器は同じ処理順序を用いて変換処理を行うことができる。
本発明の実施形態において、処理順序はＲＡＨＴを行うときに使用される変換順序である。点群における各点はいずれも、Ｘ、Ｙ、Ｚの３次元の点群データであるため、処理順序は、Ｘ、Ｙ、Ｚの３つの座標軸で変換が順次に行われる順序を示す。
例示的に、本発明の実施形態において、点群の属性情報に対して層ごとにＲＡＨＴを実行する場合、各層において処理順序に基づいて、３軸に沿って各ノードに対してＲＡＨＴを繰り返して実行する。例えば、処理順序がＸ－Ｙ－Ｚ順序である場合、復号器は点群におけるノードに対して、まずＸ軸で、次にＹ軸で、最後にＺ軸でＲＡＨＴを実行することができる。処理順序がＹ－Ｚ－Ｘ順序である場合、復号器は点群におけるノードに対して、まずＹ軸で、次にＺ軸で、最後にＸ軸でＲＡＨＴを実行することができる。
本発明の実施形態において、点群における各点はいずれも、Ｘ、Ｙ、Ｚの３次元の点群データであるため、復号器がＲＡＨＴを実行する順序は、６つの異なる組み合わせを含むことができる。即ち、処理順序は６つの異なる変換順序を含むことができる。
異なる処理順序に対して、復号器は異なる座標軸順序インデックスを設定することができる。相応に、処理順序が６つの異なる変換順序のうちのいずれかであることができるため、座標軸順序インデックスは６つの異なる値を含むことができる。
本発明において、点群データの処理順序は、Ｚ－Ｙ－Ｘ順序、Ｘ－Ｙ－Ｚ順序、Ｘ－Ｚ－Ｙ順序、Ｙ－Ｚ－Ｘ順序、Ｚ－Ｘ－Ｙ順序、及びＹ－Ｘ－Ｚ順序のうちのいずれかであることができる。Ｘ、Ｙ、Ｚは、点群データの３次元座標の座標軸である。
さらに、本発明の実施形態において、復号器が座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定するとき、復号器は予め設定されたインデックスと処理順序との対応表に基づいて、座標軸順序インデックスに対応する処理順序を確定することができる。
具体的には、本発明において、上記表１は予め設定されたインデックスと処理順序との対応表１である。表１に示されているように、異なる処理順序に対して、予め設定されたインデックスと処理順序との対応表を照合することにより、対応する座標軸順序インデックスを確定することができる。
例示的に、本発明において、復号器が座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定するとき、座標軸順序インデックスの値が０又は４であれば、復号器は対応する点群データの処理順序がＺ－Ｙ－Ｘ順序であると確定することができる。座標軸順序インデックスの値が１又は７であれば、復号器は対応する点群データの処理順序がＸ－Ｙ－Ｚ順序であると確定することができる。座標軸順序インデックスの値が２であれば、復号器は対応する点群データの処理順序がＸ－Ｚ－Ｙ順序であると確定することができる。座標軸順序インデックスの値が３であれば、復号器は対応する点群データの処理順序がＹ－Ｚ－Ｘ順序であると確定することができる。座標軸順序インデックスの値が５であれば、復号器は対応する点群データの処理順序がＺ－Ｘ－Ｙ順序であると確定することができる。座標軸順序インデックスの値が６であれば、復号器は対応する点群データの処理順序がＹ－Ｘ－Ｚ順序であると確定することができる。
本発明において、Ｇ－ＰＣＣにはＸ、Ｙ、Ｚ座標軸の具体的な概念がないことに留意すべきである。一般的には、Ｘ、Ｙ、Ｚ座標軸に基づいて、０、１、２で座標軸処理順序を表すことができる。例えば、処理順序がＸ－Ｙ－Ｚ順序であれば、０－１－２で示すことができる。
上記表１に基づいて、表２は予め設定されたインデックスと処理順序との対応表２である。表２に示されているように、異なる処理順序に対して、予め設定されたインデックスと処理順序との対応表を照合することにより、対応する座標軸順序インデックスを確定することができる。
例示的に、本発明において、復号器が座標軸順序インデックスに基づいて、点群復号化プロセスにおける点群データの処理順序を確定するとき、座標軸順序インデックスの値が０又は４である場合、即ち２－１－０で処理順序を示す場合、復号器は対応する点群データの処理順序がＺ－Ｙ－Ｘ順序であると確定することができる。座標軸順序インデックスの値が１又は７である場合、即ち０－１－２で処理順序を示す場合、復号器は対応する点群データの処理順序がＸ－Ｙ－Ｚ順序であると確定することができる。座標軸順序インデックスの値が２である場合、即ち０－２－１で処理順序を示す場合、復号器は対応する点群データの処理順序がＸ－Ｚ－Ｙ順序であると確定することができる。座標軸順序インデックスの値が３である場合、即ち２－０－１で処理順序を示す場合、復号器は対応する点群データの処理順序がＹ－Ｚ－Ｘ順序であると確定することができる。座標軸順序インデックスの値が５である場合、即ち１－２－０で処理順序を示す場合、復号器は対応する点群データの処理順序がＺ－Ｘ－Ｙ順序であると確定することができる。また、座標軸順序インデックスの値が６である場合、即ち１－０－２で処理順序を示す場合、復号器は対応する点群データの処理順序がＹ－Ｘ－Ｚ順序であると確定することができる。
本発明において、座標軸順序インデックスは、シンタックスaxis_coding_orderで表されることができる。即ち、シンタックスaxis_coding_orderでＸ、Ｙ、Ｚの３つの座標軸の処理順序を指定することができる。具体的には、上記表２に基づいて、Ｇ－ＰＣＣ基準のaxis_coding_orderは、RecPic[pointIdx][axis]バッファにおけるデータを処理するために用いられることができる。例えば、axis_coding_orderの値が０に等しい場合、即ち処理順序がＺ－Ｙ－Ｘである場合、axisの値が０に等しければ、RecPic[pointIdx][0]にはＺ軸のデータが格納され、axisの値が１に等しければ、RecPic[pointIdx][1]にはＹ軸のデータが格納され、axisの値が２に等しければ、RecPic[pointIdx][2]にはＸ軸のデータが格納されることになる。
ステップ２０３、ビットストリームを解析して、点群データの復元データ（ｒｅｃｏｖｅｒｅｄ ｄａｔａ）を取得する。
本発明の実施形態において、復号器はさらに、ビットストリームを解析して点群データの復元データを取得することができる。
ステップ２０４、処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定する。
本発明の実施形態において、復号器は座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定し、且つビットストリームを解析して点群データの復元データを取得した後、処理順序に基づいて復元データの記憶ユニットにおける点群データの座標データの位置を確定することができる。
換言すると、本発明において、処理順序は、ビットストリームを解析して取得された復元データに対してＲＡＨＴの逆変換（即ち、逆ＲＡＨＴ）を行った後に、復号器が順次出力するデータに対応する座標軸を示す。
さらに、本発明の実施形態において、復号器が処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定するとき、復元データの記憶ユニットにおいて、点群データにおける点について、復号器は処理順序によって示される座標軸順序に基づいて、点の座標データを取得することができる。
本発明において、ＲＡＨＴを実行するとき、ＲＡＨＴの処理順序に基づいて、先に取得されたデータを先にデータ記憶ユニットに書き込み、後に取得されたデータが後にデータ記憶ユニットに書き込む。即ち、データの書き込む順序は座標軸順序に対応する。
具体的には、本発明の実施形態において、復号器が処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定するとき、復号器は処理順序に基づいて、点群データに対してＲＡＨＴを対応する座標軸方向に順次実行することができる。
本発明において、ＲＡＨＴの実行プロセスは以下のようである。最初に１つの座標方向に変換し、次に別の座標方向に変換し、最後に３つ目の座標方向に変換する。
本発明の実施形態において、復号器が処理順序に基づいて、点群データに対してＲＡＨＴを対応する座標軸方向に順次実行するとき、復号器はまずビットストリームを解析して点群データにおけるノードのモートンコードを確定して、次に、処理順序及びモートンコードに基づいて、点群データに対してＲＡＨＴを実行することができる。
具体的には、本発明の実施形態において、復号器はまず点群データにおける各ノードのモートンコードを算出して、次に、モートンコードの昇順に従って、点群データにおけるノードを並べ替え、最後に、並べ替えられた順序で点群データにおける各ノードをトラバースすることができる。
本発明の実施形態において、処理順序は、点群の属性情報に対してＲＡＨＴを実行するときの変換順序である。したがって、復号器は処理順序を確定した後、その処理順序を使用して点群データに対してＲＡＨＴを実行することができる。
本発明の実施形態において、点群データは点群におけるすべてのデータであることができるため、処理順序は点群におけるすべてのデータの変換順序であってもよい。さらに、復号器は処理順序を確定した後、処理順序に基づいて、点群における各点に対してＲＡＨＴを順次実行することができる。
さらに、本発明の実施形態において、点群データは点群における一部のデータであることもできる。即ち、点群データは点群における任意の一つのスライスのデータであることができる。そのため、処理順序は点群における一部のデータの変換順序であってもよい。さらに、復号器は点群におけるあるスライスに対応する処理順序を確定した後、処理順序に基づいて、当該スライスにおける各点に対してＲＡＨＴを順次実行することができる。
換言すると、本発明において、処理順序が点群におけるすべてのデータの変換順序である場合、復号器は同じ変換順序を使用して、点群におけるすべてのデータに対してＲＡＨＴを実行することができる。また、処理順序が点群における一部のデータの変換順序である場合、復号器は同じ変換順序を使用して、点群における一部のデータに対してＲＡＨＴを実行することができる。例えば、分割後の一つのスライスにおけるデータに対して、同じ変換順序を使用してＲＡＨＴを実行することができる。
さらに、本発明の実施形態において、復号器が処理順序及びモートンコードに基づいて、点群データに対してＲＡＨＴを実行するとき、復号器はまず処理順序と予め設定された順序とを比較して、点群データの処理順序と予め設定された順序とが同じであるかどうかを確定することができる。
本発明の実施形態において、予め設定された順序は、復号器によって予め記憶されたデフォルトの変換順序であってもよい。例えば、復号器はＺ－Ｙ－Ｘ順序を、予め設定された順序として設定することができる。
さらに、本発明の実施形態において、復号器が処理順序と予め設定された順序とを比較した後、処理順序と予め設定された順序が同じである場合、復号器は直接に予め設定された順序とモートンコードに基づいて、点群データに対してＲＡＨＴを実行する。処理順序と予め設定された順序が異なる場合、復号器は処理順序とモートンコードに基づいて、点群データに対してＲＡＨＴを実行する。
本発明の実施形態において、図１３は、点群復号化の実現プロセスを示す概略図２である。図１３に示されているように、復号器がビットストリームを解析して座標軸順序インデックスを取得する前に、即ちステップ２０１の前に、復号器が点群データを復号化する方法は、以下のステップをさらに含む。
ステップ２０５、ビットストリームを解析して順序指示パラメータを確定する。順序指示パラメータは、予め設定された順序を使用するかどうかを示すために用いられる。
ステップ２０６、順序指示パラメータの値が予め設定された順序を使用しないことを示す場合、処理順序と予め設定された順序が異なると確定する。
ステップ２０７、順序指示パラメータの値が予め設定された順序を使用することを示す場合、処理順序と予め設定された順序が同じであると確定する。
本発明の実施形態において、復号器はまずビットストリームを解析することによって、点群データに対応する順序指示パラメータを確定し、次に、順序指示パラメータに基づいて、変換を実行するには予め設定された順序を使用するかどうかを確定することができる。
本発明の実施形態において、順序指示パラメータは、予め設定された順序を使用するかどうかを指示するために用いられることができる。即ち、符号化側が予め設定された順序を使用して変換を行う場合、復号器が解析によって取得した順序指示パラメータは、予め設定された順序を使用することを示すことができる。符号化側が予め設定された順序を使用せず変換を行う場合、復号器が解析によって取得した順序指示パラメータは、予め設定された順序を使用しないことを示すことができる。
さらに、本発明の実施形態において、復号器が解析によって順序指示パラメータを取得した後、順序指示パラメータの値が予め設定された順序を使用しないことを示す場合、復号器は処理順序に基づいて点群データを変換する必要がある。順序指示パラメータの値が予め設定された順序を使用することを示す場合、復号器は予め設定された順序に基づいて点群データを変換することができる。
例示的に、本発明において、順序指示パラメータの値が０である場合、予め設定された順序を使用しないことを示すと考えられる。順序指示パラメータの値が１である場合、予め設定された順序を使用することを示すと考えられる。
本発明において、シンタックスattr_raht_order_default_flagで順序指示パラメータを示すことができる。具体的には、attr_raht_order_default_flagの値が１に等しい場合、予め設定された順序を使用することを示す。attr_raht_order_default_flagの値が０に等しい場合、予め設定された順序を使用しないことを示す。
上記ステップ２０１からステップ２０７までに係る点群復号化方法によれば、復号器は既存技術で提案されたように、固定した変換順序で点群データに対してＲＡＨＴを実行するというのではない。例えば、すべての点群データに対してＸ－Ｙ－Ｚ順序でＲＡＨＴを実行する。その代わり、点群データを復号化するプロセスにおいて、変換の前に点群データに対応する処理順序を確定し、その後、処理順序を使用してＲＡＨＴを実行する。
本発明において、Ｘ、Ｙ、Ｚの３つの座標の処理順序の角度から見ると、現在、Ｇ－ＰＣＣでは、復号器は固定した順序で変換を行う。これに対して、本発明で提案された点群復号化方法では、Ｇ－ＰＣＣにおける３つの座標に対する復号器の処理順序を適応的に変更することができるため、復号化の効率を向上させることができる。
なお、本発明において、処理順序の柔軟性をシーケンス層に限定し、点群全体で同じ座標処理順序を使用することができる。即ち、点群における分割（例えば、スライス）はすべて同じ座標処理順序を使用することができる。
本発明において、符号化側は点群データを符号化する前に、点群データを前処理することができる。具体的には、符号器は点群データのＸ、Ｙ、Ｚ座標軸をリセットし、処理順序を再確定することができる。その後、前処理された点群データを符号化し、表示の角度から、シーケンス層で前処理の方式を示す。即ち、処理順序に対応する座標軸順序インデックスを符号化した後、符号化ビットをビットストリームに書き込む。したがって、ビットストリームが復号化側に伝送された後、復号器はビットストリームを復号化して復号化点群を取得して、シーケンス層で示される前処理の方式に基づいて点群に対して後処理を行う。即ち、復号化側は解析によって座標軸順序インデックスを取得し、座標軸順序インデックスが示す処理順序を確定することにより、点群データのＸ、Ｙ、Ｚの座標軸を適応的に設定することができる。
本発明の実施形態は、点群復号化方法を提供する。復号器はビットストリームを解析して座標軸順序インデックスを取得する。復号器は座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。復号器はビットストリームを解析して点群データの復元データを取得する。復号器は処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定する。即ち、本発明の実施形態において、符号化側では、符号器はまず点群データに対応する変換処理の処理順序を確定し、処理順序に基づいてＲＡＨＴを実行しながら、処理順序をビットストリームに書き込み、復号器に送信することができる。復号化側では、復号器はビットストリームを解析して、点群データに対応する変換処理の処理順序を取得し、その処理順序に基づいてＲＡＨＴを実行することができる。このように、本発明に係る点群符号化方法及び点群復号化方法では、すべての点群データ又は一部の点群データに対して、ＲＡＨＴを行うには固定した順序を使用せず、ビットストリームにおけるシンタックス要素を用いて処理順序を示す。これにより、符号化及び復号化プロセスにおける座標処理順序を適応的に変更し、さらにＲＡＨＴの変換効率を十分に発揮させることができ、変換効率が低いという課題を解決し、符号化及び復号化の効率を大幅に向上させることができる。
上記実施形態に基づいて、本発明の別の実施形態において、点群符号化方法及び点群復号化方法が提供される。既存技術と比べると、本発明の実施形態では、符号器及び復号器は、固定した変換順序を変更することができる、即ち、送信されないデフォルトの順序を変更することができる。符号化側、復号化側を問わず、点群データに対してＲＡＨＴを行う前に、点群データに対応する処理順序を確定して、その処理順序を使用してＲＡＨＴを行う。以下、復号化側での変換プロセスを例示として説明する。
例示的に、一つの実施形態において、復号器はビットストリームを解析した後に、点群データの処理順序Ｘ－Ｙ－Ｚを取得する。点群データは点群における一部のデータであり、即ち、点群におけるスライスである。処理順序は、固定した予め設定された順序Ｚ－Ｙ－Ｘとは異なる。その後、復号器はモートンコードに基づいて、対応するスライスにおいて点を並べ替えることができる。
八分木ノード復号化プロセスにおいて、使用される各子における点の空間位置は、各子における重複点の数及び直接符号化された位置の使用に基づいて確定される。以下をご参照ください。
for( child = 0; child < GeometryNodeChildrenCnt; child++ ) {
childIdx = GeometryNodeChildren[ child ];
x = 2 × xN + ( childIdx & 4 == 1 );
y = 2 × yN + ( childIdx & 2 == 1 );
x = 2 × zN + ( childIdx & 1 == 1 );
for( i = 0; i < GeometryNodeDupPoints[child] + 1 ; i++, PointCount++ ) {
PointPos[PointCount][0] = x;
PointPos[PointCount][1] = y;
PointPos[PointCount][2] = z;
}
if( direct_mode_flag ) {
for( i = 0; i <= num_direct_points_minus1; i++, PointCount++ ) {
PointPos[PointCount][0] = x + PointOffsetX[i];
PointPos[PointCount][1] = y + PointOffsetY[i];
PointPos[PointCount][2] = z + PointOffsetZ[i];
}
}
}
…
モートンコードに基づく点の並べ替えプロセスにおいて、復号器はビットストリームを解析して、アレイMcodeBeforeSort[i]を取得することができる。そのうち、i=0...PointNum－1。以下をご参照ください。
for ( b=0; b< raht_depth; b++ ){
McodeBeforeSort[i] |= ((PointPos[i][1]>>b) & 1) << (3 × b+2)
McodeBeforeSort[i] |= ((PointPos[i][2]>>b) & 1) << (3 × b+1)
McodeBeforeSort[i] |= ((PointPos[i][0]>>b) & 1) << (3 × b)
}
一般に、符号化プロセス又は符号器の角度から見ると、シンタックス要素はビットストリームに送信されて情報を示す。復号化プロセス又は復号器の角度から見ると、ビットストリームからシンタックス要素を解析して指示される情報を取得する。
例示的に、一つの実施形態において、処理順序は属性パラメータセットシンタックス（ａｔｔｒｉｂｕｔｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ｓｙｎｔａｘ）に送信されることができる。即ち、復号器は属性パラメータセットのビットストリームを解析することによって、処理順序を取得することができる。属性パラメータセットのシンタックスが表４に示されているようである。
Figure 0007490685000011
Figure 0007490685000012
具体的には、本発明において、座標軸順序インデックスattr_raht_order_indexは、ノードに用いられる処理順序、即ち、ＲＡＨＴの変換順序を示すことができる。ビットストリームにおいて、attr_raht_order_indexの値は、０、１、２、３、４、５、６、又は７であることができる。上記表１に基づいて、復号器は解析によって取得されたattr_raht_order_indexに基づいて、対応する処理順序を確定することができる。その後、処理順序に基づいて、モートンコードに基づく点の並べ替えプロセスを実行することができる。
例示的に、一つの実施形態において、属性パラメータセットにおいて、フラグ（ｆｌａｇ）が先に送信されてデフォルトの変換順序を使用するかどうか、即ち予め設定された順序を使用するかどうかを示すことができる。予め設定された順序を使用しない場合、座標軸順序インデックスattr_raht_order_indexを送信して予め設定された順序以外の変換順序を示す。
換言すると、本発明において、復号器は属性パラメータセットのビットストリームを解析した後、順序指示パラメータを取得することができる。順序指示パラメータは、予め設定された順序を使用するかどうかを示すために用いられる。属性パラメータセットのシンタックスは表５に示されているようである。
Figure 0007490685000013
Figure 0007490685000014
本発明において、シンタックスattr_raht_order_default_flagで順序指示パラメータを示すことができる。具体的には、attr_raht_order_default_flagの値が１に等しい場合、予め設定された順序を使用することを示す。attr_raht_order_default_flagの値が０に等しい場合、予め設定された順序を使用しないことを示す。
さらに、本発明の実施形態において、attr_raht_order_default_flagの値が０に等しい場合、即ち、予め設定された順序を使用しない場合、復号器は解析によって取得された座標軸順序インデックスattr_raht_order_indexに基づいて、さらに、使用される処理順序を確定することができる。
本発明において、予め設定された順序がＸ－Ｙ－Ｚ順序である場合、復号器が解析によって取得した座標軸順序インデックスattr_raht_order_indexの値は、Ｘ－Ｙ－Ｚ順序以外の他の５つの変換順序を示すために用いられることができる。即ち、本発明において、順序指示パラメータattr_raht_order_default_flagの確定に基づいて、座標軸順序インデックスattr_raht_order_indexは、予め設定された順序以外の他の変換順序を示すために用いられる。
Figure 0007490685000015
さらに、本発明において、座標軸順序インデックスattr_raht_order_indexは、ノードに用いられるＲＡＨＴの順序（デフォルトの予め設定された順序を除く）を示し、即ち、処理順序を示す。ビットストリームにおいて、attr_raht_order_indexの値は、０、１、２、３、又は４に等しいことができる。表６は、予め設定されたインデックスと処理順序との対応表３である。予め設定された順序はＸ－Ｙ－Ｚである。表６に示されているように、座標軸順序インデックスの値に基づいて、復号器は、予め設定されたインデックスと処理順序との対応表を照合することにより、対応する処理順序を確定することができる。
さらに、本発明において、復号器が属性パラメータセットのビットストリームを解析して順序指示パラメータattr_raht_order_default_flagを取得した後、attr_raht_order_default_flagの値が１に等しければ、予め設定された順序を使用することを示す。そして、復号器は予め設定された順序に基づいて、モートンコードに基づく点の並べ替えプロセスを実行することができる。
さらに、本発明において、復号器が属性パラメータセットのビットストリームを解析して順序指示パラメータattr_raht_order_default_flagを取得した後、attr_raht_order_default_flagの値が０に等しければ、予め設定された順序を使用しないことを示す。そして、復号器は引き続きビットストリームを解析して、座標軸順序インデックスattr_raht_order_indexを取得し、処理順序を確定することができる。このように、処理順序に基づいて、モートンコードに基づく点の並べ替えプロセスを実行することができる。
例示的に、一つの実施形態において、シンタックス要素attr_raht_order_indexの記述子がｕｅ（Ｖ）（即ち、指数ゴロム（Ｅｘｐ－Ｇｏｌｏｍｂ）符号）であることを除いて、処理順序は属性パラメータセットに送信される。符号化の角度から見ると、記述子はシンタックス要素のエントロピー符号化（ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）方式に対応する。復号化の角度から見ると、記述子はシンタックス要素の解析プロセスに対応する。
本発明において、ＲＡＨＴの処理順序は、属性パラメータセットに送信される。当該属性パラメータセットと関連した一つ又は複数のスライスの符号化又は復号化に適用される。
例示的に、一つの実施形態において、予め設定された順序がある又は予め設定された順序がない処理順序は、属性スライスヘッダ（ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ ｈｅａｄｅｒ）に送信される。属性スライスヘッダのシンタックスは、表７に示されているようである。
Figure 0007490685000016
本発明において、属性スライスヘッダに送信された処理順序は、当該スライスを符号化又は復号化するためのみに用いられる。
例示的に、一つの実施形態において、予め設定された順序がある／ない処理順序は、属性パラメータセットと、当該属性パラメータセットと関連した属性スライスヘッダとに送信される。属性スライスヘッダに送信された処理順序は、属性パラメータセットを解析することにより確定された処理順序を覆すことができる。
具体的には、本発明において、処理順序を属性パラメータセットに送信する。属性パラメータセットのシンタックスは表８に示されているようである。
Figure 0007490685000017
Figure 0007490685000018
さらに、本発明の実施形態において、属性スライスヘッダのシンタックスは表９に示されているようである。
Figure 0007490685000019
本発明において、復号器がビットストリームを解析した後、シンタックス要素ash_attr_raht_order_override_flagを取得することができる。シンタックス要素ash_attr_raht_order_override_flagは、属性パラメータセットに送信された処理順序を使用するかどうかを示すために用いられる。
さらに、本発明の実施形態において、ash_attr_raht_order_override_flagの値が０に等しければ、当該スライスと関連した属性パラメータセットに送信された処理順序を使用する。
さらに、本発明の実施形態において、ash_attr_raht_order_override_flagの値が１に等しければ、ash_attr_raht_indexによって示される処理順序を使用することを示す。そして、復号器は解析によってash_attr_raht_indexを取得して、さらに、使用される処理順序を確定することができる。具体的には、復号器は上記表１を介して、ash_attr_raht_indexが示す処理順序をさらに取得することができる。
本発明の実施形態において、ash_attr_raht_order_override_flagの値が１に等しければ、ash_attr_raht_indexによって示される処理順序を使用することを示す。そして、復号器は、当該スライスと関連した属性パラメータセット（つまり、アクティブな属性パラメータセット）に送信された処理順序を除去することで、動的に確定することができる。例えば、アクティブな属性パラメータセットに送信された処理順序がＺ－Ｙ－Ｘである場合、符号器又は復号器はＺ－Ｙ－Ｘ順序以外の他の順序で、予め設定されたインデックスと処理順序との対応表を構築することができる。ビットストリームにおいて、attr_raht_order_indexの値は、０、１、２、３、又は４であることができる。表１０は、予め設定されたインデックスと処理順序との対応表４である。アクティブな属性パラメータセットに送信された処理順序がＺ－Ｙ－Ｘである場合、表１０に示されているように、座標軸順序インデックスash_attr_raht_indexの値に基づいて、復号器は予め設定されたインデックスと処理順序との対応表を照合することにより、対応する処理順序を確定することができる。
Figure 0007490685000020
本発明において、ash_attr_raht_order_indexが符号化された又は解析されたｕｅ（Ｖ）である場合、ビットストリームにおけるash_attr_raht_order_indexを表すために用いられるビットを節約することができる。
さらに、本発明において、属性パラメータセットにおいてattr_coding_typeが１に等しい場合、attr_raht_order_override_allowed_flagなどのような追加フラグ（ａｄｄｉｔｉｏｎａｌ ｆｌａｇ）は送信され（符号化又は符号器の角度から）又は解析され（復号化又は復号化の角度から）て、属性パラメータセットと関連した属性スライスヘッダで詳しく説明されたＲＡＨＴの処理順序が属性パラメータセットで詳しく説明されたＲＡＨＴの処理順序を覆すことは許可されるかどうかを示す。attr_raht_order_override_allowed_flagについては、属性スライスヘッダのシンタクスは表１１に示されているようである。
Figure 0007490685000021
さらに、本発明において、復号器はビットストリームを解析して処理順序を取得した後、予め設定された順序に基づいて、モートンコードに基づく点の並べ替えプロセスを実行することができる。
本発明の実施形態は点群符号化方法、点群復号化方法、符号器、復号器及びコンピュータ記憶媒体を提供する。符号器は点群符号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。符号器は、処理順序に対応する座標軸順序インデックスを確定する。符号器は座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込む。符号器は処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得する。符号器は符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込む。復号器はビットストリームを解析して座標軸順序インデックスを取得する。復号器は座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。復号器はビットストリームを解析して点群データの復元データを取得する。復号器は処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定する。即ち、本発明の実施形態において、符号化側では、符号器はまず点群データに対応する変換処理の処理順序を確定し、処理順序に基づいてＲＡＨＴを実行しながら、処理順序をビットストリームに書き込み、復号器に送信することができる。復号化側では、復号器はビットストリームを解析して、点群データに対応する変換処理の処理順序を取得し、その処理順序に基づいてＲＡＨＴを実行することができる。このように、本発明に係る点群符号化方法及び点群復号化方法では、すべての点群データ又は一部の点群データに対して、ＲＡＨＴを行うには固定した順序を使用せず、ビットストリームにおけるシンタックス要素を用いて処理順序を示す。これにより、符号化及び復号化プロセスにおける座標処理順序を適応的に変更し、さらにＲＡＨＴの変換効率を十分に発揮させることができ、変換効率が低いという課題を解決し、符号化及び復号化の効率を大幅に向上させることができる。
上記実施形態に基づいて、本発明の別の実施形態において、図１４は符号器の構造を示す概略図１である。図１４に示されているように、本発明の実施形態に係る符号器３００は第一確定部分３０１、符号化部分３０２及び変換部分３０３を含むことができる。
第一確定部分３０１は、点群符号化プロセスにおける点群データの処理順序を確定し、処理順序に対応する座標軸順序インデックスを確定するように構成されている。上記処理順序は点群データの３次元座標の座標軸処理順序を示す。上記点群データは点群におけるすべてのデータ又は一部のデータである。
符号化部分３０２は、座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込むように構成されている。
変換部分３０３は、処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得するように構成されている。
符号化部分３０２はさらに、符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込むように構成されている。
さらに、本発明の実施形態において、第一確定部分３０１は、点群データにおけるノードのモートンコードに基づいて処理順序を確定するように構成されている。
さらに、本発明の実施形態において、点群データの処理順序は、Ｚ－Ｙ－Ｘ順序、Ｘ－Ｙ－Ｚ順序、Ｘ－Ｚ－Ｙ順序、Ｙ－Ｚ－Ｘ順序、Ｚ－Ｘ－Ｙ順序、及びＹ－Ｘ－Ｚ順序のうちのいずれかであることができる。Ｘ、Ｙ、Ｚは、点群データの３次元座標の座標軸である。
さらに、本発明の実施形態において、第一確定部分３０１は、予め設定されたインデックスと処理順序との対応表に基づいて、処理順序に対応する座標軸順序インデックスの値を設定するように構成されている。
さらに、本発明の実施形態において、予め設定されたインデックスと処理順序との対応表は以下を含む。
Figure 0007490685000022
さらに、本発明の実施形態において、符号化部分３０２は、固定長符号化を用いて座標軸順序インデックスを符号化するように構成されている。
さらに、本発明の実施形態において、符号化部分３０２は、符号化ビットをパラメータセットのデータユニットに対応するビットストリームに書き込むように構成されている。パラメータセットのデータユニットは、点群データの復号化に使用されるパラメータを含む。
さらに、本発明の実施形態において、パラメータセットはシーケンス層のパラメータセットである。
さらに、本発明の実施形態において、パラメータセットはシーケンスパラメータセットである。
さらに、本発明の実施形態において、パラメータセットのデータユニットは、点群データの属性情報を含む。属性情報は、点群データにおける点に関連したスカラー属性又はベクトル属性である。
さらに、本発明の実施形態において、パラメータセットのデータユニットは、点群データの幾何情報を含む。幾何情報は、点群データにおける点に関連したデカルト座標である。
さらに、本発明の実施形態において、変換部分３０３は、処理順序に基づいて点群データに対して座標マッピングを行うように構成されている。
さらに、本発明の実施形態において、変換部分３０３は、処理順序に基づいて点群データの座標を再配列するように構成されている。
さらに、本発明の実施形態において、変換部分３０３は、処理順序に基づいて点群データを対応する座標軸方向に順次処理するように構成されている。
さらに、本発明の実施形態において、変換部分３０３は、処理順序に基づいて点群データに対してＲＡＨＴを対応する座標軸方向に順次実行するように構成されている。
さらに、本発明の実施形態において、変換部分３０３は、点群データにおけるノードのモートンコードを確定して、処理順序及びモートンコードに基づいて点群データに対してＲＡＨＴを実行するように構成されている。
さらに、本発明の実施形態において、変換部分３０３は、以下の操作を実行するように構成されている。
処理順序と予め設定された順序が同じである場合、予め設定された順序とモートンコードに基づいて点群データに対してＲＡＨＴを実行する。処理順序と予め設定された順序が異なる場合、処理順序とモートンコードに基づいて、点群データに対してＲＡＨＴを実行する。
さらに、本発明の実施形態において、第一確定部分３０１は、点群符号化プロセスにおける点群データの処理順序を確定した後、処理順序に対応する座標軸順序インデックスを確定する前に、処理順序に基づいて順序指示パラメータを確定するように構成されている。順序指示パラメータは、予め設定された順序を使用するかどうかを示すために用いられる。
符号化部分３０２はさらに、順序指示パラメータを符号化し、符号化ビットをビットストリームに書き込むように構成されている。
さらに、本発明の実施形態において、第一確定部分３０１は以下の操作を実行するように構成されている。
処理順序と予め設定された順序が異なる場合、順序指示パラメータの値を、予め設定された順序を使用しないことを示すと設定し、処理順序と予め設定された順序が同じである場合、順序指示パラメータの値を、予め設定された順序を使用することを示すと設定する。
さらに、本発明の実施形態において、符号化部分３０２は、符号化ビットをビットストリームの補助情報が位置するデータユニットに書き込むように構成されている。
さらに、本発明の実施形態において、補助情報はビデオユーザビリティ情報（ＶＵＩ）である。
さらに、本発明の実施形態において、補助情報は補足拡張情報（ＳＥＩ）である。
さらに、本発明の実施形態において、符号化部分３０２は符号化ビットを、点群データに対応する点群符号化データを含む送信ストリームに書き込むように構成されている。
さらに、本発明の実施形態において、符号化部分３０２は符号化ビットを、点群データに対応する点群符号化データを含むメディアファイルに書き込むように構成されている。
図１５は、符号器の構造を示す概略図２である。図１５に示されているように、本発明の実施形態に係る符号器３００は第一プロセッサ３０４、第一メモリ３０５、第一通信インターフェース３０６、及び第一バス３０７を含む。第一メモリ３０５には第一プロセッサ３０４によって実行される命令が格納されている。第一バス３０７は、第一プロセッサ３０４、第一メモリ３０５及び第一通信インターフェース３０６を接続するために用いられる。
さらに、本発明の実施形態において、第一プロセッサは、以下の操作を実行するように構成されている。
点群符号化プロセスにおける点群データの処理順序を確定する。処理順序に対応する座標軸順序インデックスを確定する。座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込む。処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得する。符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込む。
上記処理順序は点群データの３次元座標の座標軸処理順序を示し、上記点群データは点群におけるすべてのデータ又は一部のデータである。
集積ユニットは、ソフトウェアの機能モジュールとして実現され、且つ独立の製品として販売されたり使用されたりする場合、コンピュータ可読記録媒体に記憶されてもよい。この理解によれば、本発明の技術方案について、本質的な部分、又は従来技術に貢献できた部分、又は当該技術方案の全部又は一部は、ソフトウェア製品として表現され得る。このコンピュータソフトウェア製品は、記憶媒体に記憶されており、１つのコンピュータ（パソコン、サーバー、又はネットワークデバイスなどであってもよい）又はプロセッサに本発明の各実施形態に係る方法の全部又は一部のプロセスを実行させるための複数の命令を含む。前記記憶媒体は、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）フラッシュディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａd－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどの各種のプログラムコードを記憶可能な媒体を含む。
本発明の実施形態は符号器を提供する。当該符号器は点群符号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。符号器は、処理順序に対応する座標軸順序インデックスを確定する。符号器は座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込む。符号器は処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得する。符号器は符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込む。即ち、本発明の実施形態において、符号化側では、符号器はまず点群データに対応する変換処理の処理順序を確定し、処理順序に基づいてＲＡＨＴを実行しながら、処理順序をビットストリームに書き込み、復号器に送信することができる。復号化側では、復号器はビットストリームを解析して、点群データに対応する変換処理の処理順序を取得し、その処理順序に基づいてＲＡＨＴを実行することができる。このように、本発明に係る点群符号化方法及び点群復号化方法では、すべての点群データ又は一部の点群データに対して、ＲＡＨＴを行うには固定した順序を使用せず、ビットストリームにおけるシンタックス要素を用いて処理順序を示す。これにより、符号化及び復号化プロセスにおける座標処理順序を適応的に変更し、さらにＲＡＨＴの変換効率を十分に発揮させることができ、変換効率が低いという課題を解決し、符号化及び復号化の効率を大幅に向上させることができる。
図１６は、復号器の構造を示す概略図１である。図１６に示されているように、本発明の実施形態に係る復号器４００は解析部分４０１、第二確定部分４０２を含むことができる。
解析部分４０１は、ビットストリームを解析して座標軸順序インデックスを取得するように構成されている。
第二確定部分４０２は、座標軸順序インデックスに基づいて、点群復号化プロセスにおける点群データの処理順序を確定するように構成されている。上記処理順序は点群データの３次元座標の座標軸処理順序を示す。上記点群データは点群におけるすべてのデータ又は一部のデータである。
解析部分４０１はさらに、ビットストリームを解析して点群データの復元データを取得するように構成されている。
第二確定部分４０２はさらに、処理順序に基づいて復元データの記憶ユニットにおける点群データの座標データの位置を確定するように構成されている。
さらに、本発明の実施形態において、解析部分４０１は、固定長符号を解析して座標軸順序インデックスを取得するように構成されている。
さらに、本発明の実施形態において、解析部分４０１は、ビットストリームにおけるパラメータセットのデータユニットに対応するビットストリームを解析するように構成されている。パラメータセットのデータユニットは、点群データの復号化に使用されるパラメータを含む。
さらに、本発明の実施形態において、パラメータセットはシーケンス層のパラメータセットである。
さらに、本発明の実施形態において、パラメータセットはシーケンスパラメータセットである。
さらに、本発明の実施形態において、パラメータセットのデータユニットは、点群データの属性情報を含む。属性情報は、点群データにおける点に関連したスカラー属性又はベクトル属性である。
さらに、本発明の実施形態において、パラメータセットのデータユニットはさらに、点群データの幾何情報を含む。幾何情報は、点群データにおける点に関連したデカルト座標である。
さらに、本発明の実施形態において、点群データの処理順序は、Ｚ－Ｙ－Ｘ順序、Ｘ－Ｙ－Ｚ順序、Ｘ－Ｚ－Ｙ順序、Ｙ－Ｚ－Ｘ順序、Ｚ－Ｘ－Ｙ順序、及びＹ－Ｘ－Ｚ順序のうちのいずれかであることができる。Ｘ、Ｙ、Ｚは、点群データの３次元座標の座標軸である。
さらに、本発明の実施形態において、第二確定部分４０２は、予め設定されたインデックスと処理順序との対応表に基づいて、座標軸順序インデックスに対応する処理順序を確定するように構成されている。
さらに、本発明の実施形態において、予め設定されたインデックスと処理順序との対応表は以下を含む。
Figure 0007490685000023
さらに、本発明の実施形態において、第二確定部分４０２は、復元データの記憶ユニットにおいて、点群データにおける点について、処理順序によって示される座標軸順序に基づいて点の座標データを取得するように構成されている。
さらに、本発明の実施形態において、第二確定部分４０２は、処理順序に基づいて、点群データに対してＲＡＨＴを対応する座標軸方向に順次実行するように構成されている。
さらに、本発明の実施形態において、第二確定部分４０２は、ビットストリームを解析して点群データにおけるノードのモートンコードを確定して、処理順序及びモートンコードに基づいて点群データに対してＲＡＨＴを実行するように構成されている。
さらに、本発明の実施形態において、第二確定部分４０２は、以下の操作を実行するように構成されている。
処理順序と予め設定された順序が同じである場合、予め設定された順序とモートンコードに基づいて点群データに対してＲＡＨＴを実行する。処理順序と予め設定された順序が異なる場合、処理順序とモートンコードに基づいて、点群データに対してＲＡＨＴを実行する。
さらに、本発明の実施形態において、解析部分４０１は、ビットストリームを解析して座標軸順序インデックスを取得する前に、ビットストリームを解析して順序指示パラメータを確定するように構成されている。順序指示パラメータは、予め設定された順序を使用するかどうかを示すために用いられる。
第二確定部分４０２は、さらに以下の操作を実行するように構成されている。
順序指示パラメータの値が予め設定された順序を使用しないことを示す場合、処理順序と予め設定された順序が異なると確定する。順序指示パラメータの値が予め設定された順序を使用することを示す場合、処理順序と予め設定された順序が同じであると確定する。
さらに、本発明の実施形態において、解析部分４０１は、ビットストリームの補助情報が位置するデータユニットを解析して、座標軸順序インデックスを取得するように構成されている。
さらに、本発明の実施形態において、補助情報はビデオユーザビリティ情報（ＶＵＩ）である。
さらに、本発明の実施形態において、補助情報は補足拡張情報（ＳＥＩ）である。
さらに、本発明の実施形態において、解析部分４０１は、点群符号化データを含む送信ストリームを解析して、座標軸順序インデックスを取得するように構成されている。
さらに、本発明の実施形態において、解析部分４０１は、点群符号化データを含むメディアファイルを解析して、座標軸順序インデックスを取得するように構成されている。
図１７は、復号器の構造を示す概略図２である。図１７に示されているように、本発明の実施形態に係る復号器４００は第二プロセッサ４０３、第二メモリ４０４、第二通信インターフェース４０５、及び第二バス４０６を含む。第二メモリ４０４には第二プロセッサ４０３によって実行される命令が格納されている。第二バス４０６は、第二プロセッサ４０３、第二メモリ４０４及び第二通信インターフェース４０５を接続するために用いられる。
さらに、本発明の実施形態において、第二プロセッサ４０３は以下の操作を実行するように構成されている。
ビットストリームを解析して座標軸順序インデックスを取得する。座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定する。ビットストリームを解析して点群データの復元データを取得する。処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定する。
上記処理順序は点群データの３次元座標の座標軸処理順序を示し、上記点群データは点群におけるすべてのデータ又は一部のデータである。
集積ユニットは、ソフトウェアの機能モジュールとして実現され、且つ独立の製品として販売されたり使用されたりする場合、コンピュータ可読記録媒体に記憶されてもよい。この理解によれば、本発明の技術方案について、本質的な部分、又は従来技術に貢献できた部分、又は当該技術方案の全部又は一部は、ソフトウェア製品として表現され得る。このコンピュータソフトウェア製品は、記憶媒体に記憶されており、１つのコンピュータ（パソコン、サーバー、又はネットワークデバイスなどであってもよい）又はプロセッサに本発明の各実施形態に係る方法の全部又は一部のプロセスを実行させるための複数の命令を含む。前記記憶媒体は、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）フラッシュディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａd－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどの各種のプログラムコードを記憶可能な媒体を含む。
本発明の実施形態は、復号器を提供する。当該復号器はビットストリームを解析して座標軸順序インデックスを取得する。復号器は座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。復号器はビットストリームを解析して点群データの復元データを取得する。復号器は処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定する。即ち、本発明の実施形態において、符号化側では、符号器はまず点群データに対応する変換処理の処理順序を確定し、処理順序に基づいてＲＡＨＴを実行しながら、処理順序をビットストリームに書き込み、復号器に送信することができる。復号化側では、復号器はビットストリームを解析して、点群データに対応する変換処理の処理順序を取得し、その処理順序に基づいてＲＡＨＴを実行することができる。このように、本発明に係る点群符号化方法及び点群復号化方法では、すべての点群データ又は一部の点群データに対して、ＲＡＨＴを行うには固定した順序を使用せず、ビットストリームにおけるシンタックス要素を用いて処理順序を示す。これにより、符号化及び復号化プロセスにおける座標処理順序を適応的に変更し、さらにＲＡＨＴの変換効率を十分に発揮させることができ、変換効率が低いという課題を解決し、符号化及び復号化の効率を大幅に向上させることができる。
本発明の実施形態は、コンピュータ可読記憶媒体を提供する。当該コンピュータ可読記憶媒体にはプログラムが格納されている。当該プログラムはプロセッサによって実行されると、上記実施形態に記載の方法を実行する。
具体的に、本発明の実施形態における符号化方法に対応するプログラム命令は光ディスク、ハードディスク、ＵＳＢフラッシュディスクなどのような記憶媒体に格納されることができる。記憶媒体における符号化方法に対応するプログラム命令は電子デバイスに読み取られ、又は実行されると、以下の操作を実行する。
点群符号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。処理順序に対応する座標軸順序インデックスを確定する。座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込む。処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得する。符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込む。
具体的に、本発明の実施形態における復号化方法に対応するプログラム命令は光ディスク、ハードディスク、ＵＳＢフラッシュディスクなどのような記憶媒体に格納されることができる。記憶媒体における復号化方法に対応するプログラム命令は、電子デバイスに読み取られ、又は実行されると、以下の操作を実行する。
ビットストリームを解析して座標軸順序インデックスを取得する。座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。ビットストリームを解析して点群データの復元データを取得する。処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定する。
本発明の実施形態は方法、システム又はコンピュータプロセッサ製品を提供できることは当業者に理解されるべきである。従って、本発明の実施形態はハードウェア実施形態、ソフトウェア実施形態、又はソフトウェアとハードウェアを結びつける実施形態を有することができる。また、本発明は、コンピュータ使用可能なプログラムコードを含む一つ又は複数のコンピュータ使用可能な記憶媒体（磁気ディスク記憶装置、光メモリなどを含むがこれらに限定されない）上に具現化されたコンピュータプログラム製品の形態で実施され得る。
本発明の実施形態に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照しながら本発明を説明する。フローチャート及び/又はブロック図における各プロセス及び/又はブロック、及びフローチャート及び/又はブロック図におけるプロセス及び/又はブロックの組み合わせはコンピュータプログラム命令によって実現される。それらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ又は他のプログラム可能なデータ処理装置（ｐｒｏｇｒａｍｍａｂｌｅ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅ）のプロセッサに提供されることで、機械を生成する。これで、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサによって実行される命令は、フローチャートの一つのプロセス又は複数のプロセス、及び/又はブロック図の一つのブロック又は複数のブロックにおいて指定される機能を実現するに用いられる装置を生じる。
それらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置に特定の方法で実行するように指示することができるコンピュータ可読記憶媒体に格納されることができる。それによって、当該コンピュータ可読記憶媒体に格納される命令は命令装置を含む製造品を生じる。当該命令装置は、フローチャートの一つのプロセス又は複数のプロセス、及び/又はブロック図の一つのブロック又は複数のブロックにおいて指定される機能を実現する。
それらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルなデータ処理装置にロードされることができ、コンピュータ又は他のプログラマブルな装置で一連の操作ステップを実行して、コンピュータが実現するプロセスを生成する。これで、コンピュータ又は他のプログラマブルな装置で実行される命令は、フローチャートの一つのプロセス又は複数のプロセス、及び/又はブロック図の一つのブロック又は複数のブロックにおいて指定される機能を実現するに用いられるステップを提供する。
以上はただ本発明の好適な実施形態に過ぎず、本発明の保護範囲を限定するものではない。
産業上の利用可能性
本発明の実施形態は点群符号化方法を提供する。符号器は点群符号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。符号器は、処理順序に対応する座標軸順序インデックスを確定する。符号器は座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込む。符号器は処理順序に基づいて点群データを処理して、符号化しようとする点群データを取得する。符号器は符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込む。復号器はビットストリームを解析して座標軸順序インデックスを取得する。復号器は座標軸順序インデックスに基づいて点群復号化プロセスにおける点群データの処理順序を確定する。処理順序は点群データの３次元座標の座標軸処理順序を示し、点群データは点群におけるすべてのデータ又は一部のデータである。復号器はビットストリームを解析して点群データの復元データを取得する。復号器は処理順序に基づいて、復元データの記憶ユニットにおける点群データの座標データの位置を確定する。即ち、本発明の実施形態において、符号化側では、符号器はまず点群データに対応する変換処理の処理順序を確定し、処理順序に基づいてＲＡＨＴを実行しながら、処理順序をビットストリームに書き込み、復号器に送信することができる。復号化側では、復号器はビットストリームを解析して、点群データに対応する変換処理の処理順序を取得し、その処理順序に基づいてＲＡＨＴを実行することができる。このように、本発明に係る点群符号化方法及び点群復号化方法では、すべての点群データ又は一部の点群データに対して、ＲＡＨＴを行うには固定した順序を使用せず、ビットストリームにおけるシンタックス要素を用いて処理順序を示す。これにより、符号化及び復号化プロセスにおける座標処理順序を適応的に変更し、さらにＲＡＨＴの変換効率を十分に発揮させることができ、変換効率が低いという課題を解決し、符号化及び復号化の効率を大幅に向上させることができる。

Claims (15)

  1. 点群符号化方法であって、符号器に適用され、
    点群符号化プロセスにおける点群データの処理順序を確定することと、
    前記処理順序に対応する座標軸順序インデックスを確定することと、
    前記座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込むことと、
    前記処理順序に基づいて前記点群データを処理して、符号化しようとする点群データを取得することと、
    符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込むこととを含み、
    前記処理順序は前記点群データの３次元座標の座標軸処理順序を示し、前記点群データは点群におけるすべてのデータ又は一部のデータである、
    ことを特徴とする点群符号化方法。
  2. 前記点群符号化プロセスにおける点群データの処理順序を確定することは、
    前記点群データにおけるノードのモートンコードに基づいて 、前記処理順序を確定することを含む、
    ことを特徴とする請求項１に記載の点群符号化方法。
  3. 前記処理順序は、Ｚ－Ｙ－Ｘ順序、Ｘ－Ｙ－Ｚ順序、Ｘ－Ｚ－Ｙ順序、Ｙ－Ｚ－Ｘ順序、Ｚ－Ｘ－Ｙ順序、及びＹ－Ｘ－Ｚ順序のうちのいずれかであり、Ｘ、Ｙ、Ｚは、前記点群データの３次元座標の座標軸である、
    ことを特徴とする請求項１に記載の点群符号化方法。
  4. 前記処理順序に対応する座標軸順序インデックスを確定することは、
    予め設定されたインデックスと処理順序との対応表に基づいて、前記処理順序に対応する前記座標軸順序インデックスの値を設定することを含む、
    ことを特徴とする請求項３に記載の点群符号化方法。
  5. 前記予め設定されたインデックスと処理順序との対応表は以下を含む、
    Figure 0007490685000024
    ことを特徴とする請求項４に記載の点群符号化方法。
  6. 点群復号化方法であって、復号器に適用され、
    ビットストリームを解析して座標軸順序インデックスを取得することと、
    前記座標軸順序インデックスに基づいて、点群復号化プロセスにおける点群データの処理順序を確定することと、
    ビットストリームを解析して前記点群データの復元データを取得することと、
    前記処理順序に基づいて、前記復元データの記憶ユニットにおける前記点群データの座標データの位置を確定することとを含み、
    前記処理順序は前記点群データの３次元座標の座標軸処理順序を示し、前記点群データは点群におけるすべてのデータ又は一部のデータである、
    ことを特徴とする点群復号化方法。
  7. 前記ビットストリームを解析して座標軸順序インデックスを取得することは、
    固定長符号を解析して前記座標軸順序インデックスを取得することを含む、
    ことを特徴とする請求項６に記載の点群復号化方法。
  8. 前記ビットストリームを解析して座標軸順序インデックスを取得することは、
    前記ビットストリームにおけるパラメータセットのデータユニットに対応するビットストリームを解析することを含み、
    前記パラメータセットの前記データユニットは、前記点群データの復号化に使用されるパラメータを含む、
    ことを特徴とする請求項６に記載の点群復号化方法。
  9. 前記パラメータセットはシーケンス層のパラメータセット又はシーケンスパラメータセットである、
    ことを特徴とする請求項８に記載の点群復号化方法。
  10. 前記パラメータセットのデータユニットは、前記点群データの属性情報を含み、前記属性情報は、前記点群データにおける点に関連したスカラー属性又はベクトル属性であり、又は、
    前記パラメータセットのデータユニットは、前記点群データの幾何情報を含み、前記幾何情報は、前記点群データにおける点に関連したデカルト座標である、
    ことを特徴とする請求項８に記載の点群復号化方法。
  11. 前記処理順序は、Ｚ－Ｙ－Ｘ順序、Ｘ－Ｙ－Ｚ順序、Ｘ－Ｚ－Ｙ順序、Ｙ－Ｚ－Ｘ順序、Ｚ－Ｘ－Ｙ順序、及びＹ－Ｘ－Ｚ順序のうちのいずれかであり、Ｘ、Ｙ、Ｚは、前記点群データの３次元座標の座標軸である、
    ことを特徴とする請求項６に記載の点群復号化方法。
  12. 前記座標軸順序インデックスに基づいて、点群復号化プロセスにおける点群データの処理順序を確定することは、
    予め設定されたインデックスと処理順序との対応表に基づいて、前記座標軸順序インデックスに対応する前記処理順序を確定することを含む、
    ことを特徴とする請求項１１に記載の点群復号化方法。
  13. 前記予め設定されたインデックスと処理順序との対応表は以下を含む、
    Figure 0007490685000025
    ことを特徴とする請求項１２に記載の点群復号化方法。
  14. 符号器であって、第一確定部分、符号化部分及び変換部分を含み、
    前記第一確定部分は、点群符号化プロセスにおける点群データの処理順序を確定し、前記処理順序に対応する座標軸順序インデックスを確定するように構成されており、前記処理順序は前記点群データの３次元座標の座標軸処理順序を示し、前記点群データは点群におけるすべてのデータ又は一部のデータであり、
    前記符号化部分は、前記座標軸順序インデックスを符号化し、符号化ビットをビットストリームに書き込むように構成されており、
    前記変換部分は、前記処理順序に基づいて前記点群データを処理して、符号化しようとする点群データを取得するように構成されており、
    前記符号化部分はさらに、前記符号化しようとする点群データを符号化し、符号化ビットをビットストリームに書き込むように構成されている、
    ことを特徴とする符号器。
  15. 復号器であって、解析部分と第二確定部分を含み、
    前記解析部分は、ビットストリームを解析して座標軸順序インデックスを取得するように構成されており、
    前記第二確定部分は、前記座標軸順序インデックスに基づいて、点群復号化プロセスにおける点群データの処理順序を確定するように構成されており、前記処理順序は前記点群データの３次元座標の座標軸処理順序を示し、前記点群データは点群におけるすべてのデータ又は一部のデータであり、
    前記解析部分はさらに、ビットストリームを解析して前記点群データの復元データを取得するように構成されており、
    前記第二確定部分はさらに、前記処理順序に基づいて、前記復元データの記憶ユニットにおける前記点群データの座標データの位置を確定するように構成されている、
    ことを特徴とする復号器。
JP2021578172A 2019-07-03 2020-05-15 点群符号化方法、点群復号化方法、符号器、復号器及びコンピュータ記憶媒体 Active JP7490685B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962870553P 2019-07-03 2019-07-03
US62/870,553 2019-07-03
PCT/CN2020/090677 WO2021000658A1 (zh) 2019-07-03 2020-05-15 点云编解码方法、编码器、解码器及计算机存储介质

Publications (2)

Publication Number Publication Date
JP2022539411A JP2022539411A (ja) 2022-09-08
JP7490685B2 true JP7490685B2 (ja) 2024-05-27

Family

ID=74100862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021578172A Active JP7490685B2 (ja) 2019-07-03 2020-05-15 点群符号化方法、点群復号化方法、符号器、復号器及びコンピュータ記憶媒体

Country Status (6)

Country Link
US (4) US11509939B2 (ja)
EP (1) EP3979638A4 (ja)
JP (1) JP7490685B2 (ja)
KR (1) KR20220029595A (ja)
CN (2) CN113826385A (ja)
WO (1) WO2021000658A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220321912A1 (en) * 2019-08-09 2022-10-06 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
EP4040793A4 (en) * 2019-09-30 2023-01-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. TRANSFORMATION METHOD, INVERSE TRANSFORMATION METHOD, ENCODER, DECODER AND STORAGE MEDIUM
CN113096198B (zh) * 2021-03-01 2022-08-30 中山大学 一种双向点云属性预测压缩方法，装置，设备及介质
EP4329310A1 (en) * 2021-04-21 2024-02-28 LG Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2022257145A1 (zh) * 2021-06-11 2022-12-15 Oppo广东移动通信有限公司 点云属性的预测方法、装置及编解码器
KR20230008598A (ko) 2021-07-07 2023-01-16 한국전자통신연구원 포인트 클라우드 데이터 압축 방법 및 장치
WO2023211255A1 (ko) * 2022-04-28 2023-11-02 인텔렉추얼디스커버리 주식회사 포인트 클라우드 압축 방법 및 장치
CN115102935B (zh) * 2022-06-17 2024-02-09 腾讯科技（深圳）有限公司 一种点云编码方法、点云解码方法及相关设备
WO2024011370A1 (zh) * 2022-07-11 2024-01-18 Oppo广东移动通信有限公司 视频图像处理方法及装置、编解码器、码流、存储介质
CN115379190B (zh) * 2022-08-19 2024-04-26 腾讯科技（深圳）有限公司 一种点云处理方法、装置及计算机设备、存储介质
CN115379189B (zh) * 2022-08-19 2023-12-12 腾讯科技（深圳）有限公司 一种点云媒体的数据处理方法及相关设备
EP4345752A1 (en) * 2022-09-28 2024-04-03 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding positions of points of a point cloud comprised in cuboid volumes
WO2024085680A1 (ko) * 2022-10-19 2024-04-25 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018093886A1 (en) 2016-11-17 2018-05-24 Google Llc K-d tree encoding for point clouds using deviations
WO2019011636A1 (en) 2017-07-13 2019-01-17 Interdigital Vc Holdings, Inc. METHOD AND APPARATUS FOR ENCODING / DECODING THE GEOMETRY OF A POINT CLOUD REPRESENTING A 3D OBJECT
WO2019230920A1 (ja) 2018-06-01 2019-12-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020001565A1 (zh) 2018-06-30 2020-01-02 华为技术有限公司 点云编解码方法和编解码器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
CN108335335B (zh) * 2018-02-11 2019-06-21 北京大学深圳研究生院 一种基于增强图变换的点云属性压缩方法
CN108833927B (zh) * 2018-05-03 2019-08-16 北京大学深圳研究生院 一种基于删除量化矩阵中0元素的点云属性压缩方法
CN109257604B (zh) * 2018-11-20 2020-11-27 山东大学 一种基于tmc3点云编码器的颜色属性编码方法
JPWO2020218593A1 (ja) * 2019-04-25 2020-10-29
KR20220027882A (ko) * 2019-06-30 2022-03-08 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 변환 방법, 역변환 방법, 인코더, 디코더 및 저장 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018093886A1 (en) 2016-11-17 2018-05-24 Google Llc K-d tree encoding for point clouds using deviations
WO2019011636A1 (en) 2017-07-13 2019-01-17 Interdigital Vc Holdings, Inc. METHOD AND APPARATUS FOR ENCODING / DECODING THE GEOMETRY OF A POINT CLOUD REPRESENTING A 3D OBJECT
WO2019230920A1 (ja) 2018-06-01 2019-12-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020001565A1 (zh) 2018-06-30 2020-01-02 华为技术有限公司 点云编解码方法和编解码器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Khaled Mammou, Philip A. Chou, David Flynn, Maja Krivokuca, Ohji Nakagami and Toshiyasu Sugio，G-PCC codec description v2，CODING OF MOVING PICTURES AND AUDIO，ISO/IEC JTC1/SC29/WG11 N18189，INTERNATIONAL ORGANISATION FOR STANDARDISATION，2019年01月，pp.1-3,26-33，https://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w18189.zip

Also Published As

Publication number Publication date
US20240171779A1 (en) 2024-05-23
CN113826385A (zh) 2021-12-21
WO2021000658A1 (zh) 2021-01-07
US11902588B2 (en) 2024-02-13
JP2022539411A (ja) 2022-09-08
US20220124374A1 (en) 2022-04-21
KR20220029595A (ko) 2022-03-08
EP3979638A4 (en) 2022-09-21
US11509939B2 (en) 2022-11-22
US20230058703A1 (en) 2023-02-23
US20230047499A1 (en) 2023-02-16
CN114339215A (zh) 2022-04-12
US11902589B2 (en) 2024-02-13
EP3979638A1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
JP7490685B2 (ja) 点群符号化方法、点群復号化方法、符号器、復号器及びコンピュータ記憶媒体
CN113615181B (zh) 用于点云编解码的方法、装置
JP4759284B2 (ja) ３次元体積データの符号化／復号化方法及び装置
KR100695142B1 (ko) 적응적 ２의 ｎ 제곱 진트리 생성방법 및 이를 이용한 3차원 체적 데이터 부호화/복호화 방법 및 장치
US9532056B2 (en) Method for adaptive entropy coding of tree structures
JP4759291B2 (ja) 適応的２ｎ進ツリーの生成方法、ならびにそれを利用して３次元体積データを符号化／復号化する方法および装置
US10798389B2 (en) Method and apparatus for content-aware point cloud compression using HEVC tiles
WO2020123469A1 (en) Hierarchical tree attribute coding by median points in point cloud coding
JP2023530365A (ja) 点群の符号化及び復号方法
KR20220123034A (ko) 옥트리 기반의 포인트 클라우드 코딩에서의 평면 모드에 대한 컨텍스트 결정
US20220180567A1 (en) Method and apparatus for point cloud coding
US20220286677A1 (en) Point cloud processing method, encoder, decoder and storage medium
RU2778864C1 (ru) Неявное геометрическое разделение на основе квадродерева или бинарного дерева для кодирования облака точек
WO2024039703A1 (en) Dynamic mesh geometry refinement
WO2024086099A1 (en) Dynamic mesh geometry displacements for a single video plane
EP4233006A2 (en) Devices and methods for spatial quantization for point cloud compression

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240515

R150 Certificate of patent or registration of utility model

Ref document number: 7490685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150