JP7480775B2 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
JP7480775B2
JP7480775B2 JP2021507183A JP2021507183A JP7480775B2 JP 7480775 B2 JP7480775 B2 JP 7480775B2 JP 2021507183 A JP2021507183 A JP 2021507183A JP 2021507183 A JP2021507183 A JP 2021507183A JP 7480775 B2 JP7480775 B2 JP 7480775B2
Authority
JP
Japan
Prior art keywords
attribute information
point
unit
information
hierarchical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021507183A
Other languages
English (en)
Other versions
JPWO2020189296A1 (ja
Inventor
毅 加藤
智 隈
央二 中神
弘幸 安田
幸司 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020189296A1 publication Critical patent/JPWO2020189296A1/ja
Application granted granted Critical
Publication of JP7480775B2 publication Critical patent/JP7480775B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

本開示は、情報処理装置および方法に関し、特に、属性情報のスケーラブルな復号をより容易に行うことができるようにした情報処理装置および方法に関する。
従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法が考えられた（例えば非特許文献１参照）。ポイントクラウドのデータは、各ポイントの位置情報および属性情報により構成される。したがってポイントクラウドの符号化は、その位置情報と属性情報とのそれぞれについて行われる。属性情報の符号化方法として例えば、Liftingという技術を用いて行うことが提案された（例えば非特許文献２参照）。
ところで、このようなポイントクラウドの符号化データをスケーラブルに復号することが考えられた。例えば、広大な３次元空間をポイントクラウドにより表現する場合、その符号化データのデータ量は非常に大きくなる。その全て復号するのは負荷が不要に増大してしまうので、必要なオブジェクトのデータを必要な解像度で得られるようにスケーラブルに復号することが求められた。
R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf Khaled Mammou, Alexis Tourapis, Jungsun Kim, Fabrice Robinet, Valery Valentin, Yeping Su, "Lifting Scheme for Lossy Attribute Encoding in TMC1", ISO/IEC JTC1/SC29/WG11 MPEG2018/m42640, April 2018, San Diego, US
しかしながら、従来の符号化方法の場合、属性情報の符号化データの復号には最高解像度の位置情報が必要であった。そのために位置情報を不要に高解像度で復号しなければならず、復号処理の負荷が増大するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、属性情報のスケーラブルな復号をより容易に行うことができるようにするものである。
本技術の一側面の情報処理装置は、３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより前記属性情報の階層化を行う階層化部を備え、前記階層化部は、前記階層化の際に、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように前記予測ポイントを選択する情報処理装置である。
本技術の一側面の情報処理方法は、３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより前記属性情報の階層化を行い、前記階層化の際に、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように前記予測ポイントを選択する情報処理方法である。
本技術の他の側面の情報処理装置は、３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより階層化された前記属性情報の逆階層化を行う逆階層化部を備え、前記逆階層化部は、前記逆階層化の際に、各階層において、前記参照ポイントの前記属性情報と前記ポイントクラウドの最下層以外の階層の解像度の位置情報とを用いて前記予測ポイントの前記属性情報の予測値を導出し、前記予測値と前記差分値とを用いて前記予測ポイントの前記属性情報を導出する情報処理装置である。
本技術の他の側面の情報処理方法は、３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより階層化された前記属性情報の逆階層化を行い、前記逆階層化の際に、各階層において、前記参照ポイントの前記属性情報と前記ポイントクラウドの最下層以外の階層の解像度の位置情報とを用いて前記予測ポイントの前記属性情報の予測値を導出し、前記予測値と前記差分値とを用いて前記予測ポイントの前記属性情報を導出する情報処理方法である。
本技術のさらに他の側面の情報処理装置は、３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造を示す情報を生成する生成部と、前記生成部により生成された前記情報に基づいて、前記位置情報の階層構造に対応するように、前記ポイントクラウドの属性情報の階層化を行う階層化部とを備える情報処理装置である。
本技術のさらに他の側面の情報処理装置は、３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造を示す情報を生成する生成部と、前記生成部により生成された前記情報に基づいて、前記ポイントクラウドの属性情報の階層構造が前記位置情報の階層構造に対応するものとして、前記属性情報の逆階層化を行う逆階層化部とを備える情報処理装置である。
本技術の一側面の情報処理装置および方法においては、３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、そのポイントクラウドの各ポイントを属性情報と予測値との差分値を残すポイントである予測ポイントとその予測値の導出の際に属性情報を参照されるポイントである参照ポイントとに分類する処理を参照ポイントに対して再帰的に繰り返すことにより属性情報の階層化が行われ、その階層化の際に、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように予測ポイントが選択される。
本技術の他の側面の情報処理装置および方法においては、３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、そのポイントクラウドの各ポイントを属性情報と予測値との差分値を残すポイントである予測ポイントとその予測値の導出の際に属性情報を参照されるポイントである参照ポイントとに分類する処理を参照ポイントに対して再帰的に繰り返すことにより階層化された属性情報の逆階層化が行われ、その逆階層化の際に、各階層において、参照ポイントの属性情報とポイントクラウドの最下層以外の階層の解像度の位置情報とを用いて予測ポイントの属性情報の予測値が導出され、その予測値と差分値とを用いて予測ポイントの属性情報が導出される。
本技術のさらに他の側面の情報処理装置においては、３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造を示す情報が生成され、その生成された情報に基づいて、位置情報の階層構造に対応するように、そのポイントクラウドの属性情報の階層化が行われる。
本技術のさらに他の側面の情報処理装置においては、３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造を示す情報が生成され、その生成された情報に基づいて、そのポイントクラウドの属性情報の階層構造がその位置情報の階層構造に対応するものとして、その属性情報の逆階層化が行われる。
位置情報の階層化の例を説明する図である。 Liftingの例を説明する図である。 Liftingの例を説明する図である。 Liftingの例を説明する図である。 量子化の例を説明する図である。 属性情報の階層化方法の例を説明する図である。 属性情報の階層化の例を説明する図である。 属性情報の逆階層化の例を説明する図である。 属性情報の階層化の例を説明する図である。 属性情報の階層化の例を説明する図である。 属性情報の逆階層化の例を説明する図である。 量子化方法の例を説明する図である。 量子化の例を説明する図である。 符号化装置の主な構成例を示すブロック図である。 属性情報符号化部の主な構成例を示すブロック図である。 階層化処理部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 属性情報符号化処理の流れの例を説明するフローチャートである。 階層化処理の流れの例を説明するフローチャートである。 量子化処理の流れの例を説明するフローチャートである。 階層化処理の流れの例を説明するフローチャートである。 量子化処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 属性情報復号部の主な構成例を示すブロック図である。 逆階層化処理部の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 属性情報復号処理の流れの例を説明するフローチャートである。 逆量子化処理の流れの例を説明するフローチャートである。 逆階層化処理の流れの例を説明するフローチャートである。 逆量子化処理の流れの例を説明するフローチャートである。 DCMが適用された位置情報のOctreeの例を示す図である。 属性情報の処理において参照されるOctreeの例を示す図である。 属性情報の符号化におけるOctreeの例を示す図である。 属性情報の復号におけるOctreeの例を示す図である。 属性情報の符号化におけるOctreeの例を示す図である。 属性情報の復号におけるOctreeの例を示す図である。 QuantizationWeightの導出例を示す図である。 位置情報の階層構造の例を示す図である。 ラベル付けの例を示す図である。 位置情報の階層構造の例を示す図である。 ラベル付けの例を示す図である。 ラベル付けの例を示す図である。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 階層化処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 逆階層化処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．スケーラブル復号
２．第１の実施の形態（符号化装置）
３．第２の実施の形態（復号装置）
４．DCM
５．QuantizationWeight
６．LoDGeneration
７．付記
＜１．スケーラブル復号＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献４：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
非特許文献５：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
非特許文献６：Sebastien Lasserre, David Flynn, "[PCC] Inference of a mode using point location direct coding in TMC3", ISO/IEC JTC1/SC29/WG11 MPEG2018/m42239, January 2018, Gwangju, Korea
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献４に記載されているQuad-Tree Block Structure、非特許文献４に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
＜ポイントクラウド＞
従来、点の位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）や、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ（Mesh）等の３Ｄデータが存在した。
例えばポイントクラウドの場合、立体構造物（３次元形状のオブジェクト）を多数の点の集合として表現する。つまり、ポイントクラウドのデータ（ポイントクラウドデータとも称する）は、このポイントクラウドの各点の位置情報や属性情報により構成される。属性情報には、例えば、色情報、反射率情報、法線情報等が含まれる。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造物を十分な精度で表現することができる。
＜Octree＞
このようなポイントクラウドデータはそのデータ量が比較的大きいので、例えば非特許文献１に記載のように、符号化によるデータ量を圧縮することが考えられた。例えば、まず、ポイントクラウドの位置情報を符号化（復号）し、続いて属性情報を符号化（復号）する。位置情報は、符号化の際に、ボクセルを用いて量子化され、さらにOctree化により階層化される。
ボクセルは、３次元空間を分割する所定の大きさの小領域である。このボクセル毎にポイントが配置されるように位置情報が補正される。２次元として説明すると、例えば図１のＡに示されるように、ある領域１０が、四角形で示されるボクセル１１－１により分割され、そのボクセル１１－１毎に黒丸で示されるポイント１２－１が配置されるように各ポイント１２－１の位置情報が補正される。つまり、このボクセルの大きさによって位置情報が量子化される。なお、図１のＡにおいては、１つのボクセル１１－１にのみ符号を付しているが、図１のＡの領域１０内の全ての四角がボクセル１１－１である。同様に、図１のＡに示される全ての黒丸がポイント１２－１である。
Octreeでは、１つのボクセルがx,y,zの各方向に２分割されて（すなわち８分割されて）１つ下位の階層（LoDとも称する）のボクセルが形成される。換言するに、x,y,zの各方向に並ぶ２つのボクセル（すなわち８個のボクセル）が統合されて、１つ上位の階層（LoD）のボクセルが形成される。そして、各階層において位置情報がボクセルによって量子化される。
例えば図１のＡの場合、２次元なので、図１のＢのように上下左右に並ぶ４つのボクセル１１－１が統合されて、太線で示される１つ上位のボクセル１１－２が形成される。そしてこのボクセル１１－２を用いて位置情報が量子化される。つまり、ボクセル１１－２内に、ポイント１２－１（図１のＡ）が存在する場合、その位置情報を補正することにより、そのポイント１２－１が、ボクセル１１－２に対応するポイント１２－２に変換される。なお、図１のＢにおいては、１つのボクセル１１－１にのみ符号を付しているが、図１のＢの領域１０内の点線で示される全ての四角がボクセル１１－１である。また、図１のＢにおいては、１つのボクセル１１－２にのみ符号を付しているが、図１のＢの領域１０内の太線で示される全ての四角がボクセル１１－２である。同様に、図１のＢに示される全ての黒丸がポイント１２－２である。
同様に、図１のＣのように、上下左右に並ぶ４つのボクセル１１－２が統合されて、太線で示される１つ上位のボクセル１１－３が形成される。そしてこのボクセル１１－３を用いて位置情報が量子化される。つまり、ボクセル１１－３内に、ポイント１２－２（図１のＢ）が存在する場合、その位置情報を補正することにより、そのポイント１２－２が、ボクセル１１－３に対応するポイント１２－３に変換される。なお、図１のＣにおいては、１つのボクセル１１－２にのみ符号を付しているが、図１のＣの領域１０内の点線で示される全ての四角がボクセル１１－２である。また、図１のＣにおいては、１つのボクセル１１－３にのみ符号を付しているが、図１のＣの領域１０内の太線で示される全ての四角がボクセル１１－３である。同様に、図１のＣに示される全ての黒丸がポイント１２－３である。
同様に、図１のＤのように、上下左右に並ぶ４つのボクセル１１－３が統合されて、太線で示される１つ上位のボクセル１１－４が形成される。そしてこのボクセル１１－４を用いて位置情報が量子化される。つまり、ボクセル１１－４内に、ポイント１２－３（図１のＣ）が存在する場合、その位置情報を補正することにより、そのポイント１２－３が、ボクセル１１－４に対応するポイント１２－４に変換される。なお、図１のＤにおいては、１つのボクセル１１－３にのみ符号を付しているが、図１のＤの領域１０内の点線で示される全ての四角がボクセル１１－３である。
このようにすることにより、位置情報がボクセルの階層構造に対応して階層化される。
＜Lifting＞
これに対して属性情報を符号化する際は、符号化による劣化を含め位置情報を既知であるものとして、点間の位置関係を利用して符号化を行う。このような属性情報の符号化方法として、RAHT（Region Adaptive Hierarchical Transform）や、非特許文献２に記載のようなLiftingと称する変換を用いる方法が考えられた。これらの技術を適用することにより、位置情報のOctreeのように、属性情報を階層化することもできる。
例えばLiftingの場合、各ポイントの属性情報は、他のポイントの属性情報を用いて導出される予測値との差分値として符号化される。そして、その差分値の導出（つまり予測値の導出）を行うポイントが階層的に選択される。
例えば２次元として説明すると、図２のＡに示される階層において、丸で示される各ポイント（P0乃至P9）の内、白丸で示されるポイントP7、P8、P9が、予測値が導出されるポイントである予測ポイントとして選択され、それ以外のポイントP0乃至P6は、その予測値導出の際に属性情報を参照されるポイントである参照ポイントとして選択される。そして、予測ポイントP7の予測値は、参照ポイントP0およびP1の属性情報を参照して導出される。予測ポイントP8の予測値は、参照ポイントP2およびP3の属性情報を参照して導出される。予測ポイントP9の予測値は、参照ポイントP4乃至P6の属性情報を参照して導出される。つまり、この階層においては、ポイントP7乃至P9のそれぞれの差分値が導出される。
その１つ上位の階層においては、図２のＢに示されるように、図２のＡの階層（１つ下位の階層）において参照ポイントに選択されたポイント（P0乃至P6）に対して、図２のＡの階層の場合と同様の予測ポイントと参照ポイントとの分類（仕分け）が行われる。
例えば、図２のＢにおいてグレーの丸で示されるポイントP1、P3、P6が予測ポイントとして選択され、黒丸で示されるポイントP0、P2、P4、P5が参照ポイントとして選択される。そして、予測ポイントP1の予測値は、参照ポイントP0およびP2の属性情報を参照して導出される。予測ポイントP3の予測値は、参照ポイントP2およびP4の属性情報を参照して導出される。予測ポイントP6の予測値は、参照ポイントP4およびP5の属性情報を参照して導出される。つまり、この階層においては、ポイントP1、P3、P6のそれぞれの差分値が導出される。
その１つ上位の階層においては、図２のＣに示されるように、図２のＢの階層（１つ下位の階層）において参照ポイントに選択されたポイント（P0、P2、P4、P5）の分類（仕分け）が行われる。
このような分類を、１つ下位の階層の参照ポイントに対して再帰的に繰り返すことにより、属性情報が階層化される。
＜ポイントの分類＞
このLiftingにおけるポイントの分類（仕分け）の手順をより具体的に説明する。Liftingにおいてポイントの分類は、上述のように下位層から上位層に向かう順に行われる。各階層においては、まず、各ポイントをモートンコード順に整列させる。次に、そのモートンコード順に並ぶポイントの列の先頭のポイントを参照ポイントに選択する。次に、その参照ポイントの近傍に位置するポイント（近傍点）を探索し、探索されたポイント（近傍点）を予測ポイント（インデックスポイントとも称する）に設定する。
例えば、図３に示されるように、処理対象の参照ポイント２１を中心に半径Ｒの円２２内においてポイントを探索する。この半径Ｒは階層毎に予め設定されている。図３の例の場合、ポイント２３－１乃至ポイント２３－４が検出され、予測ポイントに設定される。
次に、残りのポイントについて同様の分類を行う。つまり、現時点において参照ポイントにも予測ポイントにも選択されていないポイントの内、モートンコード順に先頭のポイントを参照ポイントに選択し、その参照ポイント近傍のポイントを探索し、予測ポイントに設定する。
全てのポイントを分類するまで上述の処理を繰り返したら、その階層の処理が終了し、処理対象が１つ上位の階層に移る。そして、その階層について、上述の手順が繰り返される。つまり、１つ下位の階層において参照ポイントに選択された各ポイントがモートンコード順に整列され、上述のように参照ポイントと予測ポイントに分類される。以上のような処理を繰り返すことにより、属性情報が階層化される。
＜予測値の導出＞
また上述したようにLiftingの場合、予測ポイントの属性情報の予測値は、その予測ポイント周辺の参照ポイントの属性情報を用いて導出される。例えば、図４に示されるように、予測ポイントQ(i,j)の予測値を、参照ポイントP1乃至P3の属性情報を参照して導出するとする。この場合、以下の式（１）のように、各参照ポイントの属性情報が、予測ポイントとその参照ポイントとの距離の逆数に応じた重み値（α(P,Q(i,j))）により重み付けされて統合されて導出される。ここでA(P)は、ポイントPの属性情報を示す。
Figure 0007480775000001
この予測ポイントとその参照ポイントとの距離の導出に、最高解像度（つまり最下位層）の位置情報が用いられていた。
＜量子化＞
また、属性情報は、上述のように階層化された後、量子化されて符号化される。その量子化の際に、各ポイントの属性情報（差分値）は、階層構造に応じて図５の例のように重み付けされる。この重み値（Quantization Weight）Ｗは、図５に示されるように、下位層の重み値を用いてポイント毎に導出される。なお、この重み値は、圧縮効率を向上させるために、Lifting（属性情報の階層化）においても利用され得る。
＜階層構造の不一致＞
上述したように属性情報の階層化の方法は、位置情報のOctreeの場合と異なるので、属性情報の階層構造が位置情報の階層構造と一致することが保証されない。そのため、中間解像度（最下位層よりも上位の階層）において、属性情報のポイントと位置情報のポイントが一致せず、その中間解像度の位置情報を用いても属性情報の予測を正しく行うことができない（つまり、属性情報の逆階層化が困難である）というケースが発生するおそれがあった。
換言するに、属性情報を正しく復号（逆階層化）するためには、その階層に関わらず、位置情報を最下位層まで復号する必要があり、復号処理の負荷が増大するおそれがあった。
＜位置の不一致＞
また上述したように位置情報はボクセルにより量子化されるので、階層によってポイントの位置情報が変化する可能性がある。そのため、中間解像度の位置情報では属性情報の予測を正しく行うことができない（つまり、属性情報の逆階層化が困難である）というケースが発生するおそれがあった。
換言するに、属性情報を正しく復号（逆階層化）するためには、その階層に関わらず、位置情報を最下位層まで復号する必要があり、復号処理の負荷が増大するおそれがあった。
＜属性情報の階層化：方法１＞
そこで、図６に示される表の一番上の行に記載のように、ポイントが存在するボクセルが属する１つ上位の階層（LoD）のボクセルに属性情報が残るように予測ポイントを選択する（方法１）。
つまり、３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、そのポイントクラウドの各ポイントを属性情報と予測値との差分値を残すポイントである予測ポイントと予測値の導出の際に属性情報を参照されるポイントである参照ポイントとに分類する処理を参照ポイントに対して再帰的に繰り返すことにより属性情報の階層化を行い、その階層化の際に、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように予測ポイントを選択するようにする。
例えば、情報処理装置において、３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、そのポイントクラウドの各ポイントを属性情報と予測値との差分値を残すポイントである予測ポイントと予測値の導出の際に属性情報を参照されるポイントである参照ポイントとに分類する処理を参照ポイントに対して再帰的に繰り返すことにより属性情報の階層化を行う階層化部を備え、その階層化部は、その階層化の際に、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように予測ポイントを選択するようにする。
２次元として説明すると、例えば符号化は図７のように行われる。例えば、図７のＡに示されるように、所定の空間領域１００において、ポイント１０２－１乃至ポイント１０２－９が所定の階層のボクセル１０１－１毎に配置されるように、位置情報が設定されているとする。なお、ボクセル１０１－１乃至ボクセル１０１－３を互いに区別して説明する必要が無い場合、ボクセル１０１と称する。また、ポイント１０２－１乃至ポイント１０２－９を互いに区別して説明する必要が無い場合、ポイント１０２と称する。
この階層において、図７のＢに示されるように、ポイント１０２－１乃至ポイント１０２－９が存在するボクセル１０１－１の１つ上位階層のボクセル１０１－２にもポイントが存在するように、ポイント１０２－１乃至ポイント１０２－９を予測ポイントと参照ポイントに分類する。図７のＢの例では、白丸で示されるポイント１０２－３、ポイント１０２－５、およびポイント１０２－８が予測ポイントに設定され、その他のポイントが参照ポイントに設定されている。
１つ上位の階層においても同様に、ポイント１０２－１、ポイント１０２－２、ポイント１０２－４、ポイント１０２－６、ポイント１０２－７、ポイント１０２－９が存在するボクセル１０１－２の１つ上位階層のボクセル１０１－３にもポイントが存在するように、これらのポイント１０２を予測ポイントと参照ポイントに分類する（図７のＣ）。図７のＣの例では、グレーの丸で示されるポイント１０２－１、ポイント１０２－４、およびポイント１０２－７が予測ポイントに設定され、その他のポイントが参照ポイントに設定されている。
このようにすることにより、図７のＤに示されるように、下位層においてポイント１０２が存在するボクセル１０１－３には、ポイント１０２が１つ存在するように階層化される。このような処理を各階層について行う。つまり、Octreeと同様の階層化を実現することができる。
復号は、例えば図８のように、図７の逆順で行われる。例えば、図８のＡに示されるように、所定の空間領域１００において、ポイント１０２－２、ポイント１０２－６、ポイント１０２－９が所定の階層のボクセル１０１－３毎に配置されるように、位置情報が設定されているとする（図７のＤと同様の状態）。
この１つ下位の階層においては、図８のＢに示されるように、ボクセル１０１－３毎のポイント１０２－２、ポイント１０２－６、ポイント１０２－９の属性情報を用いて、ポイント１０２－１、ポイント１０２－４、ポイント１０２－７の予測値を導出して差分値に加算し、ボクセル１０１－２毎のポイント１０２の属性情報を復元する（図７のＣと同様の状態）。
さらに、１つ下位の階層においても同様に、図８のＣに示されるように、ボクセル１０１－２毎のポイント１０２－１、ポイント１０２－２、ポイント１０２－４、ポイント１０２－６、ポイント１０２－７、ポイント１０２－９の属性情報を用いて、ポイント１０２－３、ポイント１０２－５、ポイント１０２－８の予測値を導出して差分値に加算し、属性情報を復元する（図７のＢと同様の状態）。
このようにすることにより、図８のＤに示されるように、ボクセル１０１－１毎のポイント１０２の属性情報が復元される（図７のＡと同様の状態）。つまり、Octreeの場合と同様に、上位階層の属性情報を用いて各階層の属性情報を復元することができる。
このようにすることにより、属性情報の階層構造を位置情報の階層構造に対応付けることができる。したがって、中間解像度においても各属性情報に対応する位置情報が得られるので、その中間解像度で位置情報および属性情報を復号することにより、属性情報を正しく復号することができる。したがって、属性情報のスケーラブルな復号をより容易に行うことができる。
＜属性情報の階層化：方法１－１＞
上述の方法１を適用した場合の予測値導出の際に、図６に示される表の上から２番目の行に記載のように、符号化・復号の両方において、現在階層（LoD）の解像度の位置情報を用いて予測値を導出するようにしてもよい（方法１－１）。
例えば、３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、そのポイントクラウドの各ポイントを属性情報と予測値との差分値を残すポイントである予測ポイントとその予測値の導出の際に属性情報を参照されるポイントである参照ポイントとに分類する処理を参照ポイントに対して再帰的に繰り返すことにより階層化された属性情報の逆階層化を行い、その逆階層化の際に、各階層において、参照ポイントの属性情報とポイントクラウドの最下層以外の階層の解像度の位置情報とを用いて予測ポイントの属性情報の予測値を導出し、その予測値と差分値とを用いて予測ポイントの属性情報を導出するようにしてもよい。
また例えば、情報処理装置において、３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、そのポイントクラウドの各ポイントを属性情報と予測値との差分値を残すポイントである予測ポイントとその予測値の導出の際に属性情報を参照されるポイントである参照ポイントとに分類する処理を参照ポイントに対して再帰的に繰り返すことにより階層化された属性情報の逆階層化を行う逆階層化部を備え、その逆階層化部は、その逆階層化の際に、各階層において、参照ポイントの属性情報とポイントクラウドの最下層以外の階層の解像度の位置情報とを用いて予測ポイントの属性情報の予測値を導出し、その予測値と差分値とを用いて予測ポイントの属性情報を導出するようにしてもよい。
さらに例えば、逆階層化において、参照ポイントの属性情報と、参照ポイントおよび予測ポイントのカレント階層の解像度の位置情報とを用いて、予測値を導出するようにしてもよい。
図４を参照して説明したように、予測ポイントの予測値の導出は、予測ポイントと参照ポイントとの距離に応じて重み付けした参照ポイントの属性情報を用いて行われる。
この距離の導出を、符号化・復号のどちらの場合も、処理対象である現在階層（カレント階層）の解像度の位置情報を用いて行うようにしてもよい。つまり、階層化において、ポイントクラウドのカレント階層の解像度の位置情報に基づく距離に応じて重み付けした参照ポイントの属性情報を用いて予測ポイントの予測値を導出するようにしてもよい。
符号化の場合、図７のＢにおいては、ボクセル１０１－１の解像度の位置情報を用いて予測ポイントと参照ポイントとの距離を導出し、図７のＣにおいては、ボクセル１０１－２の解像度の位置情報を用いて予測ポイントと参照ポイントとの距離を導出する。復号の場合も同様に、図８のＢにおいては、ボクセル１０１－２の解像度の位置情報を用いて予測ポイントと参照ポイントとの距離を導出し、図８のＣにおいては、ボクセル１０１－１の解像度の位置情報を用いて予測ポイントと参照ポイントとの距離を導出する。
このようにすることにより、符号化と復号の両方において互いに同一の距離を導出することができる。つまり、互いに同一の予測値を導出することができる。したがって、属性情報を中間解像度で復号する場合も、距離算出の誤差による精度の低減（復号による誤差の増大）を抑制することができる。より具体的には、属性情報を中間解像度で復号する場合、後述する方法１－１’の場合よりも正確に復号することができる。また、後述する方法１－２の場合よりも符号化・復号の負荷の増大を抑制することができる。
なお、復号（逆階層化）の場合（図８）、中間解像度の各ポイントの位置情報と属性情報とからでは、互いの対応関係が不明である。例えば、図８のＢにおいて、各ポイント１０２が、どのボクセル１０１－２に存在するのかが不明確である。そこで、階層化の場合と同様に位置情報を用いて属性情報の階層化（復号する中間解像度までの階層化）を行うことにより、各階層において各ポイントの属性情報と位置情報とを対応付けるようにしてもよい。このようにすることにより、より正確に逆階層化を行うことができる。
＜属性情報の階層化：方法１－１’＞
なお、上述の方法１を適用した場合の予測値導出の際に、図６に示される表の上から３番目の行に記載のように、復号において、現在階層（LoD）の解像度の位置情報を用いて予測値を導出するようにしてもよい（方法１－１’）。つまり、符号化においては、最大解像度（最下層の解像度）の位置情報は既知であるので、その最大解像度の位置情報を用いて予測値（より具体的には、予測値の導出に用いられる参照ポイントと予測ポイントの距離）を導出するようにしてもよい。
つまり、ポイントクラウドの最下層の解像度の位置情報に基づく距離に応じて重み付けした参照ポイントの属性情報を用いて予測ポイントの予測値を導出するようにしてもよい。
例えば、図９のＡに示される階層（図７のＡと同一の階層）を最下層であるとすると、ポイント１０２－３、ポイント１０２－５、ポイント１０２－８の予測値導出は、図９のＢに示されるように、ボクセル１０１－１の解像度の位置情報を用いて行われる。これは図７のＢの場合と同様である。
ただし、この場合、図９のＣに示されるように、ポイント１０２－１、ポイント１０２－４、ポイント１０２－７の予測値導出も、図９のＢの場合と同様に、ボクセル１０１－１の解像度の位置情報を用いて行われる。つまり、図９のＤに示されるように、ボクセル１０１－３毎のポイント１０２－２、ポイント１０２－６、ポイント１０２－９の位置情報もボクセル１０１－１の解像度を有する。
このようにすることにより、方法１－１の場合に比べて予測精度を向上させることができるので、方法１－１の場合よりも符号化効率を向上させることができる。ただし、復号の際には、図９のＤに示されるように、ボクセル１０１－３毎のポイント１０２－２、ポイント１０２－６、ポイント１０２－９の位置情報がボクセル１０１－１の解像度を有することができないので、復号は図８の場合（方法１－１）と同様に行われる。つまり、符号化と復号とで互いに異なる解像度の位置情報を用いて参照ポイントと予測ポイントの距離が導出される。
＜属性情報の階層化：方法１－２＞
また、上述の方法１を適用した場合の予測値導出の際に、図６に示される表の一番下の行に記載のように、仮想の参照ポイントを用いて予測値を導出するようにしてもよい（方法１－２）。つまり、階層化において、カレント階層のポイントを全て予測ポイントに分類し、１つ上位階層のボクセル内に参照ポイントを設定し、参照ポイントの属性情報を用いて各予測ポイントの予測値を導出するようにしてもよい。
また、例えば、逆階層化において、参照ポイントの属性情報と、参照ポイントのカレント階層の１つ上位階層の解像度の位置情報と、予測ポイントのカレント階層の解像度の位置情報とを用いて、各予測ポイントの予測値を導出するようにしてもよい。
２次元として説明すると、例えば符号化は図１０のように行われる。図１０のＡは、図７と同一の階層を示しており、空間領域１００には、ポイント１０２－１乃至ポイント１０２－９と同様のボクセル１０１－１毎のポイント１１１－１乃至ポイント１１１－９が存在している。なお、ポイント１１１－１乃至ポイント１１１－９を互いに区別して説明する必要が無い場合、ポイント１１１と称する。
この場合、図７の場合と異なり、ポイント１１１－１乃至ポイント１１１－９は全て予測ポイントに設定される。そして、図１０のＢに示されるように、ボクセル１０１－１の１つ上位の階層の、それらの予測ポイント（ポイント１１１）が存在するボクセル１０１－１が属するボクセル１０１－２に、参照ポイントとして、ボクセル１０１－２毎の仮想のポイント１１２－１乃至ポイント１１２－７が設定される。なお、ポイント１１２－１乃至ポイント１１２－７を互いに区別して説明する必要が無い場合、ポイント１１２と称する。
新たに設定した仮想のポイント１１２の属性情報は、リカラー処理することにより、近傍のポイント１１１の属性情報を用いて導出する。なお、ポイント１１２の位置は、ボクセル１０１－２内であれば任意であり、図１０のＢに示される中央以外であってもよい。
図１０のＢに示されるように、各予測ポイント（ポイント１１１）の予測値は、これらの参照ポイント（ポイント１１２）を用いて導出される。
そして、その１つ上の階層においては、図１０のＣに示されるように、図１０のＢにおいて設定したポイント１１２が予測ポイントに設定される。そして、図１０のＢの場合と同様に、ボクセル１０１－２の１つ上位の階層の、それらの予測ポイント（ポイント１１２）が存在するボクセル１０１－２が属するボクセル１０１－３に、参照ポイントとして、ボクセル１０１－３毎の仮想のポイント１１３－１乃至ポイント１１３－３が設定される。なお、ポイント１１３－１乃至ポイント１１３－３を互いに区別して説明する必要が無い場合、ポイント１１３と称する。
新たに設定した仮想のポイント１１３の属性情報は、ポイント１１２の場合と同様にリカラー処理により導出される。図１０のＣに示されるように、各予測ポイント（ポイント１１２）の予測値は、これらの参照ポイント（ポイント１１３）を用いて導出される。
このようにすることにより、図１０のＤに示されるように、下位層においてポイント１１１が存在するボクセル１０１－３には、ポイント１１３が１つ存在するように階層化される。このような処理を各階層について行う。つまり、Octreeと同様の階層化を実現することができる。
復号は、例えば図１１のように、図１０の逆順で行われる。例えば、図１１のＡに示されるように、所定の空間領域１００において、ポイント１１３－１乃至ポイント１１３－３が所定の階層のボクセル１０１－３毎に配置されるように、位置情報が設定されているとする（図１０のＤと同様の状態）。
この１つ下位の階層においては、図１１のＢに示されるように、ボクセル１０１－３毎のポイント１１３－１乃至ポイント１１３－３の属性情報を用いて、ポイント１１２－１乃至ポイント１１２－７の予測値を導出して差分値に加算し、ボクセル１０１－２毎のポイント１１２の属性情報を復元する（図１０のＣと同様の状態）。
さらに、１つ下位の階層においても同様に、図１１のＣに示されるように、ボクセル１０１－２毎のポイント１１２－１乃至ポイント１１２－７の属性情報を用いて、ポイント１１１－１乃至ポイント１１１－９の予測値を導出して差分値に加算し、属性情報を復元する（図１０のＢと同様の状態）。
このようにすることにより、図１１のＤに示されるように、ボクセル１０１－１毎のポイント１１１の属性情報が復元される（図１０のＡと同様の状態）。つまり、Octreeの場合と同様に、上位階層の属性情報を用いて各階層の属性情報を復元することができる。
また、この場合、リカラー処理された仮想のポイントを用いて予測を行うので、方法１－１や方法１－１’の場合と比べて予測精度を向上させることができる。つまり、方法１－１や方法１－１’の場合よりも符号化効率を向上させることができる。また、この方法の場合、符号化と復号において互いに同一の解像度の位置情報を用いて参照ポイントと予測ポイントの距離を導出することができるので、方法１－１'の場合よりも正確に復号することができる。ただし、この場合、仮想のポイントを設定したり、リカラー処理を行ったりするので、その分、負荷は増大する。
＜属性情報の階層化：組み合わせ＞
なお、上述した各方法のいずれかを選択して適用することができるようにしてもよい。その場合、符号化側が方法を選択して適用し、そのいずれの方法を選択したかを示す情報を、符号化側から復号側に伝送し、復号側がその情報に基づいて符号化側と同一の方法を適用するようにすればよい。
＜重み値の導出の際の下位層の参照＞
ところで＜量子化＞において説明したように、属性情報（差分値）の量子化や、階層化に用いられる重み値（Quantization Weight）Ｗは、下位層の重み値を用いてポイント毎に導出される。したがって、復号の際には、中間解像度の属性情報を逆量子化するために、それより下位層の重み値が必要であった。つまり、スケーラブルな復号を行うことが困難であった。換言するに、所望の中間解像度の属性情報を復号するために、全ての階層を復号しなければならないので、復号処理の負荷が増大するおそれがあった。
＜重み値：方法１＞
そこで、図１２に示される表の一番上の行に記載のように、上述のポイント毎の重み値の代わりに、階層（LoD）毎の重み値を用いて属性情報の量子化・逆量子化を行うようにしてもよい（方法１）。つまり、上述のように生成された各階層の各ポイントの差分値を、階層毎の重み値を用いて量子化・逆量子化するようにしてもよい。
例えば、図１３に示されるように、ある階層LoD（N）に対して重み値（Quantization Weight）をC0に設定し、その階層LoD（N）の全てのポイントの属性情報（差分値）を、重み値C0を用いて量子化・逆量子化する。また、その１つ上位の階層LoD（N-1）に対する重み値をC1に設定し、その階層LoD（N-1）の全てのポイントの属性情報（差分値）を、重み値C1を用いて量子化・逆量子化する。さらに、その１つ上位の階層LoD（N-2）に対する重み値をC2に設定し、その階層LoD（N-2）の全てのポイントの属性情報（差分値）を、重み値C2を用いて量子化・逆量子化する。
なお、これらの重み値C0、C1、C2は、互いに独立に設定する。ポイント毎の重み値を用いる場合、同階層のポイント間での重み付けをどのように行うかを考慮する必要があるので、処理が複雑になるだけでなく、例えば下位層の情報が必要になる等、階層毎の重み値の独立化が困難になるおそれもある。これに対して階層毎の重み値は、より容易に、互いに独立に導出することができる。
このような階層間で独立な重み値を適用することにより、下位層に依存しない量子化・逆量子化が可能になる。つまり、上述のように下位層の情報の参照が不要であるので、より容易にスケーラブルな復号を実現することができる。
なお、上位の階層の重み値程、値が大きくなるようにしてもよい（図１３の例の場合、C0≦C1≦C2）。一般的に、階層化された属性情報は、より上位の階層のもの程より多くのポイントの属性情報に影響を及ぼす（直接的または間接的に予測値の導出に用いられる）ので、より重要である。したがって、より上位の階層の属性情報（差分値）を、より大きな値の重み値を用いて量子化・逆量子化することにより、符号化・復号の精度の低減を抑制することができる。
＜重み値：方法１－１＞
また、方法１を適用する場合、図１２に示される表の上から２番目の行に記載のように、符号化と復号において重み値を導出するための関数（重み値導出関数）を共有するようにしてもよい（方法１－１）。つまり、符号化と復号において、互いに同一の重み値導出関数を用いて、上述の階層毎の重み値を導出するようにしてもよい。このようにすることにより、符号化と復号において、互いに同一の重み値を導出することができるので、量子化・逆量子化による精度の低減を抑制することができる。
なお、この重み値導出関数はどのような関数であってもよい。つまり、この重み値導出関数により導出される各階層の重み値は任意である。例えば、階層が上位である程大きな重み値が得られるような関数（階層に応じて単調増加する関数）であってもよい。また、その重み値の階層毎の増加率は一定であってもよいし、一定でなくてもよい。さらに、この重み値導出関数により導出される重み値の範囲も任意である。
＜重み値：方法１－１－１＞
また、その場合、図１２に示される表の上から３番目の行に記載のように、所定の関数を予め共有するようにしてもよい（方法１－１－１）。つまり、符号化と復号において、予め定められた互いに同一の重み値導出関数を用いて、上述の階層毎の重み値を導出するようにしてもよい。このようにすることにより、より容易に符号化と復号において重み値導出関数を共有することができる。
＜重み値：方法１－１－２＞
また、図１２に示される表の上から４番目の行に記載のように、重み値導出関数を定義するパラメータ（例えば、関数を指定する情報や係数等）を共有するようにしてもよい（方法１－１－２）。つまり、符号化の際に重み値導出関数を定義し、その重み値導出関数を定義するパラメータを復号側に伝送する（ビットストリームに含める）ようにしてもよい。つまり、量子化された差分値と、階層毎の重み値を導出する際に用いられる関数を定義するパラメータとを符号化し、符号化データを生成するようにしてもよい。そして、その符号化データを復号し、量子化された差分値と、階層毎の重み値を導出する際に用いられる関数を定義するパラメータとを取得するようにしてもよい。このようにすることにより、ビットストリームに含まれるパラメータに基づいて符号化の際に用いられた重み値導出関数を容易に復元することができるので、復号においても容易に符号化の場合と同一の重み値導出関数を適用することができる。
＜重み値：方法１－２＞
また、方法１を適用する場合、図１２に示される表の上から５番目の行に記載のように、符号化と復号において重み値を共有するようにしてもよい（方法１－２）。つまり、符号化と復号において、互いに同一の重み値を用いて量子化・逆量子化を行うようにしてもよい。このようにすることにより、量子化・逆量子化による精度の低減を抑制することができる。なお、各階層の重み値の大きさは任意である。
＜重み値：方法１－２－１＞
また、その場合、図１２に示される表の上から６番目の行に記載のように、所定の重み値を予め共有するようにしてもよい（方法１－２－１）。つまり、符号化と復号において、予め定められた互いに同一の重み値を用いて量子化・逆量子化を行うようにしてもよい。このようにすることにより、より容易に符号化と復号において重み値を共有することができる。
＜重み値：方法１－２－２＞
また、図１２に示される表の上から７番目の行に記載のように、符号化側から復号側に重み値を伝送するようにしてもよい（方法１－２－２）。つまり、符号化の際に重み値を設定し、その重み値を復号側に伝送する（ビットストリームに含める）ようにしてもよい。つまり、量子化された差分値と、階層毎の重み値とを符号化し、符号化データを生成するようにしてもよい。そして、その符号化データを復号し、量子化された差分値と、階層毎の重み値とを取得するようにしてもよい。このようにすることにより、復号の際の逆量子化には、そのビットストリームに含まれる重み値を適用することができる。したがって、より容易に、符号化の際の量子化に用いられた重み値を、復号の際の逆量子化に適用することができる。
＜重み値：方法２＞
なお、量子化・逆量子化においてポイント毎の重み値を適用するようにしてもよい。例えば、図１２に示される表の上から８番目の行に記載のように、符号化（量子化）においてポイント毎の重み値を定義して適用し、そのポイント毎の重み値を復号側に伝送する（ビットストリームに含める）ようにしてもよい（方法２）。このようにすることにより、各ポイントの属性情報（差分値）により適した重み値を用いて量子化・逆量子化を行うことができるので、符号化効率の低減を抑制することができる。
＜重み値：方法２－１＞
この方法２を適用する場合、図１２に示される表の上から９番目の行に記載のように、定義された全ポイントの重み値を伝送する（ビットストリームに含める）ようにしてもよい（方法２－１）。このようにすることにより、復号（逆量子化）の際には、ビットストリームに含まれる重み値をそのまま適用することができるので、より容易に逆量子化を行うことができる。
＜重み値：方法２－２＞
また方法２を適用する場合、図１２に示される表の一番下の行に記載のように、定義された各ポイントの重み値と所定の値の差分値を伝送する（ビットストリームに含める）ようにしてもよい（方法２－２）。この所定の値は任意である。各重み値とは異なる値をこの所定の値としてもよいし、重み値同士の差分値を伝送してもよい。このようにすることにより、例えば方法２－１の場合と比べて、重み値に関する情報量の増大を抑制することができ、符号化効率の低減を抑制することができる。
＜重み値：組み合わせ＞
なお、上述した各方法のいずれかを選択して適用することができるようにしてもよい。その場合、符号化側が方法を選択して適用し、そのいずれの方法を選択したかを示す情報を、符号化側から復号側に伝送し、復号側がその情報に基づいて符号化側と同一の方法を適用するようにすればよい。
＜階層化への重み値の適用＞
この重み値を属性情報の階層化に利用するようにしてもよい。例えば、Liftingの場合、各階層において導出された差分値は、この重み値（Quantization Weight）を用いて更新（アップデート）され、そのアップデートされた差分値を用いて、参照ポイントに設定されたポイントの属性情報が更新される。このようにすることにより、圧縮効率の低減が抑制される。属性情報の階層化においてこのようなアップデート処理を行う場合、上述の階層毎の重み値を適用するようにしてもよい。
このようにすることにより、下位層の情報の参照が不要であるので、より容易にスケーラブルな復号を実現することができる。
＜２．第１の実施の形態＞
＜符号化装置＞
次に、＜１．スケーラブル復号＞において上述した本技術を適用する装置について説明する。図１４は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図１４に示される符号化装置２００は、ポイントクラウド（３Ｄデータ）を符号化する装置である。符号化装置２００は、＜１．スケーラブル復号＞において上述した本技術を適用してポイントクラウドを符号化する。
なお、図１４においては、処理部やデータの流れ等の主なものを示しており、図１４に示されるものが全てとは限らない。つまり、符号化装置２００において、図１４においてブロックとして示されていない処理部が存在したり、図１４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図１４に示されるように符号化装置２００は、位置情報符号化部２０１、位置情報復号部２０２、ポイントクラウド生成部２０３、属性情報符号化部２０４、およびビットストリーム生成部２０５を有する。
位置情報符号化部２０１は、符号化装置２００に入力されたポイントクラウド（３Ｄデータ）の位置情報を符号化する。この符号化方法は任意である。例えば、ノイズ抑制（デノイズ）のためのフィルタリングや量子化等の処理が行われるようにしてもよい。位置情報符号化部２０１は、生成した位置情報の符号化データを位置情報復号部２０２およびビットストリーム生成部２０５に供給する。
位置情報復号部２０２は、位置情報符号化部２０１から供給される位置情報の符号化データを取得し、その符号化データを復号する。この復号方法は、位置情報符号化部２０１による符号化に対応する方法であれば任意である。例えば、デノイズのためのフィルタリングや逆量子化等の処理が行われるようにしてもよい。位置情報復号部２０２は、生成した位置情報（復号結果）をポイントクラウド生成部２０３に供給する。
ポイントクラウド生成部２０３は、符号化装置２００に入力されるポイントクラウドの属性情報と、位置情報復号部２０２から供給される位置情報（復号結果）を取得する。ポイントクラウド生成部２０３は、属性情報を位置情報（復号結果）に合わせる処理（リカラー処理）を行う。ポイントクラウド生成部２０３は、位置情報（復号結果）に対応させた属性情報を属性情報符号化部２０４に供給する。
属性情報符号化部２０４は、ポイントクラウド生成部２０３から供給される位置情報（復号結果）および属性情報を取得する。属性情報符号化部２０４は、その位置情報（復号結果）を用いて、＜１．スケーラブル復号＞において上述した本技術を適用した符号化方法により属性情報を符号化し、属性情報の符号化データを生成する。属性情報符号化部２０４は、生成した属性情報の符号化データをビットストリーム生成部２０５に供給する。
ビットストリーム生成部２０５は、位置情報符号化部２０１から供給される位置情報の符号化データを取得する。また、ビットストリーム生成部２０５は、属性情報符号化部２０４から供給される属性情報の符号化データを取得する。ビットストリーム生成部２０５は、これらの符号化データを含むビットストリームを生成する。ビットストリーム生成部２０５は、生成したビットストリームを符号化装置２００の外部に出力する。
このような構成とすることにより、符号化装置２００は、属性情報の階層構造を位置情報の階層構造に対応付けることができる。また、このようにすることにより、下位層に依存しない量子化・逆量子化が可能になる。つまり、符号化装置２００は、属性情報のスケーラブルな復号をより容易化することができる。
なお、これらの処理部（位置情報符号化部２０１乃至ビットストリーム生成部２０５）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
＜属性情報符号化部＞
図１５は、属性情報符号化部２０４（図１４）の主な構成例を示すブロック図である。なお、図１５においては、処理部やデータの流れ等の主なものを示しており、図１５に示されるものが全てとは限らない。つまり、属性情報符号化部２０４において、図１５においてブロックとして示されていない処理部が存在したり、図１５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図１５に示されるよう属性情報符号化部２０４は、階層化処理部２１１、量子化部２１２、および符号化部２１３を有する。
階層化処理部２１１は、属性情報の階層化に関する処理を行う。例えば、階層化処理部２１１は、属性情報符号化部２０４に供給される属性情報や位置情報（復号結果）を取得する。階層化処理部２１１は、その位置情報を用いて属性情報を階層化する。その際、階層化処理部２１１は、＜１．スケーラブル復号＞において上述した本技術を適用して階層化を行う。つまり、階層化処理部２１１は、位置情報と同様の階層構造の属性情報を生成する（属性情報の階層構造を位置情報の階層構造に対応付ける）。階層化処理部２１１は、階層化した属性情報（差分値）を量子化部２１２に供給する。
量子化部２１２は、階層化処理部２１１から供給される属性情報（差分値）を取得する。量子化部２１２は、その属性情報（差分値）を量子化する。その際、量子化部２１２は、＜１．スケーラブル復号＞において上述した本技術を適用して量子化を行う。つまり、量子化部２１２は、＜１．スケーラブル復号＞において説明したような階層毎の重み値を用いて属性情報（差分値）を量子化する。量子化部２１２は、その量子化された属性情報（差分値）を、符号化部２１３に供給する。なお、量子化部２１２は、必要に応じて、量子化に適用した重み値に関する情報も符号化部２１３に供給する。
符号化部２１３は、量子化部２１２から供給される、量子化された属性情報（差分値）を取得する。符号化部２１３は、その量子化された属性情報（差分値）を符号化し、属性情報の符号化データを生成する。この符号化方法は任意である。なお、量子化部２１２から重み値に関する情報が供給される場合、符号化部２１３は、その情報（例えば、重み値導出関数定義パラメータ、重み値等）も符号化データに含める。符号化部２１３は、生成した符号化データをビットストリーム生成部２０５に供給する。
以上のように階層化や量子化を行うことにより、属性情報符号化部２０４は、属性情報の階層構造を位置情報の階層構造に対応付けることができる。また、下位層に依存せずに量子化を行うことができる。付言するに、下位層に依存しない逆量子化が可能になる。つまり、属性情報符号化部２０４は、属性情報のスケーラブルな復号をより容易化することができる。
なお、これらの処理部（階層化処理部２１１乃至符号化部２１３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
＜階層化処理部＞
図１６は、階層化処理部２１１（図１５）の主な構成例を示すブロック図である。なお、図１６においては、処理部やデータの流れ等の主なものを示しており、図１６に示されるものが全てとは限らない。つまり、階層化処理部２１１において、図１６においてブロックとして示されていない処理部が存在したり、図１６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図１６に示されるように階層化処理部２１１は、階層別処理部２２１－１、階層別処理部２２１－２、・・・を有する。階層別処理部２２１－１は、属性情報の最下位層（N）に対する処理を行う。階層別処理部２２１－２は、属性情報の最下位層の１つ上位の階層（N-1）に対する処理を行う。これらの階層別処理部２２１－１、階層別処理部２２１－２、・・・を互いに区別して説明する必要が無い場合、階層別処理部２２１と称する。つまり、階層化処理部２１１は、対応可能な属性情報の階層数の階層別処理部２２１を有する。
階層別処理部２２１は、処理対象であるカレント階層（現在LoD）の属性情報の階層化に関する処理を行う。例えば、階層別処理部２２１は、カレント階層の各ポイントをそのカレント階層の予測ポイントと参照ポイント（より上位の階層の予測ポイント）とに分類し、予測値や差分値を導出する。その際、階層別処理部２２１は、＜１．スケーラブル復号＞において上述した本技術を適用して処理を行う。
階層別処理部２２１は、ポイント分類部２３１、予測部２３２、演算部２３３、アップデート部２３４、および演算部２３５を有する。
ポイント分類部２３１は、カレント階層の各ポイントを予測ポイントと参照ポイントに分類する。その際、ポイント分類部２３１は、＜１．スケーラブル復号＞において上述したように、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように予測ポイント（換言するに、参照ポイント）を選択する。つまり、ポイント分類部２３１は、図６の表を参照して説明したいずれかの方法によりポイントの分類を行う。ポイント分類部２３１は、予測ポイントに選択したポイントの属性情報H（N）を演算部２３３に供給する。また、ポイント分類部２３１は、参照ポイントに選択したポイントの属性情報L（N）を予測部２３２および演算部２３５に供給する。
なお、ポイント分類部２３１、予測部２３２、およびアップデート部２３４は、各ポイントの位置情報を共有する。
予測部２３２は、ポイント分類部２３１から供給される、参照ポイントに選択されたポイントの属性情報L（N）や位置情報等を用いて、予測ポイントの属性情報の予測値P（N）を導出する。その際、予測部２３２は、＜１．スケーラブル復号＞において上述した本技術を適用した方法で予測値P（N）を導出する。予測部２３２は、導出した予測値P（N）を演算部２３３に供給する。
演算部２３３は、各予測ポイントについて、ポイント分類部２３１から供給される属性情報H（N）から、予測部２３２から供給される予測値P（N）を減算し、差分値D（N）を導出する。演算部２３３は、導出した各予測ポイントの差分値D（N）を、量子化部２１２（図１５）に供給する。また、演算部２３３は、導出した各予測ポイントの差分値D（N）を、アップデート部２３４にも供給する。
アップデート部２３４は、演算部２３３から供給される予測ポイントの差分値D（N）を取得する。アップデート部２３４は、その差分値D（N）を、所定の演算を行って更新し、係数U（N）を導出する。この演算方法は任意であるが、例えば、量子化に用いられる重み値（Quantization Weight）Ｗを用いて、以下の式（２）のような演算が行われるようにしてもよい。
Figure 0007480775000002
その際、アップデート部２３４は、この演算に用いられる重み値ｗを、＜１．スケーラブル復号＞において上述したように、階層毎に独立して導出する。つまり、ポイント分類部２３１は、図１２の表を参照して説明したいずれかの方法を適用して導出した重み値ｗを用いてこの演算を行う。アップデート部２３４は、導出した係数U（N）を演算部２３５に供給する。
演算部２３５は、ポイント分類部２３１から供給される参照ポイントの属性情報L（N）を取得する。また、演算部２３５は、アップデート部２３４から供給される係数U（N）を取得する。演算部２３５は、属性情報L（N）に係数U（N）を加算することにより、属性情報L（N）を更新する（更新された属性情報L'（N）を導出する）。このようにすることにより、圧縮効率の低減を抑制することができる。演算部２３５は、その更新された属性情報L'（N）を、１つ上位の階層（N-1）を処理対象とする階層別処理部２２１（のポイント分類部２３１）に供給する。例えば、図１６の場合、階層別処理部２２１－１の演算部２３５は、階層別処理部２２１－２に、更新された属性情報L'（N）を供給する。更新された属性情報L'（N）を供給された階層別処理部２２１は、そのポイントを処理対象として（つまり１つ上位の階層をカレント階層として）同様の処理を行う。
以上のように階層化を行うことにより、階層化処理部２１１は、属性情報の階層構造を位置情報の階層構造に対応付けることができる。また、下位層に依存せずに導出した重み値を用いて階層化を行うことができる。つまり、階層化処理部２１１は、属性情報のスケーラブルな復号をより容易化することができる。
なお、これらの処理部（ポイント分類部２３１乃至演算部２３５）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
＜符号化処理の流れ＞
次に、この符号化装置２００により実行される処理について説明する。符号化装置２００は、符号化処理を実行することによりポイントクラウドのデータを符号化する。この符号化処理の流れの例を、図１７のフローチャートを参照して説明する。
符号化処理が開始されると、符号化装置２００の位置情報符号化部２０１は、ステップＳ２０１において、入力されたポイントクラウドの位置情報を符号化し、位置情報の符号化データを生成する。
ステップＳ２０２において、位置情報復号部２０２は、ステップＳ２０１において生成された位置情報の符号化データを復号し、位置情報を生成する。
ステップＳ２０３において、ポイントクラウド生成部２０３は、入力されたポイントクラウドの属性情報と、ステップＳ２０２において生成された位置情報（復号結果）とを用いて、リカラー処理を行い、属性情報を位置情報に対応させる。
ステップＳ２０４において、属性情報符号化部２０４は、属性情報符号化処理を実行することにより、ステップＳ２０３においてリカラー処理された属性情報を符号化し、属性情報の符号化データを生成する。その際、属性情報符号化部２０４は、＜１．スケーラブル復号＞において上述した本技術を適用して処理を行う。属性情報符号化処理の詳細については後述する。
ステップＳ２０５において、ビットストリーム生成部２０５は、ステップＳ２０１において生成された位置情報の符号化データと、ステップＳ２０４において生成された属性情報の符号化データとを含むビットストリームを生成し、出力する。
ステップＳ２０５の処理が終了すると符号化処理が終了する。
このように各ステップの処理を行うことにより、符号化装置２００は、属性情報の階層構造を位置情報の階層構造に対応付けることができる。また、このようにすることにより、下位層に依存しない量子化・逆量子化が可能になる。つまり、符号化装置２００は、属性情報のスケーラブルな復号をより容易化することができる。
＜属性情報符号化処理の流れ＞
次に、図１７のステップＳ２０４において実行される属性情報符号化処理の流れの例を、図１８のフローチャートを参照して説明する。
属性情報符号化処理が開始されると、属性情報符号化部２０４の階層化処理部２１１は、ステップＳ２２１において、階層化処理を実行することにより属性情報を階層化し、各ポイントの属性情報の差分値を導出する。その際、階層化処理部２１１は、＜１．スケーラブル復号＞において上述した本技術を適用して階層化を行う。階層化処理の詳細については後述する。
ステップＳ２２２において、量子化部２１２は、量子化処理を実行することにより、ステップＳ２２１において導出された各差分値を量子化する。その際、量子化部２１２は、＜１．スケーラブル復号＞において上述した本技術を適用して量子化を行う。量子化処理の詳細については後述する。
ステップＳ２２３において、符号化部２１３は、ステップＳ２２２において量子化された差分値を符号化し、属性情報の符号化データを生成する。
ステップＳ２２３の処理が終了すると属性情報符号化処理が終了し、処理は図１７に戻る。
このように各ステップの処理を行うことにより、属性情報符号化部２０４は、属性情報の階層構造を位置情報の階層構造に対応付けることができる。また、下位層に依存せずに量子化を行うことができる。付言するに、下位層に依存しない逆量子化が可能になる。つまり、属性情報符号化部２０４は、属性情報のスケーラブルな復号をより容易化することができる。
＜階層化処理の流れ＞
次に、図１８のステップＳ２２１において実行される階層化処理の流れの例を、図１９のフローチャートを参照して説明する。ここでは、図６の表の上から２番目に記載の方法１－１を適用する場合について説明する。
階層化処理が開始されると、階層化処理部２１１の階層別処理部２２１は、ステップＳ２４１において、処理対象であるカレント階層（現在LoD）を最下位の階層（LoD）とする。
ステップＳ２４２において、ポイント分類部２３１は、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように予測ポイントを選択する。換言するに、ポイント分類部２３１は、この処理により参照ポイントを選択する。
例えば、ポイント分類部２３１は、カレント階層のポイントが存在する各ボクセルが属する１つ上位階層のボクセルに対し、参照ポイントを１つずつ設定する。なお、候補となるポイントが複数存在する場合、ポイント分類部２３１は、いずれか１つを選択する。この選択方法は任意である。例えば、近傍に位置するポイントが最も多いポイントを参照ポイントとして選択するようにしてもよい。参照ポイントを設定するとポイント分類部２３１は、次に、その参照ポイント以外のポイントを予測ポイントに設定する。このようにして、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように予測ポイントが選択される。
ステップＳ２４３において、ポイント分類部２３１は、カレント階層の解像度の位置情報に基づいて、各予測ポイントに対応する参照ポイントを設定する。
例えば、ポイント分類部２３１は、参照ポイントから所定の範囲内に位置する予測ポイント（近傍の予測ポイント）を、カレント階層の解像度の位置情報を用いて探索する。ポイント分類部２３１は、探索した近傍の予測ポイントがその参照ポイントを参照するように、予測ポイントと参照ポイントとを対応付ける。ポイント分類部２３１が各参照ポイントについてこのような処理を行うことにより、全ての予測ポイントが参照ポイントに対応付けられる。つまり、各予測ポイントに対応する（各予測ポイントが参照する）参照ポイントが設定される。
ステップＳ２４４において、予測部２３２は、各予測ポイントの予測値を導出する。つまり、予測部２３２は、ステップＳ２４３の処理により設定された対応関係に基づいて、各予測ポイントに対応する参照ポイントの属性情報を用いて、その予測ポイントの属性情報の予測値を導出する。
例えば、予測部２３２は、図４を参照して説明したように、予測ポイントに対応する各参照ポイントの属性情報を、予測ポイントと参照ポイントとの距離の逆数に応じた重み値（α(P,Q(i,j))）により重み付けし、上述の式（１）のような演算を行って統合する。その際、予測部２３２は、カレント階層の解像度の位置情報を用いて、予測ポイントと参照ポイントとの距離を導出し、適用する。
ステップＳ２４５において、演算部２３３は、ステップＳ２４２において選択された予測ポイントの属性情報から、ステップＳ２４４において導出された予測値を減算することにより、各予測ポイントの差分値を導出する。
ステップＳ２４６において、アップデート部２３４は、アップデート処理に用いられる重み値を導出する。アップデート部２３４は、この重み値を、図１２に示される表に記載のいずれかの方法を適用して導出する。つまり、アップデート部２３４は、重み値を階層毎に独立して導出する。
ステップＳ２４７において、アップデート部２３４は、ステップＳ２４６において導出した重み値を用いて、ステップＳ２４５において導出された差分値をアップデートする。例えば、アップデート部２３４は、上述の式（２）で示される演算を行うことにより、このアップデートを行う。
ステップＳ２４８において、演算部２３５は、ステップＳ２４７においてアップデートした差分値を用いて、ステップＳ２４３において、設定された参照ポイントの属性情報を更新する。
ステップＳ２４９において、階層別処理部２２１は、カレント階層（現在LoD）が最上位の階層であるか否かを判定する。なお、属性情報の階層構造における最上位の階層は、位置情報の階層とは独立に設定されるので、位置情報の階層構造における最上位の階層とは異なる場合もある。カレント階層が最上位の階層ではないと判定された場合、処理はステップＳ２５０に進む。
ステップＳ２５０において、階層別処理部２２１は、処理対象であるカレント階層（現在LoD）を１つ上の階層（LoD）とする。ステップＳ２５０の処理が終了すると処理はステップＳ２４２に戻る。つまり、各階層についてステップＳ２４２乃至ステップＳ２５０の各処理が実行される。
そして、ステップＳ２４９において、カレント階層が最上位の階層であると判定された場合、階層化処理が終了し、処理は図１８に戻る。
このように各ステップの処理を行うことにより、階層化処理部２１１は、属性情報の階層構造を位置情報の階層構造に対応付けることができる。また、下位層に依存せずに導出した重み値を用いて階層化を行うことができる。つまり、階層化処理部２１１は、属性情報のスケーラブルな復号をより容易化することができる。
＜量子化処理の流れ＞
次に、図１８のステップＳ２２２において実行される量子化処理の流れの例を、図２０のフローチャートを参照して説明する。ここでは、図１２の表の上から４番目に記載の方法１－１－２を適用する場合について説明する。
量子化処理が開始されると、量子化部２１２は、ステップＳ２７１において、重み値導出関数を定義する。
ステップＳ２７２において、量子化部２１２は、ステップＳ２７１において定義された重み値導出関数を用いて、階層（LoD）毎の重み値を導出する。
ステップＳ２７３において、量子化部２１２は、ステップＳ２７２において導出されたLoD毎の重み値を用いて、属性情報の差分値を量子化する。
ステップＳ２７４において、量子化部２１２は、重み値導出に用いた重み値導出関数を定義する重み値導出関数定義パラメータを、符号化部２１３に供給し、符号化させる。つまり、量子化部２１２は、重み値導出関数定義パラメータを復号側に伝送させる。
ステップＳ２７４の処理が終了すると量子化処理が終了し、処理は図１８に戻る。
このように量子化処理を実行することにより、量子化部２１２は、下位層に依存せずに量子化を行うことができる。付言するに、下位層に依存しない逆量子化が可能になる。つまり、量子化部２１２は、属性情報のスケーラブルな復号をより容易化することができる。
＜階層化処理の流れ＞
なお、図６の表の上から３番目に記載の方法１－１’を適用する場合も、階層化処理は、図１９のフローチャートと基本的に同様の流れで行われる。ただし、ステップＳ２４３の処理において、ポイント分類部２３１は、最下位層の解像度（つまり、最高解像度）の位置情報に基づいて、各予測ポイントに対応する参照ポイントを設定する。また、ステップＳ２４４の処理において、予測部２３２は、最下位層の解像度（つまり、最高解像度）の解像度の位置情報を用いて、予測ポイントと参照ポイントとの距離を導出し、その距離の逆数に応じた重み値を用いて予測値を導出する。
このようにすることにより、階層化処理部２１１は、ポイントクラウドの最下層の解像度の位置情報に基づく距離に応じて重み付けした参照ポイントの属性情報を用いて予測ポイントの予測値を導出することができる。
次に、図６の表の上から４番目に記載の方法１－２を適用する場合の階層化処理の流れの例を、図２１のフローチャートを参照して説明する。
この場合、階層化処理部２１１は、ステップＳ３０１、ステップＳ３０３乃至ステップＳ３１０の各処理を、図１９のステップＳ２４１、ステップＳ２４３乃至ステップＳ２５０の各処理と同様に実行する。
また、ステップＳ３０２において、ポイント分類部２３１は、カレント階層のポイントを全て予測ポイントに設定し、さらに、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように、仮想の参照ポイントを設定する。ポイント分類部２３１は、既存のポイント（予測ポイント）の属性情報を用いてリカラー処理を行い、設定した仮想の参照ポイントの属性情報を生成する。
ステップＳ３０３において、ポイント分類部２３１は、ステップＳ３０２において設定した仮想の参照ポイントの中から、カレント階層の解像度の位置情報に基づいて、各予測ポイントに対応する参照ポイントを設定する。
このように各ステップの処理を行うことにより、階層化処理部２１１は、属性情報の階層構造を位置情報の階層構造に対応付けることができる。また、下位層に依存せずに導出した重み値を用いて階層化を行うことができる。つまり、階層化処理部２１１は、属性情報のスケーラブルな復号をより容易化することができる。
＜量子化処理の流れ＞
次に、図１２の表の上から７番目に記載の方法１－２－２を適用する場合の量子化処理の流れの例を、図２２のフローチャートを参照して説明する。
量子化処理が開始されると、量子化部２１２は、ステップＳ３２１において、階層（LoD）毎の重み値を導出する。
ステップＳ３２２において、量子化部２１２は、ステップＳ３２１において導出されたLoD毎の重み値を用いて、属性情報の差分値を量子化する。
ステップＳ３２３において、量子化部２１２は、量子化に用いた重み値を、符号化部２１３に供給し、符号化させる。つまり、量子化部２１２は、この重み値を復号側に伝送させる。
ステップＳ３２３の処理が終了すると量子化処理が終了し、処理は図１８に戻る。
このように量子化処理を実行することにより、量子化部２１２は、下位層に依存せずに量子化を行うことができる。付言するに、下位層に依存しない逆量子化が可能になる。つまり、量子化部２１２は、属性情報のスケーラブルな復号をより容易化することができる。
＜３．第２の実施の形態＞
＜復号装置＞
図２３は、本技術を適用した情報処理装置の一態様である復号装置の構成の一例を示すブロック図である。図２３に示される復号装置４００は、ポイントクラウド（３Ｄデータ）の符号化データを復号する装置である。復号装置４００は、＜１．スケーラブル復号＞において上述した本技術を適用してポイントクラウドの符号化データを復号する。
なお、図２３においては、処理部やデータの流れ等の主なものを示しており、図２３に示されるものが全てとは限らない。つまり、復号装置４００において、図２３においてブロックとして示されていない処理部が存在したり、図２３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図２３に示されるように復号装置４００は、復号対象LoD深度設定部４０１、符号化データ抽出部４０２、位置情報復号部４０３、属性情報復号部４０４、およびポイントクラウド生成部４０５を有する。
復号対象LoD深度設定部４０１は、復号対象とする階層（LoD）の深度の設定に関する処理を行う。例えば、復号対象LoD深度設定部４０１は、符号化データ抽出部４０２に保持されているポイントクラウドの符号化データについて、どの階層まで復号するかを設定する。この復号対象とする階層深度設定の方法は任意である。
例えば、復号対象LoD深度設定部４０１が、ユーザやアプリケーション等の外部からの階層深度に関する指示に基づいて設定するようにしてもよい。また、復号対象LoD深度設定部４０１が、出力画像等、任意の情報に基づいて復号対象とする階層深度を求め、設定するようにしてもよい。
例えば、復号対象LoD深度設定部４０１が、ポイントクラウドから生成する２次元画像の視点位置、方向、画角、視点の動き（移動、パン、チルト、ズーム）等に基づいて、復号対象とする階層深度を設定するようにしてもよい。
なお、この復号対象とする階層深度設定のデータ単位は任意である。例えば、復号対象LoD深度設定部４０１は、ポイントクラウド全体について階層深度を設定することもできるし、オブジェクト毎に階層深度を設定することもできるし、オブジェクト内の部分領域毎に階層深度を設定することもできる。もちろん、これらの例以外のデータ単位で階層深度を設定することもできる。
符号化データ抽出部４０２は、復号装置４００に入力されるビットストリームを取得し、保持する。符号化データ抽出部４０２は、最上位から復号対象LoD深度設定部４０１により指定された階層までの位置情報および属性情報の符号化データを、その保持しているビットストリームから抽出する。符号化データ抽出部４０２は、抽出した位置情報の符号化データを位置情報復号部４０３に供給する。符号化データ抽出部４０２は、抽出した属性情報の符号化データを属性情報復号部４０４に供給する。
位置情報復号部４０３は、符号化データ抽出部４０２から供給される位置情報の符号化データを取得する。位置情報復号部４０３は、その位置情報の符号化データを復号し、位置情報（復号結果）を生成する。この復号方法は、符号化装置２００の位置情報復号部２０２の場合と同様の方法であれば任意である。位置情報復号部４０３は、生成した位置情報（復号結果）を、属性情報復号部４０４およびポイントクラウド生成部４０５に供給する。
属性情報復号部４０４は、符号化データ抽出部４０２から供給される属性情報の符号化データを取得する。属性情報復号部４０４は、位置情報復号部４０３から供給される位置情報（復号結果）を取得する。属性情報復号部４０４は、その位置情報（復号結果）を用いて、＜１．スケーラブル復号＞において上述した本技術を適用した方法により属性情報の符号化データを復号し、属性情報（復号結果）を生成する。属性情報復号部４０４は、生成した属性情報（復号結果）をポイントクラウド生成部４０５に供給する。
ポイントクラウド生成部４０５は、位置情報復号部４０３から供給される位置情報（復号結果）を取得する。ポイントクラウド生成部４０５は、属性情報復号部４０４から供給される属性情報（復号結果）を取得する。ポイントクラウド生成部４０５は、その位置情報（復号結果）および属性情報（復号結果）を用いて、ポイントクラウド（復号結果）を生成する。ポイントクラウド生成部４０５は、生成したポイントクラウド（復号結果）のデータを復号装置４００の外部に出力する。
このような構成とすることにより、復号装置４００は、属性情報の予測値を正しく導出することができ、位置情報の階層構造に対応付けられた属性情報の階層構造を正しく逆階層化することができる。また、このようにすることにより、下位層に依存せずに逆量子化を行うことができる。つまり、復号装置４００は、属性情報のスケーラブルな復号をより容易に行うことができる。
なお、これらの処理部（復号対象LoD深度設定部４０１乃至ポイントクラウド生成部４０５）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
＜属性情報復号部＞
図２４は、属性情報復号部４０４（図２３）の主な構成例を示すブロック図である。なお、図２４においては、処理部やデータの流れ等の主なものを示しており、図２４に示されるものが全てとは限らない。つまり、属性情報復号部４０４において、図２４においてブロックとして示されていない処理部が存在したり、図２４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図２４に示されるよう属性情報復号部４０４は、復号部４２１、逆量子化部４２２、および逆階層化処理部４２３を有する。
復号部４２１は、属性情報復号部４０４に供給される属性情報の符号化データを取得する。復号部４２１は、その属性情報の符号化データを復号し、属性情報（復号結果）を生成する。この復号方法は、符号化装置２００の符号化部２１３（図１５）による符号化方法に対応する方法であれば任意である。また、生成した属性情報（復号結果）は、符号化前の属性情報に対応し、第１の実施の形態において説明したように、属性情報とその予測値との差分値であり、量子化されている。復号部４２１は、生成した属性情報（復号結果）を逆量子化部４２２に供給する。
なお、属性情報の符号化データに重み値に関する情報（例えば、重み値導出関数定義パラメータ、重み値等）が含まれている場合、復号部４２１は、その重み値に関する情報（復号結果）も生成する。復号部４２１は、生成した重み値に関する情報（復号結果）を逆量子化部４２２に供給する。また、復号部４２１は、生成した重み値に関する情報（復号結果）を、属性情報の符号化データの復号に利用することもできる。
逆量子化部４２２は、復号部４２１から供給される属性情報（復号結果）を取得する。逆量子化部４２２は、その属性情報（復号結果）を逆量子化する。その際、逆量子化部４２２は、＜１．スケーラブル復号＞において上述した本技術を適用して、符号化装置２００の量子化部２１２（図１５）による量子化の逆処理である逆量子化を行う。つまり、逆量子化部４２２は、＜１．スケーラブル復号＞において説明したような階層毎の重み値を用いて属性情報（復号結果）を逆量子化する。
なお、復号部４２１から重み値に関する情報（復号結果）が供給される場合、逆量子化部４２２は、その重み値に関する情報（復号結果）も取得する。その場合、逆量子化部４２２は、その重み値に関する情報（復号結果）により指定される重み値、または、その重み値に関する情報（復号結果）に基づいて導出される重み値を用いて属性情報（復号結果）を逆量子化する。
逆量子化部４２２は、逆量子化した属性情報（復号結果）を逆階層化処理部４２３に供給する。
逆階層化処理部４２３は、逆量子化部４２２から供給される、逆量子化された属性情報（復号結果）を取得する。上述したようにこの属性情報は差分値である。また、逆階層化処理部４２３は、位置情報復号部４０３から供給される位置情報（復号結果）を取得する。逆階層化処理部４２３は、その位置情報（復号結果）を用いて、取得した属性情報（差分値）に対して、符号化装置２００の階層化処理部２１１（図１５）による階層化の逆処理である逆階層化を行う。その際、逆階層化処理部４２３は、＜１．スケーラブル復号＞において上述した本技術を適用して逆階層化を行う。つまり、逆階層化処理部４２３は、位置情報を用いて予測値を導出し、その予測値を差分値に加算することにより属性情報を復元する。このように逆階層化処理部４２３は、位置情報を用いて、その位置情報と同様の階層構造の属性情報を逆階層化する。逆階層化処理部４２３は、逆階層化した属性情報を復号結果としてポイントクラウド生成部４０５（図２３）に供給する。
以上のように逆量子化や逆階層化を行うことにより、属性情報復号部４０４は、属性情報の予測値を正しく導出することができ、位置情報の階層構造に対応付けられた属性情報の階層構造を正しく逆階層化することができる。また、下位層に依存せずに逆量子化を行うことができる。つまり、復号装置４００は、属性情報のスケーラブルな復号をより容易に行うことができる。
なお、これらの処理部（復号部４２１乃至逆階層化処理部４２３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
＜逆階層化処理部＞
図２５は、逆階層化処理部４２３（図２４）の主な構成例を示すブロック図である。なお、図２５においては、処理部やデータの流れ等の主なものを示しており、図２４に示されるものが全てとは限らない。つまり、逆階層化処理部４２３において、図２４においてブロックとして示されていない処理部が存在したり、図２４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図２４に示されるように逆階層化処理部４２３は、階層別処理部４４１－１、階層別処理部４４１－２、・・・を有する。階層別処理部４４１－１は、属性情報の最上位層（0）に対する処理を行う。階層別処理部４４１－２は、属性情報の最上位から１つ下位の階層（1）に対する処理を行う。これらの階層別処理部４４１－１、階層別処理部４４１－２、・・・を互いに区別して説明する必要が無い場合、階層別処理部４４１と称する。つまり、逆階層化処理部４２３は、対応可能な属性情報の階層数の階層別処理部４４１を有する。
階層別処理部４４１は、処理対象であるカレント階層（現在LoD）の属性情報（差分値）の逆階層化に関する処理を行う。例えば、階層別処理部４４１は、カレント階層の各ポイントの属性情報の予測値を導出し、その予測値と差分値とを加算することにより、カレント階層の各ポイントの属性情報を導出する。その際、階層別処理部４４１は、＜１．スケーラブル復号＞において上述した本技術を適用して処理を行う。
階層別処理部４４１は、予測部４５１、演算部４５２、およびマージ処理部４５３を有する。
予測部４５１は、逆量子化部４２２または前段の階層別処理部４４１から供給されるカレント階層の参照ポイントの属性情報L（N）を取得する。また、予測部４５１は、位置情報復号部４０３から供給される位置情報（復号結果）を取得する。予測部４５１は、その位置情報および属性情報を用いて、予測ポイントの属性情報の予測値P（N）を導出する。その際、予測部４５１は、＜１．スケーラブル復号＞において上述した本技術を適用した方法で予測値P（N）を導出する。予測部４５１は、導出した予測値P（N）を演算部４５２に供給する。
演算部４５２は、逆量子化部４２２から供給されるカレント階層の予測ポイントの属性情報の差分値D（N）を取得する。また、演算部４５２は、予測部４５１から供給されるカレント階層の予測ポイントの属性情報の予測値P（N）を取得する。演算部４５２は、差分値D（N）と予測値P（N）とを加算して予測ポイントの属性情報H（N）を生成（復元）する。演算部４５２は、生成した予測ポイントの属性情報H（N）をマージ処理部４５３に供給する。
マージ処理部４５３は、逆量子化部４２２または前段の階層別処理部４４１から供給されるカレント階層の参照ポイントの属性情報L（N）を取得する。また、マージ処理部４５３は、演算部４５２から供給されるカレント階層の予測ポイントの属性情報H（N）を取得する。マージ処理部４５３は、取得した参照ポイントの属性情報L（N）と予測ポイントの属性情報H（N）とをまとめる。これにより、最上位層からカレント階層までの全ポイントの属性情報が生成される。マージ処理部４５３は、生成した全ポイントの属性情報を、カレント階層の１つ下位の階層の参照ポイントの属性情報L（N+1）として、後段の階層別処理部４４１（の予測部４５１およびマージ処理部４５３）に供給する。
なお、復号対象の最下位層をカレント階層とする階層別処理部４４１の場合、マージ処理部４５３は、生成した全ポイントの属性情報を、復号結果としてポイントクラウド生成部４０５（図２３）に供給する。
以上のように逆階層化を行うことにより、逆階層化処理部４２３は、属性情報の予測値を正しく導出することができ、位置情報の階層構造に対応付けられた属性情報の階層構造を正しく逆階層化することができる。つまり、復号装置４００は、属性情報のスケーラブルな復号をより容易に行うことができる。
なお、これらの処理部（予測部４５１乃至マージ処理部４５３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
＜復号処理の流れ＞
次に、この復号装置４００により実行される処理について説明する。復号装置４００は、復号処理を実行することによりポイントクラウドの符号化データを復号する。この復号処理の流れの例を、図２６のフローチャートを参照して説明する。
復号処理が開始されると、復号装置４００の復号対象LoD深度設定部４０１は、ステップＳ４０１において、復号するLoD深度を設定する。
ステップＳ４０２において、符号化データ抽出部４０２は、ビットストリームを取得して保持し、ステップＳ４０１において設定されたLoD深度までの位置情報および属性情報の符号化データを抽出する。
ステップＳ４０３において、位置情報復号部４０３は、ステップＳ４０２において抽出された位置情報の符号化データを復号し、位置情報（復号結果）を生成する。
ステップＳ４０４において、属性情報復号部４０４は、ステップＳ４０２において抽出された属性情報の符号化データを復号し、属性情報（復号結果）を生成する。その際、属性情報復号部４０４は、＜１．スケーラブル復号＞において上述した本技術を適用して処理を行う。属性情報復号処理の詳細については後述する。
ステップＳ４０５において、ポイントクラウド生成部４０５は、ステップＳ４０３において生成された位置情報（復号結果）と、ステップＳ４０４において生成された属性情報（復号結果）とを用いてポイントクラウド（復号結果）を生成し、出力する。
ステップＳ４０５の処理が終了すると、復号処理が終了する。
このように各ステップの処理を行うことにより、復号装置４００は、属性情報の予測値を正しく導出することができ、位置情報の階層構造に対応付けられた属性情報の階層構造を正しく逆階層化することができる。また、このようにすることにより、下位層に依存せずに逆量子化を行うことができる。つまり、復号装置４００は、属性情報のスケーラブルな復号をより容易に行うことができる。
＜属性情報復号処理の流れ＞
次に、図２６のステップＳ４０４において実行される属性情報復号処理の流れの例を、図２７のフローチャートを参照して説明する。
属性情報復号処理が開始されると、属性情報復号部４０４の復号部４２１は、ステップＳ４２１において、属性情報の符号化データを復号し、属性情報（復号結果）を生成する。この属性情報（復号結果）は上述のように量子化されている。
ステップＳ４２２において、逆量子化部４２２は、逆量子化処理を実行することにより、ステップＳ４２１において生成された属性情報（復号結果）を逆量子化する。その際、逆量子化部４２２は、＜１．スケーラブル復号＞において上述した本技術を適用して逆量子化を行う。逆量子化処理の詳細については後述する。なお、この逆量子化された属性情報は、上述したように、属性情報とその予測値との差分値である。
ステップＳ４２３において、逆階層化処理部４２３は、逆階層化処理を実行することにより、ステップＳ４２２において逆量子化された属性情報（差分値）を逆階層化し、各ポイントの属性情報を導出する。その際、逆階層化処理部４２３は、＜１．スケーラブル復号＞において上述した本技術を適用して逆階層化を行う。逆階層化処理の詳細については後述する。
ステップＳ４２３の処理が終了すると属性情報復号処理が終了し、処理は図２６に戻る。
このように各ステップの処理を行うことにより、属性情報復号部４０４は、属性情報の予測値を正しく導出することができ、位置情報の階層構造に対応付けられた属性情報の階層構造を正しく逆階層化することができる。また、このようにすることにより、下位層に依存せずに逆量子化を行うことができる。つまり、復号装置４００は、属性情報のスケーラブルな復号をより容易に行うことができる。
＜逆量子化処理の流れ＞
次に、図２７のステップＳ４２２において実行される逆量子化処理の流れの例を、図２８のフローチャートを参照して説明する。ここでは、図１２の表の上から４番目に記載の方法１－１－２を適用する場合について説明する。
逆量子化処理が開始されると、逆量子化部４２２は、ステップＳ４４１において、符号化データが復号されて生成された重み値導出関数定義パラメータを取得する。
ステップＳ４４２において、逆量子化部４２２は、ステップＳ４４１において取得した関数定義パラメータに基づいて重み導出関数を定義する。
ステップＳ４４３において、逆量子化部４２２は、ステップＳ４４２において定義した重み導出関数を用いて、階層（LoD）毎の重み値を導出する。
ステップＳ４４４において、逆量子化部４２２は、ステップＳ４４３において導出された重み値を用いて、属性情報（復号結果）を逆量子化する。
ステップＳ４４４の処理が終了すると逆量子化処理が終了し、処理は図２７に戻る。
このように逆量子化処理を実行することにより、逆量子化部４２２は、下位層に依存せずに逆量子化を行うことができる。つまり、復号装置４００は、属性情報のスケーラブルな復号をより容易に行うことができる。
＜逆階層化処理の流れ＞
次に、図２７のステップＳ４２３において実行される逆階層化処理の流れの例を、図２９のフローチャートを参照して説明する。ここでは、図６の表の上から２番目に記載の方法１－１を適用する場合について説明する。
逆階層化処理が開始されると、逆階層化処理部４２３は、ステップＳ４６１において、位置情報（復号結果）を用いて属性情報（復号結果）を階層化する。つまり、逆階層化処理部４２３は、第１の実施の形態において説明した階層化処理と同様の処理を行い、復号対象の階層について、属性情報の階層構造と位置情報の階層構造とを対応付ける。これにより、各ポイントの属性情報（復号結果）と位置情報（復号結果）とが対応付けられる。この対応関係に基づいて以下の処理が行われる。
ステップＳ４６２において、逆階層化処理部４２３の階層別処理部４４１は、処理対象であるカレント階層（現在LoD）を最上位の階層（LoD）とする。
ステップＳ４６３において、予測部４５１は、各予測ポイントの予測値を導出する。つまり、予測部４５１は、各予測ポイントに対応する参照ポイントの属性情報を用いて、その予測ポイントの属性情報の予測値を導出する。
例えば、予測部４５１は、図４を参照して説明したように、予測ポイントに対応する各参照ポイントの属性情報を、予測ポイントと参照ポイントとの距離の逆数に応じた重み値（α(P,Q(i,j))）により重み付けし、上述の式（１）のような演算を行って統合することにより、予測値を導出する。その際、予測部４５１は、カレント階層（現在LoD）の解像度の位置情報を用いて、予測ポイントと参照ポイントとの距離を導出し、適用する。
ステップＳ４６４において、演算部４５２は、ステップＳ４６３において導出された予測値を、その予測ポイントの差分値に加算することにより、その予測ポイントの属性情報を復元する。
ステップＳ４６５において、マージ処理部４５３は、導出した予測ポイントの属性情報と、参照ポイントの属性情報とをマージしてカレント階層の全ポイントの属性情報を生成する。
ステップＳ４６６において、階層別処理部４４１は、カレント階層（現在LoD）が最下位の階層であるか否かを判定する。カレント階層が最下位の階層ではないと判定された場合、処理はステップＳ４６７に進む。
ステップＳ４６７において、階層別処理部４４１は、処理対象であるカレント階層（現在LoD）を１つ下の階層（LoD）とする。ステップＳ４６７の処理が終了すると処理はステップＳ４６３に戻る。つまり、各階層についてステップＳ４６３乃至ステップＳ４６７の各処理が実行される。
そして、ステップＳ４６６において、カレント階層が最下位の階層であると判定された場合、逆階層化処理が終了し、処理は図２７に戻る。
このように各ステップの処理を行うことにより、逆階層化処理部４２３は、属性情報の予測値を正しく導出することができ、位置情報の階層構造に対応付けられた属性情報の階層構造を正しく逆階層化することができる。つまり、復号装置４００は、属性情報のスケーラブルな復号をより容易に行うことができる。
なお、図６の表の上から３番目に記載の方法１－１'を適用する場合も、図６の表の上から４番目に記載の方法１－２を適用する場合も、逆階層化処理は、図２９のフローチャートと基本的に同様の流れで行われる。したがって、これらの説明は省略する。
＜逆量子化処理の流れ＞
次に、図１２の表の上から７番目に記載の方法１－２－２を適用する場合の逆量子化処理の流れの例を、図３０のフローチャートを参照して説明する。
逆量子化処理が開始されると、逆量子化部４２２は、ステップＳ４８１において、符号化データが復号されて生成された階層（LoD）毎の重み値を取得する。
ステップＳ４８２において、逆量子化部４２２は、ステップＳ４８１において取得した重み値を用いて、属性情報（復号結果）を逆量子化する。
ステップＳ４８２の処理が終了すると逆量子化処理が終了し、処理は図２７に戻る。
このように逆量子化処理を実行することにより、逆量子化部４２２は、下位層に依存せずに逆量子化を行うことができる。つまり、復号装置４００は、属性情報のスケーラブルな復号をより容易に行うことができる。
＜４．DCM＞
＜位置情報のDCM＞
上述のように、位置情報はOctree化される。近年、例えば非特許文献６に記載のように、Octreeにおいてリーフ（Octreeの最下位層のノード、すなわち、最高解像度のポイント）が特定の個数以下しか存在しないノードにおいて、そのノードから各リーフまでの相対距離を符号化するDCM（Direct Coding Mode）が提案された。
例えば、ボクセルデータのOctree化において、処理対象のノードが所定の条件を満たし、疎であると判定されると、このDCMが適用され、処理対象ノードからその処理対象ノードに直接的または間接的に属する各リーフまでの相対距離（xyzの各方向について）が求められ、符号化される。
なお、「直接的に属するノード」とは、木構造において相手のノードにぶら下がるノードのことを示す。例えば、処理対象ノードに直接的に属するノードは、処理対象ノードに属し、かつ、処理対象ノードよりも１階層下位のノード（所謂子ノード）のことを示す。また、「間接的に属するノード」とは、木構造において他のノードを介して相手のノードにぶら下がるノードのことを示す。例えば、処理対象ノードに間接的に属するノードは、処理対象ノードに他のノードを介して属し、かつ、処理対象ノードよりも２階層以上下位のノード（例えば孫ノード）のことを示す。
例えば、図３１に示されるように、Octree化の際に、ノードn0（LoD=n）が疎であると判定されると、そのノードn0に属する（ぶら下がる）リーフp0が特定され、そのノードn2とリーフp2との（位置の）差分が導出される。つまり、中間解像度のノード（LoD=nとLoD=lとの間の階層（LoD）のノード）の位置情報の符号化は省略される。
同様に、ノードn2（LoD=m）が疎であると判定されると、そのノードn2に属する（ぶら下がる）リーフp2が特定され、そのノードn2とリーフp2との（位置の）差分が導出される。つまり、中間解像度のノード（LoD=mとLoD=lとの間の階層（LoD）のノード）の位置情報の符号化は省略される。
このようにDCMを適用することにより、疎なノードの生成を省略することができるので、Octree化の処理の負荷の増大を抑制することができる。
＜DCMに対応する属性情報の階層化＞
このようなDCMが適用される場合においても属性情報をスケーラブルに復号することができるように、位置情報のOctreeにおいても図３２に示されるように中間解像度のノードが形成されているものとして、属性情報の階層化を行ってもよい。つまり、DCMが適用されていないものとして、属性情報に対して本技術を適用した符号化・復号を行ってもよい。
図３２の例の場合、ノードn0からリーフp0までの間の白丸で示される中間解像度のノード（ノードn0'、ノードn0''、およびノードn0'''）と、ノードn2からリーフp2までの間の白丸で示される中間解像度のノード（ノードn2'）とが存在するものとして、属性情報の階層化が行われる。つまり、これらのノードに対応する属性情報が生成される。
このようにすることにより、DCMにより位置情報の符号化が省略されるノードについても属性情報は符号化されるので、任意の階層（解像度）の属性情報を、最高解像度まで復号せずに容易に復元することができる。つまり、DCMが適用される場合であっても、属性情報のより容易なスケーラブルな復号を実現することができる。
例えば符号化装置２００の場合、属性情報符号化部２０４（図１４）は、図３１の例のような階層構造の位置情報に対し、属性情報を図３２の例のような階層構造に階層化し、量子化し、符号化する。つまり、階層化処理部２１１（図１５）が、図３２の例のような階層構造の属性情報を生成する。
また、例えば復号装置４００の場合、属性情報復号部４０４（図２３）は、属性情報の符号化データを所望の解像度で（所望の階層まで）復号する。上述のように、符号化データにおいて属性情報は、図３２の例のような階層構造を有する。したがって、属性情報復号部４０４（逆階層化処理部４２３（図２４））は、最高解像度までの復号を必要とせずに、任意の階層の属性情報を逆階層化し、復元することができる。
＜ノードの解像度設定１＞
なお、このような属性情報に関する処理において位置情報を参照する場合に、DCMにより位置情報の符号化が省略される中間解像度のノードは、例えば、その階層の解像度で表現されるようにしてもよい。
＜符号化の場合＞
例えば、ポイントクラウドデータの符号化においてLoD=mの階層を処理対象とする場合について説明する。位置情報符号化部２０１は、疎なノードに対してDCMを適用し、図３１の例のような階層構造の位置情報を生成し、符号化する。つまり、この位置情報の符号化データには、ノードn0に対応するLoD=mのノードn0''の位置情報は含まれない。
これに対して、属性情報符号化部２０４は、図３３に示される例のように、DCMにより省略された、ノードn0に対応するLoD=mのノードn0''の属性情報を生成する。その際、属性情報符号化部２０４（階層化処理部２１１）は、そのノードn0''を、その階層（LoD=m）の解像度で表現する。つまり、属性情報符号化部２０４（階層化処理部２１１）は、その階層（LoD=m）の解像度のノードn0''に対応する属性情報を生成する。
その場合、階層（LoD=m）の解像度のノードn0''に対応する属性情報の生成方法は任意である。例えば、ノードn0やリーフp0に対応する属性情報が用いられて、ノードn0''に対応する属性情報が生成されるようにしてもよい。その場合、例えば、ノードn0やリーフp0の属性情報が、ノードn0やリーフp0とノードn0''との解像度の違いに応じて変換されることにより、ノードn0''に対応する属性情報が生成されるようにしてもよい。また、例えば、周辺に位置するノードの属性情報が用いられて、ノードn0''に対応する属性情報が生成されるようにしてもよい。
このようにすることにより、符号化装置２００は、階層（LoD=m）の解像度のノードn0''に対応する属性情報を符号化することができる。
＜復号の場合＞
次に、ポイントクラウドデータの符号化データの復号においてLoD=mの階層を処理対象とする場合について説明する。上述のように符号化された属性情報の符号化データには、階層（LoD=m）の解像度のノードn0''に対応する属性情報が含まれている。したがって、属性情報復号部４０４は、属性情報の符号化データを階層（LoD=m）まで復号することにより、容易に、階層（LoD=m）の解像度のノードn0''に対応する属性情報を復元することができる。
つまり、復号装置４００は、DCMが適用される場合であっても、より容易に、属性情報をスケーラブルに復号することができる。
なお、位置情報については、階層（LoD=m）のノードn0''に対応する位置情報が符号化されていない。したがって、位置情報復号部４０３は、図３４に示される例のように、リーフp0に対応する位置情報を復元し、その解像度を最終解像度（最高解像度）から階層（LoD=m）の解像度に変換することにより、階層（LoD=m）の解像度のノードn0''に対応する位置情報を生成してもよい。
＜ノードの解像度設定２＞
また、DCMにより位置情報の符号化が省略される中間解像度のノードは、例えば、最高解像度（つまり、リーフ（LoD=l）の解像度）で表現されるようにしてもよい。
＜符号化の場合＞
例えば、ポイントクラウドデータの符号化においてLoD=mの階層を処理対象とする場合について説明する。この場合、属性情報符号化部２０４は、図３５に示される例のように、DCMにより省略された、ノードn0に対応するLoD=mのノードn0''の属性情報を生成する。その際、属性情報符号化部２０４（階層化処理部２１１）は、そのノードn0''を、リーフ（LoD=l）の解像度で表現する。つまり、属性情報符号化部２０４（階層化処理部２１１）は、リーフ（LoD=l）の解像度のノードn0''に対応する属性情報（つまり、リーフp0に対応する属性情報と同一の属性情報）を生成する。
このようにすることにより、符号化装置２００は、リーフ（LoD=l）の解像度のノードn0''に対応する属性情報を符号化することができる。
＜復号の場合＞
次に、ポイントクラウドデータの符号化データの復号においてLoD=mの階層を処理対象とする場合について説明する。上述のように符号化された属性情報の符号化データには、リーフ（LoD=l）の解像度のノードn0''に対応する属性情報が含まれている。したがって、属性情報復号部４０４は、属性情報の符号化データを階層（LoD=m）まで復号することにより、容易に、リーフ（LoD=l）の解像度のノードn0''に対応する属性情報を復元することができる。
つまり、復号装置４００は、DCMが適用される場合であっても、より容易に、属性情報をスケーラブルに復号することができる。
なお、位置情報については、階層（LoD=m）のノードn0''が符号化されていない。したがって、位置情報復号部４０３は、図３６に示される例のように、リーフp0に対応する位置情報を復元し、それを、リーフ（LoD=l）の解像度のノードn0''に対応する位置情報として利用してもよい。
＜５．QuantizationWeight＞
＜重み値導出関数例その１＞
＜１．スケーラブル復号＞において、図１２等を参照して、重み値（Quantization Weight）の例について説明した。例えば、＜重み値：方法１－１－１＞において、所定の重み値導出関数を用いて重み値を導出する例について説明した。この重み値を導出するための重み値導出関数は、どのような関数であってもよいが、例えば、図３７のＡに示されるような式（１１）および式（１２）のような関数であってもよい。以下にその式（１１）および式（１２）を再掲する。
Figure 0007480775000003
Figure 0007480775000004
式（１１）および式（１２）において、LoDCountは、属性情報の階層構造の最下位層（最高解像度の階層）を示す。また、QuantizationWeight[i]は、この階層構造の階層ｉ（最上位（最低解像度の階層）から（i-1）番目の階層）における重み値（この重み値は階層毎に設定される値である）を示す。pointCountは、この階層構造の全ノード（Node）数、すなわち、全ポイント数を示す。predictorCount[i]は、階層ｉの予測ポイントの数、つまり、階層ｉにおいて予測値が導出されるポイントの数を示す。階層０（最上位層）から階層LoDCount（最下位層）までの各階層の予測ポイントの数の積算値（式（１１）の一番右の辺の分子）が、全ポイント数（pointCount）となる。
式（１１）に示されるように、この場合の階層ｉの重み値（QuantizationWeight[i]）には、全ポイント数と、その階層ｉの予測ポイントの数との比がセットされる。ただし、式（１２）に示されるように、最下位層（i==LoDCount）の場合、重み値（QuantizationWeight[i]）には、「１」がセットされる。
このような重み値導出関数を用いて重み値（QuantizationWeight[i]）を導出することにより、符号化装置２００および復号装置４００は、下位層に依存せずに重み値を導出することができる。したがって、＜重み値：方法１＞において上述したように、下位層に依存しない量子化・逆量子化が可能になる。つまり、上述のように下位層の情報の参照が不要であるので、符号化装置２００および復号装置４００は、より容易にスケーラブルな復号を実現することができる。
また、この重み値導出関数（式（１１）および式（１２））を用いることにより、符号化装置２００および復号装置４００は、上位の階層程、値が大きくなるように重み値を導出することができる。したがって、符号化・復号の精度の低減を抑制することができる。
なお、＜重み値：方法１－１－１＞において上述したように、符号化装置２００および復号装置４００が、この重み値導出関数（式（１１）および式（１２））を予め共有するようにしてもよい。このようにすることにより、符号化装置２００および復号装置４００は、互いに同一の重み値を導出することができる。また、この重み値導出関数を共有するための情報の伝送が不要であるので、符号化効率の低減や符号化処理および復号処理の負荷の増大を抑制することができる。
また、＜重み値：方法１－１－２＞において上述したように、符号化装置２００が、符号化の際にこの重み値導出関数（式（１１）および式（１２））を定義してもよい。その場合、符号化装置２００が、その定義した重み値導出関数、または、復号装置４００がその重み値導出関数を導出することができるパラメータ（重み値導出関数定義パラメータ）を、復号装置４００に伝送してもよい。
例えば、符号化装置２００は、このような重み値導出関数または重み値導出関数定義パラメータを、ポイントクラウドの符号化データを含むビットストリームに含めて復号装置４００に伝送するようにしてもよい。
例えば、図２０のフローチャートを参照して説明した量子化処理において、量子化部２１２は、重み値導出関数として、上述の式（１１）および式（１２）を定義する（ステップＳ２７１）。そして、量子化部２１２は、その重み値導出関数を用いて、階層（LoD）毎の重み値を導出する（ステップＳ２７２）。そして、量子化部２１２は、その導出したLoD毎の重み値を用いて、属性情報の差分値を量子化する（ステップＳ２７３）。そして、量子化部２１２は、その重み値導出関数または重み値導出関数定義パラメータを、符号化部２１３に供給し、符号化させる（ステップＳ２７４）。つまり、量子化部２１２は、重み値導出関数または重み値導出関数定義パラメータを復号側に伝送させる。
なお、符号化装置２００が、この重み値導出関数または重み値導出関数定義パラメータを、ポイントクラウドの符号化データを含むビットストリームとは独立したデータまたはファイルとして復号装置４００に伝送するようにしてもよい。
このように、このような重み値導出関数またはパラメータを符号化装置２００から復号装置４００に伝送することにより、符号化装置２００および復号装置４００は、重み値導出関数（式（１１）および式（１２））を共有することができる。したがって、符号化装置２００および復号装置４００は、互いに同一の重み値を導出することができる。
また、＜重み値：方法１－２＞において上述したように、符号化装置２００および復号装置４００が、この重み値導出関数（式（１１）および式（１２））を用いて導出した重み値（QuantizationWeight[i]）を共有するようにしてもよい。例えば、＜重み値：方法１－２－２＞において上述したように、符号化装置２００が、符号化の際にこの重み値導出関数を用いて重み値を導出し、その重み値を復号装置４００に伝送するようにしてもよい。
例えば、符号化装置２００は、このような重み値を、ポイントクラウドの符号化データを含むビットストリームに含めて復号装置４００に伝送するようにしてもよい。
例えば、図２２のフローチャートを参照して説明した量子化処理において、量子化部２１２は、上述の重み値導出関数（式（１１）および式（１２））を用いて、階層（LoD）毎の重み値を導出する（ステップＳ３２１）。そして、量子化部２１２は、その導出したLoD毎の重み値を用いて、属性情報の差分値を量子化する（ステップＳ３２２）。そして、量子化部２１２は、その量子化に用いた重み値を、符号化部２１３に供給し、符号化させる（ステップＳ３２３）。つまり、量子化部２１２は、この重み値を復号側に伝送させる。
なお、符号化装置２００が、この重み値を、ポイントクラウドの符号化データを含むビットストリームとは独立したデータまたはファイルとして復号装置４００に伝送するようにしてもよい。
このように重み値を符号化装置２００から復号装置４００に伝送することにより、符号化装置２００および復号装置４００は、重み値を共有することができる。したがって、符号化装置２００および復号装置４００は、下位層に依存せずに、容易に重み値を導出することができる。したがって、符号化装置２００および復号装置４００は、より容易にスケーラブルな復号を実現することができる。また、復号装置４００は、重み値導出関数を用いて重み値を導出する必要がないので、復号処理の負荷の増大を抑制することができる。
＜重み値導出関数例その２＞
重み値導出関数は、例えば、例えば、図３７のＢに示されるような式（１３）のような関数であってもよい。以下にその式（１３）を再掲する。
Figure 0007480775000005
式（１１）および式（１２）の場合と同様に、式（１３）において、LoDCountは、属性情報の階層構造の最下位層を示す。また、QuantizationWeight[i]は、この階層構造の階層ｉにおける重み値を示す。predictorCount[i]は、階層ｉの予測ポイントの数、つまり、階層ｉにおいて予測値が導出されるポイントの数を示す。階層ｉ（処理対象の階層）から階層LoDCount（最下位層）までの各階層の予測ポイントの数の積算値（式（１１）の一番右の辺の分子）は、階層ｉ以下のポイント数となる。
式（１３）に示されるように、この場合の階層ｉの重み値（QuantizationWeight[i]）には、階層ｉ以下のポイント数と、その階層ｉの予測ポイントの数との比がセットされる。
この式（１３）の重み値導出関数を適用する場合も、式（１１）および式（１２）の重み値導出関数を適用する場合と同様に、符号化装置２００および復号装置４００は、下位層に依存せずに重み値を導出することができる。したがって、＜重み値：方法１＞において上述したように、下位層に依存しない量子化・逆量子化が可能になる。つまり、上述のように下位層の情報の参照が不要であるので、符号化装置２００および復号装置４００は、より容易にスケーラブルな復号を実現することができる。
また、この式（１３）の重み値導出関数を適用する場合も、式（１１）および式（１２）の重み値導出関数を適用する場合と同様に、符号化装置２００および復号装置４００は、上位の階層程、値が大きくなるように重み値を導出することができる。したがって、符号化・復号の精度の低減を抑制することができる。
重み値（QuantizationWeight[i]）は、図５に示されるように、他のポイントに参照される機会が多いポイント程重要である（主観的な画質への影響が大きい）という価値観に従って値がセットされる。そして、一般的に、より上位の階層の予測ポイント程、他のポイントに参照される機会が多いという傾向がある。そのため、より上位の階層の予測ポイント程、大きな重み値がセットされる。図１２を参照して上述したように、階層（LoD）毎に重み値をセットする場合も、この価値観に従ってより上位の階層程大きな重み値がセットされる。
ポイントが十分に密な状態のポイントクラウドの場合、すなわち、基本的に各ポイントの近傍に他のポイントが存在する場合、一般的に、解像度を増大させる程、ポイント数が増大する。典型的には、そのポイント数増大の度合いも十分に大きく、予測ポイントの数（predictorCount[i]）は、下位層に向かって単調増加する。したがって、式（１１）および式（１２）の重み値導出関数を適用しても、式（１３）の重み値導出関数を適用しても、階層ｉの重み値（QuantizationWeight[i]）は、上位層になる程大きくなりやすい。
これに対して、ポイントが疎な状態のポイントクラウドの場合、すなわち、各ポイントの近傍に他のポイントが存在する可能性が低い場合、一般的に、解像度を増大させてもポイント数はあまり増大しない。典型的には、多くの割合のポイントが階層構造の上位層において予測ポイントに割り当てられてしまい、予測ポイントの数が下位層に向かって低減する可能性もある。
式（１１）および式（１２）の重み値導出関数を適用する場合、階層ｉの重み値（QuantizationWeight[i]）は、その階層の予測ポイントの数（predictorCount[i]）が少ない程、大きな値になる。したがって、典型的には、多くの割合のポイントが予測ポイントに割り当てられる上位層の方が、下位層よりも重み値が小さくなってしまうことも考えられる。つまり、重み値と予測ポイントが参照される機会の数との対応関係が弱くなり、量子化による主観的な画質の劣化が増大する可能性がある。
これに対して、階層ｉ以下のポイント数は、上位層に向かって単調増加する。そのため、式（１３）の重み値導出関数を適用する場合、階層ｉの重み値（QuantizationWeight[i]）は、上位層になる程、増大する可能性が高い。つまり、他のポイントに参照される機会が多い（より上位の階層の）予測ポイントに対して大きな重み値をセットするという傾向を維持しやすい。したがって、式（１１）および式（１２）の重み導出関数を適用する場合よりも、量子化による主観的な画質の劣化を抑制することができる。
なお、＜重み値：方法１－１－１＞において上述したように、符号化装置２００および復号装置４００が、この重み値導出関数（式（１３））を予め共有するようにしてもよい。このようにすることにより、符号化装置２００および復号装置４００は、互いに同一の重み値を導出することができる。また、この重み値導出関数を共有するための情報の伝送が不要であるので、符号化効率の低減や符号化処理および復号処理の負荷の増大を抑制することができる。
また、＜重み値：方法１－１－２＞において上述したように、符号化装置２００が、符号化の際にこの重み値導出関数（式（１３））を定義してもよい。その場合、符号化装置２００が、その定義した重み値導出関数、または、復号装置４００がその重み値導出関数を導出することができるパラメータ（重み値導出関数定義パラメータ）を、復号装置４００に伝送してもよい。
例えば、符号化装置２００は、このような重み値導出関数または重み値導出関数定義パラメータを、ポイントクラウドの符号化データを含むビットストリームに含めて復号装置４００に伝送するようにしてもよい。
例えば、図２０のフローチャートを参照して説明した量子化処理において、量子化部２１２は、重み値導出関数として、上述の式（１３）を定義する（ステップＳ２７１）。そして、量子化部２１２は、その重み値導出関数を用いて、階層（LoD）毎の重み値を導出する（ステップＳ２７２）。そして、量子化部２１２は、その導出したLoD毎の重み値を用いて、属性情報の差分値を量子化する（ステップＳ２７３）。そして、量子化部２１２は、その重み値導出関数または重み値導出関数定義パラメータを、符号化部２１３に供給し、符号化させる（ステップＳ２７４）。つまり、量子化部２１２は、重み値導出関数または重み値導出関数定義パラメータを復号側に伝送させる。
なお、符号化装置２００が、この重み値導出関数または重み値導出関数定義パラメータを、ポイントクラウドの符号化データを含むビットストリームとは独立したデータまたはファイルとして復号装置４００に伝送するようにしてもよい。
このように、このような重み値導出関数またはパラメータを符号化装置２００から復号装置４００に伝送することにより、符号化装置２００および復号装置４００は、重み値導出関数（式（１３））を共有することができる。したがって、符号化装置２００および復号装置４００は、互いに同一の重み値を導出することができる。
また、＜重み値：方法１－２＞において上述したように、符号化装置２００および復号装置４００が、この重み値導出関数（式（１３））を用いて導出した重み値（QuantizationWeight[i]）を共有するようにしてもよい。例えば、＜重み値：方法１－２－２＞において上述したように、符号化装置２００が、符号化の際にこの重み値導出関数を用いて重み値を導出し、その重み値を復号装置４００に伝送するようにしてもよい。
例えば、符号化装置２００は、このような重み値を、ポイントクラウドの符号化データを含むビットストリームに含めて復号装置４００に伝送するようにしてもよい。
例えば、図２２のフローチャートを参照して説明した量子化処理において、量子化部２１２は、上述の重み値導出関数（式（１３））を用いて、階層（LoD）毎の重み値を導出する（ステップＳ３２１）。そして、量子化部２１２は、その導出したLoD毎の重み値を用いて、属性情報の差分値を量子化する（ステップＳ３２２）。そして、量子化部２１２は、その量子化に用いた重み値を、符号化部２１３に供給し、符号化させる（ステップＳ３２３）。つまり、量子化部２１２は、この重み値を復号側に伝送させる。
なお、符号化装置２００が、この重み値を、ポイントクラウドの符号化データを含むビットストリームとは独立したデータまたはファイルとして復号装置４００に伝送するようにしてもよい。
このように、このような重み値を符号化装置２００から復号装置４００に伝送することにより、符号化装置２００および復号装置４００は、重み値を共有することができる。したがって、符号化装置２００および復号装置４００は、下位層に依存せずに、容易に重み値を導出することができる。したがって、符号化装置２００および復号装置４００は、より容易にスケーラブルな復号を実現することができる。また、復号装置４００は、重み値導出関数を用いて重み値を導出する必要がないので、復号処理の負荷の増大を抑制することができる。
＜６．LoDGeneration＞
＜位置情報復号時のLoDGeneration＞
＜１．スケーラブル復号＞において図６等を参照して上述したように、位置情報の階層構造と同様の構造となるように属性情報を階層化することにより、属性情報のスケーラブルな復号が可能になる。そして、属性情報は、各階層の予測ポイント（換言するに参照ポイント）を選択することにより、その階層構造が設定される。このような階層構造を設定する処理をLoDジェネレーション（LoDGeneration）処理、またはサブサンプリング（SubSampling）処理と称する。
＜２．第１の実施の形態＞や＜３．第２の実施の形態＞において上述したように、このLoDジェネレーション処理は、属性情報の符号化・復号の際に行われる。例えば、符号化装置２００の場合、属性情報符号化部２０４のポイント分類部２３１がこのLoDジェネレーション処理を行う（ステップＳ２４２）。また、復号装置４００の場合、属性情報復号部４０４の逆階層化処理部４２３がこのLoDジェネレーション処理を行う（ステップＳ４６１）。
このLoDジェネレーション処理は、この例以外にも、例えば、位置情報の符号化データの復号の際に行われるようにしてもよい。位置情報の符号化データを復号することにより、位置情報の階層構造（各ポイントがどの階層に属するか）が明らかになる。そこでLoDジェネレーション処理として、この位置情報の階層構造を示す情報を生成する。そして、その情報に基づいて、位置情報の階層構造に対応するように、属性情報の階層化・逆階層化が行われるようにする。このようにすることにより、位置情報の階層構造を属性情報に適用することができる。
そして、このような階層化・逆階層化を適用して属性情報の符号化・復号が行われるようにする。つまり、位置情報と属性情報の階層構造が対応した状態で符号化・復号が行われるようにする。このようにすることにより、属性情報のスケーラブルな復号が可能になる。また、冗長な処理を低減させ、属性情報の符号化処理・復号処理の負荷の増大を抑制することができる。
なお、符号化装置２００の場合、このLoDジェネレーション処理は、位置情報の符号化の際に行われるようにしてもよい。
＜LoDGeneration処理の例＞
このようなLoDジェネレーション処理について説明する。位置情報の符号化データを復号すると、例えばOctree等の階層構造が復元される。図３８は、復元された位置情報の階層構造の例を示す。この階層構造の丸で示されるノード６１１は、階層化されたポイントを示す。なお、図３８においては、階層構造の一部（ノード６１１の一部）のみを示している。図３８においては、ノード６１１－１乃至ノード６１１－１２が示されているが、各ノードを互いに区別して説明する必要がない場合、ノード６１１と称する。
位置情報は、最上位の階層（LoDIdx = 0）から最下位の階層に向かって階層毎に復号される。図３８に示される例の場合、最上位の階層（LoDIdx = 0）においてノード６１１－１が出現している。その１つ下位の階層（LoDIdx = 1）において、解像度が上がることによりノード６１１－１に対応するポイントが分割され、新たなノード６１１－２が出現している。その１つ下位の階層（LoDIdx = 2）においては、ノード６１１－１に対応するポイントが分割され、新たなノード６１１－３およびノード６１１－４が出現し、ノード６１１－２に対応するポイントが分割され、新たなノード６１１－５乃至ノード６１１－７が出現している。
その１つ下位の階層（LoDIdx = 3）においては、ノード６１１－１に対応するポイントが分割され、新たなノード６１１－７が出現している。その１つ下位の階層（LoDIdx = 4）においては、ノード６１１－１に対応するポイントが分割され、新たなノード６１１－８乃至ノード６１１－１０が出現し、ノード６１１－７に対応するポイントが分割され、新たなノード６１１－１１およびノード６１１－１２が出現している。
このように順次出現する各ノード６１１に対して、例えばデータ構造のリスト（List）のようなものを用いて、階層（LodIdx）を示すラベル付けが行われる。図３８の例に対するラベル付けの例を図３９に示す。このラベル付けは、位置情報の階層構造の最上位層から最下位層に向かう順に階層毎に行われ、新たに出現する各ノードに対して、その階層を示す値のラベルが付けられる。
例えば、最上位の階層（LoDIdx = 0）が処理され、ノード６１１－１が出現すると、図３９の上から１段目（「１」の段）に示されるように、リストにおいて、そのノード６１１－１に対して「０」のラベルが付けられる。
１つ下位の階層（LoDIdx = 1）が処理され、ノード６１１－２が新たに出現すると、図３９の上から２段目（「２」の段）に示されるように、リストにおいて、そのノード６１１－２に対して「１」のラベルが付けられる。ノード６１１－１は既にラベル付けされているので、ここではラベルはつけられない。
さらに、１つ下位の階層（LoDIdx = 2）が処理され、ノード６１１－３乃至ノード６１１－６が新たに出現すると、図３９の上から３段目（「３」の段）に示されるように、リストにおいて、そのノード６１１－３乃至ノード６１１－６のそれぞれに対して「２」のラベルが付けられる。ノード６１１－１およびノード６１１－２は既にラベル付けされているので、ここではラベルはつけられない。また、階層構造（Octree）においては各ノード（各ポイント）がモートンオーダー順に並ぶ。リストにおいても、同様に、各ノード６１１のラベルがモートンオーダー順に整列される。したがって、図３９の例の場合、ラベルの並びは「０、２、２、１、２、２、・・・」のようになる。
さらに、１つ下位の階層（LoDIdx = 3）が処理され、ノード６１１－７が新たに出現すると、図３９の上から４段目（「４」の段）に示されるように、リストにおいて、そのノード６１１－７に対して「３」のラベルが付けられる。ノード６１１－１は既にラベル付けされているので、ここではラベルはつけられない。モートンオーダー順においてノード６１１－７は、ノード６１１－１の次に出現するので、図３９の例の場合、ラベルの並びは「０、３、・・・」のようになる。
さらに、１つ下位の階層（LoDIdx = 4）が処理され、ノード６１１－８乃至ノード６１１－１２が新たに出現すると、図３９の上から５段目（「５」の段）に示されるように、リストにおいて、これらのノード６１１－８乃至ノード６１１－１２に対して「４」のラベルが付けられる。ノード６１１－１やノード６１１－７は既にラベル付けされているので、ここではラベルはつけられない。モートンオーダー順において、ノード６１１－８乃至ノード６１１－１０は、ノード６１１－１の次に出現し、ノード６１１－１１およびノード６１１－１２は、ノード６１１－７の次に出現する。したがって、図３９の例の場合、ラベルの並びは「０、４、４、４、３、４、４、・・・」のようになる。
以上のように生成したリストを参照して属性情報を階層化し、属性情報の符号化・復号を行うことにより、位置情報と同様の階層構造で属性情報を符号化・復号することができる。したがって、属性情報のスケーラブルな復号を実現することができる。また、冗長な処理を低減させ、属性情報の符号化処理・復号処理の負荷の増大を抑制することができる。
＜DCMを含む場合その１＞
位置情報の階層構造においてDCMが含まれる場合について説明する。その場合の位置情報の階層構造の例を図４０に示す。図４０に示される階層構造において、LoDIdx = 1の階層で出現するノード６１１－２１のポイントはLoDIdx = 3の階層で分割される。つまり、LoDIdx = 3の階層において新たなノード６１１－２２が出現している。また、このノード６１１－２１には、DCMが適用されている。ノード６１１－２２にもDCMが適用される。
このようなDCMが適用されるノードについては、DCMが適用されないノードとは異なるリストを用いてラベル付けを行うようにしてもよい。このような手法による図４０の例に対するラベル付けの例を図４１に示す。図４１に示されるように、DCMが適用されないノードについては、リストＡ（ListA）を用いて図３９の例の場合と同様にラベル付けが行われる。これに対して、DCMが適用されるノード６１１－２１およびノード６１１－２２については、リストＡと異なるリストＢ（ListB）を用いてラベル付けが行われる。なお、リストＡおよびリストＢは、説明の便宜上、各リストに付した名称であり、実際の名称は任意である。
最上位の階層（LoDIdx = 0）が処理された後、その１つ下位の階層（LoDIdx = 1）が処理され、DCMが適用されたノード６１１－２１が新たに出現すると、図４１の点線より図中右側に示されるリストＢにおいて、そのノード６１１－２１に対して「１」のラベルが付けられる。ノード６１１－２２もDCMが適用され、このLoDIdx = 1のノード６１１－２１からの相対距離として符号化されるため、この階層においてノード６１１－２２に対してラベルが付けられる。ただし、ノード６１１－２２はLoDIdx = 3においてノード６１１－２１と分かれるので、このノード６１１－２２に対しては「３」のラベルが付けられる。
なお、ノード６１１－２１に対するラベルとノード６１１－２２に対するラベルは、最下位層（最高解像度）のモートンオーダー順における両ノードの位置に応じて並べられる。図４０の例の場合、ノード６１１－２１、ノード６１１－２２の順に並ぶので、ラベルは「１、３」の順に並べられる。
他のDCMが適用されるノード６１１についても同様にリストＢにラベルがセットされる。そして、属性情報の符号化・復号において、リストＡおよびリストＢのラベル列が利用される。その際、リストＡのラベル列とリストＢのラベル列がマージされ、モートンオーダー順に整列される。つまり、最下位層（最高解像度）においてモートンオーダー順に並ぶノードに対応するようにラベルが整列される。
さらに、リストＢのラベル（DCMが適用されたノードのラベル）に対しては、重複点を除去する処理が行われる。DCMが適用されたノード６１１には、最初に出現した時点で、分離するノード６１１に対してもラベル付けが行われる。例えば、図４１の場合、LoDIdx = 1の階層において、ノード６１１－２１とノード６１１－２２の両方に対するラベル付けが行われている。
しかしながら、復号対象の階層によっては、ノードが分離していない場合もあり得る。例えば、図４０の例のLoDIdx = 2の階層（解像度）で復号する場合、ノード６１１－２１とノード６１１－２２は分離していない。つまり、LoDIdx = 2の階層においては、「１」のラベルに対応するポイント（ノード６１１－２１）と「３」のラベルに対応するポイント（ノード６１１－２２）とが重複している。したがって、ノード６１１－２２に対するラベルは不要である。そこで、上述のように、対応する点が重複するラベルの除去が行われる。
つまりこの重複点を除去する処理は、リストＢのラベル（DCMが適用されたノードのラベル）のみを対象として行われる（リストＡのラベルは対象外となる）。
以上のように、DCMが適用されていないノードに対応するラベル列と、DCMが適用されたノードに対応するラベル列とがマージされ、各ラベルがモートンオーダー順に整列され、さらに、重複点が適宜除去された１つのラベル列が、LoDジェネレーション処理結果として、属性情報の符号化・復号に適用される。
以上のように生成したリストを参照して属性情報を階層化し、属性情報の符号化・復号を行うことにより、位置情報と同様の階層構造で属性情報を符号化・復号することができる。したがって、位置情報の階層構造においてDCMが含まれる場合も、属性情報のスケーラブルな復号を実現することができる。また、冗長な処理を低減させ、属性情報の符号化処理・復号処理の負荷の増大を抑制することができる。
＜DCMを含む場合その２＞
また、位置情報の階層構造においてDCMが含まれる場合も、DCMが適用されるノードとDCMが適用されないノードとを分けずに、すなわち、同一のリストを用いてラベル付けが行われるようにしてもよい。図４２は、図４１と同様に、図４０に示される階層構造に対するラベル付けの例を示す。図４２の例では、図３９の例の場合と同様に、単一のリストを用いてラベル付けが行われている。
まず、最上位の階層（LoDIdx = 0）が処理され、ノード６１１－１が出現すると、図３９の例の場合と同様に、リストにおいて、そのノード６１１－１に対して「０」のラベルが付けられる（図４２の上から１段目（「１」の段））。
その１つ下位の階層（LoDIdx = 1）が処理され、DCMが適用されたノード６１１－２１が新たに出現すると、リストにおいて、そのノード６１１－２１に対して「１」のラベルが付けられる。ノード６１１－２２もDCMが適用され、このLoDIdx = 1のノード６１１－２１からの相対距離として符号化されるため、この階層においてノード６１１－２２に対してラベルが付けられる。ただし、ノード６１１－２２はLoDIdx = 3においてノード６１１－２１と分かれるので、このノード６１１－２２に対しては「３」のラベルが付けられる（図４２の上から２段目（「２」の段））。
なお、図４１の場合と同様に、ノード６１１－２１に対するラベルとノード６１１－２２に対するラベルは、最下位層（最高解像度）のモートンオーダー順における両ノードの位置に応じて並べられる。図４０の例の場合、ノード６１１－２１、ノード６１１－２２の順に並ぶので、ラベルは「１、３」の順に並べられる。
ただし、この図４２の例の場合、重複点の除去は、DCMが適用されたノードに対してラベル付けを行う都度、行われる。例えば、図４０の例のLoDIdx = 2の階層（解像度）で復号する場合は、「１」のラベルに対応するポイント（ノード６１１－２１）と「３」のラベルに対応するポイント（ノード６１１－２２）とが重複するので、「３」のラベルが除去される。換言するに、図４２の上から２段目（「２」の段）において、「１」のラベル付けのみが行われる。
これに対して、図４０の例のLoDIdx = 4の階層（解像度）で復号する場合は、「１」のラベルに対応するポイント（ノード６１１－２１）と「３」のラベルに対応するポイント（ノード６１１－２２）とが重複しないので、ラベルの除去は行われない。換言するに、図４２の上から２段目（「２」の段）において、「１」のラベル付けと「３」のラベル付けが行われる。
さらに、１つ下位の階層（LoDIdx = 2）が処理され、新たなノード６１１が出現すると、リストにおいて、それらのノードに対して「２」のラベルが付けられる（４２の上から３段目（「３」の段））。同様に、さらに１つ下位の階層（LoDIdx = 3）が処理され、新たなノード６１１が出現すると、リストにおいて、それらのノードに対して「３」のラベルが付けられる（４２の上から３段目（「４」の段））。同様に、さらに１つ下位の階層（LoDIdx = 4）が処理され、新たなノード６１１が出現すると、リストにおいて、それらのノードに対して「４」のラベルが付けられる（４２の上から３段目（「５」の段））。これらのラベルは、ノード６１１と同様、モートンオーダー順に整列される。
以上のように生成された、DCMが適用されていないノードに対応するラベルと、DCMが適用されたノードに対応するラベルとを含む１つのラベル列が、LoDジェネレーション処理結果として、属性情報の符号化・復号に適用される。この方法の場合、生成されたラベル列は、各ラベルがモートンオーダー順に整列されている。したがって、このラベル列は、図４１の例の場合のように、各ラベルをモートンオーダー順に整列してマージする必要なく、属性情報の符号化・復号に適用することができる。
以上のように生成したリストを参照して属性情報を階層化し、属性情報の符号化・復号を行うことにより、位置情報と同様の階層構造で属性情報を符号化・復号することができる。したがって、この方法の場合も、属性情報のスケーラブルな復号を実現することができる。また、冗長な処理を低減させ、属性情報の符号化処理・復号処理の負荷の増大を抑制することができる。
＜符号化装置＞
図４３は、この場合の符号化装置２００の構成の一例を示すブロック図である。つまり、図４３に示される符号化装置２００は、＜６．LoDGeneration＞において上述した本技術を適用してポイントクラウドを符号化する。
なお、図４３においては、処理部やデータの流れ等の主なものを示しており、図４３に示されるものが全てとは限らない。つまり、符号化装置２００において、図４３においてブロックとして示されていない処理部が存在したり、図４３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図４３に示される符号化装置２００は、図１４の場合と同様に、位置情報符号化部２０１乃至ビットストリーム生成部２０５を有する。ただし、位置情報復号部２０２は、位置情報の符号化データを復号する際に、図３８乃至図４２を参照して上述したようにリストを用いてLoDジェネレーション処理（サブサンプリング処理）を行う。
例えば、位置情報の階層構造にDCMが適用されたノードが含まれない場合、位置情報復号部２０２は、図３９を参照して説明したような方法によりLoDジェネレーション処理を行う。また、例えば、位置情報の階層構造にDCMが適用されたノードが含まれる場合、位置情報復号部２０２は、図４１または図４２を参照して説明したような方法によりLoDジェネレーション処理を行う。
そして、位置情報復号部２０２は、生成したリスト（ラベル列）を属性情報符号化部２０４に供給する。属性情報符号化部２０４は、そのLoDジェネレーション処理結果（ラベル列）を用いて属性情報を符号化する。つまり、属性情報符号化部２０４は、そのラベル列（位置情報の階層構造）を属性情報の階層構造として適用し、符号化を行う。このようにすることにより、属性情報符号化部２０４は、LoDジェネレーション処理（サブサンプリング処理）を行わずに、各属性情報を位置情報と同様の階層構造に階層化することができる。
したがって、符号化装置２００は、属性情報のスケーラブルな復号を実現することができる。また、符号化装置２００は、冗長な処理を低減させ、属性情報の符号化処理の負荷の増大を抑制することができる。
＜符号化処理の流れ＞
この場合の符号化処理の流れの例を、図４４のフローチャートを参照して説明する。符号化処理が開始されると、符号化装置２００の位置情報符号化部２０１は、ステップＳ６０１において、入力されたポイントクラウドの位置情報を符号化し、位置情報の符号化データを生成する。
ステップＳ６０２において、位置情報復号部２０２は、ステップＳ６０１において生成された位置情報の符号化データを復号し、位置情報を生成する。その際、位置情報復号部２０２は、図３８乃至図４２を参照して上述したように、リストを用いてLoDジェネレーション処理を行い、各ノードのラベル付けを行う。
ステップＳ６０３において、ポイントクラウド生成部２０３は、入力されたポイントクラウドの属性情報と、ステップＳ２０２において生成された位置情報（復号結果）とを用いて、リカラー処理を行い、属性情報を位置情報に対応させる。
ステップＳ６０４において、属性情報符号化部２０４は、属性情報符号化処理を実行することにより、ステップＳ６０３においてリカラー処理された属性情報を符号化し、属性情報の符号化データを生成する。その際、属性情報符号化部６０４は、ステップＳ６０２において行われたLoDジェネレーション処理の結果（ラベル列）を用いて属性情報を符号化する。この場合も属性情報符号化処理は、図１８のフローチャートと同様の流れで行われる。ただし、ステップＳ２２１において実行される階層化処理の詳細については後述する。
ステップＳ６０５において、ビットストリーム生成部２０５は、ステップＳ６０１において生成された位置情報の符号化データと、ステップＳ６０４において生成された属性情報の符号化データとを含むビットストリームを生成し、出力する。
ステップＳ６０５の処理が終了すると符号化処理が終了する。
このように各ステップの処理を行うことにより、符号化装置２００は、属性情報の階層構造を位置情報の階層構造に対応付けることができる。つまり、符号化装置２００は、属性情報のスケーラブルな復号をより容易化することができる。また、符号化装置２００は、冗長な処理を低減させ、符号化処理の負荷の増大を抑制することができる。
＜階層化処理の流れ＞
この場合も、図４４のステップＳ６０４において実行される属性情報符号化処理は、図１８のフローチャートと同様の流れで実行される。ただし、その属性情報符号化処理のステップＳ２２１においては、階層化処理は、以下のような流れで実行される。この場合の階層化処理の流れの例を図４５のフローチャートを参照して説明する。
階層化処理が開始されると、階層化処理部２１１の階層別処理部２２１は、ステップＳ６２１において、処理対象であるカレント階層（現在LoD）を最下位の階層（LoD）とする。つまり、最下位の階層（LoD）を処理対象とする。
ステップＳ６２２において、ポイント分類部２３１は、図４４のステップＳ６０２のLoDジェネレーション処理でラベル付けが行われたリストに基づいて予測ポイントを選択する。つまり、ポイント分類部２３１は、位置情報と同様の階層構造を構築する。
ステップＳ６２３乃至ステップＳ６３０の各処理は、ステップＳ２４３乃至ステップＳ２５０（図１９）の各処理と同様に実行される。
このように各ステップの処理を行うことにより、階層化処理部２１１は、属性情報の階層構造を位置情報の階層構造に対応付けることができる。つまり、階層化処理部２１１は、属性情報のスケーラブルな復号をより容易化することができる。また、階層化処理部２１１は、冗長な処理を低減させ、階層化処理の負荷の増大を抑制することができる。
＜復号装置＞
復号装置４００の構成は、この場合も図２３の例と同様である。つまり、図２３の復号装置４００は、＜６．LoDGeneration＞において上述した本技術を適用してポイントクラウドを符号化して生成されたビットストリームを復号することができる。ただし、この場合、位置情報復号部４０３は、位置情報の符号化データを復号する際に、図３８乃至図４２を参照して上述したように、リストを用いてLoDジェネレーション処理（サブサンプリング処理）を行う。つまり、位置情報復号部４０３は、位置情報復号部２０２と同様の方法により、LoDジェネレーション処理を行う。
そして、位置情報復号部４０３は、生成したリスト（ラベル列）を属性情報復号部４０４に供給する。属性情報復号部４０４は、そのLoDジェネレーション処理結果（ラベル列）を用いて属性情報の符号化データを復号する。つまり、属性情報復号部４０４は、そのラベル列（位置情報の階層構造）を属性情報の階層構造として適用し、復号を行う。このようにすることにより、属性情報復号部４０４は、LoDジェネレーション処理（サブサンプリング処理）を行わずに、各属性情報が位置情報と同様の階層構造であるものとして逆階層化処理を行うことができる。
したがって、復号装置４００は、属性情報のスケーラブルな復号を実現することができる。また、復号装置４００は、冗長な処理を低減させ、属性情報の符号化データの復号処理の負荷の増大を抑制することができる。
なお、この場合も、属性情報復号部４０４は、図２４の例の場合と同様の構成を有する。また、逆階層化処理部４２３は、図２５の例の場合と同様の構成を有する。
＜復号処理の流れ＞
この場合の復号処理の流れの例を、図４６のフローチャートを参照して説明する。復号処理が開始されると、復号装置４００の復号対象LoD深度設定部４０１は、ステップＳ６５１において、復号するLoD深度を設定する。
ステップＳ６５２において、符号化データ抽出部４０２は、ビットストリームを取得して保持し、最上位のLoDからステップＳ６５１において設定されたLoD深度までの位置情報および属性情報の符号化データを抽出する。
ステップＳ６５３において、位置情報復号部４０３は、ステップＳ６５２において抽出された位置情報の符号化データを復号し、位置情報（復号結果）を生成する。その際、位置情報復号部４０３は、図３８乃至図４２を参照して上述したように、リストを用いてLoDジェネレーション処理を行い、各ノードのラベル付けを行う。
ステップＳ６５４において、属性情報復号部４０４は、ステップＳ６５２において抽出された属性情報の符号化データを復号し、属性情報（復号結果）を生成する。その際、属性情報復号部４０４は、ステップＳ６５３において行われたLoDジェネレーション処理の結果（ラベル列）を用いて属性情報の符号化データを復号する。この場合も属性情報復号処理は、図２７のフローチャートと同様の流れで行われる。ただし、ステップＳ４２３において実行される逆階層化処理の詳細については後述する。
ステップＳ６５５において、ポイントクラウド生成部４０５は、ステップＳ６５３において生成された位置情報（復号結果）と、ステップＳ６５４において生成された属性情報（復号結果）とを用いてポイントクラウド（復号結果）を生成し、出力する。
ステップＳ６５５の処理が終了すると、復号処理が終了する。
このように各ステップの処理を行うことにより、復号装置４００は、属性情報の階層構造を位置情報の階層構造に対応付けることができる。つまり、復号装置４００は、属性情報のスケーラブルな復号をより容易に行うことができる。また、復号装置４００は、冗長な処理を低減させ、復号処理の負荷の増大を抑制することができる。
＜逆階層化処理の流れ＞
この場合も、図４６のステップＳ６５４において実行される属性情報復号処理は、図２７のフローチャートと同様の流れで実行される。ただし、その属性情報復号処理のステップＳ４２３において、逆階層化処理は、以下のような流れで実行される。この場合の逆階層化処理の流れの例を図４７のフローチャートを参照して説明する。
逆階層化処理が開始されると、逆階層化処理部４２３の階層別処理部４４１は、ステップＳ６６１において、処理対象であるカレント階層（現在LoD）を最上位の階層（LoD）とする。つまり、最下位の階層（LoD）を処理対象とする。
ステップＳ６６２において、予測部４５１は、図４６のステップＳ６５３のLoDジェネレーション処理でラベル付けが行われたリストと、現在LoDの解像度の位置情報とに基づいて、参照ポイントから予測ポイントの予測値を導出する。
例えば、予測部４５１は、リストに基づいて、すなわち、属性情報の階層構造を位置情報の階層構造と同様のものとみなして、現在LoDの参照ポイントを特定し、その参照ポイントと現在LoDの解像度の位置情報とに基づいて、現在LoDの予測ポイントの予測値を導出する。この予測値の導出方法は任意である。例えば、予測部４５１が、ステップＳ４６３の処理の場合と同様の方法により予測値を導出するようにしてもよい。
ステップＳ６６３乃至ステップＳ６６６の各処理は、ステップＳ４６４乃至ステップＳ４６７の各処理（図２９）と同様に実行される。
このように各ステップの処理を行うことにより、逆階層化処理部４２３は、属性情報の階層構造を位置情報の階層構造に対応付けることができる。つまり、復号装置４００は、属性情報のスケーラブルな復号をより容易に行うことができる。また、逆階層化処理部４２３は、冗長な処理を低減させ、逆階層化処理の負荷の増大を抑制することができる。
＜７．付記＞
＜階層化・逆階層化方法＞
以上においては、属性情報の階層化・逆階層化方法としてLiftingを例に説明したが、本技術は、属性情報を階層化する任意の技術に適用することができる。つまり、属性情報の階層化・逆階層化の方法は、Lifting以外であってもよい。
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。
＜周辺・近傍＞
なお、本明細書において、「近傍」や「周辺」等の位置関係は、空間的な位置関係だけでなく、時間的な位置関係も含みうる。
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図４８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図４８に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
＜本技術の適用対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
また、以上においては、本技術の適用例として符号化装置２００および復号装置４００について説明したが、本技術は、任意の構成に適用することができる。
例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） ３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより前記属性情報の階層化を行う階層化部を備え、
前記階層化部は、前記階層化の際に、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように前記予測ポイントを選択する
情報処理装置。
（２） 前記階層化部は、
前記予測ポイントと前記参照ポイントとの距離に応じて重み付けした前記参照ポイントの前記属性情報を用いて前記予測ポイントの前記予測値を導出し、
導出した前記予測値を用いて前記差分値を導出する
（１）に記載の情報処理装置。
（３） 前記階層化部は、前記ポイントクラウドの最下層の解像度の位置情報に基づく前記距離に応じて重み付けした前記参照ポイントの前記属性情報を用いて前記予測ポイントの前記予測値を導出する
（２）に記載の情報処理装置。
（４） 前記階層化部は、前記ポイントクラウドのカレント階層の解像度の位置情報に基づく前記距離に応じて重み付けした前記参照ポイントの前記属性情報を用いて前記予測ポイントの前記予測値を導出する
（２）に記載の情報処理装置。
（５） 前記階層化部は、カレント階層のポイントを全て前記予測ポイントに分類し、前記１つ上位階層のボクセル内に参照ポイントを設定し、前記参照ポイントの前記属性情報を用いて前記予測ポイントの前記予測値を導出する
（２）に記載の情報処理装置。
（６） 前記階層化部により生成された各階層の各ポイントの前記差分値を、階層毎の重み値を用いて量子化する量子化部をさらに備える
（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記量子化部は、上位階層程値が大きい前記階層毎の重み値を用いて前記差分値を量子化する
（６）に記載の情報処理装置。
（８） 前記量子化部により量子化された前記差分値と、前記階層毎の重み値を導出する際に用いられる関数を定義するパラメータとを符号化し、符号化データを生成する符号化部をさらに備える
（６）に記載の情報処理装置。
（９） 前記量子化部により量子化された前記差分値と、前記階層毎の重み値とを符号化し、符号化データを生成する符号化部をさらに備える
（６）に記載の情報処理装置。
（１０） ３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより前記属性情報の階層化を行い、
前記階層化の際に、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように前記予測ポイントを選択する
情報処理方法。
（１１） ３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより階層化された前記属性情報の逆階層化を行う逆階層化部を備え、
前記逆階層化部は、前記逆階層化の際に、各階層において、前記参照ポイントの前記属性情報と前記ポイントクラウドの最下層以外の階層の解像度の位置情報とを用いて前記予測ポイントの前記属性情報の予測値を導出し、前記予測値と前記差分値とを用いて前記予測ポイントの前記属性情報を導出する
情報処理装置。
（１２） 前記逆階層化部は、前記参照ポイントの前記属性情報と、前記参照ポイントおよび前記予測ポイントのカレント階層の解像度の前記位置情報とを用いて、前記予測値を導出する
（１１）に記載の情報処理装置。
（１３） 前記逆階層化部は、前記参照ポイントの前記属性情報と、前記参照ポイントのカレント階層の１つ上位階層の解像度の前記位置情報と、前記予測ポイントの前記カレント階層の解像度の前記位置情報とを用いて、前記予測値を導出する
（１１）に記載の情報処理装置。
（１４） 前記逆階層化部は、前記予測ポイントと前記参照ポイントとの距離に応じて重み付けした前記参照ポイントの前記属性情報を用いて前記予測ポイントの前記予測値を導出する
（１１）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記逆階層化部は、前記位置情報を用いて前記属性情報を階層化し、各階層において各ポイントの前記位置情報と前記属性情報とを対応付ける
（１１）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 量子化された各階層の各ポイントの前記差分値を、階層毎の重み値を用いて逆量子化する逆量子化部をさらに備える
（１１）乃至（１５）のいずれかに記載の情報処理装置。
（１７） 前記逆量子化部は、上位階層程値が大きい前記階層毎の重み値を用いて、量子化された前記差分値を逆量子化する
（１６）に記載の情報処理装置。
（１８） 符号化データを復号し、前記量子化された前記差分値と、前記階層毎の重み値を導出する際に用いられる関数を定義するパラメータとを取得する復号部をさらに備える
（１６）に記載の情報処理装置。
（１９） 符号化データを復号し、前記量子化された前記差分値と、前記階層毎の重み値とを取得する復号部をさらに備える
（１６）に記載の情報処理装置。
（２０） ３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより階層化された前記属性情報の逆階層化を行い、
前記逆階層化の際に、各階層において、前記参照ポイントの前記属性情報と前記ポイントクラウドの最下層以外の階層の解像度の位置情報とを用いて前記予測ポイントの前記属性情報の予測値を導出し、前記予測値と前記差分値とを用いて前記予測ポイントの前記属性情報を導出する
情報処理方法。
（２１） ３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造を示す情報を生成する生成部と、
前記生成部により生成された前記情報に基づいて、前記位置情報の階層構造に対応するように、前記ポイントクラウドの属性情報の階層化を行う階層化部と
を備える情報処理装置。
（２２） 前記生成部は、前記位置情報の符号化データが復号されて得られた前記位置情報について、前記情報を生成する
（２１）に記載の情報処理装置。
（２３） 前記生成部は、リストを用いて、前記位置情報の階層構造の各ノードに対するラベル付けを行うことにより、前記情報を生成する
（２１）または（２２）に記載の情報処理装置。
（２４） 前記生成部は、前記位置情報の階層構造の最上位層から最下位層に向かう順に階層毎に、新たに出現する各ノードに対して、前記階層を示す値のラベルを付ける
（２３）に記載の情報処理装置。
（２５） 前記生成部は、前記位置情報の階層構造の各階層において、新たに出現する各ノードに対するラベル付けをモートンオーダー順に行う
（２４）に記載の情報処理装置。
（２６） 前記生成部は、DCM（Direct Coding Mode）が適用されるノードが新たに出現した場合、前記ノードに対するラベル付けと、下位層において前記ノードから分割される他の前記DCMが適用されるノードに対するラベル付けとを行う
（２４）または（２５）に記載の情報処理装置。
（２７） 前記生成部は、前記DCMが適用されるノードに対するラベル付けは、前記DCMが適用されないノードに対するラベル付けに用いるリストとは異なる他のリストを用いて行う
（２６）に記載の情報処理装置。
（２８） 前記生成部は、複数のラベルのそれぞれに対応するポイントが重複する場合、前記複数のラベルの内の１つを残してその他を削除する
（２６）または（２７）に記載の情報処理装置。
（２９） 前記階層化部は、前記情報に基づいて、前記位置情報の階層構造に対応するように、前記属性情報の各階層の予測ポイントを選択する
（２１）乃至（２８）のいずれかに記載の情報処理装置。
（３０） ３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造を示す情報を生成し、
生成された前記情報に基づいて、前記ポイントクラウドの位置情報の階層構造に対応するように、前記属性情報の階層化を行う
情報処理方法。
（３１） ３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造を示す情報を生成する生成部と、
前記生成部により生成された前記情報に基づいて、前記ポイントクラウドの属性情報の階層構造が前記位置情報の階層構造に対応するものとして、前記属性情報の逆階層化を行う逆階層化部と
を備える情報処理装置。
（３２） 前記生成部は、前記位置情報の符号化データが復号されて得られた前記位置情報について、前記情報を生成する
（３１）に記載の情報処理装置。
（３３） 前記生成部は、リストを用いて、前記位置情報の階層構造の各ノードに対するラベル付けを行うことにより、前記情報を生成する
（３１）または（３２）に記載の情報処理装置。
（３４） 前記生成部は、前記位置情報の階層構造の最上位層から最下位層に向かう順に階層毎に、新たに出現する各ノードに対して、前記階層を示す値のラベルを付ける
（３３）に記載の情報処理装置。
（３５） 前記生成部は、前記位置情報の階層構造の各階層において、新たに出現する各ノードに対するラベル付けをモートンオーダー順に行う
（３４）に記載の情報処理装置。
（３６） 前記生成部は、DCM（Direct Coding Mode）が適用されるノードが新たに出現した場合、前記ノードに対するラベル付けと、下位層において前記ノードから分割される他の前記DCMが適用されるノードに対するラベル付けとを行う
（３４）または（３５）に記載の情報処理装置。
（３７） 前記生成部は、前記DCMが適用されるノードに対するラベル付けは、前記DCMが適用されないノードに対するラベル付けに用いるリストとは異なる他のリストを用いて行う
（３６）に記載の情報処理装置。
（３８） 前記生成部は、複数のラベルのそれぞれに対応するポイントが重複する場合、前記複数のラベルの内の１つを残してその他を削除する
（３６）または（３７）に記載の情報処理装置。
（３９） 前記逆階層化部は、前記情報に基づいて、前記位置情報の階層構造に対応するように、前記属性情報の各階層の予測ポイントを選択する
（３１）乃至（３８）のいずれかに記載の情報処理装置。
（４０） ３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造を示す情報を生成し、
生成された前記情報に基づいて、前記ポイントクラウドの属性情報の階層構造が前記位置情報の階層構造に対応するものとして、前記属性情報の逆階層化を行う
情報処理方法。
（４１） ３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造に対応するように、前記ポイントクラウドの属性情報を階層化する階層化部と、
前記階層化部により階層化された前記属性情報を階層毎の重み値を用いて量子化する量子化部と
を備える情報処理装置。
（４２） 前記量子化部は、前記ポイントクラウドのポイント数と処理対象の階層のポイント数との比からなる前記重み値を用いて前記属性情報を量子化する
（４１）に記載の情報処理装置。
（４３） 前記量子化部は、値「１」の前記重み値を用いて最下位層の前記属性情報を量子化する
（４２）に記載の情報処理装置。
（４４） 前記量子化部は、処理対象の階層以下の階層のポイント数と前記処理対象の階層のポイント数との比からなる前記重み値を用いて前記属性情報を量子化する
（４１）に記載の情報処理装置。
（４５） ３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造に対応するように、前記ポイントクラウドの属性情報を階層化し、
階層化された前記属性情報を階層毎の重み値を用いて量子化する
情報処理方法。
（４６） ３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造に対応するように階層化され、階層毎の重み値を用いて量子化された前記ポイントクラウドの属性情報を、前記重み値を用いて逆量子化する逆量子化部と、
前記逆量子化部により逆量子化された前記属性情報を逆階層化する逆階層化部と
を備える情報処理装置。
（４７） 前記逆量子化部は、前記ポイントクラウドのポイント数と処理対象の階層のポイント数との比からなる前記重み値を用いて前記属性情報を逆量子化する
（４６）に記載の情報処理装置。
（４８） 前記逆量子化部は、値「１」の前記重み値を用いて最下位層の前記属性情報を逆量子化する
（４７）に記載の情報処理装置。
（４９） 前記逆量子化部は、処理対象の階層よりも下位層のポイント数と前記処理対象の階層のポイント数との比からなる前記重み値を用いて前記属性情報を逆量子化する
（４６）に記載の情報処理装置。
（５０） 前記逆量子化部は、前記属性情報の量子化に用いられた前記重み値を取得し、取得した前記重み値を用いて前記属性情報を逆量子化する
（４６）乃至（４９）のいずれかに記載の情報処理装置。
（５１） ３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造に対応するように、前記ポイントクラウドの属性情報を階層化し、
階層化された前記属性情報を階層毎の重み値を用いて量子化する
情報処理方法。
１００ 空間領域， １０１ ボクセル， １０２ ポイント， １１１ ポイント， １１２ ポイント， １１３ ポイント， ２００ 符号化装置， ２０１ 位置情報符号化部， ２０２ 位置情報復号部， ２０３ ポイントクラウド生成部， ２０４ 属性情報符号化部， ２０５ ビットストリーム生成部， ２１１ 階層化処理部， ２１２ 量子化部， ２１３ 符号化部， ２２１ 階層別処理部， ２３１ ポイント分類部， ２３２ 予測部， ２３３ 演算部， ２３４ アップデート部， ２３５ 演算部， ４００ 復号装置， ４０１ 復号対象LOD深度設定部， ４０２ 符号化データ抽出部， ４０３ 位置情報復号部， ４０４ 属性情報復号部， ４０５ ポイントクラウド生成部， ４２１ 復号部， ４２２ 逆量子化部， ４２３ 逆階層化処理部， ４４１ 階層別処理部， ４５１ 予測部， ４５２ 演算部， ４５３ マージ処理部

Claims (20)

  1. ３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより前記属性情報の階層化を行う階層化部を備え、
    前記階層化部は、前記階層化の際に、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように前記予測ポイントを選択する
    情報処理装置。
  2. 前記階層化部は、
    前記予測ポイントと前記参照ポイントとの距離に応じて重み付けした前記参照ポイントの前記属性情報を用いて前記予測ポイントの前記予測値を導出し、
    導出した前記予測値を用いて前記差分値を導出する
    請求項１に記載の情報処理装置。
  3. 前記階層化部は、前記ポイントクラウドの最下層の解像度の位置情報に基づく前記距離に応じて重み付けした前記参照ポイントの前記属性情報を用いて前記予測ポイントの前記予測値を導出する
    請求項２に記載の情報処理装置。
  4. 前記階層化部は、前記ポイントクラウドのカレント階層の解像度の位置情報に基づく前記距離に応じて重み付けした前記参照ポイントの前記属性情報を用いて前記予測ポイントの前記予測値を導出する
    請求項２に記載の情報処理装置。
  5. 前記階層化部により生成された各階層の各ポイントの前記差分値を、階層毎の重み値を用いて量子化する量子化部をさらに備える
    請求項１に記載の情報処理装置。
  6. 前記量子化部は、上位階層程値が大きい前記階層毎の重み値を用いて前記差分値を量子化する
    請求項５に記載の情報処理装置。
  7. 前記量子化部により量子化された前記差分値と、前記階層毎の重み値を導出する際に用いられる関数を定義するパラメータとを符号化し、符号化データを生成する符号化部をさらに備える
    請求項５に記載の情報処理装置。
  8. 前記量子化部により量子化された前記差分値と、前記階層毎の重み値とを符号化し、符号化データを生成する符号化部をさらに備える
    請求項５に記載の情報処理装置。
  9. ３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより前記属性情報の階層化を行い、
    前記階層化の際に、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように前記予測ポイントを選択する
    情報処理方法。
  10. ３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより階層化された前記属性情報の逆階層化を行う逆階層化部を備え、
    前記逆階層化部は、前記逆階層化の際に、各階層において、前記参照ポイントの前記属性情報と前記ポイントクラウドの最下層以外の階層の解像度の位置情報とを用いて前記予測ポイントの前記属性情報の予測値を導出し、前記予測値と前記差分値とを用いて前記予測ポイントの前記属性情報を導出する
    情報処理装置。
  11. 前記逆階層化部は、前記参照ポイントの前記属性情報と、前記参照ポイントおよび前記予測ポイントのカレント階層の解像度の前記位置情報とを用いて、前記予測値を導出する
    請求項１０に記載の情報処理装置。
  12. 前記逆階層化部は、前記予測ポイントと前記参照ポイントとの距離に応じて重み付けした前記参照ポイントの前記属性情報を用いて前記予測ポイントの前記予測値を導出する
    請求項１０に記載の情報処理装置。
  13. 前記逆階層化部は、前記位置情報を用いて前記属性情報を階層化し、各階層において各ポイントの前記位置情報と前記属性情報とを対応付ける
    請求項１０に記載の情報処理装置。
  14. 量子化された各階層の各ポイントの前記差分値を、階層毎の重み値を用いて逆量子化する逆量子化部をさらに備える
    請求項１０に記載の情報処理装置。
  15. 前記逆量子化部は、上位階層程値が大きい前記階層毎の重み値を用いて、量子化された前記差分値を逆量子化する
    請求項１４に記載の情報処理装置。
  16. 符号化データを復号し、前記量子化された前記差分値と、前記階層毎の重み値を導出する際に用いられる関数を定義するパラメータとを取得する復号部をさらに備える
    請求項１４に記載の情報処理装置。
  17. 符号化データを復号し、前記量子化された前記差分値と、前記階層毎の重み値とを取得する復号部をさらに備える
    請求項１４に記載の情報処理装置。
  18. ３次元形状のオブジェクトを表現するポイントクラウドの属性情報について、前記ポイントクラウドの各ポイントを前記属性情報と予測値との差分値を残すポイントである予測ポイントと前記予測値の導出の際に前記属性情報を参照されるポイントである参照ポイントとに分類する処理を前記参照ポイントに対して再帰的に繰り返すことにより階層化された前記属性情報の逆階層化を行い、前記逆階層化の際に、各階層において、前記参照ポイントの前記属性情報と前記ポイントクラウドの最下層以外の階層の解像度の位置情報とを用いて前記予測ポイントの前記属性情報の予測値を導出し、前記予測値と前記差分値とを用いて前記予測ポイントの前記属性情報を導出する
    情報処理方法。
  19. ３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造を示す情報を生成する生成部と、
    前記生成部により生成された前記情報に基づいて、前記位置情報の階層構造に対応するように、前記ポイントクラウドの属性情報の階層化を行う階層化部と
    を備える情報処理装置。
  20. ３次元形状のオブジェクトを表現するポイントクラウドの位置情報の階層構造を示す情報を生成する生成部と、
    前記生成部により生成された前記情報に基づいて、前記ポイントクラウドの属性情報の階層構造が前記位置情報の階層構造に対応するものとして、前記属性情報の逆階層化を行う逆階層化部と
    を備える情報処理装置。
JP2021507183A 2019-03-19 2020-03-05 情報処理装置および方法 Active JP7480775B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2019051291 2019-03-19
JP2019051291 2019-03-19
JP2019118635 2019-06-26
JP2019118635 2019-06-26
JP2019181399 2019-10-01
JP2019181399 2019-10-01
PCT/JP2020/009331 WO2020189296A1 (ja) 2019-03-19 2020-03-05 情報処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2020189296A1 JPWO2020189296A1 (ja) 2020-09-24
JP7480775B2 true JP7480775B2 (ja) 2024-05-10

Family

ID=72520839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021507183A Active JP7480775B2 (ja) 2019-03-19 2020-03-05 情報処理装置および方法

Country Status (7)

Country Link
US (2) US11943457B2 (ja)
EP (1) EP3929881A4 (ja)
JP (1) JP7480775B2 (ja)
KR (1) KR20210141472A (ja)
CN (1) CN113557552A (ja)
TW (1) TWI844635B (ja)
WO (1) WO2020189296A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141117A1 (ja) * 2020-01-09 2021-07-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2021215811A1 (ko) * 2020-04-24 2021-10-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP4171036A4 (en) * 2020-06-18 2024-07-10 Lg Electronics Inc POINT CLOUD DATA TRANSMISSION APPARATUS, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEIVING APPARATUS AND POINT CLOUD DATA RECEIVING METHOD
US20230377203A1 (en) * 2020-10-30 2023-11-23 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2022119304A1 (ko) * 2020-12-01 2022-06-09 현대자동차주식회사 적응적 데드존 양자화를 이용하는 포인트 클라우드 코딩 장치 및 방법
TWI750973B (zh) * 2020-12-25 2021-12-21 扉睿科技股份有限公司 基於安全導向暨群組分享之物聯網系統
JPWO2022145214A1 (ja) * 2020-12-28 2022-07-07
CN115474049A (zh) * 2021-06-11 2022-12-13 维沃移动通信有限公司 点云编码处理方法、解码处理方法及装置
US11310235B1 (en) 2021-08-04 2022-04-19 Netfay Inc. Internet of things system based on security orientation and group sharing
JPWO2023170726A1 (ja) * 2022-03-07 2023-09-14
WO2023173238A1 (zh) * 2022-03-12 2023-09-21 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
CN115049750B (zh) * 2022-05-31 2023-06-16 九识智行(北京)科技有限公司 基于八叉树的体素地图生成方法、装置、存储介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018101404A (ja) 2016-09-13 2018-06-28 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 物理的属性を表す信号の圧縮
US20190080483A1 (en) 2017-09-14 2019-03-14 Apple Inc. Point Cloud Compression

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223810B2 (en) 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US10897269B2 (en) * 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
WO2020075862A1 (ja) * 2018-10-12 2020-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN118521655A (zh) * 2018-12-21 2024-08-20 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
KR20210107686A (ko) * 2018-12-26 2021-09-01 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
CN113519011A (zh) * 2019-03-08 2021-10-19 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
WO2020189943A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2020189976A1 (ko) * 2019-03-16 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018101404A (ja) 2016-09-13 2018-06-28 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 物理的属性を表す信号の圧縮
US20190080483A1 (en) 2017-09-14 2019-03-14 Apple Inc. Point Cloud Compression

Also Published As

Publication number Publication date
CN113557552A (zh) 2021-10-26
JPWO2020189296A1 (ja) 2020-09-24
EP3929881A1 (en) 2021-12-29
TWI844635B (zh) 2024-06-11
WO2020189296A1 (ja) 2020-09-24
TW202041034A (zh) 2020-11-01
KR20210141472A (ko) 2021-11-23
US11943457B2 (en) 2024-03-26
US20220191520A1 (en) 2022-06-16
EP3929881A4 (en) 2022-04-20
US20240205431A1 (en) 2024-06-20

Similar Documents

Publication Publication Date Title
JP7480775B2 (ja) 情報処理装置および方法
JP7197575B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20220353492A1 (en) Information processing device and method
WO2021010200A1 (ja) 情報処理装置および方法
US20230023219A1 (en) Information processing device and method
US20240242390A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
WO2022145214A1 (ja) 情報処理装置および方法
WO2020145143A1 (ja) 情報処理装置および方法
CN114598883A (zh) 点云属性的预测方法、编码器、解码器及存储介质
WO2020071115A1 (ja) 画像処理装置および方法
JP7544049B2 (ja) 情報処理装置および方法
JP7544050B2 (ja) 情報処理装置および方法
US11790567B2 (en) Information processing apparatus and method
WO2021140928A1 (ja) 情報処理装置および方法
WO2020145140A1 (ja) 情報処理装置および方法
JP2024061785A (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240408

R150 Certificate of patent or registration of utility model

Ref document number: 7480775

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150