JPWO2020071115A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JPWO2020071115A1
JPWO2020071115A1 JP2020550269A JP2020550269A JPWO2020071115A1 JP WO2020071115 A1 JPWO2020071115 A1 JP WO2020071115A1 JP 2020550269 A JP2020550269 A JP 2020550269A JP 2020550269 A JP2020550269 A JP 2020550269A JP WO2020071115 A1 JPWO2020071115 A1 JP WO2020071115A1
Authority
JP
Japan
Prior art keywords
weight value
unit
image processing
context
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020550269A
Other languages
English (en)
Inventor
央二 中神
央二 中神
幸司 矢野
幸司 矢野
智 隈
智 隈
加藤　毅
毅 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020071115A1 publication Critical patent/JPWO2020071115A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本開示は、ポイントクラウドの属性情報の符号化・復号の負荷の増大を抑制することができるようにする画像処理装置および方法に関する。
ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、そのポイントクラウドの属性情報を符号化する。また、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、そのポイントクラウドの属性情報の符号化データを復号する。本開示は、例えば、画像処理装置、電子機器、画像処理方法、またはプログラム等に適用することができる。

Description

本開示は、画像処理装置および方法に関し、特に、ポイントクラウドの属性情報の符号化・復号の負荷の増大を抑制することができるようにした画像処理装置および方法に関する。
従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法として、例えばOctreeを用いた符号化があった（例えば非特許文献１参照）。
近年、RAHT（Region Adaptive Hierarchical Transform）を用いて属性情報を符号化することが提案された（例えば非特許文献２参照）。
R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf Ohji Nakagami, Phil Chou, Maja Krivokuca, Khaled Mammou, Robert Cohen, Vladyslav Zakharchenko, Gaelle Martin-Cocher, "Second Working Draft for PCC Categories 1, 3",ISO/IEC JTC1/SC29/WG11, MPEG 2018/N17533, April 2018, San Diego, US
しかしながら、この方法の場合、RAHTにより求められるWeight値が大きい順に係数を並び替えが行われるため、処理が増大し、ポイントクラウドの属性情報の符号化・復号の負荷が増大するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、ポイントクラウドの属性情報の符号化・復号の負荷の増大を抑制することができるようにするものである。
本技術の一側面の画像処理装置は、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報を符号化する符号化部を備える画像処理装置である。
本技術の一側面の画像処理方法は、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報を符号化する画像処理方法である。
本技術の他の側面の画像処理装置は、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報の符号化データを復号する復号部を備える画像処理装置である。
本技術の他の側面の画像処理方法は、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報の符号化データを復号する画像処理方法である。
本技術の一側面の画像処理装置および方法においては、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、そのポイントクラウドの属性情報が符号化される。
本技術の他の側面の画像処理装置および方法においては、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、そのポイントクラウドの属性情報の符号化データが復号される。
RAHTの概要を説明する図である。 符号化装置の主な構成例を示すブロック図である。 復号装置の主な構成例を示すブロック図である。 Weight値毎の係数値の分布の様子の例を示す図である。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．属性情報の符号化
２．第１の実施の形態（符号化装置）
３．第２の実施の形態（復号装置）
４．第３の実施の形態（符号化装置）
５．第４の実施の形態（復号装置）
６．付記
＜１．属性情報の符号化＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献４：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
非特許文献５：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献４に記載されているQuad-Tree Block Structure、非特許文献５に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
＜ポイントクラウド＞
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）や、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ（Mesh）等の３Ｄデータが存在した。
例えばポイントクラウドの場合、立体構造物（３次元形状のオブジェクト）を多数の点の集合（点群）として表現する。つまり、ポイントクラウドのデータ（ポイントクラウドデータとも称する）は、この点群の各点の位置情報や属性情報（例えば色等）により構成される。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造物を十分な精度で表現することができる。
＜ボクセルを用いた位置情報の量子化＞
このようなポイントクラウドデータはそのデータ量が比較的大きいので、符号化等によるデータ量を圧縮するために、ボクセル（Voxel）を用いた符号化方法が考えられた。ボクセルは、符号化対象の位置情報を量子化するための３次元領域である。
つまり、ポイントクラウドを内包する３次元領域をボクセルと称する小さな３次元領域に分割し、そのボクセル毎に、ポイントを内包するか否かを示すようにする。このようにすることにより、各ポイントの位置はボクセル単位に量子化される。したがって、ポイントクラウド（Point cloud）データをこのようなボクセルのデータ（ボクセル（Voxel）データとも称する）に変換することにより、情報量の増大を抑制する（典型的には情報量を削減する）ことができる。
＜Octree＞
さらに、このようなボクセル（Voxel）データを用いてOctreeを構築することが考えられた。Octreeは、ボクセルデータを木構造化したものである。このOctreeの最下位のノードの各ビットの値が、各ボクセルのポイントの有無を示す。例えば、値「１」がポイントを内包するボクセルを示し、値「０」がポイントを内包しないボクセルを示す。Octreeでは、１ノードが８つのボクセルに対応する。つまり、Octreeの各ノードは、８ビットのデータにより構成され、その８ビットが８つのボクセルのポイントの有無を示す。
そして、Octreeの上位のノードは、そのノードに属する下位ノードに対応する８つのボクセルを１つにまとめた領域のポイントの有無を示す。つまり、下位ノードのボクセルの情報をまとめることにより上位ノードが生成される。なお、値が「０」のノード、すなわち、対応する８つのボクセルが全てポイントを内包しない場合、そのノードは削除される。
このようにすることにより、値が「０」でないノードからなる木構造（Octree）が構築される。つまり、Octreeは、各解像度のボクセルのポイントの有無を示すことができる。したがって、ボクセルデータをOctree化して符号化することにより、復号の際により多様な解像度のボクセルデータをより容易に復元することができる。つまり、より容易にボクセルのスケーラビリティを実現することができる。
また、上述のように値が「０」のノードを省略することにより、ポイントが存在しない領域のボクセルを低解像度化することができるので、さらなる情報量の増大の抑制（典型的には情報量の削減）を行うことができる。
＜RAHT＞
近年、例えば非特許文献２に記載のように、RAHT（Region Adaptive Hierarchical Transform）を用いて、ポイントクラウドの属性情報を符号化することが提案された。属性情報には、例えば、色情報、反射率情報、法線情報等が含まれる。
RAHTは、３次元構造を考慮した直交変換の１つであり、ボクセル化された空間において、ポイントの位置関係（例えば隣のボクセルにポイントが存在するか否か）に応じた重み付け（Weight値）を用いたハール変換である。
例えば、図１に示されるように、ハール変換する隣接領域にポイントが存在する場合、Weight値を合算し、存在しない場合は、Weight値をそのまま継承して処理を進める。つまり、ポイントが密な部分程Weight値が大きくなる。したがって、Weight値からポイントの疎密を判断することができる。
例えば、このWeight値に基づいて密な部分のポイントを残すように量子化を行うことにより、ポイントクラウドの品質の低減を抑制しながら、符号化効率を向上させることができる。
＜符号化装置＞
図２の符号化装置１０は、このような係数の並び替えを行ってポイントクラウドを符号化する装置の一例である。例えば、この符号化装置１０の場合、Geometry符号化部１１は、入力されたポイントクラウドデータの位置情報を符号化して、Geometry符号化データを生成する。
Geometry係数並び替え部１２は、そのGeometry符号化データの係数をモートン符号順（Morton code）に並び替える。RAHT処理部１３は、Geometry符号化データの係数をモートン符号順にRAHTする。この処理によりWeight値が導出される。
Attribute符号化部１５のRAHT処理部２１は、そのRAHT処理部１３により位置情報に基づいて導出されたWeight値を用いて属性情報に対してRAHTを行う。量子化部２２は、RAHTにより得られる属性情報の変換係数を量子化する。
また、Geometry係数並び替え部１４は、RAHT処理部１３で導出されたWeight値が大きい順に係数を並び替える。Attribute係数並び替え部２３は、そのGeometry係数並び替え部１４による並び替え後の順となるように、量子化部２２により得られた量子化係数を並び替える。つまり、可逆符号化部２４は、Weight値が大きい順に属性情報の各係数を符号化する。
なお、ビットストリーム生成部１６は、Geometry符号化部１１が生成した位置情報の符号化データであるGeometry符号化データと、可逆符号化部２４が生成した属性情報の符号化データであるAttribute符号化データとを含むビットストリームを生成し、出力する。
＜復号装置＞
図３の復号装置５０は、このような係数の並び替えを行ってポイントクラウドの符号化データを復号する装置の一例である。例えば、この復号装置５０の場合、Geometry復号部５１は、入力されたビットストリームに含まれるGeometry符号化データを復号する。Geometry係数並び替え部５２は、復号されて得られた係数データ（Geometry係数）を、モートン符号順に並べ替える。
RAHT処理部５３は、モートン符号順のGeometry係数に対してRAHTを行い、Weight値を導出する。Geometry係数並び替え部５４は、RAHT処理部５３で導出されたWeight値が大きい順に係数を並び替える。
Attribute復号部５５の可逆復号部６１は、入力されたビットストリームに含まれるAttribute符号化データを復号する。逆Attribute係数並び替え部６２は、Geometry係数並び替え部５４により示されるWeight値が大きい順に基づいて、Weight値が大きい順に並べられていたAttribute係数をモートン符号順に並び替える。そして、逆量子化部６３は、そのモートン符号順のAttribute係数を逆量子化する。
逆RAHT処理部６４は、その逆量子化されたAttribute係数に対して、RAHT処理部５３により導出されたWeight値を用いて、RAHTの逆処理である逆RAHTを行い、属性情報（Attributeデータ）を生成する。
Point cloudデータ生成部５６は、Geometry復号部５１が生成した位置情報（Geometryデータ）と、逆RAHT処理部６４が生成した属性情報（Attributeデータ）とを合成してPoint cloudデータを生成し、出力する。
＜係数の並び替え＞
以上のように符号化・復号において、属性情報の係数データの、Weight値の大きい順への並び替えが行われていた。
Weight値と係数のバラツキの関係を図４のグラフに示す。図４に示されるように、Weight値が大きい程係数のバラツキは小さくなる。したがって、Weight値の大きい方から優先的に符号化・復号することにより、符号化効率を向上させることができる。
しかしながら、この並び替えは、非常に処理量が多い。特に、ポイントクラウドのようにデータ量が多い場合、この並び替え処理の負荷の増大はより顕著になる。したがってこのような方法では、ポイントクラウドの属性情報の符号化・復号の負荷が増大するおそれがあった。
＜コンテキストの選択＞
そこで、係数を並び替える代わりに、上述のWeight値に応じてコンテキストを選択するようにする。
例えば符号化の場合、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、そのポイントクラウドの属性情報を符号化するようにする。
例えば、画像処理装置において、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、そのポイントクラウドの属性情報を符号化する符号化部を備えるようにする。
このようにすることにより、ポイントクラウドの属性情報の符号化の負荷の増大を抑制することができる。
また例えば復号の場合、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、そのポイントクラウドの属性情報の符号化データを復号するようにする。
例えば、画像処理装置において、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、そのポイントクラウドの属性情報の符号化データを復号する復号部を備えるようにする。
このようにすることにより、ポイントクラウドの属性情報の復号の負荷の増大を抑制することができる。
例えば、図４のグラフにおいて、Weight値が小さいところ（例えば枠７１で囲まれる付近）と、Weight値が大きいところ（例えば枠７２で囲われる付近）とで、係数のバラツキが顕著に異なる。つまり、係数のバラツキ度合いはWeight値に依存する。換言するに、Weight値によって係数のバラツキ度合いがある程度決まってくる。したがって、互いに異なる係数のバラツキ度合いに対応させた複数のコンテキストを用意し、Weight値に基づいて、その中から適用するコンテキストを選択するようにする。このようにすることにより、Weight値に基づいて、そのWeight値における係数のバラツキに対してより適切なコンテキストを選択することができる。すなわち、Weight値（係数のバラツキ）に応じたコンテキストを用いて符号化・復号を行うことにより、符号化効率の低減を抑制することができる。
また、この方法の場合、係数の並び替えが不要であるので、負荷の増大を抑制することができる。つまり、負荷の増大を抑制しながら符号化効率の低減を抑制することができる。
＜２．第１の実施の形態＞
＜符号化装置＞
図５は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図４に示される符号化装置１００は、ポイントクラウドの位置情報や属性情報を符号化する装置である。
なお、図５においては、処理部やデータの流れ等の主なものを示しており、図５に示されるものが全てとは限らない。つまり、符号化装置１００において、図５においてブロックとして示されていない処理部が存在したり、図５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図５に示されるように符号化装置１００は、Geometry符号化部１１１、Geometry係数並び替え部１１２、RAHT処理部１１３、コンテキスト選択部１１４、Attribute符号化部１１５、およびビットストリーム生成部１１６を有する。
Geometry符号化部１１１は、位置情報の符号化に関する処理を行う。例えば、Geometry符号化部１１１は、符号化装置１００に入力されたポイントクラウドデータの位置情報を取得し、符号化する。Geometry符号化部１１１は、その符号化により生成したGeometry符号化データをビットストリーム生成部１１６に供給する。また、Geometry符号化部１１１は、位置情報であるGeometry係数をGeometry係数並び替え部１１２にも供給する。
Geometry係数並び替え部１１２は、係数データの並び替えに関する処理を行う。例えば、Geometry係数並び替え部１１２は、Geometry符号化部１１１から供給されるGeometry係数を取得する。Geometry係数並び替え部１１２は、そのGeometry係数をモートン符号順に並び替え、RAHT処理部１１３に供給する。
RAHT処理部１１３は、RAHTに関する処理を行う。例えば、RAHT処理部１１３は、Geometry係数並び替え部１１２からモートン符号順に供給されるGeometry係数に対してRAHTを行い、位置情報のWeight値を導出する。RAHT処理部１１３は、導出したWeight値をコンテキスト選択部１１４およびAttribute符号化部１１５（のRAHT処理部１２１）に供給する。
コンテキスト選択部１１４は、コンテキストの選択に関する処理を行う。例えば、コンテキスト選択部１１４は、RAHT処理部１１３からWeight値を取得する。コンテキスト選択部１１４は、そのWeight値に基づいてコンテキストを選択する。
例えば、コンテキスト選択部１１４は、コンテキストの候補を予め複数記憶している。各候補には互いに異なるWeight値（の値域）が割り当てられており、Weight値の大きさに応じていずれかの候補が選択される。例えば、Weight値が閾値Ａ未満の場合は、その地域に割り当てられたコンテキストＡが選択され、Weight値が閾値Ａ以上Ｂ未満の場合は、その地域に割り当てられたコンテキストＢが選択され、・・・、Weight値が閾値Ｙ以上の場合は、その地域に割り当てられたコンテキストＺが選択される、といった具合に、Weight値の大きさに応じていずれかの候補が選択される。なお、各候補は、割り当てられた値域に対応する係数のバラツキ度合いに対してより適切な値に設定されている。
つまり、コンテキスト選択部１１４が、Weight値に基づいてコンテキストを選択することにより、そのWeight値に対応する係数のバラツキ度合いに対してより適切なコンテキストを選択することができるようになされている。
なお、候補の数やこの閾値の大きさは、任意である。例えば、予め定められた固定値であってもよいし、ユーザ等により設定することができるようにしてもよい（可変としてもよい）。可変とする場合、候補の数や閾値等の設定値は、ヘッダ情報等としてビットストリームに含めて復号側に伝送するようにしてもよい。このようにすることにより、デコーダは、その情報を用いてより容易に符号化装置１００と同様のコンテキストの選択を行うことができる。
コンテキスト選択部１１４は、選択したコンテキストをAttribute符号化部１１５（の可逆符号化部１２３）に供給する。
Attribute符号化部１１５は、属性情報の符号化に関する処理を行う。例えば、Attribute符号化部１１５は、符号化装置１００に入力されるポイントクラウドデータの属性情報を取得し、その属性情報を符号化し、Attribute符号化データを生成する。Attribute符号化部１１５は、生成したAttribute符号化データをビットストリーム生成部１１６に供給する。
ビットストリーム生成部１１６は、Geometry符号化部１１１から供給されるGeometry符号化データと、Attribute符号化部１１５から供給されるAttribute符号化データとを含むビットストリームを生成し、符号化装置１００の外部に出力する。
また、Attribute符号化部１１５は、RAHT処理部１２１、量子化部１２２、および可逆符号化部１２３を有する。
RAHT処理部１２１は、RAHTに関する処理を行う。例えば、RAHTは、符号化装置１００に入力されるポイントクラウドデータの属性情報を取得する。また、RAHT処理部１２１は、RAHT処理部１１３から供給されるWeight値を取得する。RAHT処理部１２１は、そのWeight値を用いて、属性情報にRAHTを行う。RAHT処理部１２１は、その処理により得られた変換係数を量子化部１２２に供給する。
量子化部１２２は、量子化に関する処理を行う。例えば、量子化部１２２は、RAHT処理部から供給される変換係数を取得する。また、量子化部１２２は、取得した変換係数を量子化する。量子化部１２２は、量子化により得られた量子化係数を可逆符号化部１２３に供給する。
可逆符号化部１２３は、可逆符号化に関する処理を行う。例えば、可逆符号化部１２３は、量子化部１２２から供給される量子化係数を取得する。また、可逆符号化部１２３は、コンテキスト選択部１１４により選択されたコンテキストを取得する。可逆符号化部１２３は、そのコンテキストを用いて量子化係数を符号化する。つまり、可逆符号化部１２３は、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、そのポイントクラウドの属性情報を符号化する。可逆符号化部１２３は、このように生成した属性情報の符号化データ（Attribute符号化データ）をビットストリーム生成部１１６に供給する。
なお、これらの処理部（Geometry符号化部１１１乃至ビットストリーム生成部１１６、並びに、RAHT処理部１２１乃至可逆符号化部１２３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
このような構成とすることにより、符号化装置１００は、＜１．属性情報の符号化＞において説明したような効果を得ることができる。例えば、符号化装置１００は、負荷の増大を抑制しながら符号化効率の低減を抑制することができる。
＜符号化処理の流れ＞
次に、この符号化装置１００により実行される符号化処理の流れの例を、図６のフローチャートを参照して説明する。
符号化処理が開始されると、Geometry符号化部１１１は、ステップＳ１０１において、Geometryデータ（位置情報）を符号化する。
ステップＳ１０２において、Geometry係数並び替え部１１２は、Geometry係数をモートン符号順に並び替える。
ステップＳ１０３において、RAHT処理部１１３は、Geometryデータに対してRAHTを行い、Weight値を導出する。
ステップＳ１０４において、コンテキスト選択部１１４は、ステップＳ１０３において導出されたWeight値に基づいてコンテキストを選択する。
ステップＳ１０５において、RAHT処理部１２１は、ステップＳ１０３において導出されたGeometryのWeight値を用いて、Attributeデータ（属性情報）に対してRAHTを行う。
ステップＳ１０６において、量子化部１２２は、ステップＳ１０５において得られた変換係数に対して量子化を行う。
ステップＳ１０７において、可逆符号化部１２３は、ステップＳ１０４において選択されたコンテキストを用いて、ステップＳ１０６において得られた量子化係数（Attributeデータ）を可逆符号化する。
ステップＳ１０８において、ビットストリーム生成部１１６は、ステップＳ１０１において得られたGeometry符号化データと、ステップＳ１０７において得られたAttribute符号化データとを含むビットストリームを生成する。
ステップＳ１０９において、可逆符号化部１２３は、ステップＳ１０８において生成されたビットストリームを出力する。
ステップＳ１０９の処理が終了すると、符号化処理が終了する。
以上のように各処理を実行することにより、符号化装置１００は、＜１．属性情報の符号化＞において説明したような効果を得ることができる。例えば、符号化装置１００は、負荷の増大を抑制しながら符号化効率の低減を抑制することができる。
＜３．第２の実施の形態＞
＜復号装置＞
図７は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図７に示される復号装置２００は、図５の符号化装置１００に対応する復号装置であり、例えばこの符号化装置１００により生成されたビットストリームを復号し、ポイントクラウドのデータを復元する装置である。
なお、図７においては、処理部やデータの流れ等の主なものを示しており、図７に示されるものが全てとは限らない。つまり、復号装置２００において、図７においてブロックとして示されていない処理部が存在したり、図７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図７に示されるように復号装置２００は、Geometry復号部２１１、Geometry係数並び替え部２１２、RAHT処理部２１３、コンテキスト選択部２１４、Attribute復号部２１５、およびPoint cloudデータ生成部２１６を有する。
Geometry復号部２１１は、位置情報の符号化データの復号に関する処理を行う。Geometry復号部２１１は、例えば、復号装置２００に入力されるビットストリームを取得し、そのビットストリームに含まれる位置情報の符号化データ（Geometry符号化データ）を抽出し、復号する。Geometry復号部２１１は、そうして得られた係数データ（Geometryデータ）をGeometry係数並び替え部２１２およびPoint cloudデータ生成部２１６に供給する。
Geometry係数並び替え部２１２は、Geometry係数の並び替えに関する処理を行う。例えば、Geometry係数並び替え部２１２は、Geometry復号部２１１から供給されるGeometryデータを取得する。Geometry係数並び替え部２１２は、そのGeometryデータの各係数（Geometry係数）をモートン符号順に並び替える。Geometry係数並び替え部２１２は、その並び替えたGeometryデータをRAHT処理部２１３に供給する。つまり、Geometry係数並び替え部２１２は、Geometry係数をモートン符号順にRAHT処理部２１３に供給する。
RAHT処理部２１３は、RAHTに関する処理を行う。例えば、RAHT処理部２１３は、Geometry係数並び替え部２１２から供給されるGeometryデータを取得する。また、RAHT処理部２１３は、そのGeometryデータに対してRAHTを行い、位置情報のWeight値を導出する。RAHT処理部２１３は、導出したWeight値をコンテキスト選択部２１４およびAttribute復号部２１５（の逆RAHT処理部２２３）に供給する。
コンテキスト選択部２１４は、コンテキストの選択に関する処理を行う。例えば、コンテキスト選択部２１４は、RAHT処理部２１３から供給されるWeight値を取得する。コンテキスト選択部２１４は、そのWeight値に基づいてコンテキストを選択する。
例えば、コンテキスト選択部２１４は、コンテキストの候補を予め複数記憶している。各候補には互いに異なるWeight値（の値域）が割り当てられており、Weight値の大きさに応じていずれかの候補が選択される。例えば、Weight値が閾値Ａ未満の場合は、その地域に割り当てられたコンテキストＡが選択され、Weight値が閾値Ａ以上Ｂ未満の場合は、その地域に割り当てられたコンテキストＢが選択され、・・・、Weight値が閾値Ｙ以上の場合は、その地域に割り当てられたコンテキストＺが選択される、といった具合に、Weight値の大きさに応じていずれかの候補が選択される。なお、各候補は、割り当てられた値域に対応する係数のバラツキ度合いに対してより適切な値に設定されている。
つまり、コンテキスト選択部２１４が、Weight値に基づいてコンテキストを選択することにより、そのWeight値に対応する係数のバラツキ度合いに対してより適切なコンテキストを選択することができるようになされている。
なお、候補の数やこの閾値の大きさは、任意である。例えば、予め定められた固定値であってもよいし、符号化側（符号化装置１００）において設定されたものが伝送されてくるようにしてもよい（可変としてもよい）。このようにすることにより、復号装置２００は、その情報を用いてより容易にエンコーダ（例えば符号化装置１００）と同様のコンテキストの選択を行うことができる。
コンテキスト選択部２１４は、選択したコンテキストをAttribute復号部２１５（の逆RAHT処理部２２３）に供給する。
Attribute復号部２１５は、属性情報の復号に関する処理を行う。例えば、Attribute復号部２１５は、復号装置２００に入力されるビットストリームに含まれる属性情報の符号化データ（Attribute符号化データ）を取得し、その符号化データを復号し、属性情報（Attributeデータ）を生成する。Attribute復号部２１５は、生成したAttributeデータをPoint cloudデータ生成部２１６に供給する。
Point cloudデータ生成部２１６は、Geometry復号部２１１から供給されるGeometryデータと、Attribute復号部２１５から供給されるAttributeデータとを含むPoint cloudデータを生成し、復号装置２００の外部に出力する。
また、Attribute復号部２１５は、可逆復号部２２１、逆量子化部２２２、および逆RAHT処理部２２３を有する。
可逆復号部２２１は、可逆復号に関する処理を行う。例えば、可逆復号部２２１は、復号装置２００に入力されるビットストリームに含まれる属性情報の符号化データ（Attribute符号化データ）を取得する。また、可逆復号部２２１は、コンテキスト選択部２１４により選択されたコンテキストを取得する。可逆復号部２２１は、取得したAttribute符号化データを、コンテキスト選択部２１４により選択されたコンテキストを用いて復号する。つまり、可逆復号部２２１は、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、そのポイントクラウドの属性情報の符号化データを復号する。可逆復号部２２１は、このようにして生成した属性情報（Attributeデータ）を逆量子化部２２２に供給する。
逆量子化部２２２は、逆量子化に関する処理を行う。例えば、逆量子化部２２２は、可逆復号部２２１から供給されるAttributeデータを取得する。また、逆量子化部２２２は、取得したAttributeデータを逆量子化する。逆量子化部２２２は、逆量子化により得られた変換係数を逆RAHT処理部２２３に供給する。
逆RAHT処理部２２３は、RAHTの逆処理である逆RAHTに関する処理を行う。例えば、逆RAHT処理部２２３は、逆量子化部２２２から供給される変換係数を取得する。また、逆RAHT処理部２２３は、RAHT処理部２１３が生成した位置情報のWeight値を取得する。逆RAHT処理部２２３は、そのWeight値を用いて、変換係数に逆RAHTを行う。逆RAHT処理部２２３は、その処理により得られた属性情報（Attributeデータ）をPoint cloudデータ生成部２１６に供給する。
なお、これらの処理部（Geometry復号部２１１乃至Point cloudデータ生成部２１６、並びに、可逆復号部２２１乃至逆RAHT処理部２２３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
このような構成とすることにより、復号装置２００は、＜１．属性情報の符号化＞において説明したような効果を得ることができる。例えば、復号装置２００は、負荷の増大を抑制しながら符号化効率の低減を抑制することができる。
＜復号処理の流れ＞
次に、この復号装置２００により実行される復号処理の流れの例を、図８のフローチャートを参照して説明する。
復号処理が開始されると、Geometry復号部２１１は、ステップＳ２０１において、Geometryのビットストリームを復号する。
ステップＳ２０２において、Geometry係数並び替え部２１２は、ステップＳ２０１において得られたGeometry係数をモートン符号順に並び替える。
ステップＳ２０３において、RAHT処理部２１３は、Geometryデータに対してRAHTを行い、Weight値を導出する。
ステップＳ２０４において、コンテキスト選択部２１４は、ステップＳ２０３において得られたWeight値に基づいてコンテキストを選択する。
ステップＳ２０５において、可逆復号部２２１は、ステップＳ２０４において選択されたコンテキストを用いて、Attributeのビットストリームを可逆復号する。つまり、可逆復号部２２１は、ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、そのポイントクラウドの属性情報の符号化データを復号する。
ステップＳ２０６において、逆量子化部２２２は、ステップＳ２０５において得られた量子化係数に対して逆量子化を行う。
ステップＳ２０７において、逆RAHT処理部２２３は、GeometryのWeight値を用いて変換係数に対して逆RAHTを行い、Attributeデータを生成する。
ステップＳ２０８において、Point cloudデータ生成部２１６は、ステップＳ２０１において得られたGeometryデータと、ステップＳ２０７において得られたAttributeデータを含むPoint cloudデータを生成する。
ステップＳ２０９において、Point cloudデータ生成部２１６は、ステップＳ２０８において生成したPoint cloudデータを復号装置２００の外部に出力する。
ステップＳ２０９の処理が終了すると復号処理が終了する。
以上のように各処理を実行することにより、復号装置２００は、＜１．属性情報の符号化＞において説明したような効果を得ることができる。例えば、復号装置２００は、負荷の増大を抑制しながら符号化効率の低減を抑制することができる。
＜４．第３の実施の形態＞
＜符号化装置＞
例えば、GeometryデータをOctree符号化する場合、ポイントの分布の様子は、そのOctreeから容易に把握することができる。つまり、Weight値は、RAHT処理を行わなくても、そのOctreeから容易に導出することができる。
この場合の符号化装置１００の主な構成例を図９に示す。この場合、符号化装置１００は、図５の例と比べて、Geometry係数並び替え部１１２およびRAHT処理部１１３の代わりに、Weight算出部３０１を有する。
Weight算出部３０１は、Weight値の算出に関する処理を行う。例えば、Weight算出部３０１は、Geometry符号化部１１１から位置情報のOctreeデータを取得する。Weight算出部３０１は、その位置情報のOctreeに基づいて、Weight値を導出する。Weight算出部３０１は、導出したWeight値をコンテキスト選択部１１４およびRAHT処理部１２１に供給する。
このようにすることにより、図５の場合に比べて、負荷の大きなGeometry係数の並び替えもRAHT処理も不要であり、負荷の小さなOctreeからのWeight算出によりWeight値を導出することができる。したがって、符号化装置１００は、第１の実施の形態の場合に比べて、負荷の増大をより抑制することができる。
＜符号化処理の流れ＞
この場合の符号化処理の流れの例を、図１０のフローチャートを参照して説明する。
符号化処理が開始されると、Geometry符号化部１１１は、ステップＳ３０１において、ステップＳ１０１の場合と同様に、Geometryデータ（位置情報）を符号化する。
ステップＳ３０２において、Weight算出部３０１は、ステップＳ３０１において得られたOctreeからWeight値を算出する。
ステップＳ３０３乃至ステップＳ３０８の各処理は、図６のステップＳ１０４乃至ステップＳ１０９の各処理と同様に実行される。
したがって、以上のように各処理を実行することにより、符号化装置１００は、第１の実施の形態の場合と同様に、負荷の増大を抑制しながら符号化効率の低減を抑制することができる。また、この場合の符号化装置１００は、第１の実施の形態の場合よりも負荷の増大をより抑制することができる。
＜５．第４の実施の形態＞
＜復号装置＞
復号装置２００の場合も第３の実施の形態の場合と同様に、Weight値をOctreeから導出するようにしてもよい。このようにすることにより、Weight値は、RAHT処理を行わなくても、そのOctreeから容易に導出することができる。
この場合の復号装置２００の主な構成例を図１１に示す。この場合、復号装置２００は、図７の例と比べて、Geometry係数並び替え部２１２およびRAHT処理部２１３の代わりに、Weight算出部４０１を有する。
Weight算出部４０１は、Weight値の算出に関する処理を行う。例えば、Weight算出部４０１は、Geometry復号部２１１から位置情報のOctreeデータを取得する。Weight算出部４０１は、その位置情報のOctreeに基づいて、Weight値を導出する。Weight算出部４０１は、導出したWeight値をコンテキスト選択部２１４および逆RAHT処理部２２３に供給する。
このようにすることにより、図７の場合に比べて、負荷の大きなGeometry係数の並び替えもRAHT処理も不要であり、負荷の小さなOctreeからのWeight算出によりWeight値を導出することができる。したがって、復号装置２００は、第２の実施の形態の場合に比べて、負荷の増大をより抑制することができる。
＜復号処理の流れ＞
この場合の復号処理の流れの例を、図１２のフローチャートを参照して説明する。
復号処理が開始されると、Geometry復号部２１１は、ステップＳ４０１において、ステップＳ２０１の場合と同様に、Geometryのビットストリームを復号する。
ステップＳ４０２において、Weight算出部４０１は、ステップＳ４０１において得られたOctreeからWeight値を算出する。
ステップＳ４０３乃至ステップＳ４０８の各処理は、図８のステップＳ２０４乃至ステップＳ２０９の各処理と同様に実行される。
したがって、以上のように各処理を実行することにより、復号装置２００は、第２の実施の形態の場合と同様に、負荷の増大を抑制しながら符号化効率の低減を抑制することができる。また、この場合の復号装置２００は、第２の実施の形態の場合よりも負荷の増大をより抑制することができる。
＜６．付記＞
＜直交変換＞
なお、以上においては、直交変換としてRAHTを用いる場合を例に説明したが、符号化・復号の際に行われる直交変換は、３次元構造を考慮したものであればよく、RAHTに限定されない。例えば、グラフ変換等であってもよい。
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図１３に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
＜本技術の適用対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
本技術は、任意の構成に適用することができる。例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、１bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報を符号化する符号化部
を備える画像処理装置。
（２） 前記Weight値に対応するコンテキストを選択するコンテキスト選択部をさらに備え、
前記符号化部は、前記コンテキスト選択部により選択されたコンテキストを用いて、前記属性情報を符号化する
（１）に記載の画像処理装置。
（３） 前記コンテキスト選択部は、予め定められたコンテキストの数およびWeight値に対する閾値を用いて、前記Weight値に応じたコンテキストを選択する
（２）に記載の画像処理装置。
（４） 前記コンテキスト選択部は、設定されたコンテキストの数およびWeight値に対する閾値を用いて、前記Weight値に応じたコンテキストを選択する
（２）または（３）に記載の画像処理装置。
（５） 前記Weight値を導出するWeight値導出部をさらに備え、
前記コンテキスト選択部は、前記Weight値導出部により導出された前記Weight値に対応するコンテキストを選択する
（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記Weight値導出部は、前記位置情報に対して、前記直交変換としてRAHT（Region Adaptive Hierarchical Transform）を行い、前記Weight値を導出する
（５）に記載の画像処理装置。
（７） 前記Weight値導出部は、前記位置情報のOctreeに基づいて前記Weight値を導出する
（５）または（６）に記載の画像処理装置。
（８） 前記Weight値導出部により導出された前記Weight値を用いて前記属性情報に対してRAHT（Region Adaptive Hierarchical Transform）を行うRAHT処理部をさらに備え、 前記符号化部は、前記RAHT処理部により生成された前記属性情報の変換係数を符号化する
（５）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記位置情報の符号化データと、前記符号化部により生成された前記属性情報の符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報を符号化する
画像処理方法。
（１１） ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報の符号化データを復号する復号部
を備える画像処理装置。
（１２） 前記Weight値に対応するコンテキストを選択するコンテキスト選択部をさらに備え、
前記復号部は、前記コンテキスト選択部により選択されたコンテキストを用いて、前記属性情報の符号化データを復号する
（１１）に記載の画像処理装置。
（１３） 前記コンテキスト選択部は、予め定められたコンテキストの数およびWeight値に対する閾値を用いて、前記Weight値に応じたコンテキストを選択する
（１２）に記載の画像処理装置。
（１４） 前記コンテキスト選択部は、符号化側から供給されたコンテキストの数およびWeight値に対する閾値を用いて、前記Weight値に応じたコンテキストを選択する
（１２）または（１３）に記載の画像処理装置。
（１５） 前記Weight値を導出するWeight値導出部をさらに備え、
前記コンテキスト選択部は、前記Weight値導出部により導出された前記Weight値に対応するコンテキストを選択する
（１２）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記Weight値導出部は、前記位置情報に対して、前記直交変換としてRAHT（Region Adaptive Hierarchical Transform）を行い、前記Weight値を導出する
（１５）に記載の画像処理装置。
（１７） 前記Weight値導出部は、前記位置情報のOctreeに基づいて前記Weight値を導出する
（１５）または（１６）に記載の画像処理装置。
（１８） 前記Weight値導出部により導出された前記Weight値を用いて、前記復号部により生成された前記属性情報に対して逆RAHT（Region Adaptive Hierarchical Transform）を行う逆RAHT処理部をさらに備える
（１５）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 前記位置情報と、前記復号部により生成された前記属性情報とを含むポイントクラウドデータを生成するポイントクラウドデータ生成部をさらに備える
（１１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報の符号化データを復号する
画像処理方法。
１００ 符号化装置， １１１ Geometry符号化部， １１２ Geometry係数並び替え部， １１３ RAHT処理部， １１４ コンテキスト選択部， １１５ Attribute符号化部、 １１６ ビットストリーム生成部， １２１ RAHT処理部， １２２ 量子化部， １２３ 可逆符号化部， ２００ 復号装置， ２１１ Geometry復号部， ２１２ Geometry係数並び替え部， ２１３ RAHT処理部， ２１４ コンテキスト選択部， ２１５ Attribute復号部， ２１６ Point cloudデータ生成部， ２２１ 可逆復号部， ２２２ 逆量子化部， ２２３ 逆RAHT処理部， ３０１ Weight算出部， ４０１ Weight算出部

Claims (20)

  1. ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報を符号化する符号化部
    を備える画像処理装置。
  2. 前記Weight値に対応するコンテキストを選択するコンテキスト選択部をさらに備え、
    前記符号化部は、前記コンテキスト選択部により選択されたコンテキストを用いて、前記属性情報を符号化する
    請求項１に記載の画像処理装置。
  3. 前記コンテキスト選択部は、予め定められたコンテキストの数およびWeight値に対する閾値を用いて、前記Weight値に応じたコンテキストを選択する
    請求項２に記載の画像処理装置。
  4. 前記コンテキスト選択部は、設定されたコンテキストの数およびWeight値に対する閾値を用いて、前記Weight値に応じたコンテキストを選択する
    請求項２に記載の画像処理装置。
  5. 前記Weight値を導出するWeight値導出部をさらに備え、
    前記コンテキスト選択部は、前記Weight値導出部により導出された前記Weight値に対応するコンテキストを選択する
    請求項２に記載の画像処理装置。
  6. 前記Weight値導出部は、前記位置情報に対して、前記直交変換としてRAHT（Region Adaptive Hierarchical Transform）を行い、前記Weight値を導出する
    請求項５に記載の画像処理装置。
  7. 前記Weight値導出部は、前記位置情報のOctreeに基づいて前記Weight値を導出する
    請求項５に記載の画像処理装置。
  8. 前記Weight値導出部により導出された前記Weight値を用いて前記属性情報に対してRAHT（Region Adaptive Hierarchical Transform）を行うRAHT処理部をさらに備え、
    前記符号化部は、前記RAHT処理部により生成された前記属性情報の変換係数を符号化する
    請求項５に記載の画像処理装置。
  9. 前記位置情報の符号化データと、前記符号化部により生成された前記属性情報の符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
    請求項１に記載の画像処理装置。
  10. ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報を符号化する
    画像処理方法。
  11. ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報の符号化データを復号する復号部
    を備える画像処理装置。
  12. 前記Weight値に対応するコンテキストを選択するコンテキスト選択部をさらに備え、
    前記復号部は、前記コンテキスト選択部により選択されたコンテキストを用いて、前記属性情報の符号化データを復号する
    請求項１１に記載の画像処理装置。
  13. 前記コンテキスト選択部は、予め定められたコンテキストの数およびWeight値に対する閾値を用いて、前記Weight値に応じたコンテキストを選択する
    請求項１２に記載の画像処理装置。
  14. 前記コンテキスト選択部は、符号化側から供給されたコンテキストの数およびWeight値に対する閾値を用いて、前記Weight値に応じたコンテキストを選択する
    請求項１２に記載の画像処理装置。
  15. 前記Weight値を導出するWeight値導出部をさらに備え、
    前記コンテキスト選択部は、前記Weight値導出部により導出された前記Weight値に対応するコンテキストを選択する
    請求項１２に記載の画像処理装置。
  16. 前記Weight値導出部は、前記位置情報に対して、前記直交変換としてRAHT（Region Adaptive Hierarchical Transform）を行い、前記Weight値を導出する
    請求項１５に記載の画像処理装置。
  17. 前記Weight値導出部は、前記位置情報のOctreeに基づいて前記Weight値を導出する
    請求項１５に記載の画像処理装置。
  18. 前記Weight値導出部により導出された前記Weight値を用いて、前記復号部により生成された前記属性情報に対して逆RAHT（Region Adaptive Hierarchical Transform）を行う逆RAHT処理部をさらに備える
    請求項１５に記載の画像処理装置。
  19. 前記位置情報と、前記復号部により生成された前記属性情報とを含むポイントクラウドデータを生成するポイントクラウドデータ生成部をさらに備える
    請求項１１に記載の画像処理装置。
  20. ポイントクラウドの位置情報に対して行われる３次元構造を考慮した直交変換のWeight値に対応するコンテキストを用いて、前記ポイントクラウドの属性情報の符号化データを復号する
    画像処理方法。
JP2020550269A 2018-10-02 2019-09-18 画像処理装置および方法 Pending JPWO2020071115A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018187483 2018-10-02
JP2018187483 2018-10-02
PCT/JP2019/036470 WO2020071115A1 (ja) 2018-10-02 2019-09-18 画像処理装置および方法

Publications (1)

Publication Number Publication Date
JPWO2020071115A1 true JPWO2020071115A1 (ja) 2021-09-02

Family

ID=70055225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020550269A Pending JPWO2020071115A1 (ja) 2018-10-02 2019-09-18 画像処理装置および方法

Country Status (13)

Country Link
US (1) US20220044448A1 (ja)
EP (1) EP3843040A4 (ja)
JP (1) JPWO2020071115A1 (ja)
KR (1) KR20210070282A (ja)
CN (1) CN112789657A (ja)
AU (1) AU2019353279A1 (ja)
BR (1) BR112021005904A2 (ja)
CA (1) CA3115213A1 (ja)
MX (1) MX2021003524A (ja)
PH (1) PH12021550655A1 (ja)
SG (1) SG11202103046VA (ja)
TW (1) TW202015398A (ja)
WO (1) WO2020071115A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021210550A1 (ja) * 2020-04-14 2021-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN116233386A (zh) * 2021-12-03 2023-06-06 维沃移动通信有限公司 点云属性编码方法、点云属性解码方法及终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression

Also Published As

Publication number Publication date
TW202015398A (zh) 2020-04-16
SG11202103046VA (en) 2021-05-28
WO2020071115A1 (ja) 2020-04-09
US20220044448A1 (en) 2022-02-10
KR20210070282A (ko) 2021-06-14
MX2021003524A (es) 2021-04-28
BR112021005904A2 (pt) 2021-07-27
PH12021550655A1 (en) 2022-02-21
AU2019353279A1 (en) 2021-05-27
CA3115213A1 (en) 2020-04-09
CN112789657A (zh) 2021-05-11
EP3843040A4 (en) 2021-10-27
EP3843040A1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
US11910026B2 (en) Image processing apparatus and method
US11943457B2 (en) Information processing apparatus and method
WO2020012967A1 (ja) 画像処理装置および方法
JP7424299B2 (ja) 画像処理装置および方法
US11991348B2 (en) Information processing device and method
WO2021010200A1 (ja) 情報処理装置および方法
WO2019142665A1 (ja) 情報処理装置および方法
WO2021140930A1 (ja) 情報処理装置および方法
WO2022145214A1 (ja) 情報処理装置および方法
JPWO2020071115A1 (ja) 画像処理装置および方法
WO2020145143A1 (ja) 情報処理装置および方法
WO2021002214A1 (ja) 情報処理装置および方法
WO2021010134A1 (ja) 情報処理装置および方法
WO2019198520A1 (ja) 情報処理装置および方法
JPWO2020071116A1 (ja) 画像処理装置および方法
WO2020262020A1 (ja) 情報処理装置および方法
WO2021140928A1 (ja) 情報処理装置および方法
US20230177735A1 (en) Information processing apparatus and method
WO2021193428A1 (ja) 情報処理装置及び情報処理方法
JP2022051968A (ja) 情報処理装置および方法