JPWO2019198523A1

JPWO2019198523A1 - 画像処理装置および方法

Info

Publication number: JPWO2019198523A1
Application number: JP2020513195A
Authority: JP
Inventors: 幸司矢野; 加藤　毅; 毅加藤; 智隈; 央二中神
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2018-04-11
Filing date: 2019-03-28
Publication date: 2021-05-13
Also published as: WO2019198523A1; EP3767954A4; US20210027505A1; EP3767954A1; CN111937402A

Abstract

本開示は、画質の低減を抑制することができるようにする画像処理装置および方法に関する。３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置された１枚のフレーム画像に対して、各位置のデータの有無を示すマップを複数生成し、そのフレーム画像の符号化データと、生成された複数のマップの符号化データとを含むビットストリームを生成する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

本開示は、画像処理装置および方法に関し、特に、画質の低減を抑制することができるようにした画像処理装置および方法に関する。

従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法として、例えばOctree等のような、ボクセル（Voxel）を用いた符号化があった（例えば非特許文献１参照）。

近年、その他の符号化方法として、例えば、ポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するアプローチ（以下、ビデオベースドアプローチ（Video-based approach）とも称する）が提案されている。

このような符号化において、２次元平面に投影された位置情報に関して、ある固定サイズのブロックNxNの単位で、位置情報の有無を判定するためのオキュパンシーマップ（OccupancyMap）というものが定義され、ビットストリーム（Bitstream）に記述される。その際、このNの値もオキュパンシープレシジョン（OccupancyPrecision）という名前でビットストリームに記述される。

R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf

しかしながら、従来の方法では、このオキュパンシープレシジョンNは、オキュパンシーマップの対象となる全領域において固定であった。そのため、オキュパンシーマップにおいて小さいブロック単位でデータの有無を判定すればより解像度の高いPointCloudデータを表現することができるが、ビットレートが高くなってしまうというトレードオフの関係にあった。そのため、実際には、このオキュパンシーマップにおけるデータの有無の判定精度（オキュパンシープレシジョンN）によって、復号画像の画質が低減するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、画質の低減を抑制することができるようにするものである。

本技術の一側面の画像処理装置は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置された１枚のフレーム画像に対して、各位置のデータの有無を示すマップを複数生成するマップ生成部と、前記フレーム画像の符号化データと、前記マップ生成部により生成された複数の前記マップの符号化データとを含むビットストリームを生成するビットストリーム生成部とを備える画像処理装置である。

本技術の一側面の画像処理方法は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置された１枚のフレーム画像に対して、各位置のデータの有無を示すマップを複数生成し、前記フレーム画像の符号化データと、生成された複数の前記マップの符号化データとを含むビットストリームを生成する画像処理方法である。

本技術の他の側面の画像処理装置は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像に対応する複数の、各位置のデータの有無を示すマップを用いて、前記パッチから前記３Ｄデータを再構築する再構築部を備える画像処理装置である。

本技術の他の側面の画像処理方法は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像に対応する複数の、各位置のデータの有無を示すマップを用いて、前記パッチから前記３Ｄデータを再構築する画像処理方法である。

本技術のさらに他の側面の画像処理装置は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを生成するマップ生成部と、前記フレーム画像の符号化データと、前記マップ生成部により生成された前記マップの符号化データとを含むビットストリームを生成するビットストリーム生成部とを備える画像処理装置である。

本技術のさらに他の側面の画像処理方法は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを生成し、前記フレーム画像の符号化データと、生成された前記マップの符号化データとを含むビットストリームを生成する画像処理方法である。

本技術のさらに他の側面の画像処理装置は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを用いて、前記パッチから前記３Ｄデータを再構築する再構築部を備える画像処理装置である。

本技術のさらに他の側面の画像処理方法は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを用いて、前記パッチから前記３Ｄデータを再構築する画像処理方法である。

本技術の一側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置された１枚のフレーム画像に対して、各位置のデータの有無を示すマップが複数生成され、そのフレーム画像の符号化データと、その生成された複数のマップの符号化データとを含むビットストリームが生成される。

本技術の他の側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像に対応する複数の、各位置のデータの有無を示すマップを用いて、そのパッチから３Ｄデータが再構築される。

本技術のさらに他の側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、そのデータの有無を示す精度が複数設定されるマップが生成され、そのフレーム画像の符号化データと、その生成されたマップの符号化データとを含むビットストリームが生成される。

本技術のさらに他の側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、そのデータの有無を示す精度が複数設定されるマップを用いて、そのパッチから３Ｄデータが再構築される。

本開示によれば、画像を処理することができる。特に、画質の低減を抑制することができる。

ポイントクラウドの例を説明する図である。ビデオベースドアプローチの概要の例を説明する図である。ジオメトリ画像とオキュパンシーマップの例を示す図である。オキュパンシーマップの精度の例を説明する図である。オキュパンシーマップのデータ構造の例を説明する。オキュパンシーマップの精度による画質低減の例を説明する図である。本技術に関する主な特徴をまとめた図である。オキュパンシーマップの例について説明する図である。オキュパンシーマップの例について説明する図である。オキュパンシーマップのデータ構造の例を説明する。オキュパンシーマップの例について説明する図である。オキュパンシーマップのデータ構造の例を説明する。オキュパンシーマップのデータ構造の例を説明する。符号化装置の主な構成例を示すブロック図である。 OMap生成部の主な構成例を説明する図である。復号装置の主な構成例を示すブロック図である。符号化処理の流れの例を説明するフローチャートである。オキュパンシーマップ生成処理の流れの例を説明するフローチャートである。オキュパンシーマップ生成処理の流れの例を説明するフローチャートである。オキュパンシーマップ生成処理の流れの例を説明するフローチャートである。オキュパンシーマップ生成処理の流れの例を説明するフローチャートである。復号処理の流れの例を説明するフローチャートである。ポイントクラウド再構築処理の流れの例を説明するフローチャートである。ポイントクラウド再構築処理の流れの例を説明するフローチャートである。ポイントクラウド再構築処理の流れの例を説明するフローチャートである。ポイントクラウド再構築処理の流れの例を説明するフローチャートである。コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．ビデオベースドアプローチ
２．第１の実施の形態（オキュパンシーマップの精度の制御）
３．付記

＜１．ビデオベースドアプローチ＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。

非特許文献１：（上述）
非特許文献２：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
非特許文献４：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017

つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献３に記載されているQuad-Tree Block Structure、非特許文献４に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。

＜ポイントクラウド＞
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ等のデータが存在した。

例えばポイントクラウドの場合、図１のＡに示されるような立体構造物を、図１のＢに示されるような多数の点の集合（点群）として表現する。つまり、ポイントクラウドのデータは、この点群の各点の位置情報や属性情報（例えば色等）により構成される。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。

＜ビデオベースドアプローチの概要＞
このようなポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するビデオベースドアプローチ（Video-based approach）が提案されている。

このビデオベースドアプローチでは、例えば図２に示されるように、入力されたポイントクラウド（Point cloud）が複数のセグメンテーション（領域とも称する）に分割され、領域毎に２次元平面に投影される。なお、ポイントクラウドの位置毎のデータ（すなわち、各ポイントのデータ）は、上述のように位置情報（Geometry（Depthとも称する））と属性情報（Texture）とにより構成され、それぞれ、領域毎に２次元平面に投影される。

そして、この２次元平面に投影された各セグメンテーション（パッチとも称する）は、２次元画像に配置され、例えば、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等といった、２次元平面画像用の符号化方式により符号化される。

＜オキュパンシーマップ＞
ビデオベースドアプローチにより、３Ｄデータを２次元平面に投影する場合、上述のように位置情報が投影された２次元平面画像（ジオメトリ（Geometry）画像とも称する）と、属性情報が投影された２次元平面画像（テクスチャ（Texture）画像とも称する）との他に、図３に示されるようなオキュパンシーマップが生成される。オキュパンシーマップは、２次元平面の各位置における、位置情報および属性情報の有無を示すマップ情報である。図３の例では、互いに対応する位置の（パッチの）ジオメトリ画像（Depth）とオキュパンシーマップ（Occupancy）とが並べられている。図３の例の場合、オキュパンシーマップ（図中左側）の白い部分が、ジオメトリ画像のデータ（すなわち位置情報）が存在する位置（座標）を示しており、黒い部分が、ジオメトリ画像のデータ（すなわち位置情報）が存在しない位置（座標）を示している。

図４は、このオキュパンシーマップの構成例を示す図である。図４に示されるように、オキュパンシーマップ１０は、Resolutionと称するブロック１１（太線枠）により構成される。図４においては、１つのブロック１１にのみ符号を付しているが、オキュパンシーマップ１０は、２×２の４つのブロック１１により構成される。各ブロック１１（Resolution）は、Precisionと称するサブブロック１２（細線枠）により構成される。図４の例の場合、各ブロック１１は、４×４のサブブロック１２により構成される。

あるフレーム画像の、このオキュパンシーマップ１０に対応する範囲には、パッチ２１乃至パッチ２３が配置される。オキュパンシーマップ１０においては、このパッチのデータの有無がサブブロック１２毎に判定される。

図５は、オキュパンシーマップのデータ構造の例を示す。オキュパンシーマップには、図５に示されるようなデータが含まれる。

例えば、Arithmetic encoded variablesには、各パッチについての範囲を示す座標情報（u0,v0,u1,v1）が格納されている。つまり、オキュパンシーマップにおいては、各パッチの領域の範囲が、その対頂点の座標（（u0,v0）および（u1,v1））により示されている。

このオキュパンシーマップ（OccupancyMap）では、所定の固定サイズのブロックNxNの単位で、位置情報（および属性情報）の有無が判定される。図５に示されるように、このNの値もオキュパンシープレシジョン（OccupancyPrecision）という名前でビットストリームに記述される。

＜オキュパンシーマップによる解像度低減＞
しかしながら、従来の方法では、このオキュパンシープレシジョンN（プレシジョン値とも称する）は、オキュパンシーマップの対象となる全領域において固定であった。そのため、オキュパンシーマップにおいて小さいブロック単位でデータの有無を判定すればより解像度の高いポイントクラウドデータを表現することができるが、ビットレートが高くなってしまうというトレードオフの関係にあった。そのため、実際には、このオキュパンシーマップにおけるデータの有無の判定精度（オキュパンシープレシジョンN）によって、絵柄の細かい部分において解像度が低減し、復号画像の画質が低減するおそれがあった。

例えば、図６のＡに示される画像５１には、細い線状の髪の毛が含まれているが、これが例えばプレシジョン値「１」（precision=1）のオキュパンシーマップによって、図６のＢの画像５２のように太くなってしまうおそれがあった。オキュパンシーマップのプレシジョン値が「２」（precision=2）の場合、図６のＣの画像５３のようにさらに太くなってしまうおそれがあった。オキュパンシーマップのプレシジョン値が「４」（precision=4）の場合、図６のＤの画像５４のようにさらに太くなって、線がブロック化してしまうおそれがあった。

このように、ビデオベースドアプローチにより符号化した３Ｄデータを復号した復号画像の画質は、オキュパンシーマップのプレシジョン値（precision）に依存するため、画像の細かさに比べてこのプレシジョン値が大きい場合、復号画像の画質が低減するおそれがあった。

＜プレシジョン値の制御＞
そこで、オキュパンシーマップの精度（プレシジョン値）を制御することができるようにする（可変とする）。

例えば、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置された１枚のフレーム画像に対して、各位置のデータの有無を示すマップ（オキュパンシーマップ）を複数生成し、そのフレーム画像の符号化データと、その生成された複数のマップの符号化データとを含むビットストリームを生成するようにする。

例えば、画像処理装置において、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置された１枚のフレーム画像に対して、各位置のデータの有無を示すマップ（オキュパンシーマップ）を複数生成するマップ生成部と、そのフレーム画像の符号化データと、そのマップ生成部により生成された複数のマップの符号化データとを含むビットストリームを生成するビットストリーム生成部とを備えるようにする。

このようにすることにより、パッチが配置されたフレーム画像の局所毎に適用するマック（オキュパンシーマップ）を変えることができる。したがって、例えば、局所毎に、プレシジョン値の異なるマップ（オキュパンシーマップ）を適用することができる。つまり、実質的に、位置に応じてプレシジョン値を可変とすることができる。したがって、例えば、そのフレーム画像のどの位置においても、その位置の局所的な解像度（絵柄の細かさ）に適したプレシジョン値のマップ（オキュパンシーマップ）によりデータの有無を判定することができる。したがって、符号量の増大（符号化効率の低減）を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

また、例えば、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像に対応する複数の、各位置のデータの有無を示すマップ（オキュパンシーマップ）を用いて、そのパッチから３Ｄデータを再構築するようにする。

例えば、画像処理装置において、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像に対応する複数の、各位置のデータの有無を示すマップ（オキュパンシーマップ）を用いて、そのパッチから３Ｄデータを再構築する再構築部を備えるようにする。

このようにすることにより、パッチが配置されたフレーム画像の局所毎に、プレシジョン値の異なるマップ（オキュパンシーマップ）を適用して、３Ｄデータを再構築することができる。つまり、実質的に、位置に応じてプレシジョン値を可変とすることができる。したがって、例えば、そのフレーム画像のどの位置においても、その位置の局所的な解像度（絵柄の細かさ）に適したプレシジョン値のマップ（オキュパンシーマップ）により３Ｄデータを再構築することができる。したがって、符号量の増大（符号化効率の低減）を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

また、例えば、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップ（オキュパンシーマップ）であって、そのデータの有無を示す精度が複数設定されるマップを生成し、そのフレーム画像の符号化データと、その生成されたマップの符号化データとを含むビットストリームを生成するようにする。

例えば、画像処理装置において、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップ（オキュパンシーマップ）であって、そのデータの有無を示す精度が複数設定されるマップを生成するマップ生成部と、そのフレーム画像の符号化データと、そのマップ生成部により生成されたマップの符号化データとを含むビットストリームを生成するビットストリーム生成部とを備えるようにする。

このようにすることにより、パッチが配置されたフレーム画像の局所毎にマップ（オキュパンシーマップ）のプレシジョン値を変えることができる。つまり、位置に応じてプレシジョン値を可変とすることができる。したがって、例えば、そのフレーム画像のどの位置においても、その位置の局所的な解像度（絵柄の細かさ）に適したプレシジョン値のマップ（オキュパンシーマップ）によりデータの有無を判定することができる。したがって、符号量の増大（符号化効率の低減）を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

また、例えば、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップ（オキュパンシーマップ）であって、そのデータの有無を示す精度が複数設定されるマップを用いて、そのパッチから３Ｄデータを再構築するようにする。

例えば、画像処理装置において、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップ（オキュパンシーマップ）であって、そのデータの有無を示す精度が複数設定されるマップを用いて、そのパッチから３Ｄデータを再構築する再構築部を備えるようにする。

このようにすることにより、パッチが配置されたフレーム画像の局所毎にプレシジョン値を変えたマップ（オキュパンシーマップ）を適用して、３Ｄデータを再構築することができる。つまり、位置に応じてプレシジョン値を可変とすることができる。したがって、例えば、そのフレーム画像のどの位置においても、その位置の局所的な解像度（絵柄の細かさ）に適したプレシジョン値のマップ（オキュパンシーマップ）により３Ｄデータを再構築することができる。したがって、符号量の増大（符号化効率の低減）を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

＜ビデオベースドアプローチに関する本技術＞
以上に説明したようなビデオベースドアプローチに関する本技術について説明する。図７の表６１に示されるように、本技術においては、オキュパンシーマップの精度を可変とする。

この精度を可変とする第１の方法（マップ仕様１）では、精度（プレシジョン値）が互いに異なる複数のオキュパンシーマップを生成し、伝送する。

例えば、図８に示されるように、プレシジョン値「４」（Precision = 4）のオキュパンシーマップ１０−１と、プレシジョン値「１」（Precision = 1）のオキュパンシーマップ１０−２とを生成し、伝送する。

図８の場合、ブロック毎にいずれかの精度でオキュパンシーを表現する（OR）。図８の例の場合、オキュパンシーマップの左側の２ブロックは、オキュパンシーマップ１０−１が適用されている。したがって、パッチ２１およびパッチ２３は、プレシジョン値「４」（Precision = 4）の精度でオキュパンシーが表現されている。これに対して、オキュパンシーマップの右側の２ブロックは、オキュパンシーマップ１０−２が適用されている。したがって、パッチ２２は、プレシジョン値「１」（Precision = 1）の精度でオキュパンシーが表現されている。

このようにすることにより、位置に応じてプレシジョン値を可変とすることができるので、符号化効率の低減を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

なお、低精度のオキュパンシーとの差分情報を高精度のオキュパンシーで表現するようにしてもよい（XOR）。例えば、図９のように、オキュパンシーマップ１０−１によって（つまり、プレシジョン値「４」（Precision = 4）の精度で）、パッチ２１乃至パッチ２３のデータの有無を判定し（実際には、パッチ２１、パッチ２２−１、およびパッチ２３）、その精度で表現できない部分（パッチ２２−２およびパッチ２２−３）は、オキュパンシーマップ１０−２によって（つまり、プレシジョン値「１」（Precision = 1）の精度で）データの有無を判定するようにしてもよい。なお、オキュパンシーマップ１０−２によるデータの有無は、オキュパンシーマップ１０−１による判定結果との排他的論理和（XOR）で判定するので、パッチ２２−１は、オキュパンシーマップ１０−２においても判定するようにしてもよい。

このようにすることにより、図８の場合と同様に、位置に応じてプレシジョン値を可変とすることができるので、符号化効率の低減を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

図８および図９の場合における、オキュパンシーマップのデータ構造の例を図１０に示す。図１０において下線を付した部分が、図５の場合と異なる部分である。つまり、この場合、オキュパンシーマップのデータには、精度に関する情報が含まれる。その精度に関する情報として、例えば、このデータにおいて設定される精度の数（Number of Occupancy Precision(n)）が設定される。また、そのｎ個の精度（プレシジョン値）が設定される（Occupancy Precision(N1), Occupancy Precision(N2),・・・）。

そして各プレシジョン値のサブブロック（N1xN1, N2xN2,・・・）毎に、データの有無の判定結果が設定される。

図７に戻り、精度を可変とする第２の方法（マップ仕様２）では、精度（プレシジョン値）が異なるブロックを含むオキュパンシーマップを生成し、伝送する。

例えば、図１１に示されるように、ブロック毎に精度を設定することができるオキュパンシーマップ１０を生成し、伝送するようにしてもよい。図１１の例の場合、オキュパンシーマップ１０は、左側の２ブロック（ブロック１１−１およびブロック１１−２）のサブブロック（サブブロック１２−１およびサブブロック１２−２）のプレシジョン値が「４」（Precision = 4）であり、右側の２ブロック（ブロック１１−３およびブロック１１−４）のサブブロック（サブブロック１２−３およびサブブロック１２−４）のプレシジョン値が「８」（Precision = 8）である。つまり、パッチ２１およびパッチ２３は、プレシジョン値「４」（Precision = 4）の精度でデータの有無が判定され、パッチ２２は、プレシジョン値「８」（Precision = 8）の精度でデータの有無が判定されている。

この場合における、オキュパンシーマップのデータ構造の例を図１３に示す。図１３において下線を付した部分が、図１０の場合と異なる部分である。つまり、この場合、オキュパンシーマップのデータには、精度の数（Number of Occupancy Precision(n)）や、そのｎ個の精度（Occupancy Precision(N1), Occupancy Precision(N2),・・・）の情報は含まれない。

そして、ブロック毎（For each block(ResxRes)）に、プレシジョン値（OccupancyPrecision(N')）が設定され、各プレシジョン値のサブブロック（N'xN',・・・）毎に、データの有無の判定結果が設定される。

なお、パッチ毎に精度を設定することができるオキュパンシーマップ１０を生成し、伝送するようにしてもよい。つまり、図１１のような各サブブロックのプレシジョン値を、パッチ毎に設定し、そのパッチを含むサブブロックのプレシジョン値が、そのパッチに対応するプレシジョン値となるようにしてもよい。

例えば、図１１の場合、パッチ２２に対してプレシジョン値「８」（Precision = 8）が設定されており、このパッチ２２を含むサブブロック（サブブロック１２−３およびサブブロック１２−４）のプレシジョン値が「８」（Precision = 8）に設定されている。

このようにすることにより、ブロック毎に精度を設定する場合と同様に、位置に応じてプレシジョン値を可変とすることができるので、符号化効率の低減を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

この場合における、オキュパンシーマップのデータ構造の例を図１２に示す。図１２において下線を付した部分が、図１０の場合と異なる部分である。つまり、この場合、オキュパンシーマップのデータには、精度の数（Number of Occupancy Precision(n)）や、そのｎ個の精度（Occupancy Precision(N1), Occupancy Precision(N2),・・・）の情報は含まれない。

そして、各パッチ（For each pathc）に、プレシジョン値（Precision(N')）が設定され、そのパッチに属するサブブロックのプレシジョン値がN'に設定されている（N'xN'）。

図７に戻り、上述の第１の方法と第２の方法とを組み合わせてもよい。これを、精度を可変とする第３の方法（マップ仕様３）とする。この場合、精度（プレシジョン値）が異なるブロックを含む複数のオキュパンシーマップを生成し、伝送する。

以上のように、本技術を適用することにより、いずれの方法の場合であっても、各位置の精度（プレシジョン値）を設定することができる（つまり、精度を可変とすることができる）。

なお、この精度の決定方法は任意である。例えば、RDコストに基づいて最適なプレシジョン値を求めるようにしてもよい。また、例えば、主観的に最も効果的な値に決定するようにしてもよい。また、例えば、局所領域の特性（例えば、「顔」、「髪」等）や、注目領域（ROI）等に基づいてプレシジョン値を決定するようにしてもよい。また、例えば、再構成したポイントクラウドの品質とオキュパンシーマップの伝送に必要なビット量とを指標に用いてプレシジョン値を決定するようにしてもよい。また、例えば、オキュパンシーマップと局所領域の画素数との関係からプレシジョン値を決定するようにしてもよい。

＜２．第１の実施の形態＞
＜符号化装置＞
次に、以上のような各手法を実現する構成について説明する。図１４は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図１４に示される符号化装置１００は、ポイントクラウドのような３Ｄデータを２次元平面に投影して２次元画像用の符号化方法により符号化を行う装置（ビデオベースドアプローチを適用した符号化装置）である。

なお、図１４においては、処理部やデータの流れ等の主なものを示しており、図１４に示されるものが全てとは限らない。つまり、符号化装置１００において、図１４においてブロックとして示されていない処理部が存在したり、図１４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、符号化装置１００内の処理部等を説明する他の図においても同様である。

図１４に示されるように符号化装置１００は、パッチ分解部１１１、パッキング部１１２、OMap生成部１１３、補助パッチ情報圧縮部１１４、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、およびマルチプレクサ１１８を有する。

パッチ分解部１１１は、３Ｄデータの分解に関する処理を行う。例えば、パッチ分解部１１１は、符号化装置１００に入力される、３次元構造を表す３Ｄデータ（例えばポイントクラウド（Point Cloud））を取得する。また、パッチ分解部１１１は、取得したその３Ｄデータを複数のセグメンテーションに分解し、そのセグメンテーション毎に３Ｄデータを２次元平面に投影し、位置情報のパッチや属性情報のパッチを生成する。

パッチ分解部１１１は、生成した各パッチに関する情報をパッキング部１１２に供給する。また、パッチ分解部１１１は、その分解に関する情報である補助パッチ情報を、補助パッチ情報圧縮部１１４に供給する。

パッキング部１１２は、データのパッキングに関する処理を行う。例えば、パッキング部１１２は、パッチ分解部１１１から供給される領域毎に３Ｄデータが投影された２次元平面のデータ（パッチ）を取得する。また、パッキング部１１２は、取得した各パッチを２次元画像に配置してビデオフレームとしてパッキングする。例えば、パッキング部１１２は、ポイントの位置を示す位置情報（Geometry）のパッチや、その位置情報に付加される色情報等の属性情報（Texture）のパッチを、それぞれ、ビデオフレームとしてパッキングする。

パッキング部１１２は、生成したビデオフレームをOMap生成部１１３に供給する。また、パッキング部１１２は、そのパッキングに関する制御情報をマルチプレクサ１１８に供給する。

OMap生成部１１３は、オキュパンシーマップの生成に関する処理を行う。例えば、OMap生成部１１３は、パッキング部１１２から供給されるデータを取得する。また、OMap生成部１１３は、位置情報や属性情報に対応するオキュパンシーマップを生成する。例えば、OMap生成部１１３は、パッチが配置された１枚のフレーム画像に対して複数のオキュパンシーマップを生成する。また、例えば、OMap生成部１１３は、精度が複数設定されるオキュパンシーマップを生成する。OMap生成部１１３は、生成したオキュパンシーマップや、パッキング部１１２から取得した各種情報を後段の処理部に供給する。例えば、OMap生成部１１３は、位置情報（Geometry）のビデオフレームをビデオ符号化部１１５に供給する。また、例えば、OMap生成部１１３は、属性情報（Texture）のビデオフレームをビデオ符号化部１１６に供給する。さらに、例えば、OMap生成部１１３は、オキュパンシーマップをOMap符号化部１１７に供給する。

補助パッチ情報圧縮部１１４は、補助パッチ情報の圧縮に関する処理を行う。例えば、補助パッチ情報圧縮部１１４は、パッチ分解部１１１から供給されるデータを取得する。補助パッチ情報圧縮部１１４は、取得したデータに含まれる補助パッチ情報を符号化（圧縮）する。補助パッチ情報圧縮部１１４は、得られた補助パッチ情報の符号化データをマルチプレクサ１１８に供給する。

ビデオ符号化部１１５は、位置情報（Geometry）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１５は、OMap生成部１１３から供給される位置情報（Geometry）のビデオフレームを取得する。また、ビデオ符号化部１１５は、その取得した位置情報（Geometry）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１５は、その符号化により得られた符号化データ（位置情報（Geometry）のビデオフレームの符号化データ）をマルチプレクサ１１８に供給する。

ビデオ符号化部１１６は、属性情報（Texture）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１６は、OMap生成部１１３から供給される属性情報（Texture）のビデオフレームを取得する。また、ビデオ符号化部１１６は、その取得した属性情報（Texture）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１６は、その符号化により得られた符号化データ（属性情報（Texture）のビデオフレームの符号化データ）をマルチプレクサ１１８に供給する。

OMap符号化部１１７は、オキュパンシーマップの符号化に関する処理を行う。例えば、OMap符号化部１１７は、OMap生成部１１３から供給されるオキュパンシーマップを取得する。また、OMap符号化部１１７は、その取得したオキュパンシーマップを、例えば算術符号化等の任意の符号化方法により符号化する。OMap符号化部１１７は、その符号化により得られた符号化データ（オキュパンシーマップの符号化データ）をマルチプレクサ１１８に供給する。

マルチプレクサ１１８は、多重化に関する処理を行う。例えば、マルチプレクサ１１８は、補助パッチ情報圧縮部１１４から供給される補助パッチ情報の符号化データを取得する。また、マルチプレクサ１１８は、パッキング部１１２から供給されるパッキングに関する制御情報を取得する。また、マルチプレクサ１１８は、ビデオ符号化部１１５から供給される位置情報（Geometry）のビデオフレームの符号化データを取得する。また、マルチプレクサ１１８は、ビデオ符号化部１１６から供給される属性情報（Texture）のビデオフレームの符号化データを取得する。また、マルチプレクサ１１８は、OMap符号化部１１７から供給されるオキュパンシーマップの符号化データを取得する。

マルチプレクサ１１８は、取得したそれらの情報を多重化して、ビットストリーム（Bitstream）を生成する。マルチプレクサ１１８は、その生成したビットストリームを符号化装置１００の外部に出力する。

＜OMap生成部＞
図１５は、図１４のOMap生成部１１３の主な構成例を示すブロック図である。図１５に示されるように、OMap生成部１１３は、プレシジョン値決定部１５１およびOMap生成部１５２を有する。

プレシジョン値決定部１５１は、プレシジョン値の決定に関する処理を行う。例えば、プレシジョン値決定部１５１は、パッキング部１１２から供給されるデータを取得する。また、プレシジョン値決定部１５１は、そのデータに基づく等して、各位置のプレシジョン値を決定する。

このプレシジョン値の決定方法は任意である。例えば、RDコストに基づいて最適なプレシジョン値を求めるようにしてもよい。また、例えば、主観的に最も効果的な値に決定するようにしてもよい。また、例えば、局所領域の特性（例えば、「顔」、「髪」等）や、注目領域（ROI）等に基づいてプレシジョン値を決定するようにしてもよい。また、例えば、再構成したポイントクラウドの品質とオキュパンシーマップの伝送に必要なビット量とを指標に用いてプレシジョン値を決定するようにしてもよい。また、例えば、オキュパンシーマップと局所領域の画素数との関係からプレシジョン値を決定するようにしてもよい。

プレシジョン値決定部１５１は、プレシジョン値を決定すると、その情報とともに、パッキング部１１２から取得したデータをOMap生成部１５２に供給する。

OMap生成部１５２は、オキュパンシーマップの生成に関する処理を行う。例えば、OMap生成部１５２は、プレシジョン値決定部１５１から供給されるデータを取得する。また、OMap生成部１５２は、プレシジョン値決定部１５１から供給される位置情報や属性情報のビデオフレームや、プレシジョン値決定部１５１が決定したプレシジョン値等に基づいて、例えば図８乃至図１３を参照して説明したような、位置に応じてプレシジョン値が可変のオキュパンシーマップを生成する。

OMap生成部１５２は、生成したオキュパンシーマップとともに、プレシジョン値決定部１５１から取得した各種情報を後段の処理部に供給する。

＜復号装置＞
図１６は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１６に示される復号装置２００は、ポイントクラウドのような３Ｄデータが２次元平面に投影されて符号化された符号化データを、２次元画像用の復号方法により復号し、３次元空間に投影する装置（ビデオベースドアプローチを適用した復号装置）である。

なお、図１６においては、処理部やデータの流れ等の主なものを示しており、図１６に示されるものが全てとは限らない。つまり、復号装置２００において、図１６においてブロックとして示されていない処理部が存在したり、図１６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、復号装置２００内の処理部等を説明する他の図においても同様である。

図１６に示されるように復号装置２００は、デマルチプレクサ２１１、補助パッチ情報復号部２１２、ビデオ復号部２１３、ビデオ復号部２１４、OMap復号部２１５、アンパッキング部２１６、および３Ｄ再構築部２１７を有する。

デマルチプレクサ２１１は、データの逆多重化に関する処理を行う。例えば、デマルチプレクサ２１１は、復号装置２００に入力されるビットストリームを取得する。このビットストリームは、例えば、符号化装置１００より供給される。デマルチプレクサ２１１は、このビットストリームを逆多重化し、補助パッチ情報の符号化データを抽出し、それを補助パッチ情報復号部２１２に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、位置情報（Geometry）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１３に供給する。さらに、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、属性情報（Texture）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１４に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、オキュパンシーマップの符号化データを抽出し、それをOMap復号部２１５に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、パッキングに関する制御情報を抽出し、それをアンパッキング部２１６に供給する。

補助パッチ情報復号部２１２は、補助パッチ情報の符号化データの復号に関する処理を行う。例えば、補助パッチ情報復号部２１２は、デマルチプレクサ２１１から供給される補助パッチ情報の符号化データを取得する。また、補助パッチ情報復号部２１２は、その取得したデータに含まれる補助パッチ情報の符号化データを復号する。補助パッチ情報復号部２１２は、その復号により得られた補助パッチ情報を３Ｄ再構築部２１７に供給する。

ビデオ復号部２１３は、位置情報（Geometry）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１３は、デマルチプレクサ２１１から供給される位置情報（Geometry）のビデオフレームの符号化データを取得する。また、ビデオ復号部２１３は、デマルチプレクサ２１１から取得した符号化データを復号し、位置情報（Geometry）のビデオフレームを得る。ビデオ復号部２１３は、復号した符号化単位の位置情報（Geometry）のデータを、アンパッキング部２１６に供給する。

ビデオ復号部２１４は、属性情報（Texture）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１４は、デマルチプレクサ２１１から供給される属性情報（Texture）のビデオフレームの符号化データを取得する。また、ビデオ復号部２１４は、デマルチプレクサ２１１から取得した符号化データを復号し、属性情報（Texture）のビデオフレームを得る。ビデオ復号部２１４は、復号した符号化単位の属性情報（Texture）のデータを、アンパッキング部２１６に供給する。

OMap復号部２１５は、オキュパンシーマップの符号化データの復号に関する処理を行う。例えば、OMap復号部２１５は、デマルチプレクサ２１１から供給されるオキュパンシーマップの符号化データを取得する。また、OMap復号部２１５は、デマルチプレクサ２１１から取得した符号化データを復号し、オキュパンシーマップを得る。OMap復号部２１５は、復号した符号化単位のオキュパンシーマップのデータを、アンパッキング部２１６に供給する。

アンパッキング部２１６は、アンパッキングに関する処理を行う。例えば、アンパッキング部２１６は、ビデオ復号部２１３から位置情報（Geometry）のビデオフレームを取得し、ビデオ復号部２１４から属性情報（Texture）のビデオフレームを取得し、OMap復号部２１５からオキュパンシーマップを取得する。また、アンパッキング部２１６は、パッキングに関する制御情報に基づいて、位置情報（Geometry）のビデオフレームや属性情報（Texture）のビデオフレームをアンパッキングする。アンパッキング部２１６は、アンパッキングして得られた位置情報（Geometry）のデータ（パッチ等）や属性情報（Texture）のデータ（パッチ等）、並びにオキュパンシーマップのデータ等を、３Ｄ再構築部２１７に供給する。

３Ｄ再構築部２１７は、３Ｄデータの再構築に関する処理を行う。例えば、３Ｄ再構築部２１７は、補助パッチ情報復号部２１２から供給される補助パッチ情報や、アンパッキング部２１６から供給される位置情報（Geometry）のデータ、属性情報（Texture）のデータ、およびオキュパンシーマップのデータ等に基づいて、３Ｄデータ（Point Cloud）を再構築する。例えば、３Ｄ再構築部２１７は、位置情報や属性情報のパッチ（パッチが配置されたフレーム画像）に対応する複数のオキュパンシーマップを用いて、そのパッチから３Ｄデータを再構築する。また、例えば、３Ｄ再構築部２１７は、データの有無を示す精度が複数設定されるオキュパンシーマップを用いて、位置情報や属性情報のパッチから３Ｄデータを再構築する。３Ｄ再構築部２１７は、このような処理により得られた３Ｄデータを復号装置２００の外部に出力する。

この３Ｄデータは、例えば、表示部に供給されてその画像が表示されたり、記録媒体に記録されたり、通信を介して他の装置に供給されたりする。

このような構成を備えることにより、パッチが配置されたフレーム画像の局所毎に適用するオキュパンシーマップを変えることができる。つまり、実質的に、位置に応じてプレシジョン値を可変とすることができる。したがって、例えば、そのフレーム画像のどの位置においても、その位置の局所的な解像度（絵柄の細かさ）に適したプレシジョン値のオキュパンシーマップによりデータの有無を判定したり、３Ｄデータを再構築したりすることができる。したがって、符号量の増大（符号化効率の低減）を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

また、このような構成を備えることにより、パッチが配置されたフレーム画像の局所毎にオキュパンシーマップのプレシジョン値を変えることができる。つまり、位置に応じてプレシジョン値を可変とすることができる。したがって、例えば、そのフレーム画像のどの位置においても、その位置の局所的な解像度（絵柄の細かさ）に適したプレシジョン値のオキュパンシーマップによりデータの有無を判定したり、３Ｄデータを再構築したりすることができる。したがって、符号量の増大（符号化効率の低減）を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

＜符号化処理の流れ＞
次に、符号化装置１００により実行される符号化処理の流れの例を、図１７のフローチャートを参照して説明する。

符号化処理が開始されると、符号化装置１００のパッチ分解部１１１は、ステップＳ１０１において、３Ｄデータを２次元平面に投影し、パッチに分解する。

ステップＳ１０２において、補助パッチ情報圧縮部１１４は、ステップＳ１０１において生成された補助パッチ情報を圧縮する。

ステップＳ１０３において、パッキング部１１２は、パッキングを行う。つまり、パッキング部１１２は、ステップＳ１０１において生成された位置情報や属性情報の各パッチをビデオフレームとしてパッキングする。また、パッキング部１１２は、そのパッキングに関する制御情報を生成する。

ステップＳ１０４において、OMap生成部１１３は、ステップＳ１０３において生成された位置情報や属性情報のビデオフレームに対応するオキュパンシーマップを生成する。

ステップＳ１０５において、ビデオ符号化部１１５は、ステップＳ１０３において生成された位置情報のビデオフレームであるジオメトリビデオフレームを、２次元画像用の符号化方法により符号化する。

ステップＳ１０６において、ビデオ符号化部１１６は、ステップＳ１０３において生成された属性情報のビデオフレームであるカラービデオフレームを、２次元画像用の符号化方法により符号化する。

ステップＳ１０７において、OMap符号化部１１７は、ステップＳ１０４において生成されたオキュパンシーマップを、所定の符号化方法により符号化する。

ステップＳ１０８において、マルチプレクサ１１８は、以上のように生成された各種情報（例えば、ステップＳ１０５乃至ステップＳ１０７において生成された符号化データや、ステップＳ１０３において生成されるパッキングに関する制御情報等）を多重化し、これらの情報を含むビットストリームを生成する。

ステップＳ１０９において、マルチプレクサ１１８は、ステップＳ１０８において生成したビットストリームを符号化装置１００の外部に出力する。

ステップＳ１０９の処理が終了すると、符号化処理が終了する。

＜オキュパンシーマップ生成処理の流れ＞
次に、図１７のステップＳ１０４において実行されるオキュパンシーマップ生成処理の流れの例を、図１８のフローチャートを参照して説明する。ここでは、図８を参照して説明したような、精度が異なる複数のオキュパンシーマップを用いてブロック毎にいずれかの精度でオキュパンシーを表現する（OR）場合の、オキュパンシーマップを生成する処理について説明する。

オキュパンシーマップ生成処理が開始されると、OMap生成部１１３のプレシジョン値決定部１５１は、ステップＳ１２１において、オキュパンシーレゾリューションで指定されたブロックに対して、設定可能なプレシジョン値（プレシジョン値の候補）の一覧を導出する。

ステップＳ１２２において、プレシジョン値決定部１５１は、その一覧に基づいて、各ブロックのプレシジョン値を決定する。このプレシジョン値の決定方法は任意である。例えば、RDコストに基づいて最適なプレシジョン値を求めるようにしてもよい。また、例えば、主観的に最も効果的な値に決定するようにしてもよい。また、例えば、局所領域の特性（例えば、「顔」、「髪」等）や、注目領域（ROI）等に基づいてプレシジョン値を決定するようにしてもよい。また、例えば、再構成したポイントクラウドの品質とオキュパンシーマップの伝送に必要なビット量とを指標に用いてプレシジョン値を決定するようにしてもよい。また、例えば、オキュパンシーマップと局所領域の画素数との関係からプレシジョン値を決定するようにしてもよい。

ステップＳ１２３において、OMap生成部１５２は、以上のように決定された１フレーム分のプレシジョン値のプレシジョン値の種類を導出する。

ステップＳ１２４において、OMap生成部１５２は、各ブロックのオキュパンシーをそのプレシジョン値で表現するように、各プレシジョン値のオキュパンシーマップを生成する。

ステップＳ１２５において、OMap生成部１５２は、以上のように生成した全オキュパンシーマップを結合し、例えば、図１０に示されるような構成のデータを生成する。

ステップＳ１２５の処理が終了するとオキュパンシーマップ生成処理が終了し、処理は図１７に戻る。

以上のように各処理を実行することにより、符号化装置１００は、パッチが配置されたフレーム画像の局所毎に適用するオキュパンシーマップを変えることができる。したがって、例えば、局所毎に、プレシジョン値の異なるオキュパンシーマップを適用することができる。つまり、実質的に、位置に応じてプレシジョン値を可変とすることができる。したがって、例えば、そのフレーム画像のどの位置においても、その位置の局所的な解像度（絵柄の細かさ）に適したプレシジョン値のオキュパンシーマップによりデータの有無を判定することができる。したがって、符号量の増大（符号化効率の低減）を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

＜オキュパンシーマップ生成処理の流れ＞
次に、図９を参照して説明したような、精度が異なる複数のオキュパンシーマップを用いて低精度のオキュパンシーとの差分情報を高精度のオキュパンシーで表現する（XOR）場合の、図１７のステップＳ１０４において実行されるオキュパンシーマップ生成処理の流れの例を、図１９のフローチャートを参照して説明する。

オキュパンシーマップ生成処理が開始されると、ステップＳ１４１乃至ステップＳ１４３の各処理が、ステップＳ１２１乃至ステップＳ１２３の各処理（図１８）の場合と同様に実行される。

ステップＳ１４４において、OMap生成部１５２は、プレシジョン値の大きな順に、画像データと１つ前までのオキュパンシーマップとの残差情報のオキュパンシーを表現するオキュパンシーマップを生成する。

ステップＳ１４５において、OMap生成部１５２は、以上のように生成した全オキュパンシーマップを結合し、例えば、図１０に示されるような構成のデータを生成する。

ステップＳ１４５の処理が終了するとオキュパンシーマップ生成処理が終了し、処理は図１７に戻る。

＜オキュパンシーマップ生成処理の流れ＞
次に、図１１を参照して説明したような、精度が異なるブロックを含むオキュパンシーマップを用いてパッチ毎に精度を設定する場合の、図１７のステップＳ１０４において実行されるオキュパンシーマップ生成処理の流れの例を、図２０のフローチャートを参照して説明する。

オキュパンシーマップ生成処理が開始されると、プレシジョン値決定部１５１は、ステップＳ１６１において、各パッチについて、設定可能なプレシジョン値（プレシジョン値の候補）の一覧を導出する。

ステップＳ１６２において、プレシジョン値決定部１５１は、その一覧に基づいて、各パッチのプレシジョン値を決定する。このプレシジョン値の決定方法は任意である。例えば、RDコストに基づいて最適なプレシジョン値を求めるようにしてもよい。また、例えば、主観的に最も効果的な値に決定するようにしてもよい。また、例えば、局所領域の特性（例えば、「顔」、「髪」等）や、注目領域（ROI）等に基づいてプレシジョン値を決定するようにしてもよい。また、例えば、再構成したポイントクラウドの品質とオキュパンシーマップの伝送に必要なビット量とを指標に用いてプレシジョン値を決定するようにしてもよい。また、例えば、オキュパンシーマップと局所領域の画素数との関係からプレシジョン値を決定するようにしてもよい。

ステップＳ１６３において、OMap生成部１５２は、各ブロックが属するパッチを求める。

ステップＳ１６４において、OMap生成部１５２は、各ブロックについて、そのパッチに対応するプレシジョン値を求める。

ステップＳ１６５において、OMap生成部１５２は、各ブロックについて、そのプレシジョン値でサブブロック毎にオキュパンシーを求める。

ステップＳ１６６において、OMap生成部１５２は、全ブロックのオキュパンシーを結合し、精度が異なるブロックを含むオキュパンシーマップを生成する。

ステップＳ１６６の処理が終了するとオキュパンシーマップ生成処理が終了し、処理は図１７に戻る。

以上のように各処理を実行することにより、符号化装置１００は、パッチが配置されたフレーム画像の局所毎にオキュパンシーマップのプレシジョン値を変えることができる。つまり、位置に応じてプレシジョン値を可変とすることができる。したがって、例えば、そのフレーム画像のどの位置においても、その位置の局所的な解像度（絵柄の細かさ）に適したプレシジョン値のオキュパンシーマップによりデータの有無を判定することができる。したがって、符号量の増大（符号化効率の低減）を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

＜オキュパンシーマップ生成処理の流れ＞
次に、図１１を参照して説明したような、精度が異なるブロックを含むオキュパンシーマップを用いてブロック毎に精度を設定する場合の、図１７のステップＳ１０４において実行されるオキュパンシーマップ生成処理の流れの例を、図２１のフローチャートを参照して説明する。

オキュパンシーマップ生成処理が開始されると、プレシジョン値決定部１５１は、ステップＳ１８１において、オキュパンシーレゾリューションで指定されたブロックに対して、設定可能なプレシジョン値（プレシジョン値の候補）の一覧を導出する。

ステップＳ１８２において、プレシジョン値決定部１５１は、その一覧に基づいて、各ブロックのプレシジョン値を決定する。このプレシジョン値の決定方法は任意である。例えば、RDコストに基づいて最適なプレシジョン値を求めるようにしてもよい。また、例えば、主観的に最も効果的な値に決定するようにしてもよい。また、例えば、局所領域の特性（例えば、「顔」、「髪」等）や、注目領域（ROI）等に基づいてプレシジョン値を決定するようにしてもよい。また、例えば、再構成したポイントクラウドの品質とオキュパンシーマップの伝送に必要なビット量とを指標に用いてプレシジョン値を決定するようにしてもよい。また、例えば、オキュパンシーマップと局所領域の画素数との関係からプレシジョン値を決定するようにしてもよい。

ステップＳ１８３において、OMap生成部１５２は、各ブロックについて、そのプレシジョン値でサブブロック毎にオキュパンシーを求める。

ステップＳ１８４において、OMap生成部１５２は、全ブロックのオキュパンシーを結合し、精度が異なるブロックを含むオキュパンシーマップを生成する。

ステップＳ１８４の処理が終了するとオキュパンシーマップ生成処理が終了し、処理は図１７に戻る。

＜復号処理の流れ＞
次に、復号装置２００により実行される復号処理の流れの例を、図２２のフローチャートを参照して説明する。

復号処理が開始されると、復号装置２００のデマルチプレクサ２１１は、ステップＳ２０１において、ビットストリームを逆多重化する。

ステップＳ２０２において、補助パッチ情報復号部２１２は、ステップＳ２０１においてビットストリームから抽出された補助パッチ情報を復号する。

ステップＳ２０３において、ビデオ復号部２１３は、ステップＳ２０１においてビットストリームから抽出されたジオメトリビデオフレーム（位置情報のビデオフレーム）の符号化データを復号する。

ステップＳ２０４において、ビデオ復号部２１４は、ステップＳ２０１においてビットストリームから抽出されたカラービデオフレーム（属性情報のビデオフレーム）の符号化データを復号する。

ステップＳ２０５において、OMap復号部２１５は、ステップＳ２０１においてビットストリームから抽出されたオキュパンシーマップの符号化データを復号する。

ステップＳ２０６において、アンパッキング部２１６は、ステップＳ２０３乃至ステップＳ２０５において復号された、ジオメトリビデオフレームやカラービデオフレームをアンパッキングし、パッチを抽出する。

ステップＳ２０７において、３Ｄ再構築部２１７は、ステップＳ２０２において得られた補助パッチ情報と、ステップＳ２０６において得られたパッチと、オキュパンシーマップ等とに基づいて、例えばポイントクラウド等の３Ｄデータを再構築する。

ステップＳ２０７の処理が終了すると復号処理が終了する。
＜ポイントクラウド再構築処理の流れ＞
次に、図２２のステップＳ２０７において実行されるポイントクラウド再構築処理の流れの例を、図２３のフローチャートを参照して説明する。ここでは、図８を参照して説明したような、精度が異なる複数のオキュパンシーマップを用いてブロック毎にいずれかの精度でオキュパンシーを表現する（OR）場合の処理について説明する。

ポイントクラウド再構築処理が開始されると、３Ｄ再構築部２１７は、ステップＳ２２１において、処理対象であるカレント座標（x,y）を選択する。

ステップＳ２２２において、３Ｄ再構築部２１７は、カレント座標のプレシジョン値であるカレントプレシジョン値を選択し、そのオキュパンシーマップを取得する。つまり、３Ｄ再構築部２１７は、カレント座標について、オキュパンシーマップが存在するプレシジョン値を、未処理のプレシジョン値の中から１つ選択し、そのプレシジョン値に対応するオキュパンシーマップを取得する。

ステップＳ２２３において、３Ｄ再構築部２１７は、カレント座標においてデプス（Depth）値が有効であるか否かを判定する。オキュパンシーマップに基づいて、カレント座標に位置情報が存在する（つまりデプス値が有効である）と判定された場合、処理はステップＳ２２４に進む。

ステップＳ２２４において、３Ｄ再構築部２１７は、そのカレント座標のデプス値に基づいて３Ｄデータのポイントを生成する。ステップＳ２２４の処理が終了すると処理はステップＳ２２６に進む。

また、ステップＳ２２３において、カレント座標のデプス値が有効でない（つまり、カレント座標に位置情報が存在しない）と判定された場合、処理はステップＳ２２５に進む。

ステップＳ２２５において、３Ｄ再構築部２１７は、カレント座標について、オキュパンシーマップが存在する全てのプレシジョン値を処理したか否かを判定する。未処理のプレシジョン値が存在すると判定された場合、処理はステップＳ２２２に戻り、それ以降の処理が行われる。

また、ステップＳ２２５において、カレント座標について、全てのプレシジョン値を処理したと判定された場合、処理はステップＳ２２６に進む。

ステップＳ２２６において、３Ｄ再構築部２１７は、全ての座標を処理したか否かを判定する。未処理の座標が存在すると判定された場合、処理はステップＳ２２１に戻り、それ以降の処理が実行される。

また、ステップＳ２２６において、全座標を処理したと判定された場合、ポイントクラウド再構築処理が終了し、処理は図２２に戻る。

以上のように各処理を実行することにより、復号装置２００は、パッチが配置されたフレーム画像の局所毎に、プレシジョン値の異なるオキュパンシーマップを適用して、３Ｄデータを再構築することができる。つまり、実質的に、位置に応じてプレシジョン値を可変とすることができる。したがって、例えば、そのフレーム画像のどの位置においても、その位置の局所的な解像度（絵柄の細かさ）に適したプレシジョン値のオキュパンシーマップにより３Ｄデータを再構築することができる。したがって、符号量の増大（符号化効率の低減）を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

＜ポイントクラウド再構築処理の流れ＞
次に、図９を参照して説明したような、精度が異なる複数のオキュパンシーマップを用いて低精度のオキュパンシーとの差分情報を高精度のオキュパンシーで表現する（XOR）場合の、図２２のステップＳ２０７において実行されるポイントクラウド再構築処理の流れの例を、図２４のフローチャートを参照して説明する。

ポイントクラウド再構築処理が開始されると、３Ｄ再構築部２１７は、ステップＳ２４１において、処理対象であるカレント座標（x,y）を選択する。

ステップＳ２４２において、３Ｄ再構築部２１７は、全プレシジョン値のオキュパンシーマップを取得する。

ステップＳ２４３において、３Ｄ再構築部２１７は、各マップの排他的論理和を求める。

ステップＳ２４４において、３Ｄ再構築部２１７は、カレント座標においてデプス（Depth）値が有効であるか否かを判定する。オキュパンシーマップに基づいて、カレント座標に位置情報が存在する（つまりデプス値が有効である）と判定された場合、処理はステップＳ２４５に進む。

ステップＳ２４５において、３Ｄ再構築部２１７は、そのカレント座標のデプス値に基づいて３Ｄデータのポイントを生成する。ステップＳ２４５の処理が終了すると処理はステップＳ２４６に進む。また、ステップＳ２４４において、カレント座標のデプス値が有効でない（つまり、カレント座標に位置情報が存在しない）と判定された場合、ステップＳ２４５の処理は省略され、処理はステップＳ２４６に進む。

ステップＳ２４６において、３Ｄ再構築部２１７は、全ての座標を処理したか否かを判定する。未処理の座標が存在すると判定された場合、処理はステップＳ２４１に戻り、それ以降の処理が実行される。

また、ステップＳ２４６において、全座標を処理したと判定された場合、ポイントクラウド再構築処理が終了し、処理は図２２に戻る。

＜ポイントクラウド再構築処理の流れ＞
次に、図１１を参照して説明したような、精度が異なるブロックを含むオキュパンシーマップを用いてパッチ毎に精度を設定する場合の、図２２のステップＳ２０７において実行されるポイントクラウド再構築処理の流れの例を、図２５のフローチャートを参照して説明する。

ポイントクラウド再構築処理が開始されると、３Ｄ再構築部２１７は、ステップＳ２６１において、処理対象であるカレント座標（x,y）を選択する。

ステップＳ２６２において、３Ｄ再構築部２１７は、カレント座標が属するパッチを求める。

ステップＳ２６３において、３Ｄ再構築部２１７は、そのパッチのプレシジョン値を求める。

ステップＳ２６４において、３Ｄ再構築部２１７は、オキュパンシーマップを取得する。

ステップＳ２６５において、３Ｄ再構築部２１７は、カレント座標においてデプス（Depth）値が有効であるか否かを判定する。オキュパンシーマップに基づいて、カレント座標に位置情報が存在する（つまりデプス値が有効である）と判定された場合、処理はステップＳ２６６に進む。

ステップＳ２６６において、３Ｄ再構築部２１７は、そのカレント座標のデプス値に基づいて３Ｄデータのポイントを生成する。ステップＳ２６６の処理が終了すると処理はステップＳ２６７に進む。また、ステップＳ２６５において、カレント座標のデプス値が有効でない（つまり、カレント座標に位置情報が存在しない）と判定された場合、ステップＳ２６６の処理は省略され、処理はステップＳ２６７に進む。

ステップＳ２６７において、３Ｄ再構築部２１７は、全ての座標を処理したか否かを判定する。未処理の座標が存在すると判定された場合、処理はステップＳ２６１に戻り、それ以降の処理が実行される。

また、ステップＳ２６７において、全座標を処理したと判定された場合、ポイントクラウド再構築処理が終了し、処理は図２２に戻る。

以上のように各処理を実行することにより、復号装置２００は、パッチが配置されたフレーム画像の局所毎にプレシジョン値を変えたオキュパンシーマップを適用して、３Ｄデータを再構築することができる。つまり、位置に応じてプレシジョン値を可変とすることができる。したがって、例えば、そのフレーム画像のどの位置においても、その位置の局所的な解像度（絵柄の細かさ）に適したプレシジョン値のオキュパンシーマップにより３Ｄデータを再構築することができる。したがって、符号量の増大（符号化効率の低減）を抑制しながら、復号画像の画質（再構築した３Ｄデータの品質）の低減を抑制することができる。

＜ポイントクラウド再構築処理の流れ＞
次に、図１１を参照して説明したような、精度が異なるブロックを含むオキュパンシーマップを用いてブロック毎に精度を設定する場合の、図２２のステップＳ２０７において実行されるポイントクラウド再構築処理の流れの例を、図２６のフローチャートを参照して説明する。

ポイントクラウド再構築処理が開始されると、３Ｄ再構築部２１７は、ステップＳ２８１において、処理対象であるカレント座標（x,y）を選択する。

ステップＳ２８２において、３Ｄ再構築部２１７は、カレント座標のプレシジョン値を求める。

ステップＳ２８３において、３Ｄ再構築部２１７は、オキュパンシーマップを取得する。

ステップＳ２８４において、３Ｄ再構築部２１７は、カレント座標においてデプス（Depth）値が有効であるか否かを判定する。オキュパンシーマップに基づいて、カレント座標に位置情報が存在する（つまりデプス値が有効である）と判定された場合、処理はステップＳ２８５に進む。

ステップＳ２８５において、３Ｄ再構築部２１７は、そのカレント座標のデプス値に基づいて３Ｄデータのポイントを生成する。ステップＳ２８５の処理が終了すると処理はステップＳ２８６に進む。また、ステップＳ２８４において、カレント座標のデプス値が有効でない（つまり、カレント座標に位置情報が存在しない）と判定された場合、ステップＳ２８５の処理は省略され、処理はステップＳ２８６に進む。

ステップＳ２８６において、３Ｄ再構築部２１７は、全ての座標を処理したか否かを判定する。未処理の座標が存在すると判定された場合、処理はステップＳ２８１に戻り、それ以降の処理が実行される。

また、ステップＳ２８６において、全座標を処理したと判定された場合、ポイントクラウド再構築処理が終了し、処理は図２２に戻る。

＜３．付記＞
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。

＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図２７に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。

また、以上においては、本技術の適用例として符号化装置１００および復号装置２００について説明したが、本技術は、任意の構成に適用することができる。

例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。

また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１）３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置された１枚のフレーム画像に対して、各位置のデータの有無を示すマップを複数生成するマップ生成部と、
前記フレーム画像の符号化データと、前記マップ生成部により生成された複数の前記マップの符号化データとを含むビットストリームを生成するビットストリーム生成部と
を備える画像処理装置。
（２）前記マップ生成部は、前記データの有無を示す精度が互いに異なる複数の前記マップを生成する
（１）に記載の画像処理装置。
（３）複数の前記マップは、互いに異なる位置の前記データの有無を示す
（２）に記載の画像処理装置。
（４）複数の前記マップは、互いに異なる位置だけでなく互いに同一の位置についても前記データの有無を示す
（２）に記載の画像処理装置。
（５）前記マップ生成部は、複数の前記マップを結合して１つのデータとする
（２）に記載の画像処理装置。
（６）前記マップ生成部は、前記マップの前記データの有無を示す精度に関する情報を含む前記データを生成する
（５）に記載の画像処理装置。
（７）前記精度に関する情報は、前記精度の数を示す情報と各精度の値を示す情報とを含む
（６）に記載の画像処理装置。
（８）３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置された１枚のフレーム画像に対して、各位置のデータの有無を示すマップを複数生成し、
前記フレーム画像の符号化データと、生成された複数の前記マップの符号化データとを含むビットストリームを生成する
画像処理方法。
（９）３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像に対応する複数の、各位置のデータの有無を示すマップを用いて、前記パッチから前記３Ｄデータを再構築する再構築部
を備える画像処理装置。
（１０）３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像に対応する複数の、各位置のデータの有無を示すマップを用いて、前記パッチから前記３Ｄデータを再構築する
画像処理方法。

（１１）３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを生成するマップ生成部と、
前記フレーム画像の符号化データと、前記マップ生成部により生成された前記マップの符号化データとを含むビットストリームを生成するビットストリーム生成部と
を備える画像処理装置。
（１２）前記マップ生成部は、ブロック毎に前記精度が設定される前記マップを生成する
（１１）に記載の画像処理装置。
（１３）前記マップ生成部は、パッチ毎に前記精度が設定される前記マップを生成する
（１１）に記載の画像処理装置。
（１４）前記マップ生成部は、各ブロック内に複数形成される、前記精度に対応する大きさのサブブロック毎に前記データの有無を示す前記マップを生成する
（１１）に記載の画像処理装置。
（１５）前記マップ生成部は、コスト関数に基づいて前記精度を設定する
（１１）に記載の画像処理装置。
（１６）前記マップ生成部は、局所領域の特性または注目領域の設定に基づいて前記精度を設定する
（１１）に記載の画像処理装置。
（１７）前記マップ生成部により生成された複数の前記マップを符号化する符号化部をさらに備え、
前記ビットストリーム生成部は、前記フレーム画像の符号化データと、前記符号化部により生成された前記マップの符号化データとを含むビットストリームを生成する
（１１）に記載の画像処理装置。
（１８）３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを生成し、
前記フレーム画像の符号化データと、生成された前記マップの符号化データとを含むビットストリームを生成する
画像処理方法。
（１９）３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを用いて、前記パッチから前記３Ｄデータを再構築する再構築部
を備える画像処理装置。
（２０）３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを用いて、前記パッチから前記３Ｄデータを再構築する
画像処理方法。

１００符号化装置，１１１パッチ分解部，１１２パッキング部，１１３ OMap生成部，１１４補助パッチ情報圧縮部，１１５ビデオ符号化部，１１６ビデオ符号化部，１１７ OMap符号化部，１１８マルチプレクサ，１５１プレシジョン値決定部，１５２ OMap生成部，２００復号装置，２１１デマルチプレクサ，２１２補助パッチ情報復号部，２１３ビデオ復号部，２１４ビデオ復号部，２１５ OMap復号部，２１６アンパッキング部，２１７３Ｄ再構築部

Claims

３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置された１枚のフレーム画像に対して、各位置のデータの有無を示すマップを複数生成するマップ生成部と、
前記フレーム画像の符号化データと、前記マップ生成部により生成された複数の前記マップの符号化データとを含むビットストリームを生成するビットストリーム生成部と
を備える画像処理装置。
前記マップ生成部は、前記データの有無を示す精度が互いに異なる複数の前記マップを生成する
請求項１に記載の画像処理装置。
複数の前記マップは、互いに異なる位置の前記データの有無を示す
請求項２に記載の画像処理装置。
複数の前記マップは、互いに異なる位置だけでなく互いに同一の位置についても前記データの有無を示す
請求項２に記載の画像処理装置。
前記マップ生成部は、複数の前記マップを結合して１つのデータとする
請求項２に記載の画像処理装置。
前記マップ生成部は、前記マップの前記データの有無を示す精度に関する情報を含む前記データを生成する
請求項５に記載の画像処理装置。
前記精度に関する情報は、前記精度の数を示す情報と各精度の値を示す情報とを含む
請求項６に記載の画像処理装置。
３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置された１枚のフレーム画像に対して、各位置のデータの有無を示すマップを複数生成し、
前記フレーム画像の符号化データと、生成された複数の前記マップの符号化データとを含むビットストリームを生成する
画像処理方法。
３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像に対応する複数の、各位置のデータの有無を示すマップを用いて、前記パッチから前記３Ｄデータを再構築する再構築部
を備える画像処理装置。
３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像に対応する複数の、各位置のデータの有無を示すマップを用いて、前記パッチから前記３Ｄデータを再構築する
画像処理方法。
３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを生成するマップ生成部と、
前記フレーム画像の符号化データと、前記マップ生成部により生成された前記マップの符号化データとを含むビットストリームを生成するビットストリーム生成部と
を備える画像処理装置。
前記マップ生成部は、ブロック毎に前記精度が設定される前記マップを生成する
請求項１１に記載の画像処理装置。
前記マップ生成部は、パッチ毎に前記精度が設定される前記マップを生成する
請求項１１に記載の画像処理装置。
前記マップ生成部は、各ブロック内に複数形成される、前記精度に対応する大きさのサブブロック毎に前記データの有無を示す前記マップを生成する
請求項１１に記載の画像処理装置。
前記マップ生成部は、コスト関数に基づいて前記精度を設定する
請求項１１に記載の画像処理装置。
前記マップ生成部は、局所領域の特性または注目領域の設定に基づいて前記精度を設定する
請求項１１に記載の画像処理装置。
前記マップ生成部により生成された複数の前記マップを符号化する符号化部をさらに備え、
前記ビットストリーム生成部は、前記フレーム画像の符号化データと、前記符号化部により生成された前記マップの符号化データとを含むビットストリームを生成する
請求項１１に記載の画像処理装置。
３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを生成し、
前記フレーム画像の符号化データと、生成された前記マップの符号化データとを含むビットストリームを生成する
画像処理方法。
３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを用いて、前記パッチから前記３Ｄデータを再構築する再構築部
を備える画像処理装置。
３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが配置されたフレーム画像の各位置のデータの有無を示すマップであって、前記データの有無を示す精度が複数設定されるマップを用いて、前記パッチから前記３Ｄデータを再構築する
画像処理方法。