WO2021193088A1

WO2021193088A1 - 画像処理装置および方法

Info

Publication number: WO2021193088A1
Application number: PCT/JP2021/009735
Authority: WO
Inventors: 華央林; 央二中神; 智隈; 幸司矢野; 加藤　毅; 弘幸安田
Original assignee: ソニーグループ株式会社
Priority date: 2020-03-25
Filing date: 2021-03-11
Publication date: 2021-09-30
Also published as: US20230179797A1; JPWO2021193088A1; CN115066902A

Abstract

本開示は、画質の低減を抑制することができるようにする画像処理装置および方法に関する。３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、そのポイントクラウドのベースパッチに対応する部分領域の少なくとも一部を含む部分領域を、そのベースパッチの場合と同一の２次元平面に、少なくとも一部のパラメータをベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成し、その生成されたベースビデオフレームおよび追加ビデオフレームを符号化し、符号化データを生成する。本開示は、例えば、画像処理装置、電子機器、画像処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法

　本開示は、画像処理装置および方法に関し、特に、画質の低減を抑制することができるようにした画像処理装置および方法に関する。

　従来、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドデータ（Point cloud data）の符号化・復号の標準化がMPEG（Moving Picture Experts Group）で進められている（例えば、非特許文献１参照）。

　また、ポイントクラウドのジオメトリデータとアトリビュートデータとを小領域毎に２次元平面に投影し、その２次元平面に投影された画像（パッチ）をフレーム画像内に配置し、そのフレーム画像を２次元画像用の符号化方法で符号化する方法（以下、ビデオベースドアプローチ（Video-based approach）とも称する）が提案された（例えば、非特許文献２乃至非特許文献４参照）。

"Information technology - MPEG-I (Coded Representation of Immersive Media) - Part 9: Geometry-based Point Cloud Compression", ISO/IEC 23090-9:2019(E) Tim Golla and Reinhard Klein, "Real-time Point Cloud Compression ," IEEE, 2015 K. Mammou, "Video-based and Hierarchical Approaches Point Cloud Compression" , MPEG m41649, Oct. 2017 K. Mammou,"PCC Test Model Category 2 v0," N17248 MPEG output document, October 2017

　しかしながら、非特許文献２乃至非特許文献４に記載のビデオベースドアプローチの場合、情報の精度が全てのパッチについて一様に設定された。つまり、情報の精度を局所的に変化させることができない。そのため、情報の精度を局所的に変化させることができる場合に比べて、同一情報量におけるポイントクラウドの品質が低減するおそれがあった。そのため、このビデオベースドアプローチにより生成した符号化データを復号して再構築したポイントクラウドを２次元平面に投影した表示用画像の主観画質が低減するおそれがあった。

　本開示は、このような状況に鑑みてなされたものであり、３Ｄデータの表示用２次元画像の画質の低減を抑制することができるようにするものである。

　本技術の一側面の画像処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成するビデオフレーム生成部と、前記ビデオフレーム生成部により生成された前記ベースビデオフレームおよび前記追加ビデオフレームを符号化し、符号化データを生成する符号化部とを備える画像処理装置である。

　本技術の一側面の画像処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成し、生成された前記ベースビデオフレームおよび前記追加ビデオフレームを符号化し、符号化データを生成する画像処理方法である。

　本技術の他の側面の画像処理装置は、符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成する復号部と、前記復号部により生成された前記ベースビデオフレームと、前記追加ビデオフレームとを用いて前記ポイントクラウドを再構築する再構築部とを備える画像処理装置である。

　本技術の他の側面の画像処理方法は、符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成し、生成された前記ベースビデオフレームと、前記追加ビデオフレームとを用いて前記ポイントクラウドを再構築する画像処理方法である。

　本技術のさらに他の側面の画像処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報であって、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグを含む補助パッチ情報を生成する補助パッチ情報生成部と、前記補助パッチ情報生成部により生成された前記補助パッチ情報を符号化し、符号化データを生成する補助パッチ情報符号化部とを備える画像処理装置である。

　本技術のさらに他の側面の画像処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報であって、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグを含む補助パッチ情報を生成し、生成された前記補助パッチ情報を符号化し、符号化データを生成する画像処理方法である。

　本技術のさらに他の側面の画像処理装置は、符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報である補助パッチ情報を生成する補助パッチ情報復号部と、前記補助パッチ情報復号部により生成された前記補助パッチ情報に含まれる、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグに基づいて、前記追加パッチを用いた前記ポイントクラウドの再構築を行う再構築部とを備える画像処理装置である。

　本技術のさらに他の側面の画像処理方法は、符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報である補助パッチ情報を生成し、生成された前記補助パッチ情報に含まれる、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグに基づいて、前記追加パッチを用いた前記ポイントクラウドの再構築を行う画像処理方法である。

　本技術の一側面の画像処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、そのポイントクラウドのベースパッチに対応する部分領域の少なくとも一部を含む部分領域を、そのベースパッチの場合と同一の２次元平面に、少なくとも一部のパラメータをそのベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとが生成され、その生成されたベースビデオフレームおよび追加ビデオフレームが符号化され、符号化データが生成される。

　本技術の他の側面の画像処理装置および方法においては、符号化データが復号され、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、そのポイントクラウドのベースパッチに対応する部分領域の少なくとも一部を含む部分領域を、そのベースパッチの場合と同一の２次元平面に、少なくとも一部のパラメータをそのベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとが生成され、その生成されたベースビデオフレームと、その追加ビデオフレームとを用いてポイントクラウドが再構築される。

　本技術のさらに他の側面の画像処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報であって、そのポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグを含む補助パッチ情報が生成され、その生成された補助パッチ情報が符号化され、符号化データが生成される。

　本技術のさらに他の側面の画像処理装置および方法においては、符号化データが復号され、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報である補助パッチ情報が生成され、その生成された補助パッチ情報に含まれる、そのポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグに基づいて、その追加パッチを用いたポイントクラウドの再構築が行われる。

ビデオベースドアプローチのデータについて説明する図である。追加パッチの伝送について説明する図である。追加パッチについて説明する図である。各方法の作用対象と作用の仕方について説明する図である。追加パッチの生成について説明する図である。追加パッチの作用例について説明する図である。追加パッチの作用例について説明する図である。パッチの構成例を示す図である。符号化装置の主な構成例を示すブロック図である。パッキング符号化部の主な構成例を示すブロック図である。符号化処理の流れの例を説明するフローチャートである。パッキング符号化処理の流れの例を説明するフローチャートである。復号装置の主な構成例を示すブロック図である。３Ｄ再構築部の主な構成例を示すブロック図である。復号処理の流れの例を説明するフローチャートである。３Ｄ再構築処理の流れの例を説明するフローチャートである。追加パッチの生成について説明する図である。パッキング符号化部の主な構成例を示すブロック図である。パッキング符号化処理の流れの例を説明するフローチャートである。３Ｄ再構築部の主な構成例を示すブロック図である。３Ｄ再構築処理の流れの例を説明するフローチャートである。パッキング符号化処理の流れの例を説明するフローチャートである。３Ｄ再構築処理の流れの例を説明するフローチャートである。パッキング符号化部の主な構成例を示すブロック図である。パッキング符号化処理の流れの例を説明するフローチャートである。３Ｄ再構築部の主な構成例を示すブロック図である。３Ｄ再構築処理の流れの例を説明するフローチャートである。補助パッチ情報の構成について説明する図である。追加パッチの作用対象を示す情報について説明する図である。追加パッチを用いた処理内容を示す情報について説明する図である。追加パッチの位置合わせに関する情報について説明する図である。追加オキュパンシーマップのサイズ設定情報について説明する図である。各方法の伝送情報について説明する図である。コンピュータの主な構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．追加パッチの伝送
　２．第１の実施の形態（方法１）
　３．第２の実施の形態（方法２）
　４．第３の実施の形態（方法３）
　５．第４の実施の形態（方法４）
　６．第５の実施の形態（方法５）
　７．付記

　＜１．追加パッチの伝送＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。

　非特許文献１：（上述）
　非特許文献２：（上述）
　非特許文献３：（上述）
　非特許文献４：（上述）

　つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。

　　＜ポイントクラウド＞
　従来、点の位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）等の３Ｄデータが存在した。

　例えばポイントクラウドの場合、立体構造物（３次元形状のオブジェクト）を多数の点の集合として表現する。ポイントクラウドのデータ（ポイントクラウドデータとも称する）は、各点の位置情報（ジオメトリデータとも称する）と属性情報（アトリビュートデータとも称する）とにより構成される。アトリビュートデータは任意の情報を含むことができる。例えば、各ポイントの色情報、反射率情報、法線情報等がアトリビュートデータに含まれるようにしてもよい。このようにポイントクラウドデータは、データ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造物を十分な精度で表現することができる。

　　＜ボクセルを用いた位置情報の量子化＞
　このようなポイントクラウドデータはそのデータ量が比較的大きいので、符号化等によるデータ量を圧縮するために、ボクセル（Voxel）を用いた符号化方法が考えられた。ボクセルは、ジオメトリデータ（位置情報）を量子化するための３次元領域である。

　つまり、ポイントクラウドを内包する３次元領域（バウンディングボックス（Bounding box）とも称する）をボクセルと称する小さな３次元領域に分割し、そのボクセル毎に、ポイントを内包するか否かを示すようにする。このようにすることにより、各ポイントの位置はボクセル単位に量子化される。したがって、ポイントクラウド（Point cloud）データをこのようなボクセルのデータ（ボクセル（Voxel）データとも称する）に変換することにより、情報量の増大を抑制する（典型的には情報量を削減する）ことができる。

　　＜ビデオベースドアプローチの概要＞
　ビデオベースドアプローチ（Video-based approach）では、このようなポイントクラウドのジオメトリデータやアトリビュートデータが、小領域（コネクションコンポーネント）毎に２次元平面に投影される。このジオメトリデータやアトリビュートデータが２次元平面に投影された画像を投影画像とも称する。また、小領域毎の投影画像をパッチと称する。例えば、ジオメトリデータの投影画像（パッチ）において、ポイントの位置情報は、投影面に対して垂直方向（奥行方向）の位置情報（デプス値（Depth））として表現される。

　そして、このように生成された各パッチがフレーム画像内に配置される。ジオメトリデータのパッチが配置されたフレーム画像をジオメトリビデオフレーム（Geometry video frame）とも称する。また、アトリビュートデータのパッチが配置されたフレーム画像をカラービデオフレーム（Color video frame）とも称する。例えば、ジオメトリビデオフレームの各画素値は、上述のデプス値を示す。

　そして、これらのビデオフレームが、例えばAVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等といった２次元画像用の符号化方法で符号化される。つまり、３次元構造を表す３Ｄデータであるポイントクラウドデータを、２次元画像用のコーデックを用いて符号化することができる。

　　＜オキュパンシーマップ＞
　なお、このようなビデオベースドアプローチの場合、オキュパンシーマップを用いることもできる。オキュパンシーマップは、ジオメトリビデオフレームのNxN画素毎に、投影画像（パッチ）の有無を示すマップ情報である。例えば、オキュパンシーマップは、ジオメトリビデオフレームやカラービデオフレームの、パッチが存在する領域（NxN画素）を値「１」で示し、パッチが存在しない領域（NxN画素）を値「０」で示す。

　このようなオキュパンシーマップが、ジオメトリビデオフレームやカラービデオフレームとは別のデータとして符号化され、復号側に伝送される。デコーダは、このオキュパンシーマップを参照することにより、パッチが存在する領域であるか否かを把握することができるので、符号化・復号により生じるノイズ等の影響を抑制することができ、より正確に３Ｄデータを復元することができる。例えば、符号化・復号によりデプス値が変化しても、デコーダは、オキュパンシーマップを参照することにより、パッチが存在しない領域のデプス値を無視する（３Ｄデータの位置情報として処理しないようにする）ことができる。

　なお、このオキュパンシーマップも、ジオメトリビデオフレームやカラービデオフレーム等と同様に、ビデオフレームとして伝送することができる。

　つまり、ビデオベースドアプローチの場合、図１のＡに示されるようなジオメトリデータのパッチ１１Ａが配置されたジオメトリビデオフレーム１１、アトリビュートデータのパッチ１２Ａが配置されたカラービデオフレーム１２、オキュパンシーマップのパッチ１３Ａが配置されたオキュパンシーマップ１３が伝送される。

　　＜補助パッチ情報＞
　さらに、ビデオベースドアプローチの場合、パッチに関する情報（補助パッチ情報とも称する）がメタデータとして伝送される。図１のＢに示される補助パッチ情報１４は、この補助パッチ情報の例を示す。補助パッチ情報１４には、各パッチに関する情報が含まれる。例えば、図１のＢに示されるように、パッチの識別情報（patchIndex）、２Ｄ投影面（ポイントクラウドのコネクションコンポーネント（小領域）が投影される２次元平面）上でのパッチの位置（u0,v0）、その投影面の３次元空間における位置（u,v,d）、パッチの幅（width）、パッチの高さ（Height）、パッチの投影方向（Axis）等の情報が含まれる。

　　＜動画像＞
　なお、以下において、ポイントクラウド（のオブジェクト）は、２次元画像の動画像のように、時間方向に変化し得るものとする。つまり、ジオメトリデータやアトリビュートデータは、時間方向の概念を有し、２次元画像の動画像のように、所定の時間毎にサンプリングされたデータとする。なお、２次元画像のビデオフレームのように、各サンプリング時刻のデータをフレームと称する。つまり、ポイントクラウドデータ（ジオメトリデータやアトリビュートデータ）は、２次元画像の動画像のように、複数フレームにより構成されるものとする。

　　＜ビデオベースドアプローチによる品質の低減＞
　しかしながら、このビデオベースドアプローチの場合、ポイントクラウド（小領域）の投影やスムーシング処理等によりポイントの損失（ロス）が発生するおそれがあった。例えば、小領域３次元形状に対して投影方向が好ましくない角度となると、その投影によりポイントの損失（ロス）が発生する場合がある。また、スムーシング処理等によってパッチの形状が変化することによりポイントのロスが発生する場合がある。そのため、このビデオベースドアプローチにより生成した符号化データを復号して再構築した３Ｄデータを２次元平面に投影した表示用画像の主観画質が低減するおそれがあった。

　しかしながら、非特許文献２乃至非特許文献４に記載のビデオベースドアプローチの場合、情報の精度が全てのパッチについて一様に設定された。そのため、例えばパッチの一部の精度を向上させようとすると、全パッチのパッチ全体の精度を向上させる必要があり、不要に情報量が増大し、符号化効率が低減するおそれがあった。

　換言するに、情報の精度を局所的に変化させることができないため、情報の精度を局所的に変化させることができる場合に比べて、同一情報量におけるポイントクラウドの品質が低減するおそれがあった。そのため、このようなビデオベースドアプローチにより生成した符号化データを復号して再構築したポイントクラウドを２次元平面に投影した表示用画像の主観画質が低減するおそれがあった。

　例えば、オキュパンシーマップの精度が粗いと、パッチの境界にバリが発生し、再構築されたポイントクラウドの品質が低減するおそれがあった。このバリの発生を抑制するために精度を向上させることが考えられるが、その場合、局所的に精度を制御することが困難であるため、オキュパンシーマップ全体の精度を向上させる必要があった。そのため、不要に情報量が増大し、符号化効率が低減するおそれがあった。

　なお、このようなバリを低減させる方法、すなわち、再構築されたポイントクラウドの品質の低減を抑制する方法として、ジオメトリデータに対してスムーシング処理を行うことが考えられた。しかしながら、このスムーシング処理は処理量が多く、負荷が増大するおそれがあった。また、このスムーシング処理を行うべき箇所の探索も処理量が多く、負荷が増大するおそれがあった。

　また、局所的に情報の精度を制御することが困難であるため、例えば、視点位置に対して遠方のオブジェクトと近方のオブジェクトとを同一の精度（解像度）で再構築する必要があった。例えば、遠方のオブジェクトの精度（解像度）を近方のオブジェクトの精度（解像度）に合わせる場合、遠方のオブジェクトの情報量が不要に増大するおそれがあった。逆に、近方のオブジェクトの精度（解像度）を遠方のオブジェクトの精度（解像度）に合わせる場合、近方のオブジェクトの品質が低減し、表示用画像の主観画質が低減するおそれがあった。

　さらに、例えばユーザの権限等に基づいて再構築されたポイントクラウドの品質を局所的に制御する（表示用画像の主観画質をよく所的に制御する）ことが困難であった。例えば、高額の利用料を支払ったユーザや管理者権限のユーザには、ポイントクラウド全体がオリジナルの品質（高解像度）で提供するが、低額の利用料を支払ったユーザやゲスト権限のユーザには、一部が低品質（低解像度）化されて提供される（つまり、２次元画像において一部の領域にモザイク処理がかけられたような状態で提供される）といった制御を行うことが困難であった。そのため多様なサービスを実現することが困難であった。

　　＜追加パッチの伝送＞
　そこで、上述のビデオベースドアプローチにおいて、図２の表２０に示されるように、追加パッチを伝送するようにする。非特許文献２乃至非特許文献４に記載のビデオベースドアプローチにおけるパッチのことをベースパッチと称する。このベースパッチは、そのベースパッチに対応する小領域を含むポイントクラウドの部分領域の再構築に必ず用いられるパッチである。

　これに対して、ベースパッチ以外のパッチを追加パッチと称する。この追加パッチは、オプションのパッチであり、その追加パッチに対応する小領域を含むポイントクラウドの部分領域の再構築に必須ではないパッチである。つまり、ポイントクラウドは、ベースパッチのみで再構築することもできるし、ベースパッチと追加パッチの両方を用いて再構築することもできる。

　つまり、図３に示されるように、ベースパッチ３０および追加パッチ４０を伝送するようにする。ベースパッチ３０は、図１の場合と同様に、ジオメトリビデオフレーム３１に配置されたジオメトリデータのパッチ３１Ａ、カラービデオフレーム３２に配置されたアトリビュートデータのパッチ３２Ａ、および、オキュパンシーマップ３３に配置されたオキュパンシーマップのパッチ３３Ａにより構成される。

　同様に、追加パッチ４０は、ジオメトリデータのパッチ４１Ａ、アトリビュートデータのパッチ４２Ａ、およびオキュパンシーマップのパッチ４３Ａにより構成されうるが、これらの内の一部が省略されてもよい。例えば、追加パッチ４０が、ジオメトリデータのパッチ４１Ａ、アトリビュートデータのパッチ４２Ａ、およびオキュパンシーマップのパッチ４３Ａのいずれかにより構成されるようにしてもよいし、ジオメトリデータのパッチ４１Ａ、アトリビュートデータのパッチ４２Ａ、およびオキュパンシーマップのパッチ４３Ａのいずれかが省略されてもよい。なお、追加パッチ４０に対応するポイントクラウドの小領域は、任意であり、ベースパッチ３０に対応するポイントクラウドの小領域の少なくとも一部を含んでいてもよいし、ベースパッチ３０に対応するポイントクラウドの小領域以外の領域を含んでいてもよい。もちろん、追加パッチ４０に対応する小領域が、ベースパッチ３０に対応する小領域と完全に一致してもよいし、ベースパッチ３０に対応する小領域と重畳しなくてもよい。

　なお、ベースパッチ３０と追加パッチ４０とを互いに同一のビデオフレームに配置することもできるが、以下においては、説明の便宜上、ベースパッチ３０および追加パッチ４０が、互いに異なるビデオフレームに配置されるものとする。また、追加パッチが配置されるビデオフレームを追加ビデオフレームとも称する。例えば、パッチ４１Ａが配置される追加ビデオフレームを追加ジオメトリビデオフレーム４１とも称する。また、パッチ４２Ａが配置される追加ビデオフレームを追加カラービデオフレーム４２とも称する。さらに、パッチ４３Ａが配置される追加ビデオフレーム（オキュパンシーマップ）を追加オキュパンシーマップ４３とも称する。

　この追加パッチは、ベースパッチの情報の更新に用いられるようにしてもよい。換言するに、追加パッチは、ベースパッチの情報の更新に用いられる情報により構成されるようにしてもよい。

　例えば、図２の表２０に示される「方法１」のように、この追加パッチが、ベースパッチの情報の精度の局所的な制御（部分制御）に用いられるようにしてもよい。換言するに、追加パッチが、ベースパッチの情報の精度の局所的な制御に用いられる情報により構成されてもよい。例えば、ベースパッチよりも高精度の情報により構成される追加パッチをベースパッチとともに伝送し、受信側において、その追加パッチを用いてベースパッチの情報を更新し、ベースパッチの情報の精度を局所的に向上させることができるようにしてもよい。このようにすることにより、その情報が更新されたベースパッチを用いて再構築されたポイントクラウドの品質を局所的に向上させることができる。

　なお、このように精度を制御するパラメータは任意であり、例えば、解像度であってもよいし、ビット深度であってもよい。また、図２の表２０に示される「方法１－１」のように、この追加パッチは、オキュパンシーマップのパッチであってもよい。つまり、追加ビデオフレームは、追加オキュパンシーマップであってもよい。さらに、図２の表２０に示される「方法１－２」のように、この追加パッチは、ジオメトリデータのパッチであってもよい。つまり、追加ビデオフレームは、追加ジオメトリビデオフレームであってもよい。また、図２の表２０に示される「方法１－３」のように、この追加パッチは、アトリビュートデータのパッチであってもよい。つまり、追加ビデオフレームは、追加カラービデオフレームであってもよい。なお、これらの「方法１－１」乃至方法「１－３」は、任意の組み合わせで組み合わせて適用することもできる。

　また例えば、図２の表２０に示される「方法２」のように、この追加パッチが、スムーシング処理（smoothing）の代用として用いられるようにしてもよい。換言するに、追加パッチが、スムーシング処理（smoothing）結果に対応する情報により構成されてもよい。例えば、このような追加パッチをベースパッチとともに伝送し、受信側において、その追加パッチを用いてベースパッチの情報を更新し、スムーシング処理後のベースパッチが得られるようにしてもよい。このようにすることにより、受信側においてスムーシング処理を行わずに、スムーシング処理が反映されたポイントクラウドを再構築することができる。つまり、スムーシング処理による負荷の増大を抑制することができる。

　さらに例えば、図２の表２０に示される「方法３」のように、この追加パッチが、ベースパッチに対して行われる処理の範囲の指定に用いられるようにしてもよい。換言するに、追加パッチが、ベースパッチに対して行われる処理の範囲を指定する情報により構成されるようにしてもよい。この処理内容は任意である。例えば、スムーシング処理の範囲がこの追加パッチにより指定されるようにしてもよい。例えば、このような追加パッチとベースパッチとを伝送し、受信側において、ベースパッチの、追加パッチにより指定される範囲に対して、スムーシング処理が施されるようにしてもよい。このようにすることにより、スムーシング処理を行う領域の探索が不要になり、負荷の増大を抑制することができる。

　以上の「方法１」乃至「方法３」の各方法の場合、追加パッチは、例えば、情報の精度や対応する小領域等、少なくとも一部のパラメータがベースパッチと異なる。また、追加パッチは、ベースパッチの投影面と同一の投影面に投影されたジオメトリデータやアトリビュートデータ、またはそれらに対応するオキュパンシーマップにより構成されるようにしてもよい。

　また例えば、図２の表２０に示される「方法４」のように、この追加パッチが、ベースパッチと同様にポイントクラウドの再構築に用いられるようにしてもよい。換言するに、追加パッチが、ベースパッチと同様にポイントクラウドの再構築に用いられる情報により構成されてもよい。例えば、このような追加パッチをベースパッチとともに伝送し、受信側において、ベースパッチのみを用いてポイントクラウドを再構築するか、ベースパッチおよび追加パッチを用いてポイントクラウドを再構築するかを選択することができるようにしてもよい。このようにすることにより、諸条件に応じて、ポイントクラウドの品質を制御することができる。なお、この場合、追加パッチは、アトリビュートデータを省略してもよい。つまり、追加パッチが、ジオメトリデータのパッチとオキュパンシーマップのパッチとにより構成されるようにしてもよい。つまり、追加ビデオフレームが、ジオメトリビデオフレームとオキュパンシーマップとにより構成されるようにしてもよい。

　さらに例えば、図２の表２０に示される「方法５」のように、補助パッチ情報として、追加パッチに関する情報を伝送するようにしてもよい。この情報を参照することにより、受信側において、追加パッチの特徴をより正確に把握することができる。この追加パッチに関する情報の内容は任意である。例えば、追加パッチに関する情報として、追加パッチであるかを示すフラグ情報を、補助パッチ情報として伝送するようにしてもよい。このフラグ情報を参照することにより、受信側において、追加パッチとベースパッチとをより容易に識別することができる。

　この「方法５」は、上述の「方法１」乃至「方法４」の各方法と組み合わせて適用することができる。なお、「方法１」乃至「方法３」の各方法の場合、補助パッチ情報に含まれるベースパッチに関する情報を追加パッチにも適用するようにしてもよい。その場合、この追加パッチに関する情報を省略することもできる。

　　＜追加パッチの作用＞
　図４に示される表５０は、上述の各方法の作用対象と作用の仕方をまとめたものである。例えば、追加パッチを用いてオキュパンシーマップの精度（解像度）を局所的に向上させる「方法１－１」の場合、追加パッチは、オキュパンシーマップのパッチであり、その追加パッチよりも粗いピクセル（解像度）のオキュパンシーマップのベースパッチに対して作用する。例えば、ベースパッチは、追加パッチとビット毎に論理演算（例えば、論理和（OR）や論理積（AND））が行われることにより、その情報が更新される。例えば、ベースパッチが示す領域に追加パッチが示す領域が追加されたり、ベースパッチが示す領域から追加パッチが示す領域が削除されたりする。つまり、この論理演算により、オキュパンシーマップの精度（解像度）を局所的に向上させることができる。

　また、追加パッチを用いてジオメトリデータの精度（解像度）を局所的に向上させる「方法１－２」の場合、追加パッチは、ジオメトリデータのパッチであり、その追加パッチよりも粗い値（ビット深度）のジオメトリデータのベースパッチに対して作用する。例えば、ベースパッチの値と追加パッチの値とを加算したり、ベースパッチの値から追加パッチの値を減算したり、ベースパッチの値を追加パッチの値に置き換えたりすることにより、ベースパッチの情報が更新される。つまり、このような演算や置き換えにより、ジオメトリデータの精度（ビット深度）を局所的に向上させることができる。

　さらに、追加パッチを用いてアトリビュートデータの精度（解像度）を局所的に向上させる「方法１－３」の場合、追加パッチは、アトリビュートデータのパッチであり、その追加パッチよりも粗い値（ビット深度）のアトリビュートデータのベースパッチに対して作用する。例えば、ベースパッチの値と追加パッチの値とを加算したり、ベースパッチの値から追加パッチの値を減算したり、ベースパッチの値を追加パッチの値に置き換えたりすることにより、ベースパッチの情報が更新される。つまり、このような演算や置き換えにより、アトリビュートデータの精度（ビット深度）を局所的に向上させることができる。

　また、追加パッチを用いてスムーシング処理結果を得る「方法２」の場合、追加パッチは、オキュパンシーマップのパッチであり、その追加パッチと同一のピクセル（解像度）のオキュパンシーマップのベースパッチか、またはその追加パッチよりも粗いピクセル（解像度）のオキュパンシーマップのベースパッチに対して作用する。例えば、ベースパッチは、追加パッチとビット毎に論理演算（例えば、論理和（OR）や論理積（AND））が行われることにより、その情報が更新される。例えば、ベースパッチが示す領域に追加パッチが示す領域が追加されたり、ベースパッチが示す領域から追加パッチが示す領域が削除されたりすることにより、スムーシング処理が行われたベースパッチが得られる。これにより、負荷の増大を抑制することができる。

　さらに、追加パッチを用いて処理範囲の指定を行う「方法３」の場合、追加パッチは、オキュパンシーマップのパッチであり、その追加パッチと同一のピクセル（解像度）のオキュパンシーマップのベースパッチか、またはその追加パッチよりも粗いピクセル（解像度）のオキュパンシーマップのベースパッチに対して作用する。例えば、追加パッチは、処理対象範囲（例えばスムーシング処理対象範囲）にフラグを立てており、ベースパッチの、その追加パッチに示される範囲に対してスムーシング処理が施される。これにより、負荷の増大を抑制することができる。

　また、追加パッチを用いてポイントクラウドの再構築を行う「方法４」の場合、追加パッチは、ベースパッチと同様、ポイントクラウドの再構築に用いられるパッチであり、ベースパッチを用いて再構築されたポイントクラウドに対して作用する。例えば、追加パッチが、オキュパンシーマップのパッチとジオメトリデータのパッチとにより構成されており、そのアトリビュートデータを再構築するために、ベースパッチにより再構築されたポイントクラウドを用いてリカラー処理が行われる。

　＜２．第１の実施の形態（方法１）＞
　　＜方法１－１＞
　本実施の形態においては、上述の「方法１」について説明する。まず、「方法１－１」について説明する。この「方法１－１」の場合、ジオメトリデータのパッチから複数種類の精度のオキュパンシーマップのパッチが生成される。

　例えば、図５のＡに示されるようなジオメトリデータのパッチから、図５のＢに示されるような、低精度のオキュパンシーマップのパッチを生成する。このパッチをベースパッチとする。このようにすることにより符号化効率を向上させることができる。ただし、この場合、オキュパンシーマップが示すジオメトリデータの範囲の正確性が低減する。なお、このベースパッチを、ジオメトリデータのパッチの精度で表すと、図５のＣのようになる。

　ところで、図５のＡに示されるジオメトリデータのパッチから、そのジオメトリデータと同精度（同一の解像度）でオキュパンシーマップを生成すると、図５のＤのようになる。この場合、オキュパンシーマップがジオメトリデータの範囲をより正確に表すことができるが、オキュパンシーマップの情報量が増大する。

　そこで、この図５のＤに示されるパッチと図５のＣに示されるベースパッチとの差分を導出し（図５のＥ）、それを追加パッチとする。つまり、図５のＢに示されるベースパッチと、図５のＥに示される追加パッチとを伝送するようにする。受信側においては、これらのパッチから、図５のＤに示されるようなパッチを得ることができる。つまり、ベースパッチの精度を向上させることができる。すなわち、追加パッチを伝送することにより、ポイントクラウドの精度を局所的に向上させることができる。

　この差分（追加パッチが示す領域）は、ベースパッチが示す領域から削除する領域であってもよいし、ベースパッチが示す領域に追加する領域であってもよい。追加パッチが、ベースパッチが示す領域から削除する領域を示す場合、例えば、図６に示されるように、ベースパッチのオキュパンシーマップ７１と、追加パッチのオキュパンシーマップ７２との、ビット毎の論理積（AND）を行うことにより、そのベースパッチが示す領域から追加パッチが示す領域を削除した領域が導出される。また、追加パッチが、ベースパッチが示す領域に追加する領域を示す場合、例えば、図７に示されるように、ベースパッチのオキュパンシーマップ８１と、追加パッチのオキュパンシーマップ８２との、ビット毎の論理和（OR）を行うことにより、そのベースパッチが示す領域に追加パッチが示す領域を追加した領域が導出される。

　なお、例えば、図８のＡに示されるように、オキュパンシーマップ９１において局所的に「０」のビットや「１」のビットが存在する場合、図８のＢに示されるように、全ビットが「１」のオキュパンシーマップや全ビットが「０」のオキュパンシーマップ９２を、ベースパッチのオキュパンシーマップとしてもよい。そして、オキュパンシーマップ９１において局所的に値が異なるビットのオキュパンシーマップ９３（図８のＢ）を追加パッチのオキュパンシーマップとしてもよい。この場合、ベースパッチのオキュパンシーマップ９２（図８のＢ）は、受信側においても既知とし、その伝送を省略してもよい。すなわち、図８のＢに示されるオキュパンシーマップ９３のみを伝送するようにしてもよい。このようにすることにより、オキュパンシーマップの符号量の増大を抑制することができる。

　　＜符号化装置＞
　次に、このような「方法１－１」を行う符号化装置について説明する。図９は、本技術を適用した符号化装置の構成の一例を示すブロック図である。図９に示される符号化装置１００は、ポイントクラウドのような３Ｄデータを２次元平面に投影して２次元画像用の符号化方法により符号化を行う装置（ビデオベースドアプローチを適用した符号化装置）である。符号化装置１００は、図２の表２０に示される「方法１－１」を適用してこのような処理を行う。

　なお、図９においては、処理部やデータの流れ等の主なものを示しており、図９に示されるものが全てとは限らない。つまり、符号化装置１００において、図９においてブロックとして示されていない処理部が存在したり、図９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図９に示されるように符号化装置１００は、パッチ分解部１０１、パッキング符号化部１０２、およびマルチプレクサ１０３を有する。

　パッチ分解部１０１は、３Ｄデータの分解に関する処理を行う。例えば、パッチ分解部１０１は、符号化装置１００に入力される、３次元構造を表す３Ｄデータ（例えばポイントクラウド）を取得する。また、パッチ分解部１０１は、取得したその３Ｄデータを複数の小領域（コネクションコンポーネント）に分解し、その小領域毎に３Ｄデータを２次元平面に投影し、ジオメトリデータのパッチやアトリビュートデータのパッチを生成する。

　また、パッチ分解部１０１は、生成したそれらのパッチ対応するオキュパンシーマップ（Occupancy Map）を生成する。その際、パッチ分解部１０１は、上述した「方法１－１」を適用して、オキュパンシーマップのベースパッチおよび追加パッチを生成する。つまり、パッチ分解部１０１は、オキュパンシーマップのベースパッチの精度（解像度）を局所的に向上させる追加パッチを生成する。

　パッチ分解部１０１は、生成した各パッチ（ジオメトリデータやアトリビュートデータのベースパッチ、オキュパンシーマップのベースパッチや追加パッチ）をパッキング符号化部１０２に供給する。

　パッキング符号化部１０２は、データのパッキングや符号化に関する処理を行う。例えば、パッキング符号化部１０２は、パッチ分解部１０１から供給されるベースパッチや追加パッチを取得し、各パッチを２次元画像に配置してビデオフレームとしてパッキングする。例えば、パッキング符号化部１０２は、ジオメトリデータのベースパッチをビデオフレームとしてパッキングし、ジオメトリビデオフレーム（Geometry video frame(s)）を生成する。また、パッキング符号化部１０２は、アトリビュートデータのベースパッチを、ビデオフレームとしてパッキングし、カラービデオフレーム（Color video frame(s)）を生成する。さらに、パッキング符号化部１０２は、それらのビデオフレームに対応する、ベースパッチを配置したオキュパンシーマップと追加パッチを配置した追加オキュパンシーマップとを生成する。

　また、パッキング符号化部１０２は、その生成したビデオフレーム（ジオメトリビデオフレーム、カラービデオフレーム、オキュパンシーマップ、追加オキュパンシーマップ）をそれぞれ符号化し、符号化データを生成する。

　さらに、パッキング符号化部１０２は、パッチに関する情報である補助パッチ情報を生成し、符号化（圧縮）し、符号化データを生成する。パッキング符号化部１０２は、生成したそれらの符号化データをマルチプレクサ１０３に供給する。

　マルチプレクサ１０３は、多重化に関する処理を行う。例えば、マルチプレクサ１０３は、パッキング符号化部１０２から供給される各種符号化データを取得し、それらを多重化してビットストリームを生成する。マルチプレクサ１０３は、その生成したビットストリームを符号化装置１００の外部に出力する。

　　＜パッキング符号化部＞
　図１０は、パッキング符号化部１０２の主な構成例を示すブロック図である。なお、図１０においては、処理部やデータの流れ等の主なものを示しており、図１０に示されるものが全てとは限らない。つまり、パッキング符号化部１０２において、図１０においてブロックとして示されていない処理部が存在したり、図１０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図１０に示されるように、パッキング符号化部１０２は、オキュパンシーマップ生成部１２１、ジオメトリビデオフレーム生成部１２２、OMap符号化部１２３、ビデオ符号化部１２４、ジオメトリビデオフレーム復号部１２５、ジオメトリデータ再構築部１２６、ジオメトリスムーシング処理部１２７、カラービデオフレーム生成部１２８、ビデオ符号化部１２９、補助パッチ情報生成部１３０、および補助パッチ情報符号化部１３１を有する。

　オキュパンシーマップ生成部１２１は、パッチ分解部１１１から供給されるベースパッチを配置した、ビデオフレームに対応するオキュパンシーマップを生成する。また、オキュパンシーマップ生成部１２１は、同様にパッチ分解部１１１から供給される追加パッチを配置した、追加ビデオフレームに対応する追加オキュパンシーマップを生成する。

　オキュパンシーマップ生成部１２１は、生成したオキュパンシーマップおよび追加オキュパンシーマップをOMap符号化部１２３に供給する。また、オキュパンシーマップ生成部１２１は、生成したオキュパンシーマップをジオメトリビデオフレーム生成部１２２に供給する。さらに、オキュパンシーマップ生成部１２１は、ベースパッチや追加パッチに関する情報を補助パッチ情報生成部１３０に供給する。

　ジオメトリビデオフレーム生成部１２２は、パッチ分解部１１１から供給されるジオメトリデータのベースパッチを配置したビデオフレームであるジオメトリビデオフレームを生成する。ジオメトリビデオフレーム生成部１２２は、生成したジオメトリビデオフレームをビデオ符号化部１２４に供給する。

　OMap符号化部１２３は、オキュパンシーマップ生成部１２１から供給されるオキュパンシーマップを２次元画像用の符号化方式により符号化し、その符号化データを生成する。また、OMap符号化部１２３は、オキュパンシーマップ生成部１２１から供給される追加オキュパンシーマップを２次元画像用の符号化方式により符号化し、その符号化データを生成する。OMap符号化部１２３は、それらの符号化データをマルチプレクサ１０３に供給する。

　ビデオ符号化部１２４は、ジオメトリビデオフレーム生成部１２２から供給されるジオメトリビデオフレームを２次元画像用の符号化方式により符号化し、その符号化データを生成する。ビデオ符号化部１２４は、生成した符号化データをマルチプレクサ１０３に供給する。また、ビデオ符号化部１２４は、生成した符号化データをジオメトリビデオフレーム復号部１２５にも供給する。

　ジオメトリビデオフレーム復号部１２５は、ビデオ符号化部１２４から供給される符号化データを、ビデオ符号化部１２４が適用した符号化方式に対応する２次元画像用の復号方式により復号し、ジオメトリビデオフレームを生成（復元）する。ジオメトリビデオフレーム復号部１２５は、生成（復元）したジオメトリビデオフレームをジオメトリデータ再構築部１２６に供給する。

　ジオメトリデータ再構築部１２６は、ジオメトリビデオフレーム復号部１２５から供給されるジオメトリビデオフレームからジオメトリデータのベースパッチを抽出し、そのベースパッチを用いてポイントクラウドのジオメトリデータを再構築する。つまり、各ポイントが３次元空間に配置される。ジオメトリデータ再構築部１２６は、再構築したジオメトリデータをジオメトリスムーシング処理部１２７に供給する。

　ジオメトリスムーシング処理部１２７は、ジオメトリデータ再構築部１２６から供給されるジオメトリデータに対してスムーシング処理を行い、パッチ境界のバリ等を低減させる。ジオメトリスムーシング処理部１２７は、そのスムーシング処理後のジオメトリデータをカラービデオフレーム生成部１２８に供給する。

　カラービデオフレーム生成部１２８は、リカラー処理を行う等して、パッチ分解部１１１から供給されるアトリビュートデータのベースパッチを、ジオメトリスムーシング処理部１２７から供給されるジオメトリデータに対応させ、そのベースパッチを配置したビデオフレームであるカラービデオフレームを生成する。カラービデオフレーム生成部１２８は、生成したカラービデオフレームをビデオ符号化部１２９に供給する。

　ビデオ符号化部１２９は、カラービデオフレーム生成部１２８から供給されるカラービデオフレームを２次元画像用の符号化方式により符号化し、その符号化データを生成する。ビデオ符号化部１２９は、生成した符号化データをマルチプレクサ１０３に供給する。

　補助パッチ情報生成部１３０は、オキュパンシーマップ生成部１２１から供給されるオキュパンシーマップのベースパッチや追加パッチに関する情報を用いて補助パッチ情報を生成する。補助パッチ情報生成部１３０は、生成した補助パッチ情報を補助パッチ情報符号化部１３１に供給する。

　補助パッチ情報符号化部１３１は、補助パッチ情報生成部１３０から供給される補助パッチ情報を任意の符号化方式により符号化し、その符号化データを生成する。補助パッチ情報符号化部１３１は、生成した符号化データをマルチプレクサ１０３に供給する。

　　＜符号化処理の流れ＞
　このような構成の符号化装置１００により実行される符号化処理の流れの例を、図１１のフローチャートを参照して説明する。

　符号化処理が開始されると、符号化装置１００のパッチ分解部１０１は、ステップＳ１０１において、ベースパッチを生成する。また、ステップＳ１０２において、パッチ分解部１０１は、追加パッチを生成する。この場合、符号化装置１００は、図２の表２０の「方法１－１」を適用するので、オキュパンシーマップのベースパッチおよび追加パッチを生成する。

　ステップＳ１０３において、パッキング符号化部１０２は、パッキング符号化処理を実行し、ベースパッチや追加パッチをパッキングし、生成したビデオフレームを符号化する。

　ステップＳ１０４において、マルチプレクサ１０３は、ステップＳ１０２において生成された各種符号化データを多重化し、ビットストリームを生成する。ステップＳ１０５において、マルチプレクサ１０３は、そのビットストリームを符号化装置１００の外部に出力する。ステップＳ１０５の処理が終了すると、符号化処理が終了する。

　　＜パッキング符号化処理の流れ＞
　次に、図１２のフローチャートを参照して、図１１のステップＳ１０３において実行されるパッキング符号化処理の流れの例を説明する。

　パッキング符号化処理が開始されると、オキュパンシーマップ生成部１２１は、ステップＳ１２１において、図１１のステップＳ１０１において生成されたベースパッチを用いて、オキュパンシーマップを生成する。また、ステップＳ１２２において、オキュパンシーマップ生成部１２１は、図１１のステップＳ１０２において生成された追加パッチを用いて、追加オキュパンシーマップを生成する。さらに、ステップＳ１２３において、ジオメトリビデオフレーム生成部１２２は、図１１のステップＳ１０１において生成されたベースパッチを用いて、ジオメトリビデオフレームを生成する。

　ステップＳ１２４において、OMap符号化部１２３は、ステップＳ１２１において生成されたオキュパンシーマップを２次元画像用の符号化方式により符号化し、その符号化データを生成する。また、ステップＳ１２５において、OMap符号化部１２３は、ステップＳ１２２において生成された追加オキュパンシーマップを２次元画像用の符号化方式により符号化し、その符号化データを生成する。

　ステップＳ１２６において、ビデオ符号化部１２４は、ステップＳ１２３において生成されたジオメトリビデオフレームを２次元画像用の符号化方式により符号化し、その符号化データを生成する。また、ステップＳ１２７において、ジオメトリビデオフレーム復号部１２５は、ステップＳ１２６において生成された符号化データを、その符号化方式に対応する２次元画像用の復号方式により復号し、ジオメトリビデオフレームを生成（復元）する。

　ステップＳ１２８において、ジオメトリデータ再構築部１２６は、ステップＳ１２７において生成（復元）されたジオメトリビデオフレームをアンパッキングし、ジオメトリデータを再構築する。

　ステップＳ１２９において、ジオメトリスムーシング処理部１２７は、ステップＳ１２８において再構築されたジオメトリデータに対してスムーシング処理を施し、パッチ境界のバリ等を抑制させる。

　ステップＳ１３０において、カラービデオフレーム生成部１２８は、リカラー処理等により、アトリビュートデータをジオメトリスムーシング処理結果に対応させ、そのベースパッチを配置したカラービデオフレームを生成する。また、ステップＳ１３１において、ビデオ符号化部１２９は、そのカラービデオフレームを２次元画像用の符号化方式により符号化し、その符号化データを生成する。

　ステップＳ１３２において、補助パッチ情報生成部１３０は、オキュパンシーマップのベースパッチや追加パッチに関する情報を用いて、補助パッチ情報を生成する。ステップＳ１３３において、補助パッチ情報符号化部１３１は、生成された補助パッチ情報を、任意の符号化方式により符号化し、その符号化データを生成する。

　ステップＳ１３３の処理が終了するとパッキング符号化処理が終了し、処理は図１１に戻る。

　以上のように各処理を実行することにより、符号化装置１００は、オキュパンシーマップと、そのオキュパンシーマップの精度を向上させるための、追加オキュパンシーマップを生成することができる。したがって、符号化装置１００は、オキュパンシーマップの精度を局所的に向上させることができる。これにより、符号化効率の低減を抑制し、かつ、負荷の増大を抑制しながら、再構築されたポイントクラウドの品質の低減を抑制することができる。つまり、３Ｄデータの表示用２次元画像の画質の低減を抑制することができる。

　　＜復号装置＞
　図１３は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１３に示される復号装置２００は、ポイントクラウドのような３Ｄデータが２次元平面に投影されて符号化された符号化データを、２次元画像用の復号方法により復号し、３Ｄデータを再構築する装置（ビデオベースドアプローチを適用した復号装置）である。この復号装置２００は、図９の符号化装置１００に対応する復号装置であり、符号化装置１００により生成されたビットストリームを復号して３Ｄデータを再構築することができる。つまり、この復号装置２００は、図２の表２０に示される「方法１－１」を適用してこのような処理を行う。

　なお、図１３においては、処理部やデータの流れ等の主なものを示しており、図１３に示されるものが全てとは限らない。つまり、復号装置２００において、図１３においてブロックとして示されていない処理部が存在したり、図１３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図１３に示されるように復号装置２００は、デマルチプレクサ２０１、補助パッチ情報復号部２０２、OMap復号部２０３、ビデオ復号部２０４、ビデオ復号部２０５、および３Ｄ再構築部２０６を有する。

　デマルチプレクサ２０１は、データの逆多重化に関する処理を行う。例えば、デマルチプレクサ２０１は、復号装置２００に入力されるビットストリームを取得することができる。このビットストリームは、例えば、符号化装置１００より供給される。

　また、デマルチプレクサ２０１は、このビットストリームを逆多重化することができる。例えば、デマルチプレクサ２０１は、逆多重化によりビットストリームから補助パッチ情報の符号化データを抽出することができる。また、デマルチプレクサ２０１は、逆多重化によりビットストリームからジオメトリビデオフレームの符号化データを抽出することができる。さらに、デマルチプレクサ２０１は、逆多重化によりビットストリームからカラービデオフレームの符号化データを抽出することができる。また、デマルチプレクサ２０１は、逆多重化によりビットストリームから、オキュパンシーマップの符号化データや追加オキュパンシーマップの符号化データを抽出することができる。

　さらに、デマルチプレクサ２０１は、抽出したデータを後段の処理部に供給することができる。例えば、デマルチプレクサ２０１は、抽出した補助パッチ情報の符号化データを補助パッチ情報復号部２０２に供給することができる。また、デマルチプレクサ２０１は、抽出したジオメトリビデオフレームの符号化データをビデオ復号部２０４に供給することができる。さらに、デマルチプレクサ２０１は、抽出したカラービデオフレームの符号化データをビデオ復号部２０５に供給することができる。また、デマルチプレクサ２０１は、抽出したオキュパンシーマップの符号化データや追加オキュパンシーマップの符号化データをOMap復号部２０３に供給することができる。

　補助パッチ情報復号部２０２は、補助パッチ情報の符号化データの復号に関する処理を行う。例えば、補助パッチ情報復号部２０２は、デマルチプレクサ２０１から供給される補助パッチ情報の符号化データを取得することができる。また、補助パッチ情報復号部２０２は、その符号化データを復号し、補助パッチ情報を生成することができる。この復号方法は、符号化の際に適用された符号化方法（例えば、補助パッチ情報符号化部１３１が適用した符号化方法）に対応する復号方法であれば任意である。さらに、補助パッチ情報復号部２０２は、その生成した補助パッチ情報を３Ｄ再構築部２０６に供給する。

　OMap復号部２０３は、オキュパンシーマップの符号化データや追加オキュパンシーマップの符号化データの復号に関する処理を行う。例えば、OMap復号部２０３は、デマルチプレクサ２０１から供給されるオキュパンシーマップの符号化データや追加オキュパンシーマップの符号化データを取得することができる。また、OMap復号部２０３は、それらの符号化データを復号し、オキュパンシーマップや追加オキュパンシーマップを生成することができる。さらに、OMap復号部２０３は、そのオキュパンシーマップや追加オキュパンシーマップを、３Ｄ再構築部２０６に供給することができる。

　ビデオ復号部２０４は、ジオメトリビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２０４は、デマルチプレクサ２０１から供給されるジオメトリビデオフレームの符号化データを取得することができる。また、ビデオ復号部２０４は、その符号化データを復号し、ジオメトリビデオフレームを生成することができる。この復号方法は、符号化の際に適用された符号化方法（例えば、ビデオ符号化部１２４が適用した符号化方法）に対応する２次元画像用の復号方法であれば任意である。さらに、ビデオ復号部２０４は、そのジオメトリビデオフレームを、３Ｄ再構築部２０６に供給することができる。

　ビデオ復号部２０５は、カラービデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２０５は、デマルチプレクサ２０１から供給されるカラービデオフレームの符号化データを取得することができる。また、ビデオ復号部２０５は、その符号化データを復号し、カラービデオフレームを生成することができる。この復号方法は、符号化の際に適用された符号化方法（例えば、ビデオ符号化部１２９が適用した符号化方法）に対応する２次元画像用の復号方法であれば任意である。さらに、ビデオ復号部２０５は、そのカラービデオフレームを、３Ｄ再構築部２０６に供給することができる。

　３Ｄ再構築部２０６は、ビデオフレームのアンパッキングや３Ｄデータの再構築に関する処理を行う。例えば、３Ｄ再構築部２０６は、補助パッチ情報復号部２０２から供給される補助パッチ情報を取得することができる。また、３Ｄ再構築部２０６は、OMap復号部２０３から供給されるオキュパンシーマップを取得することができる。さらに、３Ｄ再構築部２０６は、ビデオ復号部２０４から供給されるジオメトリビデオフレームを取得することができる。また、３Ｄ再構築部２０６は、ビデオ復号部２０５から供給されるカラービデオフレームを取得することができる。さらに、３Ｄ再構築部２０６は、それらのビデオフレームをアンパッキングし、３Ｄデータ（例えばポイントクラウド（Point Cloud））を再構築することができる。３Ｄ再構築部２０６は、このような処理により得られた３Ｄデータを復号装置２００の外部に出力する。この３Ｄデータは、例えば、表示部に供給されてその画像が表示されたり、記録媒体に記録されたり、通信を介して他の装置に供給されたりする。

　　＜３Ｄ再構築部＞
　図１４は、３Ｄ再構築部２０６の主な構成例を示すブロック図である。なお、図１４においては、処理部やデータの流れ等の主なものを示しており、図１４に示されるものが全てとは限らない。つまり、３Ｄ再構築部２０６において、図１４においてブロックとして示されていない処理部が存在したり、図１４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図１４に示されるように、３Ｄ再構築部２０６は、オキュパンシーマップ再構築部２２１、ジオメトリデータ再構築部２２２、アトリビュートデータ再構築部２２３、ジオメトリスムーシング処理部２２４、およびリカラー処理部２２５を有する。

　オキュパンシーマップ再構築部２２１は、補助パッチ情報復号部２０２から供給される補助パッチ情報を用いて、OMap復号部２０３から供給されるオキュパンシーマップと追加オキュパンシーマップとをビット毎に論理演算することにより（論理和や論理積を導出することにより）、そのオキュパンシーマップおよび追加オキュパンシーマップを合成した合成オキュパンシーマップを生成する。オキュパンシーマップ生成部１２１は、その合成オキュパンシーマップをジオメトリデータ再構築部２２２に供給する。

　ジオメトリデータ再構築部２２２は、補助パッチ情報復号部２０２から供給される補助パッチ情報と、オキュパンシーマップ再構築部２２１から供給される合成オキュパンシーマップとを用いて、ビデオ復号部２０４（図１３）から供給されるジオメトリビデオフレームをアンパッキングしてジオメトリデータのベースパッチを抽出する。また、ジオメトリデータ再構築部２２２は、さらにそのベースパッチや補助パッチ情報を用いてジオメトリデータを再構築する。さらに、ジオメトリデータ再構築部２２２は、再構築したジオメトリデータや合成オキュパンシーマップをアトリビュートデータ再構築部２２３に供給する。

　アトリビュートデータ再構築部２２３は、補助パッチ情報復号部２０２から供給される補助パッチ情報と、オキュパンシーマップ再構築部２２１から供給される合成オキュパンシーマップとを用いて、ビデオ復号部２０５（図１３）から供給されるカラービデオフレームをアンパッキングしてアトリビュートデータのベースパッチを抽出する。また、アトリビュートデータ再構築部２２３は、さらにそのベースパッチや補助パッチ情報を用いてアトリビュートデータを再構築する。アトリビュートデータ再構築部２２３は、ジオメトリデータ、合成オキュパンシーマップ、再構築したアトリビュートデータ等の各種情報をジオメトリスムーシング処理部２２４に供給する。

　ジオメトリスムーシング処理部２２４は、アトリビュートデータ再構築部２２３から供給されるジオメトリデータに対してスムーシング処理を行う。ジオメトリスムーシング処理部２２４は、スムーシング処理されたジオメトリデータやアトリビュートデータをリカラー処理部２２５に供給する。

　リカラー処理部２２５は、ジオメトリスムーシング処理部２２４から供給されるジオメトリデータやアトリビュートデータを取得し、それらを用いてリカラー処理を行い、アトリビュートデータをジオメトリデータに対応させることにより、ポイントクラウドを生成（再構築）する。リカラー処理部２２５は、そのポイントクラウドを復号装置２００の外部に出力する。

　　＜復号処理の流れ＞
　このような構成の復号装置２００により実行される復号処理の流れの例を、図１５のフローチャートを参照して説明する。

　復号処理が開始されると、復号装置２００のデマルチプレクサ２０１は、ステップＳ２０１において、ビットストリームを逆多重化し、補助パッチ情報、オキュパンシーマップ、追加オキュパンシーマップ、ジオメトリビデオフレーム、およびカラービデオフレーム等をビットストリームから抽出する。

　ステップＳ２０２において、補助パッチ情報復号部２０２は、ステップＳ２０１の処理によりビットストリームから抽出された補助パッチ情報の符号化データを復号する。ステップＳ２０３において、OMap復号部２０３は、ステップＳ２０１の処理によりビットストリームから抽出されたオキュパンシーマップの符号化データを復号する。また、ステップＳ２０４において、OMap復号部２０３は、ステップＳ２０１の処理によりビットストリームから抽出された追加オキュパンシーマップの符号化データを復号する。

　ステップＳ２０５において、ビデオ復号部２０４は、ステップＳ２０１の処理によりビットストリームから抽出されたジオメトリビデオフレームの符号化データを復号する。ステップＳ２０６において、ビデオ復号部２０５は、ステップＳ２０１の処理によりビットストリームから抽出されたカラービデオフレームの符号化データを復号する。

　ステップＳ２０７において、３Ｄ再構築部２０６は、以上の処理により得られた情報を用いて３Ｄ再構築処理を行い、３Ｄデータを再構築する。ステップＳ２０７の処理が終了すると、復号処理が終了する。

　　＜３Ｄ再構築処理の流れ＞
　次に、図１５のステップＳ２０７において実行される３Ｄ再構築処理の流れの例を、図１６のフローチャートを参照して説明する。

　３Ｄ再構築処理が開始されると、オキュパンシーマップ再構築部２２１は、ステップＳ２２１において、補助パッチ情報を用いてオキュパンシーマップと追加オキュパンシーマップとのビット毎の論理演算（例えば、論理和や論理積を含む）を行い、合成オキュパンシーマップを生成する。

　ステップＳ２２２において、ジオメトリデータ再構築部２２２は、補助パッチ情報と生成した合成オキュパンシーマップとを用いて、ジオメトリビデオフレームをアンパッキングし、ジオメトリデータを再構築する。

　ステップＳ２２３において、アトリビュートデータ再構築部２２３は、補助パッチ情報と生成した合成オキュパンシーマップとを用いて、カラービデオフレームをアンパッキングし、アトリビュートデータを再構築する。

　ステップＳ２２４において、ジオメトリスムーシング処理部２２４は、ステップＳ２２２において得られたジオメトリデータをスムーシング処理する。

　ステップＳ２２５において、リカラー処理部２２５は、リカラー処理を行い、ステップＳ２２３において再構築されたアトリビュートデータを、ステップＳ２２４においてスムーシング処理されたジオメトリデータに対応させ、ポイントクラウドを再構築する。

　ステップＳ２２５の処理が終了すると、３Ｄ再構築処理が終了し、処理は図１５に戻る。

　以上のように各処理を実行することにより、復号装置２００は、オキュパンシーマップと、そのオキュパンシーマップの精度を向上させるための、追加オキュパンシーマップとを用いて３Ｄデータを再構築することができる。したがって、復号装置２００は、オキュパンシーマップの精度を局所的に向上させることができる。これにより、復号装置２００は、符号化効率の低減を抑制し、かつ、負荷の増大を抑制しながら、再構築されたポイントクラウドの品質の低減を抑制することができる。つまり、３Ｄデータの表示用２次元画像の画質の低減を抑制することができる。

　　＜方法１－２＞
　以上においては「方法１－１」について説明したが、「方法１－２」も同様に実現することができる。「方法１－２」の場合、ジオメトリデータの追加パッチが生成される。つまり、この場合、ジオメトリビデオフレーム生成部１２２（図１０）は、ジオメトリデータのベースパッチを配置したジオメトリビデオフレームと、ジオメトリデータの追加パッチを配置した追加ジオメトリビデオフレームとを生成する。ビデオ符号化部１２４は、そのジオメトリビデオフレームおよび追加ジオメトリビデオフレームをそれぞれ符号化し、符号化データを生成する。

　また、ベースパッチに関する情報と、追加パッチに関する情報が、ジオメトリビデオフレーム生成部１２２から補助パッチ情報生成部１３０に供給され、補助パッチ情報生成部１３０は、それらの情報に基づいて補助パッチ情報を生成する。

　また、この「方法１－２」の場合、復号装置２００のジオメトリデータ再構築部２２２は、ジオメトリビデオフレームに対応するジオメトリデータと、追加ジオメトリビデオフレームに対応するジオメトリデータとを再構築し、それらを合成して合成ジオメトリデータを生成する。例えば、ジオメトリデータ再構築部２２２が、ベースパッチに対応するジオメトリデータの値を、追加パッチに対応するジオメトリデータの値に置き換えることにより、合成ジオメトリデータを生成してもよい。また、ジオメトリデータ再構築部２２２が、ベースパッチに対応するジオメトリデータの値と追加パッチに対応するジオメトリデータの値とを加算したり、減算したりして、合成ジオメトリデータを生成してもよい。

　このようにすることにより、ジオメトリデータの精度を局所的に向上させることができる。そして、このような合成ジオメトリデータを用いてポイントクラウドを再構築することにより、符号化効率の低減を抑制し、かつ、負荷の増大を抑制しながら、再構築されたポイントクラウドの品質の低減を抑制することができる。つまり、３Ｄデータの表示用２次元画像の画質の低減を抑制することができる。

　　＜方法１－３＞
　もちろん、「方法１－３」も同様に実現することができる。「方法１－３」の場合、アトリビュートデータの追加パッチが生成される。つまり、ジオメトリデータの場合と同様に、ベースパッチに対応するアトリビュートデータの値と追加パッチに対応するアトリビュートデータの値とを加算したり、減算したり、置き換えたりして、それらを合成した合成アトリビュートデータを生成することができる。

　なお、この場合、ベースパッチに関する情報と、追加パッチに関する情報が、カラービデオフレーム生成部１２８から補助パッチ情報生成部１３０に供給され、補助パッチ情報生成部１３０は、それらの情報に基づいて補助パッチ情報を生成する。

　このようにすることにより、アトリビュートデータの精度を局所的に向上させることができる。そして、このような合成アトリビュートデータを用いてポイントクラウドを再構築することにより、符号化効率の低減を抑制し、かつ、負荷の増大を抑制しながら、再構築されたポイントクラウドの品質の低減を抑制することができる。つまり、３Ｄデータの表示用２次元画像の画質の低減を抑制することができる。

　　＜組み合わせ＞
　なお、上述の「方法１」乃至「方法３」は、任意のペアで組み合わせて用いることもできる。さらに、上述の「方法１」乃至「方法３」を全て適用することもできる。

　＜３．第２の実施の形態（方法２）＞
　　＜スムーシング処理の代用＞
　本実施の形態においては、上述の「方法２」について説明する。この「方法２」の場合、合成オキュパンシーマップがスムーシング処理結果に対応するように、追加オキュパンシーマップ（追加パッチ）が生成される。

　例えば、図１７のＡに示されるような、ジオメトリデータよりも低精度のオキュパンシーマップのベースパッチをジオメトリデータの精度で表すと図１７のＢのようになる。ジオメトリデータにスムーシング処理を施すと、パッチが図１７のＣに示されるような形状となるとする。図１７のＣにおいて斜線模様の領域は、図１７のＢを基準とした場合に点が追加される領域を表す。また、グレーの領域は、図１７のＢを基準とした場合に点が削除される領域を表す。このパッチをジオメトリデータと同精度で表現するとオキュパンシーマップは、図１７のＤのようになる。この場合、ジオメトリデータの範囲を正確に表すことができるが、オキュパンシーマップの符号量が増大してしまう。

　そこで、図１７のＥに示されるような点追加用のオキュパンシーマップと、図１７のＦに示されるような点削除用のオキュパンシーマップとを追加オキュパンシーマップとして生成する。このような追加オキュパンシーマップを伝送することにより、復号側においてスムーシング処理を反映したオキュパンシーマップを生成することができる。すなわち、スムーシング処理を行わずに、ジオメトリデータのスムーシング処理結果が得られる。つまり、スムーシング処理を省略することができるので、スムーシング処理による負荷の増大を抑制することができる。

　　＜パッキング符号化部＞
　この場合も、符号化装置１００は、「方法１－１」の場合（図９）と基本的に同様の構成を有する。また、この場合のパッキング符号化部１０２の主な構成例を図１８に示す。図１８に示されるように、この場合のパッキング符号化部１０２は、「方法１－１」の場合（図１０）と基本的に同様の構成を有する。ただし、この場合、ジオメトリスムーシング処理部１２７がスムーシング処理されたジオメトリデータをオキュパンシーマップ生成部１２１に供給する。オキュパンシーマップ生成部１２１は、ベースパッチに対応するオキュパンシーマップを生成するとともに、そのスムーシング処理されたジオメトリデータに基づいて、追加オキュパンシーマップを生成する。

　オキュパンシーマップ生成部１２１は、生成したオキュパンシーマップおよび追加オキュパンシーマップをOMap符号化部１２３に供給する。OMap符号化部１２３は、それらを符号化し、それらの符号化データを生成する。

　また、オキュパンシーマップ生成部１２１は、そのオキュパンシーマップや追加オキュパンシーマップに関する情報を、補助パッチ情報生成部１３０に供給する。補助パッチ情報生成部１３０は、それらの情報に基づいて、オキュパンシーマップや追加オキュパンシーマップに関する情報を含む補助パッチ情報を生成する。補助パッチ情報符号化部１３１は、この世に生成された補助パッチ情報を符号化する。

　　＜パッキング符号化処理の流れ＞
　この場合も符号化処理は、符号化装置１００により、図１１のフローチャートと同様の流れで実行される。この場合の符号化処理のステップＳ１０３（図１１）において実行されるパッキング符号化処理の流れの例を、図１９のフローチャートを参照して説明する。

　この場合、パッキング符号化処理が開始されると、ステップＳ３０１乃至ステップＳ３０７の各処理が、図１２のステップＳ１２１、ステップＳ１２３、ステップＳ１２４、ステップＳ１２６乃至ステップＳ１２９の各処理と同様に実行される。

　ステップＳ３０８において、オキュパンシーマップ生成部１２１は、ステップＳ３０７のスムーシング処理結果に基づいて追加オキュパンシーマップを生成する。つまり、オキュパンシーマップ生成部１２１は、例えば図１７のように、スムーシング処理後のジオメトリデータのパッチの形状をより正確に示すことができるように、オキュパンシーマップに対して追加する領域と削除する領域を示す追加オキュパンシーマップを生成する。ステップＳ３０９において、OMap符号化部１２３は、その追加オキュパンシーマップを符号化する。

　ステップＳ３１０乃至ステップＳ３１３の各処理は、図１２のステップＳ１３０乃至ステップＳ１３３の各処理と同様に実行される。

　以上のように、スムーシング処理結果に基づいて追加オキュパンシーマップを生成し、伝送することにより、受信側において、その追加オキュパンシーマップとオキュパンシーマップを用いてジオメトリデータを再構築することにより、スムーシング処理が施されたジオメトリデータを再構築することができる。つまり、受信側においてスムーシング処理を行わずに、スムーシング処理が反映されたポイントクラウドを再構築することができるので、スムーシング処理による負荷の増大を抑制することができる。

　　＜３Ｄ再構築部＞
　次に、受信側について説明する。この場合も、復号装置２００は、「方法１－１」の場合（図１３）と基本的に同様の構成を有する。また、この場合の３Ｄ再構築部２０６の主な構成例を図２０に示す。図２０に示されるように、この場合の３Ｄ再構築部２０６は、「方法１－１」の場合（図１０）と基本的に同様の構成を有する。ただし、この場合、ジオメトリスムーシング処理部２２４が省略される。

　オキュパンシーマップ再構築部２２１が、オキュパンシーマップと追加オキュパンシーマップとから合成オキュパンシーマップを生成し、ジオメトリデータ再構築部２２２がその合成オキュパンシーマップを用いてジオメトリデータを再構築すると、スムーシング処理が施されたジオメトリデータが得られる。そのため、この場合、ジオメトリスムーシング処理部２２４は省略することができる。

　　＜３Ｄ再構築処理の流れ＞
　この場合も復号処理は、復号装置２００により、図１５のフローチャートと同様の流れで実行される。この場合の復号処理のステップＳ２０７（図１５）において実行される３Ｄ再構築処理の流れの例を、図２１のフローチャートを参照して説明する。

　この場合、３Ｄ再構築処理が開始されると、ステップＳ３３１乃至ステップＳ３３４の各処理が、図１６のステップＳ２２１乃至ステップＳ２２５の各処理と同様に実行される。つまり、この場合、ステップＳ３３２の処理により、スムーシング処理が施されたジオメトリデータが得られる。したがってステップＳ２２４の処理が省略される。

　以上のように、受信側においてスムーシング処理が不要になるので、負荷の増大を抑制することができる。

　＜４．第３の実施の形態（方法３）＞
　　＜処理範囲の指定＞
　本実施の形態においては、上述の「方法３」について説明する。この「方法３」の場合、例えばスムーシング処理等のような、ジオメトリデータやアトリビュートデータに対して施される処理の対象となる範囲が追加オキュパンシーマップにより指定される。

　　＜パッキング符号化処理の流れ＞
　この場合、符号化装置１００は、「方法２」の場合（図９、図１８）と同様の構成を有する。そして、その符号化装置１００により実行される符号化処理も「方法１－１」の場合（図１１）と同様の流れで実行される。

　この場合のパッキング符号化処理の流れの例を、図２２のフローチャートを参照して説明する。

　パッキング符号化処理が開始されると、ステップＳ３５１乃至ステップＳ３５７の各処理が、図１９のステップＳ３０１乃至ステップＳ３０７の各処理（「方法２」の場合）と同様に実行される。

　ステップＳ３５８において、オキュパンシーマップ生成部１２１は、ステップＳ３０７のスムーシング処理結果に基づいて、スムーシング処理が施される位置を示す追加オキュパンシーマップを生成する。つまり、オキュパンシーマップ生成部１２１は、スムーシング処理が行われる領域にフラグを立てるように、追加オキュパンシーマップを生成する。

　そして、ステップＳ３５９乃至ステップＳ３６３の各処理が、図１９のステップＳ３０９乃至ステップＳ３１３の各処理と同様に実行される。

　以上のように、スムーシング処理結果に基づいて、スムーシング処理が行われる範囲を示す追加オキュパンシーマップを生成し、伝送することにより、受信側において、その追加オキュパンシーマップに基づいて、より容易に適切な範囲にスムーシング処理を行うことができる。つまり、受信側において、スムーシング処理をかける範囲の探索が不要になるので、負荷の増大を抑制することができる。

　　＜３Ｄ再構築処理の流れ＞
　次に、受信側について説明する。この場合、復号装置２００（および３Ｄ再構築部２０６）は、「方法１－１」の場合（図１３、図１４）と基本的に同様の構成を有する。また、この場合の復号処理は、復号装置２００により、図１５のフローチャートと同様の流れで実行される。そして、この場合の復号処理のステップＳ２０７（図１５）において実行される３Ｄ再構築処理の流れの例を、図２２のフローチャートを参照して説明する。

　この場合、３Ｄ再構築処理が開始されると、ジオメトリデータ再構築部２２２は、ステップＳ３８１において、補助パッチ情報とオキュパンシーマップとを用いて、ジオメトリビデオフレームをアンパッキングし、ジオメトリデータを再構築する。

　ステップＳ３８２において、アトリビュートデータ再構築部２２３は、補助パッチ情報とオキュパンシーマップとを用いて、カラービデオフレームをアンパッキングし、アトリビュートデータを再構築する。

　ステップＳ３８３において、ジオメトリスムーシング処理部２２４は、追加オキュパンシーマップに基づいて、ジオメトリデータをスムーシング処理する。つまり、ジオメトリスムーシング処理部２２４は、追加オキュパンシーマップにより指定される範囲に対して、スムーシング処理を行う。

　ステップＳ３８４において、リカラー処理部２２５は、リカラー処理を行い、ステップＳ３８２において再構築されたアトリビュートデータを、ステップＳ３８３においてスムーシング処理されたジオメトリデータに対応させ、ポイントクラウドを再構築する。

　ステップＳ３８４の処理が終了すると、３Ｄ再構築処理が終了し、処理は図１５に戻る。

　このように、追加オキュパンシーマップが示すスムーシング処理を行う範囲に対してスムーシング処理を行うことにより、より容易に適切な範囲にスムーシング処理を行うことができる。つまり、受信側において、スムーシング処理をかける範囲の探索が不要になるので、負荷の増大を抑制することができる。

　＜５．第４の実施の形態（方法４）＞
　　＜再構築＞
　本実施の形態においては、上述の「方法４」について説明する。この「方法４」の場合、ベースパッチと同様に、ポイントクラウドの再構築に用いられる追加パッチが生成される。ただし、追加パッチはオプションであり、再構築に用いなくてもよい（追加パッチを省略してベースパッチのみでポイントクラウドの再構築を行うことができる）。

　　＜パッキング符号化部＞
　この場合も、符号化装置１００は、「方法１－１」の場合（図９）と基本的に同様の構成を有する。また、この場合のパッキング符号化部１０２の主な構成例を図２４に示す。図２４に示されるように、この場合のパッキング符号化部１０２は、「方法１－１」の場合（図１０）と基本的に同様の構成を有する。ただし、この場合、パッチ分解部１０１は、オキュパンシーマップとジオメトリデータの追加パッチを生成する。つまり、パッチ分解部１０１は、オキュパンシーマップとジオメトリデータについて、ベースパッチと追加パッチを生成する。

　したがって、パッキング符号化部１０２のオキュパンシーマップ生成部１２１は、ベースパッチに対応するオキュパンシーマップと、追加パッチに対応する追加オキュパンシーマップとを生成し、ジオメトリビデオフレーム生成部１２２は、ベースパッチを配置したジオメトリビデオフレームと、追加パッチを配置した追加ジオメトリビデオフレームとを生成する。

　補助パッチ情報生成部１３０は、オキュパンシーマップ生成部１２１およびジオメトリビデオフレーム生成部１２２のそれぞれから、ベースパッチに関する情報と追加パッチに関する情報とを取得し、それらを含む補助パッチ情報を生成する。

　OMap符号化部１２３は、オキュパンシーマップ生成部１２１において生成されたオキュパンシーマップと追加オキュパンシーマップとを符号化する。また、ビデオ符号化部１２４は、ジオメトリビデオフレーム生成部１２２において生成されたジオメトリビデオフレームと追加ジオメトリビデオフレームとを符号化する。補助パッチ情報符号化部１３１は、その補助パッチ情報を符号化し、符号化データを生成する。

　なお、アトリビュートデータについても追加パッチが生成されるようにしてもよいが、本例のように、追加パッチにおいてはアトリビュートデータを省略し、受信側のリカラー処理により追加パッチに対応するアトリビュートデータが得られるようにしてもよい。

　　＜パッキング符号化処理＞
　この場合も符号化処理は、符号化装置１００により、図１１のフローチャートと同様の流れで実行される。この場合の符号化処理のステップＳ１０３（図１１）において実行されるパッキング符号化処理の流れの例を、図２５のフローチャートを参照して説明する。

　この場合、パッキング符号化処理が開始されると、ステップＳ４０１乃至ステップＳ４０３の各処理は、図１２のステップＳ１２１乃至ステップＳ１２３の各処理と同様に実行される。

　ステップＳ４０４において、ジオメトリビデオフレーム生成部１２２は、追加パッチを配置した追加ジオメトリビデオフレームを生成する。

　ステップＳ４０５乃至ステップＳ４０７の各処理は、図１２のステップＳ１２４乃至ステップＳ１２６の各処理と同様に実行される。

　ステップＳ４０８において、ビデオ符号化部１２４は、追加ジオメトリビデオフレームを符号化する。

　ステップＳ４０９乃至ステップＳ４１５の各処理は、図１２のステップＳ１２７乃至ステップＳ１３３の各処理と同様に実行される。

　つまり、この場合、少なくともジオメトリデータとオキュパンシーマップの追加パッチが生成される。これにより、追加パッチをポイントクラウドの再構築に用いることができる。

　　＜３Ｄ再構築部＞
　次に、受信側について説明する。この場合も、復号装置２００は、「方法１－１」の場合（図１３）と基本的に同様の構成を有する。また、この場合の３Ｄ再構築部２０６の主な構成例を図２６に示す。図２６に示されるように、この場合の３Ｄ再構築部２０６は、ベースパッチ３Ｄ再構築部４５１、ジオメトリスムーシング処理部４５２、リカラー処理部４５３、追加パッチ３Ｄ再構築部４５４、ジオメトリスムーシング処理部４５５、およびリカラー処理部４５６を有する。

　ベースパッチ３Ｄ再構築部４５１、ジオメトリスムーシング処理部４５２、およびリカラー処理部４５３は、ベースパッチに関する処理を行う。ベースパッチ３Ｄ再構築部４５１は、補助パッチ情報、ベースパッチに対応するオキュパンシーマップ、ジオメトリビデオフレームのベースパッチ、およびカラービデオフレームのベースパッチを用いて、ポイントクラウド（ベースパッチに対応する小領域）を再構築する。ジオメトリスムーシング処理部４５２は、そのベースパッチに対応するジオメトリデータに対してスムーシング処理を行う。リカラー処理部４５３は、スムーシング処理が行われたジオメトリデータにアトリビュートデータを対応させるようにリカラー処理を行う。

　追加パッチ３Ｄ再構築部４５４、ジオメトリスムーシング処理部４５５、およびリカラー処理部４５６は、追加パッチに関する処理を行う。追加パッチ３Ｄ再構築部４５４は、補助パッチ情報、追加オキュパンシーマップ、および追加ジオメトリビデオフレームを用いて（つまり追加パッチを用いて）、ポイントクラウド（追加パッチに対応する小領域）を再構築する。ジオメトリスムーシング処理部４５５は、そのベースパッチに対応するジオメトリデータに対してスムーシング処理を行う。リカラー処理部４５６は、リカラー処理部４５３によるリカラー処理結果、すなわち、ベースパッチのアトリビュートデータを用いてリカラー処理を行う。これにより、リカラー処理部４５６は、ベースパッチに対応するポイントクラウドと、追加パッチに対応するポイントクラウドとを合成し、ベースパッチおよび追加パッチに対応するポイントクラウドを生成し、出力する。

　　＜３Ｄ再構築処理の流れ＞
　この場合も復号処理は、復号装置２００により、図１５のフローチャートと同様の流れで実行される。この場合の復号処理のステップＳ２０７（図１５）において実行される３Ｄ再構築処理の流れの例を、図２７のフローチャートを参照して説明する。

　この場合、３Ｄ再構築処理が開始されると、ベースパッチ３Ｄ再構築部４５１は、ステップＳ４５１において、ベースパッチについて、補助パッチ情報とオキュパンシーマップを用いて、ジオメトリビデオフレームとカラービデオフレームをアンパッキングし、ベースパッチに対応するポイントクラウドを再構築する。

　ステップＳ４５２において、ジオメトリスムーシング処理部４５２は、ベースパッチについて、ジオメトリデータをスムーシング処理する。つまり、ジオメトリスムーシング処理部４５２は、ステップＳ４５１において得られた、ベースパッチに対応するポイントクラウドのジオメトリデータに対してスムーシング処理を行う。

　ステップＳ４５３において、リカラー処理部４５３は、ベースパッチについてリカラー処理を行う。つまり、リカラー処理部４５３は、ステップＳ４５１において得られた、ベースパッチに対応するポイントクラウドのアトリビュートデータを、そのジオメトリデータに対応させるようにリカラー処理を行う。

　ステップＳ４５４において、追加パッチ３Ｄ再構築部４５４は、例えば、補助パッチ情報等に基づいて、追加パッチを復号するか否かを判定する。例えば、追加パッチが存在し、その追加パッチを復号すると判定された場合、処理はステップＳ４５５に進む。

　ステップＳ４５５において、追加パッチ３Ｄ再構築部４５４は、追加パッチについて、補助パッチ情報と追加オキュパンシーマップを用いて、追加ジオメトリビデオフレームをアンパッキングし、追加パッチに対応するジオメトリデータを再構築する。

　ステップＳ４５６において、ジオメトリスムーシング処理部４５５は、その追加パッチについて、ジオメトリデータをスムーシング処理する。つまり、ジオメトリスムーシング処理部４５５は、ステップＳ４５５において得られた、追加パッチに対応するポイントクラウドのジオメトリデータに対してスムーシング処理を行う。

　ステップＳ４５７において、リカラー処理部４５６は、ベースパッチのアトリビュートデータを用いて追加パッチのリカラー処理を行う。つまり、リカラー処理部４５６は、ベースパッチのアトリビュートデータを、ステップＳ４５６のスムーシング処理により得られたジオメトリデータに対応させる。

　このように各処理を実行することにより、ベースパッチと追加パッチに対応するポイントクラウドが再構築される。ステップＳ４５７の処理が終了すると、３Ｄ再構築処理が終了する。また、ステップＳ４５４において、追加パッチを復号しないと判定された場合、３Ｄ再構築処理が終了する。つまり、ベースパッチに対応するポイントクラウドが出力される。

　以上のように、追加パッチを用いてポイントクラウドの再構築を行うことができるので、より多様な方法でポイントクラウドを再構築することができる。

　＜６．第５の実施の形態（方法５）＞
　　＜補助パッチ情報＞
　以上のように、追加パッチを適用する場合、例えば、図２８に示される表５０１のように、補助パッチ情報において、「１．ベースパッチに関する情報」の他に、「２．追加パッチに関する情報」を伝送するようしてもよい。

　この「２．追加パッチに関する情報」の内容は任意である。例えば、「２－１．追加パッチフラグ」が含まれていてもよい。この追加パッチフラグは、対応するパッチが追加パッチであるか否かを示すフラグ情報である。例えば、この追加パッチフラグが「真（１）」の場合、対応するパッチが追加パッチであることを示す。このフラグ情報を参照することにより、追加パッチとベースパッチとをより容易に識別することができる。

　また、「２－２．追加パッチの用途に関する情報」が「２．追加パッチに関する情報」に含まれていてもよい。この「２－２．追加パッチの用途に関する情報」として、例えば、「２－２－１．追加パッチの作用対象を示す情報」が含まれていてもよい。この「２－２－１．追加パッチの作用対象を示す情報」は、例えば、図２９の表５０２のように、パラメータの値によって追加パッチがどのようなデータに影響を及ぼすかを示す。

　図２９の例の場合、パラメータの値が「０」のとき、追加パッチの作用対象がベースパッチに対応するオキュパンシーマップであることを示す。また、パラメータの値が「１」のとき、追加パッチの作用対象がジオメトリデータのベースパッチであることを示す。さらに、パラメータの値が「２」のとき、追加パッチの作用対象がアトリビュートデータのベースパッチであることを示す。また、パラメータの値が「３」のとき、追加パッチの作用対象が追加パッチに対応するオキュパンシーマップであることを示す。さらに、パラメータの値が「４」のとき、追加パッチの作用対象がジオメトリデータの追加パッチであることを示す。また、パラメータの値が「５」のとき、追加パッチの作用対象がアトリビュートデータの追加パッチであることを示す。さらに、パラメータの値が「６」のとき、追加パッチの作用対象がジオメトリデータとアトリビュートデータの追加パッチであることを示す。

　また、図２８に戻り、「２－２．追加パッチの用途に関する情報」として、例えば、「２－２－２．追加パッチを用いた処理内容を示す情報」が含まれていてもよい。この「２－２－２．追加パッチを用いた処理内容を示す情報」は、例えば、図３０の表５０３のように、パラメータの値によって追加パッチがどのような処理に用いられるかを示す。

　図３０の例の場合、パラメータの値が「０」のとき、追加パッチがポイントクラウドの再構築に用いられることを示す。また、パラメータの値が「１」のとき、追加パッチがポイントの追加に用いられることを示す。つまり、この場合、ベースパッチと追加パッチとでビット毎の論理積（OR）が導出される。さらに、パラメータの値が「２」のとき、追加パッチがポイントの削除に用いられることを示す。つまり、この場合、ベースパッチと追加パッチとでビット毎の論理和（AND）が導出される。

　また、パラメータの値が「３」のとき、追加パッチの値とベースパッチの値とを足し合わせることを示す。さらに、パラメータの値が「４」のとき、ベースパッチの値を追加パッチの値に置き換えることを示す。

　また、パラメータの値が「５」のとき、対象点にフラグを立てスムーシング処理を行うことを示す。さらに、パラメータの値が「６」のとき、ベースパッチに対応する再構築されたポイントクラウドからリカラー処理を行うことを示す。また、パラメータの値が「７」のとき、追加パッチが視点からの距離に応じて復号されることを示す。

　図２８に戻り、「２－３．追加パッチの位置合わせに関する情報」が「２．追加パッチに関する情報」に含まれていてもよい。この「２－３．追加パッチの位置合わせに関する情報」として、例えば、「２－３－１．対象パッチID」、「２－３－２．追加パッチの位置情報」、「２－３－３．追加パッチの位置シフト情報」、「２－３－４．追加パッチのサイズ情報」等の情報が含まれていてもよい。

　例えば、ベースパッチと追加パッチとで位置が異なる場合、「２－３－１．対象パッチID」と「２－３－２．追加パッチの位置情報」とが「２．追加パッチに関する情報」に含まれていてもよい。

　「２－３－１．対象パッチID」は、対象となるパッチの識別情報（patchIndex）である。「２－３－２．追加パッチの位置情報」は、追加パッチのオキュパンシーマップ上の位置を示す情報であり、例えば、（u0', v0'）等のように２次元平面座標により示される。例えば、図３１において、ベースパッチ５１１に対応する追加パッチが追加パッチ５１２であるとする。このとき、追加パッチ５１２の左上の点５１３の座標が「２－３－２．追加パッチの位置情報」である。なお、この「２－３－２．追加パッチの位置情報」は、図３１の矢印５１４のように、ベースパッチの位置（u0, v0）からのシフト量（Δu0, Δv0）で表すようにしてもよい。なお、Δu0＝u0-u0', Δv0＝v0-v0'である。

　また、例えば、ベースパッチと追加パッチとでサイズが異なる場合、「２－３－３．追加パッチの位置シフト情報」と、「２－３－４．追加パッチのサイズ情報」とが「２．追加パッチに関する情報」に含まれていてもよい。

　「２－３－３．追加パッチの位置シフト情報」は、サイズ変更による位置のシフト量である。図３１の例の場合、矢印５１４が「２－３－３．追加パッチの位置シフト情報」に相当する。つまり、この「２－３－３．追加パッチの位置シフト情報」は、（Δu0, Δv0）で表す。

　「２－３－４．追加パッチのサイズ情報」は、変更後のパッチのサイズを示す。つまり、図３１において点線で示される追加パッチ５１２のサイズを示す情報であり、例えば、w', h'等のように幅と高さにより示される。なお、この「２－３－４．追加パッチのサイズ情報」は、ベースパッチとの差分Δw、Δhで表すようにしてもよい。なお、Δw＝w-w', Δh=h-h'である。

　なお、ベースパッチとパッチ情報を共有することで、位置合わせの情報の伝送を省略することもできる。

　また、図２８に戻り、「２－４．追加オキュパンシーマップのサイズ設定情報」が「２．追加パッチに関する情報」に含まれていてもよい。その「２－４．追加オキュパンシーマップのサイズ設定情報」として、オキュパンシーマップの精度を示す「２－４－１．オキュパンシープレシジョン（Occupancy Precision）」、「２－４－２．画サイズ」、「２－４－３．パッチ毎の比率」等が含まれていてもよい。

　つまり、追加オキュパンシーマップの精度を従来のように、「２－４－１．オキュパンシープレシジョン（Occupancy Precision）」により表すようにしてもよいし、「２－４－２．画サイズ」により表すようにしてもよいし、「２－４－３．パッチ毎の比率」により表すようにしてもよい。

　「２－４－２．画サイズ」は、オキュパンシーマップの大きさを示す情報であり、例えば、オキュパンシーマップの幅（width）と高さ（height）により示す。つまり、図３２のＡに示されるベースのオキュパンシーマップ５２１に対して、図３２のＢに示される追加オキュパンシーマップ５２２の高さが１倍であり、幅が２倍であるとすると、width=2、height=1と指定される。このようにすることにより、オキュパンシーマップ内のパッチをまとめて制御することができる。これにより補助パッチ情報についての符号化効率の低減を抑制することができる。

　「２－４－３．パッチ毎の比率」は、パッチ毎にその比率を指定する情報である。たとえば、図３２のＣに示されるように、パッチ５３１、パッチ５３２、およびパッチ５３３のそれぞれの比率を示す情報を伝送することができる。このようにすることにより、より柔軟に各パッチのサイズを制御することができる。例えば、必要なパッチのみ精度を向上させることができる。

　なお、以上のような「方法１」乃至「方法４」の各方法において伝送する情報の例を図３３の表５５１に示す。この表５５１に示されるように、各方法において多様な情報を伝送することができる。

　以上のように、ベースパッチに対して追加パッチを設けることにより、局所的な情報精度の制御が可能になる。これにより、符号化効率の低減を抑制したり、負荷の増大を抑制したり、再構築したポイントクラウドの品質の低減を抑制したりすることができる。

　また、例えば、視点位置からの距離に応じた精度でオブジェクトの再構築を行うこともできる。例えば、視点位置からの距離に応じて追加パッチを利用するか否かを制御することにより、視点位置から遠方のオブジェクトはベースパッチの粗い精度で再構築し、視点位置から近方のオブジェクトは追加パッチの高精度で再構築することができる。

　さらに、例えば、ユーザの権限等に基づいて再構築されたポイントクラウドの品質を局所的に制御する（表示用画像の主観画質をよく所的に制御する）ことができる。例えば、高額の利用料を支払ったユーザや管理者権限のユーザには、ポイントクラウド全体がオリジナルの品質（高解像度）で提供するが、低額の利用料を支払ったユーザやゲスト権限のユーザには、一部が低品質（低解像度）化されて提供される（つまり、２次元画像において一部の領域にモザイク処理がかけられたような状態で提供される）といった制御を行うことができる。したがって、多様なサービスを実現することができる。

　＜７．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

　図３４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　図３４に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

　　＜本技術の適用対象＞
　以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。

　また、以上においては、本技術の適用例として符号化装置１００および復号装置２００等について説明したが、本技術は、任意の構成に適用することができる。

　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。

　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連付けられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

　なお、本技術は以下のような構成も取ることができる。
　（１）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成するビデオフレーム生成部と、
　前記ビデオフレーム生成部により生成された前記ベースビデオフレームおよび前記追加ビデオフレームを符号化し、符号化データを生成する符号化部と
　を備える画像処理装置。
　（２）　前記追加パッチは、前記ベースパッチよりも高精度な情報により構成される
　（１）に記載の画像処理装置。
　（３）　前記追加ビデオフレームはオキュパンシーマップであり、
　前記追加パッチは、前記ベースパッチが示す領域に追加する領域、または、前記ベースパッチが示す領域から削除する領域を示す
　（２）に記載の画像処理装置。
　（４）　前記追加パッチは、前記ベースパッチのスムーシング処理結果を示す
　（３）に記載の画像処理装置。
　（５）　前記追加ビデオフレームはジオメトリビデオフレームまたはカラービデオフレームであり、
　前記追加パッチは、前記ベースパッチの値に加算される値、または、前記ベースパッチの値に置き換えられる値により構成される
　（２）に記載の画像処理装置。
　（６）　前記追加パッチは、前記ベースパッチが示す領域の、所定の処理が施される範囲を示す
　（１）に記載の画像処理装置。
　（７）　前記追加パッチは、前記ベースパッチが示す領域の、スムーシング処理が行われる範囲を示す
　（６）に記載の画像処理装置。
　（８）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成し、
　生成された前記ベースビデオフレームおよび前記追加ビデオフレームを符号化し、符号化データを生成する
　画像処理方法。

　（９）　符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成する復号部と、
　前記復号部により生成された前記ベースビデオフレームと、前記追加ビデオフレームとを用いて前記ポイントクラウドを再構築する再構築部と
　を備える画像処理装置。
　（１０）　符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成し、
　生成された前記ベースビデオフレームと、前記追加ビデオフレームとを用いて前記ポイントクラウドを再構築する
　画像処理方法。

　（１１）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報であって、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグを含む補助パッチ情報を生成する補助パッチ情報生成部と、
　前記補助パッチ情報生成部により生成された前記補助パッチ情報を符号化し、符号化データを生成する補助パッチ情報符号化部と
　を備える画像処理装置。
　（１２）　前記補助パッチ情報生成部により生成された前記補助パッチ情報に対応する前記追加パッチが配置された追加ビデオフレームを生成する追加ビデオフレーム生成部と、
　前記追加ビデオフレーム生成部により生成された前記追加ビデオフレームを符号化する追加ビデオフレーム符号化部と
　をさらに備える
　（１１）に記載の画像処理装置。
　（１３）　前記追加ビデオフレームは、オキュパンシーマップおよびジオメトリビデオフレームである
　（１２）に記載の画像処理装置。
　（１４）　前記補助パッチ情報は、前記追加パッチの作用対象を示す情報をさらに含む
　（１１）に記載の画像処理装置。
　（１５）　前記補助パッチ情報は、前記追加パッチを用いて行われる処理内容を示す情報をさらに含む
　（１１）に記載の画像処理装置。
　（１６）　前記補助パッチ情報は、前記追加パッチの位置合わせに関する情報をさらに含む
　（１１）に記載の画像処理装置。
　（１７）　前記補助パッチ情報は、前記追加パッチのサイズ設定に関する情報をさらに含む
　（１１）に記載の画像処理装置。
　（１８）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報であって、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグを含む補助パッチ情報を生成し、
　生成された前記補助パッチ情報を符号化し、符号化データを生成する
　画像処理方法。

　（１９）　符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報である補助パッチ情報を生成する補助パッチ情報復号部と、
　前記補助パッチ情報復号部により生成された前記補助パッチ情報に含まれる、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグに基づいて、前記追加パッチを用いた前記ポイントクラウドの再構築を行う再構築部と
　を備える画像処理装置。
　（２０）　符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報である補助パッチ情報を生成し、
　生成された前記補助パッチ情報に含まれる、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグに基づいて、前記追加パッチを用いた前記ポイントクラウドの再構築を行う
　画像処理方法。

　１００　符号化装置，　１０１パッチ分解部，　１０２　パッキング符号化部，　１０３　マルチプレクサ，　１２１　オキュパンシーマップ生成部，　１２２　ジオメトリビデオフレーム生成部，　１２３　OMap符号化部，　１２４　ビデオ符号化部，　１２５　ジオメトリビデオフレーム復号部，　１２６　ジオメトリデータ再構築部，　１２７　ジオメトリスムーシング処理部，　１２８　カラービデオフレーム生成部，　１２９　ビデオ符号化部，　１３０　補助パッチ情報生成部，　１３１　補助パッチ情報符号化部，　２００　復号装置，　２０１　デマルチプレクサ，　２０２　補助パッチ情報復号部，　２０３　OMap復号部，　２０４および２０５　ビデオ復号部，　２０６　３Ｄ再構築部，　２２１　オキュパンシーマップ再構築部，　２２２　ジオメトリデータ再構築部，　２２３　アトリビュートデータ再構築部，　２２４　ジオメトリスムーシング処理部，　２２５　リカラー処理部，　４５１　ベースパッチ３Ｄ再構築部，　４５２　ジオメトリスムーシング処理部，　４５３　リカラー処理部，　４５４　追加パッチ３Ｄ再構築部，　４５５　ジオメトリスムーシング処理部，　４５６　リカラー処理部

Claims

　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成するビデオフレーム生成部と、
　前記ビデオフレーム生成部により生成された前記ベースビデオフレームおよび前記追加ビデオフレームを符号化し、符号化データを生成する符号化部と
　を備える画像処理装置。
　前記追加パッチは、前記ベースパッチよりも高精度な情報により構成される
　請求項１に記載の画像処理装置。
　前記追加ビデオフレームはオキュパンシーマップであり、
　前記追加パッチは、前記ベースパッチが示す領域に追加する領域、または、前記ベースパッチが示す領域から削除する領域を示す
　請求項２に記載の画像処理装置。
　前記追加パッチは、前記ベースパッチのスムーシング処理結果を示す
　請求項３に記載の画像処理装置。
　前記追加ビデオフレームはジオメトリビデオフレームまたはカラービデオフレームであり、
　前記追加パッチは、前記ベースパッチの値に加算される値、または、前記ベースパッチの値に置き換えられる値により構成される
　請求項２に記載の画像処理装置。
　前記追加パッチは、前記ベースパッチが示す領域の、所定の処理が施される範囲を示す
　請求項１に記載の画像処理装置。
　前記追加パッチは、前記ベースパッチが示す領域の、スムーシング処理が行われる範囲を示す
　請求項６に記載の画像処理装置。
　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成し、
　生成された前記ベースビデオフレームおよび前記追加ビデオフレームを符号化し、符号化データを生成する
　画像処理方法。
　符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成する復号部と、
　前記復号部により生成された前記ベースビデオフレームと、前記追加ビデオフレームとを用いて前記ポイントクラウドを再構築する再構築部と
　を備える画像処理装置。
　符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したベースパッチが配置されたベースビデオフレームと、前記ポイントクラウドの前記ベースパッチに対応する前記部分領域の少なくとも一部を含む部分領域を、前記ベースパッチの場合と同一の前記２次元平面に、少なくとも一部のパラメータを前記ベースパッチの場合と変えて投影した追加パッチが配置された追加ビデオフレームとを生成し、
　生成された前記ベースビデオフレームと、前記追加ビデオフレームとを用いて前記ポイントクラウドを再構築する
　画像処理方法。
　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報であって、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグを含む補助パッチ情報を生成する補助パッチ情報生成部と、
　前記補助パッチ情報生成部により生成された前記補助パッチ情報を符号化し、符号化データを生成する補助パッチ情報符号化部と
　を備える画像処理装置。
　前記補助パッチ情報生成部により生成された前記補助パッチ情報に対応する前記追加パッチが配置された追加ビデオフレームを生成する追加ビデオフレーム生成部と、
　前記追加ビデオフレーム生成部により生成された前記追加ビデオフレームを符号化する追加ビデオフレーム符号化部と
　をさらに備える
　請求項１１に記載の画像処理装置。
　前記追加ビデオフレームは、オキュパンシーマップおよびジオメトリビデオフレームである
　請求項１２に記載の画像処理装置。
　前記補助パッチ情報は、前記追加パッチの作用対象を示す情報をさらに含む
　請求項１１に記載の画像処理装置。
　前記補助パッチ情報は、前記追加パッチを用いて行われる処理内容を示す情報をさらに含む
　請求項１１に記載の画像処理装置。
　前記補助パッチ情報は、前記追加パッチの位置合わせに関する情報をさらに含む
　請求項１１に記載の画像処理装置。
　前記補助パッチ情報は、前記追加パッチのサイズ設定に関する情報をさらに含む
　請求項１１に記載の画像処理装置。
　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報であって、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグを含む補助パッチ情報を生成し、
　生成された前記補助パッチ情報を符号化し、符号化データを生成する
　画像処理方法。
　符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報である補助パッチ情報を生成する補助パッチ情報復号部と、
　前記補助パッチ情報復号部により生成された前記補助パッチ情報に含まれる、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグに基づいて、前記追加パッチを用いた前記ポイントクラウドの再構築を行う再構築部と
　を備える画像処理装置。
　符号化データを復号し、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを部分領域毎に２次元平面に投影したパッチに関する情報である補助パッチ情報を生成し、
　生成された前記補助パッチ情報に含まれる、前記ポイントクラウドの対応する部分領域の再構築に必須ではない追加パッチであるかを示す追加パッチフラグに基づいて、前記追加パッチを用いた前記ポイントクラウドの再構築を行う
　画像処理方法。