JPWO2019142666A1 - 画像処理装置および方法 - Google Patents

Abstract

本開示は、３Ｄデータの２次元投影による品質の低減を抑制することができるようにする画像処理装置および方法に関する。３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する。また、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

本開示は、画像処理装置および方法に関し、特に、３Ｄデータの２次元投影による品質の低減を抑制することができるようにした画像処理装置および方法に関する。

従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法として、ポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するアプローチ（以下、ビデオベースドアプローチ（Video-based approach）とも称する）が提案されている（例えば、非特許文献１乃至非特許文献３参照）。

Tim Golla and Reinhard Klein, "Real-time Point Cloud Compression ", IEEE, 2015 K. Mammou, "Video-based and Hierarchical Approaches Point Cloud Compression", MPEG m41649, Oct. 2017 "PCC Test Model Category 2 v0", N17248 MPEG output document, October 2017

しかしながら、符号化対象となるポイントクラウドは、ノイズや撮像システムの特性により、オブジェクト表面以外にもPointが存在する。そのため、２次元平面への投影が困難な場合があり、この２次元平面への投影を伴う符号化により、品質が低減するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、３Ｄデータの２次元投影による品質の低減を抑制することができるようにするものである。

本技術の一側面の画像処理装置は、３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する２次元投影部を備える画像処理装置である。

本技術の一側面の画像処理方法は、３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する画像処理方法である。

本技術の他の側面の画像処理装置は、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する３次元投影部を備える画像処理装置である。

本技術の他の側面の画像処理方法は、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する画像処理方法である。

本技術の一側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータが、複数レイヤの２次元平面に投影される。

本技術の他の側面の画像処理装置および方法においては、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータが、３次元空間に投影される。

本開示によれば、情報を処理することができる。特に、３Ｄデータの２次元投影による品質の低減を抑制することができる。

ポイントクラウドの例を説明する図である。 ビデオベースドアプローチの概要の例を説明する図である。 各実施の形態において説明する本技術をまとめた図である。 符号化装置の主な構成例を示すブロック図である。 パッチ分解部の主な構成例を説明する図である。 復号装置の主な構成例を示すブロック図である。 ３Ｄ再構築部の主な構成例を示すブロック図である。 従来の２次元投影の様子の例を示す図である。 本技術を適用した２次元投影の様子の例を示す図である。 符号化処理の流れの例を説明するフローチャートである。 パッチ分解処理の流れの例を説明するフローチャートである。 ２次元投影処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 ポイントクラウド再構築処理の流れの例を説明するフローチャートである。 ３次元投影処理の流れの例を説明するフローチャートである。 従来の２次元投影の様子の例を示す図である。 本技術を適用した２次元投影の様子の例を示す図である。 ２次元投影処理の流れの例を説明するフローチャートである。 ３次元投影処理の流れの例を説明するフローチャートである。 従来の２次元投影の様子の例を示す図である。 本技術を適用した２次元投影の様子の例を示す図である。 ２次元投影処理の流れの例を説明するフローチャートである。 ３次元投影処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．ビデオベースドアプローチ
２．第１の実施の形態（可変レイヤ数）
３．第２の実施の形態（無いポイントの定義）
４．第３の実施の形態（可変奥行パラメータ）
５．付記

＜１．ビデオベースドアプローチ＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施例に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。

非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：（上述）
非特許文献４：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献５：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
非特許文献６：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017

つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献５に記載されているQuad-Tree Block Structure、非特許文献６に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。

＜ポイントクラウド＞
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ等のデータが存在した。

例えばポイントクラウドの場合、図１のＡに示されるような立体構造物を、図１のＢに示されるような多数の点の集合（点群）として表現する。つまり、ポイントクラウドのデータは、この点群の各点の位置情報や属性情報（例えば色等）により構成される。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。

＜ビデオベースドアプローチの概要＞
このようなポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するビデオベースドアプローチ（Video-based approach）が提案されている。

このビデオベースドアプローチでは、例えば図２に示されるように、入力されたポイントクラウド（Point cloud）が複数のセグメンテーション（領域またはパッチとも称する）に分割され、領域毎に２次元平面に投影される。なお、ポイントクラウドの位置毎のデータ（すなわち、各ポイントのデータ）は、上述のように位置情報（Geometry（Depthとも称する））と属性情報（Texture）とにより構成され、それぞれ、領域毎に２次元平面に投影される。

そして、２次元平面に投影された３Ｄデータ（ポイントクラウド）は、例えば、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等といった、２次元平面画像用の符号化方式により符号化される。

＜ビデオベースドアプローチに関する本技術＞
以上に説明したようなビデオベースドアプローチに関する本技術について説明する。図３は、各実施の形態において説明する本技術の一覧である。

この表の上から１段目（項目名の段は除く）には、従来（TMC2）におけるビデオベースドアプローチについて記載されている。つまり、従来のビデオベースドアプローチにおいては、３Ｄデータの２次元投影は、２レイヤ（２層）の２次元平面に対して行われていた。この仕様は画面全体において共通であった（どのセグメントについても同様の投影が行われていた）。したがって、このような投影の制御に用いられる投影制御情報は、フレーム単位の情報として、符号化側から復号側へのシグナルされていた。

しかしながら、符号化対象となるポイントクラウドは、ノイズや撮像システムの特性により、オブジェクト表面以外にもPointが存在する。そのため、上述のような従来の方法のような、２レイヤの２次元平面への投影は困難であるおそれがあった。したがって、２次元平面に投影できないポイントが発生し、２次元平面への投影を伴う符号化により、データの品質が低減するおそれがあった。

また、例えば、圧縮対象がSparse（疎でまばら）な性質を持つ場合、微小領域（Point）単位の投影が必要になり、たくさんの小領域を符号化するため、処理量、符号化効率ともに悪くなるおそれがあった。

図３の表の上から２段目（項目名の段は除く）には、第１の実施の形態（実施例１）において説明する本技術について記載されている。この方法は、３Ｄデータを投影する２次元平面のレイヤ（Layer）数を可変とし、奥行方向に重なる全てのポイントのデータ（位置毎のデータ）を、全て投影することができるようにレイヤ数を設定する方法である。

この場合、例えば、レイヤ数を示す情報が、領域毎に、符号化側から復号側へのシグナルされるようにしてもよい。

このようにすることにより、オブジェクト表面に厚みのあるポイントクラウドをより正確に再現することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。

図３の表の上から３段目（項目名の段は除く）には、第２の実施の形態（実施例２）において説明する本技術について記載されている。この方法は、３Ｄデータを２次元平面に投影する際に、「無いポイント」の定義を追加する方法である。

この場合、例えば、復号側において削除するポイントの画素値の定義が、符号化側から復号側にシグナルされるようにしてもよい。

このようにすることにより、Sparseなポイントクラウドをより正確に再現することができる。つまり、微小領域（Point）単位の投影が不要になり、処理量の増大や符号化効率の低減を抑制することができる。

図３の表の上から４段目（項目名の段は除く）には、第３の実施の形態（実施例３）において説明する本技術について記載されている。この方法は、２次元平面に投影する３Ｄデータの奥行の範囲を制御する奥行パラメータを領域毎に設定することができるようにする方法である。

この場合、例えば、その奥行パラメータが、符号化側から復号側にシグナルされるようにしてもよい。

このようにすることにより、領域毎の画質制御が可能になり、位置情報（Geometry）の効率の低減を抑制することができる。

＜符号化装置＞
次に、以上のような各手法を実現する構成について説明する。図４は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図４に示される符号化装置１００は、ポイントクラウドのような３Ｄデータを２次元平面に投影して２次元画像用の符号化方法により符号化を行う装置である。

例えば、符号化装置１００は、非特許文献１乃至非特許文献６に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で３Ｄデータの符号化を行う。

なお、図４においては、処理部やデータの流れ等の主なものを示しており、図４に示されるものが全てとは限らない。つまり、符号化装置１００において、図４においてブロックとして示されていない処理部が存在したり、図４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、符号化装置１００内の処理部等を説明する他の図においても同様である。

図４に示されるように符号化装置１００は、パッチ分解部１１１、パッキング部１１２、補助パッチ情報圧縮部１１３、ビデオ符号化部１１４、ビデオ符号化部１１５、OMap符号化部１１６、およびマルチプレクサ１１７を有する。

パッチ分解部１１１は、３Ｄデータの分解に関する処理を行う。例えば、パッチ分解部１１１は、符号化装置１００に入力される、３次元構造を表す３Ｄデータ（例えばポイントクラウド）を取得する（矢印１２１）。また、パッチ分解部１１１は、取得したその３Ｄデータを複数のパッチに分解し、そのパッチ毎に３Ｄデータを２次元平面に投影する。

パッチ分解部１１１は、パッチ毎に２次元平面に投影された３Ｄデータをパッキング部１１２に供給する（矢印１２２）。また、パッチ分解部１１１は、その分解に関する情報である補助パッチ情報を、補助パッチ情報圧縮部１１３に供給する（矢印１２３）。

パッキング部１１２は、データのパッキングに関する処理を行う。例えば、パッキング部１１２は、パッチ分解部１１１から供給されるパッチ毎に３Ｄデータが投影された２次元平面のデータを取得する（矢印１２２）。また、パッキング部１１２は、取得したその２次元平面の各レイヤを互いに異なるビデオフレームとしてパッキングする。例えば、パッキング部１１２は、ポイントの位置を示す位置情報（Gepmetry）、その位置情報に付加される色情報等の属性情報（Texture）、および、ポイントの存在の有無を示すオキュパンシーマップ（Occupancy Map）を、それぞれ、ビデオフレームとしてパッキングする。

パッキング部１１２は、生成したビデオフレームを後段の処理部に供給する（矢印１２４）。例えば、パッキング部１１２は、生成した位置情報（Geometry）のビデオフレームをビデオ符号化部１１４に供給する。また、例えば、パッキング部１１２は、生成した属性情報（Texture）のビデオフレームをビデオ符号化部１１５に供給する。さらに、例えば、パッキング部１１２は、生成したオキュパンシーマップのビデオフレームをOMap符号化部１１６に供給する。

また、パッキング部１１２は、そのパッキングに関する制御情報をマルチプレクサ１１７に供給する（矢印１２５）。

補助パッチ情報圧縮部１１３は、補助パッチ情報の圧縮に関する処理を行う。例えば、補助パッチ情報圧縮部１１３は、パッチ分解部１１１から供給されるデータを取得する（矢印１２３）。補助パッチ情報圧縮部１１３は、取得したデータに含まれる補助パッチ情報を符号化（圧縮）する。補助パッチ情報圧縮部１１３は、得られた補助パッチ情報の符号化データをマルチプレクサ１１７に供給する（矢印１２６）。

ビデオ符号化部１１４は、位置情報（Geometry）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１４は、パッキング部１１２から供給される位置情報（Geometry）のビデオフレームを取得する（矢印１２４）。また、ビデオ符号化部１１４は、その取得した位置情報（Geometry）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１４は、その符号化により得られた符号化データ（位置情報（Geometry）のビデオフレームの符号化データ）をマルチプレクサ１１７に供給する（矢印１２７）。

ビデオ符号化部１１５は、属性情報（Texture）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１５は、パッキング部１１２から供給される属性情報（Texture）のビデオフレームを取得する（矢印１２４）。また、ビデオ符号化部１１５は、その取得した属性情報（Texture）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１５は、その符号化により得られた符号化データ（属性情報（Texture）のビデオフレームの符号化データ）をマルチプレクサ１１７に供給する（矢印１２８）。

OMap符号化部１１６は、オキュパンシーマップのビデオフレームの符号化に関する処理を行う。例えば、OMap符号化部１１６は、パッキング部１１２から供給されるオキュパンシーマップのビデオフレームを取得する（矢印１２４）。また、OMap符号化部１１６は、その取得したオキュパンシーマップのビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。OMap符号化部１１６は、その符号化により得られた符号化データ（オキュパンシーマップのビデオフレームの符号化データ）をマルチプレクサ１１７に供給する（矢印１２９）。

マルチプレクサ１１７は、多重化に関する処理を行う。例えば、マルチプレクサ１１７は、補助パッチ情報圧縮部１１３から供給される補助パッチ情報の符号化データを取得する（矢印１２６）。また、例えば、マルチプレクサ１１７は、パッキング部１１２から供給されるパッキングに関する制御情報を取得する（矢印１２５）。また、例えば、マルチプレクサ１１７は、ビデオ符号化部１１４から供給される位置情報（Geometry）のビデオフレームの符号化データを取得する（矢印１２７）。また、例えば、マルチプレクサ１１７は、ビデオ符号化部１１５から供給される属性情報（Texture）のビデオフレームの符号化データを取得する（矢印１２８）。また、例えば、マルチプレクサ１１７は、OMap符号化部１１６から供給されるオキュパンシーマップのビデオフレームの符号化データを取得する（矢印１２９）。

マルチプレクサ１１７は、取得したそれらの情報を多重化して、ビットストリームを生成する。マルチプレクサ１１７は、その生成したビットストリームを符号化装置１００の外部に出力する（矢印１３０）。

＜パッチ分解部＞
図５は、パッチ分解部１１１の主な構成例を示すブロック図である。図５に示されるように、この場合のパッチ分解部１１１は、法線方向推定部１５１、セグメンテーション初期設定部１５２、セグメンテーション更新部１５３、２次元投影部１５４、および画素分布解析部１５５を有する。

法線方向推定部１５１は、３Ｄデータの表面の法線方向の推定に関する処理を行う。例えば、法線方向推定部１５１は、入力される３Ｄデータを取得する。また、法線方向推定部１５１は、その取得した３Ｄデータが表すオブジェクトの表面の法線方向を推定する。例えば、法線方向推定部１５１は、kd-treeを構築し、近傍を探索し、最適近似接平面を算出する等して法線方向を推定する。法線方向推定部１５１は、その法線方向の推定結果をその他のデータとともに、セグメンテーション初期設定部１５２に供給する。

セグメンテーション初期設定部１５２は、セグメンテーションの初期設定に関する処理を行う。例えば、セグメンテーション初期設定部１５２は、法線方向推定部１５１から供給されるデータを取得する。また、例えば、セグメンテーション初期設定部１５２は、法線方向推定部１５１により推定された法線方向の、６軸の各方向の成分に基づいて、３Ｄデータの、その法線方向に対応する面を分類する。セグメンテーション初期設定部１５２は、その分類結果を、他のデータとともにセグメンテーション更新部１５３に供給する。

セグメンテーション更新部１５３は、セグメンテーションの更新に関する処理を行う。例えば、セグメンテーション更新部１５３は、セグメンテーション初期設定部１５２から供給されるデータを取得する。そして、セグメンテーション更新部１５３は、セグメンテーション初期設定部１５２により設定された初期設定のセグメンテーションにおける小さすぎる領域をまとめ、十分に大きな領域となるようにする。セグメンテーション更新部１５３は、更新したセグメンテーションに関する情報を、その他の情報とともに、２次元投影部１５４に供給する。

２次元投影部１５４は、３Ｄデータの２次元投影に関する処理を行う。例えば、２次元投影部１５４は、セグメンテーション更新部１５３から供給されるデータを取得する。また、２次元投影部１５４は、画素分布解析部１５５を利用して、取得したデータに含まれる３Ｄデータのオキュパンシーマップを生成したり、その３Ｄデータやオキュパンシーデータを領域毎に２次元平面に投影したりする。２次元投影部１５４は、２次元平面に投影した３Ｄデータを、その他のデータとともに、パッキング部１１２に供給する。

画素分布解析部１５５は、２次元投影部１５４が処理対象とする３Ｄデータの画素分布の解析に関する処理を行う。

＜復号装置＞
図６は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図６に示される復号装置２００は、ポイントクラウドのような３Ｄデータが２次元平面に投影されて符号化された符号化データを、２次元画像用の復号方法により復号し、３次元空間に投影する装置である。

例えば、復号装置２００は、非特許文献１乃至非特許文献６に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で３Ｄデータの符号化データの復号を行う。

なお、図６においては、処理部やデータの流れ等の主なものを示しており、図６に示されるものが全てとは限らない。つまり、復号装置２００において、図６においてブロックとして示されていない処理部が存在したり、図６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、復号装置２００内の処理部等を説明する他の図においても同様である。

図６に示されるように復号装置２００は、デマルチプレクサ２１１、補助パッチ情報復号部２１２、ビデオ復号部２１３、ビデオ復号部２１４、OMap復号部２１５、アンパッキング部２１６、および３Ｄ再構築部２１７を有する。

デマルチプレクサ２１１は、データの逆多重化に関する処理を行う。例えば、デマルチプレクサ２１１は、復号装置２００に入力されるビットストリームを取得する。このビットストリームは、例えば、符号化装置１００より供給される。デマルチプレクサ２１１は、このビットストリームを逆多重化し、補助パッチ情報の符号化データを抽出し、それを補助パッチ情報復号部２１２に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、位置情報（Geometory）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１３に供給する。さらに、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、属性情報（Texture）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１４に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、オキュパンシーマップのビデオフレームの符号化データを抽出し、それをOMap復号部２１５に供給する。

補助パッチ情報復号部２１２は、補助パッチ情報の符号化データの復号に関する処理を行う。例えば、補助パッチ情報復号部２１２は、デマルチプレクサ２１１から供給される補助パッチ情報の符号化データを取得する。また、補助パッチ情報復号部２１２は、その取得したデータに含まれる補助パッチ情報の符号化データを復号する。補助パッチ情報復号部２１２は、その復号により得られた補助パッチ情報を３Ｄ再構築部２１７に供給する。

ビデオ復号部２１３は、位置情報（Geometory）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１３は、デマルチプレクサ２１１から供給される位置情報（Geometory）のビデオフレームの符号化データを取得する。また、例えば、ビデオ復号部２１３は、その取得した符号化データを復号し、位置情報（Geometory）のビデオフレームを得る。ビデオ復号部２１３は、その位置情報（Geometory）のビデオフレームを、アンパッキング部２１６に供給する。

ビデオ復号部２１４は、属性情報（Texture）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１４は、デマルチプレクサ２１１から供給される属性情報（Texture）のビデオフレームの符号化データを取得する。また、例えば、ビデオ復号部２１４は、その取得した符号化データを復号し、属性情報（Texture）のビデオフレームを得る。ビデオ復号部２１４は、その属性情報（Texture）のビデオフレームを、アンパッキング部２１６に供給する。

OMap復号部２１５は、オキュパンシーマップのビデオフレームの符号化データの復号に関する処理を行う。例えば、OMap復号部２１５は、デマルチプレクサ２１１から供給されるオキュパンシーマップのビデオフレームの符号化データを取得する。また、例えば、OMap復号部２１５は、その取得した符号化データを復号し、オキュパンシーマップのビデオフレームを得る。OMap復号部２１５は、そのオキュパンシーマップのビデオフレームを、アンパッキング部２１６に供給する。

アンパッキング部２１６は、アンパッキングに関する処理を行う。例えば、アンパッキング部２１６は、ビデオ復号部２１３から位置情報（Geometory）のビデオフレームを取得し、ビデオ復号部２１４から属性情報（Texture）のビデオフレームを取得し、OMap復号部２１５からオキュパンシーマップのビデオフレームを取得する。アンパッキング部２１６は、これらのビデオフレームをアンパッキングする。アンパッキング部２１６は、アンパッキングして得られた、位置情報（Geometory）のデータ、属性情報（Texture）のデータ、およびオキュパンシーマップのデータを、３Ｄ再構築部２１７に供給する。

３Ｄ再構築部２１７は、３Ｄデータの再構築に関する処理を行う。例えば、３Ｄ再構築部２１７は、補助パッチ情報復号部２１２から供給される補助パッチ情報や、アンパッキング部２１６から供給される位置情報（Geometory）のデータ、属性情報（Texture）のデータ、およびオキュパンシーマップのデータ等に基づいて、３Ｄデータを再構築する。３Ｄ再構築部２１７は、このような処理により得られた３Ｄデータを復号装置２００の外部に出力する。

この３Ｄデータは、例えば、表示部に供給されてその画像が表示されたり、記録媒体に記録されたり、通信を介して他の装置に供給されたりする。

＜３Ｄ再構築部＞
図７は、図６の３Ｄ再構築部２１７の主な構成例を示すブロック図である。図７に示されるように、３Ｄ再構築部２１７は、３次元投影部２５１、画素分布解析部２５２、逆セグメンテーション更新部２５３、逆セグメンテーション初期設定部２５４、および逆法線方向推定部２５５を有する。

３次元投影部２５１は、領域毎に２次元平面に投影された３Ｄデータの３次元空間への投影を行う。画素分布解析部２５２は、３次元投影部２５１による３次元空間への投影の際に、画素分布の解析等の処理を行う。

逆セグメンテーション更新部２５３は、セグメンテーション更新部１５３の逆処理を行う。逆セグメンテーション初期設定部２５４は、セグメンテーション初期設定部１５２の逆処理を行う。逆法線方向推定部２５５は、法線方向推定部１５１の逆処理を行う。

＜２．第１の実施の形態＞
＜３Ｄデータを投影する２次元平面のレイヤ数可変＞
従来の方法では、３Ｄデータは、図８に示される例のように、２つのレイヤ（レイヤ０およびレイヤ１）の２次元平面に投影されていた。

レイヤ０（Layer0）には、３Ｄデータの投影面から見て表面のポイントのデータが投影される。レイヤ１（Layer1）には、レイヤ０から所定の閾値（Default Th = 4Voxel）以内で最も離れているポイントのデータが投影される。この所定の閾値Th以上離れているものはドロップ（Drop）される。なお、レイヤ１においては、レイヤ０からの距離の差分値が画素値なる。

このように２枚の固定のレイヤだけで、オブジェクト表面を表現するアルゴリズムの為、その他のポイントの情報は失われる（再現することができない）。したがって、２次元平面に投影できないポイントが発生し、２次元平面への投影を伴う符号化により、データの品質が低減するおそれがあった。

そこで、３Ｄデータを投影する２次元平面のレイヤ数を可変としてもよい。例えば、３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影するようにする。例えば、画像処理装置において、３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する２次元投影部を備えるようにする。

例えば図９の場合、レイヤ０（Layer0）乃至レイヤ３（Layer3）の２次元平面（２レイヤより多いレイヤの２次元平面）が設定され、それらのレイヤに３Ｄデータが投影されている。このようにすることにより、オブジェクト表面に厚みのあるポイントクラウドをより正確に再現することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。

例えば、２次元投影部１５４が、３Ｄデータの、投影面から見て位置が奥行方向に重なる位置毎のデータを、複数のレイヤの２次元平面の、互いに異なるレイヤに投影するようにしてもよい。

図９の例の場合、奥行方向に重なるデータは、レイヤ０乃至レイヤ３の内の互いに異なるレイヤに投影されている。このようにすることにより、３Ｄデータの、投影面から見て位置が奥行方向に重なる位置毎のデータを全て２次元平面に投影することができる。つまり、情報の損失を抑制することができる。したがって、３Ｄデータの２次元投影による品質の低減を抑制することができる。

また、例えば、２次元投影部１５４が、この２次元平面について、３Ｄデータの投影面から見て位置が奥行方向に重なる位置毎のデータの最大数と同数のレイヤを生成するようにしてもよい。

図９の例の場合、当該領域（Local Bounding Box）の３Ｄデータにおいて、奥行方向に重なるデータの最大数は４である。したがって、この３Ｄデータは、４レイヤ（レイヤ０乃至レイヤ３）の２次元平面に投影される。

このようにすることにより、３Ｄデータの全ての位置毎のデータを、２次元平面に投影することができる。したがって、情報の損失を抑制することができるので、３Ｄデータの２次元投影による品質の低減を抑制することができる。

なお、この場合、２次元投影部１５４により３Ｄデータが投影された２次元平面のレイヤ数を示す情報を、ビットストリームにシグナルするようにしてもよい。つまり、ビットストリーム生成部として機能するマルチプレクサ１１７が、２次元投影部１５４により３Ｄデータが投影された２次元平面のレイヤ数を示す情報と、ビデオ符号化部１１４等により２次元平面が符号化されて得られた符号化データとを含むビットストリームを生成する。

このようにすることにより、復号側において、この２次元平面のレイヤ数を示す情報を参照することにより、容易に、２次元平面の全てのレイヤに投影された３Ｄデータを３次元空間に投影することができる。

＜符号化処理の流れ＞
符号化装置１００により実行される符号化処理の流れの例を、図１０のフローチャートを参照して説明する。

符号化処理が開始されると、符号化装置１００のパッチ分解部１１１は、ステップＳ１０１において、３Ｄデータをパッチに分解し、各パッチのデータを２次元平面に投影する。ステップＳ１０２において、補助パッチ情報圧縮部１１３は、ステップＳ１０１の処理により得られた補助パッチ情報を圧縮する。

ステップＳ１０３において、パッキング部１１２は、パッチ分解部１１１によりパッチ毎に２次元平面に投影された３Ｄデータを、ビデオフレームとしてパッキングする。ステップＳ１０４において、ビデオ符号化部１１４は、ステップＳ１０３の処理により得られた位置情報のビデオフレームであるジオメトリビデオフレームを、２次元画像用の符号化方法により符号化する。

ステップＳ１０５において、ビデオ符号化部１１４は、ステップＳ１０３の処理により得られた属性情報のビデオフレームであるカラービデオフレームを、２次元画像用の符号化方法により符号化する。ステップＳ１０６において、ビデオ符号化部１１４は、ステップＳ１０３の処理により得られたオキュパンシーマップを、２次元画像用の符号化方法により符号化する。

ステップＳ１０７において、マルチプレクサ１１７は、以上のように生成された各種情報を多重化し、これらの情報を含むビットストリームを生成する。

ステップＳ１０８において、マルチプレクサ１１７は、ステップＳ１０７の処理により生成したビットストリームを符号化装置１００の外部に出力する。

ステップＳ１０８の処理が終了すると、符号化処理が終了する。

＜パッチ分解処理の流れ＞
次に、図１１のフローチャートを参照して、図１０のステップＳ１０１において実行されるパッチ分解処理の流れの例を説明する。

パッチ分解処理が開始されると、法線方向推定部１５１は、ステップＳ１２１において、法線方向を推定する。ステップＳ１２２において、セグメンテーション初期設定部１５２は、セグメンテーションの初期設定を行う。ステップＳ１２３において、セグメンテーション更新部１５３は、ステップＳ１２２において設定された初期状態のセグメンテーションを、必要に応じて更新する。ステップＳ１２４において、２次元投影部１５４は、３Ｄデータを２次元平面に投影する。

ステップＳ１２４の処理が終了すると、パッチ分解処理が終了し、処理は図１０に戻る。

＜２次元投影処理の流れ＞
次に、図１２のフローチャートを参照して、図１１のステップＳ１２４において実行される２次元投影処理の流れの例を説明する。

２次元投影処理が開始されると、２次元投影部１５４は、ステップＳ１４１において、セグメンテーションによる領域抽出を行う。ステップＳ１４２において、２次元投影部１５４は、レイヤ（Layer）番号i=0に初期化する。

ステップＳ１４３において、画素分布解析部１５５は、未投影画素（２次元平面に投影されていない３Ｄデータの位置毎のデータ）が存在するか否かを判定する。未投影画素が存在すると判定された場合、処理はステップＳ１４４に進む。

ステップＳ１４４において、２次元投影部１５４は、領域を処理対象のレイヤi（Layer i）に投影する。ステップＳ１４５において、２次元投影部１５４は、変数iをインクリメントする（i++）。ステップＳ１４５の処理が終了すると処理はステップＳ１４３に戻り、それ以降の処理が繰り返される。

ステップＳ１４３において、未投影画素が存在しない（領域内の全ての画素が投影された）と判定された場合、処理はステップＳ１４６に進む。

ステップＳ１４６において、２次元投影部１５４は、レイヤ枚数iを示す情報を供給し、符号化させる。また、ステップＳ１４７において、２次元投影部１５４は、対応するiフレーム分のジオメトリ画像を符号化させる。つまり、２次元投影部１５４は、３Ｄデータを投影した２次元平面をパッキング部１１２に供給し、その各レイヤを互いに異なるフレームとしてパッキングさせる。

ステップＳ１４７の処理が終了すると、２次元投影処理が終了し、処理は図１１に戻る。

以上のように各処理を実行することにより、オブジェクト表面に厚みのあるポイントクラウドをより正確に再現することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。

＜レイヤ数可変な２次元平面に投影された３Ｄデータの再構築＞
復号側においては、符号化側より提供される２次元平面のレイヤ数を示す情報を用いることにより、上述のようにレイヤ数が可変の２次元平面に投影された３Ｄデータの再構築を実現することができる。

つまり、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影するようにする。例えば、画像処理装置において、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する３次元投影部を備えるようにする。

このようにすることにより、レイヤ数が可変の２次元平面に投影された３Ｄデータの再構築を実現することができる。つまり、オブジェクト表面に厚みのあるポイントクラウドをより正確に再現することができる。すなわち、３Ｄデータの２次元投影による品質の低減を抑制することができる。

＜復号処理の流れ＞
復号装置２００により実行される復号処理の流れの例を、図１３のフローチャートを参照して説明する。

復号処理が開始されると、復号装置２００のデマルチプレクサ２１１は、ステップＳ２０１において、ビットストリームを逆多重化する。

ステップＳ２０２において、補助パッチ情報復号部２１２は、ステップＳ２０１の処理によりビットストリームから抽出された補助パッチ情報を復号する。ステップＳ２０３において、ビデオ復号部２１３は、ステップＳ２０１の処理によりビットストリームから抽出されたジオメトリビデオフレーム（位置情報のビデオフレーム）の符号化データを復号する。

ステップＳ２０４において、ビデオ復号部２１４は、ステップＳ２０１の処理によりビットストリームから抽出されたカラービデオフレーム（属性情報のビデオフレーム）の符号化データを復号する。ステップＳ２０５において、OMap復号部２１５は、ステップＳ２０１の処理によりビットストリームから抽出されたオキュパンシーマップの符号化データを復号する。

ステップＳ２０６において、アンパッキング部２１６は、ステップＳ２０３乃至ステップＳ２０５において復号された、ジオメトリビデオフレーム、カラービデオフレーム、およびオキュパンシーマップをそれぞれアンパッキングする。

ステップＳ２０７において、３Ｄ再構築部２１７は、ステップＳ２０２において得られた補助パッチ情報と、ステップＳ２０６において得られた各種情報とに基づいて、例えばポイントクラウド等の３Ｄデータを再構築する。

ステップＳ２０７の処理が終了すると復号処理が終了する。

＜ポイントクラウド再構築処理の流れ＞
次に、図１４のフローチャートを参照して、図１３のステップＳ２０７において実行されるポイントクラウド再構築処理の流れの例を説明する。

ポイントクラウド再構築処理が開始されると、３次元投影部２５１は、ステップＳ２２１において、２次元画像を３次元空間に投影する。

ステップＳ２２２において、逆セグメンテーション更新部２５３は、セグメンテーションを逆向きに更新し、まとめたセグメンテーションを分ける。

ステップＳ２２３において、逆セグメンテーション初期設定部２５４は、セグメンテーションの初期設定の逆処理を行い、分類されたポイントをまとめる。

ステップＳ２２４において、逆法線方向推定部２５５は、法線方向推定の逆処理を行い、ポイントクラウドを再構築する。

ステップＳ２２４の処理が終了すると、ポイントクラウド再構築処理が終了し、処理は図１３に戻る。

＜３次元投影処理の流れ＞
次に、図１５のフローチャートを参照して、図１４のステップＳ２２１において実行される３次元投影処理の流れの例を説明する。

３次元投影処理が開始されると、３次元投影部２５１は、ステップＳ２４１において、レイヤ枚数ｉを示す情報を復号させる。

ステップＳ２４２において、３次元投影部２５１は、対応するiフレーム分のジオメトリ画像を復号させる。

ステップＳ２４３において、画素分布解析部２５２は、変数k=0に初期化する。

ステップＳ２４４において、画素分布解析部２５２は、変数ｋ<iであるか否かを判定する。k<iであると判定された場合、処理はステップＳ２４５に進む。

ステップＳ２４５において、３次元投影部２５１は、レイヤk（Layer k）の３Ｄデータを、３次元空間に投影する。

ステップＳ２４６において、画素分布解析部２５２は、変数kをインクリメントする（k++）。

ステップＳ２４６の処理が終了すると、処理は、ステップＳ２４４に戻る。

また、ステップＳ２４４において変数ｋ<iでないと判定された場合、３次元投影処理が終了し、処理は図１４に戻る。

以上のように各処理を実行することにより、レイヤ数が可変の２次元平面に投影された３Ｄデータの再構築を実現することができる。つまり、オブジェクト表面に厚みのあるポイントクラウドをより正確に再現することができる。すなわち、３Ｄデータの２次元投影による品質の低減を抑制することができる。

＜３．第２の実施の形態＞
＜「無い画素」を示す値のシグナル＞
疎（Sparse）な３Ｄデータを２次元平面に投影すると、その２次元平面上において３Ｄデータが投影されない画素、すなわち、画素値が設定されない画素（無い画素とも称する）が生じる場合がある。

従来の方法では、３Ｄデータが疎（Sparse）な場合、図１６に示されるように、そのような「無い画素」に対して画素値が補完された。例えば図１６の場合、レイヤ０（Layer0）の「無い画素」に対して、その左隣の画素から画素値がコピーされる（画素補完が行われる）。このような補完処理を行うのは、２次元画像用の符号化方法（例えばAVCやHEVC等）は、データが存在しない（空白）という概念が存在しないためである。

しかしながら、このような補完処理を行うと、３Ｄデータに本来存在しないポイントを付加することになる。そのため、３Ｄデータが劣化するおそれがあった。すなわち、３Ｄデータの２次元投影による品質が低減するおそれがあった。

なお、このような補完処理を行わない場合、３Ｄデータが投影される２次元平面上において「無い画素」が生じないように、領域を設定する必要がある。そのため、微小領域（Point）単位の投影が必要になり、処理量が増大したり、符号化効率が低減したりするおそれがあった。

そこで、３次元構造を表す３Ｄデータに含まれる位置毎のデータを２次元平面に投影し、その２次元平面の位置毎のデータが存在しない位置に、その位置毎のデータが存在しないことを示す所定の値をセットするようにする。例えば、画像処理装置において、３次元構造を表す３Ｄデータに含まれる位置毎のデータを２次元平面に投影し、その２次元平面の位置毎のデータが存在しない位置に、その位置毎のデータが存在しないことを示す所定の値をセットする２次元投影部を備えるようにする。

例えば図１７に示されるように、３Ｄデータが投影された２次元平面上における「無い画素」を示す画素値として、規定の値Ｘを用いる。このＸの値は、例えば、予め定められた所定の固定値としてもよい。例えば、Ｘ＝２５５（８bitの上限）としてもよい。

この場合、ビットストリーム中に、Ｘの値をシグナルする必要がある（復号側に通知する必要がある）。

また、例えば、Ｘの値は、Ｘ＞Ｄとなる任意の値を利用することができるようにしてもよい。ここでＤは、当該バウンディングボックスの奥行の最大値を示す。２次元平面の画素値に、そのバウンディングボックスの奥行の最大値以上の値がセットされることはあり得ない。したがって、その未使用の値をＸとして用いるようにしてもよい。

この場合、復号側において、バウンディングボックスのサイズに関する情報から、２次元平面にセットされた画素値が未使用の値であるか否かを判別することができる。したがって、このＸの値をビットストリームにシグナルする（つまり、このＸの値を復号側に通知する）必要はない。ただし、Ｘの値を復号側に通知するようにしても、もちろんよい。

このようにすることにより、符号化装置１００は、データの補完を必要とせずに、「無い画素」を表現することができるので、３Ｄデータの劣化を抑制することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。

また、このようにすることにより、符号化装置１００は、２次元平面における「符号化できない画素」の数を低減させることができるので、単に補完処理を行わない場合と比べて領域を大きく設定することができる。したがって、微小領域（Point）単位の投影が不要になり、処理量の増大や、符号化効率の低減を抑制することができる。

＜２次元投影処理の流れ＞
この場合も、符号化処理およびパッチ分解処理は、第１の実施の形態において説明した場合と同様に行われる。したがってそれらの説明は省略する。

図１１のステップＳ１２４において実行される、この場合の２次元投影処理の流れの例を、図１８のフローチャートを参照して説明する。

２次元投影処理が開始されると、２次元投影部１５４は、ステップＳ３０１において、セグメンテーションによる領域抽出を行う。ステップＳ３０２において、画素分布解析部１５５は、疎なポイントクラウドを含む領域であるか否かを判定する。疎なポイントクラウドを含む領域であると判定された場合、処理はステップＳ３０３に進む。

ステップＳ３０３において、２次元投影部１５４は、当該領域に対して「無い画素」を定義する情報をシグナルする。つまり、上述のＸを設定し、そのＸを利用して、２次元平面に投影された「存在しないポイント」を表現する。ステップＳ３０３の処理が終了すると、処理はステップＳ３０５に進む。

また、ステップＳ３０２において、疎なポイントクラウドを含まない領域であると判定された場合、処理はステップＳ３０４に進む。

ステップＳ３０４において、２次元投影部１５４は、当該領域を２次元平面の各レイヤに投影する。ステップＳ３０４の処理が終了すると処理はステップＳ３０５に進む。

ステップＳ３０５において、２次元投影部１５４は、当該領域のジオメトリ画像を符号化させる。

ステップＳ３０５の処理が終了すると、２次元投影処理が終了し、処理は図１１に戻る。

以上のように、２次元投影処理を行うことにより、符号化装置１００は、データの補完を必要とせずに、「無い画素」を表現することができる。したがって、３Ｄデータの劣化を抑制することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。

また、このようにすることにより、符号化装置１００は、２次元平面における「符号化できない画素」の数を低減させることができるので、単に補完処理を行わない場合と比べて領域を大きく設定することができる。したがって、微小領域（Point）単位の投影が不要になり、処理量の増大や、符号化効率の低減を抑制することができる。

＜シグナルされた「無い画素」を示す値の利用＞
復号側においては、２次元平面に投影された３Ｄデータを３次元空間に投影する際に、以上のようにしてシグナルされた２次元平面上の「無い画素」を示す画素値（上述のＸ）を検出し、削除する（投影しないようにする）。

つまり、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータの内、その位置毎のデータが存在しないことを示す所定の値のデータ以外のデータを、３次元空間に投影するようにする。例えば、画像処理装置において、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータの内、その位置毎のデータが存在しないことを示す所定の値のデータ以外のデータを、３次元空間に投影する３次元投影部を備えるようにする。

このようにすることにより、データの補完を必要とせずに、「無い画素」を表現することができるので、３Ｄデータの劣化を抑制することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。

また、このようにすることにより、２次元平面における「符号化できない画素」の数を低減させることができるので、単に補完処理を行わない場合と比べて領域を大きく設定することができる。したがって、微小領域（Point）単位の投影が不要になり、処理量の増大や、符号化効率の低減を抑制することができる。

＜３次元投影処理の流れ＞
この場合も、復号処理およびポイントクラウド再構築処理は、第１の実施の形態において説明した場合と同様に行われる。したがってそれらの説明は省略する。

図１４のステップＳ２２１において実行される、この場合の３次元投影処理の流れの例を、図１９のフローチャートを参照して説明する。

３次元投影処理が開始されると、３次元投影部２５１は、ステップＳ３２１において、処理対象の領域のジオメトリ画像を復号させる。

ステップＳ３２２において、画素分布解析部２５２は、そのジオメトリ画像に、「無い画素」を定義する情報（「無い画素」を示す画素値）が存在するか否かを判定する。存在すると判定された場合、処理はステップＳ３２３に進む。

ステップＳ３２３において、３次元投影部２５１は、その検出された「無い画素」を示す画素値の画素を削除する（３次元空間に投影しないように設定する）。ステップＳ３２３の処理が終了すると、処理はステップＳ３２４に進む。

また、ステップＳ３２２において、「無い画素」を示す画素値が存在しないと判定された場合、ステップＳ３２３の処理が省略され、処理はステップＳ３２４に進む。

つまり、処理対象の領域のジオメトリ画像に対して、「無い画素」を示す画素値の検出が行われ、検出された場合、その画素が削除される。

ステップＳ３２４において、３次元投影部２５１は、処理対象の領域のジオメトリ画像を３次元空間に投影する。

ステップＳ３２４の処理が終了すると、３次元投影処理が終了し、処理は図１４に戻る。

以上のように３次元投影処理を実行することにより、復号装置２００は、データの補完を必要とせずに、「無い画素」を表現することができるので、３Ｄデータの劣化を抑制することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。

また、このようにすることにより、復号装置２００は、２次元平面における「符号化できない画素」の数を低減させることができるので、単に補完処理を行わない場合と比べて領域を大きく設定することができる。したがって、微小領域（Point）単位の投影が不要になり、処理量の増大や、符号化効率の低減を抑制することができる。

＜４．第３の実施の形態＞
＜奥行パラメータの制御＞
３Ｄデータを２次元平面に投影する際に、その２次元平面に投影する３Ｄデータの奥行方向の範囲を制御する奥行パラメータthが利用される。この奥行パラメータthにより指定される範囲内のポイントが２次元平面への投影対象となるため、この奥行パラメータthの値は、領域（Local bounding box）の奥行方向の長さに関係する。例えば、領域の奥行方向の長さよりも奥行パラメータthの値が大きいと、他の領域のポイントも投影対象になり得る。つまり、領域の奥行方向の長さは、奥行パラメータthよりも長くする必要がある。

従来の方法では、図２０に示されるように、この奥行パラメータthは、フレーム単位で制御される。したがって、フレーム内の全ての奥行パラメータthは、共通の値を持つ。

しかしながら、例えば、顔と足、中心部と周辺部のように、フレーム内においてポイントクラウドの表面密度が一定でない場合もあり得る。そのため、奥行パラメータthの値が常に最適とならず、符号化効率が低減するおそれがあった。例えば、奥行方向に領域を分割した方が符号化効率が良いのに、奥行パラメータthの値が大きく、分割できないといったケースが起こり得る。

そこで、３次元構造を表す３Ｄデータの位置毎のデータを３次元空間の所定の領域毎に２次元平面に投影する際に、その領域毎に設定された１レイヤに投影可能な３次元構造を表す３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す奥行方向の範囲内の位置毎のデータを、その２次元平面に投影するようにする。例えば、画像処理装置において、３次元構造を表す３Ｄデータの位置毎のデータを３次元空間の所定の領域毎に２次元平面に投影する際に、その領域毎に設定された１レイヤに投影可能な３次元構造を表す３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す奥行方向の範囲内の位置毎のデータを、その２次元平面に投影する２次元投影部を備えるようにする。

例えば、図２１に示されるように、奥行パラメータをパッチ毎に伝送できるよう拡張し、領域毎に、レイヤ（Layer）に投影する画素の位置（TH)を伝送するようにする。このようにすることにより、例えば、領域１に対しては、奥行パラメータthを設定し、領域２に対しては、奥行パラメータth’を設定することができるようになる。したがって、レイヤ１（Layer1）の効率（Geometry符号化効率）が改善する。

＜２次元投影処理の流れ＞
この場合も、符号化処理およびパッチ分解処理は、第１の実施の形態において説明した場合と同様に行われる。したがってそれらの説明は省略する。

図１１のステップＳ１２４において実行される、この場合の２次元投影処理の流れの例を、図２２のフローチャートを参照して説明する。

２次元投影処理が開始されると、画素分布解析部１５５は、ステップＳ４０１において、領域番号i=0に初期化する。

ステップＳ４０２において、画素分布解析部１５５は、未処理画素が存在するか否かを判定する。未処理画素が存在すると判定された場合、処理はステップＳ４０３に進む。

ステップＳ４０３において、２次元投影部１５４は、セグメンテーションによる領域iの抽出を行う。

ステップＳ４０４において、２次元投影部１５４は、奥行パラメータの調整と符号化（ＲＤ判定）を行う。つまり、最適な奥行パラメータthと領域の範囲の設定がＲＤ判定により行われる。

ステップＳ４０５において、２次元投影部１５４は、ステップＳ４０４において行われた設定に基づいて、処理対象領域iのジオメトリ画像を２次元表面に投影する。

ステップＳ４０６において、２次元投影部１５４は、その２次元平面に投影されたジオメトリ画像を符号化させる。

ステップＳ４０７において、画素分布解析部１５５は、変数iをインクリメントする（i++）。ステップＳ４０７の処理が終了すると、処理はステップＳ４０２に戻り、それ以降の処理を繰り返す。

また、ステップＳ４０２において、未処理画素が存在しないと判定された場合、処理はステップＳ４０８に進む。

ステップＳ４０８において、２次元投影部１５４は、オクルージョンマップ（Occulusion Map）を符号化させる。ステップＳ４０８の処理が終了すると２次元投影処理が終了し、処理は図１１に戻る。

以上のように２次元投影処理を行うことにより、符号化装置１００は、各領域により適した奥行パラメータthを得ることができ、符号化効率の低減を抑制することができる。

＜制御された奥行パラメータの利用＞
復号側においては、２次元平面に投影された３Ｄデータを３次元空間に投影する際に、以上のように制御された奥行パラメータthに示される範囲に３Ｄデータを投影するようにする。

つまり、３次元空間の所定の領域毎に、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータをその３次元空間に投影する際に、その位置毎のデータを、その３次元空間の、その領域毎に設定された１レイヤに投影可能な３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示すその奥行方向の範囲内に投影するようにする。例えば、画像処理装置において、３次元空間の所定の領域毎に、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータをその３次元空間に投影する際に、その位置毎のデータを、その３次元空間の、その領域毎に設定された１レイヤに投影可能な３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示すその奥行方向の範囲内に投影する３次元投影部を備えるようにする。

このようにすることにより、領域毎に設定された奥行パラメータthを利用して３Ｄデータの３次元空間への投影を行うことができるので、符号化効率の低減を抑制することができる。

＜３次元投影処理の流れ＞
この場合も、復号処理およびポイントクラウド再構築処理は、第１の実施の形態において説明した場合と同様に行われる。したがってそれらの説明は省略する。

図１４のステップＳ２２１において実行される、この場合の３次元投影処理の流れの例を、図２３のフローチャートを参照して説明する。

３次元投影処理が開始されると、３次元投影部２５１は、ステップＳ４２１において、Occlusionマップを復号させる。

ステップＳ４２２において、画素分布解析部２５２は、領域番号k=0に初期化する。

ステップＳ４２３において、画素分布解析部２５２は、変数k<iであるか否かを判定する。k<iであると判定された場合、処理はステップＳ４２４に進む。

ステップＳ４２４において、３次元投影部２５１は、奥行パラメータthを復号させる。ステップＳ４２５において、３次元投影部２５１は、ジオメトリ画像を復号させる。ステップＳ４２６において、３次元投影部２５１は、当該領域の画像を３次元空間に投影する。

ステップＳ４２７において、画素分布解析部２５２は、変数kをインクリメントする（k++）。ステップＳ４２７の処理が終了すると、処理はステップＳ４２３に戻り、それ以降の処理を繰り返す。

また、ステップＳ４２３において、k<iでないと判定された場合、３次元投影処理が終了し、処理は図１４に戻る。

以上のように３次元投影処理を実行することにより、復号装置２００は、領域毎に設定された奥行パラメータthを利用して３Ｄデータの３次元空間への投影を行うことができるので、符号化効率の低減を抑制することができる。

＜５．付記＞
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。

＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図２４に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
以上においては、ポイントクラウドデータのVoxel化に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３ＤデータのVoxel化に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。

また、以上においては、本技術の適用例として符号化装置１００および復号装置２００について説明したが、本技術は、任意の構成に適用することができる。

例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。

また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） ３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する２次元投影部
を備える画像処理装置。
（２） 前記２次元投影部は、前記３Ｄデータの、投影面から見て位置が奥行方向に重なる前記位置毎のデータを、前記複数のレイヤの前記２次元平面の、互いに異なるレイヤに投影する
（１）に記載の画像処理装置。
（３） 前記２次元投影部は、前記２次元平面について、前記３Ｄデータの投影面から見て位置が奥行方向に重なる前記位置毎のデータの最大数と同数のレイヤを生成する
（２）に記載の画像処理装置。
（４） 前記２次元投影部により前記２次元平面に投影された前記３Ｄデータを、符号化する符号化部をさらに備える
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記符号化部は、前記２次元平面の各レイヤに投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップをそれぞれ符号化する
（４）に記載の画像処理装置。
（６） 前記２次元投影部により前記３Ｄデータが投影された前記２次元平面のレイヤ数を示す情報と、前記符号化部により前記２次元平面が符号化されて得られた符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
（４）または（５）に記載の画像処理装置。
（７） 前記２次元投影部により前記３Ｄデータが投影された前記２次元平面を、ビデオフレームとしてパッキングするパッキング部をさらに備え、
前記符号化部は、前記パッキング部により前記２次元平面がパッキングされた前記ビデオフレームを符号化するように構成される
（４）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記２次元投影部は、前記３Ｄデータを、所定の領域毎に前記２次元平面に投影する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記３Ｄデータは、ポイントクラウドである
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） ３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する
画像処理方法。

（１１） レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する３次元投影部
を備える画像処理装置。
（１２） ビットストリームに含まれる前記レイヤ数情報を抽出する抽出部をさらに備え、
前記３次元投影部は、前記抽出部により抽出された前記レイヤ数情報が示すレイヤ数の前記２次元平面に投影された前記３Ｄデータの全ての前記位置毎のデータを、前記３次元空間に投影するように構成される
（１１）に記載の画像処理装置。
（１３） 前記ビットストリームに含まれる前記２次元平面に投影された前記３Ｄデータの符号化データを復号する復号部をさらに備え、
前記３次元投影部は、前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータの全ての前記位置毎のデータを、前記３次元空間に投影するように構成される
（１２）に記載の画像処理装置。
（１４） 前記復号部は、前記２次元平面の各レイヤに投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップのそれぞれの符号化データを復号する
（１３）に記載の画像処理装置。
（１５） 前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータがパッキングされたビデオフレームをアンパッキングするアンパッキング部をさらに備え、
前記３次元投影部は、前記アンパッキング部によりビデオフレームがアンパッキングされて得られた、前記２次元平面に投影された前記３Ｄデータの全ての前記位置毎のデータを、前記３次元空間に投影するように構成される
（１３）または（１４）に記載の画像処理装置。
（１６） 前記３次元投影部は、所定の領域毎に前記２次元平面に投影された前記３Ｄデータを、前記３次元空間に投影する
（１１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記３Ｄデータは、ポイントクラウドである
（１１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する
画像処理方法。

（２１） ３次元構造を表す３Ｄデータに含まれる位置毎のデータを２次元平面に投影し、前記２次元平面の前記位置毎のデータが存在しない位置に、前記位置毎のデータが存在しないことを示す所定の値をセットする２次元投影部
を備える画像処理装置。
（２２） 前記所定の値は、予め定められた固定値である
（２１）に記載の画像処理装置。
（２３） 前記所定の値は、前記３Ｄデータの奥行の最大値より大きな値である
（２１）に記載の画像処理装置。
（２４） 前記２次元投影部により前記２次元平面に投影された前記３Ｄデータを、符号化する符号化部をさらに備える
（２１）乃至（２３）のいずれかに記載の画像処理装置。
（２５） 前記符号化部は、前記２次元平面に投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップをそれぞれ符号化する
（２４）に記載の画像処理装置。
（２６） 前記所定の値を示す情報と、前記符号化部により前記２次元平面が符号化されて得られた符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
（２４）または（２５）に記載の画像処理装置。
（２７） 前記２次元投影部により前記３Ｄデータが投影された前記２次元平面を、ビデオフレームとしてパッキングするパッキング部をさらに備え、
前記符号化部は、前記パッキング部により前記２次元平面がパッキングされた前記ビデオフレームを符号化するように構成される
（２４）乃至（２６）のいずれかに記載の画像処理装置。
（２８） 前記２次元投影部は、前記３Ｄデータを、所定の領域毎に前記２次元平面に投影する
（２１）乃至（２７）のいずれかに記載の画像処理装置。
（２９） 前記３Ｄデータは、ポイントクラウドである
（２１）乃至（２８）のいずれかに記載の画像処理装置。
（３０） ３次元構造を表す３Ｄデータに含まれる位置毎のデータを２次元平面に投影し、前記２次元平面の前記位置毎のデータが存在しない位置に、前記位置毎のデータが存在しないことを示す所定の値をセットする
画像処理方法。

（３１） ２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータの内、前記位置毎のデータが存在しないことを示す所定の値のデータ以外のデータを、３次元空間に投影する３次元投影部
を備える画像処理装置。
（３２） 前記所定の値は、予め定められた固定値である
（３１）に記載の画像処理装置。
（３３） 前記所定の値は、前記３Ｄデータの奥行の最大値より大きな値である
（３１）に記載の画像処理装置。
（３４） ビットストリームに含まれる前記所定の値を示す情報を抽出する抽出部をさらに備え、
前記３次元投影部は、前記３Ｄデータに含まれる前記位置毎のデータの内、前記抽出部により抽出された前記情報に示される前記所定の値のデータ以外のデータを、３次元空間に投影するように構成される
（３１）乃至（３３）のいずれかに記載の画像処理装置。
（３５） 前記ビットストリームに含まれる前記２次元平面に投影された前記３Ｄデータの符号化データを復号する復号部をさらに備え、
前記３次元投影部は、前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータに含まれる前記位置毎のデータの内、前記抽出部により抽出された前記情報に示される前記所定の値のデータ以外のデータを、３次元空間に投影するように構成される
（３４）に記載の画像処理装置。
（３６） 前記復号部は、前記２次元平面の各レイヤに投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップのそれぞれの符号化データを復号する
（３５）に記載の画像処理装置。
（３７） 前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータがパッキングされたビデオフレームをアンパッキングするアンパッキング部をさらに備え、
前記３次元投影部は、前記アンパッキング部によりビデオフレームがアンパッキングされて得られた、前記２次元平面に投影された前記３Ｄデータに含まれる前記位置毎のデータの内、前記抽出部により抽出された前記情報に示される前記所定の値のデータ以外のデータを、３次元空間に投影するように構成される
（３５）または（３６）に記載の画像処理装置。
（３８） 前記３次元投影部は、所定の領域毎に前記２次元平面に投影された前記３Ｄデータを、前記３次元空間に投影する
（３１）乃至（３７）のいずれかに記載の画像処理装置。
（３９） 前記３Ｄデータは、ポイントクラウドである
（３１）乃至（３８）のいずれかに記載の画像処理装置。
（４０） ２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータの内、前記位置毎のデータが存在しないことを示す所定の値のデータ以外のデータを、３次元空間に投影する
画像処理方法。

（４１） ３次元構造を表す３Ｄデータの位置毎のデータを３次元空間の所定の領域毎に２次元平面に投影する際に、前記領域毎に設定された１レイヤに投影可能な３次元構造を表す３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内の前記位置毎のデータを、前記２次元平面に投影する２次元投影部
を備える画像処理装置。
（４２） 前記２次元投影部により前記２次元平面に投影された前記３Ｄデータを、符号化する符号化部をさらに備える
（４１）に記載の画像処理装置。
（４３） 前記符号化部は、前記２次元平面に投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップをそれぞれ符号化する
（４２）に記載の画像処理装置。
（４４） 前記領域毎に設定された前記奥行パラメータと、前記符号化部により前記２次元平面が符号化されて得られた符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
（４２）または（４３）に記載の画像処理装置。
（４５） 前記２次元投影部により前記３Ｄデータが投影された前記２次元平面を、ビデオフレームとしてパッキングするパッキング部をさらに備え、
前記符号化部は、前記パッキング部により前記２次元平面がパッキングされた前記ビデオフレームを符号化するように構成される
（４２）乃至（４４）のいずれかに記載の画像処理装置。
（４６） 前記３Ｄデータは、ポイントクラウドである
（４１）乃至（４５）のいずれかに記載の画像処理装置。
（４７） ３次元構造を表す３Ｄデータの位置毎のデータを３次元空間の所定の領域毎に２次元平面に投影する際に、前記領域毎に設定された１レイヤに投影可能な３次元構造を表す３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内の前記位置毎のデータを、前記２次元平面に投影する
画像処理方法。

（５１） ３次元空間の所定の領域毎に、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータを前記３次元空間に投影する際に、前記位置毎のデータを、前記３次元空間の、前記領域毎に設定された１レイヤに投影可能な前記３Ｄデータの前記位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内に投影する３次元投影部
を備える画像処理装置。
（５２） ビットストリームに含まれる前記奥行パラメータを抽出する抽出部をさらに備え、
前記３次元投影部は、前記３Ｄデータに含まれる前記位置毎のデータを、前記抽出部により抽出された前記奥行パラメータが示す前記奥行方向の範囲内に投影するように構成される
（５１）に記載の画像処理装置。
（５３） 前記ビットストリームに含まれる前記２次元平面に投影された前記３Ｄデータの符号化データを復号する復号部をさらに備え、
前記３次元投影部は、前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータの前記位置毎のデータを、前記抽出部により抽出された前記奥行パラメータが示す前記奥行方向の範囲内に投影するように構成される
（５２）に記載の画像処理装置。
（５４） 前記復号部は、前記２次元平面の各レイヤに投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップのそれぞれの符号化データを復号する
（５３）に記載の画像処理装置。
（５５） 前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータがパッキングされたビデオフレームをアンパッキングするアンパッキング部をさらに備え、
前記３次元投影部は、前記アンパッキング部によりビデオフレームがアンパッキングされて得られた、前記２次元平面に投影された前記３Ｄデータの前記位置毎のデータを、前記抽出部により抽出された前記奥行パラメータが示す前記奥行方向の範囲内に投影するように構成される
（５３）または（５４）に記載の画像処理装置。
（５６） 前記３Ｄデータは、ポイントクラウドである
（５１）乃至（５５）のいずれかに記載の画像処理装置。
（５７） ３次元空間の所定の領域毎に、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータを前記３次元空間に投影する際に、前記位置毎のデータを、前記３次元空間の、前記領域毎に設定された１レイヤに投影可能な前記３Ｄデータの前記位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内に投影する
画像処理方法。

１００ 符号化装置， １１１ パッチ分解部， １１２ パッキング部， １１３ 補助パッチ情報圧縮部， １１４ ビデオ符号化部， １１５ ビデオ符号化部， １１６ OMap符号化部， １１７ マルチプレクサ， １５１ 法線方向推定部， １５２ セグメンテーション初期設定部， １５３ セグメンテーション更新部， １５４ ２次元投影部， １５５ 画素分布解析部， ２００ 復号装置， ２１１ デマルチプレクサ， ２１２ 補助パッチ情報復号部， ２１３ ビデオ復号部， ２１４ ビデオ復号部， ２１５ OMap復号部， ２１６ アンパッキング部， ２１７ 3D再構築部， ２５１ ３次元投影部， ２５２ 画素分布解析部， ２５３ 逆セグメンテーション更新部， ２５４ 逆セグメンテーション初期設定部， ２５５ 逆法線方向推定部

Claims (20)

1. ３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する２次元投影部
   を備える画像処理装置。
2. 前記２次元投影部は、前記３Ｄデータの、投影面から見て位置が奥行方向に重なる前記位置毎のデータを、前記複数のレイヤの前記２次元平面の、互いに異なるレイヤに投影する
   請求項１に記載の画像処理装置。
3. 前記２次元投影部は、前記２次元平面について、前記３Ｄデータの投影面から見て位置が奥行方向に重なる前記位置毎のデータの最大数と同数のレイヤを生成する
   請求項２に記載の画像処理装置。
4. 前記２次元投影部は、前記２次元平面の前記位置毎のデータが存在しない位置に、前記位置毎のデータが存在しないことを示す所定の値をセットする
   請求項１に記載の画像処理装置。
5. 前記所定の値は、予め定められた固定値である
   請求項４に記載の画像処理装置。
6. 前記所定の値は、前記３Ｄデータの奥行の最大値より大きな値である
   請求項４に記載の画像処理装置。
7. 前記２次元投影部は、前記３Ｄデータの前記位置毎のデータを、３次元空間の所定の領域毎に２次元平面に投影する際に、前記領域毎に設定された１レイヤに投影可能な前記３Ｄデータの前記位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内の前記位置毎のデータを、前記２次元平面に投影する
   請求項１に記載の画像処理装置。
8. 前記２次元投影部により前記２次元平面に投影された前記３Ｄデータを、符号化する符号化部をさらに備える
   請求項１に記載の画像処理装置。
9. 前記２次元投影部により前記３Ｄデータが投影された前記２次元平面のレイヤ数を示す情報と、前記符号化部により前記２次元平面が符号化されて得られた符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
   請求項８に記載の画像処理装置。
10. 前記３Ｄデータは、ポイントクラウドである
    請求項１に記載の画像処理装置。
11. ３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する
    画像処理方法。
12. レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する３次元投影部
    を備える画像処理装置。
13. 前記３次元投影部は、前記３Ｄデータに含まれる前記位置毎のデータの内、前記位置毎のデータが存在しないことを示す所定の値のデータ以外のデータを、前記３次元空間に投影する
    請求項１２に記載の画像処理装置。
14. 前記所定の値は、予め定められた固定値である
    請求項１３に記載の画像処理装置。
15. 前記所定の値は、前記３Ｄデータの奥行の最大値より大きな値である
    請求項１３に記載の画像処理装置。
16. 前記３次元投影部は、前記３次元空間の所定の領域毎に、前記３Ｄデータに含まれる前記位置毎のデータを前記３次元空間に投影する際に、前記位置毎のデータを、前記３次元空間の、前記領域毎に設定された１レイヤに投影可能な３次元構造を表す３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内に投影する
    請求項１２に記載の画像処理装置。
17. ビットストリームに含まれる前記レイヤ数情報を抽出する抽出部をさらに備え、
    前記３次元投影部は、前記抽出部により抽出された前記レイヤ数情報が示すレイヤ数の前記２次元平面に投影された前記３Ｄデータの全ての前記位置毎のデータを、前記３次元空間に投影するように構成される
    請求項１２に記載の画像処理装置。
18. 前記ビットストリームに含まれる前記２次元平面に投影された前記３Ｄデータの符号化データを復号する復号部をさらに備え、
    前記３次元投影部は、前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータの全ての前記位置毎のデータを、前記３次元空間に投影するように構成される
    請求項１７に記載の画像処理装置。
19. 前記３Ｄデータは、ポイントクラウドである
    請求項１２に記載の画像処理装置。
20. レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する
    画像処理方法。

Images