WO2021060229A1

WO2021060229A1 - 三次元表現変換装置、および、三次元表現逆変換装置

Info

Publication number: WO2021060229A1
Application number: PCT/JP2020/035662
Authority: WO
Inventors: 山本　智幸
Original assignee: シャープ株式会社
Priority date: 2019-09-26
Filing date: 2020-09-23
Publication date: 2021-04-01
Also published as: JP2022172413A

Abstract

入力される三次元表現の性質によらず、所望の特性の三次元表現を想定した処理装置で処理可能な三次元表現に変換する。三次元対象を表す第一の三次元表現を入力として、上記三次元対象を表す第二の三次元表現を生成する三次元表現変換装置（５００）であって、第一の三次元表現を、直接または間接的に指定された変換後特性に基づいて第二の三次元表現に変換する表現変換部（５０１）を備えることを特徴とする。

Description

三次元表現変換装置、および、三次元表現逆変換装置

　本発明の一態様は、三次元点群に代表される三次元表現で表現された三次元対象に係り、第一の三次元表現から第二の三次元表現に変換する変換装置に関する。

　三次元対象の全体や一部を表現するデジタルデータ（3Dデータ）を伝送や処理することで、三次元対象の記録再生や、テレイグジスタンスに代表される様々なアプリケーションが実現できる。三次元対象の表現形式（三次元表現）の一つに三次元点群（点群）がある。点群では、三次元対象を点の集合として表現する。点群を構成する各点は、点の位置および属性情報（例えば色）により定義される。その他、三次元対象の表現形式には、メッシュ形式、ボリューム形式、画像形式がある。

　一般に三次元表現のデータはデータ量が多い。そのため、特定の三次元表現の形式のまま伝送や処理するには多量のストレージおよび計算リソースが要求される。

　三次元表現の一つである点群を画像により表現し伝送することで帯域および再生時の計算リソースを抑制する従来技術として、国際標準として策定中のV-PCC（Video-based Point Cloud Compression）方式が挙げられる（非特許文献１）。V-PCCでは、入力された点群をクラスタリングして所定の単位（点群クラスタ）に分割する。続いて、点群クラスタを規定の投影面の何れかに投影することで点群クラスタに相当する二次元画像（パッチ）を生成する。全ての点群クラスタに対応するパッチを集めてパッキングして二次元画像（統合画像）を生成する。最後に統合画像をビデオ符号化方式で圧縮して伝送する。なお、V-PCCにおいて、1個の点群クラスタから2種類のパッチが生成される。具体的には、点群クラスタの三次元形状を表すジオメトリパッチと点群クラスタの属性（例えば色）を表す属性パッチが生成される。そのため、統合画像も、ジオメトリパッチを集めたジオメトリ統合画像と属性パッチを集めた属性統合画像の2種類がある。なお、以下では統合画像と記載した場合、特に注釈がなければ、ジオメトリ統合画像と属性統合画像のいずれも意味する。

Euee et al., "Video-Based Point-Cloud-Compression Standard in MPEG: From Evidence Collection to Committee Draft [Standards in a Nutshell]", IEEE Signal Processing Magazine Volume:36, Issue: 3, pp: 118-123, May 2019

　しかしながら、従来技術では、特定の特性の三次元表現を処理するよう設計された処理装置により処理可能な三次元表現によるデータが必ずしも生成できないという課題があった。例えば、従来技術のV-PCCでは、点群の性質に応じて、当該点群を表現する統合画像の解像度が変化するという問題があった。そのため、統合画像の解像度が高くなる状況が生じ、計算リソースが不足して伝送や処理が困難な場合が生じる問題があった。

　例えば、V-PCCにおいて、高密度の点群を入力とした場合、ビデオ符号化の対象となる統合画像の解像度が高くなりすぎる場合があるとの問題が生じる。一般にビデオ復号処理は特定以下の解像度の画像を対象とするよう設計されており、当該解像度を超える画像は復号できず、結果として点群も復元できないという問題が生じる。

　また、例えば、V-PCCにおいて、入力点群が表現する三次元対象の表面積が広い場合、クラスタリングの結果得られるパッチの総面積が増加する。その結果、統合画像の解像度も高くなり、点群が復元できない問題が生じる。

　以上、三次元対象の表現形式の一つである点群を挙げて課題を説明したが、他の表現形式であるメッシュ形式やボリューム形式に対してもV-PCC類似のアプローチを採用する場合には同様の問題がある。

　本発明の一態様は、上記の問題に鑑みてなされたものであり、入力の三次元表現（入力点群）の種別や性質によらず、想定する後段の処理装置で処理可能な出力の三次元表現を生成する三次元表現変換装置を実現する。また、そのような三次元表現変換装置で変換された三次元表現から元の三次元表現を復元する三次元表現逆変換装置を実現する。

　上記の課題を解決するために、本発明の一態様に係る三次元対象に関する三次元表現変換装置、三次元表現逆変換装置、符号化装置、復号装置、および、処理装置は以下の手段を提供する。
（第１の手段）
　三次元対象を表す第一の三次元表現を入力として、上記三次元対象を表す第二の三次元表現を生成する三次元表現変換手段であって、
　上記第一の三次元表現を上記第二の三次元表現に変換する表現変換手段を備え、
　上記表現変換部は、直接または間接的に指定される変換後特性に基づいて変換を行う三次元表現変換手段を提供する。

　この三次元表現変換手段によれば、想定する処理装置で処理可能な変換後特性を指定することで、当該処理装置では処理が不可能な第一の三次元表現を、当該処理装置で処理が可能な第二の三次元表現に変換できる。
（第２の手段）
　三次元対象を表す第二の三次元表現を入力として、上記三次元対象を表す第三の三次元表現を生成する三次元表現逆変換手段であって、
　上記第二の三次元表現を上記第三の三次元表現に変換する表現逆変換手段と、
　入力される表現変換情報を解釈する表現変換情報解釈手段を備え、
　上記表現逆変換手段は、表現変換情報に基づいて第二の三次元表現に変換を適用する三次元表現逆変換手段を提供する。

　この三次元表現逆変換手段によれば、前記三次元表現変換手段により変換しえ生成された第二の三次元表現から、変換前の第一の三次元表現に近い第三の三次元表現を復元できる。特に、表現変換情報を用いることで、変換の内容を考慮して逆変換の方法を決定できるため、より第一の三次元表現に近い第三の三次元表現を復元できる。
（第３の手段）
　三次元対象を入力として、上記三次元対象に対応する３Ｄデータを生成する三次元対象符号化手段であって、
　解像度指定を決定する処理解像度設定手段と、
　上記三次元対象をクラスタに分割するクラスタ分割手段と、
　上記クラスタからパッチを生成し、投影に係る投影情報を生成するパッチ投影手段と、
　上記解像度指定に基づいて上記パッチに変換を適用し、変換に係る調整情報を生成するパッチ変換手段と、
　上記変換を適用したパッチを結合して統合画像を生成し、統合に係る統合情報を生成するパッチ統合手段と、
　上記投影情報、上記調整情報、および、上記統合情報を含むパッチ情報を生成するパッチ情報符号化手段と、
　上記統合画像にビデオ符号化を適用し２Ｄデータを生成するビデオ符号化手段と、
　上記２Ｄデータと上記パッチ情報を多重化して３Ｄデータを構成する３Ｄデータ多重化手段を備える三次元対象符号化手段を提供する。

　この三次元対象符号化手段によれば、解像度指定を満たすようパッチを変換し、変換したパッチを含んで構成された統合画像を符号化して３Ｄデータを生成できる。そのため、入力の三次元対象の性質によらず、所望の計算リソースで復号可能な解像度を有する統合画像に相当する２Ｄデータを含んだ３Ｄデータを生成できる。
（第４の手段）
　三次元対象を符号化して生成された３Ｄデータを入力として上記三次元対象を復元する三次元対象復号手段であって、
　上記３Ｄデータからパッチ情報と２Ｄデータを抽出する３Ｄデータ逆多重化部と、
　上記パッチ情報から統合情報、調整情報、および、投影情報を導出するパッチ情報復号手段と、
　上記２Ｄデータから統合画像を復号するビデオ復号手段と、
　上記統合画像を上記統合情報に基づいて複数のパッチに分割するパッチ分割手段と、
　分割された各パッチを上記調整情報に基づいて変換するパッチ復元手段と、
　上記パッチから上記投影情報に基づいてクラスタを生成するパッチ逆投影手段と、
　複数のクラスタを結合する三次元対象復元手段を備える三次元対象復号手段を提供する。

　この三次元対象復号手段によれば、解像度指定を満たすようパッチを変換し、変換したパッチを含んで構成された統合画像を符号化した３Ｄデータを復号して三次元対象を復元できる。そのため、入力の三次元対象の性質によらず、所望の計算リソースで復号可能な解像度を有する統合画像に相当する２Ｄデータを含んだ３Ｄデータを復号できる。
（第５の手段）
　入力された三次元対象を変換して出力する三次元対象処理手段であって、
　解像度指定を決定する処理解像度設定手段と、
　上記解像度指定と上記三次元対象に基づいて統合画像とパッチ情報を生成する画像生成手段と、
　上記統合画像に変換処理を適用して変換後の統合画像を出力する統合画像処理手段と、
　上記変換後の統合画像と上記パッチ情報を入力として三次元対象を生成する三次元対象再生手段とを備える三次元対象処理手段を提供する。

　この三次元対象処理手段によれば、解像度指定を満たすようパッチを変換し、変換したパッチを含んで構成された統合画像を処理して三次元対象を変換できる。そのため、入力の三次元対象の性質によらず、所望の計算リソースで三次元対象に所望の処理を適用できる。

　本発明の一態様によれば、入力三次元対象の性質によらず、目標とする計算リソースで処理可能な統合画像を生成する画像生成装置を実現できる。

　また、本発明の一態様によれば、入力点群の性質によらず、目標とする計算リソースで処理可能なよう生成された統合画像に基づいて三次元対象を再生する三次元対象再生装置を実現できる。

実施形態７に係る三次元表現変換装置と三次元表現逆変換装置の機能ブロック図である。実施形態1に係る画像生成装置の機能ブロック図である。三次元対象とパッチと統合画像の関係を説明する図である。異なる解像度を対象とするパッチと統合画像の関係を例示した図である。実施形態2に係る点群再生装置の機能ブロック図である。実施形態2に係るパッチ復元部203の処理フロー図である。実施形態3に係る画像生成装置の機能ブロック図である。実施形態3に係る三次元対象の分割とパッチの関係を説明する図である。実施形態3に係る異なる解像度を対象とするパッチと統合画像の関係を例示した図である。実施形態4に係る点群再生装置の機能ブロック図である。実施形態4に係る視点依存の再生対象選択を説明する図である。実施形態5に係る点群符号化装置と点群復号装置の機能ブロック図である。実施形態6に係る点群処理装置の機能ブロック図である。実施形態1に係るパッチ変換部103の処理フロー図である。

　〔実施形態1〕
　以下、本発明の一実施形態について、図2～図4と図14に基づいて説明する。

　　＜画像生成装置1の構成＞
　図2に基づいて本実施形態に係る画像生成装置100の構成を説明する。画像生成装置100は、クラスタ分割部101、パッチ投影部102、パッチ変換部103、パッチ統合部104、および、パッチ情報符号化部105を備えている。

　画像生成装置100は、入力される点群から当該点群を表現する統合画像を生成して出力する。出力の統合画像は、入力される解像度指定に従った解像度となる。また、画像生成装置100は、統合画像から点群を再生するために利用するパッチ情報を生成して出力する。

　クラスタ分割部101は、入力の点群を複数の点群クラスタに分割して出力する。点群の点群クラスタへの分割は、点群にクラスタリングを適用することで実行される。クラスタリングは、点群クラスタが連続した面を形成し、かつ、その面上の各点の法線が類似の方向となるよう実行される。例えば、点の空間位置に基づき近傍点群を集めた初期クラスタを構成し、各点の法線推定結果に基づいて各初期クラスタを分割・統合することで所望の点群クラスタが得られる。図3（a）を参照して、点群と点群クラスタの関係の例を説明する。図3（a）では、直方体の対象に相当する点群と、当該点群をクラスタリングにより分割して得られる点群クラスタの関係を例示している。直方体は法線方向により6個の面に相当する点群クラスタに分割される。すなわち、上面に対応する点群クラスタ（FT）、下面に対応する点群クラスタ（FB）、各側面に対応する点群クラスタ（FS1、FS2、FS3、FS4）に分解される。

　パッチ投影部102は、入力される各点群クラスタから対応するパッチを生成して出力する。パッチ投影部102は、加えて、パッチの生成方法を表す投影情報を出力する。パッチの生成は、点群クラスタを所定の投影方法により所定の投影面に投影することで生成される。例えば、既定の投影面のセットから1つの投影面を選択し、当該投影面に対して点群クラスタを正投影して得られる画像をパッチとする。規定の投影面のセットとして、例えば、3D空間に設定した座標系（XYZ座標系）を使って、XY平面、YZ平面、ZX平面にそれぞれ平行な面を規定の投影面のセットとして用いる。

　図3（a）で例示した直方体を分割した点群クラスタに対応するパッチを図3（b）に例示する。各点群クラスタの法線方向と直交する投影面に正投影で投影した場合、図3（b）に示すようなパッチが得られる。なお、直方体のサイズを高さ2U、幅1U、奥行き1Uとする場合、一つの側面に対応する点群クラスタから得られるパッチ（FS1、FS2、FS3、FS4）は1U×2Uの解像度となる。同様に上面と下面に対応するパッチ（FT、FB）は1U×1Uの解像度となる。なお、画像の解像度の表記で「Ａ×Ｂ」とした場合、幅Ａ、高さＢの解像度を表す。以降の説明でも同様の表記を用いる。

　投影情報は各パッチの投影に使用される投影面と投影方法を識別する情報を含む。前述の例の場合、投影方法は正投影であり投影方法の識別情報を省略できる。投影面の識別情報はXY平面、YZ平面、または、ZX平面を選択する情報となる。投影方法と投影面を決定できれば別の情報を用いてもよい。例えば、投影は仮想カメラによる撮影と言い換えることができる。そのため、仮想カメラのカメラパラメータ（焦点距離、焦点位置、撮影解像度、歪パラメータ等）を投影情報とすることもできる。

　パッチ変換部103は、入力される複数のパッチを入力される解像度指定の示す解像度（指定解像度）の画像に収まるよう変換により調整し、結果のパッチを出力する。例えば、一部のパッチを選択し縮小したパッチを出力する。また、パッチ変換部103は、パッチに適用された変換を識別する情報を調整情報として出力する。例えば、前述の縮小変換の適用有無を示す情報が調整情報となる。パッチ変換部103におけるパッチ変換処理の詳細は後述する。

　パッチ統合部104は、入力されるパッチをパッキングして画像を構成することで統合画像を生成して出力する。パッチ統合部104は、加えて、統合情報を出力する。統合情報は、パッチの統合画像内での位置と、当該パッチに相当する点群クラスタの3D空間内での位置の対応関係を示す情報である。例えば、統合情報は、パッチに対応する統合画像上の領域の左上座標とサイズを含む。また、例えば、統合情報は、パッチに対応する点群クラスタの3D空間内での相対位置を含む。

　図3（b）に示したパッチセットをパッキングして得られる統合画像の例を図3（c）に示す。6枚のパッチ（FS1、FS2、FS3、FS4、FT、FB）を含んで1枚の統合画像が構成されている。この例の場合、統合画像の解像度は4U×3Uであり、統合画像に含まれる何れのパッチにも変換は適用されていない。

　パッチ情報符号化部105は、前述の投影情報、調整情報、および、統合情報をまとめてパッチ情報として出力する。各情報は、必要に応じて可逆または非可逆の可変長符号化を用いて圧縮した形式としてもよい。

　＜パッチ変換処理＞
　パッチ変換部103におけるパッチ変換処理について図14を参照して説明する。パッチ変換処理では図14に示したS100～S105の手順で入力される複数のパッチ（パッチセット）から出力パッチセットを生成する。

　（S100）パッチセットに未処理のパッチが含まれるか判定し、未処理パッチが存在する場合（S100でYES）はS101を実行する。未処理パッチが存在しない場合（S100でNO）はS105を実行する。

　（S101）パッチセットの中から未処理のパッチを選択し対象パッチとする。続いてS102を実行する。なお、対象パッチの選択順は任意順でも所望の動作を実現可能である。しかしながら、選択順を解像度が高い（サイズが大きい）パッチから順に選択する方がより好ましい。これにより指定解像度内に統合画像の解像度を収めるために必要なパッチ変換の回数が抑制できるため処理量の観点で有効である。

　（S102）パッチセットをパッキングして統合画像を生成する。ここでパッキングにはパッチ統合部104が提供する機能を利用できる。続いてS103を実行する。

　（S103）S102で生成された統合画像の解像度が指定解像度内か否かを判定する。指定解像度以内（S103でYES）の場合S105を実行する。それ以外（S103でNO）の場合S104を実行する。

　（S104）対象パッチを縮小してパッチセットを更新する。続いてS100を実行する。対象パッチの縮小は、例えば、対象パッチの解像度を縦横それぞれ半分にする縮小を用いる。もしくは、縦または横何れかの解像度を半分にする縮小を用いてもよい。

　（S105）パッチセットを出力して処理を終了する。

　以上の手順により、パッチ変換部103は入力されるパッチセットを指定解像度に基づいて変換したパッチセットを出力する。ここで、出力されるパッチセットは、S103でパッチを縮小することで、パッキングして得られる統合画像の解像度が指定解像度以内となるようなパッチセットとなっている。

　なお、パッチ変換処理の手順は図14を参照して説明した上記手順に限定されず、出力されるパッチセットから生成される統合画像が指定解像度の条件を満たす別の手順を用いてもよい。例えば、パッチセット中の異なるパッチの組み合わせについて、それぞれ縮小した場合の統合画像を生成する。続いて生成した全ての統合画像のうち、解像度が指定解像度以下であり、かつ、解像度が最大となるようなパッチセットを選択する手順でも前記条件を満たしたパッチセットを出力できる。

　また、上記の例では変換の例として縮小を挙げたが、それ以外の変換を用いてもよい。例えば、パッチの回転、パッチの分割再結合を変換として用いることができる。パッチの分割再結合では、一つのパッチを複数のサブパッチに分割し、画像上の別の領域に配置する。パッチの復元時には分割されたサブパッチを再結合してパッチを復元する。また、各変換の組み合わせ、すなわち、縮小と回転、縮小と分割再結合、回転と分割再結合、および、縮小と回転と分割再結合の組み合わせを変換として適用してもよい。

　続いて、図4を参照して、異なる解像度指定に対して決定されるパッチセットおよび統合画像の例を説明する。なお、この例の前提として図3に示した直方体の対象に対するパッチセットがパッチ変換部103に入力されることを想定している。

　図4（a）は、指定解像度が2U×3Uの場合のパッチセットと統合画像の関係を例示している。この場合、図3（b）に示した元のパッチサイズでは統合画像を指定解像度以下にできない。そのため、一部のパッチ（FS1、FS2、FS3、FS4）の幅を元の1Uから0.5Uに縮小することで統合画像の解像度を指定解像度以内に収めている。

　図4（b）は、指定解像度が4U×2Uの場合のパッチセットと統合画像の関係を例示している。この場合、一部の側面に相当するパッチ（FS1、FS2）の高さを縮小（元の2Uから1.5Uに縮小）している。加えて、上面と下面に相当するパッチ（FT、FB）の高さおよび幅を縮小（元の1Uから0.5Uに縮小）している。変換されたパッチセットを使用することで統合画像の解像度を指定解像度以内に収めている。

　図4（c）は、指定解像度が5U×1Uの場合のパッチセットと統合画像の関係を例示している。この場合、側面に相当するパッチ（FS1、FS2、FS3、FS4）に回転した上で縮小している。すなわち、2U×1Uのパッチを90度回転して1U×2Uのパッチに変換し、さらに縦方向に半分に縮小することで0.5U×2Uのパッチに変換している。上面と下面のパッチ（FT、FB）については縦方向に半分に縮小して1U×1Uのパッチから0.5U×1Uのパッチに変換している。変換されたパッチセットを使用することで統合画像の解像度を指定解像度以内に収めている。

　＜画像生成装置100の動作＞
　以上説明した画像生成装置100に含まれる構成機能要素を連携することで、画像生成処理は入力点群から解像度指定に基づいて統合画像とパッチ情報を生成して出力する画像生成処理を実行できる。画像生成装置100における画像生成処理は以下の手順で実行される。

　（S11）クラスタ分割部101は、入力された点群にクラスタリングを適用して複数の点群クラスタを生成してパッチ投影部102に出力する。

　（S12）パッチ投影部102は、入力された複数の点群クラスタをそれぞれ投影することでパッチセットを生成してパッチ変換部103に出力する。パッチ投影部102は、加えて、投影情報を生成してパッチ情報符号化部105に出力する。

　（S13）パッチ変換部103は、入力されたパッチセットを、入力された解像度指定に基づいて変換し、変換後のパッチセットをパッチ統合部104に出力する。パッチ変換部103は、加えて、調整情報を生成してパッチ情報符号化部105に出力する。

　（S14）パッチ統合部104は、入力されたパッチセットをパッキングして統合画像を生成して画像生成装置100の出力として外部に出力する。

　（S15）パッチ情報符号化部105は、入力された投影情報、調整情報、および、統合情報に基づいてパッチ情報を生成して画像生成装置100の出力として外部に出力する。

　以上説明した画像生成装置100によれば、入力点群から解像度指定に基づいて統合画像とパッチ情報を生成して出力できる。画像生成装置100では、パッチ変換部103により解像度指定の制約を満たすよう変換されたパッチセットをパッチ統合部104により統合することで統合画像が生成される。従って、画像生成装置100を用いることで、入力される点群の性質によらず所望のメモリ消費や画像処理の制約を満たす解像度で点群を表現する統合画像を生成して出力できる。また、画像生成装置100で生成した統合画像は、同じく生成されるパッチ情報を併用することで、元の点群を再生することができる。再生の例については、点群再生装置200として別途記載する。

　＜実施形態1に関する付記事項1＞
　上記の実施形態1における画像生成装置100の説明では、図3を参照して直方体の点群を入力とする例を説明したが、画像生成装置100の処理は入力が任意の点群の場合にも適用できる。例えば、対象の点群を内包する直方体（バウンディングボックス）を設定した上で、直方体の各面の法線方向に近い点群を点群クラスタとすることにより実施形態１で説明した方法と類似の方法によりパッチセットの変換と統合画像の生成が実行できる。

　＜実施形態1に関する付記事項2＞
　上記の実施形態１における画像生成装置100の説明では、入力される解像度指定に基づいて統合画像を生成する方法を説明した。説明において、統合画像の種別、すなわち、統合画像がジオメトリ統合画像であるか、属性統合画像であるかは区別せず、いずれにも同じ方法を適用できる前提で説明した。アプリケーションによってはジオメトリ統合画像と属性統合画像それぞれに対する解像度要求が異なる場合がある。そのため、画像生成装置1を対象とする統合画像の種別に応じて異なる解像度指定を入力するよう構成してもよい。そのような構成により、より柔軟なアプリケーション要求を満たす統合画像の組み合わせを出力できる。

　〔実施形態2〕
　以下、本発明の一実施形態について、図5と図6に基づいて説明する。

　　＜点群再生装置200の構成＞
　図5に基づいて本実施形態に係る点群再生装置200の構成を説明する。点群再生装置200は、パッチ情報復号部201、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、および、点群復元部205を備えている。点群再生装置200は、入力される統合画像とパッチ情報に基づいて、統合画像に対応する点群を復元して出力する。例えば、点群再生装置200は、実施形態１で説明した画像生成装置100から出力された統合画像とパッチ情報を入力として、元の点群を復元して出力する。

　パッチ情報復号部201は、入力されるパッチ情報を処理して統合情報、調整情報、および、投影情報を抽出してそれぞれ出力する。ここで、パッチ情報、統合情報、調整情報、および、投影情報は画像生成装置100において説明したものと同一であるため、詳細説明は省略する。

　パッチ分割部202は、入力される統合画像と入力される統合情報に基づいてパッチセットを生成して出力する。統合情報には各パッチの統合画像上の位置とサイズに相当する情報が含まれる。その情報を利用して統合画像から切り出した各パッチの集合をパッチセットとする。

　パッチ復元部203は、入力されるパッチセットと入力される調整情報に基づいてパッチセットを復元し、復元後のパッチセットを出力する。なお、パッチ復元部203は、画像生成装置100が備えるパッチ変換部103に対応する構成要素である。すなわち、パッチ変換部103により変換されたパッチセットと調整情報を入力として、元のパッチセットを復元する機能を有する。パッチセット復元処理の詳細は後述する。

　パッチ逆投影部204は、入力されるパッチセットと入力される投影情報に基づいてパッチセットに対応する点群クラスタの集合を生成して出力する。なお、パッチ逆投影部204は、画像生成装置100が備えるパッチ投影部102に対応する構成要素である。すなわち、パッチ投影部102によりパッチに投影された点群クラスタを、投影情報に基づいてパッチを逆投影することで復元する。例えば、xy平面を投影面として正投影が適用されていることを投影情報が場合について説明する。統合画像上の画素位置（x0、y0）の画素にデプス値z0が記録されているとする。この場合、当該画素を逆投影した点の三次元位置は（x0、y0、z0）となる。なお、属性統合画像の場合は画素にデプス値に相当する情報が記録されていない場合がある。その場合は、属性統合画像に対応するジオメトリ統合画像を参照して得られるデプス値を使用する。

　点群復元部205は、入力される点群クラスタの集合に基づいて点群を復元して出力する。点群クラスタの座標系が共通である場合には、出力点群は点群クラスタの集合の単純な結合により生成できる。一方、点群クラスタの座標が異なる場合には、各点群クラスタを共通の座標系の点群に変換した上で結合することで出力点群を生成できる。

　＜パッチ復元処理＞
　パッチ復元部203におけるパッチ復元処理について図6を参照して説明する。パッチ復元処理では図6に示したS201～S204の手順で入力されるパッチセットを変換して出力パッチセットを生成する。

　（S201）パッチセットの中から未処理のパッチを選択し対象パッチとする。続いてS202を実行する。

　（S202）調整情報を参照して対象パッチが調整対象パッチ（変換が適用されたパッチ）か否かを判定する。調整対象パッチである（S202でYES）の場合、続いてS203を実行する。調整対象バッチではない（S202でNO）の場合、S205を実行する。

　（S203）調整情報に基づき対象パッチを復元する。すなわち、調整情報が示す対象パッチに適用された変換の逆変換に相当する処理を適用することで対象パッチを復元する。例えば、調整情報が対象パッチに対し縦横半分の縮小変換が適用されていることを示す場合、対象パッチを縦横2倍の拡大変換を適用することで対象パッチを復元する。また、例えば、調整情報が対象パッチに対し時計周りに90度回転の変換が適用されていることを示す場合、対象パッチに対し反時計周りの90度回転の変換を適用することで対象パッチを復元する。

　（S204）パッチセットに未処理のパッチが存在するかを判定し、未処理パッチが存在する場合（S204でYES）はS201を実行する。未処理パッチが存在しない場合（S204でNO）は現在のパッチセットを出力して処理を終了する。

　以上の手順により、パッチ復元部203は入力されるパッチセットと入力される調整情報に基づいてパッチセットに変換を適用して復元する。

　＜点群再生装置200の動作＞
　以上説明した点群再生装置200に含まれる構成機能要素を連携することで、入力統合画像と入力パッチ情報から点群を復元して出力する点群再生処理を実行できる。点群再生装置200における点群再生処理は以下の手順で実行される。

　（S21）パッチ情報復号部201は、入力されるパッチ情報を復号して統合情報、調整情報、および、投影情報を抽出する。統合情報はパッチ分割部202へ、調整情報はパッチ復元部203へ、投影情報はパッチ逆投影部204へそれぞれ出力される。

　（S22）パッチ分割部202は、入力される統合画像と入力される統合情報に基づいてパッチセットを導出してパッチ復元部203へ出力する。

　（S23）パッチ復元部203は、入力されるパッチセットと、入力される調整情報に基づいてパッチセットを変換し、変換後のパッチセットをパッチ逆投影部204へ出力する。

　（S24）パッチ逆投影部204は、入力されるパッチセットに基づいて点群クラスタの集合を生成して点群復元部205へ出力する。

　（S25）点群復元部205は、入力される点群クラスタの集合に基づいて導出した点群を点群再生装置200の出力として外部へ出力する。

　以上説明した点群再生装置200によれば、所望の解像度指定に適合するよう生成された統合画像とパッチ情報から点群を再生できる。特に、点群再生装置200は、パッチ情報に含まれる調整情報に基づいてパッチセットを変換するパッチ復元部203を備えている。パッチ復元部203により、画像生成装置100の備えるパッチ変換部103において、所望の解像度指定に適合するよう変換されたパッチに逆変換を適用し、変換前に相当する状態に戻すことができる。したがって、当該逆変換を適用しない場合に較べて、再生される点群の品質を高く維持できる。例えば、縦横半分に縮小したパッチをそのまま逆投影して点群クラスタを導出した場合、点群クラスタに含まれる点の数は、元の点群クラスタに含まれる点の数の四分の一になる。一方、縮小したパッチに逆変換の拡大を適用して得られるパッチを逆投影して得られる点群クラスタではそのような点の数の減少は発生しない。

　〔実施形態3〕
　以下、本発明の一実施形態について、図7～図9に基づいて説明する。

　　＜画像生成装置300の構成＞
　図7に基づいて本実施形態に係る画像生成装置300の構成を説明する。画像生成装置300は、一次分割部301、クラスタ分割部101、パッチ投影部102、パッチ変換部103、パッチ統合部104、および、パッチ情報符号化部105を備えている。画像生成装置300は、概略的には、画像生成装置100に一次分割部301を追加した構成である。画像生成装置100と共通の構成要素には同一の符号を付与して説明を省略する。

　画像生成装置300は、入力される点群から当該点群を表現する1または複数の統合画像を生成して出力する。出力の各統合画像は、入力される解像度指定に従った解像度となる。

　一次分割部301は、入力される点群と解像度指定に基づいて点群分割方法を決定し、当該分割方法に基づいて分割した点群を順次出力する。一次分割部301は、加えて点群分割方法に関する情報を一次分割情報として出力する。

　パッチ情報符号化部105は、基本的には実施形態1で説明したパッチ情報符号化105と同等の機能を有する。本実施形態においては、追加で、一次分割情報を入力として出力のパッチ情報に含める機能を提供する。

　一次分割部301における点群分割例について図8を参照して説明する。図8（a）は直方体形状の点群OBJを2個のサブ点群OBJaとOBJbに分割する様子を例示している。一次分割部301は、点群OBJを構成する点の数と解像度指定を参照した上で、解像度指定を満たす解像度の統合画像となるような点群となるよう入力点群を分割する。入力点群を構成する点の数と統合画像の解像度には相関関係があるため、事前に設定した記述に基づき分割数を決定できる。例えば、100万点の点群から1920×1080の統合画像が生成されるという観測に基づくとする。その場合、入力点群が200万点、解像度指定が1920×1080の場合は入力点群を2個のサブ点群に分割すると決定する。解像度指定が1920×540の場合は入力点群を4個のサブ点群に分割すると決定する。点群の分割方法には表面積が増加しない限りにおいて任意の方法を適用できる。例えば、点群の重心と分布を調べ、重心を通過する平面で点群を分割する。図8（a）の例では、直方体の重心を通り直方体の上面と下面に平行な面で点群を分割することでサブ点群を導出している。

　一次分割情報は、少なくとも分割数の情報を含む。図8（a）の例の場合は、一次分割情報は分割数2を情報として含む。

　分割された各サブ点群はクラスタ分割部101とパッチ投影部102で順に処理され、既に記載した方法でパッチセットに変換される。図８（b）は、図8（a）に示す通り分割されたサブ点群OBJaとOBJbから生成されるパッチセットを図示している。サブ点群OBJaからパッチFS1a、FS2a、FS3a、FS4a、FTを含むパッチセットが導出される。サブ点群OBJbからパッチFS1b、FS2b、FS3b、FS4b、FBを含むパッチセットが導出される。

　解像度指定が3U×2Uの場合にサブ点群OBJaに対応するパッチセットから構成される統合画像の例を図9（a）に示す。パッチセットに含まれるパッチFS1a、FS2a、FS3a、FS4a、FTをそのまま含んで統合画像が構成される。解像度指定を考慮して一次分割部301において点群を分割しているため、各パッチは縮小等の変換を適用することなくそのまま統合画像に収めることができる。したがって、変換の適用による点群の精度低下を抑制できる。同様に、解像度指定が3U×2Uの場合にサブ点群OBJbに対応するパッチセットから構成される統合画像の例を図9（b）に図示する。また、比較のため、解像度指定3U×2Uの場合に点群OBJ全体に対応するパッチセットから構成される統合画像の例を図９（c）に示す。図9（c）のパッチFS1は図9（a）のパッチFS1aと図9（b）のパッチFS1bを結合したものに相当する。FS1の幅はFS1aとFS1bの結合した場合の半分に縮小されていることが確認できる。

　点群全体を再生するためには全ての統合画像を処理する必要があり、トータルの処理量の観点では削減はできない。しかしながら、一度に処理すべき統合画像の解像度は解像度指定以下に抑制されているため、処理に必要なフレームメモリ等の計算リソース要求を低減できる。

　＜画像生成装置300の動作＞
　以上説明した画像生成装置300に含まれる構成機能要素を連携することで、画像生成処理は入力点群から解像度指定に基づいて統合画像とパッチ情報を生成して出力する画像生成処理を実行できる。画像生成装置100における画像生成処理は以下の手順で実行される。

　（S31）一次分割部301は、入力された点群を入力の解像度指定に基づき分割し、分割結果の点群を順にクラスタ分割部101に出力する。加えて一次分割情報をパッチ情報符号化部105へ出力する。続いてS32を実行する。

　（S32）クラスタ分割部101は、入力された点群にクラスタリングを適用して複数の点群クラスタを生成してパッチ投影部102に出力する。続いてS33を実行する。

　（S33）パッチ投影部102は、入力された複数の点群クラスタをそれぞれ投影することでパッチセットを生成してパッチ変換部103に出力する。パッチ投影部102は、加えて、投影情報を生成してパッチ情報符号化部105に出力する。続いてS34を実行する。

　（S34）パッチ変換部103は、入力されたパッチセットを、入力された解像度指定に基づいて変換し、変換後のパッチセットをパッチ統合部104に出力する。パッチ変換部103は、加えて、調整情報を生成してパッチ情報符号化部105に出力する。続いてS35を実行する。

　（S34）パッチ統合部104は、入力されたパッチセットをパッキングして統合画像を生成して画像生成装置100の出力として外部に出力する。S31で分割された全ての点群の処理が完了していればS35へ進み、そうでなければ未処理の点群を対象としてS32へ進む。

　（S35）パッチ情報符号化部105は、入力された一次分割情報、投影情報、調整情報、および、統合情報に基づいてパッチ情報を生成して画像生成装置300の出力として外部に出力する。

　以上説明した画像生成装置300によれば、入力点群から解像度指定に基づいて統合画像とパッチ情報を生成して出力できる。画像生成装置300では、一次分割部301を備えることで解像度指定の制約を満たす統合画像を生成できる。従って、画像生成装置300を用いることで、入力される点群の性質によらず所望のメモリ消費や画像処理の制約を満たす解像度で点群を表現する統合画像を生成して出力できる。また、画像生成装置300で生成した統合画像は、同じく生成されるパッチ情報を併用することで、元の点群を再生することができる。再生の例については、点群再生装置400として別途記載する。

　＜実施形態3の変形例1＞
　上記の実施形態3における図7に示した画像生成装置300の構成はパッチ変換部103を含んでいたが、パッチ変換部103を省略した構成でもよい。一次分割部301において統合画像が解像度指定以下であることを担保する場合には、パッチ変化部103を省略しても目的を達成でき、かつ画像生成装置の処理量および回路規模を低減できる。

　なお、パッチ変換部103を含んだ構成の場合は、一次分割部301における分割の自由度が増す利点がある。例えば入力点群の点の数が極端に多い場合、一次分割部301だけで対応すると多数のサブ点群に分割する必要が生じ、分割によるオーバヘッドが問題となる場合がある。そのような場合でもパッチ変換部103を併用することで、分割数を抑えつつ所望の解像度の統合画像により入力点群を表現できる。

　＜実施形態3の変形例2＞
　上記の実施形態3における画像生成装置300の説明では、一次分割部301で決定した一つの分割方法で入力点群を分割し、各分割点群に対応する統合画像を出力する手順を説明した。それに限らず、画像生成装置300は複数の分割方法について対応する統合画像を出力するよう構成してもよい。例えば、図8の直方体を入力とする場合、直方体を二分割した場合の各サブ点群に対応する2枚の統合画像、および、直方体を分割しない場合の点群に対応する1枚の統合画像を出力するよう構成する。加えて、一次分割情報として、出力する分割方法の数と、各分割方法に対応する統合画像のマップ情報を含める。これにより、統合画像を処理する側で計算リソースを考慮して適切な分割方法に対応する統合画像を選択して処理する機能が実現できる。

　＜実施形態3の変形例3＞
　上記の実施形態3における一次分割部301の説明で入力点群の分割方法を紹介したが、他の分割方法を適用してもよい。例えば、既定の視点セットを定義し、解像度指定と当該視点セットの両方に基づいて対象を分割してもよい。具体的には、視点セットに含まれる視点の近傍から観察される点を含んでサブ点群を構成する。得られたサブ点群が解像度指定の要件を考慮して大きすぎる場合には、当該サブ点群をさらに分割することで最終的なサブ点群を得る。加えて、いずれの視点に対応するサブ点群にも含まれない点から別のサブ点群を構成する。このような構成により、統合画像から再生される点群の観察時の視点が、上記視点セットに含まれる視点の近傍である場合に、全てのサブ点群を処理せず、当該視点に対応するサブ点群のみを処理すればよいため処理量を低減できる。

　なお、既定の視点セットではなく、画像生成装置に視点セットを追加の入力とした上で、一次分割部301に視点セットが入力されるような構成としてもよい。その場合、画像生成装置の利用者が所望の視点を設定した上で統合画像を生成できる。例えば、点群観察時のユーザの視点の統計を用いて確立が高い視点を入力視点セットに含めることで、平均的な処理量を低減できる。

　〔実施形態4〕
　以下、本発明の一実施形態について、図10～図11に基づいて説明する。

　　＜点群再生装置400の構成＞
　図10に基づいて本実施形態に係る点群再生装置400の構成を説明する。点群再生装置400は、統合画像選択部401、パッチ情報復号部201、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、および、点群復元部205を備えている。点群再生装置400は、概略的には、点群再生装置200に統合画像選択部401を追加した構成である。点群再生装置200と共通の構成要素については同一の符号を付与して説明を省略する。

　点群再生装置400は、入力される統合画像、パッチ情報、および、視点情報に基づいて、統合画像に対応する点群を復元して出力する。例えば、点群再生装置400は、実施形態３の変形例３で説明した画像生成装置400から出力された複数の統合画像とパッチ情報を入力として、元の点群を復元して出力する。

　統合画像選択部401は、入力されるパッチ情報と視点情報に基づいて複数の入力統合画像から処理対象の統合画像を選択して出力する。加えて、パッチ情報を出力する。

　統合画像選択部401における選択の例について図11を参照して説明する。図11は直方体の対象OBJと視点VP1、VP2、VP3の関係を表した図である。なお、直方体OBJとその分割OBJa、OBJbは図8で説明したものと同じである。統合画像としては、実施形態３の変形例３で説明した方法により生成された3枚の統合画像が入力されると仮定して説明する。すなわち、入力統合画像は図9に示す3枚の統合画像を含む。入力統合画像に含まれる統合画像の枚数は入力されるパッチ情報に含まれる。

　統合画像選択部401の動作例として、視点情報として視点VP1が指定された場合、OBJaに対応する統合画像、すなわち図9（a）の統合画像を選択する。視点VP1は直方体の上方に位置するため、視点VP1からは直方体の上側が主に観察される。そのため、直方体の上半分に相当するOBJaに対応する統合画像から点群を再生することで、復元の処理量を抑制しつつ視点VP1からの観察に十分な点群を再生できる。同様に、視点情報として視点VP2が指定された場合、OBJbに対応する統合画像、すなわち図9（b）の統合画像を選択する。また、視点情報として視点VP3が指定された場合、OBJ全体に対応する統合画像、すなわち図9（c）の統合画像を選択する。視点VP3からは直方体OBJの全体が観察されるため、直方体全体の点群を表現する統合画像の方が、直方体の一部を表現する統合画像よりも好ましい。いずれの統合画像を選択した場合でも、解像度は一定以下に抑制されているため制限された計算リソースでも処理が可能となる。

　上記の内容を言い換えると、統合画像選択部401は、視点情報が示す視点から観察可能な点群を多数含み、かつ、視点から観察不可能な点群を少数含む基準で統合画像を選択する。

　＜点群再生装置400の動作＞
　以上説明した点群再生装置400に含まれる構成機能要素を連携することで、入力視点情報に基づき選択された統合画像と入力パッチ情報から点群を復元して出力する点群再生処理を実行できる。点群再生装置400における点群再生処理は以下の手順で実行される。

　（S41）統合画像選択部401は、入力されるパッチ情報と入力される視点情報に基づいて選択した統合画像をパッチ分割部202へ出力する。加えて、パッチ情報をパッチ情報復号部201へ出力する。

　（S42）パッチ情報復号部201は、入力されるパッチ情報を復号して統合情報、調整情報、および、投影情報を抽出する。統合情報はパッチ分割部202へ、調整情報はパッチ復元部203へ、投影情報はパッチ逆投影部204へそれぞれ出力される。

　（S43）パッチ分割部202は、入力される統合画像と入力される統合情報に基づいてパッチセットを導出してパッチ復元部203へ出力する。

　（S44）パッチ復元部203は、入力されるパッチセットと、入力される調整情報に基づいてパッチセットを変換し、変換後のパッチセットをパッチ逆投影部204へ出力する。

　（S45）パッチ逆投影部204は、入力されるパッチセットに基づいて点群クラスタの集合を生成して点群復元部205へ出力する。

　（S46）点群復元部205は、入力される点群クラスタの集合に基づいて導出した点群を点群再生置400の出力として外部へ出力する。

　以上説明した点群再生装置400によれば、所望の解像度指定に適合するよう生成された統合画像とパッチ情報から点群を再生できる。特に、点群再生装置400は、統合画像選択部401を備えており、視点情報に応じて統合画像を選択することで、点群復元に必要な計算リソースを一定以下に抑制しつつ、視点近傍から観察した点群の品質をより良い状態で復元できる。

　〔実施形態5〕
　以下、本発明の一実施形態について、図12に基づいて説明する。

　　＜点群符号化装置1000の構成＞
　図12（a）に基づいて本実施形態に係る点群符号化装置1000の構成を説明する。点群符号化装置1000は、画像生成部100、ビデオ符号化部1001、3Dデータ多重化部1002、および、処理解像度設定部1003を備えている。点群符号化装置1000は、入力された点群を圧縮および符号化して3Dデータを生成して出力する。

　画像生成部100は、実施形態1で説明した画像生成装置100と同一の機能を有する機能ブロックである。

　ビデオ符号化部1001は、時系列の画像を入力として圧縮・符号化して対応する2Dデータを生成して出力する。ビデオ符号化部1001としては、一般的に普及したビデオ符号化方式を用いることができる。例えば、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）の方式を適用可能である。なお、画像生成部100の出力は統合画像であるが、統合画像であっても通常の画像として処理することが可能である。

　3Dデータ多重化部1002は、少なくとも2Dデータとパッチ情報を多重化することで生成した3Dデータを出力する。

　処理解像度設定部1003は、点群復号装置が備えるビデオ復号部に想定される処理性能に基づいて処理解像度を決定して出力する。例えば、多くのビデオ符号化方式では、プロファイルやレベルによりビデオ復号に要求される処理性能を記述することができる。例えば、HEVCにおけるレベル4.1はビデオ復号が1920×1080程度の画像に相当するデータが処理できることを示す。したがって、HEVCレベル4.1に対応したビデオ復号部で処理されることを意図した3Dデータを生成する場合、処理解像度設定部1003は1920×1080の解像度を処理解像度に設定して出力する。なお、ビデオ復号部の処理性能を何らかの通信手段により受信し、受信した処理性能に基づいて処理解像度を設定する構成としてもよい。

　＜点群符号化装置1000の動作＞
　以上説明した点群符号化装置1000に含まれる構成機能要素を連携することで、入力点群を圧縮符号化した3Dデータを生成して出力できる。点群符号化装置1000における点群再生処理は以下の手順で実行される。

　（S51）処理解像度設定部1003は、3Dデータの復号処理を行う装置の処理性能に基づいて処理解像度を決定し画像生成部100へ解像度指定として出力する。

　（S52）画像生成部100は、入力される点群と解像度指定に基づいて統合画像とパッチ情報を生成する。統合画像はビデオ符号化部1001へ出力され、パッチ情報は3Dデータ多重化部1002へ出力される。

　（S53）ビデオ符号化部1001は、入力される統合画像を圧縮および符号化して生成された2Dデータを3Dデータ多重化装置1002へ出力する。

　（S54）3Dデータ多重化部1002は、入力される2Dデータとパッチ情報を多重化して生成された3Dデータを点群符号化装置1000の出力とする。

　以上説明した点群符号化装置1000によれば、入力される3Dデータの点の数や性質によらず、所定の計算リソースを想定したビデオ復号部を備える点群復号装置をターゲットとした3Dデータを生成できる。特に、点群符号化装置1000は、画像生成部100を備えているため、ビデオ復号部の計算リソースで処理可能な解像度を指定して3Dデータから統合画像を生成し、当該統合画像を符号化した2Dデータを含んで3Dデータを構成できる。

　　＜点群復号装置2000の構成＞
　図12（b）に基づいて本実施形態に係る点群復号装置2000の構成を説明する。点群復号装置2000は、点群再生部200、ビデオ復号部2001、および、3Dデータ逆多重化部2002を備えている。点群復号装置2000は、点群符号化装置1000で生成された3Dデータを入力として、元の点群を復元して出力する。

　点群再生部200は、実施形態2で説明した点群再生装置200と同一の機能を有する機能ブロックである。

　ビデオ復号部2001は、特定の方式で圧縮符号化された2Dデータから元の画像を復元して出力する。圧縮符号化の方式としては、ビデオ符号化部1001と同様の方式を用いる。例えばAVCやHEVCを用いる。なお、2Dデータの生成に用いられた方式と同一の方式を用いる必要がある。

　3Dデータ逆多重化部2002は、入力される3Dデータを逆多重化して2Dデータとパッチ情報に分割してそれぞれ出力する。

　＜点群復号装置2000の動作＞
　以上説明した点群復号装置2000に含まれる構成機能要素を連携することで、入力点群を圧縮符号化した3Dデータから元の点群を復元して出力できる。点群復号装置2000における点群再生処理は以下の手順で実行される。

　（S61）処理解像度設定部1003は、3Dデータの復号処理を行う装置の処理性能に基づいて処理解像度を決定し画像生成部100へ解像度指定として出力する。

　（S62）画像生成部100は、入力される点群と解像度指定に基づいて統合画像とパッチ情報を生成する。統合画像はビデオ符号化部1001へ出力され、パッチ情報は3Dデータ多重化部へ出力される。

　（S63）ビデオ符号化部1001は、入力される統合画像を圧縮および符号化して生成された2Dデータを3Dデータ多重化装置1002へ出力する。

　（S64）3Dデータ多重化部1002は、入力される2Dデータとパッチ情報を多重化して生成された3Dデータを点群符号化装置1000の出力とする。

　以上説明した点群復号装置2000によれば、入力される3Dデータの点の数や性質によらず、所定の計算リソースを想定して生成された3Dデータを復号して元の点群を再生できる。特に、点群復号装置2000は、点群再生部200を備えているため、指定解像度の制約下で生成された統合画像から元の点群を再生できる。

　〔実施形態6〕
　以下、本発明の一実施形態について、図13に基づいて説明する。

　　＜点群処理装置3000の構成＞
　図13に基づいて本実施形態に係る点群処理装置3000の構成を説明する。点群処理装置3000は、画像生成部100、点群再生部200、統合画像処理部3001、および、処理解像度設定部3002を備えている。点群処理装置3000は、入力された点群に所定の画像処理を適用して修正し、修正結果の点群を出力する。

　統合画像処理部3001は、入力される画像に処理の二次元画像処理を適用し、適用結果の画像を出力する。なお、二次元画像処理として、ノイズ除去フィルタ、平滑化フィルタ、高域強調フィルタ、カラー調整フィルタ等が適用できる。また、二次元画像処理としてニューラルネットワークを用いる画像変換処理が適用できる。そのような画像変換処理の例として学習した画像のスタイルを反映するスタイルトランスファーがある。

　処理解像度設定部3002は、統合画像処理部3001で想定される処理性能に基づいて処理解像度を決定して出力する。

　＜点群処理装置3000の動作＞
　以上説明した点群処理装置3000に含まれる構成機能要素を連携することで、入力点群に特定の効果の処理を適用して得られる点群を生成して出力できる。点群処理装置3000における点群変換処理は以下の手順で実行される。

　（S61）処理解像度設定部3002は、統合画像処理部3001において適用する画像処理の性能要求に基づいて処理解像度を決定し画像生成部100へ解像度指定として出力する。

　（S62）画像生成部100は、入力される点群と解像度指定に基づいて統合画像とパッチ情報を生成する。統合画像は統合画像処理部3001へ出力され、パッチ情報は点群再生部200へ出力される。

　（S63）統合画像処理部3001は、入力される統合画像に所定の二次元画像処理を適用し、変換結果の画像を点群再生部200へ統合画像として出力する。

　（S64）点群再生部200は、入力される統合画像とパッチ情報に基づいて点群を再生し、再生結果の点群を点群処理装置3000の出力とする。

　以上説明した点群処理装置3000によれば、入力される点群の点の数や性質によらず、所定の計算リソースで実行可能な画像処理を利用して点群を変換できる。例えば統合画像処理部3001でノイズ除去フィルタを適用することで、入力点群から点群を除去した点群に変換できる。特に、点群処理装置3000は、画像生成部100と点群再生部200を備えているため、指定解像度の制約下で二次元画像処理の対象となる統合画像を生成し、変換された統合画像から点群を復元できる。

　＜実施形態6の変形例1＞
　実施形態6で説明した点群処理装置3000において、統合画像処理部3001が複数種類の画像処理を選択して適用可能な構成としてもよい。一般的に画像処理の種類が異なる場合、要求される計算リソースが異なり、処理可能な画像の解像度が異なる。そこで、そのような構成の場合、処理解像度設定部3002は、統合画像処理部3001で適用される画像処理の種類に応じて異なる解像度を指定解像度として設定して画像生成部100へ入力する構成とする。以上の構成により、点群処理装置3000は、点群に対して多様な効果の変換を用途に応じて切り替えて実行できる。

　＜実施形態6の変形例２＞
　実施形態6で説明した点群処理装置3000において、統合画像処理部3001で処理可能な画像の解像度は画像処理の方式だけではなくメモリやCPU等の計算リソースにも依存する。実装によっては点群処理装置3000がメモリやCPU等の計算リソースを他の装置と共有する場合がある。そのような場合、処理解像度設定部3002は、メモリやCPU等の計算リソースの利用状況を取得し、利用状況に応じて指定解像度を設定するような構成とすることが好ましい。すなわち、計算リソースの利用率が高い場合により低い解像度を設定し、逆に計算リソースの利用率が低い場合により高い解像度を設定する。以上の構成により、点群処理装置3000は、利用可能な計算リソースが変化する場合であっても、点群に対して変換を適用することができる。

　＜実施形態１～実施形態６共通の付記事項1＞
　実施形態1から実施形態6の各説明では点群を入力または出力とする構成について説明した。しかしながら、本発明は点群以外の三次元対象の表現形式にも適用可能である。例えば、三次元対象をメッシュとテクスチャで表現した形式（メッシュ形式）に対しても適用できる。その場合、例えばクラスタ分割部101では、点群クラスタではなく、メッシュ形式で表現されたクラスタを出力する。また、パッチ投影部102の機能を、点群を投影してパッチを導出する機能から、メッシュ形式のクラスタを投影してパッチを導出する機能に変更すればよい。また、例えば点群再生装置200では、パッチ逆投影部204の機能を、パッチから点群を導出する機能から、パッチを逆投影してメッシュ形式のクラスタを導出する機能に変更する。加えて、点群復元部205は、メッシュ形式のクラスタを出力するメッシュ復元部とする。点群クラスタとメッシュ形式のクラスタを総称して、単にクラスタと呼称する。また、点群復元部とメッシュ復元部を総称して三次元対象復元部と呼称する。

　他の表現形式として、例えば、三次元対象をボリューム表現の形式で表現した場合にも本発明を適用できる。ボリューム表現では、空間を格子状に分割し、分割により得られるボクセルに対して、オブジェクトの内外を示す情報、表面への距離、カラー等の属性情報を記述することで三次元対象を表現する。ボクセルを、ボクセル中心を位置とした点とみなすことで、各実施形態にて説明した方法が適用できる。

　以上の事実から、画像生成装置100と画像生成装置300は各種の形式で表現された三次元対象に基づき統合画像を生成するといえる。また、点群再生装置200と点群再生装置400は三次元対象再生装置、点群符号化装置1000は三次元対象符号化装置、点群復号装置2000は三次元対象復号装置、点群処理装置3000は、三次元対象処理装置とも呼べる。

　〔実施形態7〕
　実施形態１～実施形態６の説明では、主に指定解像度で処理可能な統合画像を扱う装置や処理について説明した。しかしながら指定解像度や統合画像を扱うことは本発明において必須の要素ではなく、より全ての実施形態を包含する一般化した装置を定義できる。以下では、そのような装置として、図1に示す三次元表現変換装置500および三次元表現逆変換装置を説明する。

　図1（a）は、本発明に基づき実現される三次元表現変換装置500を示すブロック図である。三次元表現変換装置500は、表現変換部501および表現変換情報生成部502を含んで構成される。三次元変換装置500は、入力三次元表現と変換指示情報に基づいて出力三次元表現と表現変換情報を生成して出力する。

　＜三次元表現の定義＞
　ここで、三次元表現とは、三次元対象を表現する様々な表現形式の総称である。具体的には、三次元表現には少なくとも以下の表現形式が含まれ得る。

　（形式1）点群形式：三次元対象を三次元空間中の点の集合で表現する形式。格子上に点の位置を制限する密点群形式、空間中の任意の位置に点を配置する疎点群形式にさらなに分類される。

　（形式2）メッシュ形式：三次元対象を三次元空間中の面の集合であるメッシュで表現する形式。メッシュを構成する各面は、頂点の点の位置と頂点の接続情報により定義される。

　（形式3）ボリューム形式：三次元対象を三次元空間の格子状分割により得られるボクセルの集合として表現する形式。ボクセルが三次元対象内の空間か否かを示す属性情報を用いるボクセル占有表現形式、ボクセルと三次元対象表面との距離を属性情報とするTSDF（Truncated Signed Distance）形式などにさらに分類される。

　（形式4）画像形式：三次元対象を１枚または複数枚の画像に変換して表現する形式。画像への変換は一般的には所定のカメラまたは視点に基づく投影が用いられるが、他の変換を用いることもできる。実施形態1から実施形態6における統合画像は画像形式による三次元表現の一つといえる。

　（形式5）圧縮形式：上記の各形式を圧縮した形式。実施形態5で説明した３Ｄデータは画像形式を圧縮した表現であり圧縮形式の一例である。

　（形式6）暗号形式：上記の各形式を暗号化した形式。

　（形式7）複合形式：上記の各形式の組み合わせによる表現。例えば上の分類で別形式の組み合わせによる表現を含む。三次元対象の全体をメッシュ形式、一部を点群形式で表現する場合はこの一例となる。また、上の分類で同形式の組み合わせによる表現を含む。例えば、実施形態3で説明したような三次元対象を複数の部分に分けて、各部分を点群形式で表現する場合はこの一例となる。

　＜表現変換部501＞
　表現変換部501は、入力の三次元表現（第一の三次元表現）と指定される変換後特性に基づいて三次元表現を変換し、変換後の三次元表現（第二の三次元表現）を出力する。なお、変換後特性を三次元表現変換装置500への入力としているが、既定の変換特性の利用や三次元表現変換装置500の内部で導出する構成でもよい。また、表現変換情報生成部502は必須の構成要素ではない。しかしながら、表現変換情報生成部502を通じて表現変換情報を生成することで、変換後の三次元表現から変換前の三次元表現を復元する場合に正確な復元が実現できる。

　表現変換部501において適用される変換には以下に示す各種変換が含まれる。

　三次元表現のデータ量削減：空間または時間方向のリサンプリング、特定種別のデータ破棄によりデータ量を削減する。例えば、三次元表現が点群形式である場合、空間次元で元データより疎な間隔でリサンプリングすることでデータ量を削減する。また、例えば、三次元表現が画像形式である場合、画像の全体または一部領域を縮小することでデータ量を削減する。また、三次元表現が点群形式、メッシュ形式、ボリューム形式、画像形式である場合、点、頂点、ボクセル、または、画素に関連付けられた属性情報の種類や精度を削減することでデータ量を削減する。

　三次元表現の分割：空間または時間方向に分割する。例えば、三次元表現が点群形式である場合、三次元空間を複数の空間に分割することで、一つの点群を複数の点群に分割する。また、例えば、三次元表現が画像形式である場合、一つの画像を複数の画像に分割する。

　三次元表現の形式変換：一つの三次元表現の形式から別の三次元表現の形式へ変換する。例えば、実施形態1で説明したように、点群形式から投影を用いて画像形式へ変換する。また、例えば、画像形式の三次元表現に符号化処理を適用して圧縮形式へ変換する。

　＜変換後特性の定義と具体例＞
　変換後特性は、出力される三次元表現の特性を指定する情報である。一つの例として、変換後特性は計算リソース指定情報である。計算リソース指定情報は、少なくとも、変換後の三次元表現の処理に要する各種計算リソースを明示的または間接的に示す情報である。計算リソースには、三次元表現のデータ量を直接または間接的に表す量が含まれる。例えば、三次元表現が画像形式である場合、画像の解像度、画像を構成する画素数の総和、画像の各画素に関連付けられた情報の種類と量が挙げられる。また、例えば、三次元表現が点群形式である場合、点の数、点の密度、点群の占有する体積、点群を内包するバウンディングボックスの体積、各点に関連付けられた情報の種類や量が挙げられる。また、例えば、三次元表現がメッシュ形式である場合、メッシュを構成する頂点の数、面の数、テクスチャの解像度、各頂点に関連付けられた情報の種類や量が挙げられる。また、例えば、三次元表現がボリューム形式である場合、有効なボクセル数、ボクセル間隔、ボリュームの占有体積、各ボクセルに関連付けられた情報の種類や量が挙げられる。また、例えば、三次元表現が圧縮形式または暗号形式の場合、データ総量、時間やフレーム単位のデータ量が挙げられる。

　また、計算リソースには、三次元表現の処理に必要な計算量やメモリを直接または間接的に示す情報が含まれる。例えば、三次元表現が圧縮形式または暗号形式の場合、適用されるアルゴリズムの種類やアルゴリズムのパラメータが挙げられる。

　別の例として、変換後特性は三次元情報の想定用途を直接または間接的に示す情報（想定用途情報）である。想定用途情報として、例えば、観察視点位置、観察距離、表示解像度、表示フレームレートが挙げられる。

　＜表現変換情報生成部502＞
　表現変換情報生成部502は、表現変換部501において適用された変換に関する情報を表現変換情報として出力する。表現変換情報として、変換が削減である場合、削減の方法、削減の程度、削減の適用範囲等が挙げられる。また、表現変換情報として、変換が分割である場合、分割の方法、分割数、分割前と分割後の対応関係を示す情報が挙げられる。また、表現変換情報として、変換が形式変換である場合、変換前後の形式を示す情報が挙げられる。

　＜三次元表現逆変換装置600の構成＞
　図1（b）は、本発明に基づき実現される三次元表現逆変換装置600を示すブロック図である。三次元表現逆変換装置600は、表現逆変換部601および表現変換情報解釈部602を含んで構成される。三次元逆変換装置600は、前述の三次元変換装置600で生成された三次元表現を入力三次元表現とし、入力の表現変換情報を合わせて参照して出力三次元表現を生成して出力する。

　表現変換情報解釈部602は、入力される表現変換情報を解釈して出力する。なお、表現変換情報を入力として用いない構成も可能である。表現変換情報を入力として用いる場合、三次元表現の再現をより正確に実行できる利点がある。表現変換情報を入力として用いない場合、表現変換情報解釈部602は不要となるため、省略した構成としてもよい。

　表現逆変換部601は、入力の三次元表現（第二の三次元表現）を表現変換情報に基づいて復元して出力の三次元表現（第三の三次元表現）を生成して出力する。概略的には表現逆変換部601は、表現変換部600で適用された変換の逆変換に相当する処理を適用する。例えば、変換がデータ量削減である場合には、逆変換は削減したデータ量の推定による復元となる。データ量削減として点群や画像のダウンサンプリングが適用された場合、逆変換には点群のアップサンプリングを適用できる。また、例えば、変換が分割である場合、逆変換には分割された三次元表現の結合が適用できる。

　＜実施形態7と実施形態１の対応関係＞
　図2を参照して説明した実施形態1の画像生成装置100は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現は統合画像が対応する。変換後特性には解像度指定が対応し、表現変換情報にはパッチ情報が対応する。表現変換部501には、クラスタ分割部101、パッチ投影部102、パッチ変換部103、および、パッチ統合部104の組み合わせが対応する。画像生成装置100では、変換により点群形式から画像形式（パッチセット）に変換し、さらに一部のパッチを縮小、統合して出力の三次元表現形式である画像形式（統合画像）を生成する。表現変換情報変換部502には、パッチ情報符号化部105が対応する。

　＜実施形態7と実施形態2の対応関係＞
　図5を参照して説明した実施形態2の点群再生装置200は、三次元表現逆変換装置600の具体的な実施例に相当する。以下、対応関係を説明する。入力の第二の三次元表現は統合画像に対応し、出力の第三の三次元表現には点群が対応する。表現変換情報にはパッチ情報が対応する。表現逆変換部602には、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、パッチ逆投影部204、および、点群復元部205の組み合わせが対応する。点群再生装置200では、逆変換により画像形式（統合画像）から画像形式（パッチセット）に変換し、さらに一部のパッチを拡大し、パッチを逆投影することで点群形式の三次元表現形を生成する。表現変換情報解釈部602には、パッチ情報復号部201が対応する。

　＜実施形態7と実施形態3の対応関係＞
　図7を参照して説明した実施形態3の画像生成装置300は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現は統合画像が対応する。変換後特性には解像度指定が対応し、表現変換情報にはパッチ情報が対応する。表現変換部501には、一次分割部301、クラスタ分割部101、パッチ投影部102、パッチ変換部103、および、パッチ統合部104の組み合わせが対応する。画像生成装置300では、変換の過程でまず点群形式の三次元表現を複数に分割し、続いて各点群を画像形式（パッチセット）に変換し、さらに一部のパッチを縮小、統合して出力の三次元表現形式である画像形式（統合画像）を生成する。表現変換情報変換部502には、パッチ情報符号化部105が対応する。

　＜実施形態7と実施形態4の対応関係＞
　図10を参照して説明した実施形態4の点群再生装置400は、三次元表現逆変換装置600の具体的な実施例に相当する。以下、対応関係を説明する。入力の第二の三次元表現は統合画像に対応し、出力の第三の三次元表現には点群が対応する。表現変換情報にはパッチ情報が対応する。表現逆変換部602には、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、パッチ逆投影部204、および、点群復元部205の組み合わせが対応する。点群再生装置400では、一つの三次元表現から変換により生成された複数の三次元表現の中から、指定された視点情報に適した三次元表現を選択し、逆変換により画像形式（統合画像）から画像形式（パッチセット）に変換し、さらに一部のパッチを拡大し、パッチを逆投影することで指定した視点浄法に適した点群形式の三次元表現形を生成する。表現変換情報解釈部602には、パッチ情報復号部201が対応する。

　＜実施形態7と実施形態5の対応関係＞
　図12（a）を参照して説明した実施形態5の画像符号化装置1000は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現は3Dデータが対応する。変換後特性には処理解像度設定部1003で導出される解像度指定が対応し、表現変換情報には3Dデータに含まれるパッチ情報が対応する。表現変換部501には、画像生成部100およびビデオ符号化部1001が対応する。画像符号化装置500では、変換の過程でまず点群形式の三次元表現から画像形式（統合画像）に変換し、さらに統合画像を圧縮して圧縮形式の三次元表現を生成する。

　図12（b）を参照して説明した実施形態5の点群復号装置2000は、三次元表現逆変換装置600の具体的な実施例に相当する。以下、対応関係を説明する。入力の第二の三次元表現は3Dデータに対応し、出力の第三の三次元表現には点群が対応する。表現変換情報にはパッチ情報が対応する。表現逆変換部602には、ビデオ復号部2001および点群再生部200の組み合わせが対応する。点群復号装置600では、圧縮形式の三次元表現から画像形式（統合画像）に変換し、統合画像から点群に変換する。

　＜実施形態7と実施形態6の対応関係＞
　図13を参照して説明した実施形態6の画像処理装置3000は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現にも点群が対応する。表現変換部501には、画像生成部100、統合画像処理部3001、および、点群再生部200が対応する。点群処理装置3000では、変換の過程でまず点群形式の三次元表現から画像形式（統合画像）に変換する。続いて統合画像を処理して変換し、最後に統合画像を逆変換して点群形式の三次元表現を生成する。

　＜三次元表現変換装置500の効果＞
　以上説明した三次元表現変換装置500は、指定された変換後特性に基づいて第一の三次元表現を変換し、変換により得られる第二の三次元表現を出力する。出力される第二の三次元表現は指定した変換後特性を満たす。したがって、入力される第一の三次元表現が、所定の特性の三次元表現を処理するよう設計された装置で処理できない場合であっても、三次元表現変換装置500を用いて当該特性に相当する変換後特性を指定して第二の三次元表現に変換することで処理が可能となる効果を奏する。

　以上説明した三次元表現逆変換装置600は、上記三次元表現変換装置500で変換して得られた第二の三次元表現から、変換前の第一の三次元表現に近い性質の第三の三次元表現を復元できる。加えて、表現変換情報解釈部602を備えることで、前記第三の三次元表現の復元がより正確にできるという効果を奏する。

　〔ソフトウェアによる実現例〕
　本明細書で開示した装置群（画像生成装置100、点群再生装置200、画像生成装置300、点群再生装置400、点群符号化装置1000、点群復号装置2000、点群処理装置3000、三次元表現変換装置500、及び、三次元表現逆変換装置600）の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

　後者の場合、本明細書で開示した装置群は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU（CentralProcessing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

　本発明で開示した装置群はコンピュータによって実現してもよく、この場合には、コンピュータを本発明で開示した装置群に含まれる各装置が備える各部（ソフトウェア要素）として動作させることにより上記各装置をコンピュータにて実現させる上記各装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
（関連出願の相互参照）
　本出願は、２０１９年９月２６日に出願された日本国特許出願：特願２０１９-１７５２４９に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１００、３００　画像生成装置、画像生成部
１０１　クラスタ分割部
１０２　パッチ投影部
１０３　パッチ変換部
１０４　パッチ統合部
１０５　パッチ情報符号化部
２００、４００　点群再生装置、点群再生部
２０１　パッチ情報復号部
２０２　パッチ分割部
２０３　パッチ復元部
２０４　パッチ逆投影部
２０５　点群復元部
３０１　一次分割部
４０１　統合画像選択部
５００　三次元表現変換装置
５０１　表現変換部
５０２　表現変換情報生成部
６００　三次元表現逆変換装置
６０１　表現逆変換部
６０２　表現変換情報解釈部
１０００　点群符号化装置
１００１　ビデオ符号化部
１００２　３Ｄデータ多重化部
２０００　点群復号装置
２００１　ビデオ復号部
２００２　３Ｄデータ逆多重化部
２００３、３００２　処理解像度設定部
３０００　点群処理装置
３００１　統合画像処理部

Claims

　三次元対象を表す第一の三次元表現を入力として、上記三次元対象を表す第二の三次元表現を生成する三次元表現変換装置であって、
　上記第一の三次元表現を上記第二の三次元表現に変換する表現変換部を備え、
　上記表現変換部は、直接または間接的に指定される変換後特性に基づいて変換を行うことを特徴とする三次元表現変換装置。
　上記表現変換部における変換は、三次元情報のデータ量削減、三次元情報の分割、または、三次元情報の形式変換のいずれかを含む変換であることを特徴とする請求項１に記載の三次元表現変換装置。
　上記変換後特性は、計算リソース指定情報、および、想定用途情報の少なくとも何れかを含むことを特徴とする請求項１または請求項２に記載の三次元表現変換装置。
　上記表現変換部で適用された変換に関する表現変換情報を生成して出力する表現変換情報生成部を備えることを特徴とする請求項１から請求項３に記載の三次元表現変換装置。
　上記第一の三次元表現は点群形式、メッシュ形式、および、ボリューム形式の何れかであり、
　上記第二の三次元表現は画像形式であり、
　上記変換後特性は、計算リソース指定情報の一形態である解像度指定であり、
　上記表現変換部は、
　上記第一の三次元表現をクラスタに分割するクラスタ分割部と、
　上記クラスタからパッチを生成し、投影に係る投影情報を生成するパッチ投影部と、
　上記解像度指定に基づいて上記パッチに変換を適用し、変換に係る調整情報を生成するパッチ変換部と、
　上記変換を適用したパッチを結合して統合画像を生成し、統合に係る統合情報を生成するパッチ統合部を備え、
　上記表現変換情報生成部は、投影情報、上記調整情報、および、上記統合情報を含むパッチ情報を生成するパッチ情報符号化部であることを特徴とする請求項４に記載の三次元表現変換装置。
　上記第一の三次元表現は点群であり、上記クラスタは点群クラスタであることを特徴とする請求項５に記載の三次元表現変換装置。
　上記解像度指定に基づいて上記点群をサブ点群に分割する一次分割部を追加で備えることを特徴とする請求項５に記載の三次元表現変換装置。
　上記一次分割部は複数の分割方法により上記点群をサブ点群に分割し、
　上記複数の分割方法に対応する複数の統合画像を生成することを特徴とする請求項７に記載の画像生成装置。
　上記変換後特性は、想定用途情報の一形態である視点情報を含み、
　上記一次分割部は上記視点情報に含まれる視点に基づいて上記点群をサブ点群に分割することを特徴とする請求項８に記載の画像生成装置。
　上記統合画像はジオメトリ統合画像および属性統合画像を含み、
　上記解像度指定はジオメトリ統合画像と属性統合画像それぞれに対して異なる解像度を指定可能であることを特徴とする請求項５から請求項９に記載の画像生成装置。
　上記パッチ変換部における変換は、パッチの縮小、パッチの回転、および、パッチの分割再結合の何れかの変換、および、前記変換の組み合わせの何れかであることを特徴とする請求項５から請求項１０に記載の画像生成装置。
　三次元対象を表す第二の三次元表現を入力として、上記三次元対象を表す第三の三次元表現を生成する三次元表現逆変換装置であって、
　上記第二の三次元表現を上記第三の三次元表現に変換する表現逆変換部と、
　入力される表現変換情報を解釈する表現変換情報解釈部を備え、
　上記表現逆変換部は、表現変換情報に基づいて第二の三次元表現に変換を適用することを特徴とする三次元表現変換装置。
　上記第二の三次元表現は画像形式である統合画像であり、
　上記第三の三次元表現は点群形式、メッシュ形式、および、ボリューム形式の何れかであり、
　上記表現変換情報はパッチ情報であって、
　上記パッチ情報から統合情報、調整情報、および、投影情報を導出するパッチ情報復号部と、
　上記統合画像を上記統合情報に基づいて複数のパッチに分割するパッチ分割部と、
　分割された各パッチを上記調整情報に基づいて変換するパッチ復元部と、
　上記パッチから上記投影情報に基づいてクラスタを生成するパッチ逆投影部と、
　複数のクラスタを結合する三次元対象復元部を備えることを特徴とする請求項１２に記載の三次元逆変換装置。
　追加の入力として視点情報を受け取り、
　上記パッチ情報および上記視点情報に基づいて複数の上記統合画像の一部を対象の統合画像として選択して出力する統合画像選択部を備えることを特徴とする請求項１３に記載の三次元逆変換装置。
　三次元対象を入力として、上記三次元対象に対応する３Ｄデータを生成する三次元対象符号化装置であって、
　解像度指定を決定する処理解像度設定部と、
　上記三次元対象をクラスタに分割するクラスタ分割部と、
　上記クラスタからパッチを生成し、投影に係る投影情報を生成するパッチ投影部と、
　上記解像度指定に基づいて上記パッチに変換を適用し、変換に係る調整情報を生成するパッチ変換部と、
　上記変換を適用したパッチを結合して統合画像を生成し、統合に係る統合情報を生成するパッチ統合部と、
　上記投影情報、上記調整情報、および、上記統合情報を含むパッチ情報を生成するパッチ情報符号化部と、
　上記統合画像にビデオ符号化を適用し２Ｄデータを生成するビデオ符号化部と、
　上記２Ｄデータと上記パッチ情報を多重化して３Ｄデータを構成する３Ｄデータ多重化部を備えることを特徴とする三次元対象符号化装置。
　三次元対象を符号化して生成された３Ｄデータを入力として上記三次元対象を復元する三次元対象復号装置であって、
　上記３Ｄデータからパッチ情報と２Ｄデータを抽出する３Ｄデータ逆多重化部と、
　上記パッチ情報から統合情報、調整情報、および、投影情報を導出するパッチ情報復号部と、
　上記２Ｄデータから統合画像を復号するビデオ復号部と、
　上記統合画像を上記統合情報に基づいて複数のパッチに分割するパッチ分割部と、
　分割された各パッチを上記調整情報に基づいて変換するパッチ復元部と、
　上記パッチから上記投影情報に基づいてクラスタを生成するパッチ逆投影部と、
　複数のクラスタを結合する三次元対象復元部を備えることを特徴とする三次元対象復号装置。
　入力された三次元対象を変換して出力する三次元対象処理装置であって、
　解像度指定を決定する処理解像度設定部と、
　上記解像度指定と上記三次元対象に基づいて統合画像とパッチ情報を生成する画像生成部と、
　上記統合画像に変換処理を適用して変換後の統合画像を出力する統合画像処理部と、
　上記変換後の統合画像と上記パッチ情報を入力として三次元対象を生成する三次元対象再生部とを備えることを特徴とする三次元対象処理装置。
　上記統合画像処理部は、複数の変換処理から選択した変換処理を適用して上記統合画像を変換し、
　上記処理解像度設定部は、上記統合画像処理部で適用される変換処理の種類に応じて異なる解像度を上記解像度指定とすることを特徴とする請求項１７に記載の三次元対象処理装置。