JPWO2019039282A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

本技術は、複数の3Dオブジェクトをモデリングする際の処理負荷を低減することができるようにする画像処理装置および画像処理方法に関する。3D再構成装置は、オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、オブジェクト空間ごとにオブジェクトの3Dモデルを生成する3Dモデル生成部を備える。本技術は、例えば、3Dモデルを生成する画像処理装置等に適用できる。

Description

本技術は、画像処理装置および画像処理方法に関し、特に、複数の3Dオブジェクトをモデリングする際の処理負荷を低減することができるようにした画像処理装置および画像処理方法に関する。

3D(３次元)のオブジェクトをモデリングする各種のモデリング手法が提案されている。

例えば、特許文献１では、バウンディングボリュームの中を階層的にモデリングすることで、３次元映像のモデリング速度を向上させるようにしたモデリング装置及び方法が開示されている。

また例えば、特許文献２では、異なる方向から複数のカメラで取得した複数のデプス画像を用いて、３次元形状を作成する３次元モデリング方法が開示されている。デプス画像とは、オブジェクトまでの距離情報を画素値として格納した画像である。

特開２００７−２２０１２１号公報 特開２００４−３０２５２４号公報

複数の3Dオブジェクトをモデリングする場合には、処理負荷が大きくなることから、高速にモデリングすることを実現するためには、処理負荷を低減する手法が求められる。

本技術は、このような状況に鑑みてなされたものであり、複数の3Dオブジェクトをモデリングする際の処理負荷を低減することができるようにするものである。

本技術の一側面の画像処理装置は、オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、オブジェクト空間ごとにオブジェクトの3Dモデルを生成する3Dモデル生成部を備える。

本技術の一側面の画像処理方法は、画像処理装置が、オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、オブジェクト空間ごとにオブジェクトの3Dモデルを生成する。

本技術の一側面においては、オブジェクトの3D領域を示すオブジェクト空間情報がオブジェクトごとに取得されて、オブジェクト空間ごとにオブジェクトの3Dモデルが生成される。

なお、本技術の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本技術の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術の一側面によれば、複数の3Dオブジェクトを高速にモデリングする際の処理負荷を低減することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した画像処理システムの概要を説明する図である。 3Dモデルデータのデータフォーマットを説明する図である。 本技術を適用した画像処理システムの構成例を示すブロック図である。 3D再構成装置の第１実施の形態の構成例を示すブロック図である。 シルエット画像の生成を説明する図である。 オブジェクトのグローバル位置情報を表すバウンディングボックスを説明する図である。 オブジェクトの3Dモデルのボクセルサイズの決定方法を説明する図である。 オブジェクトの3Dモデルのボクセルサイズの決定方法を説明する図である。 第１実施の形態による3D再構成処理を説明するフローチャートである。 第１実施の形態に係る3D再構成装置の変形例を示すブロック図である。 3D再構成装置の第２実施の形態の構成例を示すブロック図である。 仮想カメラの視聴範囲内を説明する図である。 オクルージョンになっているオブジェクトの処理を説明する図である。 第２実施の形態による3D再構成処理を説明するフローチャートである。 3D再構成装置の第３実施の形態の構成例を示すブロック図である。 オブジェクトのオブジェクトIDとグローバル位置情報を説明する図である。 第３実施の形態による3D再構成処理を説明するフローチャートである。 第１乃至第３実施の形態に係る3D再構成装置のモデリング方法を説明する図である。 本技術を適用した画像処理システムのその他の構成例を示すブロック図である。 選択装置の処理について説明する図である。 選択装置の処理について説明する図である。 配信処理を説明するフローチャートである。 再生処理を説明するフローチャートである。 本開示を適用したコンピュータの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．画像処理システムの概要
２．画像処理システムの構成例
３．3D再構成装置の第１実施の形態
４．第１実施の形態の変形例
５．3D再構成装置の第２実施の形態
６．3D再構成装置の第３実施の形態
７．第１乃至第３実施の形態のまとめ
８．画像処理システムのその他の構成例
９．配信処理と再生処理
１０．マルチテクスチャジオメトリ形式以外のデータフォーマットで伝送する場合
１１．マルチユーザに伝送する場合
１２．コンピュータ構成例
１３．応用例

＜１．画像処理システムの概要＞
初めに、図１および図２を参照して、本技術を適用した画像処理システムの概要について説明する。

本技術を適用した画像処理システムは、複数の撮像装置で撮像して得られた撮影画像からオブジェクトの3Dモデルを生成して配信する配信側と、配信側から伝送される3Dモデルを受け取り、再生表示する再生側とからなる。

配信側においては、所定の撮影空間を、その外周から複数の撮像装置で撮像を行うことにより複数の撮影画像が得られる。撮影画像は、例えば、動画像で構成される。撮影空間は、図１に示されるように、例えば、サッカー競技場のような屋外の場合もあるし、室内の場合もある。

各撮像装置は、測距測定器を備えており、被写体のテクスチャ情報に加えて、被写体までの距離も測定することができる。そして、異なる方向の複数の撮像装置から得られた撮影画像と距離情報を用いて、撮影空間において表示対象となる複数のオブジェクトの3Dモデルが生成される。オブジェクトの3Dモデルの生成は、同一のオブジェクトについて、複数の撮像装置で得られた複数の撮影画像及び距離情報から、重複する領域のテクスチャ情報及び距離情報をまとめたり、一つの撮像装置で死角となる領域のテクスチャ情報及び距離情報を、他の撮像装置で得られたテクスチャ情報及び距離情報で補って再構成することから、3Dモデルの再構成と呼ばれる。

図１において、例えば、撮影空間がサッカースタジアムのフィールドに設定された例では、フィールドの外周であるスタンド側に配置された複数の撮像装置によって、フィールド上のプレイヤ等が撮像されている。3Dモデルの再構成により、例えば、フィールド上のプレイヤ、審判、サッカーボールなどがオブジェクトとして抽出され、各オブジェクトについて3Dモデルが生成（再構成）される。

複数の撮像装置それぞれで撮像して得られた撮影画像は、所定の記憶装置に格納される。記憶装置に記憶された異なる方向の複数の撮影画像を用いて、各オブジェクトの3Dモデルのデータ（以下、3Dモデルデータとも称する。）が生成される。3Dモデルデータのデータフォーマットについては、図２を参照して後述する。

そして、撮影空間に存在する多数のオブジェクトのうち、１以上のオブジェクトの3Dモデルが、再生側の要求に応じて伝送され、再生側で、再生および表示される。

再生側は、撮影空間に存在する多数のオブジェクトのうち、視聴対象のオブジェクトだけを要求して、表示装置に表示させることも可能である。例えば、再生側は、視聴者の視聴範囲が撮影範囲となるような仮想カメラを想定し、撮影空間に存在する多数のオブジェクトのうち、仮想カメラで捉えられるオブジェクトのみを要求して、表示装置に表示させる。実世界において視聴者が任意の視点からフィールドを見ることができるように、仮想カメラの視点は任意の位置に設定することができる。

図２は、3Dモデルデータのデータフォーマットの例を示している。

3Dモデルデータのデータフォーマットとしては、様々なフォーマットをとり得る。

データフォーマットの一つは、オブジェクトのジオメトリ情報（形状情報）を、オブジェクトの３次元位置を点の集合（ポイントクラウド）で表し、その各点に対応してオブジェクトの色情報を保有する形式である。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と色情報が保持される。本実施の形態では、この形式を、ポイントクラウド形式と記述する。

データフォーマットの他の一つは、オブジェクトのジオメトリ情報を、上記ポイントクラウド形式と同様の点の集合（ポイントクラウド）か、または、ポリゴンメッシュと呼ばれる頂点（Vertex）と頂点間のつながりで表し、オブジェクトの色情報を、各撮像装置が撮像した撮影画像（２次元テクスチャ画像）で保有する形式である。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と、撮像装置の台数と同じ枚数の撮影画像（２次元テクスチャ画像）からなる色情報が保持される。本実施の形態では、この形式を、マルチテクスチャジオメトリ形式と記述する。

データフォーマットのさらに他の一つは、オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応してオブジェクトの色情報を保有する形式である。各ポリゴンメッシュに貼り付けられる色情報としての２次元テクスチャ画像はUV座標系で表現される。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と、１つの２次元テクスチャ画像からなる色情報が保持される。本実施の形態では、この形式を、UVテクスチャジオメトリ形式と記述する。UVテクスチャジオメトリ形式は、MPEG-4 AFX (Animation Framework eXtension)で規格化された形式である。

データフォーマットのさらに他の一つは、オブジェクトのジオメトリ情報を各撮像装置が撮像した撮影画像に対応する距離情報で表し、オブジェクトの色情報を、各撮像装置が撮像した撮影画像（２次元テクスチャ画像）で保有する形式である。各撮像装置が撮像した撮影画像に対応する距離情報には、撮影画像の各画素に対応させて、被写体までの奥行き方向の距離をデプス値として格納したデプス画像が採用される。この形式では、１つのオブジェクトに対して、撮像装置の台数と同じ枚数のデプス画像からなるジオメトリ情報と、撮像装置の台数と同じ枚数の撮影画像（２次元テクスチャ画像）からなる色情報が保持される。本実施の形態では、この形式を、マルチテクスチャデプス形式と記述する。マルチテクスチャデプス形式のメリットは、3Dモデルデータを伝送する場合の符号化方式として、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式等を、そのまま利用することができ、高効率に圧縮することができる点である。

ポイントクラウド形式およびUVテクスチャジオメトリ形式は、仮想カメラの位置（仮想視点）に関わらず、色情報が同一となるViewIndependentな形式である。

これに対して、マルチテクスチャジオメトリ形式およびマルチテクスチャデプス形式は、仮想カメラの位置（仮想視点）によって、色情報が変化し得るViewDependentな形式である。

以上のような各種の3Dモデルデータのデータフォーマットのうち、どのようなデータフォーマットを採用するかは任意である。再生側がデータフォーマットを指定してもよいし、配信側がデータフォーマットを決定してもよい。また、アプリケーションごとに予めデータフォーマットを決めておいてもよい。

＜２．画像処理システムの構成例＞
図３は、本技術を適用した画像処理システムの構成例を示すブロック図である。

図３の画像処理システム１０は、図１で説明した配信側として、撮像装置２１−１乃至２１−N（N＞１）、記憶装置２２、3D再構成装置（画像処理装置）２３、符号化装置２４、および、送受信装置２５を備える。

また、画像処理システム１０は、図１で説明した再生側として、再生装置２７、および、表示装置２８を備える。配信側の送受信装置２５と再生側の再生装置２７は、ネットワーク２６を介して接続される。

撮像装置２１（撮像装置２１−１乃至２１−N）は、所定の撮影空間の外周の所定の位置に配置され、撮影空間を撮像し、その結果得られる動画像を記憶装置２２に供給して、記憶させる。

撮像装置２１は、測距測定器を備えており、被写体のテクスチャ画像（テクスチャ情報）に加えて、被写体までの距離も測定することができ、テクスチャ画像と同じ視点からのデプス画像の動画像も生成し、記憶装置２２に供給する。

撮像装置２１−１乃至２１−Nそれぞれは、異なる位置に配置され、撮影空間を他の撮像装置２１と異なる方向から撮像する。各撮像装置２１のワールド座標系上の位置は既知であり、各撮像装置２１のカメラパラメータ（外部パラメータおよび内部パラメータ）も、記憶装置２２に供給される。

なお、撮像装置２１は、オブジェクトの3Dモデルを再生側に伝送するための事前の準備として、移動可能なオブジェクトが存在しない状態で撮影空間を撮像した画像を背景画像として撮像し、記憶装置２２に記憶させる。背景画像は動画像である必要はなく、静止画像でよい。したがって、記憶装置２２には、撮像装置２１の台数（N）と同じ枚数の背景画像が格納されている。

記憶装置２２は、複数の撮像装置２１それぞれで得られた撮影空間内のテクスチャ画像およびデプス画像の動画像を記憶する。また、記憶装置２２は、撮像装置２１の台数（N）と同じ枚数の背景画像と、各撮像装置２１のカメラパラメータも記憶する。以下では、複数の撮像装置２１それぞれで撮像された動画像を構成するテクスチャ画像を、予め撮像された背景画像と区別して、前景画像と称して説明する場合がある。

3D再構成装置２３は、記憶装置２２に記憶されている、複数の撮像装置２１それぞれで得られた撮影空間内のテクスチャ画像およびデプス画像の動画像を用いて、撮影空間内に存在する多数のオブジェクトについて、オブジェクトごとに3Dモデルを生成し、生成された各オブジェクトの3Dモデルデータを符号化装置２４に供給する。

本実施の形態においては、複数の撮像装置２１が撮像した動画像に映る撮影空間内の被写体のうち、どの被写体を、3Dモデルを生成する対象のオブジェクトとするかは問わない。どのような方法でオブジェクト対象を決定してもよく、動画像に映る所定の被写体がオブジェクトとして決定され、他のオブジェクトと適切に分離されて、3Dモデルが生成される。

また、画像処理システム１０では、再生装置２７から、撮影空間のなかの、ユーザの視聴範囲を示す情報や、ユーザが注目しているオブジェクトを示す情報が、ユーザの視聴情報として、送信されてくる場合がある。この場合、3D再構成装置２３は、再生装置２７から送信されてきたユーザの視聴情報を、送受信装置２５を介して取得し、ユーザの視聴情報に応じたオブジェクトの3Dモデルを生成し、生成された各オブジェクトの3Dモデルデータを符号化装置２４に供給する。なお、ユーザの視聴情報は画像処理システム１０において必須ではなく、再生装置２７から3D再構成装置２３に送信しない構成も取り得る。

符号化装置２４は、3D再構成装置２３から供給される所定のオブジェクトの3Dモデルデータを、例えば、AVC方式、HEVC方式等の所定の符号化方式で符号化する。符号化して得られた3Dモデルの符号化ストリームは、送受信装置２５へ供給される。

送受信装置２５は、符号化装置２４から供給された3Dモデルの符号化ストリームを、ネットワーク２６を介して再生装置２７へ送信する。また、送受信装置２５は、再生装置２７からユーザの視聴情報が送信されてきた場合、それを3D再構成装置２３に供給する。

なお、配信側の記憶装置２２、3D再構成装置２３、符号化装置２４、および、送受信装置２５は、それぞれ、個別に構成されてもよいし、２つ以上の装置が一体化された構成でもよい。例えば、図３において破線で示されるように、記憶装置２２、3D再構成装置２３、符号化装置２４、および、送受信装置２５が１つの配信装置を構成してもよい。この場合、記憶装置２２、3D再構成装置２３、符号化装置２４、および、送受信装置２５は、それぞれ、配信装置の記憶部、3D再構成部、符号化部、および、送受信部を構成する。

ネットワーク２６は、例えば、インターネット、電話回線網、衛星通信網、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網などで構成される。

再生装置２７は、送受信部４１、復号部４２、描画部４３、仮想視点検出部４４、および、入力部４５を備える。

再生装置２７の送受信部４１は、送受信装置２５から供給される各オブジェクトの3Dモデルデータを符号化した符号化ストリームを受信（取得）し、復号部４２に供給する。

復号部４２は、送受信部４１から供給される符号化ストリームを、符号化装置２４における符号化方式に対応する方式で復号する。復号部４２は、復号して得られる１以上のオブジェクトの3Dモデルデータを描画部４３に供給する。

描画部４３は、復号部４２から供給される１以上のオブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からのオブジェクトの画像（オブジェクト画像）を表示画像として生成し、表示装置２８に供給する。描画部４３には、仮想視点検出部４４から、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報が供給され、復号部４２から供給される１以上のオブジェクトの3Dモデルを、仮想カメラの視聴範囲に透視投影することにより、仮想カメラの視点からのオブジェクトの画像が生成される。仮想カメラの視聴範囲は、ユーザ（視聴者）の視点による視聴範囲に対応するものであり、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報は、ユーザの視聴情報の一例である。

なお、再生装置２７には、各オブジェクトの3Dモデルデータとは別に、背景画像も3D再構成装置２３から予め伝送され、描画部４３は、背景画像に、各オブジェクトの画像を重畳させた表示画像を生成し、表示装置２８に供給する。

仮想視点検出部４４は、仮想カメラの視点を検出し、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報を生成し、描画部４３に供給する。例えば、仮想視点検出部４４は、表示装置２８としてのヘッドマウントディスプレイに付されたマーカ等を撮像することで、ユーザの視聴位置や視聴範囲を検出する。

入力部４５は、コントローラ、マウス等の入力装置で構成される。入力部４５は、例えば、視聴者による視聴位置の指示や、表示対象とするオブジェクトの指定などを受け付ける。入力部４５で受け付けられた各種の入力情報は、必要に応じて再生装置２７内の各部へ供給される。ユーザの視聴位置や視聴範囲は、入力部４５で受け付けたユーザの指示に基づいて決定してもよい。

表示装置２８は、例えば、２次元ヘッドマウントディスプレイ（ＨＭＤ）や２次元モニタなどにより構成される。表示装置２８は、描画部４３から供給される表示画像を２次元表示する。

なお、表示装置２８は、３次元ヘッドマウントディスプレイや３次元モニタなどにより構成されてもよい。この場合、描画部４３は、表示画像に加えてデプス画像も供給し、表示装置２８は、描画部４３から供給される表示画像とデプス画像に基づいて表示画像を３次元表示する。

以上のように構成される画像処理システム１０において、3D再構成装置２３は、記憶装置２２に記憶されている、撮影空間を複数の撮像装置２１それぞれで撮像した動画像を用いて、撮影空間内に存在する多数のオブジェクトについて、オブジェクトごとに3Dモデルを生成する。生成された各オブジェクトの3Dモデルデータは、符号化装置２４および送受信装置２５を介して、再生装置２７に伝送される。

3D再構成装置２３は、再生装置２７に伝送するオブジェクトの3Dモデルを生成する際、撮影空間内のオブジェクトの位置やユーザの注目度などに応じて、3Dモデルの解像度、具体的には、ボクセルサイズ（voxel size）を、オブジェクトごとに決定して、3Dモデルを生成する。

再生装置２７は、オブジェクトごとに設定された解像度で伝送されてくるオブジェクトの3Dモデルデータを取得して、取得したオブジェクトの3Dモデルデータに基づいて、オブジェクト画像を生成し、表示装置２８に表示させる。

配信側と再生側で、撮影空間全体の3Dモデルデータを伝送するのではなく、オブジェクト単位で3Dモデルデータを生成し、伝送することにより、視聴者が視聴するオブジェクト画像の画質を担保しつつ、再生側の処理負荷を低減するとともに、伝送帯域を削減することを実現する。

なお、本明細書では、配信側から再生側に伝送される伝送データとして映像情報についてのみ説明し、音声情報についての説明は省略するが、動画像に対応する音声情報も合わせて伝送される。

以下では、3D再構成装置２３が生成する3Dモデルのデータフォーマットとして、図２を参照して説明した４つのデータフォーマットのうち、マルチテクスチャジオメトリ形式で生成する場合について説明する。

マルチテクスチャジオメトリ形式では、3Dモデルの解像度として、ボクセルサイズ（voxel size）を決定する他、オブジェクトのジオメトリ情報を、ポイントクラウドで表すか、または、ポリゴンメッシュで表すかを決定する必要がある。

その他のデータフォーマットについては後述するが、ポイントクラウド形式では、オブジェクトのジオメトリ情報は、ポイントクラウドで表されるため、3Dモデルの解像度としてはボクセルサイズのみが決定される。同様に、UVテクスチャジオメトリ形式とマルチテクスチャデプス形式では、オブジェクトのジオメトリ情報は、ポリゴンメッシュで表されるため、3Dモデルの解像度としてはボクセルサイズのみが決定される。

＜３．3D再構成装置の第１実施の形態＞
（3D再構成装置のブロック図）
図４は、3D再構成装置２３の第１実施の形態の構成例を示すブロック図である。

3D再構成装置２３は、前景背景分離部６１、オブジェクト追跡部６２、および、3Dモデル生成部６３を有する。

前景背景分離部６１は、複数の撮像装置２１それぞれで撮像された背景画像を、記憶装置２２から取得する。また、前景背景分離部６１は、複数の撮像装置２１それぞれで撮像された前景画像としてのテクスチャ画像を記憶装置２２から取得する。なお、図４で図示は省略されているが、前景背景分離部６１は、テクスチャ画像とともに、デプス画像も取得する。

前景背景分離部６１は、複数の撮像装置２１それぞれで撮像された前景画像と背景画像を用いて、シルエット画像を生成し、3Dモデル生成部６３に供給する。具体的には、前景背景分離部６１は、図５の例に示されるように、前景画像と背景画像の対応する画素どうしで、前景画像と背景画像の差分を演算した画像を、シルエット画像として生成する。前景背景分離部６１は、複数の撮像装置２１それぞれの前景画像に対応する、複数のシルエット画像を生成し、3Dモデル生成部６３に供給する。

オブジェクト追跡部６２は、複数の撮像装置２１それぞれで撮像された前景画像としてのテクスチャ画像と、それに対応するデプス画像を記憶装置２２から取得する。また、オブジェクト追跡部６２は、各撮像装置２１のカメラパラメータも記憶装置２２から取得する。

オブジェクト追跡部６２は、各撮像装置２１のカメラパラメータ、および、各撮像装置２１で撮像された前景画像としてのテクスチャ画像と、それに対応するデプス画像とを用いて、前景画像内に含まれる各オブジェクトのグローバルな位置情報（以下、グローバル位置情報と称する。）を検出する。各オブジェクトのグローバル位置情報は、例えば、グローバル座標系において、オブジェクトを囲むバウンディングボックスで規定される。

図６は、撮影空間１０１内の３つのオブジェクトのグローバル位置情報が、それぞれ、バウンディングボックス１０２−１乃至１０２−３で表された状態を示している。

また、オブジェクト追跡部６２は、撮影空間内において各オブジェクトが移動した場合には、オブジェクトの移動も追跡し、移動後の各オブジェクトのグローバル位置情報を検出する。撮影空間内においてオブジェクトのグローバル位置の追跡は、背景画像、テクスチャ画像、および、デプス画像の画像情報（距離情報を含む）のみを用いて行ってもよいし、必要に応じて、例えば、撮影空間内のオブジェクトに、例えば、GPSセンサや加速度センサなどの、移動を検知する移動検出センサを付けて、オブジェクトから送信されるセンサ情報を用いて、グローバル位置の追跡を行ってもよい。本実施の形態においては、オブジェクトのグローバル位置の認識および追跡方法は問わない。

オブジェクト追跡部６２は、検出した各オブジェクトのグローバル位置情報を、3Dモデル生成部６３に供給する。

3Dモデル生成部６３は、パラメータ決定部８１、3Dデータ生成部８２、およびメッシュ変換部８３を備え、撮影空間内のオブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、オブジェクト空間ごとにオブジェクトの3Dモデルを決定し、3Dモデルデータを生成する。

パラメータ決定部８１は、撮影空間内のオブジェクトの3D領域を示すオブジェクト空間の情報として、各オブジェクトのグローバル位置情報を、オブジェクト追跡部６２から取得する。また、パラメータ決定部８１は、各撮像装置２１のカメラパラメータを、記憶装置２２から取得する。

パラメータ決定部８１は、取得した各オブジェクトのグローバル位置情報と各撮像装置２１のカメラパラメータに基づいて、各オブジェクトの3Dモデルデータをマルチテクスチャジオメトリ形式で生成する際のパラメータを決定する。

具体的には、パラメータ決定部８１は、オブジェクトの3Dモデルを生成する際のボクセルサイズを決定し、その結果を3Dデータ生成部８２に供給する。

また、パラメータ決定部８１は、オブジェクトのジオメトリ情報を、ポイントクラウドで表すか、または、ポリゴンメッシュで表すかを決定し、その結果をメッシュフラグ（mesh flag）で表して、3Dデータ生成部８２に供給する。オブジェクトのジオメトリ情報をポイントクラウドで表す場合、メッシュフラグが“０”に設定され、ポリゴンメッシュで表す場合、メッシュフラグが“１”に設定される。

図７および図８を参照して、オブジェクトの3Dモデルのボクセルサイズの決定方法について説明する。

例えば、図７に示されるように、撮影空間内に３つのオブジェクト１１１−１乃至１１１−３が存在し、そのうちのオブジェクト１１１−３が3Dモデルを生成するモデリング対象とされる場合について説明する。

３つのオブジェクト１１１−１乃至１１１−３は、撮像装置２１−１および２１−２により、それぞれ、撮像されている。

初めに、パラメータ決定部８１は、モデリング対象のオブジェクト１１１−３を撮像した複数の撮像装置２１のうち、オブジェクト１１１−３までの距離が一番近い撮像装置２１を決定する。各撮像装置２１のカメラパラメータと、各オブジェクトのグローバル位置情報とが既知であるので、オブジェクト１１１−３までの距離が一番近い撮像装置２１を決定することができる。

図７の例では、撮像装置２１−１からオブジェクト１１１−３までの距離１２１−１と、撮像装置２１−２からオブジェクト１１１−３までの距離１２１−２とを比較すると、距離１２１−２の方が短いので、オブジェクト１１１−３までの距離が一番近い撮像装置２１として、撮像装置２１−２が決定される。決定された撮像装置２１−２を、ボクセル算出撮像装置とも称する。

オブジェクト１１１−３までの距離が一番近い撮像装置２１−２が決定されると、パラメータ決定部８１は、図８に示されるように、オブジェクト１１１−３の位置における、撮像装置２１−２の１画素（１pixel）に相当するサイズを決定し、ボクセルサイズとする。オブジェクト１１１−３のグローバル位置情報と、撮像装置２１−２のカメラパラメータとが既知であるので、撮像装置２１−２の１画素に相当するサイズを計算することができる。例えば、撮像装置２１−２の撮影画像の水平方向（横方向）の画素数が１９２０画素で、撮像装置２１−２のＦ値が１３００であり、撮像装置２１−２からオブジェクト１１１−３までの距離（奥行き方向の距離）が１５ｍである場合、１画素に相当するサイズは、１０ｍｍとなる。これにより、オブジェクト１１１−３のボクセルサイズは、１０ｍｍに決定される。

モデリング対象のオブジェクト１１１−３から、ボクセル算出撮像装置である撮像装置２１−２までの距離が近いほど、ボクセルサイズは小さい値に設定される。

次に、オブジェクト１１１−３のメッシュフラグの決定方法について説明する。

パラメータ決定部８１は、オブジェクト１１１−３までの距離が一番近い撮像装置２１−２から、オブジェクト１１１−３までの距離を、予め決定された所定の閾値と比較して、その距離が所定の閾値以内である場合には、メッシュフラグを“１”に設定し、所定の閾値より大きい場合には、メッシュフラグを“０”に設定する。

すなわち、パラメータ決定部８１は、オブジェクト１１１−３までの距離が一番近い撮像装置２１−２から、オブジェクト１１１−３までの距離が所定の閾値以内である場合には、オブジェクトのジオメトリ情報をポリゴンメッシュで表し、所定の閾値より大きい場合には、オブジェクトのジオメトリ情報をポイントクラウドで表すことを決定する。

例えば、メッシュフラグを“１”または“０”に設定するための閾値が“３０ｍ”に設定されているとすると、図８に示した例である、撮像装置２１−２からオブジェクト１１１−３までの距離が１５ｍである場合には、メッシュフラグは“１”に設定され、オブジェクトのジオメトリ情報はポリゴンメッシュで表される。メッシュ化するとデータ量はポイントクラウドよりも多くなり、処理負荷が重くなるが、画質が向上する。

以上のように、パラメータ決定部８１は、モデリング対象のオブジェクト１１１−３を撮像した撮像装置２１と、モデリング対象のオブジェクト１１１−３の位置情報に基づいて、モデリング対象のオブジェクトの3Dモデルのパラメータを決定し、3Dデータ生成部８２に供給する。

図４に戻り、3Dデータ生成部８２には、パラメータ決定部８１から、モデリング対象の各オブジェクトの3Dモデルのパラメータが供給される他、各オブジェクトのグローバル位置情報、各撮像装置２１のカメラパラメータ、各撮像装置２１で撮像された前景画像（テクスチャ画像）も供給される。

3Dデータ生成部８２は、前景背景分離部６１から供給されるシルエット画像、および、パラメータ決定部８１から供給されるオブジェクトの3Dモデルのパラメータなどを用いて、各オブジェクトの3Dモデルを生成する。3Dデータ生成部８２により生成されるオブジェクトの3Dモデルデータのデータフォーマットは、オブジェクトのジオメトリ情報がポイントクラウドで表され、オブジェクトの色情報を、各撮像装置２１が撮像した撮影画像（２次元テクスチャ画像）で表したマルチテクスチャジオメトリ形式である。

3Dデータ生成部８２は、モデリング対象のオブジェクトについて、複数のシルエット画像を用いて、オブジェクト追跡部６２から供給されるオブジェクト空間内でVisual Hullを求めることにより、各オブジェクトの3Dモデル（のデータ）を生成する。Visual Hullは、異なる方向で得られた複数のシルエット画像の交差部分（積集合空間）であり、複数のシルエット画像のVisual Hullを求めることにより、オブジェクトの3Dモデルを生成することができる。オブジェクト追跡部６２から供給されるオブジェクト空間とは、モデリング対象のオブジェクトについてオブジェクト追跡部６２から供給されるバウンディングボックスで規定された空間である。

前景背景分離部６１から供給されるオブジェクトの3Dモデルのパラメータのメッシュフラグが“０”である場合、3Dデータ生成部８２は、生成した各オブジェクトの3Dモデルデータをポイントクラウド出力する。すなわち、3Dデータ生成部８２は、生成した各オブジェクトの3Dモデルデータを、そのまま符号化装置２４に供給する。

一方、前景背景分離部６１から供給されるオブジェクトの3Dモデルのパラメータのメッシュフラグが“１”である場合、3Dデータ生成部８２は、生成した各オブジェクトの3Dモデルデータをメッシュ出力する。すなわち、3Dデータ生成部８２は、生成した各オブジェクトの3Dモデルデータを、メッシュ変換部８３に供給し、メッシュ変換してから出力する。

メッシュ変換部８３は、3Dデータ生成部８２から供給される各オブジェクトの3Dモデルデータの、ポイントクラウドで表されたオブジェクトのジオメトリ情報を、ポリゴンメッシュに変換するメッシュ変換処理を実行する。なお、ポイントクラウドのジオメトリ情報をポリゴンメッシュに変換するメッシュ変換処理としては、例えばマーチングキューブ法などを用いることができるが、これに限定されず、任意の手法を採用することができる。

メッシュ変換部８３は、メッシュ変換処理後の各オブジェクトの3Dモデル、即ち、オブジェクトのジオメトリ情報がポリゴンメッシュで表され、オブジェクトの色情報が、各撮像装置２１が撮像した前景画像（テクスチャ画像）で表された3Dモデルデータを、符号化装置２４に供給する。

（第１の3D再構成処理）
図９は、3D再構成装置２３の第１実施の形態による3D再構成処理（第１の3D再構成処理）を説明するフローチャートである。この処理は、例えば、3D再構成装置２３と再生表示側である再生装置２７との間で、ネットワーク２６を介して接続が確立されたとき開始される。

初めに、ステップＳ１１において、前景背景分離部６１は、複数の撮像装置２１それぞれで撮像された背景画像と前景画像を記憶装置２２から取得し、複数の撮像装置２１それぞれで撮像された前景画像に対応するシルエット画像を生成する。生成された複数のシルエット画像は、3Dモデル生成部６３の3Dデータ生成部８２に供給される。

ステップＳ１２において、オブジェクト追跡部６２は、複数の撮像装置２１それぞれで撮像された前景画像内に含まれる各オブジェクトのグローバル位置情報を検出し、パラメータ決定部８１に供給する。オブジェクトのグローバル位置情報は、例えば、グローバル座標系上の、オブジェクトを囲むバウンディングボックスで規定される。

ステップＳ１３において、3Dモデル生成部６３は、複数の撮像装置２１それぞれで撮像された前景画像内に含まれる１以上のオブジェクトなかの所定のオブジェクトを、3Dモデルを生成するモデリング対象のオブジェクトに決定する。

ステップＳ１４において、パラメータ決定部８１は、モデリング対象のオブジェクトのボクセルサイズを決定し、その結果を3Dデータ生成部８２に供給する。ボクセルサイズは、図７および図８を参照して説明したように、モデリング対象のオブジェクトまでの距離が一番近い撮像装置２１をボクセル算出撮像装置として、ボクセル算出撮像装置からモデリング対象のオブジェクトを撮像したときの１画素相当のサイズで決定される。

ステップＳ１５において、パラメータ決定部８１は、モデリング対象のオブジェクトのメッシュフラグを決定する。すなわち、パラメータ決定部８１は、モデリング対象のオブジェクトのジオメトリ情報を、ポリゴンメッシュで表すか、または、ポイントクラウドで表すかを決定する。上述したように、メッシュフラグは、ボクセル算出撮像装置からモデリング対象のオブジェクトまでの距離が、予め決定された所定の閾値以内である場合には“１”に設定され、所定の閾値より大きい場合には“０”に設定される。

ステップＳ１６において、3Dデータ生成部８２は、前景背景分離部６１から供給されるシルエット画像、および、パラメータ決定部８１から供給されるオブジェクトの3Dモデルのパラメータなどを用いて、モデリング対象のオブジェクトの3Dモデルを生成する。

より具体的には、3Dデータ生成部８２は、モデリング対象のオブジェクトについて、オブジェクト追跡部６２から供給されたモデリング対象のオブジェクト空間を処理対象として、複数のシルエット画像を用いてVisual Hullを求めることにより、3Dモデルを生成する。ここで生成される3Dモデルのデータフォーマットは、オブジェクトのジオメトリ情報がポイントクラウドで表され、オブジェクトの色情報を、各撮像装置２１が撮像した前景画像で表したマルチテクスチャジオメトリ形式となる。

ステップＳ１７において、3Dデータ生成部８２は、パラメータ決定部８１から供給されたメッシュフラグが“１”であるか、換言すれば、モデリング対象のオブジェクトのジオメトリ情報を、ポイントクラウドではなく、ポリゴンメッシュで表すかを判定する。

ステップＳ１７で、メッシュフラグが“１”であると判定された場合、処理はステップＳ１８に進み、3Dデータ生成部８２は、生成したモデリング対象のオブジェクトの3Dモデルデータを、メッシュ変換部８３に供給する。メッシュ変換部８３は、ポイントクラウドで表されたモデリング対象のオブジェクトのジオメトリ情報を、例えばマーチングキューブ法などを用いて、ポイントクラウドからポリゴンメッシュに変換するメッシュ変換処理を実行する。

ステップＳ１９において、メッシュ変換部８３は、オブジェクトのジオメトリ情報がポリゴンメッシュで表され、オブジェクトの色情報が、各撮像装置２１が撮像した前景画像で表された、モデリング対象のオブジェクトの3Dモデルデータを、符号化装置２４に出力する。

一方、ステップＳ１７で、メッシュフラグが“０”であると判定された場合、処理はステップＳ２０に進み、3Dデータ生成部８２は、生成したモデリング対象のオブジェクトの3Dモデルデータを、符号化装置２４に出力する。この場合、オブジェクトのジオメトリ情報がポイントクラウドで表され、オブジェクトの色情報が、各撮像装置２１が撮像した前景画像で表された3Dモデルデータが、符号化装置２４に供給される。

ステップＳ２１において、3Dモデル生成部６３は、複数の撮像装置２１それぞれで撮像された前景画像内に含まれる全てのオブジェクトを、モデリング対象のオブジェクトに決定したかを判定する。

ステップＳ２１で、全てのオブジェクトを、モデリング対象のオブジェクトに決定していないと判定された場合、処理はステップＳ１３に戻され、上述したステップＳ１３乃至Ｓ２１の処理が繰り返される。すなわち、まだモデリング対象とされていないオブジェクトがモデリング対象に決定され、3Dモデルのパラメータが決定され、決定されたパラメータに従って、3Dモデル（の3Dモデルデータ）が生成されて、符号化装置２４に供給される。

一方、ステップＳ２１で、全てのオブジェクトが、モデリング対象のオブジェクトに決定されたと判定された場合、3D再構成処理が終了する。

以上の第１の3D再構成処理によれば、撮影空間内のオブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、複数のシルエット画像を用いてVisual Hullを求めることにより、各オブジェクトの3Dモデルが生成される。このとき、3Dモデルのパラメータ、具体的には、メッシュフラグとボクセルサイズは、モデリング対象のオブジェクトを撮像した撮像装置２１とオブジェクトの位置情報に基づいて、オブジェクトごとに決定される。

3Dモデルを生成する対象を、撮影空間全体ではなく、オブジェクトのオブジェクト空間に限定して3Dモデルを生成することにより、処理負荷を低減し、高速にモデリングすることができる。また、再生装置２７へ伝送する際の伝送帯域を削減することができる。

また、モデリング対象のオブジェクトごとに、3Dモデルのパラメータが決定されるので、オブジェクト毎に画質と負荷を調整することができる。

＜４．第１実施の形態の変形例＞
（3D再構成装置のブロック図）
図１０は、第１実施の形態に係る3D再構成装置２３の変形例を示すブロック図である。

上述した第１実施の形態では、3D再構成装置２３自身が、複数の撮像装置２１それぞれで撮像された前景画像と背景画像を用いて、シルエット画像を生成した。

しかしながら、他の装置（例えば、各撮像装置２１）で生成されたシルエット画像が3D再構成装置２３に供給され、3D再構成装置２３は、供給されたシルエット画像を用いて、各オブジェクトの3Dモデルを生成してもよい。

図１０の3D再構成装置２３は、他の装置で生成されたシルエット画像が3D再構成装置２３に供給される場合の構成例を示すブロック図である。

図１０において、第１実施の形態における図４の構成と対応する部分については同一の符号を付してあり、その説明は省略する。

図１０の3D再構成装置２３では、他の装置で生成されたシルエット画像が供給されるので、前景背景分離部６１が省略された構成とされている。例えば、他の装置で生成されたシルエット画像は記憶装置２２に一旦記憶され、記憶装置２２から3D再構成装置２３に供給される。3D再構成装置２３に供給されたシルエット画像は、3Dデータ生成部８２に供給される。その他の構成は、上述した第１実施の形態と同様である。

＜５．3D再構成装置の第２実施の形態＞
（3D再構成装置のブロック図）
図１１は、3D再構成装置２３の第２実施の形態の構成例を示すブロック図である。

第２実施の形態の構成例を示す図１１においても、第１実施の形態の構成例を示した図４と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略して、異なる部分について説明する。

第２実施の形態では、ユーザの視聴情報として、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報が、再生装置２７から、送受信装置２５を介して、3D再構成装置２３に供給される点が、上述した第1実施の形態と異なる。仮想カメラ視聴範囲情報は、例えば、仮想カメラの外部パラメータおよび内部パラメータと、視錐台の前方クリップ面を表すNear情報、並びに、視錐台の後方クリップ面を表すFar情報で構成される。

第１実施の形態に係る3D再構成装置２３は、撮影空間内の全てのオブジェクトについて、3Dモデルを生成した。

これに対して、第２実施の形態に係る3D再構成装置２３は、再生装置２７からの仮想カメラ視聴範囲情報に基づいて、仮想カメラの視聴範囲内のオブジェクトについてのみ、3Dモデルを生成する。

3Dモデル生成部６３は、ユーザの視聴範囲に含まれるオブジェクトについてのみ、オブジェクト空間ごとにオブジェクトの3Dモデルを決定し、3Dモデルデータを生成する。

再生装置２７から送信されてくる仮想カメラ視聴範囲情報は、3Dモデル生成部６３内のパラメータ決定部８１に供給される。

パラメータ決定部８１は、仮想カメラ視聴範囲情報と、オブジェクト追跡部６２から供給される各オブジェクトのグローバル位置情報とに基づいて、撮影空間に含まれる全てのオブジェクトのうち、仮想カメラの視聴範囲内に含まれるオブジェクトを選択（決定）する。

パラメータ決定部８１は、図１２に示されるように、撮影空間に含まれる全てのオブジェクトについて、オブジェクトが仮想カメラ１４１の視聴範囲内、具体的には、斜線を付して示される視錐台１４２に含まれるか否かを判定する。

より具体的には、パラメータ決定部８１は、オブジェクトのバウンディングボックスを構成する各頂点情報を仮想カメラ１４１の画像面１４３に投影し、各頂点情報に対応するUV座標の少なくとも１つが仮想カメラ１４１の画像面１４３に含まれる場合には、仮想カメラ１４１の視聴範囲内であると判定する。一方、バウンディングボックスを構成する各頂点情報に対応するUV座標の全てが仮想カメラ１４１の画像面１４３に含まれない場合には、そのオブジェクトは、仮想カメラ１４１の視聴範囲外であると判定される。

図１２の例では、オブジェクト１５１−１のバウンディングボックス１５２−１を投影した投影面１５３−１は、仮想カメラ１４１の画像面１４３に含まれるため、オブジェクト１５１−１は、仮想カメラ１４１の視聴範囲内であると判定される。一方、オブジェクト１５１−２のバウンディングボックス１５２−２を投影した投影面１５３−２は、仮想カメラ１４１の画像面１４３に含まれないため、オブジェクト１５１−２は、仮想カメラ１４１の視聴範囲外であると判定される。仮想カメラ１４１の画像面１４３は、UV座標系で表される。

また、図１３に示されるように、仮想カメラ１４１の視聴範囲内であっても、他のオブジェクトのオクルージョンになっているオブジェクトについては、3Dモデルを生成しない。

図１３の例では、オブジェクト１６１−１のバウンディングボックス１６２−１を投影した投影面１６３−１内に、オブジェクト１６１−２のバウンディングボックス１６２−２を投影した投影面が完全に含まれるため、オブジェクト１６１−２は、オブジェクト１６１−１のオクルージョンになっている。そのため、オブジェクト１６１−２は、3Dモデルのモデリング対象から除外される。

仮想カメラ１４１の視聴範囲内に含まれるオブジェクトが選択された後の3Dモデル生成部６３の処理は、基本的に、第１実施の形態と同様である。

ただし、第１実施の形態では、モデリング対象のオブジェクトまでの距離が一番近い撮像装置２１をボクセル算出撮像装置として、ボクセル算出撮像装置からモデリング対象のオブジェクトを撮像したときの１画素相当のサイズで、ボクセルサイズが決定された。

これに対して、第２実施の形態では、ボクセル算出撮像装置が仮想カメラ１４１に置き換えられる。

すなわち、図７及び図８を参照して説明したボクセル算出撮像装置としての撮像装置２１−２が仮想カメラ１４１に置き換えられ、仮想カメラ１４１からモデリング対象のオブジェクトを撮像したときの１画素相当のサイズで、ボクセルサイズが決定される。仮想カメラ１４１からモデリング対象のオブジェクトまでの距離が近いほど、小さいボクセルサイズに設定される。仮想カメラ１４１からモデリング対象のオブジェクトまでの距離は、ユーザの注目度に相当する。

また、仮想カメラ１４１からモデリング対象のオブジェクトまでの距離が所定の閾値以内である場合には、オブジェクトのジオメトリ情報がポリゴンメッシュで表され、所定の閾値より大きい場合には、オブジェクトのジオメトリ情報がポイントクラウドで表される。

以上のように、パラメータ決定部８１は、ユーザの視聴情報として供給される仮想カメラ視聴範囲情報と、モデリング対象のオブジェクトの位置情報に基づいて、モデリング対象のオブジェクトの3Dモデルのパラメータを決定し、3Dデータ生成部８２に供給する。3Dデータ生成部８２は、モデリング対象のオブジェクトの3Dモデルデータを生成する。

（第２の3D再構成処理）
図１４は、3D再構成装置２３の第２実施の形態による3D再構成処理（第２の3D再構成処理）を説明するフローチャートである。この処理は、例えば、3D再構成装置２３と再生表示側である再生装置２７との間で、ネットワーク２６を介して接続が確立されたとき開始される。

図１４の第２の3D再構成処理の各ステップの処理を、図９で説明した第１の3D再構成処理の各ステップの処理と比較すると、ステップＳ４３とステップＳ４４が新たに追加されており、その他のステップＳ４１，Ｓ４２，Ｓ４５乃至Ｓ５３は、図９のステップＳ１１乃至Ｓ２１と同様である。

具体的には、まず、ステップＳ４１およびＳ４２において、図９のステップＳ１１およびＳ１２とそれぞれ同様に、前景背景分離部６１がシルエット画像を生成するとともに、オブジェクト追跡部６２が各オブジェクトのグローバル位置情報を検出する。

ステップＳ４３において、パラメータ決定部８１は、再生装置２７から送信されてきた仮想カメラ視聴範囲情報を取得する。

そして、ステップＳ４４において、パラメータ決定部８１は、仮想カメラ視聴範囲情報と、オブジェクト追跡部６２から供給される各オブジェクトのグローバル位置情報とに基づいて、撮影空間に含まれる全てのオブジェクトのうち、仮想カメラの視聴範囲内に含まれるオブジェクトを、3Dモデルを生成するオブジェクトとして決定する。なお、仮想カメラの視聴範囲内に含まれるオブジェクトであっても、他のオブジェクトのオクルージョンになっているオブジェクトについては、3Dモデルを生成するオブジェクトから除外される。

その後のステップＳ４５乃至Ｓ５３の各処理は、図９のステップＳ１３乃至Ｓ２１と、それぞれ同様である。

ただし、図９の第１の3D再構成処理では、3Dモデル生成部６３は、撮影空間（前景画像）内に含まれる全てのオブジェクトを、3Dモデルを生成するモデリング対象のオブジェクトとして、モデリング対象の各オブジェクトについて、ステップＳ１３乃至Ｓ２１の処理を繰り返し実行した。

一方、図１４の第２の3D再構成処理では、3Dモデル生成部６３は、ステップＳ４４で、3Dモデルを生成するオブジェクトとして選択された１以上のオブジェクトを、3Dモデルを生成するモデリング対象のオブジェクトとし、モデリング対象の各オブジェクトについて、ステップＳ４５乃至Ｓ５３の処理を繰り返し実行する。

以上の第２の3D再構成処理によれば、仮想カメラの視聴範囲内のオブジェクトについてのみ、3Dモデルが生成される。3Dモデルの生成については、第１実施の形態と同様に、オブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、各オブジェクトの3Dモデルが生成される。

3Dモデルを生成する対象を、オブジェクトのオブジェクト空間に限定するとともに、ユーザの視聴範囲に限定して3Dモデルを生成することにより、処理負荷を低減し、高速にモデリングすることができる。また、再生装置２７へ伝送する際の伝送帯域を削減することができる。

また、モデリング対象のオブジェクトごとに、3Dモデルのパラメータが決定されるので、オブジェクト毎に画質と負荷を調整することができる。

なお、第２実施の形態においても、第１実施の形態の変形例のように、他の装置で生成されたシルエット画像を取得して、各オブジェクトの3Dモデルを生成する構成も可能である。

＜６．3D再構成装置の第３実施の形態＞
（3D再構成装置のブロック図）
図１５は、3D再構成装置２３の第３実施の形態の構成例を示すブロック図である。

第３実施の形態の構成例を示す図１５においても、第１実施の形態の構成例を示した図４と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略して、異なる部分について説明する。

第３実施の形態では、ユーザの視聴情報として、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報と、ユーザが表示対象として指定したオブジェクトを示すオブジェクト識別情報が、再生装置２７から、送受信装置２５を介して、3D再構成装置２３に供給される点が、上述した第1実施の形態と異なる。オブジェクト識別情報は、本実施の形態では、オブジェクトIDとされる。仮想カメラ視聴範囲情報は、第２実施の形態と同様である。

第１実施の形態に係る3D再構成装置２３は、撮影空間内の全てのオブジェクトについて、3Dモデルを生成した。

これに対して、第３実施の形態に係る3D再構成装置２３は、ユーザが表示対象として指定したオブジェクトについてのみ、3Dモデルを生成する。

そのため、3Dモデル生成部６３は、最初に、図１６のAに示されるように、全てのオブジェクトのグローバル位置情報にオブジェクトIDを付して、再生装置２７に送信する。

各オブジェクトのグローバル位置情報としては、例えば、図１６のBに示されるように、バウンディングボックスの頂点のｘ座標の最小値xminおよび最大値xmax、ｙ座標の最小値yminおよび最大値ymax、並びに、ｚ座標の最小値zminおよび最大値zmaxを採用することができる。

3Dモデル生成部６３には、再生装置２７から、ユーザによって指定された１以上のオブジェクトのオブジェクトIDが、仮想カメラ視聴範囲情報とともに、ユーザの視聴情報として、送信されてくる。

3Dモデル生成部６３は、再生装置２７からの仮想カメラ視聴範囲情報とオブジェクトIDに基づいて、ユーザが表示対象として指定したオブジェクトについてのみ、オブジェクト空間ごとにオブジェクトの3Dモデルを決定し、3Dモデルデータを生成する。

再生装置２７からの仮想カメラ視聴範囲情報とオブジェクトIDは、3Dモデル生成部６３内のパラメータ決定部８１に供給される。

パラメータ決定部８１は、再生装置２７からのオブジェクトIDに基づいて、3Dモデルデータを生成するオブジェクトを決定（選択）する。

3Dモデルデータを生成するオブジェクトが決定された後の3Dモデル生成部６３の処理は、第２実施の形態と同様である。すなわち、仮想カメラ視聴範囲情報に基づいて、仮想カメラ１４１からモデリング対象のオブジェクトを撮像したときの１画素相当のサイズで、ボクセルサイズが決定される。また、仮想カメラ１４１からモデリング対象のオブジェクトまでの距離が、予め決定された所定の閾値以内であるか否かに基づいて、モデリング対象のオブジェクトのジオメトリ情報を、ポリゴンメッシュで表すか、または、ポイントクラウドで表すかが決定される。

（第３の3D再構成処理）
図１７は、3D再構成装置２３の第３実施の形態による3D再構成処理（第３の3D再構成処理）を説明するフローチャートである。この処理は、例えば、3D再構成装置２３と再生表示側である再生装置２７との間で、ネットワーク２６を介して接続が確立されたとき開始される。

図１７の第３の3D再構成処理の各ステップの処理を、図９で説明した第１の3D再構成処理の各ステップの処理と比較すると、ステップＳ７３乃至Ｓ７５が新たに追加されており、その他のステップＳ７１，Ｓ７２，Ｓ７６乃至Ｓ８４は、図９のステップＳ１１乃至Ｓ２１と同様である。

具体的には、まず、ステップＳ７１およびＳ７２において、図９のステップＳ１１およびＳ１２とそれぞれ同様に、前景背景分離部６１がシルエット画像を生成するとともに、オブジェクト追跡部６２が各オブジェクトのグローバル位置情報を検出する。

ステップＳ７３において、パラメータ決定部８１は、撮影空間内の全オブジェクトのオブジェクトIDとグローバル位置情報を、送受信装置２５等を介して、再生装置２７に送信する。

ステップＳ７４において、パラメータ決定部８１は、再生装置２７から、ユーザの視聴情報として送信されてくる、ユーザが指定した１以上のオブジェクトのオブジェクトIDと仮想カメラ視聴範囲情報を取得する。

ステップＳ７５において、パラメータ決定部８１は、再生装置２７からのオブジェクトIDに基づいて、ユーザが指定したオブジェクトを、3Dモデルを生成するオブジェクトとして決定する。

その後のステップＳ７６乃至Ｓ８４の各処理は、図９のステップＳ１３乃至Ｓ２１と、それぞれ同様である。

ただし、図９の第１の3D再構成処理では、3Dモデル生成部６３は、撮影空間（前景画像）内に含まれる全てのオブジェクトを、3Dモデルを生成するモデリング対象のオブジェクトとして、モデリング対象の各オブジェクトについて、ステップＳ１３乃至Ｓ２１の処理を繰り返し実行した。

一方、図１７の第３の3D再構成処理では、3Dモデル生成部６３は、ステップＳ７５で、3Dモデルを生成するオブジェクトとして決定された１以上のオブジェクトを、3Dモデルを生成するモデリング対象のオブジェクトとし、モデリング対象の各オブジェクトについて、ステップＳ７６乃至Ｓ８４の処理を繰り返し実行する。

以上の第３の3D再構成処理によれば、ユーザの視聴情報としてユーザが指定したオブジェクトについてのみ、3Dモデルが生成される。3Dモデルの生成については、第１実施の形態と同様に、オブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、各オブジェクトの3Dモデルが生成される。

3Dモデルを生成する対象を、オブジェクトのオブジェクト空間に限定するとともに、ユーザが指定したオブジェクトに限定して3Dモデルを生成することにより、処理負荷を低減し、高速にモデリングすることができる。また、再生装置２７へ伝送する際の伝送帯域を削減することができる。

また、モデリング対象のオブジェクトごとに、3Dモデルのパラメータが決定されるので、オブジェクト毎に画質と負荷を調整することができる。

なお、第３実施の形態においても、第１実施の形態の変形例のように、他の装置で生成されたシルエット画像を取得して、各オブジェクトの3Dモデルを生成する構成も可能である。

＜７．第１乃至第３実施の形態のまとめ＞
図１８は、第１乃至第３実施の形態に係る3D再構成装置２３の3Dモデルのモデリング方法をまとめたテーブルである。

第１実施の形態では、撮像空間に存在する全てのオブジェクトが、モデリング対象のオブジェクトに決定される。

そして、モデリング対象のオブジェクトから距離が最も近い撮像装置２１とオブジェクトとの位置関係に基づいて、ボクセルサイズとメッシュ化の有無が決定される。具体的には、ボクセルサイズについては、撮像装置２１から近いオブジェクトは細かく、遠いオブジェクトは粗く設定される。メッシュ化の有無については、撮像装置２１から近いオブジェクトはメッシュ化され、遠いオブジェクトはメッシュ化されず、ポイントクラウドで表現される。

このように、モデリング対象のオブジェクトごとに、3Dモデルのモデリング方法を決定することで、オブジェクト毎に画質と負荷を調整することができる。

また、オブジェクトをモデリングする際、オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、オブジェクトの3Dモデルを生成するので、処理負荷を低減し、高速にモデリングすることができる。また、再生装置２７へ伝送する際の伝送帯域を削減することができる。

次の第２実施の形態では、モデリング対象のオブジェクトを決定するために、再生装置２７から仮想カメラ視聴範囲情報が供給され、その仮想カメラ視聴範囲情報に基づいて、仮想カメラ１４１の視聴範囲に含まれるオブジェクトがモデリング対象のオブジェクトに決定される。

そして、仮想カメラ１４１とモデリング対象のオブジェクトとの位置関係に基づいて、ボクセルサイズとメッシュ化の有無が決定される。具体的には、ボクセルサイズについては、仮想カメラ１４１から近いオブジェクトは細かく、遠いオブジェクトは粗く設定される。メッシュ化の有無については、仮想カメラ１４１から近いオブジェクトはメッシュ化され、遠いオブジェクトはメッシュ化されず、ポイントクラウドで表現される。

このように、モデリング対象のオブジェクトごとに、3Dモデルのモデリング方法を決定することで、オブジェクト毎に画質と負荷を調整することができる。

また、オブジェクトをモデリングする際、オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、オブジェクトの3Dモデルを生成するので、処理負荷を低減し、高速にモデリングすることができる。また、再生装置２７へ伝送する際の伝送帯域を削減することができる。

さらに、仮想カメラの視聴範囲内のオブジェクトのみ、3Dモデルを生成するので、撮影空間内の全てのオブジェクトをモデリングする場合と比べて、処理負荷が低減されるとともに、処理速度を高速化することができる。

次の第３実施の形態では、モデリング対象のオブジェクトを決定するために、再生装置２７から、ユーザが表示対象として指定したオブジェクトIDと仮想カメラ視聴範囲情報が供給され、ユーザ指定のオブジェクトIDに対応するオブジェクトがモデリング対象のオブジェクトに決定される。

そして、仮想カメラ１４１とモデリング対象のオブジェクトとの位置関係に基づいて、ボクセルサイズとメッシュ化の有無が決定される。具体的には、ボクセルサイズについては、仮想カメラ１４１から近いオブジェクトは細かく、遠いオブジェクトは粗く設定される。メッシュ化の有無については、仮想カメラ１４１から近いオブジェクトはメッシュ化され、遠いオブジェクトはメッシュ化されず、ポイントクラウドで表現される。

このように、モデリング対象のオブジェクトごとに、3Dモデルのモデリング方法を決定することで、オブジェクト毎に画質と負荷を調整することができる。

また、オブジェクトをモデリングする際、オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、オブジェクトの3Dモデルを生成するので、処理負荷を低減し、高速にモデリングすることができる。また、再生装置２７へ伝送する際の伝送帯域を削減することができる。

さらに、ユーザが表示対象として指定したオブジェクトのみ、3Dモデルを生成するので、撮影空間内の全てのオブジェクトをモデリングする場合と比べて、処理負荷が低減されるとともに、処理速度を高速化することができる。

＜８．画像処理システムのその他の構成例＞
図１９は、本技術を適用した画像処理システムのその他の構成例を示すブロック図である。

図１９においては、図３と対応する部分については同一の符号を付してあり、その部分の説明は省略し、異なる部分に着目して説明する。

図１９の画像処理システム１０を、図３の画像処理システム１０と比較すると、記憶装置２２と3D再構成装置２３との間に、選択装置３０が新たに追加されている。図１９の画像処理システム１０のその他の構成は、図３の画像処理システム１０と同様である。なお、選択装置３０は、3D再構成装置２３の一部として追加されてもよい。

選択装置３０には、3D再構成装置２３と同様に、ユーザの視聴情報としての仮想カメラ視聴範囲情報が、再生装置２７から送受信装置２５を介して供給される。

選択装置３０は、上述したオブジェクト追跡部６２と同様に、各撮像装置２１で撮像された前景画像内に含まれる各オブジェクトのグローバル位置情報を検出する機能を備える。

図３の画像処理システム１０では、3D再構成装置２３は、全ての撮像装置２１（撮像装置２１−１乃至２１−N）で撮像された前景画像およびデプス画像を取得した。

これに対して、図１９の画像処理システム１０では、選択装置３０が、再生装置２７から送信されてきた仮想カメラ視聴範囲情報に基づいて、仮想カメラの視聴範囲内のオブジェクトを特定する。そして、選択装置３０は、記憶装置２２に記憶されている、全ての撮像装置２１で撮像された前景画像（テクスチャ画像）およびデプス画像のうち、特定されたオブジェクトが含まれる前景画像およびデプス画像を選択して、記憶装置２２から取得し、3D再構成装置２３に供給する。

例えば、図２０に示されるように、仮想カメラ視聴範囲情報に基づいて、仮想カメラ１４１の視聴範囲内に含まれる３つのオブジェクト１８１−１乃至１８１−３が特定される。この３つのオブジェクト１８１−１乃至１８１−３は、撮像装置２１−１および２１−２によって撮像された前景画像には含まれるが、撮像装置２１−３によって撮像された前景画像には含まれないとする。

この場合、選択装置３０は、撮像装置２１−１および２１−２によって撮像された前景画像については3D再構成装置２３に供給し、撮像装置２１−３によって撮像された前景画像については3D再構成装置２３に供給しない。

図２１は、撮像装置２１の個数が７個であり、撮像装置２１−１乃至２１−７それぞれで撮像された前景画像から、視聴範囲内に含まれるオブジェクトが撮像された前景画像を選択する処理を示す図である。

図２１は、記憶装置２２に記憶されている、撮像装置２１−１乃至２１−７それぞれで撮像された前景画像のうち、上述した撮像装置２１−３によって撮像された前景画像と、撮像装置２１−６によって撮像された前景画像に、仮想カメラ１４１の視聴範囲内に含まれるオブジェクトが映っていない例を示している。

この場合、選択装置３０は、撮像装置２１−１、２１−２、２１−４、２１−５、および、２１−６によって撮像された前景画像を選択して、3D再構成装置２３に供給し、撮像装置２１−３および２１−６によって撮像された前景画像を非選択として3D再構成装置２３に供給しない。3D再構成装置２３は、選択装置３０から供給される前景画像を用いて、オブジェクトの3Dモデルを決定し、生成する。

なお、上述した第１乃至第３実施の形態の変形例のように、他の装置で生成されたシルエット画像が記憶装置２２に記憶されている場合には、仮想カメラ１４１の視聴範囲内に含まれるオブジェクトを含む前景画像に対応するシルエット画像が選択され、3D再構成装置２３に供給される。

このように、画像処理システム１０において、3Dモデルを生成する3D再構成装置２３に供給する前景画像またはシルエット画像を選択する選択装置３０を追加することにより、3D再構成装置２３の処理負荷を低減し、処理を高速化することができる。

＜９．配信処理と再生処理＞
次に、画像処理システム１０の配信側全体の処理である配信処理と、再生側全体の処理である再生処理について説明する。

（配信処理）
最初に、図２２のフローチャートを参照して、画像処理システム１０の配信側による配信処理について説明する。

初めに、ステップＳ３０１において、複数の撮像装置２１それぞれは、所定の撮影空間を撮像し、その結果得られる動画像を記憶装置２２に供給する。

ステップＳ３０２において、3D再構成装置２３は、記憶装置２２に記憶されている、複数の撮像装置２１それぞれで得られた動画像を用いて、オブジェクト毎にパラメータを決定し、3Dモデルを生成する。生成された各オブジェクトの3Dモデルデータは、符号化装置２４に供給される。

このステップＳ３０２の処理では、上述したように、第１実施の形態では、撮像空間に存在する全てのオブジェクトがモデリング対象に決定され、3Dモデルが生成される。第２実施の形態では、ユーザの視聴範囲（仮想カメラの視聴範囲）内のオブジェクトがモデリング対象に決定され、3Dモデルが生成される。第３実施の形態では、ユーザが指定したオブジェクトがモデリング対象に決定され、3Dモデルが生成される。

また、図１９に示した画像処理システム１０のように、選択装置３０が設けられる場合には、ステップＳ３０１の処理とステップＳ３０２の処理との間に、仮想カメラ視聴範囲情報に基づいて、前景画像またはシルエット画像を選択する処理が追加される。

ステップＳ３０３において、符号化装置２４は、3D再構成装置２３から供給された各オブジェクトの3Dモデルデータを、例えば、AVC方式、HEVC方式等の所定の符号化方式で符号化する。符号化して得られた3Dモデルの符号化ストリームは、送受信装置２５へ供給される。

ステップＳ３０４において、送受信装置２５は、符号化装置２４から供給された3Dモデルの符号化ストリームを、ネットワーク２６を介して再生装置２７へ送信する。

以上の配信処理によれば、複数の撮像装置２１で撮像されて生成された、多数のオブジェクトの3Dモデルのうち、任意の3Dモデルを選択して、再生装置２７で再生されるように、3Dモデルデータを伝送することができる。

（再生処理）
次に、図２３のフローチャートを参照して、画像処理システム１０の再生側による再生処理について説明する。

初めに、ステップＳ３２１において、再生装置２７の送受信部４１は、送受信装置２５から供給される、各オブジェクトの3Dモデルデータを符号化した符号化ストリームを受信（取得）し、復号部４２に供給する。

ステップＳ３２２において、復号部４２は、送受信部４１から供給された3Dモデルの符号化ストリームを、符号化装置２４における符号化方式に対応する方式で復号する。復号部４２は、復号して得られた各オブジェクトの3Dモデルデータを描画部４３に供給する。

ステップＳ３２３において、描画部４３は、復号部４２から供給された各オブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からのオブジェクトの画像（オブジェクト画像）を表示画像として生成し、表示装置２８に供給する。

ステップＳ３２４において、表示装置２８は、描画部４３から供給された表示画像を２次元表示して、再生処理を終了する。

以上の再生処理によれば、3Dモデルのパラメータがオブジェクトごとに決定されて生成された3Dモデル（のデータ）を受信して、表示装置２８に表示させることができる。

画像処理システム１０によれば、モデリング対象のオブジェクトごとに、3Dモデルのモデリング方法を決定することで、オブジェクト毎に画質と負荷を調整することができる。

また、オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、オブジェクトの3Dモデルを生成するので、処理負荷を低減するとともに、再生装置２７へ伝送する際の伝送帯域を削減することができる。

さらに、ユーザの視聴情報に基づいて、モデリング対象のオブジェクトを限定した場合には、撮影空間内の全てのオブジェクトをモデリングする場合と比べて、処理負荷が低減されるとともに、処理速度を高速化することができる。

＜１０．マルチテクスチャジオメトリ形式以外のデータフォーマットで伝送する場合＞
上述した例では、3Dモデルのデータフォーマットとして、図２を参照して説明した４つのデータフォーマットのうち、マルチテクスチャジオメトリ形式で生成する場合について説明した。

3Dモデルのデータフォーマットとしてポイントクラウド形式で伝送する場合には、オブジェクトのジオメトリ情報はポイントクラウドで表されるため、上述したメッシュ化するか否かの判定は省略される。3D再構成装置２３の3Dモデル生成部６３は、撮像装置２１または仮想カメラ１４１から、モデリング対象のオブジェクトまでの距離に応じてボクセルサイズを決定し、3Dモデルを生成する。

3DモデルのデータフォーマットとしてUVテクスチャジオメトリ形式で伝送する場合には、オブジェクトのジオメトリ情報はポリゴンメッシュで表されるため、上述したメッシュ化するか否かの判定は省略される。3D再構成装置２３の3Dモデル生成部６３は、撮像装置２１または仮想カメラ１４１から、モデリング対象のオブジェクトまでの距離に応じてボクセルサイズを決定し、3Dモデルを生成する。

3Dモデルのデータフォーマットとしてマルチテクスチャデプス形式で伝送する場合には、上述したメッシュ化するか否かの判定は省略され、最初に、オブジェクトのジオメトリ情報はポリゴンメッシュで表される。3D再構成装置２３の3Dモデル生成部６３は、撮像装置２１または仮想カメラ１４１から、モデリング対象のオブジェクトまでの距離に応じてボクセルサイズを決定し、オブジェクトのジオメトリ情報を、決定したボクセルサイズのポリゴンメッシュで表した3Dモデルを生成する。その後、3Dモデル生成部６３は、ポリゴンメッシュで表したオブジェクトのジオメトリ情報から、複数の撮像装置２１で得られた複数枚の撮影画像（テクスチャ画像）に対応する複数枚のデプス画像を生成し、マルチテクスチャデプス形式の3Dモデルデータを伝送する。

＜１１．マルチユーザに伝送する場合＞
上述した例では、配信側である3D再構成装置２３と、再生側である再生装置２７および表示装置２８とが、１対１の関係である場合について説明した。しかしながら、再生側として複数のユーザが存在し、配信側である3D再構成装置２３が、複数のユーザに対応する複数の再生装置２７からの要求に応えて、所定のオブジェクトの3Dモデルを伝送する構成も可能である。

この場合、3D再構成装置２３は、複数の再生装置２７それぞれのユーザの視聴情報（仮想カメラの視聴範囲）に応じて、個別に、オブジェクトの3Dモデルを決定し、伝送してもよいし、例えば、複数のユーザの視聴範囲や指定オブジェクトのOR（論理和）を演算して、演算結果に対応する複数のオブジェクトの3Dモデルを決定し、伝送してもよい。

＜１２．コンピュータ構成例＞
上述した3D再構成処理、配信処理、再生処理等の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。

入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。

以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜１３．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬIDＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬIDＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬIDＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、上述した画像処理システム１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００に、上述した画像処理システム１０を適用する場合、例えば、画像処理システム１０の撮像装置２１は、撮像部７４１０の少なくとも一部に相当する。また、記憶装置２２、3D再構成装置２３、符号化装置２４、送受信装置２５、および、再生装置２７は一体化され、マイクロコンピュータ７６１０と記憶部７６９０に相当する。表示装置２８は、表示部７７２０に相当する。送受信装置２５と再生装置２７との間のネットワーク２６は省略され得る。ユーザである運転者の視聴範囲を検出する場合には、撮像部７４１０の一部や、運転者状態検出部７５１０によって検出される。以上のようにして、画像処理システム１０を、図２５に示した応用例の統合制御ユニット７６００に適用することにより、例えば、車両走行中にLidar（ライダー）で周囲環境を取得しながら3D地図情報などを更新する際に、認識したオブジェクトの重要度に応じてメッシュ化の有無やボクセルサイズを決定し、生成した3D地図情報を表示画像として表示部７７２０等に高画質（高解像度）に表示することができる。

また、画像処理システム１０の少なくとも一部の構成要素は、図２５に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、画像処理システム１０が、図２５に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は以下のような構成も取ることができる。
（１）
オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、オブジェクト空間ごとにオブジェクトの3Dモデルを生成する3Dモデル生成部
を備える画像処理装置。
（２）
前記3Dモデル生成部は、前記オブジェクトを撮像した撮像装置と前記オブジェクトの位置情報に基づいて、前記オブジェクトの3Dモデルのパラメータを決定する
前記（１）に記載の画像処理装置。
（３）
前記3Dモデル生成部は、前記オブジェクトを撮像した複数の撮像装置のうち、前記3Dモデルを生成するオブジェクトに一番近い撮像装置と前記オブジェクトの位置情報に基づいて、前記パラメータを決定する
前記（２）に記載の画像処理装置。
（４）
前記オブジェクトの3Dモデルは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報をポイントクラウドまたはポリゴンメッシュで表す
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記3Dモデル生成部は、撮像装置から前記オブジェクトまでの距離が、所定の閾値以内である場合には、前記オブジェクトのジオメトリ情報をポリゴンメッシュで表し、前記所定の閾値より大きい場合には、前記オブジェクトのジオメトリ情報をポイントクラウドで表す
前記（４）に記載の画像処理装置。
（６）
前記3Dモデル生成部は、前記撮像装置から前記オブジェクトまでの距離が近いほど、小さいボクセルサイズを設定する
前記（２）に記載の画像処理装置。
（７）
前記3Dモデル生成部は、ユーザの視聴情報と前記オブジェクトの位置情報に基づいて、前記オブジェクトの3Dモデルのパラメータを決定する
前記（１）に記載の画像処理装置。
（８）
前記ユーザの視聴情報は、仮想カメラの視点に基づくユーザの視聴範囲を示す視聴範囲情報であり、
前記3Dモデル生成部は、前記ユーザの視聴範囲に含まれる前記オブジェクトの3Dモデルを生成する
前記（７）に記載の画像処理装置。
（９）
前記オブジェクトの3Dモデルは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報をポイントクラウドまたはポリゴンメッシュで表され、
前記3Dモデル生成部は、前記ユーザの注目度が低いオブジェクトについては、前記オブジェクトのジオメトリ情報をポイントクラウドで表す
前記（８）に記載の画像処理装置。
（１０）
前記3Dモデル生成部は、前記ユーザの注目度が高いオブジェクトほど、小さいボクセルサイズを設定する
前記（８）または（９）に記載の画像処理装置。
（１１）
前記3Dモデル生成部は、前記ユーザの注目度として、前記仮想カメラから前記オブジェクトまでの距離を用いる
前記（９）または（１０）に記載の画像処理装置。
（１２）
前記ユーザの視聴情報は、ユーザが表示対象として指定したオブジェクトを示すオブジェクト識別情報であり、
前記3Dモデル生成部は、前記オブジェクト識別情報が示す前記オブジェクトの3Dモデルを生成する
前記（７）に記載の画像処理装置。
（１３）
前記オブジェクトの3Dモデルは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報を前記テクスチャ画像の画素値に対応させて距離情報を格納した複数枚のデプス画像で表す
前記（１）に記載の画像処理装置。
（１４）
前記3Dモデル生成部は、前記オブジェクトのジオメトリ情報を、設定したボクセルサイズのポリゴンメッシュで表した後、前記デプス画像に変換する
前記（１３）に記載の画像処理装置。
（１５）
前記オブジェクトの3Dモデルは、前記オブジェクトのジオメトリ情報をポイントクラウドで表し、そのポイントクラウドの各点に対応して前記オブジェクトの色情報で表す
前記（１）に記載の画像処理装置。
（１６）
前記オブジェクトの3Dモデルは、前記オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応して前記オブジェクトの色情報を表す
前記（１）に記載の画像処理装置。
（１７）
前記3Dモデル生成部は、撮像装置から前記オブジェクトまでの距離が近いほど、小さいボクセルサイズを設定する
前記（１３）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
前記3Dモデル生成部は、ユーザの注目度が高いオブジェクトほど、小さいボクセルサイズを設定する
前記（１３）乃至（１６）のいずれかに記載の画像処理装置。
（１９）
前記オブジェクトの3Dモデルは、前記オブジェクトの色情報とジオメトリ情報で構成され、
前記オブジェクトの色情報は、複数の方向から撮像した複数枚のテクスチャ画像で表され、
ユーザの視聴情報に基づいて所定のオブジェクトを特定し、前記複数枚のテクスチャ画像のなかから、特定されたオブジェクトが含まれる前記テクスチャ画像を選択する選択部をさらに備え、
前記3Dモデル生成部は、前記オブジェクトの色情報として、選択された前記テクスチャ画像を用いて、前記オブジェクトの3Dモデルを生成する
前記（１）に記載の画像処理装置。
（２０）
画像処理装置が、
オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、オブジェクト空間ごとにオブジェクトの3Dモデルを生成する
画像処理方法。

１０ 画像処理システム， ２１−１乃至２１−N 撮像装置， ２２ 記憶装置， ２３ ３D再構成装置， ２７ 再生装置， ２８ 表示装置， ３０ 選択装置， ６１ 前景背景分離部， ６２ オブジェクト追跡部， ６３ 3Dモデル生成部， ８１ パラメータ決定部， ８２ 3Dデータ生成部， ８３ メッシュ変換部， １４１ 仮想カメラ， ９００ コンピュータ， ９０１ CPU， ９０２ ROM， ９０３ RAM， ９０６ 入力部， ９０７ 出力部， ９０８ 記憶部， ９０９ 通信部， ９１０ ドライブ

Claims (20)

1. オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、オブジェクト空間ごとにオブジェクトの3Dモデルを生成する3Dモデル生成部
   を備える画像処理装置。
2. 前記3Dモデル生成部は、前記オブジェクトを撮像した撮像装置と前記オブジェクトの位置情報に基づいて、前記オブジェクトの3Dモデルのパラメータを決定する
   請求項１に記載の画像処理装置。
3. 前記3Dモデル生成部は、前記オブジェクトを撮像した複数の撮像装置のうち、前記3Dモデルを生成するオブジェクトに一番近い撮像装置と前記オブジェクトの位置情報に基づいて、前記パラメータを決定する
   請求項２に記載の画像処理装置。
4. 前記オブジェクトの3Dモデルは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報をポイントクラウドまたはポリゴンメッシュで表す
   請求項１に記載の画像処理装置。
5. 前記3Dモデル生成部は、撮像装置から前記オブジェクトまでの距離が、所定の閾値以内である場合には、前記オブジェクトのジオメトリ情報をポリゴンメッシュで表し、前記所定の閾値より大きい場合には、前記オブジェクトのジオメトリ情報をポイントクラウドで表す
   請求項４に記載の画像処理装置。
6. 前記3Dモデル生成部は、前記撮像装置から前記オブジェクトまでの距離が近いほど、小さいボクセルサイズを設定する
   請求項２に記載の画像処理装置。
7. 前記3Dモデル生成部は、ユーザの視聴情報と前記オブジェクトの位置情報に基づいて、前記オブジェクトの3Dモデルのパラメータを決定する
   請求項１に記載の画像処理装置。
8. 前記ユーザの視聴情報は、仮想カメラの視点に基づくユーザの視聴範囲を示す視聴範囲情報であり、
   前記3Dモデル生成部は、前記ユーザの視聴範囲に含まれる前記オブジェクトの3Dモデルを生成する
   請求項７に記載の画像処理装置。
9. 前記オブジェクトの3Dモデルは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報をポイントクラウドまたはポリゴンメッシュで表され、
   前記3Dモデル生成部は、前記ユーザの注目度が低いオブジェクトについては、前記オブジェクトのジオメトリ情報をポイントクラウドで表す
   請求項８に記載の画像処理装置。
10. 前記3Dモデル生成部は、前記ユーザの注目度が高いオブジェクトほど、小さいボクセルサイズを設定する
    請求項８に記載の画像処理装置。
11. 前記3Dモデル生成部は、前記ユーザの注目度として、前記仮想カメラから前記オブジェクトまでの距離を用いる
    請求項９に記載の画像処理装置。
12. 前記ユーザの視聴情報は、ユーザが表示対象として指定したオブジェクトを示すオブジェクト識別情報であり、
    前記3Dモデル生成部は、前記オブジェクト識別情報が示す前記オブジェクトの3Dモデルを生成する
    請求項７に記載の画像処理装置。
13. 前記オブジェクトの3Dモデルは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報を前記テクスチャ画像の画素値に対応させて距離情報を格納した複数枚のデプス画像で表す
    請求項１に記載の画像処理装置。
14. 前記3Dモデル生成部は、前記オブジェクトのジオメトリ情報を、設定したボクセルサイズのポリゴンメッシュで表した後、前記デプス画像に変換する
    請求項１３に記載の画像処理装置。
15. 前記オブジェクトの3Dモデルは、前記オブジェクトのジオメトリ情報をポイントクラウドで表し、そのポイントクラウドの各点に対応して前記オブジェクトの色情報を表す
    請求項１に記載の画像処理装置。
16. 前記オブジェクトの3Dモデルは、前記オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応して前記オブジェクトの色情報を表す
    請求項１に記載の画像処理装置。
17. 前記3Dモデル生成部は、撮像装置から前記オブジェクトまでの距離が近いほど、小さいボクセルサイズを設定する
    請求項１３に記載の画像処理装置。
18. 前記3Dモデル生成部は、ユーザの注目度が高いオブジェクトほど、小さいボクセルサイズを設定する
    請求項１３に記載の画像処理装置。
19. 前記オブジェクトの3Dモデルは、前記オブジェクトの色情報とジオメトリ情報で構成され、
    前記オブジェクトの色情報は、複数の方向から撮像した複数枚のテクスチャ画像で表され、
    ユーザの視聴情報に基づいて所定のオブジェクトを特定し、前記複数枚のテクスチャ画像のなかから、特定されたオブジェクトが含まれる前記テクスチャ画像を選択する選択部をさらに備え、
    前記3Dモデル生成部は、前記オブジェクトの色情報として、選択された前記テクスチャ画像を用いて、前記オブジェクトの3Dモデルを生成する
    請求項１に記載の画像処理装置。
20. 画像処理装置が、
    オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、オブジェクト空間ごとにオブジェクトの3Dモデルを生成する
    画像処理方法。

Images