JPWO2019003953A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

本技術は、3Dモデルのデータをオブジェクト単位で伝送することができるようにする画像処理装置および画像処理方法に関する。画像処理装置は、複数の3Dモデルのオブジェクトの中から、所定の条件を満たすオブジェクトを選択する3Dモデル選択部と、選択されたオブジェクトの3Dモデルデータを送信する送信部とを備える。本技術は、例えば、3Dモデルの3Dモデルデータをネットワークを介して送信する装置等に適用できる。

Description

本技術は、画像処理装置および画像処理方法に関し、特に、3Dモデルのデータをオブジェクト単位で伝送することができるようにした画像処理装置および画像処理方法に関する。

コンピュータグラフィックスでは、ローカル端末における処理負荷軽減の対策として、ディスプレイに表示される視錐台内にあるモデルだけをレンダリングする視錐台カリングという手法がある。この視錐台カリングの手法をサーバクライアントシステムに取り入れた技術が提案されている（例えば、特許文献１参照）。

米国特許出願公開第２０１３／３２１５９３号明細書

しかしながら、3Dモデルを伝送する際に、オブジェクト単位で伝送することは検討されていない。

本技術は、このような状況に鑑みてなされたものであり、3Dモデルのデータをオブジェクト単位で伝送することができるようにするものである。

本技術の第１の側面の画像処理装置は、複数の3Dモデルのオブジェクトの中から、所定の条件を満たすオブジェクトを選択する3Dモデル選択部と、選択された前記オブジェクトの3Dモデルデータを送信する送信部とを備える。

本技術の第１の側面の画像処理方法は、画像処理装置が、複数の3Dモデルのオブジェクトの中から、所定の条件を満たすオブジェクトを選択し、選択した前記オブジェクトの3Dモデルデータを送信するステップを含む。

本技術の第１の側面においては、複数の3Dモデルのオブジェクトの中から、所定の条件を満たすオブジェクトが選択され、選択された前記オブジェクトの3Dモデルデータが送信される。

本技術の第２の側面の画像処理装置は、複数の3Dモデルのオブジェクトの中から所定の条件を満たすオブジェクトとして選択された前記オブジェクトの3Dモデルデータを受信する受信部と、受信された前記オブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からの前記オブジェクトの表示画像を生成する描画部とを備える。

本技術の第２の側面の画像処理方法は、画像処理装置が、複数の3Dモデルのオブジェクトの中から所定の条件を満たすオブジェクトとして選択された前記オブジェクトの3Dモデルデータを受信し、受信した前記オブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からの前記オブジェクトの表示画像を生成するステップを含む。

本技術の第２の側面においては、複数の3Dモデルのオブジェクトの中から、所定の条件を満たすオブジェクトとして選択された前記オブジェクトの3Dモデルデータが受信され、受信された前記オブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からの前記オブジェクトの表示画像が生成される。

なお、本技術の第１及び第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本技術の第１及び第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術の第１の側面によれば、3Dモデルのデータをオブジェクト単位で伝送することができる。

本技術の第２の側面によれば、オブジェクト単位で伝送されてくる3Dモデルのデータを受信して表示することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した画像処理システムの概要を説明する図である。 本技術を適用した画像処理システムの概要を説明する図である。 ポイントクラウド形式におけるジオメトリ情報の例を示す図である。 本技術を適用した画像処理システムの構成例を示すブロック図である。 選択装置の第１実施の形態の構成例を示すブロック図である。 図５の3Dモデル選択部の処理を説明する図である。 図５の3Dモデル選択部の処理を説明する図である。 第１のオブジェクト選択処理を説明するフローチャートである。 選択装置の第２実施の形態の構成例を示すブロック図である。 第２実施の形態におけるオブジェクト特定情報を説明する図である。 図９の3Dモデル選択部の処理を説明する図である。 第２のオブジェクト選択処理を説明するフローチャートである。 選択装置の第３実施の形態の構成例を示すブロック図である。 図１３の画像選択部の処理を説明する図である。 図１３の画像選択部の処理を説明する図である。 第３のオブジェクト選択処理を説明するフローチャートである。 選択装置の第４実施の形態の構成例を示すブロック図である。 切出し部による切出し処理を説明する図である。 切出し部による切出し処理を説明する図である。 切出し部による切出し処理を説明する図である。 切出し処理を説明するフローチャートである。 オブジェクト領域を説明する図である。 切出し情報メタデータを説明する図である。 切出し情報メタデータの具体例を示す図である。 第４のオブジェクト選択処理を説明するフローチャートである。 選択装置の第５実施の形態の構成例を示すブロック図である。 再生用データ選択処理を説明するフローチャートである。 重要度Ｐ（ｉ）の計算方法を説明する図である。 重要度Ｐ（ｉ）の計算方法を説明する図である。 重要度Ｐ（ｉ）の計算方法を説明する図である。 パッキング処理を説明するフローチャートである。 パッキングレイアウトの例を示す図である。 格子状でないパッキングレイアウトの例を示す図である。 パッキング領域メタデータの具体例を示す図である。 パッキング情報メタデータの例を示す図である。 パッキング画像の生成を説明する図である。 切出し画像の拡縮を説明する図である。 第５のオブジェクト選択処理を説明するフローチャートである。 選択装置の第６実施の形態の構成例を示すブロック図である。 伝送画像選択処理を説明する図である。 第６のオブジェクト選択処理を説明するフローチャートである。 選択装置の第７実施の形態の構成例を示すブロック図である。 デプス画像を説明する図である。 切出し情報メタデータの例を示す図である。 最小値ｚminと最大値zmaxを説明する図である。 第７のオブジェクト選択処理を説明するフローチャートである。 配信処理を説明するフローチャートである。 再生処理を説明するフローチャートである。 本開示を適用したコンピュータの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．実施の形態の概要
２．画像処理システムの構成例
３．選択装置の第１実施の形態（選択装置２４A）
４．選択装置の第２実施の形態（選択装置２４B）
５．選択装置の第３実施の形態（選択装置２４C）
６．選択装置の第４実施の形態（選択装置２４D）
７．選択装置の第５実施の形態（選択装置２４E）
８．選択装置の第６実施の形態（選択装置２４F）
９．選択装置の第７実施の形態（選択装置２４G）
１０．配信処理と再生処理
１１．コンピュータ構成例
１２．応用例

＜１．実施の形態の概要＞
初めに、図１および図２を参照して、本技術を適用した画像処理システムの概要について説明する。

本技術を適用した画像処理システムは、複数の撮像装置で撮像して得られた撮影画像からオブジェクトの3Dモデルを生成して配信する配信側と、配信側から伝送される3Dモデルを受け取り、再生表示する再生側とからなる。

配信側においては、所定の撮影空間を、その外周から複数の撮像装置で撮像を行うことにより複数の撮影画像が得られる。撮影画像は、例えば、動画像で構成される。各撮像装置は、測距測定器を備えており、被写体のテクスチャ情報に加えて、被写体までの距離も測定することができる。そして、異なる方向の複数の撮像装置から得られた撮影画像を用いて、撮影空間において表示対象となる複数のオブジェクトの3Dモデルが生成される。オブジェクトの3Dモデルの生成は、同一のオブジェクトについて、複数の撮像装置で得られた複数の撮影画像及び距離情報から、重複する領域のテクスチャ情報及び距離情報をまとめたり、一つの撮像装置で死角となる領域のテクスチャ情報及び距離情報を、他の撮像装置で得られたテクスチャ情報及び距離情報で補って再構成することから、3Dモデルの再構成と呼ばれる。

図１の例では、撮影空間がサッカースタジアムのフィールドに設定された例が示されており、フィールドの外周であるスタンド側に配置された複数の撮像装置によって、フィールド上のプレイヤ等が撮影されている。3Dモデルの再構成により、例えば、フィールド上のプレイヤ、審判、サッカーボール、サッカーゴール、などがオブジェクトとして抽出され、各オブジェクトについて3Dモデルが生成（再構成）される。

生成された多数のオブジェクトの3Dモデルのデータ（以下、3Dモデルデータとも称する。）は所定の記憶装置に格納される。3Dモデルデータのデータフォーマットについては、図２を参照して後述する。

そして、所定の記憶装置に格納された撮影空間に存在する多数のオブジェクトのうち、所定のオブジェクトの3Dモデルが、再生側の要求に応じて伝送され、再生側で、再生および表示される。

再生側は、撮影空間に存在する多数のオブジェクトのうち、視聴対象のオブジェクトだけを要求して、表示装置に表示させる。例えば、再生側は、視聴者の視聴範囲が撮影範囲となるような仮想カメラを想定し、撮影空間に存在する多数のオブジェクトのうち、仮想カメラで捉えられるオブジェクトのみを要求して、表示装置に表示させる。実世界において視聴者が任意の視点からフィールドを見ることができるように、仮想カメラの視点は任意の位置に設定することができる。

図１の例では、生成されたオブジェクトとしての多数のプレーヤのうち、四角で囲んだ３人のプレーヤのみが、表示装置で表示される。

図２は、3Dモデルデータのデータフォーマットの例を示している。

3Dモデルデータのデータフォーマットとしては、様々なフォーマットをとり得る。

データフォーマットの一つは、オブジェクトのジオメトリ情報（形状情報）を、オブジェクトの３次元位置を点（頂点）の集合（点群）で表し、その各点に対応してオブジェクトの色情報を保有する形式である。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と色情報が保持される。本実施の形態では、この形式を、ポイントクラウド形式と記述する。

図３は、ポイントクラウド形式におけるジオメトリ情報の例を示している。

図３において破線で示される領域には、オブジェクトの１点のｘ座標、ｙ座標、及びｚ座標に相当する３個のデータが、１行ずつ列挙されている。

データフォーマットの他の一つは、オブジェクトのジオメトリ情報を、上記ポイントクラウド形式と同様の点の集合（点群）か、または、ポリゴンメッシュと呼ばれる頂点（Vertex）と頂点間のつながりで表し、オブジェクトの色情報を、各撮像装置が撮影した撮影画像（２次元テクスチャ画像）で保有する形式である。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と、撮像装置の台数と同じ枚数の撮影画像（２次元テクスチャ画像）からなる色情報が保持される。本実施の形態では、この形式を、マルチテクスチャジオメトリ形式と記述する。

データフォーマットのさらに他の一つは、オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応してオブジェクトの色情報を保有する形式である。各ポリゴンメッシュに貼り付けられる色情報としての２次元テクスチャ画像はUV座標系で表現される。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と、１つの２次元テクスチャ画像からなる色情報が保持される。本実施の形態では、この形式を、UVテクスチャジオメトリ形式と記述する。UVテクスチャジオメトリ形式は、MPEG-4 AFX (Animation Framework eXtension)で規格化された形式である。

データフォーマットのさらに他の一つは、オブジェクトのジオメトリ情報を各撮像装置が撮影した撮影画像に対応する距離情報で表し、オブジェクトの色情報を、各撮像装置が撮影した撮影画像（２次元テクスチャ画像）で保有する形式である。各撮像装置が撮影した撮影画像に対応する距離情報には、撮影画像の各画素に対応させて、被写体までの奥行き方向の距離をデプス値として格納したデプス画像が採用される。この形式では、１つのオブジェクトに対して、撮像装置の台数と同じ枚数のデプス画像からなるジオメトリ情報と、撮像装置の台数と同じ枚数の撮影画像（２次元テクスチャ画像）からなる色情報が保持される。本実施の形態では、この形式を、マルチテクスチャデプス形式と記述する。マルチテクスチャデプス形式のメリットは、3Dモデルデータを伝送する場合の符号化方式として、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式等を、そのまま利用することができ、高効率に圧縮することができる点である。

ポイントクラウド形式およびUVテクスチャジオメトリ形式は、仮想カメラの位置（仮想視点）に関わらず、色情報が同一となるViewIndependentな形式である。

これに対して、マルチテクスチャジオメトリ形式およびマルチテクスチャデプス形式は、仮想カメラの位置（仮想視点）によって、色情報が変化し得るViewDependentな形式である。

以上のような各種の3Dモデルデータのデータフォーマットのうち、どのようなデータフォーマットを採用するかは任意である。再生側がデータフォーマットを指定してもよいし、配信側がデータフォーマットを決定してもよい。また、アプリケーションごとに予めデータフォーマットを決めておいてもよい。

＜２．画像処理システムの構成例＞
図４は、本技術を適用した画像処理システムの構成例を示すブロック図である。

図４の画像処理システム１０は、図１で説明した配信側として、撮像装置２１−１乃至２１−N（N＞１）、再構成装置２２、記憶装置２３、選択装置２４、符号化装置２５、および、送受信装置２６を備える。

また、画像処理システム１０は、図１で説明した再生側として、再生装置２８、および、表示装置２９を備える。配信側の送受信装置２６と再生側の再生装置２８は、ネットワーク２７を介して接続される。

撮像装置２１（撮像装置２１−１乃至２１−N）は、所定の撮影空間の外周の所定の位置に配置され、撮影空間を撮影し、その結果得られる動画像を再構成装置２２に供給する。以下では、特に言及する場合を除いて、撮像装置２１の個数が７個である場合を例にして説明する。

撮像装置２１は、測距測定器を備えており、被写体のテクスチャ画像（テクスチャ情報）に加えて、被写体までの距離も測定することができ、テクスチャ画像と同じ視点からのデプス画像の動画像も生成し、再構成装置２２に供給する。

撮像装置２１−１乃至２１−Nそれぞれは、異なる位置に配置され、撮影空間を他の撮像装置２１と異なる方向から撮影する。各撮像装置２１のワールド座標系上の位置は既知であり、各撮像装置２１のカメラパラメータ（外部パラメータおよび内部パラメータ）も、再構成装置２２に供給される。

再構成装置２２は、撮像装置２１−１乃至２１−Nそれぞれから供給される撮影空間内のテクスチャ画像およびデプス画像の動画像を用いて、撮影空間内に存在する多数のオブジェクトについて、オブジェクトごとに3Dモデルを生成し、生成された各オブジェクトの3Dモデルのデータ（以下3Dモデルデータと称する。）を記憶装置２３に供給する。

記憶装置２３は、再構成装置２２によって生成された各オブジェクトの3Dモデルデータを記憶する。記憶装置２３には、各オブジェクトの3Dモデルデータが、図２を参照して説明したポイントクラウド形式、UVテクスチャジオメトリ形式、マルチテクスチャジオメトリ形式、およびマルチテクスチャデプス形式の全ての形式で記憶されてもよいし、画像処理システム１０のアプリケーションによってデータ形式が規定されている場合には、少なくともその規定されたデータフォーマットで記憶される。

本実施の形態においては、複数の撮像装置２１が撮影した動画像に映る撮影空間内の被写体のうち、どの被写体を、3Dモデルを生成する対象のオブジェクトとするかは問わない。どのような方法でオブジェクトを決定してもよく、動画像に映る所定の被写体がオブジェクトとして決定され、他のオブジェクトと適切に分離されて、3Dモデルが生成される。

また、再構成装置２２は、各撮像装置２１のカメラパラメータから、3Dモデルデータを生成した各オブジェクトのグローバルな位置情報（以下、グローバル位置情報と称する。）を計算し、各撮像装置２１のカメラパラメータとともに、記憶装置２３に記憶させる。

換言すれば、本実施の形態においては、再生装置２８に伝送され得る複数のオブジェクトの3Dモデルが、オブジェクトごとに適切に分離されて、ワールド座標系上の位置も既知な状態で記憶装置２３に記憶されていることが前提となっている。

選択装置２４は、再生装置２８が所定のオブジェクトを特定したオブジェクト特定情報に基づいて、記憶装置２３に記憶されている複数のオブジェクトのなかから、所定のオブジェクトを選択し、選択したオブジェクトの3Dモデルデータを符号化装置２５に供給する。オブジェクト特定情報は、再生装置２８からネットワーク２７を介して送受信装置２６で受信され、送受信装置２６から選択装置２４へ供給される。

符号化装置２５は、選択装置２４から供給される所定のオブジェクトの3Dモデルデータを、例えば、AVC方式、HEVC方式等の所定の符号化方式で符号化する。符号化して得られた3Dモデルの符号化ストリームは、送受信装置２６へ供給される。

送受信装置２６は、符号化装置２５から供給された3Dモデルの符号化ストリームを、ネットワーク２７を介して再生装置２８へ送信する。また、送受信装置２６は、再生装置２８からネットワーク２７を介して送信されてきたオブジェクト特定情報を受信（取得）し、選択装置２４へ供給する。

なお、配信側の再構成装置２２、記憶装置２３、選択装置２４、符号化装置２５、および、送受信装置２６は、それぞれ、個別に構成されてもよいし、２つ以上の装置が一体化された構成でもよい。例えば、図４において破線で示されるように、記憶装置２３、選択装置２４、符号化装置２５、および、送受信装置２６が１つの配信装置を構成してもよい。この場合、記憶装置２３、選択装置２４、符号化装置２５、および、送受信装置２６は、それぞれ、配信装置の記憶部、選択部、符号化部、および、送受信部を構成する。

ネットワーク２７は、例えば、インターネット、電話回線網、衛星通信網、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網などで構成される。

再生装置２８は、送受信部４１、復号部４２、描画部４３、仮想視点検出部４４、および、入力部４５を備える。

再生装置２８の送受信部４１は、送受信装置２６から供給される各オブジェクトの3Dモデルデータを符号化した符号化ストリームを受信（取得）し、復号部４２に供給する。また、送受信部４１は、所定のオブジェクトを特定するオブジェクト特定情報を仮想視点検出部４４から取得し、ネットワーク２７を介して送受信装置２６に送信する。

復号部４２は、送受信部４１から供給される符号化ストリームを、符号化装置２５における符号化方式に対応する方式で復号する。復号部４２は、復号して得られる１以上のオブジェクトの3Dモデルデータを描画部４３に供給する。

描画部４３は、復号部４２から供給される１以上のオブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からのオブジェクトの画像（オブジェクト画像）を表示画像として生成し、表示装置２９に供給する。描画部４３には、仮想視点検出部４４から、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報が供給され、復号部４２から供給される１以上のオブジェクトの3Dモデルを、仮想カメラの視聴範囲に透視投影することにより、仮想カメラの視点からのオブジェクトの画像が生成される。

仮想視点検出部４４は、仮想カメラの視点を検出し、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報を生成し、描画部４３に供給する。また、仮想視点検出部４４は、仮想カメラの視聴範囲に存在する１以上のオブジェクトを特定するオブジェクト特定情報を生成し、送受信部４１に供給する。仮想視点検出部４４は、表示装置２９としてのヘッドマウントディスプレイに付されたマーカ等を撮影することで、視聴者の視聴位置や視聴範囲を検出してもよい。

入力部４５は、コントローラ、マウス等の入力装置で構成される。入力部４５は、例えば、視聴者による視聴位置の指示や、表示対象とするオブジェクトの指定などを受け付ける。入力部４５で受け付けられた各種の入力情報は、必要に応じて再生装置２８内の各部へ供給される。

表示装置２９は、例えば、２次元ヘッドマウントディスプレイ（ＨＭＤ）や２次元モニタなどにより構成される。表示装置２９は、描画部４３から供給される表示画像を２次元表示する。

なお、表示装置２９は、３次元ヘッドマウントディスプレイや３次元モニタなどにより構成されてもよい。この場合、描画部４３は、表示画像に加えてデプス画像も供給し、表示装置２９は、描画部４３から供給される表示画像とデプス画像に基づいて表示画像を３次元表示する。

以上のように構成される画像処理システム１０において、選択装置２４は、記憶装置２３に記憶されている撮影空間に含まれる全てのオブジェクトのうち、所定の条件を満たすオブジェクトのみを選択して、選択したオブジェクトの3Dモデルデータを、再生装置２８に伝送する。

再生装置２８は、記憶装置２３に記憶されている撮影空間に含まれる全てのオブジェクトのうち、所定の条件を満たすオブジェクトの3Dモデルデータを取得して、取得したオブジェクトの3Dモデルデータに基づいて、オブジェクト画像を生成し、表示装置２９に表示させる。

配信側と再生側で、撮影空間に含まれる全てのオブジェクトのうち、表示に必要なオブジェクトの3Dモデルデータのみを伝送することにより、視聴者が視聴するオブジェクト画像の画質を担保しつつ、再生側の処理負荷を削減するとともに、伝送帯域を削減することを実現する。

なお、本明細書では、配信側から再生側に伝送される伝送データとして映像情報についてのみ説明し、音声情報についての説明は省略するが、動画像に対応する音声情報も合わせて伝送される。

以下では、選択装置２４として取り得る各種の構成について、詳細に説明する。

＜３．選択装置の第１実施の形態＞
（選択装置の構成例）
図５は、選択装置２４の第１実施の形態としての選択装置２４Aの構成例を示している。

選択装置２４Aは、3Dモデル選択部６１Aを備える。

選択装置２４Aでは、3Dモデルデータのデータフォーマットとして、ポイントクラウド形式およびUVテクスチャジオメトリ形式の一方または両方が適用される。

選択装置２４Aには、入力データとして、記憶装置２３に記憶されている全てのオブジェクトについて、各オブジェクトを識別する識別情報であるオブジェクトID、および、3Dモデルデータが供給される。

3Dモデルデータのデータフォーマットは、ポイントクラウド形式およびUVテクスチャジオメトリ形式の一方または両方であるので、3Dモデルデータは、点の集合（点群）で表されたジオメトリ情報と点ごとの色情報か、または、ポリゴンメッシュで表されたジオメトリ情報と各ポリゴンメッシュの色情報の一方または両方である。

また、選択装置２４Aには、オブジェクト特定情報として再生装置２８から供給される、仮想カメラの視点に基づく視聴範囲の情報である仮想カメラ視聴範囲情報も入力される。仮想カメラ視聴範囲情報は、例えば、仮想カメラの外部パラメータおよび内部パラメータと、視錐台の前方クリップ面を表すNear情報、並びに、視錐台の後方クリップ面を表すFar情報で構成される。

3Dモデル選択部６１Aは、図６に示されるように、再生装置２８から供給される仮想カメラ視聴範囲情報に基づいて、記憶装置２３に記憶されている全てのオブジェクトについて、オブジェクトが仮想カメラ７０の視聴範囲内、具体的には、斜線を付して示される視錐台７１に含まれるか否かを判定し、伝送する3Dモデルのオブジェクトを選択（決定）する。

より具体的には、3Dモデル選択部６１Aは、オブジェクトを構成する各頂点情報を仮想カメラ７０の画像面７２に投影し、各頂点情報に対応するUV座標の少なくとも１つが仮想カメラ７０の画像面７２に含まれる場合には、再生装置２８に3Dモデルデータを伝送するオブジェクトに決定する。一方、各頂点情報に対応するUV座標の全てが仮想カメラ７０の画像面７２に含まれない場合には、そのオブジェクトは、再生装置２８に3Dモデルデータを伝送しないオブジェクトに決定される。

図６の例では、オブジェクト７３−１を投影した投影面７４−１は、仮想カメラ７０の画像面７２に含まれるため、オブジェクト７３−１は、伝送するオブジェクトに決定される。オブジェクト７３−２を投影した投影面７４−２は、仮想カメラ７０の画像面７２に含まれないため、オブジェクト７３−２は、伝送しないオブジェクトに決定される。仮想カメラ７０の画像面７２は、UV座標系で表される。

3Dモデル選択部６１Aは、再生装置２８に伝送する3Dモデルのオブジェクトとして選択したオブジェクトのオブジェクトIDと3Dモデルデータを出力データとして、符号化装置２５に出力する。

なお、各オブジェクトの全ての頂点情報を仮想カメラ７０の画像面７２に投影する処理を、記憶装置２３に記憶されている全てのオブジェクトについて実行すると、処理負荷が大きい。

そこで、例えば、各オブジェクトのグローバル位置情報の代表値を予め計算して、記憶装置２３に記憶しておき、代表値のみを仮想カメラ７０の画像面７２に投影して、伝送する3Dモデルのオブジェクトに該当するか否かを判定してもよい。オブジェクトのグローバル位置情報の代表値としては、例えば、オブジェクトの全ての頂点情報の平均値などを用いることができる。

あるいはまた、各オブジェクトのグローバル位置情報の代表値として、図７に示されるように、オブジェクト毎にバウンディングボックスを予め計算して、記憶装置２３に記憶しておき、バウンディングボックスの頂点を仮想カメラ７０の画像面７２に投影して、伝送する3Dモデルのオブジェクトに該当するか否かを判定してもよい。

図７は、オブジェクト７３−１のバウンディングボックス７５−１と、オブジェクト７３−２のバウンディングボックス７５−２が、仮想カメラ７０の画像面７２に投影される例を示している。

（第１のオブジェクト選択処理）
図８は、選択装置２４Aによるオブジェクト選択処理（第１のオブジェクト選択処理）を説明するフローチャートである。この処理は、例えば、送受信装置２６を介して再生装置２８から仮想カメラ視聴範囲情報が供給されたとき、開始される。

初めに、ステップＳ１１において、3Dモデル選択部６１Aは、送受信装置２６を介して再生装置２８から供給された、仮想カメラ７０の視点に基づく仮想カメラ視聴範囲情報を取得する。

ステップＳ１２において、3Dモデル選択部６１Aは、記憶装置２３に記憶されている全てのオブジェクトについて、オブジェクトを識別するオブジェクトIDと3Dモデルデータを取得する。

ステップＳ１３において、3Dモデル選択部６１Aは、記憶装置２３から取得した全てのオブジェクトのうち、所定のオブジェクトを注目オブジェクトに設定する。

ステップＳ１４において、3Dモデル選択部６１Aは、注目オブジェクトが仮想カメラ７０の視聴範囲内に含まれるかを判定する。

より具体的には、3Dモデル選択部６１Aは、注目オブジェクトを構成する全頂点情報を仮想カメラ７０の画像面７２に投影し、各頂点情報に対応するUV座標の少なくとも１つが仮想カメラ７０の画像面７２に含まれるか否かを判定する。

あるいは簡単に計算する場合には、3Dモデル選択部６１Aは、注目オブジェクトのグローバル位置情報の代表値を仮想カメラ７０の画像面７２に投影し、代表値に対応するUV座標の少なくとも１つが仮想カメラ７０の画像面７２に含まれるか否かを判定する。

ステップＳ１４で、注目オブジェクトが仮想カメラ７０の視聴範囲内に含まれると判定された場合、処理はステップＳ１５に進み、3Dモデル選択部６１Aは、注目オブジェクトを、再生装置２８に3Dモデルデータを伝送する伝送オブジェクトに決定する。ステップＳ１６において、3Dモデル選択部６１Aは、伝送オブジェクトのオブジェクトIDと3Dモデルデータを、符号化装置２５に出力する。

一方、ステップＳ１４で、注目オブジェクトが仮想カメラ７０の視聴範囲内に含まれないと判定された場合、ステップＳ１５およびＳ１６はスキップされる。

ステップＳ１７において、3Dモデル選択部６１Aは、記憶装置２３から取得した全てのオブジェクトを注目オブジェクトに設定したかを判定する。

ステップＳ１７で、まだ全てのオブジェクトを注目オブジェクトに設定していないと判定された場合、処理はステップＳ１３に戻され、上述したステップＳ１３乃至Ｓ１７の処理が繰り返される。すなわち、まだ注目オブジェクトに設定されていないオブジェクトが次の注目オブジェクトに設定され、仮想カメラ７０の視聴範囲内に含まれるオブジェクトであるか否かが判定される。

一方、ステップＳ１７で、全てのオブジェクトを注目オブジェクトに設定したと判定された場合、第１のオブジェクト選択処理は終了する。

第１のオブジェクト選択処理によれば、仮想カメラ７０の視聴範囲内のオブジェクトの3Dモデルデータを再生装置２８に伝送するので、表示画像の生成に必要なオブジェクトの3Dモデルデータのみを送信することで、伝送帯域を削減することができる。

＜４．選択装置の第２実施の形態＞
（選択装置の構成例）
図９は、選択装置２４の第２実施の形態としての選択装置２４Bの構成例を示している。

選択装置２４Bは、3Dモデル選択部６１Bを備える。

選択装置２４Bでは、3Dモデルデータのデータフォーマットとして、ポイントクラウド形式およびUVテクスチャジオメトリ形式の一方または両方が適用される。したがって、3Dモデルデータは、第１実施の形態と同様に、点の集合（点群）で表されたジオメトリ情報と点ごとの色情報か、または、ポリゴンメッシュで表されたジオメトリ情報と各ポリゴンメッシュごとの色情報の一方または両方である。

第２実施の形態では、仮想カメラの視点に基づく仮想カメラ視聴範囲情報ではなく、視聴者が表示対象として指定したオブジェクトのオブジェクトIDが、オブジェクト特定情報として再生装置２８から選択装置２４Bに供給される。

そのため、3Dモデル選択部６１Bは、最初に、図１０のAに示されるように、記憶装置２３に記憶されている全てのオブジェクトのオブジェクトIDとグローバル位置情報を、再生装置２８に送信する。

各オブジェクトのグローバル位置情報としては、例えば、図１０のBに示されるように、バウンディングボックスの頂点のｘ座標の最小値xminおよび最大値xmax、ｙ座標の最小値yminおよび最大値ymax、並びに、ｚ座標の最小値zminおよび最大値zmaxを採用することができる。

選択装置２４Bには、視聴者によって指定された１以上のオブジェクトのオブジェクトIDが、第１実施の形態における、仮想カメラの視点に基づく仮想カメラ視聴範囲情報に代えて、オブジェクト特定情報として、再生装置２８から送信されてくる。

例えば、図１１に示されるように、オブジェクトIDとして１、３、および５を表すオブジェクト特定情報が、再生装置２８から選択装置２４Bに送信されたとする。

選択装置２４Bの3Dモデル選択部６１Bは、再生装置２８から送信されてきたオブジェクト特定情報に基づいて、オブジェクトIDが１、３、および５のオブジェクトを、再生装置２８に3Dモデルデータを伝送する伝送オブジェクトに決定する。そして、3Dモデル選択部６１Bは、伝送オブジェクトに決定した各オブジェクトの3Dモデルデータ、即ち、ジオメトリ情報と色情報を、記憶装置２３から取得し、符号化装置２５に供給する。

なお、第２実施の形態では、仮想カメラ視聴範囲情報の再生装置２８からの取得は省略することができる。

（第２のオブジェクト選択処理）
図１２は、選択装置２４Bによるオブジェクト選択処理（第２のオブジェクト選択処理）を説明するフローチャートである。この処理は、例えば、再生装置２８の電源がオンされ、視聴者によって再生を開始する操作が行われたとき、開始される。

初めに、ステップＳ３１において、3Dモデル選択部６１Bは、記憶装置２３に記憶されている全てのオブジェクトのオブジェクトIDとグローバル位置情報を取得する。

ステップＳ３２において、3Dモデル選択部６１Bは、取得した全てのオブジェクトのオブジェクトIDとグローバル位置情報を再生装置２８に送信する。全てのオブジェクトのオブジェクトIDとグローバル位置情報は、3Dモデル選択部６１から符号化装置２５に出力され、符号化装置２５、送受信装置２６等を介して、再生装置２８に送信される。

ステップＳ３３において、3Dモデル選択部６１Bは、再生装置２８から送信されてきたオブジェクト特定情報を、送受信装置２６を介して取得する。

ステップＳ３４において、3Dモデル選択部６１Bは、オブジェクト特定情報に基づいて、再生装置２８に3Dモデルデータを伝送する伝送オブジェクトを決定する。

ステップＳ３５において、3Dモデル選択部６１Bは、伝送オブジェクトのオブジェクトIDと3Dモデルデータを、符号化装置２５に出力する。

以上で、第２のオブジェクト選択処理が終了する。

第２のオブジェクト選択処理によれば、視聴者が表示対象として指定したオブジェクトの3Dモデルデータを再生装置２８に伝送するので、視聴者がオブジェクト単位で、表示または非表示を指定することができる。また、視聴者が表示対象として指定したオブジェクトの3Dモデルデータのみを送信することで、伝送帯域を削減することができる。

＜５．選択装置の第３実施の形態＞
（選択装置の構成例）
図１３は、選択装置２４の第３実施の形態としての選択装置２４Cの構成例を示している。

選択装置２４Cは、3Dモデル選択部６１および画像選択部８１を備える。

選択装置２４Cでは、3Dモデルデータのデータフォーマットとして、マルチテクスチャジオメトリ形式が適用される。したがって、3Dモデルデータは、ポリゴンメッシュで表されたジオメトリ情報と、撮像装置２１の台数と同じ枚数の撮影画像（テクスチャ画像）で表される。

3Dモデル選択部６１は、上述した第１実施の形態の3Dモデル選択部６１A、または、上述した第２実施の形態の3Dモデル選択部６１Bで構成され、記憶装置２３に記憶されている全てのオブジェクトのなかから、所定の条件を満たすオブジェクトのみを選択し、伝送オブジェクトに決定する。

詳細な説明は省略するが、3Dモデル選択部６１が3Dモデル選択部６１Aで構成される場合、3Dモデル選択部６１は、オブジェクト特定情報としての仮想カメラ視聴範囲情報を再生装置２８から取得し、仮想カメラ視聴範囲情報に基づいて、記憶装置２３に記憶されている全てのオブジェクトのなかから、伝送オブジェクトを決定する。

一方、3Dモデル選択部６１が3Dモデル選択部６１Bで構成される場合、3Dモデル選択部６１は、視聴者が指定したオブジェクトを表すオブジェクト特定情報を再生装置２８から取得し、オブジェクト特定情報に基づいて、記憶装置２３に記憶されている全てのオブジェクトのなかから、伝送オブジェクトを決定する。

図１３において破線で示される、入力データであるオブジェクト特定情報としてのオブジェクトID、出力データである、記憶装置２３に記憶されている全てのオブジェクトのオブジェクトIDとグローバル位置情報は、3Dモデル選択部６１が3Dモデル選択部６１Bで構成される場合の入出力データを示している。

3Dモデル選択部６１は、決定した伝送オブジェクトのオブジェクトIDおよび3Dモデルデータと、全てのオブジェクトのグローバル位置情報を、画像選択部８１に供給する。

また、画像選択部８１には、全ての撮像装置２１のカメラパラメータが、記憶装置２３から供給される。

第３実施の形態では、上述したように、3Dモデルデータは、ポリゴンメッシュのジオメトリ情報と、撮像装置２１の台数と同じ枚数の撮影画像で構成される。3Dモデルデータの一部である撮像装置２１の台数と同じ枚数の撮影画像のなかには、3Dモデル選択部６１で決定された伝送オブジェクトが含まれない画像が存在する場合がある。

画像選択部８１は、伝送オブジェクトの3Dモデルデータの一部である複数枚（撮像装置２１の台数と同じ枚数）の撮影画像のなかから、伝送オブジェクトが含まれる撮影画像のみを選択する。

例えば、図１４に示されるように、3Dモデル選択部６１が、仮想カメラ７０の視聴範囲内に含まれる３つのオブジェクト９１−１乃至９１−３のうち、視聴者の指定によって、オブジェクト９１−２が伝送オブジェクトに決定されたとする。２つのオブジェクト９１−１および９１−３は、再生装置２８に伝送しないオブジェクト（以下、非伝送オブジェクトと称する。）とされる。

画像選択部８１は、上述した3Dモデル選択部６１Aと同様に、オブジェクト９１−２を構成する頂点情報を複数の撮像装置２１それぞれの画像面に投影し、オブジェクト９１−２が画像面に含まれるか、すなわち、オブジェクト９１−２が撮影画像に含まれるか否かを判定する。

図１４の例では、３つの撮像装置２１−１乃至２１−３が示されており、オブジェクト９１−２は、撮像装置２１−１と撮像装置２１−２の画像面に含まれるため、撮像装置２１−１と撮像装置２１−２が撮像した撮影画像は、伝送する撮影画像（以下、伝送撮影画像と称する。）に決定される。一方、撮像装置２１−３の画像面にはオブジェクト９１−２は含まれないため、撮像装置２１−３が撮像した撮影画像は、伝送しない撮影画像（以下、非伝送撮影画像と称する。）に決定される。

なお、第１実施の形態と同様に、演算の負荷を減らすため、バウンディングボックスの頂点座標など、各オブジェクトのグローバル位置情報の代表値を用いて、各撮像装置２１が撮像した撮影画像に含まれるか否かを計算し、伝送する画像を決定してもよい。

例えば、図１５に示されるように、１個の伝送オブジェクトの3Dモデルデータは、ジオメトリ情報としての１つのポリゴンメッシュと、色情報としての撮像装置２１の台数と同じ枚数、即ち、７枚の撮影画像で構成されるが、画像選択部８１の画像選択処理の結果、撮像装置２１−３と撮像装置２１−６で撮像された撮影画像が、伝送しない撮影画像に決定される（非選択とされる）。

画像選択部８１は、伝送オブジェクトのオブジェクトIDと3Dモデルデータを、符号化装置２５に出力する。ただし、3Dモデルデータは、色情報に関しては、撮像装置２１の台数と同じ枚数の撮影画像のうち、伝送オブジェクトが含まれる撮影画像のみである。また、画像選択部８１は、3Dモデルデータとして送信する撮影画像に対応する撮像装置２１のカメラパラメータも、符号化装置２５に出力する。

（第３のオブジェクト選択処理）
図１６は、選択装置２４Cによるオブジェクト選択処理（第３のオブジェクト選択処理）を説明するフローチャートである。この処理は、例えば、再生装置２８の電源がオンされ、視聴者によって再生を開始する操作が行われたとき、開始される。

初めに、ステップＳ５１において、3Dモデル選択部６１は、記憶装置２３に記憶されている全てのオブジェクトのなかから、伝送オブジェクトを決定する伝送オブジェクト決定処理を実行する。

換言すれば、ステップＳ５１では、3Dモデル選択部６１は、オブジェクト特定情報としての仮想カメラ視聴範囲情報に基づいて伝送オブジェクトを決定する図８の第１のオブジェクト選択処理か、または、視聴者が指定したオブジェクトを表すオブジェクト特定情報に基づいて伝送オブジェクトを決定する図１２の第２のオブジェクト選択処理を実行する。処理の結果得られた伝送オブジェクトのオブジェクトIDと3Dモデルデータが、画像選択部８１に供給される。

ステップＳ５２において、画像選択部８１は、全ての撮像装置２１のカメラパラメータを記憶装置２３から取得する。

ステップＳ５３において、画像選択部８１は、伝送オブジェクトの１つを、注目する注目オブジェクトに設定する。

ステップＳ５４において、画像選択部８１は、注目オブジェクトが複数の撮像装置２１で撮像されたそれぞれの撮影画像に含まれるかを判定する。

ステップＳ５４で、注目オブジェクトが複数の撮像装置２１で撮像された撮影画像の少なくとも１枚に含まれると判定された場合、処理はステップＳ５５に進み、画像選択部８１は、注目オブジェクトが含まれる撮影画像を、伝送撮影画像に決定する。一方、注目オブジェクトが含まれない撮影画像は、非伝送撮影画像に決定される。

ステップＳ５６において、画像選択部８１は、注目オブジェクトのオブジェクトIDと3Dモデルデータを、符号化装置２５に出力する。ただし、3Dモデルデータは、色情報に関しては、撮像装置２１の台数と同じ７枚の撮影画像のうち、ステップＳ５５で伝送撮影画像に決定された撮影画像のみである。また、画像選択部８１は、伝送撮影画像に対応する撮像装置２１のカメラパラメータも、符号化装置２５に出力する。

一方、ステップＳ５４で、注目オブジェクトが複数の撮像装置２１で撮像された全ての撮影画像に含まれないと判定された場合、ステップＳ５５およびＳ５６の処理はスキップされる。

ステップＳ５７において、画像選択部８１は、全ての伝送オブジェクトを注目オブジェクトに設定したかを判定する。

ステップＳ５７で、まだ全ての伝送オブジェクトを注目オブジェクトに設定していないと判定された場合、処理はステップＳ５３に戻され、上述したステップＳ５３乃至Ｓ５７の処理が繰り返される。すなわち、まだ注目オブジェクトに設定されていない伝送オブジェクトが次の注目オブジェクトに設定され、複数の撮像装置２１で撮像されたそれぞれの撮影画像が、伝送撮影画像であるか、または、非伝送撮影画像であるかが判断される。

一方、ステップＳ５７で、全ての伝送オブジェクトを注目オブジェクトに設定したと判定された場合、第３のオブジェクト選択処理は終了する。

なお、上述した処理では、伝送オブジェクトを１つずつ、注目オブジェクトに設定し、ステップＳ５４乃至Ｓ５６の処理を繰り返し処理する方法を採用したが、複数の撮像装置２１で撮像されたそれぞれの撮影画像が、伝送撮影画像であるか、または、非伝送撮影画像であるかを、全ての伝送オブジェクトに対して同時に判断してもよい。

第３のオブジェクト選択処理によれば、オブジェクト特定情報により特定されるオブジェクトの3Dモデルデータのみを再生装置２８に伝送するので、伝送帯域を削減することができる。

また、オブジェクト特定情報により特定されるオブジェクトの3Dモデルデータのうち、オブジェクト特定情報により特定されるオブジェクトを含まない撮影画像は非伝送撮影画像として伝送しないので、さらに伝送帯域を削減することができる。

＜６．選択装置の第４実施の形態＞
（選択装置の構成例）
図１７は、選択装置２４の第４実施の形態としての選択装置２４Dの構成例を示している。

第４実施の形態において、上述した第１乃至第３実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

選択装置２４Dでは、3Dモデルデータのデータフォーマットとして、第３実施の形態と同様に、マルチテクスチャジオメトリ形式が適用される。

選択装置２４Dは、3Dモデル選択部６１、画像選択部８１、および、切出し部１００を備える。

即ち、第４実施の形態に係る選択装置２４Dは、第３実施の形態と同様の3Dモデル選択部６１および画像選択部８１に加えて、切出し部１００が追加された構成とされる。第４実施の形態のその他の構成は、第３実施の形態と同一である。

出力データについて、第３実施の形態の選択装置２４Cと、第４実施の形態の選択装置２４Dを比較すると、第３実施の形態の3Dモデルデータが、第４実施の形態では、3Dモデルジオメトリと、切出し画像および切出し情報メタデータに変更されている。

3Dモデルジオメトリは、第３実施の形態の3Dモデルデータに含まれるポリゴンメッシュで表されたジオメトリ情報を表す。したがって、3Dモデルデータのジオメトリ情報については、第３実施の形態と第４実施の形態で違いはない。

一方、3Dモデルデータの色情報に関し、第３実施の形態の出力データである伝送オブジェクトを含む撮影画像が、第４実施の形態において、伝送オブジェクトを含む撮影画像のなかから伝送オブジェクト部分を切り出した切出し画像と、切出し領域の位置を示す情報である切出し情報メタデータに変更されている。

入力データについては、第３実施の形態と第４実施の形態は同様である。

切出し部１００は、オブジェクト領域設定部１０１と切出し画像生成部１０２を含む。

切出し部１００は、画像選択部８１から供給される、伝送オブジェクトを含む撮影画像から、伝送オブジェクトを含む切出し領域の画像を切り出すことにより、切出し画像を生成する。ここで、画像の切り出しとは、画像の一部分を切り出すこと、例えば画像の必要な部分を切り出すことであり、クロッピングともいう。

オブジェクト領域設定部１０１は、3Dモデルデータにより表される3Dモデルに基づいて、伝送オブジェクトを含む撮影画像において、伝送オブジェクトを含むオブジェクト領域を設定する。

切出し画像生成部１０２は、撮影画像からオブジェクト領域の画像を切り出すことにより、切出し画像を生成する。また、切出し画像生成部１０２は、撮影画像内の切出し領域の位置を示す切出し情報メタデータを生成する。切出し画像生成部１０２は、切出し画像、切出し情報メタデータ、及び、各撮像装置２１のカメラパラメータを符号化装置２５に供給する。

図１８乃至図２１を参照して、切出し部１００が実行する切出し処理を説明する。

画像選択部８１から切出し部１００に供給される撮影画像は、図１８に示されるように、伝送オブジェクトが含まれる撮影画像である。

図１８は、第３実施の形態の説明で示した図１５と同じ図である。

例えば、撮像装置２１の台数と同じ７枚の撮影画像のうち、撮像装置２１−１、２１−２、２１−４、２１−５、および２１−７によって撮像された撮影画像が、伝送撮影画像として、切出し部１００に供給される。一方、撮像装置２１−３および２１−６によって撮像された、伝送オブジェクトが含まれない撮影画像は、切出し部１００に供給されない。

切出し部１００は、画像選択部８１から供給される、伝送オブジェクトを含む撮影画像から、伝送オブジェクトを含む切出し領域の画像を切り出すことにより、切出し画像を生成する。

いま、図１９に示されるように、撮像装置２１−１、２１−２、２１−４、２１−５、および２１−７によって撮像された５枚の撮影画像に、伝送オブジェクトとして、オブジェクト１（Object1）、オブジェクト２（Object2）、オブジェクト３（Object3）の３つのオブジェクトが含まれていたとする。オブジェクト１乃至３は、いずれもプレーヤに対応する部分である。

切出し部１００は、撮像装置２１−１によって撮像された撮影画像から、オブジェクト１乃至３をそれぞれ含む切出し画像ｃｒ１１乃至ｃｒ１３を生成する。

また、切出し部１００は、撮像装置２１−２によって撮像された撮影画像から、オブジェクト１乃至３をそれぞれ含む切出し画像ｃｒ２１乃至ｃｒ２３を生成する。

また、切出し部１００は、撮像装置２１−４によって撮像された撮影画像から、オブジェクト１乃至３をそれぞれ含む切出し画像ｃｒ４１乃至ｃｒ４３を生成する。

また、切出し部１００は、撮像装置２１−５によって撮像された撮影画像から、オブジェクト１乃至３をそれぞれ含む切出し画像ｃｒ５１乃至ｃｒ５３を生成する。

また、切出し部１００は、撮像装置２１−７によって撮像された撮影画像から、オブジェクト１乃至３をそれぞれ含む切出し画像ｃｒ７１乃至ｃｒ７３を生成する。

なお、オブジェクト１乃至３のいずれかを含む切出し画像ｃｒ１１乃至ｃｒ７３の解像度は、同一の解像度としてもよいし、解像度を変更してもよい。

切出し画像ｃｒ１１乃至ｃｒ７３の解像度を異なるように設定する場合、例えば、図２０に示されるように、仮想カメラ７０の位置に最も近い位置で撮像した撮影画像の切出し画像を高解像度に設定し、その他の撮影画像の切出し画像を低解像度とすることができる。

図２０の例では、仮想カメラ７０の位置に最も近い位置で撮像した撮像装置２１が撮像装置２１−２であり、撮像装置２１−２によって撮像された撮影画像から切り出された切出し画像ｃｒ２１乃至ｃｒ２３が高解像度に設定され、その他の切出し画像ｃｒ１１乃至ｃｒ１３および切出し画像ｃｒ４１乃至ｃｒ７３が、切出し画像ｃｒ２１乃至ｃｒ２３よりも低い低解像度とされている。

その他の変形例として、オブジェクト単位に低解像度と高解像度を変えてもよい。例えば、オブジェクト１の切出し画像ｃｒ１１乃至ｃｒ７１を高解像度にし、オブジェクト２の切出し画像ｃｒ１２乃至ｃｒ７２と、オブジェクト３の切出し画像ｃｒ１３乃至ｃｒ７３を低解像度としてもよい。

また、ネットワーク帯域や、配信側および再生側の負荷等のリソースに応じて、切出し画像の解像度を適応的に変更して伝送してもよい。

（切出し処理）
図２１のフローチャートを参照して、切出し部１００により実行される切出し処理について説明する。

初めに、ステップＳ７１において、オブジェクト領域設定部１０１は、画像選択部８１から供給される、伝送オブジェクトを含む撮影画像である伝送撮影画像のうち、所定の１枚を選択する。

ステップＳ７２において、オブジェクト領域設定部１０１は、選択した伝送撮影画像内に含まれる伝送オブジェクトの１つを選択する。

ステップＳ７３において、オブジェクト領域設定部１０１は、伝送撮影画像に対して、選択した伝送オブジェクトを含むオブジェクト領域を設定する。例えば、図２２に示されるように、伝送撮影画像２８０に対して、伝送オブジェクト２８１を含む矩形の領域をオブジェクト領域２８２に設定する。

ステップＳ７４において、切出し画像生成部１０２は、撮影画像からオブジェクト領域の画像を切り出すことにより、切出し画像を生成する。

ステップＳ７５において、切出し画像生成部１０２は、撮影画像内の切出し領域の位置を示す切出し情報メタデータを生成する。

ここで、図２３を参照して、切出し情報メタデータの例について説明する。

図２３は、伝送撮影画像２８０においてオブジェクト領域２８２が設定され、切出し画像２８３が切り出された場合の例を示している。

例えば、切出し画像生成部１０２は、次式（１）乃至（４）により、切出し情報メタデータに含まれる各パラメータを計算する。

occupancyX＝rangeX／width' ・・・（１）
occupancyY＝rangeY／height' ・・・（２）
normOffsetX＝offsetX／width' ・・・（３）
normOffsetY＝offsetY／height' ・・・（４）

ここで、width'は伝送撮影画像２８０の幅であり、height'は伝送撮影画像２８０１の高さである。rangeXはオブジェクト領域２８２の幅であり、rangeYはオブジェクト領域２８２の高さである。offsetXは、伝送撮影画像２８０の左上隅とオブジェクト領域２８２の左上隅との間のX方向（幅方向）の距離であり、offsetYは、伝送撮影画像２８０の左上隅とオブジェクト領域２８２の左上隅との間のＹ方向（高さ方向）の距離である。

従って、occupancyXは、伝送撮影画像２８０におけるオブジェクト領域２８２のＸ方向の占有率を示し、occupancyYは、伝送撮影画像２８０におけるオブジェクト領域２８２のＹ方向の占有率を示す。normOffsetXはoffsetXを正規化したパラメータであり、normOffsetYはoffsetYを正規化したパラメータである。これらのパラメータにより、伝送撮影画像２８０内のオブジェクト領域２８２の位置が示される。

なお、図内の点Ｐの伝送撮影画像２８０の座標系における座標（ｕ’，ｖ’）と、切出し画像２８３の座標系における座標（ｕ，ｖ）との関係は、次式（５）及び（６）により表される。

u＝（u'−normOffsetX）／occupancyX ・・・（５）
v＝（v'−normOffsetY）／occupancyY ・・・（６）

図２４は、切出し情報メタデータの具体例を示している。

図２４の例では、normOffsetX、occupancyX、normOffsetY、及び、occupancyYが、それぞれ０．０５、０．５、０．０１、及び、０．５に設定されている。

図２１のフローチャートの説明に戻り、ステップＳ７６において、オブジェクト領域設定部１０１は、選択した伝送撮影画像内に含まれる全ての伝送オブジェクトを選択したかを判定する。

ステップＳ７６で、選択した伝送撮影画像内に含まれる全ての伝送オブジェクトをまだ選択していないと判定された場合、処理はステップＳ７２に戻され、上述したステップＳ７２乃至Ｓ７６の処理が繰り返される。すなわち、選択した伝送撮影画像内に含まれる次の伝送オブジェクトが選択され、同様の処理が実行される。

一方、ステップＳ７６で、選択した伝送撮影画像内に含まれる全ての伝送オブジェクトを選択したと判定された場合、処理はステップＳ７７に進む。

ステップＳ７７において、オブジェクト領域設定部１０１は、画像選択部８１から供給された全ての伝送撮影画像を選択したかを判定する。

ステップＳ７７で、まだ全ての伝送撮影画像を選択していないと判定された場合、処理はステップＳ７１に戻され、上述したステップＳ７１乃至Ｓ７７の処理が繰り返される。すなわち、画像選択部８１から供給された伝送撮影画像のうち、まだ選択されていない次の伝送撮影画像が選択され、同様の処理が実行される。

一方、ステップＳ７７で、全ての伝送撮影画像を選択したと判定された場合、処理はステップＳ７８に進み、切出し部１００は、生成した切出し画像とその切出し情報メタデータ、および、各撮像装置２１のカメラパラメータを符号化装置２５に出力して、切出し処理を終了する。

（第４のオブジェクト選択処理）
図２５は、選択装置２４Dによるオブジェクト選択処理（第４のオブジェクト選択処理）を説明するフローチャートである。この処理は、例えば、再生装置２８の電源がオンされ、視聴者によって再生を開始する操作が行われたとき、開始される。

初めに、ステップＳ９１において、3Dモデル選択部６１は、記憶装置２３に記憶されている全てのオブジェクトのなかから、伝送オブジェクトを決定する伝送オブジェクト決定処理を実行する。

換言すれば、ステップＳ９１では、3Dモデル選択部６１は、オブジェクト特定情報としての仮想カメラ視聴範囲情報に基づいて伝送オブジェクトを決定する図８の第１のオブジェクト選択処理か、または、視聴者が指定したオブジェクトを表すオブジェクト特定情報に基づいて伝送オブジェクトを決定する図１２の第２のオブジェクト選択処理を実行する。処理の結果得られた伝送オブジェクトのオブジェクトIDと3Dモデルデータが、画像選択部８１に供給される。

ステップＳ９２において、画像選択部８１は、全ての撮像装置２１のカメラパラメータを記憶装置２３から取得する。

ステップＳ９３において、画像選択部８１は、撮像装置２１の台数と同じ枚数の撮影画像のなかから、伝送オブジェクトを含む撮影画像である伝送撮影画像を選択する伝送撮影画像選択処理を実行する。換言すれば、画像選択部８１は、図１６のステップＳ５３乃至Ｓ５７の処理を実行する。これにより、複数の撮像装置２１で撮像された撮影画像のうち、１枚以上の伝送撮影画像と、撮像装置２１のカメラパラメータが、切出し部１００に供給される。

ステップＳ９４において、切出し部１００は、１枚以上の伝送撮影画像から、オブジェクト領域の画像を切り出した切出し画像と、その切出し領域の位置を示す切出し情報メタデータを生成する切出し処理を実行する。換言すれば、切出し部１００は、図２１のステップＳ７１乃至Ｓ７７の処理を実行する。

ステップＳ９５において、選択装置２４Dは、伝送オブジェクトのオブジェクトID、3Dモデルジオメトリ、切出し画像、切出し情報メタデータ、および、カメラパラメータを、符号化装置２５に出力して、処理を終了する。伝送オブジェクトのオブジェクトIDおよび3Dモデルジオメトリは、3Dモデル選択部６１から出力され、切出し画像、切出し情報メタデータ、および、カメラパラメータは、切出し部１００から出力される。

以上の第４のオブジェクト選択処理によれば、オブジェクト特定情報により特定されるオブジェクトの3Dモデルデータのみを再生装置２８に伝送するので、伝送帯域を削減することができる。

また、伝送撮影画像選択処理により、オブジェクト特定情報により特定されるオブジェクトを含まない撮影画像は非伝送撮影画像として伝送しないので、さらに伝送帯域を削減することができる。

さらに、オブジェクトを含む撮影画像から、オブジェクト領域の画像を切出した切出し画像を生成して伝送するので、撮影画像をそのまま伝送するよりも、さらに伝送帯域を削減することができる。

また、仮想カメラ７０の位置に最も近い位置で撮像した撮影画像の切出し画像を高解像度に設定して伝送した場合には、伝送帯域を減らしつつ、最適な解像度で試聴することができる。

＜７．選択装置の第５実施の形態＞
（選択装置の構成例）
図２６は、選択装置２４の第５実施の形態としての選択装置２４Eの構成例を示している。

第５実施の形態において、上述した第１乃至第４実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

選択装置２４Eでは、3Dモデルデータのデータフォーマットとして、第３実施の形態と同様に、マルチテクスチャジオメトリ形式が適用される。

選択装置２４Eは、3Dモデル選択部６１、画像選択部８１、切出し部１００、切出し画像選択部３００、および、パッキング部３２０を備える。

即ち、第５実施の形態に係る選択装置２４Eは、第４実施の形態に係る構成に加えて、切出し画像選択部３００とパッキング部３２０が追加された構成とされている。第５実施の形態のその他の構成は、第４実施の形態と同一である。

切出し画像選択部３００は、再生装置２８に再生用データとして送信する切出し画像が、不図示の設定部等で予め設定されたQ（Q>０）枚以下となるように切出し画像を選択する。１つの伝送オブジェクトに関して、切出し部１００から供給された切出し画像の枚数が、Q枚以上である場合には、切出し画像選択部３００において、Q枚の切出し画像に削減され、Q枚より少ない場合には、切出し部１００から供給されたままの枚数の切出し画像が、パッキング部３２０に供給される。

切出し画像選択部３００は、重要度設定部３０１及び再生用データ選択部３０２を備える。

選択装置２４Eには、各撮像装置２１のカメラパラメータに加えて、仮想カメラのカメラパラメータも供給される。

重要度設定部３０１は、各撮像装置２１のカメラパラメータ、及び、仮想カメラのカメラパラメータに基づいて、各撮像装置２１の重要度を設定する。

再生用データ選択部３０２は、各撮像装置２１の重要度に基づいて、Q枚以下の切出し画像を選択する。また、再生用データ選択部３０２は、選択した各切出し画像の重要度として、それらの撮像に用いられた撮像装置２１の重要度を設定する。再生用データ選択部３０２は、選択した切出し画像とその重要度、並びに、切出し画像に対応する切出し情報メタデータ及びカメラパラメータをパッキング部３２０に供給する。

パッキング部３２０は、複数枚の切出し画像を１つの画像にパッキング（結合）することにより、パッキング画像を生成する。

パッキング部３２０は、パッキング画像生成部３２１及びメタデータ生成部３２２を備える。

パッキング画像生成部３２１は、必要に応じて各切出し画像の重要度を用いながら、各切出し画像をパッキングするためのレイアウトであるパッキングレイアウトを設定する。そして、パッキング画像生成部３２１は、必要に応じて各切出し画像の重要度を用いながら、各切出し画像をパッキングレイアウト内の各パッキング領域にマッピングすることにより、パッキング画像を生成し、符号化装置２５に供給する。パッキングする単位は、撮像装置２１ごとでもよいし、伝送オブジェクトごとでもよい。あるいはまた、全ての切出し画像を１つのパッキング画像としてパッキングしてもよい。

メタデータ生成部３２２は、切出し画像をマッピングした位置を示すパッキング情報メタデータを生成する。

メタデータ生成部３２２は、パッキング画像に含まれる各切出し画像の切出し情報メタデータ、パッキング情報メタデータ、及び、カメラパラメータを、符号化装置２５に供給する。

（再生用データ選択処理）
図２７のフローチャートを参照して、切出し画像選択部３００により実行される再生用データ選択処理について説明する。

初めに、ステップＳ１２１において、重要度設定部３０１は、再生装置２８から送受信装置２６等を介して仮想カメラのカメラパラメータを取得する。また、重要度設定部３０１は、各撮像装置２１のカメラパラメータを切出し部１００から取得する。仮想カメラのカメラパラメータは、例えば、撮像装置２１のカメラパラメータと同じ種類のパラメータを含む。

ステップＳ１２２において、重要度設定部３０１は、伝送オブジェクトの１つを選択する。

ステップＳ１２３において、重要度設定部３０１は、変数ｉに１を設定する。

ステップＳ１２４において、重要度設定部３０１は、各撮像装置２１−ｉの重要度Ｐ（ｉ）（ｉ＝１乃至Ｎ）を計算する。

重要度Ｐ（ｉ）は、例えば、各撮像装置２１（現実の視点）と仮想カメラとの間の位置及び方向のうち少なくとも１つの相対関係に基づいて計算される。

図２８乃至図３０を参照して、重要度Ｐ（ｉ）の計算方法について説明する。なお、図２８乃至図３０では、撮像装置２１の台数が８台である場合で説明する。

図２８は、各撮像装置２１から、表示対象となるオブジェクト３３１の方向と、仮想カメラ３３２から、オブジェクト３３１の方向との関係に基づいて、各撮像装置２１の重要度Ｐ（ｉ）を計算する例を示している。この場合、重要度Ｐ（ｉ）は、次式（７）により算出される。
Ｐ（ｉ）＝Ｃｉ・Ｃｖ ・・・（７）

ここで、Ｃｉは、撮像装置２１−ｉからオブジェクト３３１へのベクトルを示している。Ｃｖは、仮想カメラ３３２からオブジェクト３３１へのベクトルを示している。Ｃｉ・Ｃｖは、ベクトルＣｉとベクトルＣｖの内積を示している。

従って、重要度Ｐ（ｉ）は、ベクトルＣｉとベクトルＣｖのなす角に反比例し、ベクトルＣｉとベクトルＣｖのなす角が小さくなるほど、重要度Ｐ（ｉ）が高くなる。すなわち、オブジェクト３３１に対する方向が仮想カメラ３３２に近い撮像装置２１ほど、重要度Ｐ（ｉ）が高くなる。

なお、ベクトルＣｉ及びベクトルＣｖは、オブジェクト３３１の代表点Ｒを基準にして設定される。代表点Ｒは、任意の方法により設定可能である。例えば、各撮像装置２１及び仮想カメラ３３２の光軸からの距離の合計が最小となるオブジェクト３３１上の点が、代表点Ｒに設定される。或いは、例えば、ワールド座標系のＸ方向、Ｙ方向、及び、Ｚ方向の各方向におけるオブジェクト３３１の頂点の座標の最大値と最小値の中間の位置が、代表点Ｒに設定される。或いは、例えば、オブジェクト３３１の中で最も重要な位置が、代表点Ｒに設定される。例えば、オブジェクト３３１が人である場合、人の顔の中心等が、代表点Ｒに設定される。

図２９は、各撮像装置２１の光軸（現実の視点の方向）と仮想カメラ３３２の光軸（仮想の視点の方向）との関係に基づいて、重要度Ｐ（ｉ）を計算する例を示している。この場合、重要度Ｐ（ｉ）は、次式（８）により算出される。
Ｐ（ｉ）＝Ｚｉ・Ｚｖ ・・・（８）

ここで、Ｚｉは、撮像装置２１−ｉの光軸ベクトルを示している。Ｚｖは、仮想カメラ３３２の光軸ベクトルを示している。Ｚｉ・Ｚｖは、光軸ベクトルＺｉと光軸ベクトルＺｖの内積を示している。

従って、重要度Ｐ（ｉ）は、光軸ベクトルＺｉと光軸ベクトルＺｖのなす角に反比例し、ベクトルＺｉとベクトルＺｖのなす角が小さくなるほど、重要度Ｐ（ｉ）が高くなる。すなわち、光軸の方向が仮想カメラ３３２に近い撮像装置２１ほど、重要度Ｐ（ｉ）が高くなる。

図３０は、各撮像装置２１と仮想カメラ３３２との間の距離に基づいて、重要度Ｐ（ｉ）を計算する例を示している。この場合、重要度Ｐ（ｉ）は、次式（９）により算出される。
Ｐ（ｉ）＝１−Ｄｉ／ΣＤｉ ・・・（９）

ここで、Ｄｉは、撮像装置２１−ｉと仮想カメラ３３２との間の距離を示している。

従って、仮想カメラ３３２に近い撮像装置２１ほど、重要度Ｐ（ｉ）が高くなる。

なお、図２９の重要度Ｐ（ｉ）及び図３０の重要度Ｐ（ｉ）は、オブジェクト３３１の位置や動きとは無関係である。従って、各撮像装置２１及び仮想カメラ３３２の位置及び向きが固定であれば、重要度Ｐ（ｉ）を固定することが可能である。

なお、重要度設定部３０１は、上述した３種類の重要度Ｐ（ｉ）のうち２種類以上を組み合わせて、重要度を設定するようにしてもよい。

また、重要度設定部３０１は、各撮像装置２１により撮像された撮影画像の内容に基づいて、重要度を設定するようにしてもよい。例えば、表示対象となるオブジェクトの正面に近い撮像装置２１の重要度を高くするようにしてもよい。或いは、例えば、表示対象となるオブジェクトが人である場合、顔が写っている撮影画像を撮像した撮像装置２１の重要度を高くするようにしてもよい。

図２７に戻り、ステップＳ１２５において、重要度設定部３０１は、変数ｉを１つインクリメントする。

ステップＳ１２６において、重要度設定部３０１は、変数ｉがＮ以下であるか否かを判定する。なお、Ｎは、撮像装置２１の台数である。変数ｉがＮ以下であると判定された場合、処理はステップＳ１２４に戻る。

その後、ステップＳ１２６において、変数ｉがＮより大きいと判定されるまで、ステップＳ１２４乃至ステップＳ１２６の処理が繰り返し実行される。これにより、全ての撮像装置２１−ｉの重要度Ｐ（ｉ）が計算される。

一方、ステップＳ１２６において、変数ｉがＮより大きいと判定された場合、処理はステップＳ１２７に進む。

ステップＳ１２７において、再生用データ選択部３０２は、重要度Ｐ（ｉ）に基づいて、再生用データを選択する。すなわち、再生用データ選択部３０２は、重要度Ｐ（ｉ）が高い方の撮像装置２１からQ枚の切出し画像を選択する。

なお、規定枚数の切出し画像を選択するのではなく、重要度Ｐ（ｉ）が所定の閾値以上の撮像装置２１で撮像された切出し画像の全てを選択してもよい。この場合、切出し画像の選択枚数は固定されない。

また、再生用データ選択部３０２は、各切出し画像の重要度として、切出し画像を撮像した撮像装置２１の重要度Ｐ（ｉ）を設定する。

ステップＳ１２８において、再生用データ選択部３０２は、全ての伝送オブジェクトを選択したかを判定する。

ステップＳ１２８で、全ての伝送オブジェクトをまだ選択していないと判定された場合、処理はステップＳ１２２に戻され、上述したステップＳ１２２乃至Ｓ１２７の処理が繰り返される。すなわち、次の伝送オブジェクトが選択され、同様の処理が実行される。

一方、ステップＳ１２８で、全ての伝送オブジェクトを選択したと判定された場合、処理はステップＳ１１２９に進み、再生用データ選択部３０２は、選択した切出し画像とその重要度、切出し画像に対応する切出し情報メタデータ、および、カメラパラメータをパッキング部３２０に供給して、再生用データ選択処理は終了する。

（パッキング処理）
次に、図３１のフローチャートを参照して、パッキング部３２０により実行されるパッキング処理について説明する。

初めに、ステップＳ１５１において、パッキング画像生成部３２１は、パッキングレイアウトを設定する。ここで、パッキングレイアウトには、パッキング画像と同じ矩形の領域内において、切出し画像をマッピングするためのパッキング領域のレイアウトが示される。

例えば、パッキングレイアウトは、選択される切出し画像の数（以下、選択数と称する。）や、各切出し画像の重要度に基づいて設定される。

例えば、切出し画像の選択数が可変の場合、選択数に基づいて、パッキングレイアウトが設定される。例えば、パッキング画像と同じ大きさの矩形の領域が、選択数分のパッキング領域に分割されたパッキングレイアウトが設定される。このとき、各パッキング領域の形状及び大きさが同じでもよいし、異なっていてもよい。後者の場合、例えば、重要度が高い切出し画像がマッピングされるパッキング領域ほど大きくなる。

図３２は、同じ形状及び大きさのパッキング領域が格子状に配列されたパッキングレイアウトの例を示している。

パッキングレイアウト３４１では、同じ形状及び大きさの矩形のパッキング領域が、縦１行×横３列に配列されている。パッキングレイアウト３４２では、同じ形状及び大きさの矩形のパッキング領域が、縦２行×横２列に配列されている。パッキングレイアウト３４３では、同じ形状及び大きさの矩形のパッキング領域が、縦３行×横３列に配列されている。

一方、切出し画像の選択数が固定の場合、パッキングレイアウトが固定されてもよいし、或いは、必要に応じて変更されてもよい。パッキングレイアウトが固定の場合、各パッキング領域の形状及び大きさが同じであってもよいし、異なっていてもよい。各パッキング領域の形状又は大きさが異なっている場合、例えば、重要度が高い切出し画像がマッピングされるパッキング領域ほど大きくなる。一方、パッキングレイアウトが可変の場合、例えば、各切出し画像の重要度に応じて、各パッキング領域の大きさが設定される。例えば、重要度が高い切出し画像がマッピングされるパッキング領域ほど大きくなる。

ステップＳ１５２において、パッキング画像生成部３２１は、変数ｉに１を設定する。

ステップＳ１５３において、パッキング画像生成部３２１は、格子状のパッキングレイアウトであるかを判定する。パッキング画像生成部３２１は、設定したパッキングレイアウトにおいて、同じ形状及び大きさのパッキング領域が格子状に並んでいない場合、格子状のパッキングレイアウトでないと判定し、処理はステップＳ１５４に進む。

ステップＳ１５４において、メタデータ生成部３２２は、パッキング領域ｉのメタデータを生成する。具体的には、格子状でないパッキングレイアウトの場合、パッキング情報メタデータは、各パッキング領域に対応する複数のパッキング領域メタデータを含む。そして、メタデータ生成部３２２は、パッキング領域ｉに対応するパッキング領域メタデータを生成する。

図３３は、格子状でないパッキングレイアウトの例を示している。

図３３のパッキングレイアウト３６１では、中央の大きなパッキング領域の上及び下に、同じ形状及び大きさのパッキング領域が縦１行×横３列に配置されている。

例えば、パッキングレイアウト３６１の斜線で示されるパッキング領域３６２のパッキング領域メタデータの各パラメータは、次式（１０）乃至（１３）により計算される。

occupancyX＝rangeX／width' ・・・（１０）
occupancyY＝rangeY／height' ・・・（１１）
normOffsetX＝offsetX／width' ・・・（１２）
normOffsetY＝offsetY／height' ・・・（１３）

ここで、width'はパッキングレイアウト３６１（パッキング画像）の幅であり、height'はパッキングレイアウト３６１の高さである。rangeXはパッキング領域３６２の幅であり、rangeYはパッキング領域３６２の高さである。offsetXは、パッキングレイアウト３６１の左上隅とパッキング領域３６２の左上隅との間のX方向（幅方向）の距離であり、offsetYは、パッキングレイアウト３６１の左上隅とパッキング領域３６２の左上隅との間のＹ方向（高さ方向）の距離である。

従って、occupancyXは、パッキングレイアウト３６１（パッキング画像）におけるパッキング領域３６２のＸ方向の占有率を示し、occupancyYは、パッキングレイアウト３６１におけるパッキング領域３６２のＹ方向の占有率を示す。normOffsetXはoffsetXを正規化したパラメータであり、normOffsetYはoffsetYを正規化したパラメータである。

ステップＳ１５５において、パッキング画像生成部３２１は、パッキング領域ｉにマッピングする切出し画像を選択する。このとき、例えば、パッキング画像生成部３２１は、重要度が高い切出し画像ほど、大きなパッキング領域にマッピングされるように切出し画像を選択する。或いは、例えば、パッキング画像生成部３２１は、パッキング領域ｉの形状に近い形状の切出し画像を選択する。

また、メタデータ生成部３２２は、選択した切出し画像に対応する撮像装置２１を示すＩＤ（識別情報）をパッキング領域メタデータに追加する。

図３４は、パッキング領域メタデータの具体例を示している。

図３４の例では、normOffsetX、occupancyX、normOffsetY、及び、occupancyYが、それぞれ０．３３、０．３３、０．８、及び、０．２に設定されている。また、camera_idが、１に設定されている。camera_idは、パッキング領域にマッピングされる切出し画像に対応する撮像装置２１のＩＤを示すパラメータである。

ステップＳ１５５で、パッキング領域ｉにマッピングする切出し画像が選択され、パッキング領域ｉに対応するパッキング領域メタデータに撮像装置２１のＩＤが追加された後、処理はステップＳ１５７に進む。

一方、ステップＳ１５３において、格子状のパッキングレイアウトであると判定された場合、処理はステップＳ１５６に進む。

ステップＳ１５６において、パッキング画像生成部３２１は、ステップＳ１５５の処理と同様に、パッキング領域ｉにマッピングする切出し画像を選択する。また、メタデータ生成部３２２は、選択した切出し画像に対応する撮像装置２１のＩＤをパッキング情報メタデータに追加する。

図３５は、格子状のパッキングレイアウトに対応するパッキング情報メタデータの例を示している。

図３５の左側は、パッキングレイアウトの例を示している。このパッキングレイアウトには、同じ形状及び大きさのパッキング領域が縦４行×横３列に格子状に配列されている。

図３５の右側は、左側のパッキングレイアウトに対して生成されるパッキング情報メタデータの例を示している。この例では、パッキングレイアウトの行数を表すパラメータrawに４が設定され、列数を表すパラメータcolumnに３が設定されている。また、各パッキング領域にマッピングされる切出し画像に対応する撮像装置２１のＩＤを示すパラメータcamera_idが設定されている。例えば、１行目の１列目のパッキング領域のcamera_idは２に設定され、１行目の２列目のパッキング領域のcamera_idは１に設定され、２行目の１列目のパッキング領域のcamera_idは３に設定されている。

例えば、メタデータ生成部３２２は、ループ内の最初のステップＳ１５６の処理において、パラメータraw及びcolumnの値を設定する。また、メタデータ生成部３２２は、各ループ内のステップＳ１５６の処理において、切出し画像をマッピングするパッキング領域に対応するパラメータcamera_idに、その切出し画像に対応する撮像装置２１のＩＤを設定する。

ステップＳ１５６で、パッキング領域ｉにマッピングする切出し画像が選択され、撮像装置２１のＩＤがパッキング情報メタデータに追加された後、処理はステップＳ１５７に進む。

ステップＳ１５７において、メタデータ生成部３２２は、変数ｉがＭ以下であるか否かを判定する。なお、Ｍは、パッキングレイアウト内のパッキング領域の数を表す。

ステップＳ１５７で、変数ｉがＭ以下であると判定された場合、処理はステップＳ１５３に戻り、ステップＳ１５７において、変数ｉがＭより大きいと判定されるまで、ステップＳ１５３乃至ステップＳ１５７の処理が繰り返し実行される。これにより、パッキングレイアウト内の各パッキング領域にマッピングされる切出し画像が選択されるとともに、パッキング情報メタデータが生成される。

一方、ステップＳ１５７で、変数ｉがＭより大きいと判定された場合、処理はステップＳ１５８に進む。

ステップＳ１５８において、パッキング画像生成部３２１は、パッキング画像を生成する。具体的には、パッキング画像生成部３２１は、各切出し画像をパッキングレイアウトの各パッキング領域にマッピングする。これにより、複数の切出し画像が１つに結合されたパッキング画像が生成される。

例えば、図３６に示されるように、縦１０８０画素×横１９２０画素の９枚の撮影画像から切り出された切出し画像が、縦５４０画素×横９６０画素のパッキング領域が縦３行×横３列に配列されたパッキングレイアウトにそれぞれマッピングされる。これにより、９枚の切出し画像が１枚のパッキング画像に結合される。

このとき、パッキング画像生成部３２１は、各切出し画像の大きさをマッピングするパッキング領域の大きさに合わせるために、切出し画像の拡縮を行う。例えば、図３７に示されるように、切出し画像３８１がパッキング領域３９１にマッピングされる場合、切出し画像３８１の縦方向及び横方向が縮小される。また、切出し画像３８２がパッキング領域３９２にマッピングされる場合、切出し画像３８２の縦方向が縮小され、横方向が拡大される。

同様に、パッキング画像生成部３２１は、各切出し画像をパッキングレイアウトの各パッキング領域にマッピングする。これにより、各切出し画像が１つに結合されたパッキング画像が生成される。

ステップＳ１５９において、パッキング部３２０は、生成したパッキング画像を、各切出し画像の切出し情報メタデータ、パッキング画像のパッキング情報メタデータ、および、カメラパラメータとともに、符号化装置２５に出力して、パッキング処理が終了する。

（第５のオブジェクト選択処理）
図３８は、選択装置２４Eによるオブジェクト選択処理（第５のオブジェクト選択処理）を説明するフローチャートである。この処理は、例えば、再生装置２８の電源がオンされ、視聴者によって再生を開始する操作が行われたとき、開始される。

初めに、ステップＳ１７１において、3Dモデル選択部６１は、記憶装置２３に記憶されている全てのオブジェクトのなかから、伝送オブジェクトを決定する伝送オブジェクト決定処理を実行する。

換言すれば、ステップＳ１７１では、3Dモデル選択部６１は、オブジェクト特定情報としての仮想カメラ視聴範囲情報に基づいて伝送オブジェクトを決定する図８の第１のオブジェクト選択処理か、または、視聴者が指定したオブジェクトを表すオブジェクト特定情報に基づいて伝送オブジェクトを決定する図１２の第２のオブジェクト選択処理を実行する。処理の結果得られた伝送オブジェクトのオブジェクトIDと3Dモデルデータが、画像選択部８１に供給される。

ステップＳ１７２において、画像選択部８１は、全ての撮像装置２１と仮想カメラのカメラパラメータを取得する。

ステップＳ１７３において、画像選択部８１は、撮像装置２１の台数と同じ枚数の撮影画像のなかから、伝送オブジェクトを含む撮影画像である伝送撮影画像を選択する伝送撮影画像選択処理を実行する。換言すれば、画像選択部８１は、図１６のステップＳ５３乃至Ｓ５７の処理を実行する。これにより、複数の撮像装置２１で撮像された撮影画像のうち、１枚以上の伝送撮影画像と、撮像装置２１のカメラパラメータが、切出し部１００に供給される。

ステップＳ１７４において、切出し部１００は、１枚以上の伝送撮影画像から、オブジェクト領域の画像を切り出した切出し画像と、その切出し領域の位置を示す切出し情報メタデータを生成する切出し処理を実行する。換言すれば、切出し部１００は、図２１のステップＳ７１乃至Ｓ７７の処理を実行する。生成された切出し画像とその切出し情報メタデータ、及び、全ての撮像装置２１と仮想カメラのカメラパラメータが、切出し画像選択部３００に供給される。

ステップＳ１７５において、切出し画像選択部３００は、再生装置２８に再生用データとして送信する切出し画像の枚数が所定枚数（例えば、Q枚以下）となるように、切出し画像の重要度に応じて切出し画像を選択する再生用データ選択処理を実行する。換言すれば、切出し画像選択部３００は、図２７のステップＳ１２１乃至Ｓ１２９の処理を実行する。

ステップＳ１７６において、パッキング部３２０は、切出し画像選択部３００で選択された複数枚の切出し画像を１つの画像にパッキングすることにより、パッキング画像を生成するパッキング処理を実行する。換言すれば、パッキング部３２０は、図３１のステップＳ１５１乃至Ｓ１５８の処理を実行する。

ステップＳ１７７において、選択装置２４Eは、伝送オブジェクトのオブジェクトID、3Dモデルジオメトリ、パッキング画像、切出し情報メタデータ、パッキング情報メタデータ、および、カメラパラメータを、符号化装置２５に出力して、第５のオブジェクト選択処理を終了する。伝送オブジェクトのオブジェクトIDおよび3Dモデルジオメトリは、3Dモデル選択部６１から出力され、パッキング画像、切出し情報メタデータ、パッキング情報メタデータ、および、カメラパラメータは、パッキング部３２０から出力される。

以上の第５のオブジェクト選択処理によれば、オブジェクト特定情報により特定されるオブジェクトの3Dモデルデータのみを再生装置２８に伝送するので、伝送帯域を削減することができる。

また、伝送撮影画像選択処理により、オブジェクト特定情報により特定されるオブジェクトを含まない撮影画像は非伝送撮影画像として伝送しないので、さらに伝送帯域を削減することができる。

さらに、オブジェクトを含む撮影画像から、オブジェクト領域の画像を切出した切出し画像を生成して伝送するので、撮影画像をそのまま伝送するよりも、さらに伝送帯域を削減することができる。

また、再生用データ選択処理により、切出し画像の重要度に応じて切出し画像を所定枚数に削減し、それらをパッキング処理により１つの画像にパッキングして伝送するので、伝送帯域を減らしつつ、最適な解像度で試聴することができる。

＜８．選択装置の第６実施の形態＞
（選択装置の構成例）
図３９は、選択装置２４の第６実施の形態としての選択装置２４Fの構成例を示している。

第６実施の形態において、上述した第１乃至第５実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

選択装置２４Fでは、3Dモデルデータのデータフォーマットとして、オブジェクトの色情報が撮像装置２１の台数と同じ枚数の撮影画像で構成され、オブジェクトのジオメトリ情報が撮像装置２１の台数と同じ枚数のデプス画像で構成される、マルチテクスチャデプス形式が適用される。なお、以下では、色情報としての撮影画像を、デプス画像との区別を容易にするため、テクスチャ画像と称して説明する。

選択装置２４Fは、3Dモデル選択部６１、および、テクスチャデプス画像選択部４２１を備える。すなわち、選択装置２４Fは、第３実施の形態と同様の3Dモデル選択部６１に、テクスチャデプス画像選択部４２１がさらに追加された構成とされている。

3Dモデル選択部６１には、全オブジェクトの3Dモデルデータが供給される。3Dモデルデータは、撮像装置２１の台数と同じ枚数のテクスチャ画像とデプス画像で構成される。

3Dモデル選択部６１は、オブジェクト特定情報に基づいて、記憶装置２３に記憶されている全てのオブジェクトのなかから、伝送オブジェクトを決定（選択）する。3Dモデル選択部６１は、決定した伝送オブジェクトの3Dモデルデータ、即ち、複数枚のテクスチャ画像とデプス画像を、テクスチャデプス画像選択部４２１に供給する。

テクスチャデプス画像選択部４２１には、全ての撮像装置２１のカメラパラメータが記憶装置２３から供給される。

テクスチャデプス画像選択部４２１は、図１３に示した第３実施の形態の画像選択部８１と同様の処理を行う。ただし、第３実施の形態の画像選択部８１が扱う3Dモデルデータが、マルチテクスチャジオメトリ形式のデータであったのに対して、テクスチャデプス画像選択部４２１が扱う3Dモデルデータは、マルチテクスチャデプス形式のデータである点が異なる。

すなわち、テクスチャデプス画像選択部４２１は、撮像装置２１の台数と同じ枚数のテクスチャ画像とデプス画像のなかから、伝送オブジェクトを含むテクスチャ画像とデプス画像を選択する伝送画像選択処理を実行する。

図４０は、テクスチャデプス画像選択部４２１が実行する伝送画像選択処理を説明する図である。図４０は、第３実施の形態で説明した図１５に対応する。

図４０を第３実施の形態で説明した図１５と比較すると、色情報であるテクスチャ画像については同一であり、ジオメトリ情報が、ポリゴンメッシュによる表現から、デプス画像による表現に変更されている。図４０において、dep1乃至dep7は、７個の撮像装置２１−１乃至２１−７で生成されたデプス画像を表す。

図１５で説明した例と同様に、７個の撮像装置２１−１乃至２１−７で撮影された７枚のテクスチャ画像のうち、撮像装置２１−３と撮像装置２１−６で撮影されたテクスチャ画像が伝送しないテクスチャ画像に決定されたとする。この場合、テクスチャデプス画像選択部４２１は、デプス画像に関しても同様に、撮像装置２１−３と撮像装置２１−６で生成されたデプス画像を、伝送しないデプス画像に決定する。

テクスチャデプス画像選択部４２１は、伝送オブジェクトのオブジェクトIDと3Dモデルデータを、符号化装置２５に出力する。ただし、3Dモデルデータは、テクスチャ画像とデプス画像で表現されるマルチテクスチャデプス形式であり、撮像装置２１の台数と同じ枚数の撮影画像のうち、伝送オブジェクトが含まれるテクスチャ画像とデプス画像のみである。また、画像選択部８１は、3Dモデルデータとして送信するテクスチャ画像とデプス画像に対応する撮像装置２１のカメラパラメータも、符号化装置２５に出力する。

（第６のオブジェクト選択処理）
図４１は、選択装置２４Fによるオブジェクト選択処理（第６のオブジェクト選択処理）を説明するフローチャートである。この処理は、例えば、再生装置２８の電源がオンされ、視聴者によって再生を開始する操作が行われたとき、開始される。

初めに、ステップＳ１９１において、3Dモデル選択部６１は、記憶装置２３に記憶されている全てのオブジェクトのなかから、伝送オブジェクトを決定する伝送オブジェクト決定処理を実行する。

換言すれば、ステップＳ１９１では、3Dモデル選択部６１は、オブジェクト特定情報としての仮想カメラ視聴範囲情報に基づいて伝送オブジェクトを決定する図８の第１のオブジェクト選択処理か、または、視聴者が指定したオブジェクトを表すオブジェクト特定情報に基づいて伝送オブジェクトを決定する図１２の第２のオブジェクト選択処理を実行する。処理の結果得られた伝送オブジェクトのオブジェクトIDと3Dモデルデータが、テクスチャデプス画像選択部４２１に供給される。

ステップＳ１９２において、テクスチャデプス画像選択部４２１は、全ての撮像装置２１のカメラパラメータを記憶装置２３から取得する。

ステップＳ１９３において、テクスチャデプス画像選択部４２１は、撮像装置２１の台数と同じ枚数のテクスチャ画像とデプス画像のなかから、伝送オブジェクトを含むテクスチャ画像とデプス画像を選択する伝送画像選択処理を実行する。

ステップＳ１９４において、選択装置２４Fは、伝送オブジェクトのオブジェクトID、伝送オブジェクトが含まれるテクスチャ画像とデプス画像からなる3Dモデルデータ、および、伝送するテクスチャ画像とデプス画像に対応する撮像装置２１のカメラパラメータを、符号化装置２５に出力して、第６のオブジェクト選択処理を終了する。伝送オブジェクトのオブジェクトIDは、3Dモデル選択部６１から出力され、3Dモデルデータ、および、カメラパラメータは、テクスチャデプス画像選択部４２１から出力される。

以上の第６のオブジェクト選択処理によれば、オブジェクト特定情報により特定されるオブジェクトの3Dモデルデータのみを再生装置２８に伝送するので、伝送帯域を削減することができる。

また、伝送画像選択処理により、オブジェクト特定情報により特定されるオブジェクトを含まないテクスチャ画像とデプス画像は伝送しないので、さらに伝送帯域を削減することができる。

＜９．選択装置の第７実施の形態＞
（選択装置の構成例）
図４２は、選択装置２４の第７実施の形態としての選択装置２４Gの構成例を示している。

第７実施の形態において、上述した第１乃至第６実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

選択装置２４Gでは、3Dモデルデータのデータフォーマットとして、第６実施の形態と同様に、マルチテクスチャデプス形式が適用される。

選択装置２４Gは、3Dモデル選択部６１、テクスチャデプス画像選択部４２１、および、テクスチャデプス切出し部４４１を備える。

即ち、第７実施の形態に係る選択装置２４Gは、図３９に示した第６実施の形態と同様の3Dモデル選択部６１とテクスチャデプス画像選択部４２１に、テクスチャデプス切出し部４４１がさらに追加された構成とされる。第７実施の形態のその他の構成は、第６実施の形態と同一である。

テクスチャデプス切出し部４４１には、テクスチャデプス画像選択部４２１から、伝送オブジェクトが含まれるテクスチャ画像およびデプス画像と、撮像装置２１のカメラパラメータが、供給される。

テクスチャデプス切出し部４４１は、図１７で示した第４実施の形態の切出し部１００と同様に、オブジェクト領域の画像を切り出す切出し処理を行う。ただし、3Dモデルデータのデータフォーマットが、第４実施の形態ではポリゴンメッシュとテクスチャ画像で表現されるマルチテクスチャジオメトリ形式であったのに対して、第７実施の形態ではテクスチャ画像とデプス画像で表現されるマルチテクスチャデプス形式である点が異なる。

より具体的には、テクスチャデプス切出し部４４１は、テクスチャデプス画像選択部４２１から供給される伝送オブジェクトが含まれるテクスチャ画像に対して、オブジェクト領域の画像を切出すことにより、テクスチャ切出し画像を生成する。テクスチャ切出し画像の生成については、第４実施の形態の切出し部１００と同様である。

また、テクスチャデプス切出し部４４１は、テクスチャデプス画像選択部４２１から供給される伝送オブジェクトが含まれるデプス画像に対して、オブジェクト領域の画像を切出すことにより、デプス切出し画像を生成する。

さらに、テクスチャデプス切出し部４４１は、テクスチャ画像およびデプス画像からの切出し領域の位置を示す切出し情報メタデータを生成する。テクスチャデプス切出し部４４１は、テクスチャ切出し画像およびデプス切出し画像とそれらの切出し情報メタデータ、及び、各撮像装置２１のカメラパラメータを符号化装置２５に供給する。

（デプス画像の説明）
図４３は、デプス画像を説明する図である。

図４３の例では、テクスチャ切出し画像４６０に、３つのオブジェクト４６１乃至４６３が撮像されている。

この場合、テクスチャデプス切出し部４４１は、伝送オブジェクトごとに、デプス切出し画像を生成する。

具体的には、図４３の右側上段に示されるように、例えば、テクスチャデプス切出し部４４１は、オブジェクト４６１については、デプス切出し画像４８１を生成する。デプス切出し画像４８１は、テクスチャ切出し画像４６０と同一サイズで、オブジェクト４６１の領域の画素値がオブジェクト４６１の距離ｚを表す所定の解像度で表現され、オブジェクト４６１の領域以外の画素値が任意の固定値（図４３の例では０）で表現される画像である。

テクスチャデプス切出し部４４１は、オブジェクト４６２については、デプス切出し画像４８２を生成する。デプス切出し画像４８２は、テクスチャ切出し画像４６０と同一サイズで、オブジェクト４６２の領域の画素値がオブジェクト４６２の距離ｚを表す所定の解像度で表現され、オブジェクト４６２の領域以外の画素値が任意の固定値（図４３の例では０）で表現される画像である。

同様に、テクスチャデプス切出し部４４１は、オブジェクト４６３については、デプス切出し画像４８３を生成する。デプス切出し画像４８３は、テクスチャ切出し画像４６０と同一サイズで、オブジェクト４６３の領域の画素値がオブジェクト４６３の距離ｚを表す所定の解像度で表現され、オブジェクト４６３の領域以外の画素値が任意の固定値（図４３の例では０）で表現される画像である。

なお、デプス切出し画像のサイズは、オブジェクトごとに異なるようにしてもよい。

具体的には、例えば、図４３の右側下段に示されるように、テクスチャデプス切出し部４４１は、オブジェクト４６１については、テクスチャ切出し画像４６０上のオブジェクト４６１の領域に対応する領域の画素値が、オブジェクト４６１の距離ｚを表す、その領域を含む矩形の最小サイズのデプス切出し画像４９１を生成する。

同様に、テクスチャデプス切出し部４４１は、オブジェクト４６２については、テクスチャ切出し画像４６０上のオブジェクト４６２の領域に対応する領域を含む矩形の最小サイズのデプス切出し画像４９２、オブジェクト４６３については、テクスチャ切出し画像４６０上のオブジェクト４６３の領域に対応する領域を含む矩形の最小サイズのデプス切出し画像４９３を生成する。

この場合、テクスチャ切出し画像４６０と同一サイズでデプス切出し画像を生成した場合と比べて、デプス切出し画像のデータ量を削減することができる。

図４４は、切出し情報メタデータの例を示している。

X方向（幅方向）およびＹ方向（高さ方向）に関するテクスチャ画像およびデプス画像からの切出し領域の位置は、図２３を参照して説明したoffsetX、rangeX、offsetY、rangeYで表される。

あるいはまた、テクスチャ画像およびデプス画像の幅width'または高さheight'で除算した式（１）乃至（４）のoccupancyX、occupancyY、normOffsetX、normOffsetYで、切出し領域の位置を表現してもよい。

さらに、第７実施の形態の切出し情報メタデータには、デプス切出し画像に関する切出し情報として、ｚ座標の最小値zminと最大値zmaxが含まれる。

図４５は、最小値ｚminと最大値zmaxを説明する図である。

図４５に示されるように、オブジェクト５２１のｚ座標の最小値と最大値が最小値ｚminと最大値zmaxであるとすると、その最小値ｚminと最大値zmaxが、切出し情報メタデータに格納される。オブジェクト毎に最小値ｚminと最大値zmaxを伝送することにより、オブジェクト毎の量子化が可能となる。

（第７のオブジェクト選択処理）
図４６は、選択装置２４Gによるオブジェクト選択処理（第７のオブジェクト選択処理）を説明するフローチャートである。この処理は、例えば、再生装置２８の電源がオンされ、視聴者によって再生を開始する操作が行われたとき、開始される。

初めに、ステップＳ２３１において、3Dモデル選択部６１は、記憶装置２３に記憶されている全てのオブジェクトのなかから、伝送オブジェクトを決定する伝送オブジェクト決定処理を実行する。

換言すれば、ステップＳ２３１では、3Dモデル選択部６１は、オブジェクト特定情報としての仮想カメラ視聴範囲情報に基づいて伝送オブジェクトを決定する図８の第１のオブジェクト選択処理か、または、視聴者が指定したオブジェクトを表すオブジェクト特定情報に基づいて伝送オブジェクトを決定する図１２の第２のオブジェクト選択処理を実行する。処理の結果得られた伝送オブジェクトのオブジェクトIDと3Dモデルデータが、テクスチャデプス画像選択部４２１に供給される。

ステップＳ２３２において、テクスチャデプス画像選択部４２１は、全ての撮像装置２１のカメラパラメータを記憶装置２３から取得する。

ステップＳ２３３において、テクスチャデプス画像選択部４２１は、撮像装置２１の台数と同じ枚数のテクスチャ画像とデプス画像のなかから、伝送オブジェクトを含むテクスチャ画像とデプス画像を選択する伝送画像選択処理を実行する。

ステップＳ２３４において、テクスチャデプス切出し部４４１は、伝送オブジェクトを含むテクスチャ画像とデプス画像のオブジェクト領域を切り出し、オブジェクト毎のテクスチャ切出し画像およびデプス切出し画像と、それらの切出し情報メタデータを生成する切出し処理を実行する。

ステップＳ２３５において、選択装置２４Gは、伝送オブジェクトのオブジェクトID、伝送オブジェクト毎のテクスチャ切出し画像およびデプス切出し画像からなる3Dモデルデータ、切出し情報メタデータ、並びに、カメラパラメータを、符号化装置２５に出力して、第７のオブジェクト選択処理を終了する。伝送オブジェクトのオブジェクトIDは、3Dモデル選択部６１から出力され、3Dモデルデータ、切出し情報メタデータ、および、カメラパラメータは、テクスチャデプス切出し部４４１から出力される。

以上の第７のオブジェクト選択処理によれば、オブジェクト特定情報により特定されるオブジェクトの3Dモデルデータのみを再生装置２８に伝送するので、伝送帯域を削減することができる。

また、伝送画像選択処理により、オブジェクト特定情報により特定されるオブジェクトを含まないテクスチャ画像とデプス画像は伝送しないので、さらに伝送帯域を削減することができる。

さらに、オブジェクトを含むテクスチャ画像とデプス画像から、オブジェクト領域の画像を切出したテクスチャ切出し画像とデプス切出し画像を生成して伝送するので、テクスチャ画像とデプス画像をそのまま伝送するよりも、さらに伝送帯域を削減することができる。

なお、第７実施の形態において、テクスチャデプス切出し部４４１の後段に、図２６に示した第５実施の形態と同様の、切出し画像選択部３００およびパッキング部３２０の少なくとも１つをさらに設け、テクスチャ切出し画像とデプス切出し画像をさらに選択したり、１つの画像にパッキングして伝送する構成としてもよい。

＜１０．配信処理と再生処理＞
最後に、画像処理システム１０の配信側全体の処理である配信処理と、再生側の処理である再生処理について説明する。

（配信処理）
最初に、図４７のフローチャートを参照して、画像処理システム１０の配信側による配信処理について説明する。

初めに、ステップＳ３０１において、複数の撮像装置２１それぞれは、所定の撮影空間を撮影し、その結果得られる動画像を再構成装置２２に供給する。

ステップＳ３０２において、再構成装置２２は、撮像装置２１−１乃至２１−Nそれぞれから供給される撮影空間内の動画像を用いて、撮影空間内に存在する多数のオブジェクトについて、オブジェクトごとに3Dモデルを生成し、生成された各オブジェクトの3Dモデルデータを記憶装置２３に供給する。

動画像のなかで何をオブジェクトに設定するか、どのようにオブジェクトを分離するかについては、任意の手法を採用することができ、各オブジェクトは適切に分離されて、オブジェクト毎の3Dモデルデータが記憶装置２３に記憶される。

ステップＳ３０３において、選択装置２４は、再生装置２８から送信されてくるオブジェクトを特定するオブジェクト特定情報を、送受信装置２６から取得する。

オブジェクト特定情報は、例えば、仮想カメラの視聴範囲情報である仮想カメラ視聴範囲情報や、視聴者が表示対象として指定したオブジェクトのオブジェクトIDの情報などである。オブジェクト特定情報として、オブジェクトIDの情報を取得する場合には、予め各オブジェクトのオブジェクトIDとグローバル位置情報が、再生装置２８に送信される。

ステップＳ３０４において、選択装置２４は、オブジェクト特定情報に基づいて、記憶装置２３に記憶されている全てのオブジェクトのなかから、送信するオブジェクトを決定（選択）し、決定した１以上のオブジェクトのオブジェクトIDと3Dモデルデータを符号化装置２５に供給する。この処理の詳細として、上述した第１乃至第７のオブジェクト選択処理のいずれかが実行される。

ステップＳ３０５において、符号化装置２５は、送信することを決定した１以上のオブジェクトのオブジェクトIDと3Dモデルデータを、例えば、AVC方式、HEVC方式等の所定の符号化方式で符号化する。符号化して得られた3Dモデルの符号化ストリームは、送受信装置２６へ供給される。

ステップＳ３０６において、送受信装置２６は、符号化装置２５から供給された3Dモデルの符号化ストリームを、ネットワーク２７を介して再生装置２８へ送信する。

以上の配信処理によれば、複数の撮像装置２１で撮像されて生成された、多数のオブジェクトの3Dモデルのうち、一部の3Dモデルを選択して、再生装置２８で再生されるように、3Dモデルデータを伝送することができる。

（再生処理）
次に、図４８のフローチャートを参照して、画像処理システム１０の再生側による再生処理について説明する。

初めに、ステップＳ３２１において、再生装置２８の仮想視点検出部４４は、仮想カメラの視聴範囲に存在する１以上のオブジェクトを特定するオブジェクト特定情報を生成し、送受信部４１に供給する。

オブジェクト特定情報は、例えば、仮想カメラの視聴範囲情報である仮想カメラ視聴範囲情報や、視聴者が表示対象として指定したオブジェクトのオブジェクトIDの情報などである。オブジェクト特定情報として、オブジェクトIDの情報を取得する場合には、予め各オブジェクトのオブジェクトIDとグローバル位置情報が、送受信装置２６から再生装置２８に送信される。

ステップＳ３２２において、送受信部４１は、仮想視点検出部４４から供給されたオブジェクト特定情報を、送受信装置２６にネットワーク２７を介して送信する。

ステップＳ３２３において、送受信部４１は、送受信装置２６から供給される、１以上のオブジェクトの3Dモデルデータを符号化した符号化ストリームを受信（取得）し、復号部４２に供給する。

ステップＳ３２４において、復号部４２は、送受信部４１から供給された3Dモデルの符号化ストリームを、符号化装置２５における符号化方式に対応する方式で復号する。復号部４２は、復号して得られる１以上のオブジェクトの3Dモデルデータを描画部４３に供給する。

ステップＳ３２５において、描画部４３は、復号部４２から供給された１以上のオブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からのオブジェクトの画像（オブジェクト画像）を表示画像として生成し、表示装置２９に供給する。

ステップＳ３２６において、表示装置２９は、描画部４３から供給された表示画像を２次元表示して、再生処理を終了する。

以上の再生処理によれば、複数の撮像装置２１で撮像されて生成された、多数のオブジェクトの3Dモデルのうち、一部の3Dモデルのみを選択して、表示装置２９に表示させることができる。

画像処理システム１０によれば、複数の撮像装置２１で撮像されて生成された多数のオブジェクトのうち、オブジェクト特定情報に基づいて所定の条件を満たしたオブジェクトのみの3Dモデルデータが、再生側へ伝送される。

このように、撮影空間に含まれる全てのオブジェクトのうち、必要なオブジェクトのみの3Dモデルデータを伝送することにより、視聴者が視聴するオブジェクト画像の画質を担保しつつ、再生側の処理負荷を削減するとともに、伝送帯域を削減することができる。不要なオブジェクトの３Dモデルデータを伝送しないことで、視聴者が視聴するオブジェクト画像の画質を向上させることができる。

オブジェクト特定情報として、例えば、仮想カメラの視聴範囲情報である仮想カメラ視聴範囲情報を採用した場合には、視聴者の視聴範囲内のオブジェクトの3Dモデルデータのみを伝送することにより伝送帯域を削減し、表示画像を生成することができる。

オブジェクト特定情報として、例えば、視聴者が表示対象として指定したオブジェクトのオブジェクトIDの情報を採用した場合には、視聴者が表示するオブジェクトを指定することができ、伝送帯域を削減した表示画像を生成することができる。

＜１１．コンピュータ構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図４９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。

入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。

以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜１２．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図５０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図５０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図５０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図５１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図５１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図５０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図５０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、上述した画像処理システム１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００に、上述した画像処理システム１０を適用する場合、例えば、画像処理システム１０の撮像装置２１は、撮像部７４１０の少なくとも一部に相当する。また、再構成装置２２、記憶装置２３、選択装置２４、符号化装置２５、送受信装置２６、および、再生装置２８は一体化され、マイクロコンピュータ７６１０と記憶部７６９０に相当する。表示装置２９は、表示部７７２０に相当する。なお、画像処理システム１０を統合制御ユニット７６００に適用する場合、ネットワーク２７は設けられず、視聴者である搭乗者の入力部７８００の操作により視聴者の視線方向および視聴位置が入力される。以上のようにして、画像処理システム１０を、図５０に示した応用例の統合制御ユニット７６００に適用することにより、視聴者が所望する領域のみのオブジェクトを表示する表示画像を表示部７７２０等に高画質（高解像度）に表示することができる。

また、画像処理システム１０の少なくとも一部の構成要素は、図５０に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、画像処理システム１０が、図５０に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は以下のような構成も取ることができる。
（１）
複数の3Dモデルのオブジェクトの中から、所定の条件を満たすオブジェクトを選択する3Dモデル選択部と、
選択された前記オブジェクトの3Dモデルデータを送信する送信部と
を備える画像処理装置。
（２）
前記3Dモデルデータは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報を点の集合またはポリゴンメッシュで表した形式のデータである
前記（１）に記載の画像処理装置。
（３）
前記3Dモデルデータは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報を前記テクスチャ画像の画素値に対応させて距離情報を格納した複数枚のデプス画像で表した形式のデータである
前記（１）に記載の画像処理装置。
（４）
前記3Dモデル選択部は、受信したオブジェクトを特定するオブジェクト特定情報に基づいて、前記所定の条件を満たすオブジェクトを選択する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記オブジェクト特定情報は、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報である
前記（４）に記載の画像処理装置。
（６）
前記3Dモデル選択部は、前記オブジェクトのグローバル位置情報の代表値が、前記仮想カメラの視聴範囲に含まれるか否かにより、所定の条件を満たすか否かを判定する
前記（５）に記載の画像処理装置。
（７）
前記オブジェクト特定情報は、視聴者が表示対象として指定したオブジェクトのオブジェクトIDの情報である
前記（４）に記載の画像処理装置。
（８）
生成された前記3Dモデルデータは、複数の方向から撮像した複数枚のテクスチャ画像を含み、
選択された前記オブジェクトの前記複数枚のテクスチャ画像のうち、前記オブジェクトが含まれるテクスチャ画像のみを選択する画像選択部をさらに備え、
前記送信部は、前記3Dモデルデータのテクスチャ画像として、前記画像選択部で選択された前記テクスチャ画像を送信する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記画像選択部で選択された前記テクスチャ画像の前記オブジェクト部分を切り出し、切出し画像を生成する切出し部をさらに備え、
前記送信部は、前記3Dモデルデータのテクスチャ画像として、前記切出し部で生成された前記切出し画像を送信する
前記（８）に記載の画像処理装置。
（１０）
前記3Dモデルデータは、前記オブジェクトのジオメトリ情報を点の集合で表し、その各点に対応して前記オブジェクトの色情報を保有する形式のデータである
前記（４）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記3Dモデルデータは、前記オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応して前記オブジェクトの色情報を保有する形式のデータである
前記（４）乃至（９）のいずれかに記載の画像処理装置。
（１２）
画像処理装置が、
複数の3Dモデルのオブジェクトの中から、所定の条件を満たすオブジェクトを選択し、
選択した前記オブジェクトの3Dモデルデータを送信する
ステップを含む画像処理方法。
（１３）
複数の3Dモデルのオブジェクトの中から所定の条件を満たすオブジェクトとして選択された前記オブジェクトの3Dモデルデータを受信する受信部と、
受信された前記オブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からの前記オブジェクトの表示画像を生成する描画部と
を備える画像処理装置。
（１４）
前記3Dモデルデータは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報を点の集合またはポリゴンメッシュで表した形式のデータである
前記（１３）に記載の画像処理装置。
（１５）
前記3Dモデルデータは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報を前記複数の方向から測定した距離情報を前記テクスチャ画像の画素値に対応させて格納した複数枚のデプス画像で表した形式のデータである
前記（１３）に記載の画像処理装置。
（１６）
前記仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報を生成する仮想視点検出部をさらに備え、
前記受信部は、さらに、前記仮想カメラ視聴範囲情報を送信する
前記（１３）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
視聴者が表示対象とするオブジェクトの指定を受け付ける入力部をさらに備え、
前記受信部は、さらに、前記入力部で指定されたオブジェクトのオブジェクトIDの情報を送信する
前記（１３）乃至（１５）のいずれかに記載の画像処理装置。
（１８）
前記3Dモデルデータは、前記オブジェクトのジオメトリ情報を点の集合で表し、その各点に対応して前記オブジェクトの色情報を保有する形式のデータである
前記（１３）に記載の画像処理装置。
（１９）
前記3Dモデルデータは、前記オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応して前記オブジェクトの色情報を保有する形式のデータである
前記（１３）に記載の画像処理装置。
（２０）
画像処理装置が、
複数の3Dモデルのオブジェクトの中から所定の条件を満たすオブジェクトとして選択された前記オブジェクトの3Dモデルデータを受信し、
受信した前記オブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からの前記オブジェクトの表示画像を生成する
ステップを含む画像処理方法。

１０ 画像処理システム， ２１−１乃至２１−Ｎ 撮像装置， ２２ 再構成装置， ２３ 記憶装置， ２４（２４A乃至２４G） 選択装置， ２６ 送受信装置， ２８ 再生装置， ２９ 表示装置， ４１ 送受信部， ４３ 描画部， ４４ 仮想視点検出部， ４５ 入力部， ６１（６１A，６１B） ３Dモデル選択部， ７０ 仮想カメラ， ８１ 画像選択部， １００ 切出し部， １０１ オブジェクト領域設定部， １０２ 切出し画像生成部， ３００ 切出し画像選択部， ３０１ 重要度設定部， ３０２ 再生用データ選択部， ３２０ パッキング部， ３２１ パッキング画像生成部， ３２２ メタデータ生成部， ４２１ テクスチャデプス画像選択部， ４４１ テクスチャデプス切出し部， ９００ コンピュータ， ９０１ CPU， ９０２ ROM， ９０３ RAM， ９０６ 入力部， ９０７ 出力部， ９０８ 記憶部， ９０９ 通信部， ９１０ ドライブ

Claims (20)

1. 複数の3Dモデルのオブジェクトの中から、所定の条件を満たすオブジェクトを選択する3Dモデル選択部と、
   選択された前記オブジェクトの3Dモデルデータを送信する送信部と
   を備える画像処理装置。
2. 前記3Dモデルデータは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報を点の集合またはポリゴンメッシュで表した形式のデータである
   請求項１に記載の画像処理装置。
3. 前記3Dモデルデータは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報を前記テクスチャ画像の画素値に対応させて距離情報を格納した複数枚のデプス画像で表した形式のデータである
   請求項１に記載の画像処理装置。
4. 前記3Dモデル選択部は、受信したオブジェクトを特定するオブジェクト特定情報に基づいて、前記所定の条件を満たすオブジェクトを選択する
   請求項１に記載の画像処理装置。
5. 前記オブジェクト特定情報は、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報である
   請求項４に記載の画像処理装置。
6. 前記3Dモデル選択部は、前記オブジェクトのグローバル位置情報の代表値が、前記仮想カメラの視聴範囲に含まれるか否かにより、所定の条件を満たすか否かを判定する
   請求項５に記載の画像処理装置。
7. 前記オブジェクト特定情報は、視聴者が表示対象として指定したオブジェクトのオブジェクトIDの情報である
   請求項４に記載の画像処理装置。
8. 生成された前記3Dモデルデータは、複数の方向から撮像した複数枚のテクスチャ画像を含み、
   選択された前記オブジェクトの前記複数枚のテクスチャ画像のうち、前記オブジェクトが含まれるテクスチャ画像のみを選択する画像選択部をさらに備え、
   前記送信部は、前記3Dモデルデータのテクスチャ画像として、前記画像選択部で選択された前記テクスチャ画像を送信する
   請求項１に記載の画像処理装置。
9. 前記画像選択部で選択された前記テクスチャ画像の前記オブジェクト部分を切り出し、切出し画像を生成する切出し部をさらに備え、
   前記送信部は、前記3Dモデルデータのテクスチャ画像として、前記切出し部で生成された前記切出し画像を送信する
   請求項８に記載の画像処理装置。
10. 前記3Dモデルデータは、前記オブジェクトのジオメトリ情報を点の集合で表し、その各点に対応して前記オブジェクトの色情報を保有する形式のデータである
    請求項１に記載の画像処理装置。
11. 前記3Dモデルデータは、前記オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応して前記オブジェクトの色情報を保有する形式のデータである
    請求項１に記載の画像処理装置。
12. 画像処理装置が、
    複数の3Dモデルのオブジェクトの中から、所定の条件を満たすオブジェクトを選択し、
    選択した前記オブジェクトの3Dモデルデータを送信する
    ステップを含む画像処理方法。
13. 複数の3Dモデルのオブジェクトの中から所定の条件を満たすオブジェクトとして選択された前記オブジェクトの3Dモデルデータを受信する受信部と、
    受信された前記オブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からの前記オブジェクトの表示画像を生成する描画部と
    を備える画像処理装置。
14. 前記3Dモデルデータは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報を点の集合またはポリゴンメッシュで表した形式のデータである
    請求項１３に記載の画像処理装置。
15. 前記3Dモデルデータは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報を前記複数の方向から測定した距離情報を前記テクスチャ画像の画素値に対応させて格納した複数枚のデプス画像で表した形式のデータである
    請求項１３に記載の画像処理装置。
16. 前記仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報を生成する仮想視点検出部をさらに備え、
    前記受信部は、さらに、前記仮想カメラ視聴範囲情報を送信する
    請求項１３に記載の画像処理装置。
17. 視聴者が表示対象とするオブジェクトの指定を受け付ける入力部をさらに備え、
    前記受信部は、さらに、前記入力部で指定されたオブジェクトのオブジェクトIDの情報を送信する
    請求項１３に記載の画像処理装置。
18. 前記3Dモデルデータは、前記オブジェクトのジオメトリ情報を点の集合で表し、その各点に対応して前記オブジェクトの色情報を保有する形式のデータである
    請求項１３に記載の画像処理装置。
19. 前記3Dモデルデータは、前記オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応して前記オブジェクトの色情報を保有する形式のデータである
    請求項１３に記載の画像処理装置。
20. 画像処理装置が、
    複数の3Dモデルのオブジェクトの中から所定の条件を満たすオブジェクトとして選択された前記オブジェクトの3Dモデルデータを受信し、
    受信した前記オブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からの前記オブジェクトの表示画像を生成する
    ステップを含む画像処理方法。

Images