JP7378960B2 - 画像処理装置、画像処理システム、画像生成方法、および、プログラム - Google Patents

Description

本発明は、仮想視点画像を生成する技術に関するものである。

近年、複数の撮像装置を異なる位置に設置して複数の方向から同期撮影し、当該撮像装置から得られた複数視点画像を用いて、任意の視点に基づく仮想視点画像を生成する技術が注目されている。上記のような仮想視点画像を生成する技術によれば、スポーツの試合、コンサート、あるいは演劇等といった様々なイベントについて、任意の視点から見た映像を生成することができる。ここで、撮像装置により撮像された被写体について、該被写体の形状データの精度が高いほど仮想視点画像全体の品質が良いと感じやすい。したがって、より品質の良い仮想視点画像を生成するためには、精度の高い形状データを使用して仮想視点画像を生成することが必要である。

特許文献１には、形状データの一つである三次元モデルを生成する方法が記載されている。特許文献１によれば、被写体を撮像した撮像画像から被写体のシルエット輪郭上の不要部を除去することにより精度の高いシルエット画像を取得し、該シルエット画像に基づいて三次元モデルを生成する方法について記載されている。

特許第５２９５０４４号公報

しかしながら、特許文献１に記載の発明を用いたとしても、撮像画像取得時の撮像状況によって、最終的に生成される三次元モデルの精度にばらつきが発生する恐れがある。例えば、被写体が複数ある場合、それぞれの被写体を撮像する撮像装置の台数あるいは配置が被写体によって異なるといった状況があげられる。被写体の三次元モデルは、被写体を撮像する撮像装置の台数および配置等の撮像条件によって精度が変動するため、上記の撮像状況において精度にばらつきのある複数の三次元モデルが生成される恐れがある。精度にばらつきのある三次元モデルを用いて仮想視点画像を生成することにより、精度の低い三次元モデルまでもが仮想視点画像に描画され、仮想視点画像全体の品質が低下する恐れがある。

本発明は上記の課題に鑑みてなされたものである。その目的は、適切な形状データを使用した仮想視点画像が生成されるようにすることである。

本発明に係る画像処理装置は、複数の撮像装置により撮像される複数の撮像画像に基づいて被写体の形状データを生成する画像処理装置であって、前記複数の撮像画像を取得する画像取得手段と、前記画像取得手段により取得された前記複数の撮像画像に基づいて、被写体の形状データを生成する形状データ生成手段と、前記複数の撮像装置のうち１以上の撮像装置の少なくとも位置および向きを示すパラメータを含むカメラパラメータに基づいて、前記形状データ生成手段により生成された形状データの信頼度を決定する信頼度決定手段と、前記形状データ生成手段により生成された形状データを含む素材データと、前記信頼度決定手段により決定された信頼度を示す信頼度情報とを関連付けて画像生成装置に出力する出力手段であって、前記画像生成装置において、ユーザ操作に基づいて第１モードが設定された場合、前記信頼度に関わらず複数の前記素材データを用いて仮想視点画像を生成でき、前記ユーザ操作に基づいて第２モードが設定された場合、複数の前記素材データのうち前記信頼度情報が示す信頼度が特定の信頼度である前記素材データを用いて前記仮想視点画像を生成できるよう、前記素材データと前記信頼度情報とを関連付けて出力する出力手段とを有することを特徴とする。

本発明によれば、適切な形状データを使用した仮想視点画像が生成されるようになる。

画像処理システム１００が有する画像処理装置１１０および画像生成装置１２０のハードウェア構成を説明するための図である。 画像処理システム１００の一部の機能構成を説明するための図である。 複数の撮像装置２０１が配置される一例を示す図である。 前景画像およびシルエット画像の一例を示す図である。 視体積交差法により三次元モデルが生成される一例を説明するための図である。 信頼度を算出するための指標および信頼度スコアを表す一例を示す図である。 素材データファイル７００の構成の一例を説明するための図である。 格納データ情報７０１のビットアサインの一例を説明するための図である。 本実施形態におけるＩＳＯ ＢＭＦＦの構成の一例を説明するための図である。 ボックスｍｅｔａ９０３の構成を説明するための図である。 画像処理装置１１０が実行する処理を説明するためのフローチャートである。 画像処理システム１００が有する画像生成装置１２０の機能構成を説明するための図である。 三次元モデルに関する信頼度情報の一例を示す図である。 生成される仮想視点画像の一例を示す図である。 生成される仮想視点画像の一例を示す図である。 生成される仮想視点画像の一例を示す図である。 画像生成装置１２０が実行する処理を説明するためのフローチャートである。 画像処理装置１８１０の機能構成を説明するための図である。 画像処理装置１８１０が実行する処理の一部を説明するためのフローチャートである。 画像処理システム２１００に含まれる複数の撮像装置２００１～２０１０の配置および各撮像装置のカメラパラメータの一例を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本発明の実施の一例としての形態を示すものであり、本発明の範囲をそれらのみに限定するものではない。

（第１の実施形態）
図１は、画像処理システム１００が有する画像処理装置１１０および画像生成装置１２０のハードウェア構成を説明するための図である。画像処理システム１００は、画像処理装置１１０と画像生成装置１２０とを有する。画像処理装置１１０は、ＣＰＵ（中央演算装置）１１１、ＲＯＭ（リードオンリーメモリ）１１２、ＲＡＭ（ランダムアクセスメモリ）１１３、補助記憶装置１１４、表示部１１５、操作部１１６、通信Ｉ／Ｆ１１７、およびバス１１８を有する。

ＣＰＵ１１１は、ＲＯＭ１１２やＲＡＭ１１３に格納されているコンピュータプログラムおよびデータを用いて、画像処理装置１１０の全体を制御する。なお、画像処理装置１１０がＣＰＵ１１１とは異なる一または複数の専用のハードウェアを有し、ＣＰＵ１１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートウェイ）、およびＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ１１２は、変更を必要としないプログラム等を格納する。ＲＡＭ１１３は、補助記憶装置１１４から供給されるプログラムおよびデータ、および通信Ｉ／Ｆ１１７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置１１４は、例えばハードディスクドライブ等で構成され、画像データおよび音声データ等の様々なデータを記憶する。

表示部１１５は、例えば液晶ディスプレイ、あるいはＬＥＤ等で構成され、ユーザが画像処理装置１１０を操作するためのＧＵＩ（グラフィカルユーザインターフェース）等を表示する。操作部１１６は、例えばキーボード、マウス、ジョイスティック、およびタッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１１１に入力する。ＣＰＵ１１１は、表示部１１５を制御する表示制御部、および操作部１１６を制御する操作制御部として動作する。通信Ｉ／Ｆ１１７は、画像処理装置１１０の外部の装置との通信に用いられる。例えば、画像処理装置１１０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１１７に接続される。画像処理装置１１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１１７はアンテナを備える。バス１１８は、画像処理装置１１０の各部をつないで情報を伝達する。

本実施形態では、表示部１１５と操作部１１６が画像処理装置１１０の内部に存在するものとするが、表示部１１５と操作部１１６との少なくとも一方が画像処理装置１１０の外部に別の装置として存在していてもよい。

以上が、画像処理装置１１０のハードウェア構成についての説明である。画像生成装置１２０におけるＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３、補助記憶装置１２４、表示部１２５、操作部１２６、通信Ｉ／Ｆ１２７およびバス１２８についても、それぞれ画像処理装置１１０におけるＣＰＵ１１１～バス１１８と同様の機能を有する。

図２は、画像処理システム１００の一部の機能構成を説明するための図である。図２に示す画像処理システム１００の一部における機能は、ＣＰＵ１１１がＲＯＭ１１２あるいはＲＡＭ１１３に格納されているコンピュータプログラムを実行し、情報の演算および各ハードウェアの制御を行うことにより実現される。なお、図２に示す各機能構成の一部またはすべてが、専用のハードウェアによって実現されてもよい。専用のハードウェアは、例えば、ＡＳＩＣ、ＦＰＧＡ、あるいは、ＧＰＵ等である。以下、各部について説明する。

撮像装置２０１は、撮像領域を撮像して取得した撮像画像、およびカメラパラメータを画像処理装置１１０に送信する。本実施形態における画像処理システム１００は、複数の撮像装置２０１を有する。図３は、複数の撮像装置２０１が配置される一例を示す図である。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置２０１は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置２０１は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていてもよい。また、撮像装置２０１の数は図３に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置２０１が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。また、カメラパラメータは、撮像装置２０１の位置、向き、および画角等を表すパラメータである。

受信部２０２は、複数の撮像装置２０１から送信される複数の撮像画像について画像取得し、取得した複数撮像画像を前景抽出部２０３に送信する。また、受信部２０２は、複数の撮像装置２０１からカメラパラメータを取得し、取得したカメラパラメータをカメラパラメータ取得部２０５に送信する。

前景抽出部２０３は、受信部２０２から送信される複数の撮像画像を用いて、撮像画像におけるオブジェクトを前景領域として抽出する。ここで、前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある被写体（動的オブジェクト）を指す。例えばサッカーの場合、動的オブジェクトは、撮像領域内における選手および審判等の人物、およびボール等である。図４（ａ）は、抽出される前景領域の一例を示す図である。図４（ａ）における人物が占める領域が、前景領域である。なお、前景領域以外の領域は、背景領域として扱われる。前景抽出部２０３は、抽出した前景領域の画像（以下、前景画像と呼ぶ）を、シルエット生成部２０４に送信する。

シルエット生成部２０４は、前景抽出部２０３から送信される前景画像に基づいて、シルエット画像を生成する。シルエット画像とは、前景領域と背景領域とを異なる画素値で表した２値画像である。図４（ｂ）は、生成されるシルエット画像の一例を示す図である。図４（ｂ）において、人物に対応する領域（前景領域）は白、前景領域以外の領域（背景領域）は黒で表されている。シルエット生成部２０４は、生成したシルエット画像を、三次元形状生成部２０６に送信する。

カメラパラメータ取得部２０５は、受信部２０２からカメラパラメータを取得し、三次元形状生成部２０６へ送信する。三次元形状生成部２０６は、シルエット生成部２０４から取得したシルエット画像、およびカメラパラメータ取得部２０５から取得したカメラパラメータに基づいて、オブジェクトの三次元モデルを生成する。本実施形態における三次元形状生成部２０６は、視体積交差法を用いて三次元モデルを生成する。視体積交差法は公知技術であるため、基本原理等の詳細な説明は省略する。図５を用いて、視体積交差法により三次元モデルを生成する方法の概略について説明する。図５（ａ）は、撮像装置が２台の場合における視体積交差法の実施の一例を示す図である。ＯＢは撮影領域内における実際のオブジェクトであり、説明のために図示するものである。Ｃ１、Ｃ２は各撮像装置の中心、Ｐ１、Ｐ２は各撮像装置に対応するＯＢのシルエット画像、Ｒ１，Ｒ２はシルエット画像の輪郭を通る光線、ＶＨ１は生成される三次元モデルである。ここで、三次元モデルは、三次元空間を単位サイズごとに区切った立方体（ボクセル）によって構成されるものとする。三次元形状生成部２０６は、三次元空間におけるボクセルについて、シルエット画像Ｐ１、Ｐ２におけるシルエットの内部に含まれるボクセルを三次元空間に投影する。このとき、ボクセルがシルエットの内部に含まれないシルエット画像が一つでもある場合、当該ボクセルは削除される。上記のボクセル投影を行うことにより、三次元モデルＶＨ１が生成される。なお、三次元モデル生成の手法については、視体積交差法以外の方法が用いられても構わない。三次元形状生成部２０６は、生成した三次元モデルを信頼度算出部２０７に送信する。

信頼度算出部２０７は、形状データの信頼度決定を行う。信頼度算出部２０７は、カメラパラメータに基づいて、三次元形状生成部２０６から取得した三次元モデルの信頼度を算出する。信頼度を算出するための指標について、図５を用いて説明する。図５（ｂ）、（ｃ）は、それぞれ、２台の撮像装置の配置が（ａ）と異なる場合、および撮像装置の台数が３台の場合の視体積交差法の実施の一例を示す図である。図５（ａ）と（ｂ）とを比較すると、（ｂ）の例における三次元モデルＶＨ２の方がより実際のオブジェクトＯＢと形状が近いことがわかる。すなわち、撮像装置の配置によっては、生成される三次元モデルの形状がオブジェクトの形状に近づく場合があることがわかる。また、（ｂ）と（ｃ）とを比較すると、（ｃ）の例における三次元モデルＶＨ３の方がより実際のオブジェクトＯＢと形状が近いことがわかる。すなわち、オブジェクトＯＢを撮像する撮像装置の台数が多いほど、三次元モデルとオブジェクトＯＢとの形状が近いことがわかる。三次元モデルと実際のオブジェクトとの形状が近いとき、当該三次元モデルの信頼度は高いと言える。したがって、信頼度は、撮像装置の台数あるいは撮像装置の配置、あるいは両方に基づいて算出することができる。撮像装置の台数および配置は、カメラパラメータを参照することにより求められる。

図６は、図５に示す三次元モデルＶＨ１、ＶＨ２、ＶＨ３について、それぞれの信頼度を算出するための指標と、信頼度を数値化した値（信頼度スコア）とを表す一例を示す図である。撮像装置の台数６０１は、オブジェクトＯＢを撮像する撮像装置の台数を示す。隣り合う撮像装置の光軸がなす角度６０２は、オブジェクトＯＢを撮影する複数の撮像装置における隣り合う撮像装置の光軸がなす角度であって、撮像装置の配置を表す値の一例である。ここでいう光軸がなす角度は、撮像領域を真上から見た時の２つの光軸のなす角のうち、０度以上９０度以下を満たす角の角度であるとする。視体積交差法を用いて三次元モデルを生成する場合、オブジェクトを撮影する複数の撮像装置が撮影する方向が分散しているほど、より多くの視点の方向から見たオブジェクトの撮像画像を取得できるため、三次元モデルの精度は高くなる。したがって、隣り合う撮像装置の光軸がなす角度６０２の値が分散しているほど、生成される三次元モデルの精度が高くなることが期待される。信頼度の算出には、撮像装置の台数も考慮するため、隣り合う撮像装置の光軸がなす角度６０２に含まれる値の和が用いられる。信頼度算出部２０７は、図６に示す指標を用いて、以下の式
信頼度スコア＝撮像装置の台数６０１×重みＷ＋（隣り合う撮像装置の光軸がなす角度６０２の和）
により信頼度スコアを算出する。例えば、重みＷが１０の場合のＶＨ３の信頼度スコアは、
３×１０＋（４０＋８５）＝１５５
と算出される。ここで、重みＷは、撮像装置の台数と撮像装置の配置との関係を調節するための数値であり、任意の数値にすることができる。本実施形態においては、隣り合う撮像装置を１０度毎の間隔で配置する場合を基準とし、撮像装置の台数による信頼度と角度の和による信頼度とが同じになるよう、重みＷの値を１０とした。なお、信頼度算出部２０７が信頼度を決定する方法は上記に限定されない。信頼度算出部２０７は、例えば、あらかじめ撮像装置の台数や光軸がなす角度等の指標と信頼度スコアとを対応付けておき、指標の値を取得すると信頼度スコアを決定する構成であってもよい。

なお、上記の例においては信頼度を示す情報（以下、信頼度情報と呼ぶ）として信頼度スコアを使用したが、信頼度情報はこれに限定されない。信頼度情報は、例えば、上記の信頼度スコアに対して閾値を設定し、信頼度スコアの数値が閾値を超えるか否かにより高・中・低のランクをつけて表現されてもよい。また、信頼度を算出するために使用する指標として、上記の例以外の指標が用いられてもよい。上記の信頼度の算出においては、撮像領域を真上から見た時の２つの光軸がなす角度を使用したが、例えば、撮像領域を横から見た時の光軸同士のなす角度を信頼度の算出に使用してもよい。三次元モデルは、地面からの高さ方向も含め、あらゆる方向からオブジェクトを撮像することにより精度が向上する。したがって、撮像領域を横から見た時の光軸同士のなす角度の値が分散しているほど、三次元モデルの信頼度は高くなる。同様の理由により、撮像領域を横から見た時の、撮像装置の光軸と地面とのなす角度が信頼度の算出のための指標として使用されてもよい。また例えば、撮像装置によっては、三次元モデル生成の対象のオブジェクトの一部しか撮像されていない撮像画像が撮像される場合がある。この場合、オブジェクト全体に対して、三次元モデルの生成に使用した複数の撮像画像に含まれるオブジェクトの割合が、信頼度の算出の指標として用いられてもよい。また、信頼度算出部２０７は、上記の指標のうち任意の数の指標を用いて信頼度を算出する構成であってもよい。信頼度算出部２０７は、三次元モデルと信頼度情報とを保存部２０８に送信する。

保存部２０８は、信頼度算出部２０７から受信した信頼度情報と、三次元モデルを含む素材データとを保存する。本実施形においては、仮想視点画像を生成するためのデータのことを素材データと呼ぶ。画像処理システム１００の各処理部において生成あるいは取得される複数の撮像画像、カメラパラメータ、前景画像、およびシルエット画像等のデータが、素材データに含まれてもよい。素材データは仮想視点画像を生成するためのデータであれば、その種類は限定されない。例えば、三次元モデルに色付けするためのテクスチャデータなど上記以外のデータが素材データに含まれたり、上記のデータの中から任意の種類のデータのみが素材データに含まれたりしてもよい。本実施形態においては、三次元モデルを生成することにより仮想視点画像を生成する手法を用いる場合の素材データの例について記載した。しかしながら、例えば三次元モデルを用いないイメージベースドレンダリングの手法を用いて仮想視点画像を生成する場合、仮想視点画像の生成に必要なデータは上記の素材データの例と異なる場合がある。このように、仮想視点画像の生成手法に応じて素材データが異なっていてもよい。

関連付け部２０９は、保存部２０８に保存されている三次元モデルおよび該三次元モデルに関する信頼度情報を関連付ける処理を行い、関連付けを行ったデータを保存部２０８へ出力する。関連付けの一例として、三次元モデルを含む素材データと、該三次元モデルに関する信頼度情報とから、素材データファイルを生成する方法について説明する。

図７は、関連付け部２０９が生成する素材データファイル７００の構成の一例を説明するための図である。以降、仮想視点画像を示す単位としてフレームという用語を使用する。すなわち、一つの仮想視点画像が１フレームに対応する。フレームを複数組み合わせることにより、仮想視点画像の動画を生成することもできる。素材データは、１フレーム分の仮想視点画像を生成するためのデータごとにまとめて使用される場合が多いため、素材データファイルに含まれる素材データをフレーム単位でまとめた構成にすることにより、素材データの扱いが容易になる。

格納データ情報７０１には、素材データファイル７００に含まれる素材データに関する情報が含まれる。図８は、格納データ情報７０１のビットアサインの一例を説明するための図である。図８が示す格納データ情報７０１は３２ビットの値を持ち、それぞれのビットに素材データの名称が割り当てられている。格納データ情報７０１の各ビットに割り当てられるデータは、素材データファイルが含みうるデータである。図８に示す例においては、カメラパラメータ、前景画像、前景三次元モデル、および前景三次元モデルの信頼度のほか、背景領域に対応する背景画像、および背景の三次元モデルが各ビットに割り当てられている。ｒｅｓｅｒｖｅｄは、使用されていないビットを示している。各ビットは、１のとき対応するデータが素材データファイルに含まれていて、０のとき対応するデータが素材データファイルに含まれていないことを示す。例えば素材データファイルがカメラパラメータ、前景画像、前景三次元モデル、および前景三次元モデルの信頼度を含む場合、０、１、２、および３ビット目が１、それ以外のビットが０となる。したがって格納データ情報７０１は１６進数表記で「０００００００Ｆ」となる。なお、データの割り当て方およびビットが示す情報は、上記の例に限定されない。

カメラパラメータ７０２は、後述するフレーム７０３に対応する撮像画像を取得した際の撮像装置２０１のカメラパラメータである。図７の例においては、素材データファイル７００に含まれる複数のフレーム７０３全体に対し一つのカメラパラメータ７０２が付与されている。すなわち、複数のフレーム７０３のそれぞれに対応する撮像画像を取得した際のカメラパラメータが一定であることがわかる。ただし素材データファイル７００の構成は図７に示す例に限らず、カメラパラメータ７０２が複数のフレーム７０３のそれぞれに付与された構成であってもよい。例えば、撮像画像を連続して撮像している途中で撮像装置２０１の位置あるいは向きが変化したり、故障等により撮像装置２０１の台数が変化したりすることにより、フレームごとに対応するカメラパラメータが異なる場合が考えられる。この場合は、各フレーム７０３それぞれにカメラパラメータ７０２を付与することで、より品質の良い素材データファイルを生成することができる。

フレーム７０３には、仮想視点画像フレームを生成するための素材データが含まれる。生成されるフレームが複数ある場合は、フレーム７０３は生成する個数分設けられる。図７の例においては、フレーム７０３は１からｍまで設けられているが、フレーム７０３は少なくとも一つ以上あればよい。フレーム７０３には前景抽出部２０３が抽出した複数の前景画像を含む前景画像群７１１と、前景画像群７１１に基づいて生成された前景の三次元モデルを含む前景三次元モデル７１２とが含まれている。なお、フレーム７０３には、他の素材データが含まれていてもよい。前景三次元モデル７１２には、三次元モデルのデータを含むモデル７２１と、モデル７２１に関する信頼度情報を含むモデル信頼度７２２とが含まれる。例えば撮像装置２０１が撮像する撮像領域内に前景に対応するオブジェクトが複数存在する場合、前景の三次元モデルも複数生成される。したがって、モデル７２１は、生成される三次元モデルの個数分設けられる。図７は、三次元モデルがｎ個ある場合の例を示す。モデル７２１の個数については、例えば三次元モデルデータに対し、ヘッダ情報として三次元モデルの個数を示す値ｎが付与されてもよい。あるいは、ｎ個目の三次元モデルデータの末尾に三次元モデルデータの終了を示す符号を付与することにより、三次元モデルがｎ個あることが認識されるようにしてもよい。また、前景三次元モデル７１２は、複数のモデル７２１それぞれに対しモデル信頼度７２２が関連付けられた構造になっている。

次に、素材データファイルのファイルフォーマットの一例について説明する。なお本実施形態においては、素材データファイルのファイルフォーマットとして、ＩＳＯ／ＩＥＣ １４４９６－１２（ＭＰＥＧ－４ Ｐａｒｔ１２）ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ（以下 ＩＳＯ ＢＭＦＦ）規格に基づいた例について説明する。また、以下では、素材データファイルに基づいて生成される仮想視点画像を動画として再生するためのデータを、メディアデータと呼ぶ。

図９は、本実施形態におけるＩＳＯ ＢＭＦＦの構成の一例を説明するための図である。図９（ａ）において、ＩＳＯ ＢＭＦＦファイル８００は、ｆｔｙｐ（Ｆｉｌｅ Ｔｙｐｅ Ｃｏｍｐａｔｉｂｉｌｉｔｙ Ｂｏｘ）９０１、ｍｏｏｖ（Ｍｏｖｉｅ Ｂｏｘ）９０２、ｍｅｔａ（ｍｅｔａｄａｔａ）９０３、ｍｄａｔ（Ｍｅｄｉａ Ｄａｔａ Ｂｏｘ）９０４のボックスから構成される。ボックスｆｔｙｐ９０１には、ファイルフォーマットの情報、ボックスのバージョン、および、ファイルを作成したメーカの名称等が記載される。ボックスｍｏｏｖ９０２には、メディアデータを管理するために必要な情報である、動画の再生時間、データサイズ、およびアドレス等が含まれる。ボックスｍｅｔａ９０３には、三次元モデルに関する信頼度情報が含まれる。ボックスｍｄａｔ９０４には、実際に動画として再生されるメディアデータが含まれる。

図１０は、ボックスｍｅｔａ９０３の構成を説明するための図である。図１０（ａ）は、ボックスｍｅｔａ９０３の全体の構成の一例である。ＭｏｄｅｌＲｅｌｉａｂｉｌｉｔｙＢｏｘ１００１は、前景三次元モデルに関する信頼度情報を格納するボックスである。ＭｏｄｅｌＲｅｌｉａｂｉｌｉｔｙＢｏｘ１００１の構造の一例を図１０（ｂ）に示す。また、ＭｏｄｅｌＲｅｌｉａｂｉｌｉｔｙＢｏｘ１００１のシンタックスの一例を図１０（ｃ）に示す。Ｍｏｄｅｌ＿Ｃｏｕｎｔ１００２は、前景三次元モデルの個数を示す。また、Ｍｏｄｅｌ＿Ｒｅｌｉａｂｉｌｉｙ１００３は、前景三次元モデルの信頼度を示す。

なお、図９（ａ）に示すＩＳＯ ＢＭＦＦファイル９００においては、信頼度情報をｍｅｔａ９０３に格納したが、この例に限らない。例えば、仮想視点画像に係る情報を格納するための新たなボックスが設けられてもよい。図９（ｂ）に示すように、ＩＳＯ ＢＭＦＦファイル９００に、例えば仮想視点画像に係る情報を格納する専用のボックスとして、ｆｖｖｉ（Ｆｒｅｅ ｖｉｅｗｐｏｉｎｔ Ｖｉｄｅｏ Ｉｎｆｏ）９０５を新たに設けてもよい。また、ｍｅｔａ９０３およびｆｖｖｉ９０５は、動画（シーケンス）全体、動画に含まれる複数フレームから構成される映像クリップごと、および、フレームごとに設けることができる。例えば、図９（ｃ）に示すように、ボックスｍｏｏｖ９０２の中にボックスｍｅｔａ９０３‘が設けられてもよい。また例えば、ボックスｍｏｏｖ９０２の中にある不図示のボックスｍｏｏｆ（Ｍｏｖｉｅ Ｆｒａｇｍｅｎｔ Ｂｏｘ）の中に、ボックスｍｅｔａ９０３‘が設けられてもよい。あるいは、図９（ｄ）に示すように、ボックスｆｖｖｉ９０５が複数のボックスｆｖｖｉ９０５’に分かれて設けられてもよい。

以上説明したように、三次元モデルを含む素材データと信頼度情報とから素材データファイルを生成することにより、ユーザが素材データファイルを利用して仮想視点画像を生成したり、素材データを保管して管理したりする際の利便性が向上する。すなわち、三次元モデルと信頼度情報とが適切に紐づけられているため、信頼度情報を参照することが容易になる。また、素材データと信頼度情報とが同一のファイルに格納されているため、ユーザによる素材データの管理が容易になる。さらに、共通のファイルフォーマットに従い素材データファイルを生成することにより、画像生成装置１２０は共通のファイルフォーマットに従って仮想視点画像を生成することができるようになる。すなわち、共通のファイルフォーマットに準拠する他の画像処理装置、あるいは他の画像生成装置にも素材データが適用可能になるという効果がある。また、素材データの一部を扱う、あるいはまとめて扱う等の場合に、扱いが容易になるという効果がある。なお、本実施形態においては、ＩＳＯ ＢＭＦＦ規格に基づいた例について列名したが、フォーマットはこれに限定されない。ファイルフォーマットは、他の標準規格でもよいし、独自のフォーマットでもよい。また、フォーマットに含まれる情報についても、上記の説明に限定されない。例えばユーザが新たな情報を追加したり、上記の例と異なる構成を用いてファイルを生成したりすることも可能である。

以上が、図２に示す画像処理システム１００の一部の機能構成に関する説明である。なお、本実施形態においては、オブジェクトの形状を表現する方法として、三次元モデルを生成する方法について説明したが、オブジェクトの形状の表現方法は三次元モデル生成に限定されない。例えば、三次元モデルを生成しないイメージベースドレンダリングによってオブジェクトの形状が表現されてもよい。また、本実施形態においては、保存部２０８および関連付け部２０９が画像処理装置１１０の内部に含まれる構成としたが、保存部２０８および関連付け部２０９のいずれか一方または両方が画像処理装置１１０の外部に接続される構成であってもよい。また、本実施形態においては、関連付け部２０９は関連付けの処理を行った素材データと信頼度情報とを保存部２０８に出力するものとしたが、関連付け部２０９は、処理を行った後後述する画像生成装置１２０に直接データを出力してもよい。

図１１は、画像処理装置１１０が実行する処理を説明するためのフローチャートである。ＣＰＵ１１１がＲＯＭ１１２または補助記憶装置１１４に記憶されたコンピュータプログラムを読み出して実行することにより、図１１に示す処理が行われる。以降、処理ステップを単にＳと表記する。受信部２０２が撮像装置２０１から撮像画像およびカメラパラメータを受信すると、処理が開始される。

Ｓ１１０１において、受信部２０２は、複数の撮像装置２０１から受信した複数の撮像画像を前景抽出部２０３に、カメラパラメータをカメラパラメータ取得部２０５にそれぞれ送信する。Ｓ１１０２において、前景抽出部２０３は、取得した撮像画像における前景領域を抽出し、前景画像を取得する。前景抽出部２０３は、取得した前景画像をシルエット生成部２０４に送信する。Ｓ１１０３において、シルエット生成部２０４は、前景抽出部２０３から送信された前景画像に基づいてシルエット画像を生成し、三次元形状生成部２０６に送信する。Ｓ１１０４において、三次元形状生成部２０６は、シルエット生成部２０４から送信されたシルエット画像と、カメラパラメータ取得部２０５から送信されたカメラパラメータとに基づいて三次元モデルを生成し、信頼度算出部２０７に送信する。Ｓ１１０５において、信頼度算出部２０７は、三次元形状生成部２０６から送信された三次元モデルについて信頼度を算出し、該信頼度を示す信頼度情報を保存部２０８に送信する。また、信頼度算出部２０７は、信頼度を算出した三次元モデルについても保存部２０８に送信する。Ｓ１１０６において、関連付け部２０９は、保存部２０８に保存された三次元モデルを含む素材データと信頼度情報とを関連付ける処理を行う。関連付けの処理がされた素材データおよび信頼度情報は、保存部２０８に送信される。Ｓ１１０７において、保存部２０８は、関連付けの処理がされた素材データおよび信頼度情報を保存する。以上で処理が終了する。

次に、画像生成装置１２０について説明する。図１２は、画像処理システム１００が有する画像生成装置１２０の機能構成を説明するための図である。以下、各処理部について説明する。

信頼度情報抽出部１２０１は、保存部２０８に保存された素材データに関連付けられた信頼度情報を取得する。例えば、素材データと信頼度情報とが一つの素材データファイルとして保存されている場合は、信頼度情報抽出部１２０１は、素材データファイルから信頼度情報に関するデータを抽出する処理を行う。信頼度情報抽出部１２０１は、抽出した信頼度情報を画像生成部１２０３に送信する。

仮想視点指定部１２０２は、ユーザによる操作等に基づき、仮想視点情報を決定する。ここで、仮想視点情報とは、撮像領域内における任意の視点（仮想視点）の位置および向きを示す情報である。仮想視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。仮想視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。仮想視点指定部１２０２は、例えば、タッチパネル、ボタン、およびキーボード等の、内部または外部に接続される入力装置からの入力を受け付ける。仮想視点指定部１２０２は、ユーザによる入力装置の操作等に基づいて決定される仮想視点の位置および向き等の情報、および、生成される仮想視点画像に対応する時刻等の仮想視点情報を決定し、該仮想視点情報を画像生成部１２０３に送信する。このとき、ユーザによる入力操作によって決定される仮想視点情報に基づいて生成される仮想視点画像は、表示部１２０４に表示される。ユーザは、表示部１２０４に表示される仮想視点画像を見ながら入力操作を行うことができる。

画像生成部１２０３は、保存部２０８に保存されている素材データ、および、仮想視点指定部１２０２から送信される仮想視点情報に基づいて、仮想視点画像を生成する。画像生成部１２０３が行う仮想視点画像の生成処理の一例について説明する。画像生成部１２０３は、仮想視点指定部１２０２から送信された仮想視点情報に基づき、仮想視点画像におけるオブジェクトの座標を算出する。また画像生成部１２０３は、撮像装置２０１のカメラパラメータに基づき、実際の撮像領域におけるオブジェクトの座標を算出する。画像生成部１２０３は、算出したオブジェクトの座標と、複数の撮像装置２０１が撮像するオブジェクトの色とに基づき、色の選定、あるいは複数の色のブレンドを行うことにより、仮想視点画像におけるオブジェクトの色を決定する。画像生成部１２０３は、決定した仮想視点画像上におけるオブジェクトの色を、保存部２０８から取得した三次元モデルに着色することにより、仮想視点画像を生成する。生成された仮想視点画像は、表示部１２０４に表示される。なお、以上説明した仮想視点画像の生成方法は、三次元モデル生成方式を使用した場合の例であるが、三次元モデル生成方式以外の手法を使用する場合の仮想視点画像の生成方法は、この限りではない。

ここで、信頼度情報に基づいて、画像生成部１２０３が三次元モデルを補正するか否かを判定する構成について説明する。図１３は、三次元モデルに関する信頼度情報の一例を示す図である。図１３に示す例においては、仮想視点画像に含まれる三次元モデルは１８個あり、それぞれに信頼度を示す情報である「高」「中」「低」が付与されている。図１４は、図１３に示す１８個のモデルをすべて使用して生成された仮想視点画像を示す図である。信頼度が「中」であるモデル５および１０は少し形が崩れ、信頼度が「低」であるモデル１、９、１５、および１８は大きく形が崩れていることがわかる。例えば、ユーザが鑑賞用として見た目のきれいな仮想視点画像を要求する場合、画像生成部１２０３は、信頼度情報を参照し、信頼度が「低」である三次元モデルについて、補正処理を行うと判定する。信頼度が「低」である三次元モデルを削除する補正処理を行って生成された仮想視点画像の例を図１５に示す。図１５に示す仮想視点画像は、形が大きく崩れた三次元モデルが描画されないため、仮想視点画像全体としては見た目がきれいになる。また例えば、ユーザが仮想視点画像内におけるオブジェクトの位置を把握したい場合は、三次元モデルの信頼度にかかわらず、すべての三次元モデルが描画されるのがよい。したがって、画像生成部１２０３は、三次元モデルの補正処理を行わないと判定する。この場合、信頼度が「高」「中」および「低」であるすべての三次元モデルが使用され、生成される仮想視点画像は図１４に示す例のようになる。図１４に示す仮想視点画像によれば、ユーザは仮想視点画像内におけるすべてのオブジェクトの位置を知ることができる。また例えば、ユーザが三次元モデルの品質を確認したい場合、画像生成部１２０３は、信頼度情報に基づいて、仮想視点画像内における各三次元モデルに信頼度を示す注釈を付与する。図１６は、信頼度が「低」である三次元モデルに注釈が付与された仮想視点画像の例を示す図である。図１６に示す仮想視点画像によれば、ユーザは三次元モデルの品質を把握し、例えば手動で三次元モデルを選定する場合等に参考にすることができる。注釈は、信頼度が「高」あるいは「中」である三次元モデルに付与されても構わない。以上のように、ユーザが要求する用途に応じて、画像生成部１２０３は信頼度情報に基づいて三次元モデルの補正処理を行うか否かを判断することができる。すなわち、画像生成部１２０３は、ユーザが要求する用途に応じて、三次元モデルの補正処理を行うか否かを判定するための信頼度の閾値を変更する。なお、ユーザが要求する用途は、システムとしてあらかじめ設定されていてもよいし、任意のタイミングで切り替えられる構成としてもよい。例えばユーザが仮想視点指定部１２０４に接続された入力装置を操作して、ユーザの要求する用途を指定できるようにしてもよい。また、ユーザが仮想視点指定部１２０４に接続された入力装置を操作して、三次元モデルの補正処理を行うか否かを判定するための信頼度の閾値を指定あるいは変更できるようにしてもよい。

なお、画像生成部１２０３は、三次元モデルの補正処理を行うか否かの判定に使用する情報として、信頼度情報の他に信頼度情報以外の情報も使用する構成であってもよい。

また、本実施形態においては、補正処理として信頼度が「低」である三次元モデル全体を削除する処理が行われる場合について説明したが、これに限定されない。画像生成部１２０３は、例えば信頼度が「低」である三次元モデルの一部を削除する、ぼかして描画する、解像度を落とす、あるいは他の図形等のイメージまたはアニメーション等に置き換えるといった補正処理を行うようにしてもよい。さらに、本実施形態においては、信頼度が「高」「中」「低」により表されている場合の画像生成部１２０３の判定方法について説明したが、信頼度の段階をより細分化したり、信頼度を数値等で表したりしてもよい。

図１７は、画像生成装置１２０が実行する処理を説明するためのフローチャートである。図１７を用いて、信頼度が所定の閾値以下である三次元モデルについて、補正処理を行うと判定する画像生成装置１２０の処理について説明する。所定の閾値以下である三次元モデルは、例えば、信頼度が「低」である、あるいは信頼度が数値の場合は所定の数値以下である三次元モデルであるとする。ＣＰＵ１２１がＲＯＭ１２２または補助記憶装置１２４に記憶されたコンピュータプログラムを読み出して実行することにより、図１７に示す処理が行われる。仮想視点指定部１２０２がユーザによる仮想視点情報を決定するための入力操作等を検出すると、処理が開始される。

Ｓ１７０１において、仮想視点指定部１２０２は、ユーザによる入力操作等に基づいて仮想視点情報を決定し、画像生成部１２０３へ送信する。Ｓ１７０２において、画像生成部１２０３は、仮想視点指定部１２０２から取得した仮想視点情報に基づいて、必要な素材データを保存部２０８から取得する。Ｓ１７０３において、信頼度情報抽出部１２０１は、画像生成部１２０３が取得した素材データと関連付けられた信頼度情報を取得し、画像生成部１２０３へ送信する。Ｓ１７０４において、画像生成部１２０３は、取得した信頼度情報に基づいて、素材データに含まれる複数の三次元モデルのそれぞれについて、三次元モデルを仮想視点画像生成の補正処理を行うか否かを判定する。具体的には、画像生成部１２０３は、各三次元モデルの信頼度が所定の閾値以下であるかどうかを判定する。信頼度が所定の閾値以下である場合、Ｓ１７０５へ処理を進める。信頼度が所定の閾値より高い場合、Ｓ１７０６へ処置を進める。Ｓ１７０５において、画像生成部１２０３は、信頼度が所定の閾値以下である三次元モデルについて、補正処理を行うと判定し、当該三次元モデルを補正する。Ｓ１７０６において、画像生成部１２０３は、取得した素材データを使用して仮想視点画像を生成し、表示部１２０４へ出力する。Ｓ１７０７において、表示部１２０４は、画像生成部１２０３により出力された仮想視点画像を表示する。Ｓ１７０８において、画像生成装置１２０は、ユーザによる入力操作等に基づいて、仮想視点画像の生成処理を終了するか否かを判断する。仮想視点画像の生成処理を終了すると判断した場合、処理を終了する。終了しないと判断した場合、再度Ｓ１７０１以降の処理を実行する。

以上説明したように、三次元モデルの信頼度を算出し、当該三次元モデルを含む素材データと信頼度情報とを関連付けることにより、三次元モデルの信頼度を容易に参照することができるようになる。また、三次元モデルの信頼度情報を参照することにより、ユーザが要求する用途により適した仮想視点画像を生成することができるようになる。

（第２の実施形態）
第１の実施形態においては、信頼度算出部２０７が信頼度を算出し、素材データと関連付ける例について説明した。本実施形態においては、信頼度算出部２０７が算出した信頼度を補正するための構成について説明する。本実施形態においては、第１の実施形態と異なる機能構成を持つ画像処理システム１８００について説明する。図１８は、画像処理システム１８００が有する画像処理装置１８１０の機能構成を説明するための図である。なお、画像処理装置１８１０のハードウェア構成は第１の実施形態と同様であるため、説明を省略する。また、第１の実施形態と同じ処理部については第１の実施形態と同じ符号で表し、説明は省略する。また、画像処理システム１８００は、第１の実施形態において説明した複数の撮像装置２０１、および画像生成装置１２０を有するものとする。

画像処理装置１８１０は、入出力部１８０１、および信頼度補正部１８０２を有する。入出力部１８０１は、図１における表示部１１５および操作部１１６に対応する処理部である。入出力部１８０１は、信頼度算出部２０７から三次元モデルと該三次元モデルの信頼度情報とを取得し、出力装置（例えばディスプレイ等）に出力させる。ユーザは出力装置に出力された三次元モデルと信頼度とを確認し、信頼度の補正が必要であると判断した場合は、入力装置を用いて信頼度を補正するための操作を行う。ユーザが信頼度の補正を行う場合の例について説明する。例えば、信頼度が「低」である三次元モデルについて、ユーザがディスプレイに表示された三次元モデルを目視で確認したところ、三次元モデルがきれいに生成されていることが確認できたとする。このとき、ユーザは当該三次元モデルについてより高い信頼度に補正がされるように、入力装置を操作する。信頼度補正部１８０２は、入出力部１８０１からの補正指示に基づいて、三次元モデルの信頼度を補正し、補正後の信頼度を示す信頼度情報を後段の保存部２０８に送信する。

図１９は、本実施形態における画像処理装置１８１０が実行する処理の一部を説明するためのフローチャートである。ＣＰＵ１１１がＲＯＭ１１２または補助記憶装置１１４に記憶されたコンピュータプログラムを読み出して実行することにより、図１９に示す処理が行われる。また、画像処理装置１８１０は、図１１に示すフローチャートにおけるＳ１１０５を図１９に示すＳ１９０１～Ｓ１９０４に置き換えた処理を実行する。以下、Ｓ１９０１～Ｓ１９０４について説明する。

Ｓ１９０１において、信頼度算出部２０７は、三次元形状生成部２０６から送信された三次元モデルについて信頼度を算出し、三次元モデルと信頼度情報とを入出力部１８０１および信頼度補正部１８０２に送信する。Ｓ１９０２において、信頼度補正部１８０２は、入出力部１８０１からの補正指示の有無に基づいて、信頼度の補正を行うか否かを判断する。補正を行うと判断した場合、Ｓ１９０３へ処理を進める。補正を行わないと判断した場合、Ｓ１９０４へ処置を進める。Ｓ１９０３において、信頼度補正部１８０２は、入出力部１８０１からの補正指示に基づいて信頼度を補正する。Ｓ１９０４において、信頼度補正部１８０２は、信頼度情報を保存部２０８に送信する。

以上説明した画像処理システム１８００の機能構成によれば、ユーザが三次元モデルの信頼度を補正することができるようになる。これにより、ユーザが所望する仮想視点画像により近い仮想視点画像の生成ができるようになる。なお、本実施形態においては、入出力部１８０１および信頼度補正部１８０２が画像処理装置１８１０の内部に含まれる構成としたが、入出力部１８０１および信頼度補正部１８０２のいずれか一方または両方が画像処理装置１８１０の外部に接続されてもよい。

（第３の実施形態）
上述した第１および第２の実施形態においては、オブジェクトを撮影する複数の撮像装置２０１の台数および配置に基づいて、三次元モデルの信頼度を算出する場合の例について説明した。本実施形態においては、信頼度算出部２０７がシステム全体の信頼度を算出する例について説明する。なお、本実施形態における画像処理システム２１００は、第１の実施形態における画像処理システム１００、あるいは第２の実施形態における１８００と同様であるものとし、詳細な説明は省略する。

図２０は、画像処理システム２１００に含まれる複数の撮像装置２００１～２０１０の配置および各撮像装置のカメラパラメータの一例を示す図である。なお、撮像装置２００１～２０１０は、第１および第２の実施形態における撮像装置２０１と同じものであるとする。撮像装置２００１～２０１０は、撮像領域２０００を囲むように配置されている。このときの各撮像装置の向き、位置、および画角が表で示されている。図２０が示す例においては、撮像装置の向きはクオータニオン、位置はｘｙｚ座標を用いて表される。なお、撮像装置の向きおよび位置の表現方法はこれに限定されない。

画像処理システム２１００全体の信頼度は、画像処理システム２１００システムを用いて生成される三次元モデルの信頼度に対応する。例えば、画像処理システム２１００に含まれる撮像装置が４台である場合と１０台である場合とを比較すると、１０台である場合の方がオブジェクトを撮影可能な撮像装置が多くなることが期待できる。したがって、撮像装置が１０台である画像処理システム２１００全体の信頼度は、撮像装置が４台である場合よりも高くなる。また例えば、同じ台数の撮像装置を含むシステムの場合、複数の撮像装置が一か所に密集したり、同じ方向から撮像したりするより、複数の撮像装置が撮像領域を複数の方向からまんべんなく撮像する方が、システム全体の信頼度が高くなる。画像処理システム２１００全体の信頼度は、図１９に示すカメラパラメータを参照することにより算出することができる。信頼度は、システム全体が有する撮像装置の台数、あるいは隣り合う撮像装置の光軸がなす角度の分散値等に基づく指標である。光軸がなす角度は、図２０に示すようなカメラパラメータから算出することができる。

以上、画像処理システム２１００が有する撮像装置全体の台数あるいは配置に基づいて信頼度を算出する例について説明した。画像処理システム２１００全体の信頼度は、第１および第２の実施形態において説明した三次元モデルの信頼度と同様に、素材データと関連付けることができる。これにより、素材データのまとまりごとに該素材データに含まれる三次元モデルの信頼度を参照することが容易になる。画像処理システム２１００全体の信頼度は、すなわち画像処理システム２１００を用いて生成される三次元モデルの平均的な信頼度とみなすことができるため、システム全体の信頼度が高いほど、生成される三次元モデルの信頼度も高いことが期待できる。したがって、画像生成装置１２０は、素材データに関連付けられたシステム全体の信頼度に基づいて、当該素材データに含まれる三次元モデルの補正処理を行うか否かを判定することができる。

（その他の実施形態）
上述の実施形態においては、信頼度の算出を画像処理装置１１０が行う構成について説明したが、これに限らない。例えば、画像生成装置１２０が、画像処理装置１１０から取得した素材データに含まれるカメラパラメータに基づいて信頼度を算出する構成であってもよい。この場合、画像処理装置１１０は素材データに含まれる三次元モデルに対し、当該三次元モデルに対応するオブジェクトを撮像した撮像装置２０１の位置及び向きを示すカメラパラメータを関連付けて、素材データを画像生成装置１２０に送信する。あるいは、画像処理装置１１０は素材データに含まれる三次元モデルに対し、当該三次元モデルを撮影した撮像装置２０１を特定する撮像装置番号を関連付けてもよい。これにより、画像生成装置１２０は撮像装置番号に対応する撮像装置２０１のカメラパラメータを参照し、信頼度を算出することができる。

また、上述の実施形態においては、画像処理システム１００が有する画像処理装置１１０と画像生成装置１２０とが別々の装置であるシステムについて説明したが、これに限らない。画像処理装置１１０および画像生成装置１２０が同じ装置に含まれていてもよい。また、画像処理装置１１０または画像生成装置１２０に含まれる処理部の一部が別の装置として接続されていてもよい。さらに、画像処理装置１１０の機能が複数の撮像装置１０１のそれぞれに組み込まれ、画像処理装置１１０における各処理部と同様の処理を行う構成としてもよい。

また、上述の実施形態においては、「信頼度」という言葉を用いて実施形態の説明を行ったが、信頼度の表現はこれに限定されず、例えば「精度」「品質」「正確度」「確度」「評価値」等の言葉により表されてもよい。

また、上述の実施形態においては、形状データ生成の一例として三次元モデルを生成する場合について説明したが、生成する形状データは仮想視点画像の生成手法によって異なる。画像処理システム１００は、例えばイメージベースドレンダリングに基づいて仮想視点画像を生成する際に使用する形状データに対し、信頼度を決定する構成であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明したように、画像処理システム１００が有する画像処理装置１１０は、撮像装置２０１のカメラパラメータに基づいて形状データの信頼度を算出し、形状データと信頼度を示す信頼度情報とを関連付けて画像生成装置１２０に出力する。これにより、画像生成装置１２０において、信頼度情報に基づいて形状データの補正処理を行うか否かが判定され、適切な形状データを使用した仮想視点画像が生成されるようになる。上記の構成および効果は、画像処理システム１８００、および画像処理システム２１００についても同様である。

１１０ 画像処理装置
２０２ 受信部
２０６ 三次元形状生成部
２０７ 信頼度算出部
２０９ 関連付け部

Claims (12)

1. 複数の撮像装置により撮像される複数の撮像画像に基づいて被写体の形状データを生成する画像処理装置であって、
   前記複数の撮像画像を取得する画像取得手段と、
   前記画像取得手段により取得された前記複数の撮像画像に基づいて、被写体の形状データを生成する形状データ生成手段と、
   前記複数の撮像装置のうち１以上の撮像装置の少なくとも位置および向きを示すパラメータを含むカメラパラメータに基づいて、前記形状データ生成手段により生成された形状データの信頼度を決定する信頼度決定手段と、
   前記形状データ生成手段により生成された形状データを含む素材データと、前記信頼度決定手段により決定された信頼度を示す信頼度情報とを関連付けて画像生成装置に出力する出力手段であって、前記画像生成装置において、ユーザ操作に基づいて第１モードが設定された場合、前記信頼度に関わらず複数の前記素材データを用いて仮想視点画像を生成でき、前記ユーザ操作に基づいて第２モードが設定された場合、複数の前記素材データのうち前記信頼度情報が示す信頼度が特定の信頼度である前記素材データを用いて前記仮想視点画像を生成できるよう、前記素材データと前記信頼度情報とを関連付けて出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. 前記信頼度は、前記カメラパラメータに基づく前記１以上の撮像装置の台数あるいは配置の少なくともいずれかに基づいて決定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記１以上の撮像装置の台数、および、前記１以上の撮像装置の配置は、それぞれ、前記形状データに対応する被写体を撮像した１以上の撮像装置の台数、および、前記１以上の撮像装置の配置であることを特徴とする請求項２に記載の画像処理装置。
4. 前記１以上の撮像装置の台数、および、前記１以上の撮像装置の配置は、それぞれ、前記複数の撮像装置全体の台数、および、前記複数の撮像装置全体の配置であることを特徴とする請求項２に記載の画像処理装置。
5. 前記出力手段は、前記素材データと前記信頼度情報とが格納された素材データファイルを生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記素材データファイルは、ＩＳＯ／ＩＥＣ １４４９６－１２に基づくファイルフォーマットであることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像生成装置において前記第１モードが設定された場合、前記画像生成装置により生成される仮想視点画像は、被写体の位置を把握するための仮想視点画像であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記画像生成装置において前記第２モードが設定された場合、前記画像生成装置により生成される仮想視点画像は、観賞用の仮想視点画像であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記特定の信頼度は、ユーザ操作に基づいて決定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 複数の撮像装置により撮像される複数の撮像画像に基づいて被写体の形状データを生成する画像処理装置であって、
    前記複数の撮像画像を取得する画像取得手段と、
    前記画像取得手段により取得された前記複数の撮像画像に基づいて、被写体の形状データを生成する形状データ生成手段と、
    前記複数の撮像装置のうち１以上の撮像装置の少なくとも位置および向きを示すパラメータを含むカメラパラメータに基づいて、前記形状データ生成手段により生成された形状データの信頼度を決定する信頼度決定手段と、
    前記形状データ生成手段により生成された形状データを含む素材データと、前記信頼度決定手段により決定された信頼度を示す信頼度情報とを関連付けて画像生成装置に出力する出力手段とを有することを特徴とする画像処理装置と、
    複数の前記素材データと当該素材データに関連付けられた前記信頼度情報とを取得する取得手段と、
    ユーザ操作に基づいて、第１モードおよび第２モードを含む複数のモードのうちいずれかを設定する設定手段と、
    前記設定手段により前記第１モードが設定された場合、前記複数の素材データに対応する複数の前記被写体を撮像範囲に含む仮想視点画像を生成し、前記設定手段により前記第２モードが設定された場合、前記複数の素材データのうち前記信頼度情報が示す信頼度が特定の信頼度である前記素材データを用いて前記仮想視点画像を生成する生成手段と、
    を有することを特徴とする画像生成装置と、
    を有することを特徴とする画像処理システム。
11. 複数の撮像装置により撮像される複数の撮像画像に基づいて被写体の形状データを生成する画像処理方法であって、
    前記複数の撮像画像を取得する画像取得工程と、
    前記画像取得工程により取得された前記複数の撮像画像に基づいて、被写体の形状データを生成する形状データ生成工程と、
    前記複数の撮像装置のうち１以上の撮像装置の少なくとも位置および向きを示すパラメータを含むカメラパラメータに基づいて、前記形状データ生成工程により生成された形状データの信頼度を決定する信頼度決定工程と、
    前記形状データ生成工程により生成された形状データを含む素材データと、前記信頼度決定工程により決定された信頼度を示す信頼度情報とを関連付けて画像生成装置に出力する出力工程であって、前記画像生成装置において、ユーザ操作に基づいて第１モードが設定された場合、前記信頼度に関わらず複数の前記素材データを用いて仮想視点画像を生成でき、前記ユーザ操作に基づいて第２モードが設定された場合、複数の前記素材データのうち前記信頼度情報が示す信頼度が特定の信頼度である前記素材データを用いて前記仮想視点画像を生成できるよう、前記素材データと前記信頼度情報とを関連付けて出力する出力工程と、
    を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。

Images