JP7072378B2 - 画像生成装置およびその制御方法、画像生成システム、プログラム - Google Patents

Description

本発明は、複数のカメラからの撮影画像を用いて仮想視点画像を生成する技術に関する。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像（複数視点画像）を用いて仮想視点コンテンツを生成する技術が注目されている。このような仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。

複数視点画像に基づく仮想視点コンテンツは、サーバなどの画像生成装置に複数のカメラが撮影した画像を集約し、集約された画像から三次元モデルを生成し、レンダリングなどの処理を行うことで生成される。生成された仮想視点コンテンツは、ユーザ端末に送付され、ユーザにより閲覧される。

画像生成装置により用いられる三次元モデルの生成方法として、Visual Hullと呼ばれる形状推定方法が知られている。Visual Hullなどによって生成された三次元モデルは、空間上の点やボクセルの集合によって表現される。そして、これらの点やボクセルに色情報を持たせるために、複数のカメラによる撮影画像を使用して、点やボクセル毎の色付け処理が行われる。

特許文献１には、複数のカメラによる撮影画像から仮想視点画像を生成する際にどのカメラの画像を使用するかを選択すること、及び、仮想視点画像のフレーム毎にカメラを再選択して色付け処理を行うことが記載されている。特許文献１によれば、フレーム毎に適切なカメラの画像を選択することが可能となり、フレーム間での色の差を軽減した、比較的高品位な仮想視点画像を生成できる。

特開２０１１－２２８８４５号公報

複数の撮影画像から三次元モデルを生成する場合、生成される三次元モデルの形状の精度は撮影時の被写体の状態などによって異なることがある。例えばVisual Hullでは、くぼんだ形状の被写体を精度よく三次元モデル化することが困難であり、本来の被写体の状態に応じた形状を正しく推定することができない可能性がある。従来の方法で三次元モデルへの色づけ処理を行う場合、三次元モデルの形状推定の精度が低いと、生成される仮想視点画像の品質を低下させたり、画像を破綻させたりする可能性があった。

本発明は、上記の課題に鑑みてなされたものであり、形状推定の精度の高い三次元モデルが得られない場合にも、当該三次元モデルに基づいて生成される仮想視点画像の画質の低下を抑制することを目的とする。

本発明の一態様による画像生成装置は以下の構成を備える。すなわち、
複数のカメラで撮影されることにより取得された複数の撮影画像に基づく仮想視点画像の生成に係る処理を行う画像生成装置であって、
複数の撮影画像に基づいて生成される被写体の三次元モデルを評価する評価手段と、
前記評価手段による評価の結果に基づいて、前記三次元モデルの色付けに用いる色付け方法を選択する選択手段と、
前記選択手段により選択された色付け方法で前記三次元モデルの色付けを行う色付け手段と、を備え、
前記評価手段は、
前記複数の撮影画像それぞれにおける、前記三次元モデルを構成する要素に対応する位置の色を特定し、
前記複数の撮影画像それぞれにおける前記位置の色に基づいて決まる色の差が所定値以上となる前記三次元モデルを構成する要素の割合に基づいて、前記三次元モデルを評価する。

本発明によれば、形状推定の精度の高い三次元モデルが得られない場合にも、当該三次元モデルに基づいて生成される仮想視点画像の画質の低下を抑制することが可能となる。

実施形態に関わる画像生成システムの構成例を示すブロック図。 実施形態に関わる画像生成装置の機能構成例示すブロック図。 画像生成装置のハードウエア構成例を示すブロック図。 画像生成装置による仮想視点画像の生成処理を示すフローチャート。 くぼみが存在する被写体の三次元モデルの生成状態を説明する図。 実施形態に関わる、三次元モデルの精度評価方法を説明する図である。 実施形態に関わる、三次元モデルへの色付け方法を説明する図である。

以下、本発明の実施形態について、図面を使用して詳細に説明する。

＜第１実施形態＞
第１実施形態は、三次元モデルを構成する点に色付けを行う際、色付けに用いられる候補となる撮影画像の中から外れ値を持つ撮影画像を排除した上で色付けを行う処理について説明する実施形態である。

図１は、実施形態に関わる画像生成システムの構成例を示すブロック図である。以下、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行う本実施形態の画像生成システムについて、図１のシステム構成図を用いて説明する。画像生成システム１００は、センサシステム１１０ａ～１１０ｚ、画像生成装置１２２、コントローラ１２３、スイッチングハブ１２１、及びエンドユーザ端末１２６を有する。

センサシステム１１０ａにおいて、マイク１１１ａは、集音した音声を電気的な音声信号に変換して出力する。カメラ１１２ａは、被写体を撮影して得られた画像を電気的な画像信号（以下、撮影画像）として出力する。雲台１１３ａは、カメラ１１２ａの姿勢（パン、チルト）を変更する。外部センサ１１４ａはカメラ１１２ａの温度、振動などを検出する。カメラアダプタ１２０ａは、マイク１１１ａから取得された音声信号、カメラ１１２ａから取得された撮影画像をネットワークケーブル１８０ａ上に出力する。また、カメラアダプタ１２０ａは、ネットワークケーブル１８０ａを介して入力されたコマンドに応じて、雲台１１３ａを制御し、カメラ１１２ａの姿勢を変更する。

なお、センサシステム１１０ａは、上記の構成に限定されるものではなく、少なくとも１台のカメラアダプタ１２０ａと、１台のカメラ１１２ａまたは１台のマイク１１１ａを有していれば良い。また例えば、センサシステム１１０ａは１台のカメラアダプタ１２０ａと、複数のカメラ１１２ａで構成されてもよいし、１台のカメラ１１２ａと複数のカメラアダプタ１２０ａで構成されてもよい。即ち、画像生成システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０aは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、及びカメラアダプタ１２０ａ以外の装置を含んでいてもよい。また、カメラ１１２とカメラアダプタ１２０が一体となって構成されていてもよい。

センサシステム１１０ｂ～１１０ｚは、センサシステム１１０ａと同様の構成を有しているものとする。但し、センサシステム１１０ｂ～１１０ｚの各々がセンサシステム１１０ａと同じ構成であることに限定されるものではなく、それぞれが異なる構成であってもよい。本実施形態の画像生成システム１００では、センサシステム１１０ａ～１１０ｚは、それぞれ１台ずつのカメラ１１２ａ～カメラ１１２ｚを有するものとする。こうして、画像生成システム１００は、被写体を複数の方向から撮影するための複数のカメラ１１２ａ～１１２ｚを有する。

センサシステム１１０ａ～１１０ｚは、それぞれネットワークケーブル１８０ａ～１８０ｚを介してスイッチングハブ１２１に接続されており、スター型のネットワークを構成している。センサシステム１１０ａ～１１０ｚは、スイッチングハブ１２１を経由して相互にデータ送受信を行うことができる。また、センサシステム１１０ａ～１１０ｚは、それぞれネットワークケーブル１８０ａ～１８０ｚとスイッチングハブ１２１を介して画像生成装置１２２に接続される。したがって、マイク１１１ａ～１１１ｚにて集音された音声と、カメラ１１２ａ～１１２ｚにて撮影された画像は、カメラアダプタ１２０ａ～１２０ｚを介してスイッチングハブ１２１へ伝送され、画像生成装置１２２に伝送される。

なお、本実施形態では、センサシステム１１０ａのカメラ１１２ａとカメラアダプタ１２０ａが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａは一体化されたカメラ１１２ａに内蔵されてもよいし、カメラ１１２ａの外部に接続されていてもよい。このことは、センサシステム１１０ｂ～１１０ｚについても同様である。

なお、本実施形態の画像生成システム１００では、２６セットのセンサシステムを有する構成を記載しているが、あくまでも一例であり、センサシステムの台数をこれに限定するものではない。なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像生成システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像生成システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

タイムサーバ１２７は時刻及び同期信号を配信する機能を有し、スイッチングハブ１２１を介してセンサシステム１１０ａ～１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ～１２０ｚは、カメラ１１２ａ～１１２ｚを時刻と同期信号を基にＧｅｎｌｏｃｋさせ画像フレーム同期を行う。即ち、タイムサーバ１２７は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像生成システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ１２７がカメラ１１２ａ～１１２ｚの時刻同期を管理するものとするが、これに限らず、時刻同期のための処理をカメラ１１２ａ～１１２ｚの各々、又はカメラアダプタ１２０ａ～１２０ｚの各々が独立して行ってもよい。

画像生成装置１２２は、ネットワークケーブル１９０ｂを介してセンサシステム１１０ａ～１１０ｚから取得したデータを基に、仮想視点画像を生成する処理を行う。画像生成装置１２２によって生成された仮想視点画像は、エンドユーザ端末１２６に送信され、エンドユーザ端末１２６を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴が出来る。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。

また、画像生成装置１２２は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ－ＤＡＳＨプロトコルを使ってエンドユーザ端末１２６へ送信することができる。また、画像生成装置１２２は、仮想視点画像を非圧縮でエンドユーザ端末１２６へ送信することもできる。とくに圧縮符号化を行う前者はエンドユーザ端末１２６としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、画像生成装置１２２は、エンドユーザ端末１２６の種別に応じて画像フォーマットが切り替え可能である。また、画像生成装置１２２が用いる画像の送信プロトコルには、ＭＰＥＧ－ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やその他の送信方法が用いられても良い。

コントローラ１２３は制御ステーション１２４と仮想カメラ操作ＵＩ１２５を有する。制御ステーション１２４は画像生成システム１００を構成するそれぞれのブロックに対してネットワークケーブル１８０ａ～１８０ｚ、及びネットワークケーブル１９０ａを通じて動作状態の管理及びパラメータ設定制御などを行う。また、制御ステーション１２４は、カメラ１１２ａ～１１２ｚの設置情報を画像生成装置１２２に送信する。設置情報は、カメラ１１２ａ～１１２ｚの各々の位置、向き及び姿勢の少なくとも何れかを示す情報である。仮想カメラ操作ＵＩ１２５は、ユーザ操作などに基づいて指定された仮想視点の位置及び向きの少なくとも何れかを示す視点情報を画像生成装置１２２に送信する。画像生成装置１２２は、指定された仮想視点の画像を生成し、エンドユーザ端末１２６へ送信する。なお、カメラの設置情報と仮想視点の視点情報は、ネットワークケーブル１９０ａ、１９０ｂを介して画像生成装置１２２に送信されてもよいし、コントローラ１２３と画像生成装置１２２を直接に接続するケーブルを介して送信されてもよい。

ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。

なお、制御ステーション１２４は、仮想視点画像の生成対象となる場所（スタジアム等）の三次元モデルを画像生成装置１２２に送信する。さらに、制御ステーション１２４はカメラ設置時に、キャリブレーションを実施する。具体的には、撮影対象のフィールド上にマーカーを設置し、カメラ１１２の撮影画像により、各カメラの世界座標における位置と向き、および焦点距離を算出する。該算出された各カメラの位置、向き、焦点距離の情報は、画像生成装置１２２に送信される。送信された三次元モデルおよび各カメラの情報は、画像生成装置１２２が仮想視点画像を生成する際に使用される。

次に、本実施形態の画像生成装置１２２の機能構成を説明する。図２Ａは、画像生成装置１２２の機能構成例を示すブロック図である。以下、画像生成装置１２２が撮影画像を処理するための機能について説明する。

撮影画像入力部２０１は、スイッチングハブ１２１を介して、センサシステム１１０ａ～１１０ｚから送信される撮影画像及び音声信号を入力する。撮影画像入力部２０１より入力された撮影画像は、三次元モデル生成部２０２へ送信される。三次元モデル生成部２０２は、撮影画像入力部２０１より入力される撮影画像と制御ステーション１２４から入力される設置情報を基に、三次元モデルを生成する。三次元モデルの生成は、例えばVisual Hullなどの形状推定方法により実行される。ただし三次元モデルの生成にはその他の方法が用いられてもよい。本実施形態では、三次元モデルは点で構成されるものとして以降の説明を行う。ただし三次元モデルはボクセルやポリゴンにより構成されていてもよい。

色付け処理部２０３は、三次元モデル生成部２０２によって生成された三次元モデルに、撮影画像を使用して色付け処理を行う。より具体的には、色付け処理部２０３は、三次元モデルを構成する点毎に、設置情報に基づいて点とカメラとの位置関係から複数の撮影画像を選択し、選択した複数の撮影画像から適切な画素値を取得して色付けを行う。なお、色づけ処理部２０３は、撮影画像から特定の被写体の領域が抽出された部分画像を取得し、当該部分画像を用いて色付けを行ってもよい。仮想視点画像生成部２０４は、色づけされた三次元モデルを利用して、指定された仮想視点に対応する仮想視点画像を生成する。仮想視点画像生成部２０４は、例えば、三次元空間に配置した三次元モデルを仮想視点へ投影することにより仮想視点画像を生成する。映像出力部２０５は、仮想視点画像生成部２０４にて生成された仮想視点画像を映像としてエンドユーザ端末１２６へ出力する。なお、エンドユーザ端末１２６に応じた映像フォーマットの変換処理は映像出力部２０５にて実施される。

仮想視点情報取得部２０６は、仮想カメラ操作ＵＩ１２５により指定される仮想視点の視点情報を取得する。仮想視点画像生成部２０４では、仮想視点情報取得部２０６が取得した視点情報に基づいて仮想視点画像が生成される。精度評価部２０７は、三次元モデル生成部２０２にて生成された三次元モデルの生成結果の精度を評価（精度評価という）し、その評価結果（精度情報）を色付け方式決定部２０８へ提供する。精度評価部２０７は、三次元モデルの仮想視点から観察される部分について精度を評価するようにしてもよい。色付け方式決定部２０８は、精度評価部２０７の評価結果（精度情報）に基づき、三次元モデルに対する色付け方法を決定し、色付け処理部２０３へ通知する。色付け処理部２０３は、色づけ方式決定部２０８から通知された色付け方法を用いて三次元モデルへの色付け処理を行う。なお、図１Ｂに示す画像生成装置１２２の複数の構成要素は、複数の装置に分かれて実装されていてもよい。例えば、三次元モデル生成部２０２及び色づけ処理部２０３が、仮想視点画像生成部２０４とは別の装置に実装されていてもよい。

図２Ｂは、画像生成装置１２２のハードウエア構成例を示すブロック図である。図２Ｂにおいて、ＣＰＵ２５１は、ＲＯＭ２５２またはＲＡＭ２５３に格納されたプログラムを実行することにより、後述する処理を含む各種制御を実現する。ＲＯＭ２５２は、不揮発性の読み出し専用メモリである。ＲＡＭ２５３は、随時に読み書きが可能なメモリであり、記憶装置２５６に格納されているプログラムを展開するための領域、ＣＰＵ２５１の作業領域を提供する。機器Ｉ／Ｆ２５４は、コントローラ１２３と接続するためのインターフェースである。ネットワークＩ／Ｆ２５５は、画像生成システムが形成するネットワーク（具体的にはスイッチングハブ１２１）と接続するためのインターフェースである。記憶装置２５６は、ＣＰＵ２５１により実行されるプログラム、撮影画像、生成された三次元モデル、音声信号などを格納する。図２Ａに示した各機能部は、ＣＰＵ２５１が所定のプログラムを実行することにより実現されてもよいし、各機能部の一部または全部が専用のハードウエアにより実現されてもよい。

次に、以上のような構成を備えた画像生成システム１００における画像生成装置１２２の動作について説明する。図３は、画像生成装置１２２による仮想視点画像の生成処理を示すフローチャートである。図３のフローチャートは、仮想視点画像を１フレーム生成する処理の流れを示している。本実施形態では、被写体の形状と、複数の撮影画像から生成される被写体の三次元モデルの形状との対応を評価し、その評価の結果に基づいて、三次元モデルの色付けを行うのに用いる色付け方法を選択することにより、仮想視点画像の破綻を低減または防止する。

ステップＳ３０１において、三次元モデル生成部２０２は、カメラ１１２ａ～１１２ｚのうちの複数のカメラによって撮影された撮影画像と制御ステーション１２４から取得される設置情報に基づいて三次元モデルを生成する。次に、ステップＳ３０２において、精度評価部２０７は、ステップＳ３０１で生成した三次元モデルの生成結果の精度評価を行い、その評価結果に基づいて精度情報を生成する。この精度評価は、上述した被写体の形状と三次元モデルの形状との対応の評価の一例である。具体的な評価方法については後述する。ステップＳ３０３において、色付け方式決定部２０８は、ステップＳ３０１にて作成した三次元モデルへの色付け処理に用いる色付け方法を、ステップＳ３０２にて出力した三次元モデルの精度情報に基づき決定する。ステップＳ３０２～ステップＳ３０３の処理は、生成されたすべての三次元モデルについて実施される（ステップＳ３０４）。

ステップＳ３０４にて、全ての三次元モデルについて精度の評価及び色付け処理方法が決定されたと判定されると、ステップＳ３０５において色付け処理部２０３は、決定された色付け方法に従って三次元モデルの色付けを行う。その後、ステップＳ３０６にて、仮想視点画像生成部２０４は、色付け処理を行った三次元モデルを使用して仮想視点画像を生成する。

次に、三次元モデルが高精度に生成できない場合の例について説明する。図４は、三次元モデルを生成する対象となる被写体及び生成される三次元モデルについて説明する図である。図４（ａ）は、被写体４０１を上面から見た図であり、図示のように被写体４０１は凹部を有する。図４（ｂ）の点線で示す形状が、被写体４０１について生成された三次元モデル４０４であり、カメラ４０２およびカメラ４０３により撮影された撮影画像を用いて三次元モデル生成部２０２が形状推定を行った結果である。なお、図４（ｂ）では２台のカメラを図示しているが、実際には任意の数のカメラから得られた撮影画像を用いて形状推定が行われる。Visual Hullによる形状推定では、凹部の形状を推定することが困難であり、三次元モデル４０４に示されるように凹部領域４０６が埋められた三次元モデルが生成されてしまう可能性がある。

このような三次元モデル４０４に色付け処理を行う際の課題について説明を加える。点４０５は、三次元モデル４０４を構成する点であり、凹部領域４０６に残ってしまった実在しない点である。三次元モデル４０４を構成する点への色付け処理を行う際、例えばカメラ４０２及びカメラ４０３を用いて得られたそれぞれの撮影画像から得られる色の値を平均化するなどして色付けを行う。三次元モデル４０４の点４０５は被写体４０１には存在しないため、点４０５に対して色付けを行うと誤った位置に対して色付けを行ってしまうことになる。

図４（ｂ）の例では、カメラ４０２から得られる撮影画像において点４０５に対応する色は被写体４０１の凹部領域４０６に接する部分４０７の色である。また、カメラ４０３から得られる撮影画像において点４０５に対応する色は被写体４０１の凹部領域４０６に接する部分４０８の色である。よって、カメラ４０２とカメラ４０３の撮影画像それぞれから被写体の異なる位置の色を参照して色付け処理を行ってしまうことになり、点４０５に色付けされる色は本来の色から大きく異なるものとなってしまう可能性がある。結果として誤った位置に誤った色付けが行われてしまうため、画像の画質が低下してしまう可能性がある。

次に、図５を用いて、三次元モデルの精度評価方法について説明する。図５は、図４と同様に上面から被写体及び三次元モデルを示した図である。図５（ａ）に示される被写体５０１は、被写体４０１のような凹部領域４０６が存在せず、精度のよい三次元モデルが生成され得る。

図５（ｂ）において、被写体５０１の形状推定により生成された三次元モデル５０４が点線で示されている。三次元モデル５０４を構成する点５０５は、カメラ５０２とカメラ５０３によって撮影されているとする。三次元モデル５０４では、被写体５０１の形状にくぼみなどが無いため、被写体５０１が精度よく形状推定されている。よって、三次元モデル５０４の点５０５は被写体５０１上に実在する点に対応しており、カメラ５０２による撮影画像とカメラ５０３による撮影画像の点５０５に対応する位置の値（色）は近いものとなる。

一方、図４で説明したように、被写体の形状と被写体を推定した結果である三次元モデルの形状との間に差がある場合、複数の撮影画像における三次元モデルを構成する同一の点に対応する位置の値（色）に差が生じる。例えば、上述のように凹部領域４０６を有する被写体４０１を形状推定すると、凹部領域４０６が埋められた状態の三次元モデル４０４が得られてしまう場合がある。その場合、三次元モデル４０４を構成する誤った点（被写体には存在しない点）である点４０５に対応する、カメラ４０２とカメラ４０３の撮影画像の色が、それぞれ部分４０７と部分４０８を撮影した色となり、双方の色に差が生じる。以上から、三次元モデルの精度の評価は、複数の撮影画像における、三次元モデルを構成する同一の点に対応する位置の色に基づいて行えることが理解される。

例えば、複数の撮影画像から得られる同一の点に対応する位置の色の差に基づいて三次元モデルの精度を評価することができる。すなわち、上述のように三次元モデルの生成精度が低い場合、三次元モデルを構成する点を捉える複数のカメラからの撮影画像における、その点に対応する位置の色に差が生じる。よって、三次元モデルを構成する点のそれぞれについて、複数のカメラからの撮影画像から得られる色の差を算出し、算出された差が所定値以上となる点の数の三次元モデルを構成する点の総数に対する割合が大きい場合、その三次元モデルの生成精度が低いと判定できる。上記の所定値は、例えば画像生成装置１２２に対するユーザ操作に基づいて決定されてもよいし、自動で設定されてもよい。なお、三次元モデルを構成する点の総数に代えて、仮想視点から観察される範囲の三次元モデルを構成する点の数を用いてもよい。また、三次元モデルを構成する点に関する色の差には、色の差が最も大きい撮影画像の組み合わせから得られる値を採用してもよい。あるいは、カメラから点へ向かう直線の向きの差が最も大きくなる２つのカメラから得られた撮影画像を用いて色の差を計算するようにしてもよい。また、３つ以上の撮影画像の画素値を用いて計算された値を色の差として用いてもよい。

第１実施形態における三次元モデルへの色付け処理について、図を用いて説明を行う。図６は、図４（ｂ）で示した、生成された三次元モデルの精度が低い場合の色付け処理方法について説明する。図６を用いて説明する処理はステップＳ３０５（図３）にて実施される。本実施形態では、色付け処理方法の切り替えの一例として、三次元モデルの評価精度が所定の基準に至らない場合に、三次元モデルの色付けを単一のカメラからの撮影画像を用いて行うように切り替える。

図６において、仮想カメラ６０１は仮想視点画像の生成のために仮想カメラ操作ＵＩ１２５により指定された仮想視点を表す。カメラ６０２およびカメラ６０３は、三次元モデルの精度が高いと判断された場合の色付けに使用される撮影画像を提供する。三次元モデルの精度が高い場合、仮想視点と同一の視点で撮影するカメラが存在しなければ、複数のカメラによる複数の撮影画像を用いて三次元モデルの色づけを行うことで、より実際の色に近い高画質の仮想視点画像を生成できる。例えば、仮想視点に近い複数のカメラによる撮影画像のそれぞれから三次元モデルの同一の点に対応する画素を抽出し、抽出された画素の画素値を平均化した値をその点の色付けに用いることができる。一方、図４で説明したように、三次元モデルの生成精度が低い場合、精度が高い場合と同様に複数のカメラで撮影された複数の撮影画像の画素値を平均化するなどして色付けを行うと、誤って生成された三次元モデルの点に誤った色を付けてしまうことになる。そこで、三次元モデルの精度が低いと判断された場合は、色付けに使用する撮影画像を一つに制限する処理を行う。図６においては、仮想カメラ６０１に近いカメラ６０２からの撮影画像のみを使用して色付け処理を行う。このような処理によれば、本来存在しない点に色付けを行うことにはなるが、仮想視点に対応する視点から実際に見た場合と大きく異なる色で色づけされる可能性は低減される。その結果、三次元モデルの精度が低い状態であっても、画像が破綻する可能性を低減することが可能となる。

なお、本実施形態では、三次元モデルの評価に応じて、当該三次元モデルに適用する色付け処理を切り替えたが、これに限られるものではない。三次元モデルを構成する個々の点について上記色の差を算出することで個々の点に関する精度を評価することができるので、三次元モデルを構成する点ごとに色付け方法を選択し切り替えるようにしてもよい。ただし、三次元モデルごとに色づけ方法を決定する方法によれば、生成される仮想視点画像における単一の被写体（例えばボールや選手など）に対応する領域の色の連続性が失われる虞を低減することができる。

以上説明したように第１実施形態に記載の方法では、生成された三次元モデルを構成する点について複数のカメラによる撮影画像から得られる色の差を用いて精度評価を行い、その評価結果に基づき三次元モデルの色付け方法を決定する。このような処理により、三次元モデルの精度が低い場合であっても、生成される仮想視点画像の画質の低下や画像の破綻を抑制する色付け方法を選択し、三次元モデルの精度が高い場合には、より高画質の仮想視点画像を生成可能な色づけ方法を選択することが可能となる。なお、本実施形態では三次元モデルの精度を評価する場合を中心に説明したが、画像生成装置１２２は三次元モデルの精度評価を行わなくてもよい。例えば画像生成装置１２２は、複数のカメラによる複数の撮影画像における対応する画素値の差が所定の閾値より大きい場合に、対象のモデルへの色づけ処理に用いる画像を単一のカメラの撮影画像とし、そうでない場合には複数のカメラによる複数の撮影画像を用いて色づけ処理を行ってもよい。これにより、生成される仮想視点画像に乱れが生じることを抑制できる。また、本実施形態では三次元モデルの色づけ方法を切り替える場合について説明したが、仮想視点画像の生成に係る処理を切り替えるものであればこれに限らない。例えば、三次元モデルの精度が高いと判断された場合には上記のような三次元モデルへの色づけ処理を行い、三次元モデルの精度が低いと判断された場合には三次元モデルを用いずに撮影画像の射影変換などを用いて仮想視点画像を生成してもよい。

＜第２実施形態＞
第１実施形態では、被写体の形状と複数の撮影画像から生成される被写体の三次元モデルの形状との対応を評価するために、複数の撮影画像から得られる三次元モデル上の点の色の差に基づいて精度評価を行う例を説明した。第２実施形態では、複数のカメラを利用して距離推定行うことで被写体の形状を推定し、推定された形状に基づいて三次元モデルの精度を評価する。なお、第２実施形態における画像生成システム１００の構成、画像生成装置１２２の構成および動作は第１実施形態（図１～図３）と同様である。但し、精度評価部２０７による三次元モデルの精度評価方法が異なる。

第２実施形態における三次元モデルの精度を評価する方法について説明する。図４（ｂ）にて説明したように、Visual Hullを使用した形状推定において、くぼみを持つ被写体の三次元モデル精度は低くなる可能性が高い。よって被写体にくぼみがあるか否かを判定し、被写体にくぼみがある場合は生成される三次元モデルの精度が低いと判断することができる。

被写体にくぼみがあるか否かの判定は、被写体を捉える複数のカメラを用いた距離推定を行うことで判定可能である。例えば、精度評価部２０７は、２台のカメラを使用したステレオマッチング法を使用してカメラと被写体の各部との距離を推定することで、被写体の形状を推定する。精度評価部２０７は、推定された被写体の形状に、所定基準を超える凹凸の領域が存在すると判断した場合、その被写体について生成される三次元モデルの精度は低くなると評価する。精度評価部２０７により三次元モデルの精度が低くなると評価されると、第１実施形態と同様に色づけ方式決定部２０８は単一のカメラによる色付けに切り替える。

以上説明したように、第２実施形態によれば、三次元モデルの生成精度を、複数のカメラで距離推定を行い、被写体の形状を推定し、推定された形状に所定基準を超える凹凸の領域が存在するか否かを判定することで評価する。なお、所定基準を超える凹凸とは、例えば、所定面積以下の開口で、所定長以上の深さを有する凹部である。そして、その評価結果に基づき色付け方法を変更することで、画像の破綻を防止または低減することが可能となる。以上、各実施形態によれば、例えば、形状推定により本来の被写体と異なる形状の三次元モデルが生成された場合であっても、誤った色付け処理を行ってしまうことを制限することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１：撮影画像入力部、２０２：三次元モデル生成部、２０３：色付け処理部、２０４：仮想視点画像生成部、２０５：映像出力部、２０６：仮想視点情報取得部、２０７：精度評価部、２０８：色付け方式決定部

Claims (15)

1. 複数のカメラで撮影されることにより取得された複数の撮影画像に基づく仮想視点画像の生成に係る処理を行う画像生成装置であって、
   複数の撮影画像に基づいて生成される被写体の三次元モデルを評価する評価手段と、
   前記評価手段による評価の結果に基づいて、前記三次元モデルの色付けに用いる色付け方法を選択する選択手段と、
   前記選択手段により選択された色付け方法で前記三次元モデルの色付けを行う色付け手段と、を備え、
   前記評価手段は、
   前記複数の撮影画像それぞれにおける、前記三次元モデルを構成する要素に対応する位置の色を特定し、
   前記複数の撮影画像それぞれにおける前記位置の色に基づいて決まる色の差が所定値以上となる前記三次元モデルを構成する要素の割合に基づいて、前記三次元モデルを評価することを特徴とする画像生成装置。
2. 複数のカメラで撮影されることにより取得された複数の撮影画像に基づく仮想視点画像の生成に係る処理を行う画像生成装置であって、
   複数の撮影画像に基づいて生成される被写体の三次元モデルを評価する評価手段と、
   前記評価手段による評価の結果に基づいて、前記三次元モデルの色付けに用いる色付け方法を選択する選択手段と、
   前記選択手段により選択された色付け方法で前記三次元モデルの色付けを行う色付け手段と、を備え、
   前記評価手段は、
   前記複数の撮影画像それぞれにおける、前記三次元モデルを構成する要素に対応する位置の色を特定し、
   前記複数の撮影画像それぞれにおける前記位置の色に基づいて決まる色の差に基づいて、前記三次元モデルを評価し、
   前記選択手段は、１つの被写体に対応する前記三次元モデルについて１つの色付け方法を選択することを特徴とする画像生成装置。
3. 複数のカメラで撮影されることにより取得された複数の撮影画像に基づく仮想視点画像の生成に係る処理を行う画像生成装置であって、
   複数の撮影画像に基づいて生成される被写体の三次元モデルを評価する評価手段と、
   前記評価手段による評価の結果に基づいて、前記三次元モデルの色付けに用いる色付け方法を選択する選択手段と、
   前記選択手段により選択された色付け方法で前記三次元モデルの色付けを行う色付け手段と、を備え、
   前記評価手段は、
   前記複数の撮影画像それぞれにおける、前記三次元モデルを構成する要素に対応する位置の色を特定し、
   カメラから前記三次元モデルを構成する要素へ向かう直線の向きの差が最も大きくなる２つのカメラにより取得された２つの撮影画像それぞれにおける前記位置の色の差を算出することを特徴とする画像生成装置。
4. 複数のカメラで撮影されることにより取得された複数の撮影画像に基づく仮想視点画像の生成に係る処理を行う画像生成装置であって、
   複数の撮影画像に基づいて生成される被写体の三次元モデルを評価する評価手段と、
   前記評価手段による評価の結果に基づいて、前記三次元モデルの色付けに用いる色付け方法を選択する選択手段と、
   前記選択手段により選択された色付け方法で前記三次元モデルの色付けを行う色付け手段と、を備え、
   前記評価手段は、前記被写体を撮影する複数のカメラを用いて前記被写体の部分の距離推定を行って推定された前記被写体の形状に基づいて、前記三次元モデルを評価することを特徴とする画像生成装置。
5. 前記評価手段は、前記被写体の推定された形状に所定基準を超える凹凸が存在するか否かを判定することにより前記評価をすることを特徴とする請求項４に記載の画像生成装置。
6. 複数のカメラで撮影されることにより取得された複数の撮影画像に基づく仮想視点画像の生成に係る処理を行う画像生成装置であって、
   複数の撮影画像に基づいて生成される被写体の三次元モデルを評価する評価手段と、
   前記評価手段による評価の結果に基づいて、前記三次元モデルの色付けに用いる色付け方法を選択する選択手段と、
   前記選択手段により選択された色付け方法で前記三次元モデルの色付けを行う色付け手段と、を備え、
   前記評価手段は、被写体の形状と、複数の撮影画像から生成される前記被写体の三次元モデルの形状との対応の精度を評価し、
   前記選択手段は、前記精度が所定の基準に至らない場合に、前記三次元モデルの色付けを単一のカメラからの撮影画像を用いて行う色付け方法を選択することを特徴とする画像生成装置。
7. 前記選択手段は、複数のカメラのうち指定された仮想視点に最も近いカメラを前記単一のカメラとして選択することを特徴とする請求項６に記載の画像生成装置。
8. 複数の撮影画像から被写体の三次元モデルを生成する生成手段をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像生成装置。
9. 請求項１乃至８のいずれか１項に記載の画像生成装置と、
   前記画像生成装置と接続されて撮影画像を提供する複数のカメラと、を備えることを特徴とする画像生成システム。
10. 複数のカメラで撮影されることにより取得された複数の撮影画像に基づく仮想視点画像の生成に係る処理を行う画像生成装置の制御方法であって、
    複数の撮影画像に基づいて生成される被写体の三次元モデルを評価する評価工程と、
    前記評価工程による評価の結果に基づいて、前記三次元モデルの色付けに用いる色付け方法を選択する選択工程と、
    前記選択工程により選択された色付け方法で前記三次元モデルの色付けを行う色付け工程と、を有し、
    前記評価工程では、
    前記複数の撮影画像それぞれにおける、前記三次元モデルを構成する要素に対応する位置の色を特定し、
    前記複数の撮影画像それぞれにおける前記位置の色に基づいて決まる色の差が所定値以上となる前記三次元モデルを構成する要素の割合に基づいて、前記三次元モデルを評価することを特徴とする画像生成装置の制御方法。
11. 複数のカメラで撮影されることにより取得された複数の撮影画像に基づく仮想視点画像の生成に係る処理を行う画像生成装置の制御方法であって、
    複数の撮影画像に基づいて生成される被写体の三次元モデルを評価する評価工程と、
    前記評価工程による評価の結果に基づいて、前記三次元モデルの色付けに用いる色付け方法を選択する選択工程と、
    前記選択工程により選択された色付け方法で前記三次元モデルの色付けを行う色付け工程と、を有し、
    前記評価工程では、
    前記複数の撮影画像それぞれにおける、前記三次元モデルを構成する要素に対応する位置の色を特定し、
    前記複数の撮影画像それぞれにおける前記位置の色に基づいて決まる色の差に基づいて、前記三次元モデルを評価し、
    前記選択工程では、１つの被写体に対応する前記三次元モデルについて１つの色付け方法を選択することを特徴とする画像生成装置の制御方法。
12. 複数のカメラで撮影されることにより取得された複数の撮影画像に基づく仮想視点画像の生成に係る処理を行う画像生成装置の制御方法であって、
    複数の撮影画像に基づいて生成される被写体の三次元モデルを評価する評価工程と、
    前記評価工程による評価の結果に基づいて、前記三次元モデルの色付けに用いる色付け方法を選択する選択工程と、
    前記選択工程により選択された色付け方法で前記三次元モデルの色付けを行う色付け工程と、を有し、
    前記評価工程では、
    前記複数の撮影画像それぞれにおける、前記三次元モデルを構成する要素に対応する位置の色を特定し、
    カメラから前記三次元モデルを構成する要素へ向かう直線の向きの差が最も大きくなる２つのカメラにより取得された２つの撮影画像それぞれにおける前記位置の色の差を算出することを特徴とする画像生成装置。
13. 複数のカメラで撮影されることにより取得された複数の撮影画像に基づく仮想視点画像の生成に係る処理を行う画像生成装置の制御方法であって、
    複数の撮影画像に基づいて生成される被写体の三次元モデルを評価する評価工程と、
    前記評価工程による評価の結果に基づいて、前記三次元モデルの色付けに用いる色付け方法を選択する選択工程と、
    前記選択工程により選択された色付け方法で前記三次元モデルの色付けを行う色付け工程と、を有し、
    前記評価工程では、前記被写体を撮影する複数のカメラを用いて前記被写体の部分の距離推定を行って推定された前記被写体の形状に基づいて前記三次元モデルを評価することを特徴とする画像生成装置。
14. 複数のカメラで撮影されることにより取得された複数の撮影画像に基づく仮想視点画像の生成に係る処理を行う画像生成装置の制御方法であって、
    複数の撮影画像に基づいて生成される被写体の三次元モデルを評価する評価工程と、
    前記評価工程による評価の結果に基づいて、前記三次元モデルの色付けに用いる色付け方法を選択する選択工程と、
    前記選択工程により選択された色付け方法で前記三次元モデルの色付けを行う色付け工程と、を有し、
    前記評価工程では、被写体の形状と、複数の撮影画像から生成される前記被写体の三次元モデルの形状との対応の精度を評価し、
    前記選択工程では、前記精度が所定の基準に至らない場合に、前記三次元モデルの色付けを単一のカメラからの撮影画像を用いて行う色付け方法を選択することを特徴とする画像生成装置。
15. コンピュータを、請求項１乃至８のいずれか１項に記載の画像生成装置の各手段として機能させるためのプログラム。

Images