JP2024097877A - システム - Google Patents

Abstract

【課題】 広範囲の撮影対象領域であっても、仮想視点間における被写体の再現精度の差を低減する。【解決手段】 仮想視点画像の生成に用いられる複数のカメラ１０２の配置を決定する配置決定装置１０８であって、撮影対象領域５０３を表す情報を取得し、その情報に基づいて、複数のカメラ１０２のうち２以上のカメラ１０２により撮影対象領域５０３の全域が撮影され、かつ、複数のカメラ１０２のうち前記２以上のカメラ１０２とは異なる他の２以上のカメラ１０２により撮影対象領域５０３の全域が撮影されるように、複数のカメラ１０２の配置を決定する。【選択図】 図１

Description

本発明は、複数の撮影装置を有するシステムに関する。

近年、複数の撮影装置を異なる位置に配置して、同期して撮影し、当該撮影により得られた複数の画像を用いて、指定された仮想視点からの仮想視点画像を生成する技術が注目されている。

特許文献１は、仮想視点画像を生成する技術について記載されており、複数の撮影装置を円周に沿って撮影対象領域である円の中心を向くように配置することについて記載されている。

特開２０１０－７９５０５号公報

特許文献１では、撮影対象領域である円の中心の近傍に存在する被写体を撮影する撮影装置の台数と、そこから離れた位置に存在する被写体を撮影する撮影装置の台数とに差が生じる。さらに、撮影対象領域が大きい場合には、その差が大きくなる。そのため、仮想視点画像における被写体の再現精度について、仮想視点間の差が大きくなる場合がある。

そこで、上記課題に鑑み、本発明では、広範囲の撮影対象領域であっても、仮想視点間における被写体の再現精度の差を低減することを目的とする。

本発明の一つの態様は、以下のとおりである。すなわち、システムは、仮想視点画像の生成に用いられる複数の撮影装置を有し、前記複数の撮影装置のうち２以上の撮影装置は、前記複数の撮影装置による撮影の対象となる撮影対象領域の全域を撮影するように配置され、かつ、前記複数の撮影装置のうち前記２以上の撮影装置とは異なる他の２以上の撮影装置は、前記撮影対象領域の全域を撮影するように配置されていることを特徴とする。

本発明によれば、広範囲の撮影対象領域であっても、仮想視点間における被写体の再現精度の差を低減することができる。

画像処理システムの構成例を示す図 配置決定装置のハードウェア構成例を示す図 実施形態１に係る配置決定装置の構成例を示す図 実施形態１に係る配置決定装置の処理手順例を示すフローチャート 実施形態１に係る撮影対象領域の例を示す図 解像度を説明するための図 配置領域の例を示す図 配置領域における複数のカメラの配置例を示す図 理想的な複数のカメラの配置を示す図 複数のカメラの配置例を示す図 複数のカメラの他の配置例を示す図 複数のカメラの他の配置例を示す図 決定した配置例を示す図 実施形態２に係る配置決定装置の処理手順例を示すフローチャート 配置領域から見た撮影対象領域の角度を説明する図 実施形態２に係る配置決定装置の構成例を示す図 実施形態１に係る配置決定装置が参照する表の一例を示す図 実施形態３に係る配置決定装置の構成例を示す図 実施形態３に係る配置決定装置が参照する表の一例を示す図 実施形態３に係る撮影対象領域の例を示す図 実施形態３に係る配置決定装置の処理手順例を示すフローチャート

以下、図面を参照しながら、本発明を実施するための形態について説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜実施形態１＞
図１は、画像処理システム１００の構成の一例を示す図である。画像処理システム１００は、マルチカメラシステム１０１、ハブ１０４、制御装置１０５、仮想視点画像生成装置１０６を有する。また、画像処理システム１００は、仮想視点指定装置１０７や配置決定装置１０８を含んでいてもよい。

画像処理システム１００は、複数の撮影装置による撮影に基づく複数の画像と、指定された仮想視点とに基づいて、指定された視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

マルチカメラシステム１０１は、撮影対象空間を複数の方向から撮影する複数のカメラ（撮影装置）１０２ａａ～１０２ｌｃを有する。複数のカメラ１０２ａａ～１０２ｌｃは、複数のカメラグループ１０３ａ～１０３ｌのうちいずれかのカメラグループに属している。なお、以下では、特に区別する必要がない場合、カメラ１０２、カメラグループ１０３と表現する。

それぞれのカメラグループ１０３は、１台以上のカメラ１０２を有する。具体的には、カメラグループ１０３ａには、３台のカメラ１０２ａａ、１０２ａｂ、１０２ａｃが属している。ただし、カメラグループ１０３に属するカメラの台数は３台に限らず、２台以下でもよいし、４台以上でもよい。また、カメラグループ１０３のそれぞれに属するカメラ１０２の台数は同じでもよいし、異なっていてもよい。

複数のカメラ１０２で撮影された複数の画像は、ハブ１０４を通して、仮想視点画像生成装置１０６へ送られる。また、制御装置１０５は、マルチカメラシステム１０１の撮影を制御したり、マルチカメラシステム１０１が有する複数のカメラ１０２の配置状況を管理する。

仮想視点画像生成装置１０６は、マルチカメラシステム１０１で撮影された複数の画像に基づいて、仮想視点指定装置１０７で指定された視点から見た仮想視点画像を生成する。仮想視点指定装置１０７で指定される視点情報は、仮想視点の位置及び向きを示す情報である。具体的には、視点情報は、仮想視点の３次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。なお、仮想視点指定装置１０７は、仮想視点画像生成装置１０６又は画像処理システム１００と有線もしくは無線で接続されている。

仮想視点画像生成装置１０６は、例えば以下の方法で仮想視点画像を生成する。まず、複数の撮影装置によりそれぞれ異なる方向から撮影することで複数の画像が取得される。次に、その複数の画像から、人物やボールなどの所定のオブジェクト（被写体）に対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定の被写体の３次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の３次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。なお、背景としてはフィールドやゴールポストである。ただし、仮想視点画像の生成方法はこれに限定されず、３次元モデルを用いずに撮影画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

配置決定装置１０８は、後述するようにマルチカメラシステム１０１が有する複数のカメラ１０２の配置を決定する。この配置決定装置１０８は、画像処理システム１００に含まれていてもよいし、含まれていなくてもよい。配置決定装置１０８は、制御装置１０５又は画像処理システム１００と有線又は無線で接続されている。

なお、上述した前景画像と背景画像は、仮想視点画像生成装置１０６で撮影画像からそれぞれ抽出されてもよい、それ以外の装置で、例えばカメラ１０２で抽出されてもよい。カメラ１０２で前景画像と背景画像が抽出される場合、複数のカメラ１０２のそれぞれで前景画像と背景画像の両方ともを抽出してもよいし、複数のカメラ１０２の一部のカメラが前景画像を抽出し、他の一部が背景画像を抽出するようにしてもよい。また、複数のカメラ１０２には、前景画像と背景画像のいずれも抽出しないカメラ１０２が含まれていてもよい。

図２は、配置決定装置１０８のハードウェア構成の一例を示す図である。ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて情報処理装置の全体を制御することで、情報処理装置の各機能を実現する。なお、情報処理装置がＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２０２は、変更を必要としないプログラムなどを格納する。

ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。表示部２０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。

操作部２０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。通信Ｉ／Ｆ２０７は、情報処理装置の外部の装置との通信に用いられる。例えば、情報処理装置が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２０７に接続される。情報処理装置が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２０７はアンテナを備える。バス２０８は、情報処理装置の各部をつないで情報を伝達する。

本実施形態では表示部２０５と操作部２０６が配置決定装置１０８の内部に存在するものとするが、表示部２０５と操作部２０６との少なくとも一方が配置決定装置１０８の外部に別の装置として存在していてもよい。この場合、ＣＰＵ２０１が、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部として動作してもよい。

図３は、配置決定装置１０８の機能構成の一例を示す図である。配置決定装置１０８は、許容値取得部３０３、撮影対象領域取得部３０４、カメラグループ数取得部３０５、配置決定部３０６を有している。さらに、配置決定装置１０８は、イベント情報記憶部３０１と会場情報記憶部３０２とを有していてもよい。本実施形態は、配置決定装置１０８がイベント情報記憶部３０１と会場情報記憶部３０２とを有する例で説明を行う。しかし、イベント情報記憶部３０１と会場情報記憶部３０２は、配置決定装置１０８とは別の装置に含まれて、その装置から配置決定装置１０８が必要な情報を取得するようにしてもよい。

イベント情報記憶部３０１は、撮影対象のイベントに関する情報を記憶する。イベント情報は、例えば、以下の情報である。イベントの種別やその他のイベントが特定できる情報、フィールドの大きさの情報、被写体の移動範囲の情報、被写体の密集度の情報、仮想視点画像の用途に関する情報、イベントの規模の情報などである。イベントの種別は、ラグビー、サッカー、ボルダリング、野球、陸上競技、水上競技、氷上競技などのスポーツ競技や、コンサートや演劇などであり、特に限定されない。フィールドとは、イベントにおいて被写体である人物やボール、イベントで使用される道具等の動体が移動できる面をいう。被写体の移動範囲は、イベントごとに設定される。被写体の密集度は、イベントにおいて被写体である人物が密集した場合のその密集度を数値化したものである。例えばラグビー、サッカー、野球の密集度を比較すると、ラグビーが最も密集度が大きく、野球が最も密集度が小さい。ラグビーの被写体の密集度が大きい要因は、スクラムやモールなどのプレイが発生するからである。仮想視点画像の用途は、生放送での使用用途、アーカイブ配信での使用用途、行動分析や戦術分析などでの使用用途などがある。

会場情報記憶部３０２は、複数のカメラ１０２を配置する会場に関する情報を記憶する。会場情報は、例えば、以下の情報である。会場の名称の情報、会場の大きさの情報、会場内でのカメラ１０２を配置可能な構造体とその位置に関する情報や、配置可能なカメラ１０２の台数の情報などである。なお、会場は、ラグビーやサッカーなどの試合会場となるスタジアムや、演劇やコンサートなどの会場などである。また、会場は、スポーツチームの練習場などであってもよい。カメラ１０２を配置可能な構造体とその位置を示す情報は、２次元画像で表されていてもよいし、３次元データとして表されていてもよい。

許容値取得部３０３は、所定の基準となる被写体をカメラ１０２が撮影した際に、その被写体の画像中の大きさである解像度の下限値を設定して取得する。具体的には、仮想視点画像の用途により、下限解像度を設定する。例えば、仮想視点画像の用途が生放送用の俯瞰画像の場合は、下限解像度を小さく設定し、仮想視点画像の用途がリプレイ画像の場合は、下限解像度を大きく設定する。なお、下限解像度については後述する。

許容値取得部３０３は、イベント情報の一つである仮想視点画像の用途と下限解像度の対応を予め表として記憶しておき、その表を参照して設定するようにしてもよい。つまり、許容値取得部３０３は、操作部２０６を介してオペレータからイベントを特定できる情報の入力を受け付けると、イベント情報記憶部３０１に記憶されているイベント情報とその表を参照し、下限解像度を取得するようにしてもよい。参照される表の一例を図１７（ａ）に示す。なお、参照される表は、仮想視点画像の用途の情報と下限解像度の情報とが対応付けられていればよいが、これに限られない。上記以外のイベント情報と下限解像度の情報とが対応付けられていてもよい。また、参照される表は、イベントの名称等のイベントを特定できる情報と下限解像度とが対応付けられていてもよい。また、参照される表は、イベント情報記憶部３０１に記憶されていてもよいし、外部の装置に記憶されていてもよい。

また、許容値取得部３０３は、操作部２０６を介して、オペレータから直接、下限解像度の数値等の情報を取得してもよい。

撮影対象領域取得部３０４は、イベント情報に基づいて、マルチカメラシステム１０１の撮影対象となる領域である撮影対象領域を決定する。具体的には、撮影対象領域取得部３０４は、次のような構成とすればよい。すなわち、まず、撮影対象領域取得部３０４はイベント情報の少なくとも一部の情報と撮影対象領域を表す情報とが対応付けた表を記憶する。イベント情報の少なくとも一部の情報とは、フィールドの大きさの情報、被写体の移動範囲の情報などである。そして、撮影対象領域取得部３０４は、操作部２０６を介してオペレータからイベントを特定できる情報の入力を受け付けると、イベント情報記憶部３０１に記憶されているイベント情報とその表を参照し、撮影対象領域を決定する。参照される表の一例を図１７（ｂ）に示す。なお、参照される表は、フィールドの大きさの情報と被写体の移動範囲の情報と撮影対象領域の情報とが対応付けられていればよいが、これに限られない。上記以外のイベント情報と撮影対象領域の情報とが対応付けられていてもよい。また、参照される表は、イベントの名称等のイベントを特定できる情報と撮影対象領域とが対応付けられていてもよい。また、参照される表は、イベント情報記憶部３０１に記憶されていてもよいし、外部の装置に記憶されていてもよい。

また、撮影対象領域取得部３０４は、操作部２０６を介して、オペレータから直接、撮影対象領域の情報を取得してもよい。

ここで、撮影対象領域について説明を行う。図５（ａ）は、撮影対象領域の一例を示す図であり、この図では、イベントがラグビーである場合の例を示している。撮影対象領域５０３は２次元上の面であり、図５（ｂ）の空間５０４の一部を構成する。この撮影対象領域５０３は、撮影対象領域取得部３０４により、フィールド５０１の大きさや、人物（選手）やボールなど被写体の移動範囲に基づいて決定される。ここで、移動範囲とは、フィールド５０１上の移動範囲だけでなく、例えばラインアウトによるスローインを行う際に、タッチラインの外に選手が立つため、フィールド５０１の周辺も移動範囲に含むものとする。移動範囲はイベントに応じてその大きさが設定されていてもよい。例えば、ラグビーであれば、移動距離はタッチラインやデッドボールライン、タッチインゴールラインやゴールポスト５０２などからの距離や角度等で規定されていてもよいし、フィールド５０１を含むように設定された範囲で規定されてもよい。また、サッカーであれば、同様にタッチラインやゴールライン、コーナーフラッグの位置などからの距離や角度で規定されてもよい。また、野球であれば、移動範囲としてファールゾーンを含むように設定されていてもよい。

このように、撮影対象領域５０３は、プレーエリア（フィールド５０１）を含み、さらにプレーエリアよりも外側にある所定の範囲を含むように設定される。このように撮影対象領域５０３が設定されることにより、フィールド５０１の全域において、高画質な仮想視点画像を生成することができる。

図５（ｂ）は、高さ方向を考慮した空間５０４を撮影対象領域として設定される例を示す図である。つまり、図５（ｂ）の例では、撮影対象領域は３次元空間である。図５（ｂ）では、主にボールの動く範囲を考慮して、ゴールポスト５０２の上部の空間を含む範囲を含むように撮影対象領域が設定される。そのほか、撮影対象領域は、フィールド５０１から所定の高さが考慮された空間であってもよい。例えば所定の高さとは、人物（選手）の身長や人物が跳躍した時の高さ、ラインアウト時にリフトされる選手の到達点などである。

カメラグループ数取得部３０５は、撮影対象領域５０３を複数の方向から撮影するように、マルチカメラシステム１０１を構成するカメラグループ１０３の数を取得する。具体的には、カメラグループ数取得部３０５は、被写体の密集度を基に、カメラグループ１０３の数を設定する。カメラグループ数取得部３０５は、被写体の密集度が大きい場合は、被写体の密集度が小さい場合に比べ、カメラグループ１０３の数をより多く設定するようにする。なお、カメラグループ数取得部３０５は、イベント情報の一つである被写体の密集度と、カメラグループ１０３の数との対応を予め表として記憶しておき、その表を参照して設定するようにしてもよい。つまり、カメラグループ数取得部３０５は、操作部２０６を介してイベントを特定できる情報の入力を受け付けると、イベント情報記憶部３０１に記憶されているイベント情報とその表とを参照し、カメラグループ１０３の数を取得するようにしてもよい。参照される表の一例を図１７（ｃ）に示す。なお、参照される表は、被写体の密集度の情報とカメラグループ１０３の数の情報とが対応付けられていればよいが、これに限られない。上記以外のイベント情報とカメラグループ１０３の数の情報とが対応付けられていてもよい。また、参照される表は、イベントの名称等のイベントを特定できる情報とカメラグループ１０３の数とが対応付けられていてもよい。また、参照される表は、イベント情報記憶部３０１に記憶されていてもよいし、外部の装置に記憶されていてもよい。

また、カメラグループ数取得部３０５は、操作部２０６を介して、オペレータから直接、カメラグループ１０３の数の情報を取得してもよい。

配置決定部３０６は、下限解像度、撮影対象領域５０３、カメラグループ数、会場情報に基づいて、カメラ１０２の配置を決定する。下限解像度は許容値取得部３０３により取得され、撮影対象領域５０３は、撮影対象領域取得部３０４により取得され、カメラグループ数は、カメラグループ数取得部３０５により取得される。また、会場情報は、会場情報記憶部３０２に記憶されている。配置決定部３０６は、操作部２０６を介して入力された会場を特定するための情報に基づいて、会場情報記憶部３０２から、必要な会場情報を取得する。例えば、取得する会場情報は、会場内でのカメラ１０２を配置可能な構造体とその位置に関する情報や、配置可能なカメラ１０２の台数の情報などである。

配置決定部３０６は、具体的には、まず撮影対象領域５０３と、カメラグループ数と、会場情報とを基に、カメラグループ１０３の配置位置を決定する。次に、配置決定部３０６は、カメラグループ１０３ごとに、属する複数のカメラ１０２の配置を決定する。その際、配置決定部３０６は、カメラグループ１０３に属する複数のカメラ１０２により撮影対象領域５０３の全域が撮影されるように、各カメラグループ１０３に属する複数のカメラ１０２の配置を決定する。さらに配置決定部３０６は、カメラグループ１０３に属する複数のカメラ１０２において、撮影対象領域５０３の全域で、解像度が下限解像度を上回るように、複数のカメラ１０２の配置を決定する。なお、全カメラグループ１０３で、上記の撮影対象領域に関する条件、解像度に関する条件を満たすように、複数のカメラ１０２の配置が決定されるとしたが、これに限られない。例えば、所定数のカメラグループ１０３に属する複数のカメラ１０２だけが上記の条件を満たすように、複数のカメラ１０２の配置が決定されてもよい。また、所定の位置にあるカメラグループ１０３や所定の関係にあるカメラグループ１０３が上記の条件を満たすように、そのカメラグループ１０３に属する複数のカメラ１０２の配置が決定されてもよい。つまり、一部のカメラグループ１０３に属する複数のカメラ１０２によって、撮影対象領域５０３の全域ではなく一部が撮影されるように、その複数のカメラ１０２が配置されていてもよい。さらに、一部のカメラグループ１０３に属する複数のカメラ１０２において、撮影対象領域５０３の一部の領域で、解像度が下限解像度を上回らなくてもよい。

図４は、配置決定装置１０８の処理手順の一例を示すフローチャートである。図４を用いて配置決定装置１０８が行う処理について説明を行う。

まず、配置決定装置１０８は、操作部２０６を介してオペレータからの配置決定の指示を受け付ける。その指示に従って、ステップＳ４０１で、許容値取得部３０３は、下限解像度を取得する。

ここで、下限解像度について説明を行うが、その前に、解像度について説明する。ここでいう解像度は、カメラ１０２が撮影した画像において、基準となる被写体の大きさであり、画素数で表される。基準となる被写体は、撮影対象となるイベントにおいて、典型的な被写体や仮想的な被写体であってもよいし、特定の被写体や任意の被写体であってもよい。例えば、身長２ｍの直立した選手を基準となる被写体と定める。その場合は、カメラ１０２が撮影した画像において、身長２ｍの直立した選手の頭の先から足の先までの画素数が解像度となる。

図６は、解像度を説明するための図である。フィールド５０１内の位置６０２ａにおける、基準となる被写体（ここでは、身長２ｍの直立した選手）の身長を表す撮影画像における画素数を解像度６０１ａとする。また、位置６０２ｂにおける、基準となる被写体の身長を表す撮影画像における画素数を解像度６０１ｂとする。解像度は、カメラ１０２からの距離やカメラ１０２の焦点距離などによって異なる。例えば、カメラ１０２から近い位置６０２ａの解像度６０１ａは、遠い位置６０２ｂの解像度６０１ｂより大きくなる。

下限解像度は、カメラ１０２が撮影した画像における解像度の許容値である。下限解像度は、仮想視点画像における被写体の画質に影響する。つまり、仮想視点画像において、基準となる被写体の画素数が下限解像度よりも大きくなると、デジタルズームと同様の効果により、画質劣化が生じる。よって、下限解像度は、仮想視点画像においてどれだけ被写体を大きく写したいか、どういう構図にしたいかに応じて決定される。例えば、基準となる被写体を、仮想視点画像の４分の１のサイズまで大きく写すことを考える。仮想視点画像のサイズを１９２０画素×１０８０画素とする。すると、下限解像度は、１０８０画素÷４＝２７０画素と決定される。なお、ある程度のデジタルズームを許容するように下限解像度は決定されてもよい。例えば、１．２倍のデジタルズームまで許容できると判断すると、２７０÷１．２＝２２５画素を下限解像度と決定する。

この下限解像度は、フィールド５０１内の任意の位置における基準となる被写体を、撮影画像において何画素数以上で表現するかということ表している。ただし、これに限定されるものではない。例えば、下限解像度は、フィールド５０１内の任意の位置ではなくて、所定の位置あるいは所定の範囲内における基準となる被写体を、撮影画像において何画素数以上で表現するかということ表すようにしてもよい。

許容値取得部３０３は、上述したように、操作部２０６を介してオペレータから入力されるイベントを特定できる情報と、予め記憶された表とに基づいて、下限解像度を決定して取得する。

次に、ステップＳ４０２で、撮影対象領域取得部３０４は、撮影対象領域５０３を決定して取得する。具体的には、上述したように、操作部２０６を介してオペレータから入力されるイベントを特定できる情報と、予め記憶された表とに基づいて、撮影対象領域５０３が決定される。なお、撮影対象領域５０３については、上述したとおりである。

ステップＳ４０３で、カメラグループ数取得部３０５は、カメラグループ１０３の数を決定して取得する。カメラグループ１０３の数は、仮想視点画像生成装置１０６が被写体の３次元形状データを精度よく生成するために必要な方向の数に応じて決定する。被写体の３次元形状データの生成に必要な方向の数は、被写体の密集度によって変化する。カメラグループ数取得部３０５は、被写体の密集度と必要な方向の数（つまり、カメラグループの数）とを対応付けて、表として予め記憶しておく。例えば、カメラグループ数取得部３０５は、被写体を模したＣＧ（コンピュータグラフィックス）を用いて仮想視点画像を生成し、その画質を見て必要な方向の数およびその視点位置を、被写体の密集度と対応付けて、表として予め記憶する。例えば、野球のピッチャーなど、被写体が単独で存在する状況では、オクルージョンが発生しにくいので、少ない方向からの撮影でもよいが、ラグビーのスクラムなど、多数の被写体が密集する状況では、多くの方向から撮影する必要がある。ここで決定した方向の数を、カメラグループ１０３の数と決定する。以下、例として、カメラグループ１０３の数を１２と決定したとする。また、カメラグループ１０３の配置領域もこのステップで決定されてもよいが、本実施形態では、次のステップＳ４０４で決定されるものとする。

ステップＳ４０４で、配置決定部３０６は、カメラグループ数及び会場情報に基づいて、カメラグループ１０３の配置領域を決定する。配置決定処理について、図７～１２を用いて詳細に説明する。図７は、カメラグループ１０３の配置位置の例を示す図である。まず、会場情報、例えばスタジアム７０２の設計図などから、カメラ１０２を配置することが可能な領域を、配置領域７０１ａ～７０１ｌの候補として決定する。配置領域７０１ａ～７０１ｌの候補は、スタジアム７０２の柱、通路、手すり、天井などである。決定された配置領域の候補は、表示部２０５で表示させるようにしてもよい。なお、以下では、特別な事情がない限り、配置領域７０１ａ～７０１ｌは、配置領域７０１という。

次に、配置領域７０１の候補の中から、以下に述べる基準に沿って、カメラグループ１０３の配置領域７０１を決定する。被写体を撮影する隣り合う２つのカメラグループ１０３の間隔が広くなると、その間に指定された仮想視点から生成した仮想視点画像の画質が劣化する。そのためにカメラグループ１０３間の間隔が不均一であると、仮想視点画像の画質が指定された仮想視点の位置よってばらついてしまう。よって、撮影対象領域５０３の被写体から見て、カメラグループ１０３の配置領域７０１は、なるべく等間隔になるよう決定されるのがよい。例えば、撮影対象領域５０３の中心７０３の被写体から見て、隣り合う配置領域７０１の間の角度が等しくなるように配置領域７０１を決定する。カメラグループ１０３の数が１２の場合、隣り合う配置領域７０１の間の理想的な角度は３６０度／１２＝３０度である。よって、例えば、配置領域７０１ａと配置領域７０１ｂを、その間の角度７０４ａｂが３０度となるように決定する。しかし、柱の位置など、スタジアム７０２の構造上の理由により、等間隔に配置領域７０１を決定することができない場合が考えられる。そこで、例えば、理想的な角度の１．５倍を許容範囲とするなど、予め基準を設けて、配置領域７０１を決定してもよい。つまり、被写体から見て隣り合う配置領域７０１の間の角度が所定の値を超えないように配置領域７０１を決定する。

ステップＳ４０５で、配置決定部３０６は、カメラグループ１０３の配置領域７０１と、下限解像度と、撮影対象領域５０３とに基づいて、カメラグループ１０３ごとに、カメラグループ１０３に属する２以上のカメラ１０２の台数及び配置を決定する。その際、以下の条件を満たすように、カメラグループ１０３に属する２以上のカメラ１０２の台数及び配置が決定される。すなわち、カメラグループ１０３ごとに、撮影対象領域５０３の全域が撮影されるように、２以上のカメラ１０２の台数及び配置が決定される。さらに、撮影対象領域５０３の全域で解像度が下限解像度よりも超えるように、カメラ１０２の台数及び配置が決定される。また、カメラ１０２の台数がなるべく少なくなるように配置が決定される。なお、ここでいうカメラ１０２の配置は、カメラ１０２の位置と向きを含むものとする。

まず、図８を用いて、配置領域７０１内で、複数のカメラ１０２を配置する位置を説明する。カメラグループ１０３に属する複数のカメラ１０２は、それぞれ対応する配置領域７０１に配置する。例えば、カメラグループ１０３ａに属する複数のカメラ１０２は、対応する配置領域７０１ａに配置する。配置領域７０１内において、カメラグループ１０３に属する複数のカメラ１０２をなるべく近い位置に配置する。

図９は、理想的な状態として、同一のカメラグループ１０３ａ内の３台のカメラ１０２ａａ、１０２ａｂ、１０２ａｃを、それぞれの光学中心が重なるように配置した例である。カメラ１０２ａａの撮影範囲が９０１ａａである。カメラ１０２ａｂの撮影範囲が９０１ａｂである。カメラ１０２ａｃの撮影範囲が９０１ａｃである。カメラ１０２の撮影範囲９０１は、放射状に広がる。よって、光学中心が重なる場合は、撮影範囲９０１ａａ、９０１ａｂ、９０１ａｃが接するように、カメラ１０２ａａ、１０２ａｂ、１０２ａｃを配置することができる。撮影範囲９０１が重ならずに接することで、３台のカメラ１０２ａａ～１０２ａｃで効率的に広い領域をカバーすることができる。しかし、実際は、カメラ１０２の物理的な制約により、光学中心が重なるように配置することはできない。よって、なるべく近い位置に配置することで、撮影範囲９０１の重なりを少なくする。

図８に戻り、例えば、カメラグループ１０３ｈに属する複数のカメラ１０２ｈａ、１０２ｈｂ、１０２ｈｃを、撮影対象領域５０３の中心７０３から見て、所定の角度８０１ｈの範囲内に配置する。例えば、カメラグループ１０３に属する複数のカメラ１０２を所定の距離以内に配置する。

別の観点から説明すると、それぞれのカメラ１０２を、他のカメラグループ１０３のカメラ１０２よりも、自分が属するカメラグループ１０３のカメラ１０２の近くに配置する。例えば、隣り合うカメラグループ１０３ｇと１０３ｈについて説明する。カメラグループ１０３ｇに、カメラ１０２ｇａ、１０２ｇｂ、１０２ｇｃが属するとする。また、カメラグループ１０３ｈに、カメラ１０２ｈａ、１０２ｈｂ、１０２ｈｃが属するとする。この場合に、カメラ１０２ｇｃは、カメラ１０２ｈａ、１０２ｈｂ、１０２ｈｃよりも、カメラ１０２ｇａ、１０２ｇｂの近くに配置する。理由は次のとおりである。仮に、カメラ１０２ｇｃをカメラ１０２ｈａの近くに配置したとする。すると、カメラ１０２ｇｃは、カメラグループ１０３ｈとは反対側に位置するカメラグループ１０３ｆのカメラ１０２との間隔が広くなり、仮想視点画像の画質が劣化する方向が生じるからである。

次に、図１０～１２を用いて、カメラグループ１０３に属する複数のカメラ１０２により撮影対象領域５０３の全域を撮影する一例を説明する。

図１０は、カメラグループ１０３ｉについて、３台のカメラ１０２ｉａ、１０２ｉｂ、１０２ｉｃにより、撮影対象領域５０３の全域を撮影する例である。カメラ１０２ｉａの撮影範囲が９０１ｉａである。カメラ１０２ｉｂの撮影範囲が９０１ｉｂである。カメラ１０２ｉｃの撮影範囲が９０１ｉｃである。撮影対象範囲とは、撮影画像における基準となる被写体の解像度が、下限解像度を超える領域に対応している。図１０に示すように、これらの撮影範囲９０１ｉａ、９０１ｉｂ、９０１ｉｃを合わせると、撮影対象領域５０３の全域が撮影される。例えば、カメラ１０２ｉｂを真ん中に配置し、右にカメラ１０２ｉａを配置し、左にカメラ１０２ｉｃを配置し、３台のカメラ１０２が扇状に配置されている。結果として、それぞれの撮影範囲９０１ｉａ、９０１ｉｂ、９０１ｉｃも扇型に広がる。

図１０は、撮影対象領域５０３の面内方向について、カメラ１０２ｉａ～１０２ｉｃの撮影範囲９０１ｉａ～９０１ｉｃについて説明する図である。ただし、撮影対象領域は、フィールド５０１の所定の高さまでを含む３次元空間であってもよく、その場合は、フィールド５０１の所定の高さ方向を含めた撮影対象領域を撮影するようにカメラ１０２を配置する必要がある。なお、３台のカメラ１０２の光学中心の位置が一致しないため、例えば、撮影範囲９０１ｉｃと９０１ｉｂの一部が重なっている。３台のカメラ１０２をなるべく近くに配置することで、撮影範囲９０１の重なりを減らし、より効率の良い配置が可能になる。つまり、カメラグループ１０３に必要なカメラ１０２の台数を減らすことができる。

ここで、カメラ１０２の光軸とスタジアム７０２のフィールド５０１との交点をカメラ１０２の注視点１００１と定義する。図１０で、カメラ１０２ｉａの注視点が１００１ｉａである。カメラ１０２ｉｂの注視点が１００１ｉｂである。カメラ１０２ｉｃの注視点が１００１ｉｃである。図１０に示すように、注視点１００１の位置はすべて異なる。つまり、カメラグループ１０３に属する複数のカメラ１０２の注視点はすべて異なる。ただし、１つのカメラグループ１０３には、同一の注視点となるカメラ１０２が含まれていてもよい。

また、図１０のカメラ１０２の配置例では、カメラ１０２ｉａ～１０２ｉｃの光軸は、互いに異なる方向に向けられている。また、カメラ１０２ｉａ～１０２ｉｃのそれぞれと、それぞれの注視点とを結ぶ線分のフィールド５０１への射影した線分は互いに交差しない。

図１１は、別のカメラグループ１０３に属するカメラ１０２の配置の例を示す図である。カメラグループ１０３ｇには、６台のカメラ１０２ｇａ、１０２ｇｂ、１０２ｇｃ、１０２ｇｄ、１０２ｇｅ、１０２ｇｆが含まれている。このカメラ１０２ｇａ、１０２ｇｂ、１０２ｇｃ、１０２ｇｄ、１０２ｇｅ、１０２ｇｆによって、撮影対象領域５０３の全域が撮影されている。

図１１（ａ）は、撮影対象領域５０３を上から見た図であり、撮影対象領域５０３の面内方向について、１０２ｇａ、１０２ｇｂ、１０２ｇｃ、１０２ｇｄ、１０２ｇｅ、１０２ｇｆの配置を示す図である。カメラ１０２ｇａについて、撮影範囲が９０１ｇａであり、注視点が１１０１ｇａである。カメラ１０２ｇｂ～１０２ｇｆについても同様である。６台のカメラ１０２を、さらに２つのサブグループに分ける。１つ目のサブグループには、カメラ１０２ｇａ、１０２ｇｂ、１０２ｇｃが属し、配置領域７０１から見て、撮影対象領域５０３の手前側（カメラグループ１０３ｇの配置領域７０１ｇに近い側）を撮影するように配置する。２つ目のサブグループには、カメラ１０２ｇｄ、１０２ｇｅ、１０２ｇｆが属し、配置領域７０１から見て、撮影対象領域５０３の奥側（カメラグループ１０３ｇの配置領域７０１ｇから遠い側）を撮影するように配置する。また、図１１（ａ）に示すとおり、それぞれのサブグループ内のカメラ１０２は、撮影範囲９０１が扇型に広がるように配置されている。

図１１（ｂ）は、撮影対象領域５０３を横から見た図であり、撮影対象領域５０３の高さ方向について、カメラ１０２の配置を示す図である。図１１（ｂ）に示すとおり、撮影対象領域５０３の手前側を撮影するカメラ１０２ｇａ、１０２ｇｂ、１０２ｇｃと、撮影対象領域５０３の奥側を撮影するカメラ１０２ｇｄ、１０２ｇｅ、１０２ｇｆとが、異なる高さに配置されている。例えば、撮影対象領域５０３の手前側を撮影するカメラ１０２ｇｂは、奥側を撮影するカメラ１０２ｇｅに比べ、俯角が大きくなる。よって、撮影対象領域５０３の手前側を撮影するカメラ１０２ｇｂを下側に配置することで、物理的に干渉することなく、より近くに配置することができる。つまり、カメラグループ１０３に属する複数のカメラ１０２をサブグループに分け、サブグループごとに高さを変えて配置してもよい。

図１２は、カメラグループ１０３ｇに属するカメラ１０２の配置の別の例を示す図である。カメラグループ１０３ｇには、６台のカメラ１０２ｇａ、１０２ｇｂ、１０２ｇｃ、１０２ｇｄ、１０２ｇｅ、１０２ｇｆが含まれている。このカメラ１０２ｇａ、１０２ｇｂ、１０２ｇｃ、１０２ｇｄ、１０２ｇｅ、１０２ｇｆにより、撮影対象領域５０３の全域が撮影される。この例では、サブグループごとに位置が異なるように配置されている。例えば、配置領域７０１ｇが、２本の柱を含むように設定される。そして、その２本の柱それぞれに異なるサブグループが割り当てられる。例えば、撮影対象領域５０３から見て左の柱に、１つ目のサブグループに属するカメラ１０２ｇａ、１０２ｇｂ、１０２ｇｃが配置される。撮影対象領域５０３から見て右の柱に、２つ目のサブグループに属するカメラ１０２ｇｄ、１０２ｇｅ、１０２ｇｆが配置される。つまり、カメラグループ１０３に属する複数のカメラ１０２をサブグループに分け、サブグループごとに位置を変えて配置してもよい。

下限解像度が異なれば、カメラグループ１０３ごとのカメラ１０２の台数は異なる。下限解像度を大きくすると、カメラ１０２の焦点距離を長くする必要がある。そして、焦点距離を長くすると、カメラ１０２の撮影範囲９０１が狭くなる。よって、撮影対象領域５０３の全域を撮影するために必要なカメラ１０２の台数が増加する。逆に、下限解像度を小さくすると、カメラ１０２の焦点距離を短くすることができる。焦点距離を短くすると、カメラ１０２の撮影範囲９０１が広くなる。よって、撮影対象領域５０３の全域を撮影するために必要なカメラ１０２の台数が減少する。

ステップＳ４０６で、配置決定部３０６は、Ｓ４０５で決定したカメラグループ１０３ごとに決定したカメラ１０２の台数を合計し、マルチカメラシステム１０１に必要なカメラ１０２の台数を決定する。

ステップＳ４０７で、配置決定部３０６は、ステップＳ４０６で計算したカメラの台数に問題が無いかを判定する。具体的には、配置決定部３０６は、カメラの台数が所定の台数より多い、あるいは少ない場合に問題があると判定する。問題がない（ＹＥＳ）と判定した場合は処理を終了する。問題がある（ＮＯ）と判定した場合はステップＳ４０８に進む。なお、所定の台数は、予算によって設定されてもよいし、仮想視点画像生成装置１０６の処理能力や、撮影した画像を伝送する際の伝送帯域容量など、を基に設定されてもよい。

ステップＳ４０８で、配置決定部３０６は、どの配置条件を変更するかを決定する。変更可能な配置条件は、撮影対象領域５０３、下限解像度、カメラグループ１０３の数のいずれかである。なお、変更する配置条件は、配置決定部３０６により自動的に決定されてもよいし、オペレータが操作部２０６を介して、直接入力されてもよい。なお、配置決定部３０６により自動的に決定される場合であっても、予めオペレータが変更する配置条件に優先度を設定したり、予めどの配置条件を変更するか指定するようにしてもよい。

ステップＳ４０９で、配置決定部３０６は、変更する配置条件が撮影対象領域５０３であるか否かを判定する。撮影対象領域５０３の場合（ＹＥＳ）は、ステップＳ４１０へ進む。そうでない場合（ＮＯ）は、ステップＳ４１１へ進む。

ステップＳ４１０で、撮影対象領域取得部３０４は、撮影対象領域５０３を変更する。ステップＳ４０７で問題があると判定した理由が、「カメラの台数が多い」ことである場合は、撮影対象領域５０３を狭くするように変更する。逆に、「カメラの台数が少ない」ことである場合は、撮影対象領域５０３を広くするように変更する。撮影対象領域取得部３０４により撮影対象領域５０３が変更されると、ステップＳ４０５へ進み、変更された撮影対象領域５０３に基づいて、配置決定部３０６は、カメラ１０２の台数及び配置を再度決定する。なお、撮影対象領域取得部３０４は、オペレータから、操作部２０６を介して、撮影対象領域を取得するようにしてもよい。

ステップＳ４１１で、配置決定部３０６は、変更する配置条件が下限解像度であるか否かを判定する。下限解像度の場合（ＹＥＳ）は、ステップＳ４１２へ進む。そうでない場合（ＮＯ）は、ステップＳ４１３へ進む。

ステップＳ４１２で、許容値取得部３０３が、下限解像度を変更する。ステップＳ４０７で問題が有ると判定した理由が、「カメラの台数が多い」ことである場合は、下限解像度を小さくするように変更する。逆に、「カメラの台数が少ない」ことである場合は、下限解像度を大きくするように変更する。許容値取得部３０３により下限解像度が変更された後、ステップＳ４０５へ進み、変更された下限解像度に基づいて、配置決定部３０６は、カメラ１０２の台数及び配置を再度決定する。なお、許容値取得部３０３は、オペレータから、操作部２０６を介して、下限解像度を取得するようにしてもよい。

ステップＳ４１３で、カメラグループ数取得部３０５は、カメラグループ１０３の数を変更する。ステップＳ４０７で問題があると判定した理由が、「カメラの台数が多い」ことである場合は、カメラグループ１０３の数を減らすように変更する。逆に、「カメラの台数が少ない」ことである場合は、カメラグループ１０３の数を増やすように変更する。カメラグループ数取得部３０５によりカメラグループ１０３の数が変更された後、ステップＳ４０４へ進み、配置決定部３０６は、カメラグループ１０３の配置領域７０１を再度決定する。そして、ステップＳ４０５に進み、配置決定部３０６は、カメラ１０２の台数及び配置を再度決定する。なお、カメラグループ数取得部３０５は、オペレータから、操作部２０６を介して、カメラグループ数を取得するようにしてもよい。

配置決定装置１０８が決定した配置の効果について、図１３を用いて説明する。それぞれのカメラグループ１０３は、撮影対象領域５０３の全域が撮影されるように、属する複数のカメラ１０２が配置される。つまり、撮影対象領域５０３の中の任意の位置の被写体が、それぞれのカメラグループ１０３において、少なくとも１台のカメラ１０２から撮影されることになる。１３０１の位置にいる被写体について考える。カメラグループ１０３ａにおいて、カメラ１０２ａａが１３０１の位置の被写体を撮影する。カメラグループ１０３ｂにおいて、カメラ１０２ｂａが１３０１の位置の被写体を撮影する。以下同様である。言い換えると、カメラグループ１０３の数と同数のカメラ１０２から、撮影対象領域５０３の中の任意の位置の被写体が撮影されることになる。また、それぞれのカメラグループ１０３の配置領域７０１は、なるべく等間隔になるように決定されている。つまり、撮影対象領域５０３の中の任意の位置の被写体について、画質のよい仮想視点画像を生成することが可能である。

＜実施形態２＞
本実施形態において、実施形態１とは異なる配置決定装置１６００の例について説明する。図１６に、本実施形態における配置決定装置１６００の機能構成例を示す。図１６に示すように、配置決定装置１６００は、図３の許容値取得部３０３の代わりに、カメラ台数取得部１６０１を有している。また、配置決定装置１６００は、図３の配置決定部３０６に代わりに、配置決定部１６０２を有している。なお、配置決定装置１０８のハードウェア構成は、図２と同じであるため省略する。

カメラ台数取得部１６０１は、操作部２０６を介して、オペレータから直接、マルチカメラシステム１０１が有するカメラ１０２の台数を取得する。例えば、仮想視点画像生成装置１０６の処理性能を基に、カメラ１０２の台数が設定されてもよい。仮想視点画像生成装置１０６の処理性能が高いほど、より多くの画像を処理することができる。つまり、仮想視点画像生成装置１０６の処理性能が高いほど、カメラ１０２の台数をより多い値に設定することができる。また、予算に基づいてカメラ１０２の台数が設定されてもよい。カメラ１０２の台数を増やすと、配置に必要な費用が増える。つまり、予算が大きいほど、カメラ１０２の台数をより多い値に設定することができる。

また、カメラ台数取得部１６０１は、以下の構成でもよい。すなわち、カメラ台数取得部１６０１は、イベント情報の一つであるイベントの規模や被写体の密集度とカメラ１０２の台数とを対応付けて、その対応を示す表を記憶しておく。そして、カメラ台数取得部１６０１は、操作部２０６を介してオペレータからイベントを特定する情報の入力を受け付けると、イベント情報記憶部３０１に記憶されているイベント情報とその表を参照し、カメラ１０２の台数を取得するようにしてもよい。例えば、イベントの規模が大きい場合は、小さい場合に比べ、カメラ１０２の台数がより多くなるように決定される。また、被写体の密集度が大きい場合は、被写体の密集度が小さい場合に比べて、カメラ１０２の台数がより多くなるように決定される。

配置決定部１６０２は、カメラ１０２の台数、撮影対象領域５０３、カメラグループ数、会場情報に基づいて、カメラ１０２の配置を決定する。カメラ１０２の台数はカメラ台数取得部１６０１により取得され、撮影対象領域５０３は、撮影対象領域取得部３０４により取得され、カメラグループ数は、カメラグループ数取得部３０５により取得される。

図１４は、配置決定装置１０８の処理手順の一例を示すフローチャートである。ステップＳ４０２～ステップＳ４０４は、図４と同じ処理であるので、説明は省略する。

ステップＳ１４０１で、カメラ台数取得部１６０１が、カメラ１０２の台数を取得する。例えば、仮想視点画像生成装置１０６の処理性能を基に、カメラ１０２の台数が設定されてもよい。仮想視点画像生成装置１０６の処理性能が高いほど、より多く画像を処理することができる。つまり、仮想視点画像生成装置１０６の処理性能が高いほど、カメラ１０２の台数をより多い値にすることができる。例えば、予算に基づいて、カメラ１０２の台数が設定されてもよい。カメラ１０２の台数を増やすと、配置に必要な費用が増える。つまり、予算が大きいほど、カメラ１０２の台数をより多い値にすることができる。

ステップＳ１４０２で、配置決定部１６０２が、ステップＳ１４０１で取得した台数のカメラ１０２を、ステップＳ４０３で取得した数のカメラグループ１０３に割り当てる。カメラグループ１０３に必要なカメラ１０２の台数は、ステップＳ４０２で取得した撮影対象領域５０３と、配置領域７０１の関係によって変化する。例えば、図１５に示すように、配置領域７０１から見た撮影対象領域５０３を角度１５０１で表す。配置領域７０１ａから見た撮影対象領域５０３の角度１５０１が１５０１ａである。そして、その角度１５０１に応じて、カメラグループ１０３にカメラ１０２を割り当てる。つまり、配置領域７０１から見た撮影対象領域５０３の角度１５０１が大きいカメラグループ１０３に、より多くのカメラ１０２を割り当てる。

ステップＳ１４０３で、配置決定部１６０２は、ステップＳ１４０２で割り当てたカメラグループ１０３ごとのカメラ１０２の台数と会場情報とに基づいて、カメラグループ１０３ごとに、カメラ１０２の配置を決定する。具体的なカメラ１０２の配置は、撮影対象領域５０３の全域が撮影されるように決定される。さらに、カメラ１０２は、撮影対象領域５０３の全域で、解像度がなるべく高くなるように配置する。

ステップＳ１４０４で、配置決定部１６０２は、カメラグループ１０３ごとに、撮影対象領域５０３の全域において解像度を計算する。カメラ１０２の撮影範囲に重なる領域では複数のカメラ１０２から被写体が撮影される。その場合は、解像度が大きいカメラ１０２の値を解像度とする。

ステップＳ１４０５で、配置決定部１６０２は、ステップＳ１４０４で計算された解像度に問題がないかを判定する。例えば、解像度が所定の値よりも小さい領域が撮影対象領域５０３内にある場合に問題があると判定される。問題がない（ＹＥＳ）と判定された場合は処理を終了する。問題がある（ＮＯ）と判定された場合はステップＳ１４０６へ進む。

ステップＳ１４０６で、配置決定部１６０２は、どの配置条件を変更するかを決定する。変更可能な配置条件は、撮影対象領域５０３とカメラグループ１０３の数のいずれかである。

ステップＳ１４０７で、配置決定部１６０２は、変更する条件が撮影対象領域５０３であるか否かを判定する。変更する条件が撮影対象領域５０３である場合（ＹＥＳ）は、ステップＳ１４０８へ進む。変更する条件が撮影対象領域５０３ではない場合（ＮＯ）は、ステップＳ１４０９へ進む。

ステップＳ１４０８で、撮影対象領域取得部３０４は、撮影対象領域５０３を変更する。具体的には、撮影対象領域取得部３０４は、計算される解像度がより高くなるように、撮影対象領域５０３を狭くするように変更する。撮影対象領域取得部３０４により撮影対象領域５０３が変更された後、ステップＳ４０４へ進み、配置決定部３０６は、カメラグループ１０３の配置領域７０１を再度決定する。そして、ステップ１４０２、Ｓ１４０３に進み、配置決定部３０６は、カメラ１０２の台数及び配置を再度決定する。なお、撮影対象領域取得部３０４は、オペレータから、操作部２０６を介して、撮影対象領域を取得するようにしてもよい。

ステップＳ１４０９で、カメラグループ数取得部３０５は、カメラグループ１０３の数を変更する。具体的には、カメラグループ数取得部３０５は、計算される解像度をより高くするように、カメラグループ１０３の数を減らすように変更する。カメラグループ１０３の数を減らすと、カメラグループ１０３に割り当てられるカメラ１０２の台数が増え、解像度が高くなるからである。カメラグループ数取得部３０５によりカメラグループ１０３の数が変更された後、ステップＳ４０４へ進み、配置決定部３０６は、カメラグループ１０３の配置領域７０１を再度決定する。そして、ステップＳ１４０２、Ｓ１４０３に進み、配置決定部３０６は、カメラ１０２の台数及び配置を再度決定する。なお、カメラグループ数取得部３０５は、オペレータから、操作部２０６を介して、カメラグループ数を取得するようにしてもよい。

本実施形態においても、実施形態１と同様の効果を得ることができる。つまり、カメラグループ１０３の数と同数のカメラ１０２から、撮影対象領域５０３の中の任意の位置の被写体が撮影されることになる。また、それぞれのカメラグループ１０３の配置領域７０１は、なるべく等間隔になるように決定されている。つまり、撮影対象領域５０３の中の任意の位置の被写体について、画質のよい仮想視点画像を生成することが可能である。

＜実施形態３＞
本実施形態において、実施形態１とは異なる配置決定装置１８００の例について説明する。図１８に、本実施形態における配置決定装置１８００の機能構成例を示す。図１８に示すように、配置決定装置１８００は、イベント情報記憶部１８０１、会場情報記憶部１８０２、許容値取得部１８０３、撮影対象領域取得部１８０４、カメラグループ数取得部１８０５、配置決定部１８０６を有する。更に、配置決定装置１８００は、種別取得部１８０７、領域設定部１８０８、レベル情報設定部１８０９、グループ数設定部１８１０を有する。ただし、種別取得部１８０７、領域設定部１８０８、レベル情報設定部１８０９、グループ数設定部１８１０は、イベント情報を生成するために用いられる機能部であり、配置決定装置は、それらの機能部を有していなくてもよい。つまり、イベント情報記憶部１８０１に種別取得部１８０７、領域設定部１８０８、レベル情報設定部１８０９、グループ数設定部１８１０により生成されたイベント情報が記憶されていれば、そのイベント情報から、カメラの配置を決定することができる。なお、配置決定装置１８００のハードウェア構成は、図２と同じであるため省略する。以下では、実施形態１と異なる点を中心に説明を行う。

本実施形態においては、複数のカメラにより撮影の対象となる空間（例えば、図５（ｂ）の空間５０４）に対して、複数の空間を定義し、定義された複数の空間それぞれを撮影対象領域とする。そして、本実施形態における配置決定装置１８００は、複数の撮影対象領域に対して、カメラグループの数と配置、及び各カメラグループのカメラの数と配置を決定する。ただし、複数の撮影対象領域のうちの全部の撮影対象領域に対して、本実施形態を適用する必要はなく、そのうちの一つに対して本実施形態を適用するようにしてもよい。

定義される複数の空間は、いずれも複数のカメラにより撮影の対象となる空間（図５（ｂ）の空間５０４）に含まれる。また、定義される複数の空間は、互いに排他的に定義されてもよい。つまり、図５（ｂ）の空間５０４を分割する複数の空間で構成されるように、複数の空間が定義されてもよい。また、定義される複数の空間のうち、任意の２つの空間が一部重なっていてもよし、さらに一方の空間が他方の空間に包含されていてもよい。

種別取得部１８０７は、イベントに登場する主となる前景（被写体）の種別と、その移動範囲を取得する。種別取得部１８０７は、操作部２０６を介して、オペレータにより、被写体の種別とその移動範囲に関する情報が入力されることで、その情報を取得する。この情報の例を図１９（ａ）に示す。ここでは、イベントとしてラグビーを想定し、主となる被写体の種別として人物（選手）と、ボールが入力され、人物については、静止人物と動く人物に分けて入力された例を示している。さらに、それぞれの被写体が移動する範囲が、被写体の種別と対応して入力される。ここで、移動範囲は、ラグビーの試合中に人物やボールが存在する可能性がある範囲を示している。例えば、静止人物の移動範囲とは、静止人物が存在する可能性のある範囲を示すものである。そのため、静止人物の移動範囲は、フィールドの縦や横の長さとほぼ同等の長さとなる。高さ方向は、例えば選手の身長（例えば２ｍ）と同等となる。一方、動く人物の移動範囲は、静止人物の移動範囲より広くなる。例えば、高さ方向について、ラグビーではラインアウトによるスローインで選手が別の選手をリフトすることがあるため、静止人物の移動範囲より動く人物の移動範囲の方が広くなる。具体的には、高さが５ｍ程度になる。ボールの移動範囲は、更に広くなる。例えば、ラグビーでは蹴ったボールが高く上がるため、ボールの移動範囲の高さを２０ｍとする。また、縦や横方向、つまり、フィールドの面内方向においても、動く人物やボールは静止人物よりも移動範囲が広くなる。

種別取得部１８０７が取得した情報は、領域設定部１８０８に出力され、またイベント情報記憶部１８０１にも出力されて、イベント情報記憶部１８０１により記憶される。具体的には、イベント情報記憶部１８０１は、図１９（ａ）で示される表を記憶する。ただし、イベント情報記憶部１８０１は、図１９（ａ）の表以外の形式で、種別取得部１８０７より出力された情報を記憶してもよい。

なお、図１９（ａ）に示された情報を入力する上で、オペレータは、実施形態１と同様に、イベントの種別やその他のイベントが特定できる情報、フィールドの大きさの情報、被写体の密集度の情報、仮想視点画像の用途に関する情報を入力する。ただし、配置決定装置１８００を特定のイベントにしか使用しない場合は、イベントの種別やその他のイベントが特定できる情報の入力を省略することができる。

領域設定部１８０８は、種別取得部１８０７により取得された被写体の種別とその移動範囲を示す情報に基づき、複数の撮影対象領域を設定する。ただし、複数の撮影対象領域のうち、任意の２つ以上の撮影対象領域の一部が部分的に重複していてもよい。図２０（ａ）、（ｂ）は、３つの撮影対象領域を設定した例の撮影対象領域の関係を示す。図２０（ａ）は、フィールドを上から見た模式図であり、３つの撮影対象領域の縦と横の大きさの関係を示している。また、図２０（ｂ）は、フィールドを横から見た図であり、３つの撮影対象領域の高さの関係を示している。ここでは、第１撮影対象領域２００１は静止人物の移動範囲に対応し、第２撮影対象領域２００２は、動く人物の移動範囲に対応し、第３撮影対象領域２００３はボールの移動範囲に対応する。第１撮影対象領域２００１、第２撮影対象領域２００２、第３撮影対象領域２００３は、この順で範囲が広くなっている。また、第１撮影対象領域２００１は、第２撮影対象領域２００２に含まれ、第２撮影対象領域２００２は、第３撮影対象領域２００３に含まれている。ただし、第１撮影対象領域２００１の全部ではなく一部が、第２撮影対象領域２００２に含まれるようにしてもよい。第２撮影対象領域２００２の全部ではなく一部が、第３撮影対象領域２００３に含まれるようにしてもよい。

領域設定部１８０８で設定された複数の撮影対象領域を示す情報は、レベル情報設定部１８０９に出力され、イベント情報記憶部１８０１にも出力され、イベント情報記憶部１８０１により記憶される。

なお、領域設定部１８０８は、静止人物と動く人物の移動範囲に対して同じ撮影対象領域を対応させるように撮影対象領域を設定してもよい。具体的には、領域設定部１８０８は、図２０（ａ）、（ｂ）の第１撮影対象領域２００１を設定せず、残りの第２撮影対象領域２００２と第３撮影対象領域２００３を設定してもよい。

レベル情報設定部１８０９は、領域設定部１８０８により設定された複数の撮影対象領域のそれぞれに対して、３次元形状データの品質の要求レベルと、下限解像度の要求レベルを設定する。レベル情報設定部１８０９は、操作部２０６を介して、オペレータによる入力を受け付けて、その要求レベルを設定する。各撮影対象領域に対応する３次元形状データの品質の要求レベルと下限解像度の要求レベルの例を、図１９（ｂ）に示す。ここでは、３次元形状データの品質の要求レベルと下限解像度の要求レベルを「高」、「中」、「低」の３段階で定義する。なお、下限解像度の要求レベルは、実施形態１で示したように、下限解像度を表す画素数で定義されてもよい。

第１撮影対象領域２００１の主たる被写体は、静止人物である。静止人物に対しては、仮想視点画像において、高画質に表示することで、仮想視点画像の画質を向上させることができる。そのため、レベル情報設定部１８０９は、静止人物の移動範囲に対応する第１撮影対象領域２００１に対しては、３次元形状データの品質の要求レベル、及び、下限解像度の要求レベルを、「高」と設定する。なお、下限解像度の要求レベルが「高」とは、少なくとも顔の顔立ちや輪郭が明確になるレベルを意味する。具体的な数値例として、撮影画像において２ｍの高さに対する画素数を４００画素に設定されることが挙げられる。これは少なくとも０．５ｃｍ／画素の分解能を要求することに相当する。

第２撮影対象領域２００２の主たる被写体は、動く人物である。動く人物は、静止人物とは異なり移動しているため、その画質は、静止人物の画質に比べて低くても許容されうる。そのため、第２撮影対象領域２００２に対する３次元形状データの品質の要求レベル、及び下限解像度レベルは、「中」に設定される。具体的な下限解像度レベルの数値例として、撮影画像において２ｍの高さに対する画素数を２００画素に設定されることが挙げられる。

第３撮影対象領域２００３の主たる被写体は、ボールである。ラグビーにおいてボールは、人物よりも速く移動することが可能であり、また人物よりも小さいため、その画質は、動く人物の画質と比べ、低くても許容されうる。

なお、図１９（ｂ）では、一つの撮影対象領域に対する、３次元形状データの品質の要求レベルと下限解像度の要求レベルが同じレベルであるが、イベントによっては３次元形状データの品質の要求レベルと下限解像度の要求レベルが同じレベルでなくてもよい。例えば、一つの撮影対象領域に対する３次元形状データの品質の要求レベルが「高」で、その撮影対象領域に対する下限解像度の要求レベルが「低」となっても構わない。

レベル情報設定部１８０９で設定された情報は、グループ数設定部１８１０とイベント情報記憶部１８０１に出力され、イベント情報記憶部１８０１により記憶される。具体的には、イベント情報記憶部１８０１は、図１９（ｂ）で示される表を記憶する。ただし、イベント情報記憶部１８０１は、図１９（ｂ）の表以外の形式で、種別取得部１８０７より出力された情報を記憶してもよい。

グループ数設定部１８１０は、レベル情報設定部１８０９により設定された３次元形状データの品質の要求レベルからカメラグループ１０３の数を設定する。３次元形状データは、カメラグループ数が大きければ大きいほど、その精度が向上する。そのため、要求レベルが高いほど、カメラグループの数を大きくするようにする。各撮影対象領域とカメラグループ数を、図１９（ｃ）に示す。ここでは、３次元形状データの品質の要求レベルが「高」であれば、カメラグループ数を「２４」、「中」であれば「１２」、「低」であれば「８」と設定された例が示されている。グループ数設定部１８１０で設定された情報は、イベント情報記憶部１８０１にも出力され、イベント情報記憶部１８０１により記憶される。具体的には、イベント情報記憶部１８０１は、図１９（ｃ）で示される表を記憶する。ただし、イベント情報記憶部１８０１は、図１９（ｃ）の表以外の形式で、種別取得部１８０７より出力された情報を記憶してもよい。

グループ数設定部１８１０は、カメラグループ数を、３次元形状データの品質の要求レベルに基づいて一意に設定してもよいが、被写体の密集度にも基づいて設定してもよい。ラグビーの例では、第１撮影対象領域２００１では、スクラムやモールなどのプレイが発生するため密集度が高いが、第２撮影対象領域２００２、第３撮影対象領域２００３では、密集度は低い。この点も考慮して、グループ数設定部１８１０は、カメラグループ数を設定する。すなわち、グループ数設定部１８１０は、密集度が高いほどカメラグループ数を多くするように設定する。

イベント情報記憶部１８０１は、撮影対象のイベントに関する情報を記憶する。イベント情報は、実施形態１で示した情報の他、イベントごとに設定された、被写体の種別を示す情報、撮影領域を示す情報、撮影領域ごとの被写体の密集度の情報などを含んでいてもよい。

会場情報記憶部１８０２は、複数のカメラ１０２を配置する会場に関する情報を記憶する。会場情報は、実施形態１で示した情報と同様の情報である。

許容値取得部１８０３は、所定の基準となる被写体をカメラ１０２が撮影した際に、その被写体の画像中の大きさである解像度の下限値を設定する。具体的には、イベント情報の一つである、イベントごとに設定された複数の撮影対象領域と下限解像度の要求レベルとの対応関係を示す情報に基づいて、許容値取得部１８０３は、撮影対象領域のそれぞれに下限値を設定する。イベントごとに設定された複数の撮影対象領域と下限解像度の要求レベルとの対応関係を示す情報は、図１９（ｂ）で示すような対応表として、イベント情報記憶部１８０１に記憶されていてもよいし、外部の記憶装置に記憶されていてもよい。これにより、許容値取得部１８０３は、操作部２０６を介してオペレータからイベントを特定できる情報の入力を受け付けると、そのイベントに設定された複数の撮影対象領域に対して、下限解像度を設定する。

また、許容値取得部１８０３は、操作部２０６を介して、オペレータから直接、下限解像度の数値等の情報を取得してもよい。

撮影対象領域取得部１８０４は、イベント情報に基づいて、そのイベントに対応する複数の撮影対象領域を決定する。具体的には、撮影対象領域取得部１８０４は、次のような構成とすればよい。すなわち、まず、撮影対象領域取得部１８０４はイベント情報の少なくとも一部の情報と複数の撮影対象領域を表す情報とが対応付けた表を記憶する。イベント情報の少なくとも一部の情報とは、被写体の種別を示す情報、被写体の移動範囲の情報、フィールドの大きさの情報などである。そして、撮影対象領域取得部１８０４は、操作部２０６を介してオペレータからイベントを特定できる情報の入力を受け付けると、イベント情報記憶部１８０１に記憶されているイベント情報とその表を参照し、複数の撮影対象領域を決定する。なお、参照される表は、被写体の種別の情報と被写体の移動範囲の情報と複数の撮影対象領域の情報とが対応付けられていればよいが、これに限られない。上記以外のイベント情報と撮影対象領域の情報とが対応付けられていてもよい。また、参照される表は、イベントの名称等のイベントを特定できる情報と複数の撮影対象領域とが対応付けられていてもよい。また、参照される表は、イベント情報記憶部１８０１に記憶されていてもよいし、外部の装置に記憶されていてもよい。

また、撮影対象領域取得部１８０４は、操作部２０６を介して、オペレータから直接、撮影対象領域の情報を取得してもよい。

カメラグループ数取得部１８０５は、イベント情報とカメラグループ１０３の数とが対応付けられた表を参照して、カメラグループを設定するようにしてもよい。つまり、カメラグループ数取得部３０５は、操作部２０６を介してイベントを特定できる情報の入力を受け付けると、イベント情報記憶部１８０１に記憶されているイベント情報とその表とを参照し、撮影対象領域ごとにカメラグループ１０３の数を取得する。参照される表の一例を図１９（ｃ）に示す。なお、参照される表は、撮影対象領域の情報とカメラグループ１０３の数の情報とが対応付けられていればよいが、これに限られない。また、参照される表は、イベント情報記憶部１８０１に記憶されていてもよいし、外部の装置に記憶されていてもよい。

また、カメラグループ数取得部１８０５は、操作部２０６を介して、オペレータから直接、カメラグループ１０３の数の情報を取得してもよい。

配置決定部１８０６は、下限解像度、複数の撮影対象領域、撮影対象領域ごとのカメラグループ数、会場情報に基づいて、カメラ１０２の配置を決定する。下限解像度は許容値取得部１８０３により取得され、複数の撮影対象領域は、撮影対象領域取得部１８０４により取得され、カメラグループ数は、カメラグループ数取得部１８０５により取得される。また、会場情報は、会場情報記憶部３０２に記憶されている。配置決定部３０６は、操作部２０６を介して入力された会場を特定するための情報に基づいて、会場情報記憶部３０２から、必要な会場情報を取得する。例えば、取得する会場情報は、会場内でのカメラ１０２を配置可能な構造体とその位置に関する情報や、配置可能なカメラ１０２の台数の情報などである。

配置決定部１８０６は、まず、複数の撮影対象領域のそれぞれに対して、実施形態１と同様に、カメラグループ数と、会場情報とを基に、カメラグループ１０３の配置位置を決定する。次に、配置決定部３０６は、カメラグループ１０３ごとに、属する複数のカメラ１０２の配置を決定する。その際、配置決定部３０６は、カメラグループ１０３に属する複数のカメラ１０２により撮影対象領域のそれぞれの全域が撮影されるように、各カメラグループ１０３に属する複数のカメラ１０２の配置を決定する。つまり、第１撮影対象領域２００１のカメラグループ１０３に属する複数のカメラ１０２により、第１撮影対象領域２００１の全域が撮影されるように、このカメラグループ１０３に属する複数のカメラ１０２の配置が決定される。第２撮影対象領域２００２のカメラグループ１０３に属する複数のカメラ１０２や、第３撮影対象領域２００３のカメラグループ１０３に属する複数のカメラ１０２も同様に、配置が決定される。

さらに、配置決定部１８０６は、カメラグループ１０３に属する複数のカメラ１０２において、撮影対象領域のそれぞれの全域で、解像度が下限解像度を上回るように、複数のカメラ１０２の配置を決定する。なお、各撮影対象領域に対応する全カメラグループ１０３で、上記の撮影対象領域に関する条件、解像度に関する条件を満たすように、複数のカメラ１０２の配置が決定されるとしたが、これに限られない。例えば、所定数のカメラグループ１０３に属する複数のカメラ１０２だけが上記の条件を満たすように、複数のカメラ１０２の配置が決定されてもよい。また、所定の位置にあるカメラグループ１０３や所定の関係にあるカメラグループ１０３が上記の条件を満たすように、そのカメラグループ１０３に属する複数のカメラ１０２の配置が決定されてもよい。つまり、一部のカメラグループ１０３に属する複数のカメラ１０２によって、各撮影対象領域の全域ではなく一部が撮影されるように、その複数のカメラ１０２が配置されていてもよい。さらに、一部のカメラグループ１０３に属する複数のカメラ１０２において、各撮影対象領域の一部の領域で、解像度が下限解像度を上回らなくてもよい。

図２１は、配置決定装置１８００の処理手順の一例を示すフローチャートである。図２１を用いて配置決定装置１８００が行う処理について説明を行う。

まず、配置決定装置１８００は、操作部２０６を介してオペレータからの配置決定の指示を受け付ける。そして、ステップＳ２１０１において撮影対象領域取得部１８０４は、複数の撮影対象領域を決定して取得する。具体的には、操作部２０６を介してオペレータから入力されるイベントを特定できる情報と、予め記憶された表とに基づいて、複数の撮影対象領域が決定される。複数の撮影対象領域としては、図２０で示すように第１撮影対象領域２００１、第２撮影対象領域２００２、第３撮影対象領域２００３が設定される。

次に、ステップＳ２１０２において、許容値取得部１８０３は、３次元形状データの品質の要求レベルと下限解像度のレベルを取得する。許容値取得部１８０３は、操作部２０６を介してオペレータから入力されるイベントを特定できる情報と、予め記憶された表とに基づいて、撮影対象領域ごとに、３次元形状データの品質の要求レベルと下限解像度のレベルを決定して取得する。

次に、ステップＳ２１０３で、カメラグループ数取得部１８０５は、撮影対象領域ごとにカメラグループ１０３の数を決定して取得する。カメラグループ１０３の数は、仮想視点画像生成装置１０６が生成する３次元形状データの品質の要求レベルに応じて決定される。この３次元形状データの生成に必要な方向の数は、３次元形状データの品質の要求レベルによって変化する。つまり、３次元形状データの品質の要求レベルが高い場合、つまり、３次元形状データの精度を高くする場合、多くの方向から撮影することが必要になるため、カメラグループ１０３の数は多くなる。一方、３次元形状データの品質の要求レベルが低い場合、３次元形状データの精度が低くてもよいため、撮影方向を少なくしてもよく、その結果、カメラグループ１０３の数を少なくすることができる。

カメラグループ数取得部１８０５は、カメラグループ数取得部１８０５は、３次元形状データの品質の要求レベルと必要な方向の数（つまり、カメラグループの数）とを対応付けて表を参照することで、カメラグループの数を決定することができる。３次元形状データの品質の要求レベルと撮影対象領域とが対応しているため、ここでは、３次元形状データの品質の要求レベルではなく撮影対象領域とカメラグループの数を対応させた表（図１９（ｃ））を参照することで、カメラグループの数が決定される。

以下、例として、第１撮影対象領域２００１、第２撮影対象領域２００２、第３撮影対象領域２００３ぞれぞれのカメラグループ１０３の数を３０，２４，１０と決定したとする。また、カメラグループ１０３の配置領域もこの処理で決定されてもよいが、本実施形態では、次のステップＳ２１０４で決定される例を示す。

ステップＳ２１０４で、配置決定部１８０６は、カメラグループ数及び会場情報に基づいて、撮影対象領域ごとにカメラグループ１０３の配置領域を決定する。なお、この処理は、複数の撮影対象領域のそれぞれに対して、図４のＳ４０４と同様の処理を行ことに相当するため、説明を省略する。

ステップＳ２１０５で、配置決定部１８０６は、カメラグループ１０３の配置領域と、下限解像度要求レベルと、に基づいて、各撮影対象領域のカメラグループ１０３ごとに、カメラグループ１０３に属する２以上のカメラ１０２の台数及び配置を決定する。この処理は、複数の撮影対象領域のそれぞれに対して、図４のＳ４０５と同様の処理を行ことに相当するため、説明を省略する。また、配置決定部１８０６により決定されるカメラ１０２の配置についても実施形態１と同様である。

ステップＳ２１０６で、配置決定部１８０６は、Ｓ２１０５で、各撮影対象領域のカメラグループ１０３ごとに決定したカメラ１０２の台数を合計し、マルチカメラシステム１０１に必要なカメラ１０２の台数を決定する。

ステップＳ２１０７は、配置決定部１８０６は、ステップＳ２１０６で計算したカメラの台数に問題が無いかを判定する。なお、ステップＳ２１０７は図４のＳ４０７と同様の処理のため、詳細な説明は省略する。問題がない（ＹＥＳ）と判定した場合は処理を終了する。問題がある（ＮＯ）と判定した場合はステップＳ２１０８に進む。

ステップＳ２１０８で、配置決定部１８０６は、どの配置条件を変更するかを決定する。変更可能な配置条件は、撮影対象領域、下限解像度、カメラグループ１０３の数のいずれかである。ステップＳ２１０８は図４のＳ４０８と同様の処理のため、詳細な説明は省略する。

ステップＳ２１０９で、配置決定部１８０６は、変更する配置条件が撮影対象領域であるか否かを判定する。撮影対象領域の場合（ＹＥＳ）は、ステップＳ２１１０へ進む。そうでない場合（ＮＯ）は、ステップＳ２１１１へ進む。

ステップＳ２１１０で、撮影対象領域取得部１８０４は、撮影対象領域を変更する。なお、複数の撮影対象領域のうち１以上の撮影対象領域を変更する。つまり、撮影対象領域のすべてを変更しなくてもよい。ステップＳ２１０７で問題があると判定した理由が、「カメラの台数が多い」ことである場合は、複数の撮影対象領域のうち１以上の撮影対象領域を狭くするように変更する。逆に、「カメラの台数が少ない」ことである場合は、複数の撮影対象領域のうち１以上の撮影対象領域を広くするように変更する。撮影対象領域取得部１８０４により撮影対象領域が変更されると、ステップＳ２１０５へ進み、変更された撮影対象領域を含む複数の撮影対象領域に基づいて、配置決定部１８０６は、カメラ１０２の台数及び配置を再度決定する。なお、撮影対象領域取得部１８０４は、オペレータから、操作部２０６を介して、撮影対象領域を取得するようにしてもよい。

ステップＳ２１１１で、配置決定部１８０６は、変更する配置条件が下限解像度であるか否かを判定する。下限解像度の場合（ＹＥＳ）は、ステップＳ２１１２へ進む。そうでない場合（ＮＯ）は、ステップＳ２１１３へ進む。

ステップＳ２１１２で、許容値取得部１８０３が、下限解像度要求レベルを変更する。問題が有ると判定した理由が「カメラの台数が多い」ことである場合は、１つ以上の撮影対象領域の下限解像度要求レベルを小さくするように変更する。逆に、問題が有ると判定した理由が「カメラの台数が少ない」ことである場合は、１つ以上の撮影対象領域の下限解像度要求レベルを大きくするように変更する。許容値取得部１８０３により下限解像度が変更された後、ステップＳ２１０５へ進み、配置決定部１８０６は、カメラ１０２の台数及び配置を再度決定する。なお、許容値取得部１８０３は、オペレータから、操作部２０６を介して、下限解像度要求レベルを取得するようにしてもよい。

ステップＳ２１１３で、カメラグループ数取得部１８０５は、カメラグループ１０３の数を変更する。ステップＳ２１０７で問題があると判定した理由が「カメラの台数が多い」ことである場合は、１つ以上の撮影対象領域のカメラグループ１０３の数を減らすように変更する。逆に、問題があると判定した理由が「カメラの台数が少ない」ことである場合は、１つ以上の撮影対象領域のカメラグループ１０３の数を増やすように変更する。カメラグループ数取得部１８０５によりカメラグループ１０３の数が変更された後、ステップＳ２１０４へ進み、配置決定部１８０６は、カメラグループ１０３の配置領域を再度決定する。そして、ステップＳ２１０５に進み、配置決定部１８０６は、カメラ１０２の台数及び配置を再度決定する。なお、カメラグループ数取得部１８０５は、オペレータから、操作部２０６を介して、カメラグループ数を取得するようにしてもよい。

本実施形態によれば、実施形態１と同様の効果を奏する。つまり、撮影対象領域のカメラグループ１０３それぞれは、対応する撮影対象領域の全域が撮影されるように、そのカメラグループ１０３に属する複数のカメラ１０２が配置される。このため、撮影対象領域の中の任意の位置の被写体が、それぞれのカメラグループ１０３において、少なくとも１台のカメラ１０２から撮影されることになる。そして、カメラグループ１０３の数と同数のカメラ１０２から、撮影対象領域の中の任意の位置の被写体が撮影されることになる。また、それぞれのカメラグループ１０３の配置領域は、なるべく等間隔になるように決定されている。つまり、撮影対象領域の中の任意の位置の被写体について、画質のよい仮想視点画像を生成することが可能である。

また、本実施形態では、被写体の種別とその移動範囲により、画像における解像度の要求レベルが、複数ある場合、その複数の要求レベルのそれぞれに対して、撮影対象領域を設定している。そして、その撮影対象領域ごとに、カメラグループ１０３の数及び配置、そしてカメラグループ内のカメラ１０２の数及び配置を決定することで、被写体の種別に応じた、適切なカメラの数を適切な位置に配置することができる。例えば、実施形態１の図５の空間５０４と図２０の第３撮影対象領域２００３とが同じ場合、実施形態１よりも、カメラ１０２の数を削減することができる。その理由は、実施形態１では、被写体の種別や移動範囲によらず一律にカメラグループ１０３の数、カメラ１０２の数を決定しているからである。例えば、実施形態１では、地上から離れた領域、具体的には、第２撮影対象領域２００２に含まれない第３撮影対象領域２００３の領域においても、カメラグループに属する全カメラで撮影するようにするため、カメラ１０２の数が多くなる。ただし、その領域は、ボールのみが被写体となるため、３次元形状データの品質の要求レベルが低くてもよく、高い解像度で撮影する必要がない。そのため、本実施形態によれば、その点を考慮して、その領域を撮影するカメラグループ１０３の数を削減し、さらに、そのカメラグループ１０３に属するカメラ１０２の数も削減している。

なお、実施形態３において、例えば、第１撮影対象領域２００１と第２撮影対象領域とで、１以上のカメラグループを共有させてもよい。その場合、よりカメラ１０２の数を削減することができる。この場合、以下のような処理が行われる。すなわち、Ｓ４０４の処理が以下のように行われる。配置決定部１８０６は、第１撮影対象領域２００１に対してカメラグループ１０３の配置を決定する。また、配置決定部１８０６は、第２撮影対象領域２００２に対してカメラグループ１０３の配置を決定する。そして、第１撮影対象領域２００１に対して決定されたカメラグループ１０３のうち、第２撮影対象領域２００２に対して決定されたカメラグループ１０３と位置が近いカメラグループ１０３があるか判定する。第１撮影対象領域２００１のカメラグループ１０３のうち、第２撮影対象領域２００２に対して決定されたカメラグループ１０３と位置が近いカメラグループ１０３がある場合、そのカメラグループ１０３を第１撮影対象領域２００１から除くようにする。カメラグループ１０３に属するカメラ１０２の数や配置は、そのカメラグループ１０３に対応する撮影対象領域に基づいて、下限解像度要求レベルや３次元形状データの品質の要求レベルに従い決定される点は、上記の説明と変わらない。例えば、第１撮影対象領域２００１に対して、図７で示すような１２のカメラグループ７０１ａ～７０１ｌが決定されたとする。一方、第２撮影対象領域２００２に対して、図７で示すようなカメラグループ７０１ｂ、７０１ｄ、７０１ｆ、７０１ｈ、７０１ｊ、７０１ｋに近い位置が決定されたとする。その場合、カメラグループ７０１ｂ、７０１ｄ、７０１ｆ、７０１ｈ、７０１ｊ、７０１ｋは、第１撮影対象領域２００１のカメラグループから除かれる。つまり、第１撮影対象領域２００１のカメラグループとしては、カメラグループ７０１ａ、７０１ｃ、７０１ｅ、７０１ｇ、７０１ｉ、７０１ｌが残り、その後の処理が行われる。

このように、第１撮影対象領域２００１と第２撮影対象領域２００２とで、１以上のカメラグループを共有させたマルチカメラシステムを用いても、３次元形状データを適切に生成することができる。また、第１撮影対象領域２００１のカメラグループと第２撮影対象領域２００２のカメラグループ１０３は交互に配置されることで、３次元形状データの生成に際し、品質のレベルが方向による偏りを低減することができる。なお、第２撮影対象領域２００２において、被写体の３次元形状データの生成には、第２撮影対象領域２００２のカメラグループ１０３のカメラのみならず、第１撮影対象領域２００１のカメラグループ１０３のカメラの撮影画像も用いられる。ただし、仮想視点画像の画素値を決定する際に、画質を向上させるために、下限解像度の要求レベルの高い第１撮影対象領域２００１のカメラグループ１０３のカメラの撮影画像のみを用いる。なお、第１撮影対象領域２００１のカメラグループ１０３のカメラの撮影画像を優先的に用いれば、第２撮影対象領域２００２のカメラグループ１０３のカメラの撮影画像を用いても構わない。例えば、仮想視点画像の着目画素の画素値を、複数の撮影画像において着目画素と対応する位置の画素値を重みを用いた平均化処理により決定する場合、以下のようにする。すなわち、第１撮影対象領域２００１のカメラグループ１０３のカメラの撮影画像の着目画素と対応する位置の画素値の重みを、第２撮影対象領域２００２のカメラグループ１０３のカメラの撮影画像の着目画素と対応する位置の画素値の重みより大きくする。

なお、第１撮影対象領域２００１と第２撮影対象領域２００２とを例に挙げたが、複数の撮影対象領域のうち任意の２以上の撮影対象領域の一部のカメラグループを共有化しても、カメラ１０２の数を軽減できる。

また、種別取得部１８０７は、被写体の種別の代わりに、複数の撮影対象領域の情報を取得するようにしてもよい。つまり、例えば、図１９（ａ）において、撮影対象領域の種別（第１撮影対象領域２００１、第２撮影対象領域２００２、第３撮影対象領域２００３）と、その撮影対象領域を規定する縦、横、高さの長さを示す情報が取得されてもよい。また、イベントとして、ラグビーを例にして説明を行ったが、サッカーなどの球技や、陸上競技などにも本実施形態は適用できる。例えば、陸上のトラック競技である１００ｍ走において、選手が走るトラック上で、ゴール地点近傍においては、その他の場所より、高画質な仮想視点画像が要求されることが考えられる。その場合、ゴール地点近傍の領域に対して、各種の要求レベルを高くし、それ以外の領域の各種の要求レベルを低くするようにしてもよい。

＜その他の実施形態＞
なお、本発明の目的は、以下でも達成される。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、以下の処理によって前述した実施形態の機能が実現される場合も含まれる。コンピュータが読出したプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行う。

さらに、以下の処理によって前述した実施形態の機能が実現される場合も含まれる。まず記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。次にそのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。

３０４ 撮影対象領域取得部
３０６ 配置決定部

本発明の一つの態様は、以下のとおりである。すなわち、システムは、撮影対象領域を撮影する複数の撮影装置と、前記複数の撮影装置により取得された撮影画像に基づいて仮想視点画像を生成する生成装置と、を有し、前記複数の撮影装置は、複数の撮影方向に対応する複数のグループのうちの第１の撮影方向から前記撮影対象領域を撮影する第１のグループに含まれる２以上の撮影装置と、前記複数のグループのうち前記第１の撮影方向とは異なる第２の撮影方向から前記撮影対象領域を撮影する第２のグループに含まれる他の２以上の撮影装置と、を有することを特徴とする。

Claims (3)

1. 仮想視点画像の生成に用いられる複数の撮影装置を有し、
   前記複数の撮影装置のうち２以上の撮影装置は、前記複数の撮影装置による撮影の対象となる撮影対象領域の全域を撮影するように配置され、かつ、前記複数の撮影装置のうち前記２以上の撮影装置とは異なる他の２以上の撮影装置は、前記撮影対象領域の全域を撮影するように配置されていることを特徴とするシステム。
2. 前記２以上の撮影装置のうち、前記他の２以上の撮影装置に近い撮影装置は、前記他の２以上の撮影装置のうちのいずれの撮影装置よりも前記２以上の撮影装置のうちの他の撮影装置に近くに配置されていることを特徴とする請求項１に記載のシステム。
3. 前記複数の撮影装置による撮影により取得された画像に基づいて、前記仮想視点画像を生成する生成手段を、さらに有することを特徴とする請求項１又は２に記載のシステム。

Images