JP7134636B2 - 制御装置、制御方法及びプログラム - Google Patents

Description

本発明は、複数の撮影装置により撮影された画像を用いて仮想視点画像を生成する技術に関する。

昨今、複数の撮影装置を異なる位置に設置して多視点で同期撮影し、撮影により得られた複数の視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。これにより、ユーザは、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができ、高臨場感を得ることができる。仮想視点コンテンツの生成及び閲覧は、複数の撮影装置が撮影した画像を画像生成装置に集約し、画像生成装置にて、３次元モデル生成、レンダリングなどの処理を施し、ユーザが使用するユーザ装置に画像を送付することで実現できる。

特許文献１には、撮像装置の障害の発生を検知すると、障害の発生した撮像装置を除く他の撮像装置によって撮像された画像データから生成した仮想視点画像を再生した後で、障害の発生した撮像装置を再起動する技術が開示されている。

特開２０１５－２１２８７６号公報

仮想視点画像を生成するシステムにおいては、撮像装置の故障による障害だけでなく、転送される画像データの増大による伝送帯域のひっ迫等の障害が発生し得る。このような撮像装置の故障による障害や伝送帯域のひっ迫などの障害に対して、生成する仮想視点画像の品質を維持しつつ、適切な対処を行う点に関しては特許文献１には、改善の余地がある。

本発明はこのような問題点に鑑みなされたもので、仮想視点画像を生成するシステムにおいて障害が発生した場合においても、仮想視点画像の品質を維持することを目的とする。

そこで、本発明は、複数の撮影装置により撮影された撮影画像であって、仮想視点画像の生成に利用される撮影画像を、前記仮想視点画像を生成する画像生成装置へネットワークを介して伝送する画像処理システムにおいて、前記複数の撮影装置を制御する制御装置であって、ユーザ操作に応じて、ライブ放送用の仮想視点画像に係る仮想視点を設定する設定手段と、前記ネットワークにおける撮影画像の伝送量が閾値以上になった場合に、前記複数の撮影装置のうち、少なくとも前記設定手段により設定された仮想視点からの視線方向と反対方向に近い方向から撮影する撮影装置を変更対象として決定する決定手段と、前記決定手段により決定された前記変更対象の撮影装置により撮影された撮影画像の前記ネットワークにおける伝送を制限する制御手段と、を有し、前記制御手段は、前記変更対象の撮影装置の注視点を基準として定まる注視点領域に前記設定手段により設定された仮想視点が含まれない場合に、前記変更対象の撮影装置の撮影画像の伝送を制限するように制御することができ、前記注視点領域に前記設定手段により設定された仮想視点が含まれる場合に、前記変更対象の撮影装置の撮影画像の伝送を制限しないように制御することができることを特徴とする。

本発明によれば、仮想視点画像を生成するシステムにおいて障害が発生した場合においても、仮想視点画像の品質を維持することができる。

画像生成システムを示す図である。 制御ステーション装置のハードウェア構成図である。 画像生成装置及び制御ステーション装置の機能構成図である。 撮影装置の設置例を示す図である。 重要度テーブルの一例を示す図である。 設定監視処理を示すフローチャートである。 Ｓ６０４及びＳ６０５の処理の説明図である。 Ｓ６０４及びＳ６０５の処理の説明図である。 設定監視処理を示すフローチャートである。 Ｓ９０２の処理の説明図である。 重要度リスト更新処理を示すフローチャートである。 Ｓ１１０３、Ｓ１１０４の処理の説明図である。 Ｓ１１０３、Ｓ１１０４の処理の説明図である。 設定監視処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、第１の実施形態に係る画像生成システム１００を示す図である。本実施形態では、画像生成システム１００は、異なる位置に設置された複数の撮影装置により得られた画像に基づいて、仮想視点コンテンツを生成する。仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる。また、仮想視点画像には、映像及び静止画が含まれる。説明の便宜上、本実施形態においては、仮想コンテンツとしての仮想視点画像（映像）について説明するが、上述の通り、処理対象の仮想コンテンツは実施形態に限定されるものではなく、生成される仮想視点コンテンツには、音声が含まれてもよい。この場合には、基本的に画像と音声は共に処理される。なお、仮想視点コンテンツとしての音声は、仮想視点に最も近いマイクにより集音された音声であってもよい。なお、画像生成システム１００は、画像処理システムの一例である。

図１に示すように、画像生成システム１００は、複数の撮影装置１１０と、画像生成装置１２０と、コントローラ１３０と、スイッチングハブ１４０と、タイムサーバ１５０と、ユーザ装置１６０と、を有している。なお、画像生成システム１００が有する撮影装置１１０の数は任意である。

各撮影装置１１０は、競技場（スタジアム）やコンサートホール等の施設においてそれぞれ異なる位置に設置される。画像生成システム１００は、複数の撮影装置１１０により、施設を異なる方向から撮影した画像を得ることができる。各撮影装置１１０は、スイッチングハブ１４０を介して、画像生成装置１２０に接続する。撮影装置１１０は、マイク１１１と、カメラ１１２と、雲台１１３と、外部センサ１１４と、カメラアダプタ１１５と、を有している。各撮影装置１１０は、マイク１１１による集音と、カメラ１１２による撮影を行う。集音された音声及び撮影により得られた画像は、カメラアダプタ１１５を介してスイッチングハブ１４０に送信される。なお、本実施形態においては、カメラアダプタ１１５とカメラ１１２は異なる筐体としているが、これらは一体に設けられてもよい。また、マイク１１１は、カメラ１１２に内蔵されてもよい。

なお、本実施形態においては、画像生成システム１００が有する複数の撮影装置１１０は、いずれも同じハードウェア構成を有するものとするが、それぞれの撮影装置１１０のハードウェア構成は異なっていてもよい。なお、この場合も、各撮影装置１１０は、少なくともカメラ１１２と、カメラアダプタ１１５とを有するものとする。画像生成システム１００は、例えば１台のカメラアダプタと、複数のカメラを有する撮影装置や、１台のカメラと複数のカメラアダプタを有する撮影装置を有してもよい。

画像生成装置１２０は、撮影装置１１０から取得したデータを基に、仮想視点画像を生成する。画像生成装置１２０によって生成された仮想視点画像は、ユーザ装置１６０に送信される。ユーザ装置１６０を操作するユーザは、視点の指定に応じた画像閲覧ができる。画像生成装置１２０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ－ＤＡＳＨプロトコルを使ってユーザ装置１６０へ送信してもよい。また、仮想視点画像は、非圧縮でユーザ装置１６０へ送信されてもよい。とくに圧縮符号化を行う前者はユーザ装置１６０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、ユーザ装置１６０の種別に応じて画像フォーマットが切り替え可能であることを明記しておく。また、画像の送信プロトコルはＭＰＥＧ－ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いてもよい。

コントローラ１３０は、制御ステーション装置１３１と仮想カメラ操作部１３２を有する。制御ステーション装置１３１は、撮影装置１１０及び画像生成装置１２０とネットワークを介したデータの送受信を行うことで、撮影装置１１０の動作の状況を監視し、撮影装置１１０の設定を管理する。なお、撮影装置１１０及び画像生成装置１２０との間のネットワークとしては、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥを用いることができる。また、他の例としては、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。なお、複数の撮影装置１１０は、デイジーチェーンによるネットワークにおいて撮影画像を画像生成装置１２０伝送してもよい。

制御ステーション装置１３１は、また仮想視点画像を生成する対象施設の３次元モデルを画像生成装置１２０に送信する。さらに、制御ステーション装置１３１は、カメラ設置時のキャリブレーションに係る処理を行う。具体的には、撮影対象のフィールド上にマーカーを設置した上で、各カメラ１１２による撮影を行う。制御ステーション装置１３１は、各カメラ１１２で撮影された撮影画像を取得し、取得した撮影画像と、マーカーの位置と、に基づいて、各カメラ１１２の世界座標における設置位置、撮影方向、及び焦点距離を算出する。そして、制御ステーション装置１３１は、撮影装置の設置位置、撮影方向及び焦点距離を撮影情報として画像生成装置１２０に送信する。撮影情報は、画像生成装置１２０が仮想視点画像を生成する際に利用される。なお、制御ステーション装置１３１は、仮想視点画像の生成に利用される撮影画像を撮影する撮影装置１１０を制御する制御装置の一例である。

仮想カメラ操作部１３２は、ユーザ操作に応じて仮想視点を受け付け、仮想視点を画像生成装置１２０に送信する。画像生成装置１２０は、仮想視点を受信すると、受信した仮想視点の画像を生成し、これをユーザ装置１６０へ送信する。

タイムサーバ１５０は時刻及び同期信号を配信する機能を有し、スイッチングハブ１４０を介して各撮影装置１１０へ時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１１５は、カメラを時刻と同期信号を基にＧｅｎｌｏｃｋさせ画像フレーム同期を行う。このように、タイムサーバ１５０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像生成システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ１５０は、画像生成システム１００が有する複数の撮影装置１１０の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各撮影装置１１０が行ってもよい。

図２は、制御ステーション装置１３１のハードウェア構成図である。制御ステーション装置１３１は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ハードディスクドライブ（ＨＤＤ）２０４と、表示部２０５と、入力部２０６と、通信部２０７とを有している。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０４は、各種データや各種プログラム等を記憶する。制御ステーション装置１３１はさらに、ソリッドステートドライブ（ＳＳＤ）を有してもよい。なお、後述する制御ステーション装置１３１の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２又はＨＤＤ２０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

表示部２０５は、各種情報を表示する。入力部２０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部２０７は、ネットワークを介して外部装置との通信処理を行う。

また、他の例としては、制御ステーション装置１３１の機能や処理の少なくとも一部は、例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させることにより実現してもよい。また、他の例としては、制御ステーション装置１３１の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。また、画像生成装置１２０のハードウェア構成は、制御ステーション装置１３１のハードウェア構成と同様である。

図３は、画像生成装置１２０及び制御ステーション装置１３１の機能構成図である。画像生成装置１２０は、通信制御部３０１と、蓄積制御部３０２と、画像生成部３０３と、出力制御部３０４と、仮想視点受付部３０５と、仮想視点情報取得部３０６と、重要度決定部３０７と、を有している。通信制御部３０１は、撮影装置１１０や制御ステーション装置１３１等の外部装置との通信を制御する。通信制御部３０１は、例えば、制御ステーション装置１３１よりスタジアムの３次元モデルデータや、各撮影装置１１０の撮影情報を受信する。通信制御部３０１はまた、スイッチングハブ１４０を介して、撮影装置１１０から撮影画像や音声を受信する。通信制御部３０１が受信した情報は、蓄積制御部３０２を介し、ＨＤＤ２０４へ記録される。蓄積制御部３０２は、ＨＤＤ２０４へのデータの書き込み及びＨＤＤ２０４からの読み出しを制御する。蓄積制御部３０２の具体例として、データベース機能を提供するデータベースマネージメントシステム（以下ＤＢＭＳ）が挙げられる。

画像生成部３０３は、通信制御部３０１を介して入力される撮影画像に基づいて、仮想視点画像を生成する処理を行う。出力制御部３０４は、画像生成部３０３にて生成された仮想視点画像をユーザ装置１６０へ出力するよう制御する。出力制御部３０４は、このとき、ユーザ装置１６０に応じた映像フォーマットの変換処理を行う。

仮想視点受付部３０５は、仮想カメラ操作部１３２より指示される仮想視点を受け付ける。仮想視点情報取得部３０６は、仮想視点情報を取得する。ここで、仮想視点情報には、蓄積制御部３０２を介してＨＤＤ２０４から取得した撮影装置１１０の撮影情報と、仮想視点受付部３０５が受け付けた仮想視点とが含まれる。重要度決定部３０７は、仮想視点情報取得部３０６より取得した仮想視点情報に基づいて、複数の撮影装置１１０それぞれの重要度を決定し、重要度リストを作成する。重要度リストは、通信制御部３０１を介して制御ステーション装置１３１に送信される。重要度リストについては後に後述する。

制御ステーション装置１３１は、通信制御部３１１と、設定決定部３１２と、設定部３１３と、を有している。通信制御部３１１は、撮影装置１１０や画像生成装置１２０等の外部装置との通信を制御する。通信制御部３１１は例えば、画像生成装置１２０から重要度リストや仮想視点情報を受信する。設定決定部３１２は、複数の撮影装置１１０それぞれの動作状況を監視し、仮想視点情報と、撮影装置１１０の動作状況とに基づいて、撮影装置１１０の設定値を決定する。本実施形態においては、設定決定部３１２は、動作状況として、撮影装置１１０が正常に動作しているか否かを監視するものとする。設定部３１３は、設定決定部３１２にて決定された設定に基づいて、撮影装置１１０の設定を行うよう制御する。

次に、図４及び図５を参照しつつ、重要度リストについて説明する。図４は、画像生成システム１００が有する複数の撮影装置１１０の設置例を示す図である。本実施形態の撮影装置１１０は、サッカーのスタジアムに設定されているものとする。図４に示す撮影装置Ａ１～Ａ６、Ｂ１～Ｂ８、Ｃ１～Ｃ６は、いずれも撮影装置１１０である。撮影装置Ａ１～Ａ６は、注視点Ｒ１を向くように調整されている。撮影装置Ｂ１～Ｂ８は、注視点Ｒ２を向くように調整されている。撮影装置Ｃ１～Ｃ６は、注視点Ｒ３を向くように調整されている。このように、撮影装置の注視点に応じて、複数の撮影装置１１０は予めグループ化されている。ここで、各撮影装置１１０の撮影範囲をビューボリュームと称する。また、注視点Ｒ１を向く撮影装置Ａ１～Ａ６のビューボリュームが重なる領域を注視点領域と称する。注視点Ｒ１に対応した注視点領域は、４１０となる。

注視点Ｒ１及び注視点Ｒ３は、ゴール前であり、注視点Ｒ２は、フィールドのセンターである。注視点Ｒ１及び注視点Ｒ３を含む映像は、注視点Ｒ２を含む映像に比べて、より重要なシーンであることが多い。これに対応し、注視点Ｒ１及び注視点Ｒ３を向いた撮影装置１１０の重要度は、注視点Ｒ２を向いた撮影装置１１０の重要度よりも高く設定される。具体的には、撮影装置Ａ１～Ａ６、Ｃ１～Ｃ６に対し、重要度「高」が設定され、撮影装置Ｂ１～Ｂ８には、重要度「中」が設定される。なお、本実施形態においては、重要度は、重要な順に「高」、「中」、「低」の３段階とする。本実施形態においては、複数の撮影装置１１０それぞれが属するグループの情報及び各グループに対応した注視点に基づいて定められた重要度が予めＨＤＤ２０４に設定されているものとする。

図５は、重要度リスト５００の一例を示す図である。重要度リスト５００は、図４に示す例に対応している。重要度リスト５００は、撮影装置１１０を識別する番号と、撮影装置１１０の注視点と、重要度と、を対応付けた情報である。

図６は、制御ステーション装置１３１による、設定監視処理を示すフローチャートである。設定監視処理は、例えば１秒に１回というように、定期的に実行されるものとする。なお、２回目以降は、Ｓ６０１の処理は省略してもよい。設定監視処理は、複数の撮影装置１１０それぞれの動作状況を監視し、適宜撮影装置１１０の設定を変更する処理である。Ｓ６０１において、通信制御部３０１は、仮想視点情報及び重要度リストを画像生成装置１２０から取得する。

次に、Ｓ６０２において、設定決定部３１２は、複数の撮影装置１１０それぞれの動作状況を取得する。前述の通り、本実施形態においては、設定決定部３１２は、動作状況として、撮影装置１１０が正しく動作しているか否か、すなわち故障の有無を監視する。次に、Ｓ６０３において、設定決定部３１２は、故障を検出したか否かを判定する。設定決定部３１２は、故障が検出された場合には（６０３でＹＥＳ）、処理をＳ６０４へ進める。設定決定部３１２は、故障が検出されなかった場合には（Ｓ６０３でＮＯ）、設定監視処理を終了する。

Ｓ６０４において、設定決定部３１２は、重要度リスト及び仮想視点情報を参照し、撮影装置１１０の設置位置及び重要度に基づいて、設定変更の対象となる、変更対象の撮影装置１１０を決定する。より具体的には、設定決定部３１２は、まず、重要度に基づいて、変更対象の撮影装置のグループを決定する。そして、設定決定部３１２は、変更対象のグループに属する撮影装置の設置位置に基づいて、変更対象のグループに属する撮影装置の中から、変更対象とする撮影装置を決定する。なお、本処理については、後に詳述する。変更対象として決定された撮影装置１１０は、故障が生じた撮影装置１１０に替わって、故障が生じた撮影装置１１０が撮影していた注視点を撮影することになる。次に、Ｓ６０５において、設定決定部３１２は、故障が生じた撮影装置１１０の注視点を向くような撮影方向を、変更対象の撮影装置の撮影方向として決定する。次に、Ｓ６０６において、さらに、設定決定部３１２は、設定に応じて重要度リストを更新する。具体的には、設定決定部３１２は、変更対象の撮影装置１１０の注視点を、故障した撮影装置の注視点に変更し、重要度を故障した撮影装置の重要度に変更する。

次に、Ｓ６０７において、設定部３１３は、Ｓ６０４において決定された設定に応じて、撮影装置１１０の設定を変更するよう制御する。例えば、設定部３１３は、変更対象の撮影装置１１０に設定を変更するための指示を、ネットワークを介して送信する。設定部３１３は、変更対象の撮影装置１１０に画角または撮影方向の変更を指示する。これに対応し、変更対象の撮影装置１１０は、設定部３１３から指示された設定値に従い、雲台１１３及びカメラアダプタ１１５を利用して撮影方向を変更する。

なお、重要度は、注視点に応じて定まるものである。すなわち、Ｓ６０４の処理は、注視点に基づいて、変更対象の撮影装置１１０を決定する決定処理の一例である。また、Ｓ６０６の処理は、変更対象の撮影装置の注視点を変更するよう制御する変更制御処理の一例である。なお、Ｓ６０５において、設定決定部３１２は、変更対象の撮影装置１１０の注視点が、故障が生じた撮影装置１１０の注視点を向くような設定を決定すればよく、設定対象は撮影方向に限定されるものではない。例えば、画角を変更可能な場合には、設定決定部３１２は、撮影方向と画角を調整することで、注視点を変更してもよい。

図７及び図８は、Ｓ６０４及びＳ６０５の処理の説明図である。図７に示す複数の撮影装置１１０の設定は、図４に示すのと同様である。図７（ａ）に示すように、撮影装置Ａ２に故障が生じた場合を例に説明する。図５に示すように、撮影装置Ａ２は、重要度「高」に設定されている。そこで、設定決定部３１２は、まず、Ｓ６０４において、重要度「中」以下のグループを変更対象のグループとして決定する。図７の例では、重要度「中」の撮影装置Ｂ１～Ｂ８のグループが変更対象のグループとして決定される。続いて、設定決定部３１２は、決定した変更対象のグループに属する撮影装置１１０のうち、故障が生じた撮影装置１１０に最も近い撮影装置１１０を変更対象の撮影装置として決定する。図７の例では、撮影装置Ｂ１～Ｂ８のうち、撮影装置Ａ２と設置位置が最も近い撮影装置Ｂ２が変更対象の撮影装置として決定される。なお、図７（ａ）において、７０１、７０２は、それぞれ、撮影装置Ａ２、Ｂ２のビューボリュームである。

設定決定部３１２はさらに、故障が生じた撮影装置Ａ２の注視点Ｒ２を向くような撮影方向を、撮影装置Ｂ２の撮影方向として決定する。図７（ｂ）は、撮影装置Ｂ２の撮影方向が変更された後の状態を示す図である。撮影装置Ｂ２の撮影方向は、注視点Ｒ１を向くよう変更され、これにより、撮影装置Ｂ２のビューボリュームも７０１から７１０に変更されている。これにより、撮影装置Ｂ２の撮影方向は、（Ｖｘ，Ｖｙ，Ｖｚ）＝（Ｖｘ１，Ｖｙ１，Ｖｚ１）から、（Ｖｘ，Ｖｙ，Ｖｚ）＝（Ｖｘ２，Ｖｙ２，Ｖｚ２）となる。なお、撮影装置Ｂ２の設置位置は、（ｘ，ｙ，ｚ）＝（ｘ１，ｙ１，ｚ１）で変更はない。このように、制御ステーション装置１３１は、重要度が高い撮影装置に故障が生じた場合には、重要度がより低い撮影装置であって、かつ故障が生じた撮影装置により近い位置に設置された撮影装置を選択し、この撮影装置の撮影方向を変更するよう制御する。これにより、撮影装置１１０に故障が生じた場合であっても、生成される仮想視点画像の品位を維持することができる。

図８は、変更後の重要度リスト８００の一例を示す図である。重要度リスト８００は、図５に示す重要度リスト５００に対応し、図７（ｂ）に示す変更後の設定に対応している。重要度リスト８００おいては、撮影装置Ｂ２のカメラ番号「Ｂ２」に対付けられた注視点は、「Ｒ２」から「Ｒ１」に変更され、重要度は「中」から「高」に変更されている。

以上のように、本実施形態に係る画像生成システム１００においては、仮想視点画像の生成に利用される撮影画像を撮影する撮影装置１１０に故障が生じた場合においても、高品位な仮想視点画像を生成することができる。すなわち、仮想視点画像を生成するシステムにおいて障害が発生した場合においても、仮想視点画像の品質を維持することができる。

なお、第１の変形例としては、画像生成装置１２０は、撮影装置１１０の設定が変更された場合には、画像生成装置１２０を介して仮想カメラ操作部１３２に対し、その旨と、変更後の仮想カメラの操作可能範囲を通知することとしてもよい。

また、第２変形例としては、制御ステーション装置１３１は、注視点に基づいて変更対象の撮影装置１１０を決定すればよく、具体的な処理は実施形態に限定されるものではない。制御ステーション装置１３１は、注視点に応じた重要度に基づいて、変更対象のグループを決定し、グループにおいて任意の撮影装置１１０を変更対象として決定してもよい。この場合でも、注視点が異なる撮影装置１１０が選択されるため、仮想視点画像の品質を維持することができる。

（第２の実施形態）
次に、第２の実施形態に係る画像形成システムについて、第１の実施形態に係る画像形成装置と異なる点を主に説明する。第２の実施形態においては、制御ステーション装置１３１の設定部３１３は、設定変更のタイミングを制限する。

図９は、第２の実施形態に係る制御ステーション装置１３１による、設定監視処理を示すフローチャートである。なお、図９に示す設定監視処理の各処理のうち、図６を参照しつつ説明した第１の実施形態に係る設定監視処理の各処理と同一の処理には、同一の番号を付している。Ｓ６０４の処理の後、設定決定部３１２は、処理をＳ９０１へ進める。Ｓ９０１において、設定部３１３は、画像生成装置１２０から仮想視点の撮影方向を取得する。次に、Ｓ９０２において、設定部３１３は、仮想視点の撮影方向が、故障が生じた撮影装置１１０の注視点領域に含まれるか否かを判定する。設定部３１３は、仮想視点の撮影方向が注視点領域に含まれる場合には（Ｓ９０２でＹＥＳ）、処理をＳ９０１へ進める。設定部３１３は、仮想視点の撮影方向が注視点領域に含まれない場合には（Ｓ９０２でＮＯ）、処理をＳ６０５へ進める。

図１０は、Ｓ９０２の処理の説明図である。図１０に示す複数の撮影装置１１０の設定は、図４に示すのと同様であるまた、図１０に示す１００１，１００２，１００３は、注視点領域である。注視点領域は、予め定められた領域であり、注視点を基準とした領域である。本実施形態においては、注視点領域は、注視点を中心とする所定の長さの円とする。注視点領域１００１，１００２，１００３は、それぞれ注視点Ｒ１，Ｒ２，Ｒ３に対応する。また、図１０に示すＸ１，Ｘ２は、仮想視点である。

第１の実施形態において説明したように、撮影装置Ａ２が故障し、Ｓ６０４において、撮影装置Ｂ２の撮影方向を注視点Ｒ２から注視点Ｒ１へ変更することが決定されたとする。この場合には、Ｓ９０２において、設定部３１３は、設定が変更される撮影装置（撮影装置Ｂ２）の注視点に対応した注視点領域に、仮想視点の撮影方向が含まれるか否かを判定する。ここで、仮想視点は、画像生成装置１２０を介して、仮想カメラ操作部１３２から取得するものとする。Ｓ９０２の処理時点において、仮想視点が図１０に示すＸ２に設定されていた場合には、仮想視点Ｘ２は、設定変更前の撮影装置Ｂ２に対応した注視点領域１００２に含まれることから、設定変更が行われることなく、処理はＳ９０１へ進む。一方で、仮想視点がＸ１に設定されていた場合には、仮想視点Ｘ１は、設定変更前の撮影装置Ｂ２に対応した注視点領域１００２に含まれないことから、処理はＳ６０５へ進み、設定変更が行われる。なお、第２の実施形態に係る画像生成システム１００のこれ以外の構成及び処理は、第１の実施形態に係る画像生成システム１００の構成及び処理と同様である。

以上のように、第２の実施形態においては、撮影装置１１０の設定の変更タイミングを制御することで、撮影装置１１０の設定変更が仮想視点画像の画質に影響を及ぼすのを防ぐことができる。

（第３の実施形態）
次に、第３の実施形態に係る画像生成システム１００について、他の実施形態に係る画像生成システム１００と異なる点を主に説明する。第３の実施形態に係る画像生成システム１００においては、制御ステーション装置１３１は、撮影装置１１０の動作状況として、撮影装置１１０から画像生成装置１２０へ伝送される撮影画像のデータ量（伝送量）を監視する。そして、制御ステーション装置１３１は、データ量に応じて、画像生成システム１００が有する撮影装置１１０の設定を変更する。

図１１は、画像生成装置１２０による、重要度リスト更新処理を示すフローチャートである。なお、初期設定時には、重要度リストには、任意の値が設定されているものとする。なお、本実施形態においては、重要度は、重要度が高い順に１～６の６段階の値をとるものとする。重要度リスト更新処理は、例えば１秒に１回というように、定期的に実行されるものとする。Ｓ１１０１において、画像生成装置１２０の仮想視点受付部３０５は、仮想視点を受け付ける。次に、Ｓ１１０２において、仮想視点受付部３０５は、Ｓ１１０１において受け付けた仮想視点が、その直前に受け付けた仮想視点から変更されているか否かを判定する。仮想視点受付部３０５は、仮想視点が変更されている場合には（Ｓ１１０２でＹＥＳ）、処理をＳ１１０３へ進める。仮想視点受付部３０５は、仮想視点が変更されていない場合には（Ｓ１１０２でＮＯ）、重要度リスト更新処理を終了する。Ｓ１１０３において、重要度決定部３０７は、更新後の仮想視点に基づいて、重要度リストを更新する。次に、Ｓ１１０４において、通信制御部３０１は、Ｓ１１０３において更新された重要度リストを制御ステーション装置１３１へ送信する。以上で重要度リスト更新処理が完了する。

図１２及び図１３は、Ｓ１１０３、Ｓ１１０４の処理の説明図である。図１２は、画像生成システム１００が有する複数の撮影装置１１０の設置例を示す図である。複数の撮影装置１１０の設定は、図４に示すのと同様である。また、図１２に示すＹ１，Ｙ２は、仮想視点である。変更後の仮想視点がＹ１であったとする。この場合、仮想視点Ｙ１を含む注目点領域４１０に対応した撮影装置１１０、すなわち撮影装置Ａ１～Ａ６が重要度の更新対象となる。そして、重要度決定部３０７は、仮想視点の撮影方向と、仮想視点画像の利用形態と、に基づいて、撮影装置Ａ１～Ａ６の重要度を決定（更新）する。

ここで利用形態には、ライブ放送用及びリプレイ再生用があり、ユーザにより優先的に利用される形態が設定されるものとする。ライブ放送用では、リアルタイムでの仮想視点画像の生成が最も重要であり、リプレイ再生用では、一定時間後のハイライト画像生成が重要となる。このため、利用形態に応じて、重要度の決定方法が異なる。

図１３（ａ）は、仮想視点がＹ１に変更された場合の、更新後の重要度リスト１３１０の一例を示す図である。図１３（ｂ）は、仮想視点がＹ２に変更された場合の、更新後の重要度リスト１３２０の一例を示す図である。なお、図１３には、撮影装置Ａ１～Ａ６の重要度のみを示すが重要度決定部３０７が作成する重要度リストには、画像生成システム１００が有するすべての撮影装置１１０（撮影装置Ａ１～Ａ６、Ｂ１～Ｂ８、Ｃ１～Ｃ６）の重要度が含まれている。

仮想視点Ｙ１においては、ライブ放送用では、仮想視点Ｙ１の撮影方向と逆の向きから撮影された画像は、仮想視点画像を生成する上で重要度が低い。ライブ放送用では、その仮想視点以外の画像を生成することはないと想定され、逆の向きに関しては仮想視点画像の破たんが生じることがあっても影響が小さいからである。このため、図１３（ａ）に示すように、撮影装置Ａ４，Ａ３には、低い重要度が決定される。一方、リプレイ再生用においては、処理時点での仮想視点画像だけでなく、一定時間後の仮想視点画像の生成も考慮し、近接する撮影装置１１０の重要度が低くなるよう決定する。これは、仮想視点画像の生成に必要となる３次元モデルの生成のため、注視点領域を多方向から撮影する撮影装置１１０を確保することが重要となるためである。

図１４は、制御ステーション装置１３１による、設定監視処理を示すフローチャートである。設定監視処理は、例えば、１秒に１回というように、定期的に実行されるものとする。Ｓ１４０１において、通信制御部３１１は、仮想視点情報及び重要度リストを画像生成装置１２０から取得する。次に、Ｓ１４０２において、通信制御部３１１は、撮影装置１１０から画像生成装置１２０へ伝送される撮影画像のネットワークにおける伝送量を撮影装置１１０から取得する。次に、Ｓ１４０３において、設定決定部３１２は、Ｓ１４０２において取得した伝送量の合計、すなわち、画像生成装置１２０への伝送量に基づいて、伝送帯域の逼迫が予想されるか否かを判定する。具体的には、設定決定部３１２は、伝送量が閾値以上の場合に、逼迫が予想されると判定する。設定決定部３１２は、伝送量が閾値以上の場合には（Ｓ１４０３でＹＥＳ）、処理をＳ１４０４へ進める。設定決定部３１２は、伝送量が閾値未満の場合には（Ｓ１４０３でＮＯ）、設定監視処理を終了する。

Ｓ１４０４において、設定決定部３１２は、逼迫を防ぐために必要なデータの削減量を算出する。設定決定部３１２は、伝送可能帯域から伝送量を減算することで、削減量を得る。次に、Ｓ１４０５において、設定決定部３１２は、削減量と、重要度リストと、に基づいて、伝送停止の対象となる撮影装置１１０を選択する。例えば、図１３（ａ）の重要度リストを受信した場合には、撮影装置Ａ４が伝送停止の対象として決定される。なお、設定決定部３１２は、伝送帯域の逼迫が予想されない伝送量になるまで、１又は複数の撮影装置を決定する。次に、Ｓ１４０６において、設定部３１３は、選択した撮影装置による撮影画像の伝送を停止するよう制御する。例えば、設定部３１３は、変更対象の撮影装置１１０に設定を変更するための指示を、ネットワークを介して送信する。設定部３１３は、変更対象の撮影装置１１０に伝送量の制限を指示する。これに対応し、停止対象の撮影装置１１０は、設定部３１３からの指示に従い、画像生成装置１２０への撮影画像の伝送を停止する。なお、第３の実施形態に係る画像生成システム１００のこれ以外の構成及び処理は、他の実施形態に係る画像生成システム１００の構成及び処理と同様である。

以上のように、第３の実施形態においては、伝送量に応じて、撮影装置１１０からの伝送を停止することで、仮想視点画像の品位を維持することができる。

なお、変形例としては、第３の実施形態においても、コントローラ１３０は、第２の実施形態において説明したのと同様に、停止対象の撮影装置に対応する注視点領域に、仮想視点が含まれる場合には、Ｓ１４０６の制御を行わないようにしてもよい。また、Ｓ１４０６において、設定部３１３は、選択した撮影装置による撮影画像の伝送を停止するよう制御したが、伝送量を低減させるための制御を行ってもよい。例えば、設定部３１３は、変更対象の撮影装置に解像度を低下させた撮影画像の伝送を指示してもよい。また、設定部３１３は、変更対象の撮影装置に圧縮率を高めた符号化を行った撮影画像の伝送を指示してもよい。

また、上記実施形態の変形例としては、画像生成装置１２０とコントローラ１３０とは一体に設けられてもよい。この場合、一体となった装置が、重要度リストの生成と、撮影装置の状況の監視と及び設定の変更を行う。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像生成システム
１１０ 撮影装置
１２０ 画像生成装置
１３１ 制御ステーション装置

Claims (5)

1. 複数の撮影装置により撮影された撮影画像であって、仮想視点画像の生成に利用される撮影画像を、前記仮想視点画像を生成する画像生成装置へネットワークを介して伝送する画像処理システムにおいて、前記複数の撮影装置を制御する制御装置であって、
   ユーザ操作に応じて、ライブ放送用の仮想視点画像に係る仮想視点を設定する設定手段と、
   前記ネットワークにおける撮影画像の伝送量が閾値以上になった場合に、前記複数の撮影装置のうち、少なくとも前記設定手段により設定された仮想視点からの視線方向と反対方向に近い方向から撮影する撮影装置を変更対象として決定する決定手段と、
   前記決定手段により決定された前記変更対象の撮影装置により撮影された撮影画像の前記ネットワークにおける伝送を制限する制御手段と、を有し、
   前記制御手段は、
   前記変更対象の撮影装置の注視点を基準として定まる注視点領域に前記設定手段により設定された仮想視点が含まれない場合に、前記変更対象の撮影装置の撮影画像の伝送を制限するように制御することができ、
   前記注視点領域に前記設定手段により設定された仮想視点が含まれる場合に、前記変更対象の撮影装置の撮影画像の伝送を制限しないように制御することができる
   ことを特徴とする制御装置。
2. 前記決定手段は、前記仮想視点と、前記複数の撮影装置の設置位置と、前記複数の撮影装置の撮影方向とに基づいて、前記変更対象の撮影装置を決定することを特徴とする請求項１に記載の制御装置。
3. 前記制御手段は、前記変更対象の撮影装置により撮影された撮影画像の前記ネットワークにおける伝送を停止させるよう制御することを特徴とする請求項１又は２に記載の制御装置。
4. 複数の撮影装置により撮影された撮影画像であって、仮想視点画像の生成に利用される撮影画像を、前記仮想視点画像を生成する画像生成装置へネットワークを介して伝送する画像処理システムにおいて、前記複数の撮影装置を制御する制御装置が実行する制御方法であって、
   ユーザ操作に応じて、ライブ放送用の仮想視点画像に係る仮想視点を設定する設定ステップと、
   前記ネットワークにおける撮影画像の伝送量が閾値以上になった場合に、前記複数の撮影装置のうち、少なくとも前記設定ステップにより設定された仮想視点からの視線方向と反対方向に近い方向から撮影する撮影装置を変更対象として決定する決定ステップと、
   前記決定ステップにおいて決定された前記変更対象の撮影装置により撮影された撮影画像の前記ネットワークにおける伝送を制限する制御ステップと、を含み、
   前記制御ステップは、
   前記変更対象の撮影装置の注視点を基準として定まる注視点領域に前記設定ステップにより設定された仮想視点が含まれない場合に、前記変更対象の撮影装置の撮影画像の伝送を制限するように制御し、
   前記注視点領域に前記設定ステップにより設定された仮想視点が含まれる場合に、前記変更対象の撮影装置の撮影画像の伝送を制限しないように制御する
   ことを特徴とする制御方法。
5. コンピュータを、請求項１乃至３の何れか１項に記載の制御装置の各手段として機能させるためのプログラム。

Images