JP7121470B2 - 画像処理システム、制御方法、及び、プログラム - Google Patents

Description

本発明は、被写体を複数の方向から撮影するための複数のカメラを含む画像処理システムに関するものである。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高い臨場感を与えることが出来る。複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末に伝送を行うことで実現できる。

一方、特許文献１では、撮影対象の動きを検出し、その動きベクトルに合わせて撮影フレームレートや、閲覧端末での表示解像度を調整する技術が開示されている。

特開２００４－２００９８９号公報

仮想視点コンテンツの閲覧の際、例えばゴールなどのハイライトシーンについては、ゴールやゴールを決めた選手周囲などの特定エリアのより精細な画像が望まれ得る。このような特定エリアのより精細な仮想視点コンテンツを生成する際には、特定エリアを撮影するカメラの撮影画像が高画質であることが必要である。しかしながら、特許文献１のように、単純に撮影対象の動きに合わせて画質を上下させる構成を、複数のカメラを備えた画像処理システムに適用した場合、複数のカメラの画質が一律に変更されることになる。そのため、動きが大きい場合には複数のカメラの画質が一律に高くなり、画像処理サーバが過負荷となる可能性がある。逆に動きが小さい場合には、複数のカメラの画質が一律に低下し、サーバの処理能力を余らせ、不必要に画像品質を下げてしまう可能性がある。

本発明は、複数のカメラからの撮影画像に基づいて仮想視点画像を生成する画像処理システムにおいて、任意のエリアに対してより高い画像品質を提供可能にすることを目的とする。

本発明の一態様による画像処理システムは以下の構成を有する。すなわち、
被写体を複数の方向から撮影するための複数のカメラと、
前記複数のカメラによる撮影により取得される複数の撮影画像から仮想視点画像を生成する生成装置と、を有する画像処理システムであって、
前記複数のカメラから前記生成装置へ伝送されるデータ量を配分して決定される前記複数のカメラのそれぞれの伝送データ量に係るパラメータを決定する決定手段と、
前記複数のカメラのうち少なくとも一つのカメラの撮影設定および／または伝送設定を、前記決定手段で決定されたパラメータに基づいて制御する制御手段と、を有し、
前記制御手段は、前記複数のカメラのうち、撮影設定および／または伝送設定に変更が生じたカメラを選択して前記変更を通知し、
前記複数のカメラは、撮影画像の解像度の異なる第１のカメラと第２のカメラを含み、
前記決定手段は、前記パラメータが未決定である複数のカメラの各々のパラメータの決定において、撮影画像における被写体の領域の占有率が小さいカメラ順に、前記生成装置への伝送に利用可能なデータ量から前記占有率に従って割り当てられるデータ量を越えないようにフレームレートを設定することにより前記パラメータを決定し、当該複数のカメラのうち前記パラメータが未決定であるカメラのフレームレートの設定において、前記パラメータが決定されたカメラに対して前記占有率に従って割り当てられたデータ量と前記パラメータが決定されたカメラに対して設定されたフレームレートから特定されるデータ量との差を、前記生成装置への伝送に利用可能なデータ量に加えて当該カメラのフレームレートの設定を行う。

本発明によれば、複数のカメラからの撮影画像に基づいて仮想視点画像を生成する画像処理システムにおいて、任意のエリアに対してより高い画像品質を提供することが可能となる。

画像処理システムの構成例を示す図。 カメラアダプタの機能構成例を示すブロック図。 第１実施形態による制御ステーションの機能構成例を示すブロック図。 第１実施形態によるフレームレート調整の処理を示すフローチャート。 第１実施形態における注視点グループを説明する図。 第２実施形態による制御ステーションの機能構成例を示すブロック図。 第２実施形態によるフレームレート調整の処理を示すフローチャート。 第２実施形態における注視点グループを説明する図。 第３実施形態による制御ステーションの機能構成例を示すブロック図。 第３実施形態におけるフレームレート調整の処理を示すフローチャート。

以下に図面を参照して本発明の実施形態を詳細に説明する。ただし、本発明は以下の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。

＜第１実施形態＞
（画像処理システム）
競技場（スタジアム）やコンサートホールなどの施設に設置された複数のカメラ及びマイクを用いて撮影及び集音を行う実施形態の画像処理システムについて、図１のシステム構成図を用いて説明する。画像処理システム１００は、センサシステム１１０ａ～センサシステム１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。

コントローラ３００は制御ステーション３１０と仮想カメラ操作ＵＩ３３０を有する。制御ステーション３１０は画像処理システム１００を構成するそれぞれのブロックに対してネットワーク３１０ａ～３１０ｃ、１８０ａ、１８０ｂ、及び１７０ａ～１７０ｙを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。

最初に、センサシステム１１０ａ～センサシステム１１０ｚからの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作を説明する。第１実施形態の画像処理システム１００は、センサシステム１１０ａ～センサシステム１１０ｚがデイジーチェーンにより接続されている。

本実施形態において、特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのセンサシステムを区別せずセンサシステム１１０と記載する。それぞれのセンサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、本実施形態では、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

センサシステム１１０ａ～センサシステム１１０ｚは、それぞれ１台ずつのカメラ１１２ａ～カメラ１１２ｚを有する。即ち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士はデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果がある。なおこれに限らず、接続形態として、センサシステム１１０ａ～１１０ｚの各々がスイッチングハブ１８０に接続されて、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。

また、図１では、デイジーチェーンとなるようセンサシステム１１０ａ～１１０ｚの全てがカスケード接続されている構成を示したがこれに限定されるものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ１２０がスイッチングハブに接続されて画像コンピューティングサーバ２００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいてとくに有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合、たとえば、設置されたセンサシステム１１０からの画像を、フロア毎、あるいはスタジアムの半周毎に、画像コンピューティングサーバ２００へ入力することができる。したがって、全てのセンサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。

また、デイジーチェーン接続されて画像コンピューティングサーバ２００へ画像入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像コンピューティングサーバ２００への画像入力を行うカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成される。このため、画像コンピューティングサーバ２００において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１１０がグループに分割されていなければ、同期はとれる。

しかし、画像コンピューティングサーバ２００への画像入力を行うカメラアダプタ１２０が複数になる（センサシステム１１０がグループに分割される）場合は、それぞれのデイジーチェーンのレーン（経路）によって遅延が異なる場合が考えられる。そのため、画像コンピューティングサーバ２００において全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要がある。

センサシステム１１０ａはマイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、及びカメラアダプタ１２０ａを有する。なお、センサシステム１１０ａはこの構成に限定されるものではなく、少なくとも１台のカメラアダプタ１２０ａと、１台のカメラ１１２ａまたは１台のマイク１１１ａを有していれば良い。例えば、センサシステム１１０ａは１台のカメラアダプタ１２０ａと、複数のカメラ１１２ａで構成されてもよいし、１台のカメラ１１２ａと複数のカメラアダプタ１２０ａで構成されてもよい。即ち、画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０ａは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、及びカメラアダプタ１２０ａ以外の装置を含んでいてもよい。また、カメラ１１２とカメラアダプタ１２０が一体となって構成されていてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していてもよい。本実施形態では、センサシステム１１０ｂ～１１０ｚについては、センサシステム１１０ａと同様の構成とするが、全てのセンサシステム１１０がセンサシステム１１０ａと同じ構成である必要はなく、其々のセンサシステム１１０が異なる構成でもよい。

マイク１１１ａにて集音された音声と、カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、デイジーチェーン１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。同様にセンサシステム１１０ｂは、集音された音声と撮影された画像を、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。このような動作を続けることにより、センサシステム１１０ａ～センサシステム１１０ｚが取得した画像及び音声は、センサシステム１１０ｚからネットワーク１８０ｂを介してスイッチングハブ１８０に伝送される。そして、スイッチングハブ１８０から画像コンピューティングサーバ２００へ伝送される。

なお、本実施形態では、カメラ１１２とカメラアダプタ１２０が分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１は一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。

次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００はフロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、タイムサーバ２９０を有する。

タイムサーバ２９０は時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ～センサシステム１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ～１２０ｚは、それぞれ、カメラ１１２ａ～１１２ｚを時刻と同期信号をもとにＧｅｎｌｏｃｋさせ画像フレーム同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制することができる。なお、本実施形態ではタイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理をカメラ１１２又はカメラアダプタ１２０が独立して行ってもよい。

フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換する。フロントエンドサーバ２３０は、再構成されたデータを、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５０に書き込む。バックエンドサーバ２７０は、複数のカメラによる撮影画像から仮想視点画像を生成する。より具体的には、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。

なお、画像コンピューティングサーバ２００の構成はこれに限られるものではない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０および／または仮想カメラ操作ＵＩ３３０が有していてもよい。

レンダリング処理された仮想視点画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信され、表示される。こうしてエンドユーザ端末１９０を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴をすることが出来る。以上のように、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づいて仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ２７０は、例えば複数のカメラアダプタ１２０により複数のカメラ１１２による撮影画像から抽出された後述の所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。カメラアダプタ１２０による所定領域の抽出の詳細については後述する。

本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、
・ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）、
・複数の候補からユーザが指定した視点に対応する画像、
・装置が自動で指定した視点に対応する画像、
が含まれる。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。

バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ－ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信する。あるいは、バックエンドサーバ２７０は、仮想視点画像を非圧縮でエンドユーザ端末１９０へ送信する。とくに圧縮符号化を行う前者はエンドユーザ端末１９０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、バックエンドサーバ２７０は、エンドユーザ端末１９０の種別に応じて画像フォーマットを切り替えることが可能である。また、画像の送信プロトコルはＭＰＥＧ－ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やその他の送信方法が用いられても良い。

以上の様に、画像処理システム１００は、画像収集ドメイン、データ保存ドメイン、及び画像生成ドメインという３つの機能ドメインを有している。すなわち、画像収集ドメインはセンサシステム１１０～１１０ｚを含む。データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含む。画像生成ドメインは仮想カメラ操作ＵＩ３３０、エンドユーザ端末１９０、バックエンドサーバ２７０を含む。

なお上記の構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接、センサシステム１１０ａ～１１０ｚから画像を取得する事も可能である。しかしながら、本実施形態では、センサシステム１１０ａ～１１０ｚから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ２３０が、センサシステム１１０ａ～１１０ｚが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース２５０の共通スキーマ及びデータ型に変換している。これにより、センサシステム１１０ａ～１１０ｚのカメラ１１２が他機種のカメラに変化しても、変化した差分をフロントエンドサーバ２３０が吸収し、データベース２５０に登録することができる。このことによって、カメラ１１２が他機種カメラに変わった場合に、仮想カメラ操作ＵＩ３３０が適切に動作しない虞を低減できる。

また、仮想カメラ操作ＵＩ３３０は、直接、データベース２５０にアクセスせずにバックエンドサーバ２７０を介してアクセスする構成である。バックエンドサーバ２７０で画像生成処理に係わる共通処理が行われ、操作ＵＩに係わるアプリケーションの差分部分が仮想カメラ操作ＵＩ３３０で行われる。このことにより、仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスの開発、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このことによって仮想カメラ操作ＵＩ３３０の要求に柔軟に対応する事ができる。

このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影に基づく画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。

（カメラアダプタ）
本実施形態におけるカメラアダプタ１２０の機能ブロックについて図２を利用して説明する。カメラアダプタ１２０は、ネットワークアダプタ１２１、伝送部１２２、画像処理部１２３及び、外部機器制御部１２４を備える。

ネットワークアダプタ１２１は、デイジーチェーン１７０、ネットワーク２９１、ネットワーク３１０ａを介し、他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、制御ステーション３１０と時刻同期をとり、データ通信を行う。

伝送部１２２は、ネットワークアダプタ１２１を介してスイッチングハブ１８０等に対するデータの伝送を制御する機能を有する。具体的には、伝送部１２２は、
・ネットワークアダプタ１２１を介して送受信されるデータに対して所定の圧縮、伸張を行う機能と、
・伝送データのルーティングを決定し、送信を実行する機能と、
・他のカメラアダプタ１２０、フロントエンドサーバ２３０、制御ステーション３１０と送受信するデータに付与するメッセージを作成、または受け取ったメッセージに基づき所定の処理を実行する機能と、を有している。

メッセージには画像データ又は音声データ、及び各データのメタ情報が含まれる。本実施形態のメタ情報には画像の撮影または音声のサンプリングをした時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子などが含まれる。

画像処理部１２３は、外部機器制御部１２４の制御によりカメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受取った画像データに対して処理を行う機能を有する。その画像処理の１つである、前述の、カメラアダプタ１２０における所定領域の抽出の詳細について説明する。

画像処理部１２３は、カメラ１１２が撮影した撮影画像に対するオブジェクト検出の結果得られた画像を前景画像とし、これにより撮影画像を前景画像と背景画像に分離する機能を有している。所定領域は、例えば撮影画像に対するオブジェクト検出の結果得られる前景画像である。なお、オブジェクトとは、例えば人物である。ただし、オブジェクトが特定人物（選手、監督、及び／又は審判など）であっても良いし、ボールやゴールなど、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。

人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景領域を分離して処理することで、画像処理システム１００において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上できる。また、前景画像と背景画像の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。なお、所定領域は前景画像に限らず、例えば背景画像であってもよい。また、画像処理部１２３は、前景画像が撮影画像（分離前画像）に占める率（前景占有率）を算出する機能を有する。また、画像処理部１２３は、画像からオブジェクトの数を認識する機能を有する。また、画像処理部１２３は、画像から特定のオブジェクトを認識する機能を有する。

その他に、画像処理部１２３は、前述の画像処理により分離された前景画像及び他のカメラアダプタ１２０から受取った前景画像を利用して、例えば、
・ステレオカメラの原理を用いて三次元モデルに係わる画像情報を生成する機能、
・画像処理のために必要な種々のキャリブレーションを行う機能、
を有している。

外部機器制御部１２４は、カメラアダプタ１２０に接続する機器を制御する機能を有する。具体的には、
・カメラ１１２と接続し、カメラ１１２の制御、撮影画像の取得、同期信号の提供、時刻設定などを行う機能と、
・マイク１１１と接続し、マイク１１１の制御、収音の開始及び停止や収音された音声データの取得などを行う機能と、
・雲台１１３と接続し、雲台１１３のパン／チルト制御や状態取得などを行う機能と、
を有する。

また、外部機器制御部１２４は、外部センサ１１４と接続し、外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用される場合は、外部機器制御部１２４は、カメラ１１２の振動を表す情報を取得し、電子的に防振された画像データを生成することができる。その他、外部センサ１１４は、温度検知センサやＧＰＳセンサ、カメラ１１２とは異なる補助的な画像センサ等であっても良い。

（制御ステーション３１０）
本実施形態における制御ステーション３１０の機能構成について、図３を利用して説明する。制御ステーション３１０は、たとえば、ＣＰＵおよびメモリを有するコンピュータ装置であり、図３に示される各機能部は、ＣＰＵがメモリに格納されたプログラムを実行することで実現され得る。ただし、各機能部の一部またはすべてが専用のハードウエアで実現されてもよい。なお、図３では、制御ステーション３１０が有する機能ブロックのうち、カメラアダプタ１２０に対する撮影パラメータ、伝送の制御に関わる部分について示している。ここで撮影パラメータとは、カメラ１１２のフレームレートや解像度である。このほかにも制御ステーション３１０は、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０の制御や、その制御のために必要な種々の情報を保持する機能などを有するが、ここでは図示を省略する。以下、制御ステーション３１０が有するカメラアダプタ制御部７１０、ユーザ入力受付部７２０、対象情報保持部７３０、機器情報保持部７４０及び要求情報保持部７５０について説明する。

まず、カメラアダプタ制御部７１０の機能ブロックについて説明する。通信制御部７１１は、撮影で得られた情報をカメラアダプタ１２０からスイッチングハブ１８０を介して受信する。また通信制御部７１１は、カメラアダプタ１２０がそれに接続される外部機器を制御するための情報を、送信情報作成部７１５から受け取り、該当するカメラアダプタ１２０に送信する機能を有する。

占有率集計部７１２は、画像処理システム１００内の複数のカメラアダプタ１２０から受信した前景画像の占有率（前景占有率データ）を集計する。撮影パラメータ作成部７１３は、集計された占有率に基づいて、カメラアダプタ１２０がそれに接続されるカメラ１１２を制御するために必要な撮影パラメータ（たとえば、フレームレート、解像度など）を作成する。伝送制御情報作成部７１４は、集計された占有率に基づいてカメラアダプタ１２０が伝送を制御するために必要な伝送制御情報（たとえば伝送圧縮率など）を作成する。送信情報作成部７１５は、撮影パラメータ作成部７１３および伝送制御情報作成部７１４で作成された情報を受け取り、各々のカメラアダプタ１２０について制御の変更が必要かどうかを判断する。そして、送信情報作成部７１５は、制御の変更が必要と判断したカメラアダプタ１２０に送信するための送信情報（撮影パラメータおよび伝送制御情報）を作成する。カメラアダプタ制御部７１０は、通信制御部７１１を介してこの送信情報を必要なカメラアダプタ１２０へ送信することにより、カメラ１１２の撮影設定および伝送部１２２の伝送設定を制御する。

ユーザ入力受付部７２０は、撮影のために必要な撮影対象情報、機器情報、撮影操作要求情報をユーザから受け付ける機能を有する。ユーザ入力受付部７２０で受け付けた撮影対象情報、機器情報、撮影操作要求情報は、それぞれ、対象情報保持部７３０、機器情報保持部７４０及び要求情報保持部７５０に保持される。また対象情報保持部７３０、機器情報保持部７４０、要求情報保持部７５０は、必要に応じて、カメラアダプタ制御部７１０、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０の制御を行う機能ブロック（不図示）と通信を行う。

ここで撮影対象情報とは、撮影範囲に含まれる人、物、施設、音源、照明に関する、形状や配置などの情報である。機器情報とは、カメラ、雲台、レンズ及びマイク等の撮影機材、ＬＡＮ、ＰＣ、サーバ及びケーブル等の情報機器、及び中継車に関する、機種名やスペック、特性値、さらに配置などの情報を指す。また撮影操作要求情報とは、予めもしくは撮影中にユーザが要求する、各種機材の制御値や制御方法に関する要求情報である。ただし必ずしもこれらすべての情報が入力されなければならないわけではない。またこれらの情報は、ユーザ入力に依らず、自動的に取得されるのでも良い。

（カメラアダプタ制御部７１０における撮影パラメータ、伝送調整）
以下では本実施形態において、カメラアダプタ制御部７１０が、前景占有率の集計から送信情報を送信するまでの処理について、図４のフローチャートを用いて説明する。本実施形態では、制御ステーション３１０が、複数のカメラから仮想視点画像を生成する画像コンピューティングサーバ２００へ伝送される全データ量を、前景占有率に基づいて複数のカメラの各々に配分し、各カメラの伝送データ量を決定する。ここで、前景占有率に基づいて複数のカメラの各々に配分されるため、各カメラの伝送データ量は不均一になり得る。そして、制御ステーション３１０が、複数のカメラの各々の撮影設定および／または伝送設定を、決定された伝送データ量に基づいて制御する。本実施形態では、伝送データ量をフレームレートにより制御する例が示される。以下、より具体的に説明する。

カメラアダプタ１２０は、カメラ１１２で得られた画像について、前景占有率、すなわち前景画像の分離前画像に対する画素占有率を算出する（Ｓ４０１）。ここで前景画像のなかでも、たとえば選手やボールなど、特に被写体として注目されるオブジェクトに限定して占有率を算出するようにしても良い。

占有率集計部７１２は、画像処理システム１００内の全てのカメラアダプタ１２０から前景占有率を受信し、集計し、複数のカメラ１１２間の前景占有率比を算出する（Ｓ４０２）。算出された前景占有率比に基づいて、撮影パラメータ作成部７１３は、カメラごとに、その後の撮影フレームレートを算出する（Ｓ４０３）。具体的には、前景占有率が大きいカメラほど高いフレームレートが決定される。ただし、全デイジーチェーンを介して画像コンピューティングサーバ２００に集結される画像データ量が画像コンピューティングサーバ２００で処理可能なデータ量の最大以下かつ最大近傍となるように、各カメラのフレームレートが決定される。

たとえば、カメラがカメラ１１２ａ～１１２ｃの全３台とした場合に、前景占有率の比がＡ：Ｂ：Ｃだったとする。このときのカメラ１１２ａのフレームレート目安値Ｆａは、Ｄを画像コンピューティングサーバ２００における１秒当たりの許容最大データ量、Ｅａをカメラ１１２ａの１フレームあたりのデータ量（解像度）として、以下の（１）式で求められる。
Ｆａ＝（Ｄ×Ａ／（Ａ＋Ｂ＋Ｃ））／Ｅａ ...（１）
ここでＦａは目安値であり、実際にカメラ１１２ａに割り当てるフレームレートＦａ'は、目安値Ｆａ以下かつカメラ１１２ａで制御設定可能な整数値とする。

この際に、機器情報保持部７４０が保持するカメラ１１２ａの制御設定可能な値を参照する。Ｆａ≠Ｆａ'の場合、（Ｆａ－Ｆａ'）×Ｅａの分だけ、カメラ１１２ａは本来使用可能なデータ量を余してしまうことになる。そこで、（Ｆａ－Ｆａ'）×Ｅａを、他のカメラ１１２ｂまたは１１２ｃのフレームレート算出の際に加えることができる。従って、前景占有率が低いものから優先してフレームレートを算出すれば、前景占有率が高いカメラに、より高いフレームレートを割り当てることが可能になる。あるいは、フレームレートの下限値を設けて、それ以上となるように前景占有率が低いものからフレームレートを割り当てることにより、最低画像品質を保証するようにしてもよい。

送信情報作成部７１５は、上記によって決定されたフレームレートが、カメラ１１２における現在のフレームレートと異なるか否かを確認する（Ｓ４０４）。フレームレートが現在値と異なる場合、送信情報作成部７１５は、該当するカメラアダプタ１２０に送信する制御情報を作成し（Ｓ４０５）、該当するカメラアダプタ１２０に送信する（Ｓ４０６）。すなわち、複数のカメラのうち、撮影設定および／または伝送設定に変更が生じたカメラに対してのみ変更が通知される。なお、上記では、フレームレートの設定を変更する例を示したが、解像度の設定または圧縮率の設定を変更するようにしてもよい。あるいは、フレームレート、解像度、圧縮率のうちの２つ以上の組み合わせを変更するようにしてもよい。

なお、上記ではカメラ１１２ごとに撮影パラメータの設定（撮影設定）および／または伝送に関する調整（伝送設定）を行ったがこれに限られるものではない。複数のカメラ１１２を１つ以上のカメラからなる複数のカメラグループに分割し、カメラグループごとに撮影設定および／または伝送に関する調整を行うようにしてもよい。たとえば、画像処理システム１００内に複数の注視点グループが存在する場合に、撮影パラメータ、伝送に関する調整を、注視点グループごとに調整するようにしても良い。ここで注視点グループとは、光軸が同じ注視点を向くように設置された１つ以上のカメラ１１２からなるカメラグループである。すなわち、複数のカメラのうち注視点が共通であるカメラにより構成されるカメラグループである。なお、注視点グループは、光軸が同じ領域を向くように設置された１つ以上のカメラ１１２からなるカメラグループであってもよい。また、注視点グループは、共通の領域を撮影可能な撮影範囲が設定されている１つ以上のカメラ１１２からからなるカメラグループとしてもよい。

図５は注視点５０２Ａと注視点５０２Ｂの２つの注視点５０２が設定され、９台のカメラ（１１２ａ～１１２ｉ）が設置された場合の例である。４台のカメラ（１１２ａ、１１２ｃ、１１２ｅ及び１１２ｇ）は、注視点５０２Ａを向いており、注視点グループ５０１Ａに属する。また、残りの５台のカメラ（１１２ｂ、１１２ｄ、１１２ｆ、１１２ｈ及び１１２ｉ）は、注視点５０２Ｂを向いており、注視点グループ５０１Ｂに属する。また破線で示される範囲エリアＡ、エリアＢは、各注視点グループに属するカメラの共通撮影範囲の概略である。たとえばエリアＡに存在するオブジェクトについて仮想視点画像を作成するためのデータは、注視点グループ５０１Ａに属する４台のカメラ（１１２ａ、１１２ｃ、１１２ｅ及び１１２ｇ）から取得される。このように注視点によってカメラ１１２がグループ化される場合、その注視点グループごとに仮想視点画像を生成する目的の撮影範囲は共通する。そのため、各注視点グループに属する複数のカメラ１１２のうち、代表的ないくつかのカメラ１１２を選出して前景占有率を算出し、その結果に基づき前述のフレームレート調整を、注視点グループごとに行ってもよい。これにより、カメラアダプタ制御部７１０における調整決定までの計算量を削減することが出来る。

また、この場合、画像処理システム１００は、Ｓ４０２において各注視点グループで撮影可能なオブジェクトの数を計算し、その数に応じて注視点グループごとにフレームレート調整を行ってもよい。具体的には、画像処理システム１００は、よりオブジェクトの数が多い注視点グループほど、フレームレートを高くする。このようにすることで、画像処理システム１００は、オブジェクトの数が多い注視点グループにより撮影された画像に基づいて生成する仮想視点画像ほど高画質にすることができる。また、画像処理システム１００は、Ｓ４０２において特定のオブジェクト（例えば、ボール、特定の人物）が存在するまたは特定のオブジェクトから近い注視点を有する注視点グループを判定し、その判定結果に応じてフレームレート調整を行ってもよい。具体的には、画像処理システム１００は、特定のオブジェクトが存在するまたは特定のオブジェクトから近い注視点を有する注視点グループほど、フレームレートを高くする。このようにすることで、画像処理システム１００は、注目すべきオブジェクトを撮影可能な注視点グループにより撮影された画像に基づいて生成する仮想視点画像ほど高画質にすることができる。

以上のように、第１実施形態では、前景占有率に基づいて、カメラごと、あるいはカメラグループごとに伝送データ量が不均一に配分され、フレームレートが調整される。これにより、前景占有率が高いところ、すなわち被写体として注目を集めるオブジェクト（たとえば選手など）が画像内により多く写っているところほど精細で高画質な仮想視点画像を生成することが可能である。また、これにより、注目を集めるオブジェクトを（より多く）撮影可能な注視点グループにより撮影された画像に基づいて生成する仮想視点画像ほど精細で高画質にすることができる。また、前景占有率に対するフレームレートを、あらかじめ取り決めた固定的比例とせず、画像処理システム内の全カメラの集計結果に基づき算出することで、画像コンピューティングサーバの能力を余すことなく最大限活用した画像品質の実現が可能になる。なお、前景画像のデータ量ではなく、占有率に基づくとするのは、カメラ毎に解像度が異なる場合であってもその影響を受けず、前景の画像内における分量を比較することが可能だからである。

また上記では撮影パラメータ、伝送データ量の調整としてフレームレートの決定について述べたがこれに限られるものではない。たとえば、前景占有率に基づき、解像度や伝送圧縮率を調整することによって、各々のカメラアダプタ１２０から画像コンピューティングサーバ２００に送信されるデータ量の配分を調整するようにしても良い。また例えばフィールド競技において、選手がフィールド上の一部に偏って背景画像しか写らないなど、前景画像がゼロとなるカメラが存在する場合は、当該カメラからの伝送を行わないとしても良い。またそれら複数の調整を組み合わせても良い。また、カメラグループは、注視点グループに限られるものではなく、複数のカメラのうち撮影方向が所定の範囲に含まれるカメラで構成されてもよい。

＜第２実施形態＞
図６、図７、図８を用いて第２実施形態を説明する。第１実施形態では、撮影画像中の前景占有率に基づいて各カメラの撮影設定および／または伝送設定を決定することにより、たとえば、フレームレート、解像度、伝送圧縮率を制御した。第２実施形態では、マイク１１１から得られた音データに基づいて、各カメラの撮影設定および／または出力設定を決定する。すなわち、第２実施形態では、複数のカメラによる撮影空間における複数の箇所で集音を行い、集音された音データに基づいて得られる撮影空間における音の分布に基づいて複数のカメラの各々の伝送データ量の（不均一な）配分を決定する。なお、第２実施形態では、複数の注視点グループ（カメラグループ）が存在する場合について説明する。

図６は第２実施形態に係る制御ステーション３１０の機能ブロック図、図７は第２実施形態に係るカメラアダプタ制御部７１０が、カメラアダプタ１２０に対して行う撮影パラメータ、伝送の調整制御についてのフローチャートである。なお第１実施形態と同様の役割をなす機能ブロック、処理ステップ等については同符号を付してある。また図８は図５同様、２つの注視点グループ（５０２Ａ、５０２Ｂ）をもつ画像処理システム１００の概略図である。

第２実施形態において、カメラアダプタ１２０ａ～１２０ｉ（図８）の各々は、接続されているマイク１１１ａ～１１１ｉ（図８）により集音された音の強度、方向などの情報を得る（図７Ｓ７０１）。なお、集音した音のうち、周波数解析を行い、特定の声や楽器音に限定して音の強度、方向などの情報を得るようにしてもよい。

強度比算出部８１１は、画像処理システム１００内の全てのカメラアダプタ１２０ａ～１２０ｉ（図８）からの集音情報を受信、結合処理し、撮影対象内の空間的な音強度分布を算出する（Ｓ７０２）。たとえば、ステージ上などの空間範囲について、各箇所で生じた音の強度を３次元的に把握する。具体的には、マイク１１１としてたとえば指向性マイクやステレオマイクなどを用い、音強度分布を３次元的に把握する。次に強度比算出部８１１は、図８のエリアＡ、Ｂ内で生じた音強度を各々合算し、エリア間の音強度比を算出する（Ｓ７０３）。エリア間の音強度比に基づき、撮影パラメータ作成部７１３は、注視点グループごとのフレームレートを算出する（Ｓ７０４）。たとえば、（１）式を用いてフレームレートを算出することができる（Ａ：Ｂ：Ｃを音強度比とする）。以降の処理（Ｓ４０４～Ｓ４０６）は第１実施形態と同様である。

なお、第２実施形態では複数のカメラアダプタ１２０の各々にマイク１１１が接続された場合について述べたが、マイク１１１がカメラアダプタ１２０とは分離されたシステムを形成し、撮影空間の音強度分布を３次元的に把握するのであってもよい。

以上のように、第２実施形態では、音の強度分布に基づいて各カメラのフレームレート、解像度、伝送圧縮率が調整される。これにより、第２実施形態では、カメラ間で前景占有率に大きな差は生じないが、被写体として注目される対象が移り変わるような場合にも、注目される撮影範囲ほど精細な仮想視点画像を生成することが可能である。たとえば、演劇において、前景となる多くの役者が舞台上に存在する中で、セリフを発している役者周辺に比重を置いて（伝送データ量が大きくなるようにフレームレート、解像度、伝送圧縮率を決定して）画像品質を高めたい場合に有効である。あるいは、オーケストラにおいて、やはり前景となる多くの奏者が常時固定的に存在する中で、演奏のメインパート奏者に比重を置いて画像品質を高めたい場合において有効である。

＜第３実施形態＞
図９、図１０を用いて第３実施形態の説明をする。第３実施形態では、オブジェクトの空間的な位置を示す位置情報に基づいて複数のカメラへの伝送データ量の（不均一な）配分を決定し、各カメラの撮影設定および／または出力設定を決定する。第３実施形態においても、第２実施形態と同様に複数の注視点グループが存在する場合について説明する。図９は第３実施形態に係る制御ステーション３１０の機能ブロック図である。図１０は第３実施形態に係る制御ステーション３１０が、カメラアダプタ１２０に対して行う撮影パラメータ、伝送の調整制御についてのフローチャートである。なお第１、第２実施形態と同様の役割をなす機能ブロック、フロー等については同符号が用いられている。

第３実施形態においては、被写体として注目されるオブジェクト（たとえば選手や監督、ボールなど）それぞれにＧＰＳ発信部９１１が設けられている。ＧＰＳ受信部９１２は、ＧＰＳ発信部９１１からのオブジェクトの位置情報を受信する（Ｓ９０１）。統合部９１３は、ＧＰＳ受信部９１２で受信した全オブジェクトの位置情報と、対象情報保持部７３０から得た撮影空間情報（たとえばフィールド空間情報）を統合し、選手などのオブジェクトのフィールド上の位置を把握する（Ｓ９０２）。次に分布比算出部９１４は、各注視点グループのエリアごとにオブジェクトの数をカウントし、エリア間のオブジェクト数の比を算出する（Ｓ９０３）。エリア間のオブジェクト分布比に基づき、撮影パラメータ作成部７１３は、注視点グループごとのフレームレートを算出する（Ｓ９０４）。たとえば、（１）式を用いてフレームレートを算出することができる（Ａ：Ｂ：Ｃをオブジェクト数の比とする）。以降の処理（Ｓ４０４～Ｓ４０６）は第１実施形態と同様である。

このように、ＧＰＳを用い、オブジェクト分布比に基づいて各カメラのフレームレート他、解像度や伝送を調整することで、前景占有率の算出が不要になり、より直接的に被写体として注目される対象の分布を把握することが出来る。たとえば、カメラと複数のオブジェクトが偶然直線的に並び、多くのオブジェクトがその撮影範囲に存在するにも関わらず、カメラからみたオブジェクトが重なりあい前景占有率が低く算出されるような場合でも、正確に対象の分布を把握できる。またさらに、ＧＰＳの個体識別を用いれば、画像による個体識別を行わなくとも、オブジェクトの中でも特定の選手やボールの位置を把握可能であり、それらオブジェクトを含むエリアに比重を置いて撮影パラメータや伝送を調整することも容易になる。

以上、第１~第３実施形態により、前景占有率、音強度、ＧＰＳの利用によって、被写体として注目されるオブジェクトの分布を把握し、カメラごと（カメラグループごと）の撮影設定および／または伝送設定を制御する構成を説明した。この他にも、カメラ１１２で得られる画像について、画像上で生じた動的変化量を検出し、変化量が大きいところ、たとえば選手が激しく動き回っているエリアに比重を置いて、撮影設定および／または伝送設定の調整を行うようにしてもよい。またカメラアダプタに接続された外部センサ１１４として、赤外線カメラやその他の温度検知センサを用い、被写体が発生する熱を検知して撮影対象内の生体分布を把握し、これに基づいて撮影設定および／または伝送設定を制御するようにしてもよい。

さらに、上述のように自動検出結果を元に比重を決定するのではなく、ユーザの要求にしたがって各カメラ（各カメラグループ）への伝送データ量の配分を決定し、撮影設定および／または伝送設定を制御するようにしてもよい。たとえば、ユーザが、撮影中にリアルタイムでより精細な仮想視点画像を要求する箇所を選択すると、その選択された個所を撮影するカメラ（カメラグループ）により多くの伝送データ量が配分され、撮影設定や伝送設定の調整が行われる。ここで、ユーザとは、たとえば、本画像処理システムを運用するユーザ、仮想視点画像を生成しようとするユーザ、あるいは仮想視点画像を視聴するユーザである。

またあらかじめ、時間による各エリアの比重の変化をプログラムして制御ステーション３１０に入力し、それに従って上述の調整を行ってもよい。これは、たとえば演劇、フィギュアスケートやシンクロナイズドスイミングなど、あらかじめ被写体の動きが決まっている場合などで有効である。また、あらかじめ各カメラグループの優先度を決めておき、優先度が高いカメラグループに属するカメラの伝送データ量が、優先度が低いカメラグループに属するカメラの伝送データ量よりも大きくなるように、各カメラの伝送データ量を決定してもよい。具体的には、各カメラグループの優先度の比を用いて、第１実施形態（（１）式）で説明したような手法で、各カメラグループへのデータ量の配分を決定することができる。

また、上述したいくつかの比重の調整方法（各エリアの伝送データ量の調整方法）を組み合わせてもよい。たとえばスポーツイベントで、開会式では音強度に基づき、競技中は前景占有率に基づくなど、タイムスケジュールに合わせて切り替えるのでも良いし、いくつかのオブジェクトの自動検出を同時併用しても良い。

さらに前述の注視点を元にしたグルーピングではなく、それ以外のグルーピング法則によって形成したカメラグループごとに前述の調整を行うようにしても良い。たとえば、作成しようとする仮想視点の方向が事前、もしくは即時的に判断可能な場合であれば、その視点方向からの画像を取得するカメラ同士をグルーピングして、撮影パラメータや伝送の比重を高くするよう調整してもよい。あるいは、日射や照明状況を考慮して、順光または逆光となるカメラ同士をグルーピングするようにしてもよい。また、雨の降り方によってカメラレンズに雨粒などが当たる頻度がカメラの設置箇所によって異なる場合、その頻度ごとにグルーピングを行い、頻度が高いところほどフレームレートを上げ、雨粒などの画像ノイズを除去しやすくするようにしてもよい。

また撮影中にそれらのグルーピング法則を切り替えるようにしてもよい。たとえば通常時は注視点を元にグルーピングされており、要求があった場合だけ、前述の仮想視点方向に即したグルーピングに切り替えても良い。また天候の変化に合わせて、前述の日射を基準とするグルーピングから降雨を基準とするグルーピングに切り替えることにより、天候に合わせた最適な調整方法を適用することが可能になる。

また上記各実施形態では、オブジェクトの分布を把握する処理から、カメラまたはカメラグループごとの撮影設定、伝送設定までを一括して制御ステーション３１０で行うとしたがこれに限られるものではない。たとえば、それらの処理の一部またはすべてを、カメラアダプタ１２０、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０のいずれかで行ってもよい。

以上、上述した実施形態によれば、複数のカメラ１１２を有する画像処理システム１００において、システムの画像処理能力を最大限生かしながら、任意の撮影範囲に対して画質を高めた仮想視点画像を得るための撮影コントロールが可能である。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０：センサシステム、１１１：マイク、１１２：カメラ、１１３：雲台、１２０：カメラアダプタ、１８０：スイッチングハブ、１９０：エンドユーザ端末、２３０：フロントエンドサーバ、２５０：データベース、２７０：バックエンドサーバ、２９０：タイムサーバ、３１０：制御ステーション、３３０：仮想カメラ操作ＵＩ、７１０：カメラアダプタ制御部、７２０：ユーザ入力受付部、７３０：対象情報保持部、７４０：機器情報保持部、７５０：要求情報保持部

Claims (22)

1. 被写体を複数の方向から撮影するための複数のカメラと、
   前記複数のカメラによる撮影により取得される複数の撮影画像から仮想視点画像を生成する生成装置と、を有する画像処理システムであって、
   前記複数のカメラから前記生成装置へ伝送されるデータ量を配分して決定される前記複数のカメラのそれぞれの伝送データ量に係るパラメータを決定する決定手段と、
   前記複数のカメラのうち少なくとも一つのカメラの撮影設定および／または伝送設定を、前記決定手段で決定されたパラメータに基づいて制御する制御手段と、を有し、
   前記制御手段は、前記複数のカメラのうち、撮影設定および／または伝送設定に変更が生じたカメラを選択して前記変更を通知し、
   前記複数のカメラは、撮影画像の解像度の異なる第１のカメラと第２のカメラを含み、
   前記決定手段は、前記パラメータが未決定である複数のカメラの各々のパラメータの決定において、撮影画像における被写体の領域の占有率が小さいカメラ順に、前記生成装置への伝送に利用可能なデータ量から前記占有率に従って割り当てられるデータ量を越えないようにフレームレートを設定することにより前記パラメータを決定し、当該複数のカメラのうち前記パラメータが未決定であるカメラのフレームレートの設定において、前記パラメータが決定されたカメラに対して前記占有率に従って割り当てられたデータ量と前記パラメータが決定されたカメラに対して設定されたフレームレートから特定されるデータ量との差を、前記生成装置への伝送に利用可能なデータ量に加えて当該カメラのフレームレートの設定を行うことを特徴とする画像処理システム。
2. 前記決定手段は、前記複数のカメラを１つ以上のカメラからなる複数のカメラグループに分割し、カメラグループごとに前記伝送データ量を決定することを特徴とする請求項１に記載の画像処理システム。
3. 前記カメラグループは、前記複数のカメラのうち注視点が共通であるカメラにより構成されることを特徴とする請求項２に記載の画像処理システム。
4. 前記カメラグループは、前記複数のカメラのうち、撮影方向が所定の範囲に含まれるカメラにより構成されることを特徴とする請求項２に記載の画像処理システム。
5. 前記決定手段は、撮影中に、前記複数のカメラを前記複数のカメラグループに分割するときのグルーピング法則を変更することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理システム。
6. 前記制御手段は、前記複数のカメラのうち少なくとも一つのカメラにおける撮影のフレームレートを制御することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
7. 前記制御手段は、前記複数のカメラのうち少なくとも一つのカメラにおける撮影の解像度を制御することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。
8. 前記制御手段は、前記複数のカメラのうち少なくとも一つのカメラから前記生成装置への画像の伝送圧縮率を制御することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理システム。
9. 前記制御手段は、前記複数のカメラのうちの少なくとも一つのカメラから前記生成装置への画像の伝送を停止することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理システム。
10. 前記被写体を検出する検出手段をさらに有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
11. 前記検出手段は、撮影画像から前記被写体の領域を検出することを特徴とする請求項１０に記載の画像処理システム。
12. 前記検出手段は、前記複数のカメラによる撮影空間における複数の箇所で集音を行い、
    前記決定手段は、前記検出手段で集音された音データに基づいて得られる前記撮影空間における音の分布に基づいて前記複数のカメラのうち少なくとも一つのカメラの伝送データ量を決定することを特徴とする請求項１０または１１に記載の画像処理システム。
13. 前記検出手段は、被写体の位置情報を取得し、
    前記決定手段は、前記被写体の前記位置情報に基づいて前記複数のカメラのうち少なくとも一つのカメラの伝送データ量を決定することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理システム。
14. 前記検出手段は、前記複数のカメラによる撮影画像から被写体の動きを検出し、
    前記決定手段は、前記検出手段で検出された被写体の動きに基づいて前記複数のカメラのうち少なくとも一つのカメラの伝送データ量を決定することを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理システム。
15. 前記検出手段は、被写体から発生する熱を検出し、
    前記決定手段は、前記検出手段で検知された熱に基づいて複数のカメラのうち少なくとも一つのカメラの伝送データ量を決定することを特徴とする請求項１０乃至１４のいずれか１項に記載の画像処理システム。
16. 前記決定手段は、あらかじめ定められたプログラムに従って、複数のカメラのうち少なくとも一つのカメラの伝送データ量を変更することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
17. 前記決定手段は、ユーザからの要求に応じて、複数のカメラのうち少なくとも一つのカメラの伝送データ量を変更することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
18. 前記複数のカメラから前記生成装置へ伝送されるデータ量は、前記生成装置が処理可能なデータ量の最大以下となるように設定されることを特徴とする請求項１乃至１７のいずれか１項に記載の画像処理システム。
19. 前記複数のカメラから前記生成装置へ伝送されるデータ量は、前記生成装置が処理可能なデータ量の最大以下かつ最大近傍となるように設定されることを特徴とする請求項１乃至１８のいずれか１項に記載の画像処理システム。
20. 前記決定手段は、優先度が高いカメラグループに属するカメラの伝送データ量が、優先度が低いカメラグループに属するカメラの伝送データ量よりも大きくなるように、カメラの伝送データ量を決定することを特徴とする請求項２に記載の画像処理システム。
21. 被写体を撮影し、仮想視点画像の生成に用いられる複数の撮影画像を取得する複数のカメラを制御する制御方法であって、
    前記複数のカメラから伝送されるデータ量を配分して決定される前記複数のカメラのそれぞれの伝送データ量に係るパラメータを決定する決定工程と、
    前記複数のカメラのうち少なくとも一つのカメラの撮影設定および／または伝送設定を、前記決定工程で決定されたパラメータに基づいて制御する制御工程と、を有し、
    前記制御工程において、前記複数のカメラのうち、撮影設定および／または伝送設定に変更が生じたカメラが選択され、前記選択されたカメラに前記変更が通知され、
    前記複数のカメラは、撮影画像の解像度の異なる第１のカメラと第２のカメラを含み、
    前記決定工程において、前記パラメータが未決定である複数のカメラの各々のパラメータの決定において、撮影画像における被写体の領域の占有率が小さいカメラ順に、伝送に利用可能なデータ量から前記占有率に従って割り当てられるデータ量を越えないようにフレームレートを設定することにより前記パラメータが決定され、当該複数のカメラのうち前記パラメータが未決定であるカメラのフレームレートの設定において、前記パラメータが決定されたカメラに対して前記占有率に従って割り当てられたデータ量と前記パラメータが決定されたカメラに対して設定されたフレームレートから特定されるデータ量との差を、前記伝送に利用可能なデータ量に加えて当該カメラのフレームレートの設定が行われることを特徴とする制御方法。
22. 請求項２１に記載された制御方法の各工程をコンピュータに実行させるためのプログラム。

Images