JP7281923B2 - 制御装置、画像処理システム、制御方法及びプログラム - Google Patents

Description

本発明は制御装置、画像処理システム、制御方法及びプログラムに関し、特に複数の撮像装置で被写体の撮像を行うシステムに関する。

複数の撮像装置がそれぞれ異なる位置に設置され、それぞれ異なる視点から被写体の撮像を行うマルチカメラシステムが知られている。また、複数の視点において同期して撮像を行うことにより得られた複数視点画像を用いて、仮想視点コンテンツを生成する技術が注目されている。このような技術によれば、スポーツシーンなどを様々な位置（仮想視点）から視聴することが可能になり、ユーザの臨場感を高めることができる。

複数の位置における撮像が行われるシステムにおいては、撮像部の数に応じてシステム全体で生成される画像データ量が大きくなる。特許文献１は、複数の撮像部を有する多眼カメラにおいてデータ量を抑制するために、撮影モードが近景撮影モードか遠景撮影モードかに応じて、選択された撮像部による撮像画像を間引くことを開示している。

特開２０１３－９８７３９号公報

スポーツシーンのような空間的に大きいシーンの撮像を行う場合、大規模なマルチカメラシステムが構築される。この場合、システム全体で生成される画像データ量はより大きくなる。特に、システム内のネットワークを介して画像データを転送する場合、画像データのビットレートが伝送帯域幅を超えてしまい、意図しない画像データの欠損が生じる可能性がある。

本発明は、複数の撮像装置によって撮像された画像に基づいて仮想視点コンテンツを生成する構成において、仮想視点コンテンツの品質低下を抑制しながら画像データ量を削減することを目的とする。

本発明の目的を達成するために、例えば、本発明の制御装置は以下の構成を備える。すなわち、
それぞれ異なる視点から被写体の撮像を行う複数の撮像装置を備える画像処理システムが有する制御装置であって、
前記複数の撮像装置は、１つの撮像装置と、前記１つの撮像装置とは他の撮像装置とを含み、
前記被写体の位置を取得する取得手段と、
前記被写体の位置から前記１つの撮像装置へと向かう視点方向と、前記被写体の位置から前記他の撮像装置へと向かう視点方向と、の類似性に応じた優先度を、前記１つの撮像装置による撮像画像に対して設定する設定手段と、
を備え、前記優先度は、前記撮像画像の転送又は格納の優先度であることを特徴とする。

複数の撮像装置によって撮像された画像に基づいて仮想視点コンテンツを生成する構成において、仮想視点コンテンツの品質低下を抑制しながら画像データ量を削減することができる。

一実施形態に係る画像処理システムの構成の一例を示す図。 カメラアダプタ１２０の機能構成例を示すブロック図である。 画像処理部２３００の構成例を示すブロック図。 優先度を算出する処理の一例を示すフローチャート。 被写体位置の推定方法を説明する図。 カメラの撮像領域を説明する図。 優先度の算出方法を説明する図。 伝送部２２００の構成例を示すブロック図。 撮像画像をパケット化する処理の一例を示すフローチャート。 パケット転送制御処理の一例を示すフローチャート。 優先度の算出方法を説明する図。 優先度を算出する処理の一例を示すフローチャート。 カメラアダプタ１２０のハードウェア構成例を示すブロック図。 撮影平面のブロック分割方法を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
実施形態１に係る画像処理システムは、それぞれ異なる視点から被写体を撮像する複数の撮像部を備えている。一実施形態において、撮像部はそれぞれカメラであり、複数視点にある撮像部（カメラ）は同期して撮像を行う。以下、このような画像処理システムのことをマルチカメラシステムと呼ぶ。

本発明の一実施形態においては、被写体の位置に基づく符号量制御が行われる。実施形態１においては、各撮像部による撮像画像に対する優先度が設定され、この優先度に基づいてデータ量制御が行われる。なお、撮像部による撮像画像に対する優先度のことを、単に撮像部の優先度、又は（撮像部が位置する）視点の優先度と呼ぶことがある。

以下では、各視点における映像データに対する符号量制御を行う具体例について説明する。それぞれの視点における映像データは、複数の撮像画像を含んでいる。また、伝送しようとする各視点の映像のビットレートがネットワークの伝送帯域を超えない場合には各視点の映像の可逆データが伝送され、伝送帯域を超える場合にのみ優先度の低い視点からの映像が優先的に欠落させられる。以下の例では、全体の品質に対する影響が少ない視点の優先度が低く設定される。

マルチカメラシステムの一例について図１のシステム構成図を参照して説明する。マルチカメラシステムである図１に示す画像処理システム１００は、それぞれ異なる視点から被写体の撮像を行う複数の撮像装置を有している。

図１の例において、画像処理システム１００は２６セットのセンサシステム１１０ａ～ｚを有している。撮像システムであるセンサシステム１１０ａ～ｚのそれぞれは、撮像装置であるカメラ１１２ａ～ｚを有している。また、図１に示すように、センサシステム１１０ａ～ｚのそれぞれがマイク１１１ａ～ｚを有していてもよい。これらのセンサシステム１１０ａ～ｚは、例えば、競技場（スタジアム）又はコンサートホールなどの施設に設置することができる。そして、カメラ１１２ａ～ｚ及びマイク１１１ａ～ｚは、撮像及び集音を行うことができる。

本明細書においては、特別な説明がない限り、２６セットのセンサシステム１１０ａ～ｚのことを区別せずにセンサシステム１１０と呼ぶ。また、各センサシステム１１０ａ～ｚが有する要素のことも、特別な説明がない限り、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と、区別せずに呼ぶ。本実施形態においては２６セットのセンサシステムが用いられるが、これは一例にすぎず、台数は限定されない。

本実施形態では、特に断りがない限り、画像という用語は動画と静止画の双方を指す。すなわち、本実施形態に係る画像処理システム１００は、静止画及び動画のいずれについても処理可能である。また、以下の例では、画像処理システムが提供する仮想視点コンテンツは仮想視点画像及び仮想視点音声を含んでいるが、これらは限られない。例えば、仮想視点コンテンツは音声を含んでいなくてもよい。この場合、センサシステム１１０がマイクを有する必要はない。また、仮想視点コンテンツに含まれる音声は、仮想視点に最も近いセンサシステム１１０のマイク１１１により集音された音声であってもよい。本実施形態に係る画像処理システム１００は、画像と音声とを共に処理するが、以下では説明の簡略化のために音声に関する記載が部分的に省略されている。例えば、音声データは画像データと同様に転送されてもよい。

画像処理システム１００は、さらに、サーバ２００、コントローラ３００、スイッチングハブのようなハブ１８０、及び端末１９０を有する。サーバ２００は、センサシステム１１０ｚから取得したデータに対する処理を行う。このため、サーバ２００は、撮像装置であるカメラ１１２のそれぞれによる撮像画像を格納することができる。

最初に、センサシステム１１０ａ～ｚが生成した２６セットの画像及び音声を、センサシステム１１０ｚがサーバ２００へ送信する動作を説明する。本実施形態において、センサシステム１１０ａ～ｚは図１に示すようにデイジーチェーン接続されている。

センサシステム１１０（１１０ａ～ｚ）は、それぞれ１台ずつカメラ１１２（１１２ａ～ｚ）を有する。すなわち画像処理システム１００は、被写体を複数の方向から撮像するための複数のカメラ１１２を有している。複数のセンサシステム１１０がそれぞれ有するカメラ１１２は、同期して撮像を行い、撮像により得られた撮像画像をサーバ２００に向けて出力する。

一実施形態においては、複数のセンサシステム１１０のうち２以上が、サーバ２００に対して直列に接続されている。例えば、複数のセンサシステム１１０同士をデイジーチェーンにより接続することができる。図１の例では、センサシステム１１０ａ～ｚの全てがカスケード接続されている。なお、本明細書においては、サーバ２００に対して複数のセンサシステム１１０が直列に接続されていることは、サーバ２００から同じ伝送路（ケーブルなど）を２回以上通らずに複数のセンサシステム１１０に到達可能であることを意味する。図１の例では、センサシステム１１０ａ～ｚはハブ１８０を介してサーバ２００に接続されているが、なおセンサシステム１１０ａ～ｚはサーバ２００に対して直列に接続されている。このような接続形態によれば、撮像画像の高解像度化（例えば４Ｋ又は８Ｋ）及び高フレームレート化に伴って画像データが大容量化しても、接続ケーブル数を抑えること、又は配線作業を省力化することができる。

別の例として、複数のセンサシステム１１０をいくつかのグループに分割し、グループごとにセンサシステム１１０をデイジーチェーン接続することもできる。この場合、グループの末端に位置するセンサシステム１１０のカメラアダプタ１２０をハブ１８０に接続することができ、ハブ１８０を介してサーバ２００へ画像を入力することができる。このような構成は、スタジアムにおいて特に有効である。例えば、スタジアムが複数フロアを有する場合、各フロアにセンサシステム１１０を配置することができる。この場合に、１つのフロアにあるセンサシステム１１０をグループ化し、又はスタジアムを取り囲む各半周にあるセンサシステム１１０をグループ化して、それぞれのグループからの画像をサーバ２００に入力することができる。このように、全てのセンサシステム１１０を１つのデイジーチェーンを介して接続するための配線を行うことが困難な場所においても、グループごとのデイジーチェーンを採用することで、設置の簡便性又はシステムの柔軟性を向上させることができる。

もっとも、センサシステム１１０同士の接続方法はこの方法に限られない。例えば、各センサシステム１１０ａ～ｚが直接ハブ１８０に接続されていてもよい。この場合、ハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成が得られる。

なお、デイジーチェーンの数、又はサーバ２００に画像を入力するカメラアダプタ１２０の数が、１つであるか２つ以上であるかに応じて、サーバ２００における画像処理の制御を切り替えることができる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて、制御を切り替えることができる。例えば、サーバ２００に画像を入力するカメラアダプタ１２０の数が１つの場合、デイジーチェーン接続に沿って画像伝送を行いながら競技場の全周からの画像が取得される。このため、サーバ２００が全周の（各センサシステム１１０からの）画像データを取得するタイミングは同期する。しかしながら、サーバ２００に画像を入力するカメラアダプタ１２０の数が２以上の場合、それぞれのデイジーチェーンのレーン（経路）に依存する異なる伝送遅延が発生する場合がある。この場合サーバ２００は、全周の画像データが揃ったことをチェックしてから、後段の画像処理を行うことができる。

本実施形態に係るセンサシステム１１０ａは、カメラアダプタ１２０ａと、１台のカメラ１１２ａと１台のマイク１１１ａの少なくとも一方と、を有する。図１に示すようにセンサシステム１１０ａは、さらに雲台１１３ａ及び外部センサ１１４ａを有していてもよいし、その他の構成を含んでいてもよい。また、センサシステム１１０ａは複数のカメラ１１２ａを有していてもよいし、複数のカメラアダプタ１２０ａを有していてもよい。すなわち、センサシステム１１０ａは、Ｎ台のカメラ１１２ａとＭ台のカメラアダプタ１２０ａを有していてもよく（Ｎ及びＭは１以上の整数）、このようにカメラ１１２ａとカメラアダプタ１２０ａとがＮ対Ｍで対応していてもよい。また、カメラアダプタ１２０ａが有する機能の少なくとも一部を、フロントエンドサーバ２３０が有していてもよい。

なお、センサシステム１１０ｂ～ｚは、センサシステム１１０ａと同じ構成を有していてもよいし、異なる構成を有していてもよい。一実施形態においては、複数のカメラ１１２のそれぞれが、図１に示すようにカメラアダプタ１２０を有している。このように、画像処理システム１００は、それぞれがカメラアダプタ１２０とカメラ１１２とを備える複数のセンサシステム１１０を有することができる。この場合、それぞれのカメラアダプタ１２０は、自身を有しているカメラ１１２による撮像画像に対して優先度を設定することができる。

一方で、別の実施形態においては、複数のカメラ１１２のうちの少なくとも１つがカメラアダプタ１２０を有している。さらなる実施形態においては、各カメラ１１２はカメラアダプタ１２０を有していない。以下に説明するカメラアダプタ１２０を有していないカメラ１１２による撮像画像に対する優先度の設定は、例えばフロントエンドサーバ２３０のような他の装置によって行われてもよい。この場合、他の装置が以下に説明するカメラアダプタ１２０と同様の構成及び機能を有し、撮像装置による撮像画像に対する優先度を設定することができる。

センサシステム１１０ａにおいて、マイク１１１ａは音声を集音し、カメラ１１２ａは画像を撮像する。カメラアダプタ１２０ａは、後述の画像処理を行った後で、音声及び画像をネットワーク１７０ａを介してセンサシステム１１０ｂのカメラアダプタ１２０ｂに転送する。センサシステム１１０ｂは、同様に集音された音声及び撮像された画像を、センサシステム１１０ａから取得した画像及び音声と合わせて、センサシステム１１０ｃに転送する。このような動作を続けることにより、センサシステム１１０ａ～ｚにより取得された画像及び音声は、センサシステム１１０ｚ、ネットワーク１７０、及びハブ１８０を介して、サーバ２００へ伝送される。

図１の例ではカメラ１１２とカメラアダプタ１２０とは分離されているが、カメラ１１２とカメラアダプタ１２０とは（例えば同一筐体内で）一体化されていてもよい。また、マイク１１１はカメラ１１２に内蔵されていてもよいし、カメラ１１２の外部に接続されていてもよい。

次に、サーバ２００の構成及び動作について説明する。本実施形態においてサーバ２００は、センサシステム１１０ｚから取得したデータに対する処理を行う。サーバ２００は、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、及びタイムサーバ２９０を有する。

タイムサーバ２９０は、複数のカメラ１１２の撮像タイミングを同期させるための信号を供給する。例えばタイムサーバ２９０は、ハブ１８０を介してセンサシステム１１０ａ～ｚに時刻信号及び同期信号を配信することができる。センサシステム１１０のカメラアダプタ１２０は、タイムサーバ２９０から配信された信号に従って、画像フレームの同期を行うことができる。例えばカメラアダプタ１２０は、時刻信号及び同期信号に基づいてＧｅｎｌｏｃｋを行うことができる。このような構成により、画像処理システム１００は、同じタイミングで撮像された複数の撮像画像に基づいて仮想視点画像を生成でき、撮像タイミングのずれに基づく仮想視点画像の品質低下を抑制できる。もっとも、タイムサーバ２９０の代わりに、各カメラ１１２又はカメラアダプタ１２０が時刻同期のための処理を独立に行ってもよい。

フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声をデータベース２５０に書き込む。例えばフロントエンドサーバ２３０は、センサシステム１１０ｚからセグメント化された伝送パケットを取得し、伝送パケットから画像及び音声を再構成するようにデータ形式の変換を行うことができる。また、フロントエンドサーバ２３０は、カメラの識別子、データ種別、及びフレーム番号などに関連付けて、画像及び音声をデータベース２５０に格納することができる。

バックエンドサーバ２７０は、コントローラ３００から仮想視点の指定を取得し、指定された仮想視点からの仮想視点画像を生成する。バックエンドサーバ２７０は、データベース２５０から処理に用いられる画像及び音声データを読み出し、レンダリング処理を行うことで仮想視点画像を生成することができる。バックエンドサーバ２７０は、レンダリング処理により得られた仮想視点画像を端末１９０に送信する。このようにバックエンドサーバ２７０は、複数のカメラ１１２により撮像された撮像画像（複数視点画像）と仮想視点情報とに基づく仮想視点コンテンツを生成することができる。より具体的には、バックエンドサーバ２７０は、例えば複数のカメラアダプタ１２０により複数のカメラ１１２による撮像画像から抽出された前景画像と、ユーザにより指定された仮想視点とに基づいて、仮想視点コンテンツを生成してもよい。カメラアダプタ１２０による所定領域の抽出については後述する。端末１９０は、ユーザに対して、指定された仮想視点に応じた画像及び音声を提供することができる。

仮想視点画像の生成方法は特に限定されない。例えば、バックエンドサーバ２７０は、センサシステム１１０により得られた各撮像画像を用いて、被写体の３次元モデルを生成することができる。バックエンドサーバ２７０は、任意の方法を用いて被写体の３次元モデルを生成することができ、例えば視体積交差法又はステレオマッチング法などを用いることができる。そして、バックエンドサーバ２７０は、被写体の三次元モデルと、センサシステム１１０により得られた各撮像画像とを用いて、仮想視点からの被写体の仮想視点画像を生成することができる。バックエンドサーバ２７０は、任意の方法を用いて仮想視点画像を生成することができる。一例を挙げると、バックエンドサーバ２７０は、被写体の３次元モデルと、仮想視点の位置、視線方向、及び視野角度を示す情報とを用いて、仮想視点からの仮想視点画像の着目画素に対応する被写体上の位置を特定することができる。また、バックエンドサーバ２７０は、各カメラ１１２の位置を示すカメラパラメータを参照することにより、カメラ１１２の撮像画像におけるこの被写体上の位置に対応する画素を特定することができる。そして、バックエンドサーバ２７０は、こうして特定された画素の色情報を用いて、着目画素の色情報を決定することができる。バックエンドサーバ２７０は、このような処理を仮想視点画像の各画素について行うことにより、仮想視点画像を生成することができる。

本実施形態における仮想視点コンテンツとは、指定された視点（仮想視点）から被写体を撮像した場合に得られる画像である仮想視点画像を含むコンテンツである。仮想視点画像は、指定された仮想視点における被写体の見えを表す画像であるともいえる。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ－ＤＡＳＨプロトコルを使って端末１９０へ送信してもよい。また、仮想視点画像は、非圧縮で端末１９０へ送信されてもよい。とくに圧縮符号化を行う前者は端末１９０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、端末１９０の種別に応じて画像フォーマットが切り替え可能であることを明記しておく。また、画像の送信プロトコルはＭＰＥＧ－ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いてもよい。

サーバ２００の構成は上記の例に限られない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体に構成されていてもよい。また、サーバ２００は、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくともいずれかを複数含んでいてもよい。さらに、サーバ２００はその他の装置を有していてもよい。また、端末１９０又はコントローラ３００が、サーバ２００の機能の少なくとも一部を有していてもよい。

コントローラ３００は、制御ステーション３１０及びＵＩ３３０を有する。制御ステーション３１０は、画像処理システム１００が有する各構成に対して、例えばネットワーク（３１０ａ～ｃ、１８０ａ、及び１７０ａ～ｙなど）を通じて、動作状態の管理及びパラメータ設定制御などを行うことができる。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ規格に準拠したＧｂＥ（ギガビットイーサネット（登録商標））又は１０ＧｂＥであってもよい。また、ネットワークには、インターコネクトＩｎｆｉｎｉｂａｎｄ及び産業用イーサネット（登録商標）などが組み合わせられていてもよい。さらに、ネットワークは他の種別のネットワークであってもよい。ＵＩ３３０は仮想カメラ操作ＵＩであり、後述するように画像処理システム１００を用いて生成する仮想視点画像についての仮想視点の位置、視線方向、及び視野角度などを制御するために用いることができる。

このように、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有している。映像収集ドメインはセンサシステム１１０ａ～ｚを含む。データ保存ドメインはフロントエンドサーバ２３０及びデータベース２５０を含む。映像生成ドメインはバックエンドサーバ２７０、コントローラ３００（特にＵＩ３３０）、及び端末１９０を含む。このように本実施形態では、データ保存ドメインが中間に配置されている。このような構成により、フロントエンドサーバ２３０は、センサシステム１１０ａ～ｚが生成した画像データ及び音声データ並びにこれらのデータのメタ情報を、データベース２５０の共通スキーマ及びデータ型に合わせて変換することができる。このため、センサシステム１１０が有するカメラ１１２の機種が変更されても、データの違いをフロントエンドサーバ２３０が吸収してから、データをデータベース２５０に登録することができる。このため、カメラ１１２の機種変更が容易となる。一方で、データ保存ドメインを有することは必須ではない。

また、コントローラ３００（ＵＩ３３０）は、データベース２５０に直接アクセスせず、バックエンドサーバ２７０を介してデータベース２５０にアクセスする。この構成において、バックエンドサーバ２７０は画像生成処理に関する共通処理を行い、コントローラ３００はアプリケーションによって異なる操作ＵＩに係る処理を行う。このような構成によれば、ＵＩを操作するデバイス、又は所望の仮想視点画像を生成するためのＵＩに対する機能要求に応じた、ＵＩの開発に注力する事ができる。また、バックエンドサーバ２７０が行う画像生成処理に係る共通処理を、ＵＩ３３０の要求に応じて追加又は削除してもよい。このような構成により、バックエンドサーバ２７０はＵＩ３３０の要求に柔軟に対応する事ができる。一方で画像処理システム１００はこのような構成には限定されず、例えば、コントローラ３００（ＵＩ３３０）が直接センサシステム１１０ａ～ｚから画像を取得してもよい。

このように、画像処理システム１００においては、被写体を複数の方向から撮像する複数のカメラ１１２により得られた画像データに基づいて、バックエンドサーバ２７０が仮想視点画像を生成する。なお、本実施形態に係る画像処理システム１００は、上記の物理的な構成に限定されず、論理的に構成されていてもよい。

（カメラアダプタの構成）
次に、カメラアダプタ１２０の構成について図２を参照して説明する。カメラアダプタ１２０は、本実施形態に係る制御装置であり、符号量制御機能を有している。カメラアダプタ１２０は、ネットワークアダプタ２１００、伝送部２２００、画像処理部２３００、及び外部機器制御部２４００を有する。

ネットワークアダプタ２１００は、撮像画像を送受信する機能を有している。本実施形態においてネットワークアダプタ２１００は、送受信部２１１０及び時刻制御部２１２０を有する。送受信部２１１０は、ネットワーク１７０，２９１，３１０ａを介して、他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３１０とデータ通信を行う。例えば送受信部２１１０は、分離部２３１０がカメラ１１２の撮像画像から生成した前景画像及び背景画像を、次のカメラアダプタ１２０に送信することができる。次のカメラアダプタ１２０とは、予め定められた順序に従う、送信元のカメラアダプタ１２０の次のカメラアダプタ１２０である。例えば、複数のセンサシステム１１０がデイジーチェーン接続されている構成においては、サーバにより近いカメラアダプタ１２０に画像を送信することができる。このように、各カメラアダプタ１２０は前景画像及び背景画像を出力し、複数の視点における撮像により得られた前景画像及び背景画像に基づいて仮想視点画像が生成される。なお、撮像画像から分離された前景画像を出力し、背景画像は出力しないカメラアダプタ１２０が存在してもよい。

時刻制御部２１２０は、現在の時刻情報を管理する。時刻制御部２１２０は、タイムサーバ２９０との間の時刻同期を行うことができる。また、時刻制御部２１２０は、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存してもよい。時刻制御部２１２０は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠した動作を行うことができる。もっとも、時刻制御部２１２０は、他のＥｔｈｅｒＡＶＢ規格、又は独自プロトコルに従って、タイムサーバ２９０との時刻同期を行ってもよい。なお、ＩＥＥＥ１５８８は、ＩＥＥＥ１５８８－２００２、及びＩＥＥＥ１５８８－２００８のように、標準規格として更新されており、後者はＰＴＰｖ２（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ Ｖｅｒｓｉｏｎ２）とも呼ばれる。

本実施形態では、ネットワークアダプタ２１００としてＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）が用いられる。もっとも、ネットワークアダプタ２１００は、同様の他のＩｎｔｅｒｆａｃｅを利用してもよい。

伝送部２２００は、ハブ１８０などに対する、ネットワークアダプタ２１００を介したデータの伝送を制御する機能を有する。以下、伝送部２２００が有する構成について説明する。符号処理部２２１０は、データを圧縮する機能、及び圧縮されたデータを伸張する機能を有している。符号処理部２２１０は、例えば、送受信部２１１０を介して送信するデータに対して、所定の圧縮方式、圧縮率、及びフレームレートに従う圧縮を行うことができる。

同期制御部２２３０は、タイムサーバ２９０との時刻同期に係る制御を行う。同期制御部２２３０は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）に準拠した機能を有していてもよい。一方で同期制御部２２３０は、他の同様のプロトコルを利用して時刻同期を行ってもよい。

伝送処理部２２４０は、送受信部２１１０を介して他のカメラアダプタ１２０又はフロントエンドサーバ２３０へ転送するメッセージを生成する。画像データ又は音声データは、メッセージとして転送される。例えばメッセージは、画像データ又は音声データ、及び各データのメタ情報を含むことができる。メタ情報の例としては、画像の撮像又は音声のサンプリングをした時のタイムコード又はシーケンス番号、データ種別、及び画像又は音声を取得したカメラ１１２又はマイク１１１を特定する識別子などが挙げられる。こうして送信される画像データ又は音声データは、符号処理部２２１０により圧縮されていてもよい。また、伝送処理部２２４０は、他のカメラアダプタ１２０から送受信部２１１０を介してメッセージを受け取ることができる。伝送処理部２２４０は、メッセージのデータ種別を参照して、伝送プロトコルに規定されるパケットサイズに応じてフラグメント化されているデータを、必要に応じて画像データ又は音声データへと復元してもよい。また、復元されたデータが圧縮されている場合、符号処理部２２１０は圧縮されたデータを伸張することができる。

画像処理部２３００は、接続されたカメラ１１２の撮像により得られた画像データ、及び他のカメラアダプタ１２０から受け取った画像データに対する処理を行う。以下、画像処理部２３００が有する構成について、画像処理部２３００の機能ブロック図である図３を参照してより詳細に説明する。

キャリブレーション制御部２３３０は、キャリブレーションに必要な情報を取得及び送信する。キャリブレーション制御部２３３０は、キャリブレーションに必要な画像データをカメラ制御部２４１０を介してカメラ１１２から取得することができる。また、キャリブレーション制御部２３３０は、キャリブレーション処理を行うフロントエンドサーバ２３０に対して取得した情報を送信することができる。もっとも、キャリブレーション処理は、制御ステーション３１０又はカメラアダプタ１２０（自身とは他のカメラアダプタ１２０を含む）などの他のノードが行ってもよい。

キャリブレーション制御部２３３０は、カメラ制御部２４１０を介してカメラ１１２から取得した画像データに対して、予め設定されたパラメータに従って、撮像中のキャリブレーション（動的キャリブレーション）を行ってもよい。例えば、キャリブレーション制御部２３３０は、撮像画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理、又はカメラの振動に起因するブレに対して被写体の位置を安定させるためのブレ補正処理（電子防振処理）などを行うことができる。

例えば、キャリブレーション制御部２３３０は、撮像装置の振動の影響を低減する補正処理を行うことができる。すなわち、キャリブレーション制御部２３３０は、カメラ１１２の振動を表す情報を参照して振動を抑えた画像を生成することができる。このような振動を表す情報は、後述するように外部センサ１１４から取得することができる。キャリブレーション制御部２３３０は、分離部２３１０での処理に先立ってこのような処理を行ってもよい。

例えば、キャリブレーション制御部２３３０は、カメラ１１２による撮像画像に対して、フレーム間の振動の影響による被写体の位置ずれを抑制する処理を、振動を表す情報を参照して行うことができる。また、キャリブレーション制御部２３３０は、振動を表す情報を参照して、カメラ１１２による撮像画像の位置合わせを行うことができる。例えばキャリブレーション制御部２３３０は、接続された８Ｋカメラにより得られた画像データから、元の８Ｋサイズよりも小さいサイズの画像を切り出し、振動情報を考慮して、隣接して設置されたカメラ１１２の画像との位置合わせを行うことができる。このような構成により、建造物の躯体振動が各カメラ１１２に異なる周波数で伝搬しても、カメラアダプタ１２０が画像の位置合わせを行うことができる。この結果、画像データの防振を電子的に実現できるとともに、サーバ２００におけるカメラ１１２の台数に応じた位置合わせの処理負荷を軽減することができる。

分離部２３１０は、カメラ１１２が取得した画像を、前景画像と背景画像に分離することができる。分離部２３１０は撮像画像から被写体抽出を行うことができ、抽出された被写体の画像を前景画像と呼ぶことができる。すなわち、複数のカメラアダプタ１２０が有するそれぞれの分離部２３１０は、複数のカメラ１１２のうち対応するカメラ１１２により得られた撮像画像から所定領域を抽出する。所定領域とは、例えば撮像画像に対するオブジェクト検出により検出されたオブジェクト領域のことである。このように抽出された所定領域の画像が前景画像であり、残る領域の画像が背景画像である。

オブジェクト検出により検出されるオブジェクトの種類は特に限定されず、例えば人物であってもよい。また、検出されるオブジェクトは特定人物（例えば、特定の選手、監督、及び／又は審判など）であってもよいし、特定物体（例えば、ボール又はゴールなど、画像パターンが予め定められている物体）であってもよい。また、オブジェクトとして、動体が検出されてもよい。このように、人物などの重要なオブジェクトを含む前景画像と、このようなオブジェクトを含まない背景領域とを分離することにより、画像処理システム１００において生成される仮想視点画像のうち、このようなオブジェクトに該当する部分の品質を向上できる。また、前景と背景の分離を複数のカメラアダプタ１２０のそれぞれが行うことで、画像処理システム１００における負荷を分散させることができる。このような構成によれば、例えば、３次元モデル又は仮想視点画像を生成する際に、前景と背景の分離処理を行うためのサーバ２００の負荷を低減できる。なお、前景画像は所定領域の画像に限られず、例えば所定領域の画像が背景画像であってもよい。

分離部２３１０が有する各構成について以下詳細に説明する。前景分離部２３１１は、キャリブレーション制御部２３３０による位置合わせが行われた後の撮像画像の画像データから、前景画像を分離する。図３に示す構成例では、前景分離部２３１１は、撮像画像と、予め背景画像から得られている比較画像２３１２との比較により前景画像の分離処理を行う。例えば、前景分離部２３１１は、撮像画像と比較画像２３１２との間の画素値の差分が閾値以上である領域を、前景画像として抽出することができる。前景分離部２３１１は、こうして得られた前景画像の画像データを出力することができる。また、前景分離部２３１１は、撮像画像全体における前景画像領域のオフセット値（前景画像の外接矩形の左上の画素の位置）を、前景画像に関連付けて出力することができる。

比較画像更新部２３１３は、キャリブレーション制御部２３３０による位置合わせが行われた後の撮像画像の画像データを用いて、比較画像２３１２を更新する。例えば、背景切出部２３１４は、撮像画像のうち、撮像画像と比較画像２３１２との間の画素値の差分が閾値未満である領域（背景領域）の画像（背景画像）を抽出することができる。そして比較画像更新部２３１３は、比較画像２３１２のうち背景領域に相当する部分を、こうして抽出された背景画像で更新することができる。背景切出部２３１４は、このように撮像画像の一部を背景画像として切り出し、出力することができる。

優先度生成部２３２０は優先度の設定を行う。本実施形態において優先度生成部２３２０は、被写体の位置から撮像装置へと向かう視点方向と、被写体の位置から他の撮像装置へと向かう視点方向と、の類似性に応じた優先度を、撮像装置による撮像画像に対して設定することができる。具体的な設定方法については図４を参照して後述する。

優先度生成部２３２０は、優先度の設定を行う際に、分離部２３１０により得られた前景画像及びカメラパラメータを利用することができる。カメラパラメータは、カメラ固有の内部パラメータ、グローバル座標系に対するカメラの位置姿勢を表す外部パラメータ、及び外部カメラ情報を含んでいてもよい。内部パラメータは、例えばカメラ１１２の焦点距離、センサピッチ、画像中心位置、及びレンズ歪みパラメータなどを含むことができる。外部パラメータは、カメラ１１２の視点位置及び姿勢などを含むことができる。さらに、外部カメラ情報は、カメラアダプタ１２０に接続されているカメラ１１２以外の、他のカメラ１１２の視点位置又は撮像領域などを含むことができる。このようなカメラパラメータは、カメラ１１２により得られた画像から推定することもできる。

優先度生成部２３２０が有する各構成について以下詳細に説明する。位置取得部２３２２は、被写体の位置を取得する。本実施形態の場合、位置取得部２３２２は、撮像画像に対する被写体抽出の結果を用いて被写体の位置を取得する。例えば、分離部２３１０によって前景として抽出された被写体の位置に基づいて、位置取得部２３２２は被写体の位置を取得することができる。本実施形態において、位置取得部２３２２は、前景分離部２３１１により得られた前景画像のオフセット値と、伝送部２２００を介して受信したカメラパラメータとを用いて、撮像シーンにおける被写体の位置を取得し、優先度算出部２３２４に出力する。

ただし、被写体の位置の取得方法はこの方法に限定されず、位置取得部２３２２は位置測定デバイスなどの他の装置から被写体の位置を取得してもよい。位置取得部２３２２は、キャリブレーション制御部２３３０による、撮像装置の振動の影響を低減する補正処理を行った後の撮像画像を用いて、被写体の位置を取得してもよい。すなわち、位置取得部２３２２は、補正処理後の撮像画像から分離部２３１０によって抽出された被写体領域に基づいて、被写体の位置を取得してもよい。

カメラパラメータ受信部２３２１は、カメラパラメータを受信する。この情報は、制御ステーション３１０から対象となるカメラアダプタ１２０に対して送信及び設定されている。

優先度算出部２３２４は、被写体の位置に基づいて、撮像装置（カメラ１１２）による撮像画像に対して優先度を設定する。優先度算出部２３２４はカメラ１１２の（又はカメラ１１２により得られた撮像画像の）優先度を算出し、伝送部２２００に出力することができる。本実施形態において優先度算出部２３２４は、被写体の位置から撮像装置へと向かう視点方向と、被写体の位置から他の撮像装置へと向かう視点方向と、の類似性に応じた優先度を、撮像装置による撮像画像に対して設定する。

外部機器制御部２４００は、カメラアダプタ１２０に接続された機器を制御する。以下、外部機器制御部２４００が有する構成について説明する。カメラ制御部２４１０は、カメラ１１２に接続され、カメラ１１２の制御を行う。また、カメラ制御部２４１０は、カメラ１１２から撮像画像を取得することができる。カメラ１１２の制御には、例えば、撮像パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、並びにカメラ１１２の状態情報（撮像中、停止中、同期中、及びエラーなど）の取得などが含まれる。また、カメラ１１２の制御には、例えば、カメラ１１２による撮像の開始及び停止、並びにカメラ１１２のピント調整などが含まれる。カメラ制御部２４１０は、カメラ１１２を介してカメラ１１２が有するレンズのピント調整を行ってもよいし、カメラ１１２に装着された取り外し可能なレンズに接続して直接ピント調整を行ってもよい。また、カメラ制御部２４１０は、ズーム調整などの、カメラ１１２が有するレンズの調整を行ってもよい。

カメラ制御部２４１０はまた、カメラ１１２への同期信号の提供及び時刻設定などを行うことができる。カメラ制御部２４１０は、例えば同期制御部２２３０の制御に従ってタイムサーバ２９０と同期された時刻を参照して、撮像タイミングを示す同期信号（制御クロック）を、カメラ１１２に提供することができる。また、カメラ制御部２４１０は、こうして同期された時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードとしてカメラ１１２に提供することができる。こうして、カメラ制御部２４１０は、提供したタイムコードが付与された画像データをカメラ１１２から受け取ることができる。なお、タイムコードは他のフォーマットを有していてもよい。また、カメラ制御部２４１０は、カメラ１１２から受け取った画像データにタイムコードを付与してもよく、この場合カメラ１１２に対してタイムコードを提供する必要はない。

マイク制御部２４２０は、マイク１１１に接続され、マイク１１１の制御を行う。また、マイク制御部２４２０は、マイク１１１により収音された音声データを取得することができる。マイク１１１の制御には、例えば、収音の開始及び停止、ゲイン調整、並びに状態取得などが含まれる。マイク制御部２４２０は、カメラ制御部２４１０と同様に、マイク１１１に対して音声サンプリングを行うタイミングを示す同期信号及びタイムコードを提供することができる。例えば、マイク制御部２４２０は、同期信号として、タイムサーバ２９０からの時刻情報を例えば４８ＫＨｚのワードクロックに変換することにより得られたクロック情報を、マイク１１１に供給することができる。

雲台制御部２４３０は、雲台１１３に接続され、雲台１１３の制御を行う。雲台１１３の制御には、例えば、パン・チルト制御及び状態取得などが含まれる。

センサ制御部２４４０は、外部センサ１１４に接続され、外部センサ１１４によるセンシングにより得られたセンサ情報を取得する。例えば、外部センサ１１４としてジャイロセンサが利用される場合は、センサ制御部２４４０は外部センサ１１４から振動を表す情報を取得することができる。なお、センサシステム１１０は、外部センサ１１４の他に、又は外部センサに加えて、カメラアダプタ１２０に内蔵されたセンサを有していてもよい。このような内蔵センサも、外部センサと同様に用いることができる。

（優先度の設定）
以下、符号量制御に関係する、優先度生成部２３２０、符号処理部２２１０、及び伝送処理部２２４０の処理について詳細に説明する。まず、優先度を生成するための処理について、図４のフローチャートを参照して説明する。以下では、センサシステム１１０ａのカメラアダプタ１２０ａが、カメラ１１２ａの優先度を生成する処理について説明するが、他のカメラアダプタ１２０ｂ～ｚも同様に処理を行うことができる。

図４（Ａ）は、優先度生成部２３２０が優先度を算出する処理の流れを示すフローチャートである。ステップＳ４０１でカメラパラメータ受信部２３２１はカメラパラメータを取得する。ステップＳ４０２で位置取得部２３２２は前景画像のオフセット値を取得する。

ステップＳ４０３～Ｓ４０５で位置取得部２３２２は、撮像シーンにおける被写体の位置を算出する。位置取得部２３２２は、上述のように被写体抽出により得られた前景画像を用いることができる。以下では、撮像シーンにおいて、人などの被写体は、１つの平面（撮像平面）上に存在するものと仮定する。被写体位置は、被写体が撮像平面と接する点である。また、画像処理システム１００が配置された撮像シーンの全体に対しては、撮像平面がｚ＝０となるグローバル座標系（ｘ，ｙ，ｚの３次元で表現する）が設定される。

ステップＳ４０３で位置取得部２３２２は、被写体の代表画素を選択する。本実施形態では、前景画像のうち最も下にある画素が、被写体と撮像平面（例えば人の足と地面）が接する点を表す代表画素として選択される。複数の画素が最も下にある場合、位置取得部２３２２は複数の画素から任意の画素を選択してもよく、例えば中央の画素を選択してもよい。

ステップＳ４０４で位置取得部２３２２は、カメラ１１２ａから代表画素に対応する位置へと向かう視線方向を表す、代表視線を算出する。ここで、センサシステム１１０ａのカメラアダプタ１２０ａが有する位置取得部２３２２は、同じセンサシステム１１０ａのカメラ１１２ａからの代表視線を算出する。位置取得部２３２２は、予め得られているカメラパラメータ（視点位置、カメラ姿勢、及び焦点距離など）を用いて代表視線を算出することができる。

図５（Ａ）は、撮像画像５００及び撮像画像５００から抽出された前景画像５１０を表す。撮像画像の各画素の座標を（ｖ，ｕ）で表す。前述の通り、前景画像５１０のオフセット値５１１は、前景画像の外接矩形の左上の画素位置（ｕｏ，ｖｏ）である。ここでは前景画像５１０の領域は被写体のシルエットに相当し、そのうち最も下にある画素が代表画素５１２（ｕｒ，ｖｒ）として選択される。

この代表画素の位置（ｕｒ，ｖｒ）と、カメラ１１２ａの内部パラメータ（焦点距離など）から、カメラ１１２ａのカメラ座標系における代表視線を求めることができる。また、図５（Ｂ）に示すように、カメラ１１２ａの外部パラメータ（視点位置５２１及びカメラ姿勢）と、カメラ座標系における代表視線から、グローバル座標系における代表視線５２０を求めることができる。

ステップＳ４０５で位置取得部２３２２は、被写体位置（ｘｒ，ｙｒ，０）を算出する。図５（Ｂ）に示すように、代表視線と、撮像平面５４０（ｚ＝０）との交点が、被写体５３０の被写体位置５３１（ｘｒ，ｙｒ，０）である。このように、ステップＳ４０４，４０５で位置取得部２３２２は、ステップＳ４０３で得られた代表画素の位置（ｕｒ，ｖｒ）を、撮像平面上の被写体位置（ｘｒ，ｙｒ，０）に変換する。

ステップＳ４０６～Ｓ４０８で優先度算出部２３２４は優先度を算出する。以下では、図７を参照しながらこの処理について説明する。以下では、図７に示すように、デイジーチェーンによって接続された複数のカメラ１１２ａ～ｉが、撮像フィールド７９０に存在する１つの被写体７００を撮像している例を用いて説明する。

この例において優先度算出部２３２４は、ステップＳ４０５で得られた被写体の位置からカメラ１１２ａへと向かう視点方向と、被写体の位置から他の撮像装置へと向かう視点方向と、の類似性に応じた優先度を、撮像装置による撮像画像に対して設定する。例えば、優先度算出部２３２４は、被写体の位置からカメラ１１２ａへと向かう視点方向と、被写体の位置からいずれかのカメラ１１２へと向かう視点方向と、がより近い場合に、カメラ１１２ａに対する優先度をより低くすることができる。これは、カメラ１１２ａの撮像画像が欠落したとしても、カメラ１１２ａと近い方向にあるカメラ１１２の画像により補償される可能性が高く、生成される仮想視点画像に対する影響は小さいことが予想されるためである。このため、カメラ１１２ａに対する優先度はより低くなり、後述するようにカメラ１１２ａによる撮像画像の転送又は格納の優先度が低くなる。

優先度算出部２３２４は、被写体の位置から撮像装置へと向かう視点方向と、被写体の位置から他の撮像装置へと向かう視点方向と、の近さの評価値を算出し、撮像装置による撮像画像に対してこの評価値に応じた優先度を設定することができる。以下の例において優先度算出部２３２４は、カメラ１１２ａに対する隣接視点を選択し、被写体の位置からカメラ１１２ａへと向かう視点方向と、被写体の位置から隣接視点へと向かう視点方向と、の近さの評価値を算出する。

ステップＳ４０６で優先度算出部２３２４は、カメラ１１２ａに対する隣接視点を選択する。優先度算出部２３２４は、ステップＳ４０５で得られた被写体位置を含む、撮像平面上の撮像領域を有しているカメラから、隣接視点を選択することができる。

具体的には、優先度算出部２３２４は、カメラ１１２からカメラ１１２ａに隣接するカメラを選択することができる。本実施形態において優先度算出部２３２４は、２つのカメラ１１２を隣接視点として選択する。優先度算出部２３２４は、例えば、予め得られている、カメラ１１２ａと各カメラ１１２との近さを示す情報に従って、カメラを選択することができる。例えば、図７に示すように複数のカメラ１１２が被写体７００を取り囲んでいる場合、優先度算出部２３２４は、カメラ１１２ａから時計回り方向にあるカメラ１１２ａに最も近いカメラを、隣接するカメラとして選択することができる。さらに、優先度算出部２３２４は、カメラ１１２ａから反時計回り方向にあるカメラ１１２ａに最も近いカメラも、隣接するカメラとして選択することができる。この例では、カメラ１１２ａに対する隣接視点として、カメラ１１２ｂ及びカメラ１１２ｉが選択される。

なお、優先度算出部２３２４は、被写体の位置に基づいて、被写体が撮像範囲内に存在する撮像装置を複数の撮像装置から選択してもよい。すなわち、優先度算出部２３２４は、複数のカメラ１１２のうち、被写体を含む撮像領域を有しているカメラ、例えば撮像領域内に被写体位置を含むカメラを選択することができる。この場合、優先度算出部２３２４は、被写体の位置から撮像装置へと向かう視点方向と、被写体から、選択された撮像装置のそれぞれへと向かう視点方向と、の類似性に応じた優先度を、撮像装置による撮像画像に対して設定することができる。

図６は、撮像領域６２２内に被写体位置５３１を含むカメラ１１２βを表す。カメラ１１２βの視点位置６２１は（ｘβ，ｙβ，ｚβ）で表される。本実施形態において、各カメラ１１２は、自身以外のカメラの撮像平面５４０上の撮像領域６２２を示す情報を、外部カメラ情報として有しており、例えば撮像領域６２２の４つの頂点６２３～６２６の位置を示す情報を有している。したがって、優先度算出部２３２４は、各カメラ１１２の撮像領域６２２を示す情報と、被写体位置５３１とに基づいて、被写体を含む撮像領域を有しているカメラ１１２を選択することができる。このような構成によれば、被写体を撮像しているカメラから隣接視点が選択され、被写体を撮像していないカメラは無視される。このため、カメラ１１２ａの撮像画像が欠落した際の、仮想視点画像中の被写体の画像に対する影響をより良好に評価できる。

ステップＳ４０７で優先度算出部２３２４は、隣接視点から被写体位置への視線を算出する。本実施形態では、処理の簡略化のため、撮像平面上での視線が算出される。すなわち、本実施形態において各カメラ１１２は、自身以外のカメラの撮像平面５４０上での視点位置を示す情報を、外部カメラ情報として有している。そして、優先度算出部２３２４は、図６に示すように、撮像平面５４０上での、隣接視点であるカメラ１１２βの視点位置６２７（ｘβ，ｙβ）から被写体位置５３１へと向かう方向（ベクトル）を、隣接視点の視線として算出する。図７には、こうして得られたカメラ１１２ｂの視線７１０ｂ及びカメラ１１２ｉの視線７１０ｉが示されている。

ステップＳ４０８で優先度算出部２３２４は、２つの隣接視点の視線が成す角を算出する。図７には、互いに隣接するカメラの視線がなす角θ１～θ９が示されている。カメラ１１２ａに対しては、カメラ１１２ａの隣接視点（カメラ１１２ｂ及び１１２ｉ）の視線がなす角であるθ１＋θ９が算出される。こうして算出された値θ１＋θ９は、被写体の位置からカメラ１１２ａへと向かう視点方向と、被写体の位置から隣接視点へと向かう視点方向と、の近さの評価値として用いることができる。本実施形態においては、この値θ１＋θ９が、カメラ１１２ａに対する（又はカメラ１１２ａによる撮像画像に対する）優先度として用いられる。

こうして算出された値は、被写体からカメラ１１２ａへと向かう視点方向における、被写体から複数のカメラのそれぞれへと向かう視点方向の密度である、視点（カメラ）の角密度を表す。この角密度が大きいことは、被写体の位置からカメラ１１２ａへと向かう視点方向と、被写体から選択視点へと向かう視点方向と、の類似性が高いことを意味する。したがって、この角密度が大きいことは、カメラの画像が欠落したとしても、隣接視点にあるカメラの画像により補償される可能性が高いため、生成される仮想視点画像に対する影響が小さいことを示す。このため、本実施形態では、角密度が大きい（２つの隣接視点の視線が成す角が小さい）ほど、優先度が小さくされる。

ステップＳ４０９で優先度算出部２３２４は、ステップＳ４０８で算出された優先度を出力する。

なお、優先度の算出方法は上記の方法に限定されない。例えば、図７に示す平面上の角θ１～θ９の代わりに、３次元空間上で互いに隣接するカメラの視線がなす角が用いられてもよい。また、被写体の位置から各カメラ１１２へと向かう３次元ベクトルのパラメータ（方位角及び仰角）の分布に基づき、被写体の位置からカメラ１１２ａへと向かう視点方向における、視点方向の密度を評価してもよい。

（符号量制御）
次に、伝送部２２００が優先度に基づいて符号量制御を行う方法について説明する。伝送部２２００は、優先度に従って、撮像画像の転送又は格納を制御することができる。すなわち、伝送部２２００は、優先度が高い撮像画像を優先的に転送し、又は優先的に格納することができる。言い換えれば、伝送部２２００は、優先度が低い撮像画像を優先的に破棄することができる。一部の画像データを破棄する構成を採用することにより、画像データの伝送遅延を少なくし、リアルタイム性の高い仮想視点コンテンツを得ることが容易になる。

伝送部２２００による具体的な符号量制御方法は特に限定されない。以下の例においてカメラ１１２（第２の撮像装置）に接続されているカメラアダプタ１２０の伝送部２２００は、カメラ１１２（第２の撮像装置）による撮像画像を、他のカメラアダプタ１２０又はフロントエンドサーバ２３０などの送信先装置へと送信する。また、カメラ１１２（第２の撮像装置）に接続されているカメラアダプタ１２０の伝送部２２００は、他のカメラ１１２（第１の撮像装置）による撮像画像を受信し、送信先装置へと送信する。この際、伝送部２２００は、それぞれの撮像画像に設定された優先度に従って送信を制御する。

以下の例では、分離部２３１０により得られた前景画像を伝送する際に、符号量制御が行われる。すなわち、以下の例において伝送部２２００は、優先度に従って、前景画像の転送を制御する。具体的には、伝送部２２００は、前景画像を符号化してパケットを生成し、優先度に基づいて符号量制御を行う。図８は、伝送部２２００のうち、この処理に関与する構成を示す機能ブロック図であり、伝送部２２００が有する処理部のうち一部は省略されている。

なお、伝送部２２００は、分離部２３１０により得られた背景画像も、他のセンサシステム１１０のカメラアダプタ１２０を経由してフロントエンドサーバ２３０へ送信することができる。伝送部２２００は、前景画像と同様に、背景画像に対して優先度に基づく符号量制御を行ってもよいし、行わなくてもよい。また、伝送部２２００は、背景画像に対して前景画像よりも高い圧縮率での圧縮処理を行ってから、圧縮された背景画像をフロントエンドサーバ２３０へ送信してもよい。さらに、伝送部２２００は、前景画像と背景画像とを別個に送信する代わりに、撮像画像をフロントエンドサーバ２３０へ送信してもよく、この際に撮像画像に対して優先度に基づく符号量制御を行ってもよい。

符号処理部２２１０は、符号化部２２１１及びメッセージ生成部２２１２を有する。符号化部２２１１は受け取った前景画像を符号化してメッセージ生成部２２１２に送る。メッセージ生成部２２１２は、符号データ、符号データの特定情報、及び優先度情報を受け取る。特定情報とは、対応する符号データがどのカメラ１１２で撮像されたのか、又はどの前景画像の符号データであるのか、を特定する情報である。この情報は、画像データの復号に用いることができる。メッセージ生成部２２１２は、メッセージのデータ領域に符号データが格納され、ヘッダ領域に優先度及び特定情報が格納されるように、メッセージを生成し、伝送処理部２２４０に出力する。

伝送処理部２２４０は、パケット生成部２２４１、パケット制御部２２４２、及びパケット保持領域２２４３を有する。パケット生成部２２４１は、符号処理部２２１０から取得したメッセージを所定のサイズを有するように分解することにより、複数のパケットを生成する。パケット制御部２２４２は、パケット生成部２２４１からセンサシステム１１０ａによる撮像画像に基づくパケットを受け取り、またネットワークアダプタ２１００からネットワーク上のパケットを受け取る。そして、パケット制御部２２４２は、優先度に応じたパケットの破棄と、ネットワークアダプタ２１００へのパケットの出力と、を行う。

図９は、符号処理部２２１０が前景画像及び優先度を受けとってから、パケット生成部２２４１がパケットを生成するまでの処理のフローチャートである。ステップＳ９０１で符号化部２２１１は前景画像を符号化して符号データを生成する。ステップＳ９０２でメッセージ生成部２２１２は、符号データを格納するための空のメッセージ領域を確保する。メッセージの大きさは、符号データのサイズに依存する。ステップＳ９０３でメッセージ生成部２２１２は、特定情報及び優先度をメッセージ領域のヘッダ領域に格納し、符号データをデータ領域に格納する。

ステップＳ９０４でパケット生成部２２４１は、ステップＳ９０３で生成されたメッセージを所定サイズに分割することにより複数のパケットを生成する。パケット生成部２２４１は、メッセージが所定サイズを下回る場合には、メッセージ分割を行わず、１つのパケットを生成することができる。パケット生成部２２４１は、パケットのヘッダ領域に、メッセージのヘッダ領域にあった優先度及び特定情報を格納する。パケット生成部２２４１は、メッセージを分割する場合に、それぞれのパケットがメッセージのどの部分に相当するのかを示す情報を、さらにパケットのヘッダ領域にある特定情報に追加することができる。

図１０は、パケット制御部２２４２が行う処理のフローチャートである。図１０（Ａ）は、優先度に応じてパケットを破棄する処理を示す。ステップＳ１００１でパケット制御部２２４２は、パケットｐを取得する。ステップＳ１００２でパケット制御部２２４２は、パケット保持領域２２４３がパケットｐを保持するための空き領域を有しているどうかを判断する。空き領域がある場合、処理はステップＳ１００３に進み、パケット制御部２２４２はパケットｐをパケット保持領域２２４３に格納する。空き領域がない場合、処理はステップＳ１００４に進み、パケット制御部２２４２は、パケット保持領域２２４３に格納されているパケットの優先度のうちもっとも低いものと比べて、パケットｐの優先度が低いかどうかを判断する。パケットｐの優先度が低い場合、処理はステップＳ１００５に進み、パケット制御部２２４２はパケットｐを破棄する。パケットｐの優先度が低くない場合、処理はステップＳ１００６に進み、パケット制御部２２４２はパケット保持領域２２４３に格納されている最も優先度の低いパケットを破棄し、その後処理はステップＳ１００２に戻る。

パケット制御部２２４２は、パケット生成部２２４１が生成したパケットと、ネットワークアダプタ２１００から取得したネットワーク上のパケットと、のそれぞれについて図１０（Ａ）の処理を行う。このような処理により、優先度のより高いパケットが選択されてパケット保持領域２２４３に格納される。

図１０（Ｂ）は、パケット保持領域２２４３に格納されたパケットを、優先度に応じてネットワークに送出する処理を示す。ステップＳ１００７でパケット制御部２２４２は、ネットワークアダプタ２１００へのパケットの出力可否を確認し、出力が可能になるまで待機する。出力が可能になると、処理はＳ１００８に進む。ステップＳ１００８でパケット制御部２２４２は、パケット保持領域２２４３に格納されたパケットのうち、最も優先度の高いパケットを、ネットワークアダプタ２１００を介してネットワークに送出する。図１０（Ｂ）の処理を繰り返すことにより、優先度のより高いパケットが選択されてネットワークに送出される。

このような図１０（Ａ）及び（Ｂ）に示す処理により、カメラ１１２（第２の撮像装置）に接続されているカメラアダプタ１２０の伝送部２２００は、撮像画像の送信制御を行うことができる。特に伝送部２２００は、カメラ１１２（第２の撮像装置）による撮像画像及び他のカメラ１１２（第１の撮像装置）による撮像画像のそれぞれについて、優先度に従って送信先装置に送信するか否かを制御することができる。

上記の例では、各センサシステム１１０の伝送処理部２２４０が、パケット制御部２２４２及びパケット保持領域２２４３によって実現されるパケット制御機能を有している。一方で、全てのセンサシステム１１０の伝送処理部２２４０が上記のようなパケット制御機能を備えている必要はなく、例えば、一部のセンサシステム１１０の伝送処理部２２４０のみがこのようなパケット制御機能を備えていてもよい。また、伝送処理部２２４０がこのようなパケット制御機能を備える代わりに、ネットワーク上に、上記のパケット制御機能を有する独立した装置が設けられていてもよい。

本実施形態に係る制御装置は、撮像装置の撮像画像に対する優先度を設定することができる。また、この優先度に従って撮像画像の転送又は格納を制御することができる。このような構成によれば、仮想視点コンテンツの品質低下を抑制しながら画像データ量を減らすことができる。また、画像データ量が伝送帯域を超える場合であっても、優先度に従って画像データを破棄することができる。これにより、意図しない画像情報の欠損を防ぎ、被写体が移動したとしても、安定した品質の仮想視点コンテンツを得ることができる。本実施形態によれば、カメラ１１２の台数などの画像処理システムの規模、及び撮像画像の解像度及び出力フレームレートなどによらず、仮想視点コンテンツを容易に生成することができる。

［実施形態２］
実施形態２においては、実施形態１とは異なる方法で優先度が算出される。実施形態１においては、被写体の位置から撮像装置へと向かう視点方向と、被写体の位置から他の撮像装置へと向かう視点方向と、の近さの評価値に応じて、撮像装置による撮像画像に対する優先度が算出された。実施形態２では、被写体の位置から、この撮像装置とは異なる撮像装置へと向かう視点方向と、被写体の位置から他の撮像装置へと向かう視点方向と、の近さの評価値にさらに応じて、撮像装置による撮像画像に対する優先度が算出される。

実施形態２に係る画像処理システム１００の構成及び処理は実施形態１と同様であるが、ステップＳ４０６～Ｓ４０９の代わりに、図１２のフローチャートに従って優先度が算出される。ステップＳ１２０１の処理はステップＳ４０７と同様であるが、選択された全ての視点から被写体位置への視線が算出される。優先度算出部２３２４は、全てのカメラ１１２を視点として選択することができる。また、優先度算出部２３２４は、実施形態１と同様に、被写体の位置に基づいて、被写体が撮像範囲内に存在するカメラ１１２を視点として選択することもできる。ステップＳ１２０２の処理で優先度算出部２３２４は、全ての選択された視点について、２つの隣接視点の視線が成す角を、優先度として算出する。算出方法はステップＳ４０８と同様である。

ステップＳ１２０３で優先度算出部２３２４は、選択された各視点の優先度と比較して、優先度の算出対象であるカメラ１１２ａの優先度が最も低いか否かを判定する。最も低くない場合、処理はステップＳ１２０４に進む。最も低い場合、処理はステップＳ１２０５に進む。

ステップＳ１２０４において優先度算出部２３２４は、選択している視点から優先度が最も低い視点を除外し、その後処理はステップＳ１２０２に戻る。ステップＳ１２０５において優先度算出部２３２４は、カメラ１１２ａの優先度を出力する。こうして出力された優先度が、カメラ１１２ａの優先度として用いられる。

このように実施形態２では、カメラ１１２ａ以外のカメラ１１２についての、被写体の位置からカメラ１１２へと向かう視点方向と、被写体の位置から隣接視点へと向かう視点方向と、の近さの評価値をさらに考慮して、優先度が算出される。このような構成によれば、自身よりも優先度が低いために、本実施形態の構成において撮像画像がより欠落しやすい、自身以外のカメラの存在を考慮して優先度を算出することができる。

例えば、図７の例において、カメラ１１２ａ、カメラ１１２ｈ、及びカメラ１１２ｉは、視点方向が隣接視点と近いため、低い優先度が算出される。しかしながら、実施形態２においては、最も優先度が低いカメラ１１２ｈが選択している視点から最初に除外されるため、カメラ１１２ａ及びカメラ１１２ｉの優先度がより高くなる。また、次にカメラ１１２ａが選択している視点から除外されると、カメラ１１２ｉの優先度がカメラ１１２ｇよりも高くなる。図１１（Ａ）は、このような例において、伝送帯域に応じてより優先度が低い３つのカメラからの撮像画像を欠落させた様子を表す。実施形態１に従って、より優先度が低いカメラ１１２ａ、カメラ１１２ｈ、及びカメラ１１２ｉからの撮像画像を欠落させた様子を表す図１１（Ｂ）と比較して、全周で角密度の偏りが小さくなっていることがわかる。角密度の偏りを小さくすることにより、撮像画像が欠落した際に隣接視点からの撮像画像により補償される可能性を高め、生成される仮想視点画像に対する欠落の影響を小さくすることができる。

［実施形態３］
実施形態３においては、優先度算出部２３２４は、被写体の位置に応じた優先度を、撮像装置による撮像画像に対して設定する。このような被写体の位置に応じた優先度は、予め定めることができる。実施形態３に係る画像処理システム１００の構成及び処理は実施形態１と同様であるが、ステップＳ４０６～Ｓ４０９の代わりに、優先度算出部２３２４は以下の方法に従って優先度を設定することができる。

実施形態３では、撮像フィールド内における被写体の位置に応じた優先度が予め設定されている。図１４に示すように、複数のカメラ１１２は、被写体が存在する撮像平面である撮像フィールド７９０を取り囲むように配置されている。このような撮像フィールド７９０を、図１４に示すように複数の領域に分割することができる。図１４の例では、撮像フィールドが４×７ブロックに分割され、それぞれのブロックには１～２８のインデックスが付されている。

それぞれのブロックについての、複数のカメラ１１２のそれぞれの優先度は、実施形態１又は２の方法に従って設定することができる。例えば、被写体の位置がブロックの中心である場合に、実施形態１又は２に従って複数のカメラ１１２のそれぞれについて算出される優先度を、このブロックについての優先度として設定することができる。例えば、ブロックの中心を撮像領域に含む全ての視点からカメラ１１２ａの隣接視点を選択し、２つの隣接視点の視線が成す角を、このブロックについてのカメラ１１２ａの優先度として算出することができる。このような優先度は、例えば、サーバ２００などがカメラパラメータに基づいて予め算出することができる。そして、各カメラアダプタ１２０は、このように設定された優先度をネットワークを介して取得することができる。

このような構成において、優先度算出部２３２４は、被写体が位置するブロックを判定し、判定されたブロック及びカメラ１１２に対応する予め定められた優先度を、カメラの撮像画像に対する優先度として設定することができる。このような構成によれば、実施形態１，２と同様の符号量制御を、少ない処理量で実現することができる。すなわち、予め各ブロックについての視点毎の優先度テーブルを生成することで、撮像中における視点方向及び視線がなす角の算出処理を省略することができる。このため、処理負荷が軽減され、より高いフレームレートでの撮像が可能となる。

［その他の実施形態］
画像処理システムを構成する各装置のハードウェア構成について、より詳細に説明する。カメラアダプタ１２０は、ＦＰＧＡ及び／又はＡＳＩＣなどのハードウェアにより実装されていてもよい。これは、センサシステム１１０が有する各部や、端末１９０、サーバ２００、及びコントローラ３００についても同様である。しかしながら、画像処理システムを構成する装置の少なくとも１つが、ソフトウェア処理を行うことにより、上記の処理が実現されてもよい。すなわち、例えばＣＰＵ、ＧＰＵ、又はＤＳＰのようなプロセッサが、メモリ上のプログラムに従って動作することにより、上記の処理を実現することができる。

図１３は、図２に示す機能構成をソフトウェア処理によって実現するための、カメラアダプタ１２０のハードウェア構成を示すブロック図である。なお、端末１９０、サーバ２００、又はコントローラ３００が、図１３に示すハードウェア構成を有していてもよい。

カメラアダプタ１２０は、ＣＰＵ１２０１、ＲＯＭ１２０２、ＲＡＭ１２０３、補助記憶装置１２０４、表示部１２０５、操作部１２０６、通信部１２０７、及びバス１２０８を有する。ＣＰＵ１２０１はプロセッサであり、ＲＯＭ１２０２又はＲＡＭ１２０３に格納されているコンピュータプログラム及びデータを用いてカメラアダプタ１２０の全体を制御する。ＲＯＭ１２０２は、変更を必要としないプログラム及びパラメータを格納する記憶媒体である。ＲＡＭ１２０３は、ＲＯＭ１２０２又は補助記憶装置１２０４から供給されるプログラム及びデータ、並びに通信部１２０７を介して外部から供給されるデータなどを一時記憶するメモリである。補助記憶装置１２０４は、静止画及び動画などのコンテンツデータを記憶することができる記憶媒体であり、例えばハードディスクドライブである。

表示部１２０５は、ユーザがカメラアダプタ１２０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のような情報を表示することができ、例えば液晶ディスプレイなどである。操作部１２０６は、ユーザによる操作に従って各種の指示をＣＰＵ１２０１に入力することができ、例えばキーボードやマウスなどである。通信部１２０７は、カメラ１１２又はフロントエンドサーバ２３０などの外部の装置と通信を行うことができる。例えば、カメラアダプタ１２０が外部の装置と有線で接続される場合には、ＬＡＮケーブルなどの通信ケーブルが通信部１２０７に接続される。また、カメラアダプタ１２０が外部の装置と無線通信する機能を有する場合、通信部１２０７はアンテナを備える。バス１２０８は、カメラアダプタ１２０の各部を繋いで情報を伝達する。

なお、例えばカメラアダプタ１２０のような各装置の処理のうち一部がＦＰＧＡにより行われ、別の一部の処理がプロセッサを用いたソフトウェア処理によって実現されてもよい。また、表示部１２０５と操作部１２０６の少なくとも一方は、カメラアダプタ１２０の内部に存在してもよいし、外部に存在してもよい。また、ＣＰＵ１２０１が、カメラアダプタ１２０の外部に存在する表示部１２０５を制御する表示制御部として動作してもよいし、カメラアダプタ１２０の外部に存在する操作部１２０６を制御する操作制御部として動作してもよい。

上記の符号量制御方法は一例に過ぎない。例えば一実施形態に係る画像処理システムは、互いに接続され、それぞれ異なる視点から被写体の撮像を行う、センサシステム１１０のような複数の撮像システムを備えている。そして、複数の撮像システムのうちの少なくとも１つである第２の撮像システムは、複数の撮像システムのうちの１つである第１の撮像システムによる撮像画像を受信することができる。また、第２の撮像システムは、自身による撮像画像と第１の撮像システムによる撮像画像との送信を、被写体の位置に基づいて制御することができる。このような構成によっても、被写体の位置に応じて、仮想視点コンテンツの品質低下を抑制できるように、画像データの転送量を減らすことができる。具体的な送信制御方法としては、例えば実施形態１～３の方法が挙げられる。

画像処理システムの設置場所は特に限定されない。例えば、画像処理システムを設置可能な施設としては、競技場及びコンサートホールの他に、遊園地、公園、競馬場、競輪場、カジノ、プール、スケートリンク、スキー場、及びライブハウスなどが挙げられる。また、画像処理システムを設置可能な施設には、一時的に（期間限定で）建設される施設も含まれる。さらに、画像処理システムによる撮像の対象は、屋内で行われるイベントであっても屋外で行われるイベントであってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：画像処理システム、１１０：センサシステム、１１２：カメラ、１２０：カメラアダプタ、２２００：伝送部、２２４０：伝送処理部、２３００：画像処理部、２３２０：優先度生成部

Claims (15)

1. それぞれ異なる視点から被写体の撮像を行う複数の撮像装置を備える画像処理システムが有する制御装置であって、
   前記複数の撮像装置は、１つの撮像装置と、前記１つの撮像装置とは他の撮像装置とを含み、
   前記被写体の位置を取得する取得手段と、
   前記被写体の位置から前記１つの撮像装置へと向かう視点方向と、前記被写体の位置から前記他の撮像装置へと向かう視点方向と、の類似性に応じた優先度を、前記１つの撮像装置による撮像画像に対して設定する設定手段と、
   を備え、前記優先度は、前記撮像画像の転送又は格納の優先度であることを特徴とする制御装置。
2. 前記設定手段は、前記被写体の位置から前記１つの撮像装置へと向かう視点方向と、前記被写体の位置から前記他の撮像装置へと向かう視点方向と、の近さの評価値に応じた優先度を、前記１つの撮像装置による前記撮像画像に対して設定することを特徴とする、請求項１に記載の制御装置。
3. 前記複数の撮像装置は、前記１つの撮像装置と異なる撮像装置を含み、前記他の撮像措置は前記１つの撮像装置及び前記１つの撮像装置と異なる前記撮像装置とは他の撮像装置であり、
   前記設定手段は、前記被写体の位置から前記１つの撮像装置と異なる前記撮像装置へと向かう視点方向と、前記被写体の位置から前記他の撮像装置へと向かう視点方向と、の近さの評価値にさらに応じた優先度を、前記１つの撮像装置による前記撮像画像に対して設定することを特徴とする、請求項２に記載の制御装置。
4. 前記設定手段は、前記被写体の位置に基づいて、前記被写体が撮像範囲内に存在する撮像装置を前記複数の撮像装置から選択し、前記被写体の位置から前記１つの撮像装置へと向かう視点方向と、前記被写体から、前記選択された撮像装置のそれぞれへと向かう視点方向と、の類似性に応じた優先度を、前記１つの撮像装置による前記撮像画像に対して設定することを特徴とする、請求項１から３のいずれか１項に記載の制御装置。
5. 前記取得手段は、前記撮像画像に対する被写体抽出の結果を用いて前記被写体の位置を取得することを特徴とする、請求項１から４のいずれか１項に記載の制御装置。
6. 前記制御装置は、前記撮像画像に対して、前記１つの撮像装置の振動の影響を低減する補正処理を行う補正手段をさらに備え、
   前記取得手段は、前記補正処理後の撮像画像を用いて、前記被写体の位置を取得することを特徴とする、請求項５に記載の制御装置。
7. 前記複数の撮像装置のうちの少なくとも１つが前記制御装置を有することを特徴とする、請求項１から６のいずれか１項に記載の制御装置。
8. 前記複数の撮像装置のそれぞれが前記制御装置を有し、
   前記制御装置は、自装置を有している撮像装置による撮像画像に対して優先度を設定することを特徴とする、請求項１から７のいずれか１項に記載の制御装置。
9. 前記複数の撮像装置が、第１の撮像装置及び第２の撮像装置を含み、
   前記制御装置は前記第２の撮像装置に接続され、
   前記制御装置は、前記第１の撮像装置による撮像画像を受信し、前記第１の撮像装置による撮像画像と前記第２の撮像装置による撮像画像との送信先装置への送信を、それぞれの前記撮像画像に設定された前記優先度に従って制御する伝送手段をさらに備えることを特徴とする、請求項７又は８に記載の制御装置。
10. 前記伝送手段は、前記第１の撮像装置による撮像画像及び前記第２の撮像装置による撮像画像のそれぞれについて、前記優先度に従って前記送信先装置に送信するか否かを制御することを特徴とする、請求項９に記載の制御装置。
11. それぞれが請求項１から１０のいずれか１項に記載の制御装置と前記複数の撮像装置のうちの１つとを備える複数の撮像システムと、前記複数の撮像装置のそれぞれによる撮像画像を格納する格納装置と、を備えることを特徴とする画像処理システム。
12. 前記複数の撮像システムのうち２以上が、前記格納装置に対して直列に接続されていることを特徴とする、請求項１１に記載の画像処理システム。
13. 前記複数の撮像システムがそれぞれ有する撮像装置は、同期して撮像を行い、撮像により得られた撮像画像を前記格納装置に向けて出力することを特徴とする、請求項１１又は１２に記載の画像処理システム。
14. それぞれ異なる視点から被写体の撮像を行う複数の撮像装置を備える画像処理システムが有する制御装置が行う制御方法であって、
    前記複数の撮像装置は、１つの撮像装置と、前記１つの撮像装置とは他の撮像装置とを含み、
    前記被写体の位置を取得する取得工程と、
    前記被写体の位置から前記１つの撮像装置へと向かう視点方向と、前記被写体の位置から前記他の撮像装置へと向かう視点方向と、の類似性に応じた優先度を、前記１つの撮像装置による撮像画像に対して設定する設定工程と、
    を有し、前記優先度は、前記撮像画像の転送又は格納の優先度であることを特徴とする制御方法。
15. コンピュータを、請求項１から１０のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。

Images