JP6779139B2 - 制御装置、制御方法 - Google Patents

Description

本発明は、被写体を複数の方向から撮像する複数の撮像装置の制御技術に関するものである。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、該撮影により得られた複数視点からの画像（複数視点画像）を用いて仮想視点コンテンツを生成する技術が注目されている。上記のようにして複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末に伝送を行うことで実現できる。

特許文献１には、複数カメラの撮影映像から仮想視点映像を生成する際に、一部のカメラが使用できなくなったときに欠損部分を他のカメラの映像で補う技術が開示されている。

特開２００５−３５４２８９号公報

カメラのＮＤフィルタ切替中やワイパー動作中は、ＮＤフィルタやワイパーの動きが撮影画像に映り込むので、該カメラの画像を使用して三次元モデルを生成すると、被写体の三次元モデル化が正しく行われない恐れがある。

ＮＤフィルタ切替やワイパー動作は、太陽が出てきたときや隠れたとき、雨が降ってきたときなどに、多数のカメラにおいて行われる可能性がある。したがって、仮想視点コンテンツの生成に係る複数のカメラのＮＤフィルタ切替やワイパー動作を同時に行った場合、欠損部分を補うためのカメラ映像が存在しなくなると、三次元モデルの生成ができなくなってしまうという問題点があった。なお、上記の課題は、三次元モデルに基づいて仮想視点コンテンツを生成する場合のみならず、複数のカメラによる撮像画像の合成によって仮想視点コンテンツを生成する場合にも生じうる。

すなわち、ＮＤフィルタやワイパーといった、撮像画像に映り込む物体の動作が、複数のカメラについて同時に実行されると、仮想視点コンテンツに悪影響が生じる懸念があった。

本発明は上記問題に鑑み、撮像画像に映り込む物体（例えば、ＮＤフィルタやワイパーなど）の動作が複数のカメラにおいて同時に実行されることにより生じる仮想視点コンテンツへの悪影響を低減するための技術を提供する。

本発明の一様態は、複数の撮像装置のうち特定処理が実行される着目撮像装置の撮像画像における欠損を補うために用いられる撮像画像を撮像する撮像装置の特定処理が前記着目撮像装置の特定処理と同時に実行されないように制御する制御手段を有することを特徴とする。

本発明の構成によれば、撮像画像に映り込む物体（例えば、ＮＤフィルタやワイパーなど）の動作が複数のカメラにおいて同時に実行されることにより生じる仮想視点コンテンツへの悪影響を低減できるようになる。

画像処理システムの構成例を示すブロック図。 カメラアダプタ１２０の機能構成例を示すブロック図。 転送情報を生成するために行われる処理のフローチャート。 カメラアダプタ１２０の動作のフローチャート。 バイパス制御を説明する図。 カメラ制御部６１４１の機能構成例を示すブロック図。 撮像画像の画素値の統計量の解析の詳細を示す図。 カメラ１１２の各露出パラメータの決定処理のフローチャート。 カメラ制御部６１４１が行う処理のフローチャート。 論理的に隣接するカメラを説明する図。 カメラのグループを説明する図。 通常制御モードにおけるパケットの転送形態を説明する図。 ＮＤフィルタ切替中のカメラのバイパス制御を説明する図。 ＮＤフィルタ切替中のカメラのバイパス制御を説明する図。 ＮＤフィルタ切替を行うカメラを決定する処理のフローチャート。 画像処理システムの一例を示す図。 各輝度値に対する画素数のヒストグラム。 カメラ制御部６１４１の機能構成例を示すブロック図。 コンピュータ装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係る画像処理システムの構成例について、図１のブロック図を用いて説明する。本実施形態に係る画像処理システム１００は、競技場（スタジアム）やコンサートホールなどの施設を複数方向から撮影及び収音し、該撮影及び収音の結果を用いて任意の視点（仮想視点）からの映像及び音を仮想視点コンテンツとしてユーザに提供可能にする。図１に示す如く、本実施形態に係る画像処理システム１００は、撮影及び収音を行う複数のセンサシステム１１０ａ〜１１０ｚ、センサシステム１１０ａ〜１１０ｚが収集した情報を管理するサーバシステム２００を有する。更に画像処理システム１００は、各種の制御を行うコントローラ３００、サーバシステム２００が提供する任意の視点における映像及び音をユーザに提供する端末装置１９０、を有する。

先ず、センサシステム１１０ａ〜１１０ｚについて説明する。以下では、センサシステム１１０ａ〜１１０ｚで共通の説明を行う場合には、センサシステム１１０ａ〜１１０ｚをまとめてセンサシステム１１０と称する。また、マイク１１１ａ〜１１１ｚで共通の説明を行う場合には、マイク１１１ａ〜１１１ｚをまとめてマイク１１１と称する。また、カメラ（撮像装置）１１２ａ〜１１２ｚで共通の説明を行う場合には、カメラ１１２ａ〜１１２ｚをまとめてカメラ１１２と称する。また、雲台１１３ａ〜１１３ｚで共通の説明を行う場合には、雲台１１３ａ〜１１３ｚをまとめて雲台１１３と称する。また、外部センサ１１４ａ〜１１４ｚで共通の説明を行う場合には、外部センサ１１４ａ〜１１４ｚをまとめて外部センサ１１４と称する。また、カメラアダプタ１２０ａ〜１２０ｚで共通の説明を行う場合には、カメラアダプタ１２０ａ〜１２０ｚをまとめてカメラアダプタ１２０と称する。また、センサシステム１１０ａ〜１１０ｚのうちセンサシステム１１０ａ側に向かって上流、センサシステム１１０ｚ側に向かって下流とする。つまり、センサシステム１１０ａは最上流のセンサシステム、センサシステム１１０ｚは最下流のセンサシステムとなる。

図１に示す如く、センサシステム１１０ａ〜１１０ｚ（実際にはカメラアダプタ１２０ａ〜１２０ｚ）はネットワーク１７０ａ〜１７０ｙを介してデイジーチェーンにより接続されている。センサシステム１１０ａ〜１１０ｚのうちセンサシステム１１０ａ、１１０ｚはそれぞれネットワーク１８０ａ、１８０ｂを介してスイッチングハブ１８０に接続されている。また、センサシステム１１０ａ〜１１０ｙのそれぞれは、後段のセンサシステム１１０ｂ〜１１０ｚとネットワーク１７０ａ〜１７０ｙを介して接続されている。

ネットワーク１７０ａ〜１７０ｙ、１８０ａ、１８０ｂは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥであってもよい。また、ネットワーク１７０ａ〜１７０ｙ、１８０ａ、１８０ｂは、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、ネットワーク１７０ａ〜１７０ｙ、１８０ａ、１８０ｂは、これらのネットワークに限らず、他の種別のネットワークであってもよい。

マイク１１１ａ〜１１１ｚは何れも音を収集するためのもので、収集した音のデータ（音声データ）はそれぞれカメラアダプタ１２０ａ〜１２０ｚに送出される。

カメラ１１２ａ〜１１２ｚは何れも画像を撮像するためのもので、撮像した画像はそれぞれカメラアダプタ１２０ａ〜１２０ｚに送出される。カメラ１１２ａ〜１１２ｚが撮像する画像は静止画像であっても良いし、動画像を構成する各フレームの画像であっても良い。つまり、カメラ１１２ａ〜１１２ｚは静止画像を撮像するカメラであっても良いし、動画像を撮像するカメラであっても良い。

雲台１１３ａ〜１１３ｚはそれぞれカメラ１１２ａ〜１１２ｚが載置されて、その姿勢を変更するためのものである。

外部センサ１１４ａ〜１１４ｚは何れも様々なセンサにより構成することができ、例えば、自身の振動を検出するためにジャイロセンサであっても良い。外部センサ１１４ａ〜１１４ｚが検出した情報はそれぞれ、カメラアダプタ１２０ａ〜１２０ｚにて処理される。

カメラアダプタ１２０ａ〜１２０ｚのそれぞれは、マイク１１１ａ〜１１１ｚ、カメラ１１２ａ〜１１２ｚ、外部センサ１１４ａ〜１１４ｚから送出された情報を処理する。より詳しくは、カメラアダプタ１２０ａは、マイク１１１ａ、カメラ１１２ａ、外部センサ１１４ａからの情報を処理し、その処理結果に基づく転送情報（パケット）を後段のカメラアダプタ１２０ｂに転送する機能（発信機能）を有する。カメラアダプタ１２０ｂ〜１２０ｙのそれぞれは、カメラアダプタ１２０ａ〜１２０ｘから転送された転送情報（パケット）を、後段のカメラアダプタ１２０ｃ〜１２０ｚに転送する機能（転送機能）を有する。更にカメラアダプタ１２０ｂ〜１２０ｙは、マイク１１１ｂ〜１１１ｙ、カメラ１１２ｂ〜１１２ｙ、外部センサ１１４ｂ〜１１４ｙからの情報を処理し、その処理結果に基づく転送情報（パケット）を後段のカメラアダプタ１２０ｃ〜１２０ｚに転送する機能（発信機能）も有する。カメラアダプタ１２０ｚは、カメラアダプタ１２０ｙから転送された転送情報（パケット）を、後段のスイッチングハブ１８０に転送する機能（転送機能）を有する。更にカメラアダプタ１２０ｚは、マイク１１１ｚ、カメラ１１２ｚ、外部センサ１１４ｚからの情報を処理し、その処理結果に基づく転送情報（パケット）を後段のスイッチングハブ１８０に転送する機能（発信機能）を有する。このように、カメラアダプタ１２０ａについては発信機能を有し、カメラアダプタ１２０ｂ〜１２０ｚについては発信機能及び転送機能を有していることになる。

このような構成により、カメラアダプタ１２０ｚからは、センサシステム１１０ａ〜１１０ｚからの転送情報が、スイッチングハブ１８０を介してサーバシステム２００に対して送出される。

なお、センサシステム１１０の構成は図１に示した構成に限らない。例えば、センサシステム１１０はマイク１１１を有していなくても良いし、外部センサ１１４を有していなくても良い。また、マイク１１１、カメラ１１２、外部センサ１１４、カメラアダプタ１２０の数についても図１に示した数（＝１）に限らず、複数であっても良い。また、カメラ１１２とカメラアダプタ１２０とが一体となって構成されていてもよい。その場合、マイク１１１は一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。また、カメラアダプタ１２０の機能の一部を後述するサーバシステム２００が実施するようにしても良い。

次にサーバシステム２００について説明する。サーバシステム２００は、スイッチングハブ１８０を介してセンサシステム１１０ａ〜１１０ｚを同期させる制御を行ったり、スイッチングハブ１８０を介してセンサシステム１１０ｚから受信した転送情報に基づいて、被写体の三次元モデルを生成する。またサーバシステム２００は、コントローラ３００から指定された視点（仮想視点）に対応する画像（上記三次元モデルを用いた画像）や音のデータを、スイッチングハブ１８０を介してセンサシステム１１０ｚから受信した転送情報に基づいて生成する。そしてサーバシステム２００は、該生成した画像や音のデータを端末装置１９０に送信する。上記の通り、センサシステム１１０の構成によっては、音の収集は行わないため、このような構成の場合、サーバシステム２００は、仮想視点に対応する音は生成せずに、仮想視点に対応する画像を生成して端末装置１９０に対して送信する。サーバシステム２００は単体のサーバ装置で構成しても良いし、複数台のサーバ装置で構成しても良い。

次にコントローラ３００について説明する。コントローラ３００は、仮想視点を指定するためにも使用される。仮想視点の指定方法には様々な方法が考えられる。例えば、仮想視点を指定するためのＧＵＩ（グラフィカルユーザインターフェース）を表示画面に表示し、ユーザがキーボードやマウスを用いて該ＧＵＩを操作して仮想視点を指定しても良い。また、予め定められた規則に従ってコントローラ３００が仮想視点を移動させても良い。また、コントローラ３００は、スイッチングハブ１８０、ネットワーク１８０ａ、１８０ｂ、１７０ａ〜１７０ｙを介してセンサシステム１１０ａ〜１１０ｚの動作制御も行う。なお、図１では、サーバシステム２００とコントローラ３００とは別個の装置としているが、サーバシステム２００とコントローラ３００とを一体化しても良い。

次に、端末装置１９０について説明する。端末装置１９０は、スマートフォンやタブレット端末装置、ＰＣ（パーソナルコンピュータ）などの機器であり、サーバシステム２００から送信された情報を受信してユーザに提示可能な機器である。つまり端末装置１９０は、サーバシステム２００から仮想視点に対応する画像を受信すると、該画像を表示し、サーバシステム２００から仮想視点に対応する音声データを受信すると、該音声データに基づいて該音を再生する。なお、サーバシステム２００による画像や音の出力先は、端末装置１９０に限らない。

以上説明した各機能部の動作は一例であり、上記の動作のみを行うことに限らない。また、図１ではセンサシステム１１０の数を２６としているが、センサシステム１１０の数は２６に限らない。また、センサシステム１１０ａ〜１１０ｚの接続形態は上記のようにデイジーチェーンに限らない。例えば、センサシステム１１０ａ〜１１０ｚのそれぞれをスイッチングハブ１８０に接続し、スイッチングハブ１８０を経由してセンサシステム１１０間でデータの送受信を行うスター型のネットワーク構成を採用しても良い。

また、図１では、デイジーチェーンとなるようセンサシステム１１０ａ〜１１０ｚの全てがカスケード接続されている構成を示した。しかし、例えば、センサシステム１１０ａ〜１１０ｚをいくつかのグループに分割し、グループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。この場合、グループ内で終端となるセンサシステム１１０のカメラアダプタ１２０がスイッチングハブ１８０に接続される。このような構成は、スタジアムにおいて特に有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎にサーバシステム２００への転送情報の転送を行うことができ、全センサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。なお、デイジーチェーン接続されてサーバシステム２００への入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、サーバシステム２００での処理の制御が切り替えられる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。サーバシステム２００への入力を行うカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で伝送を行いながら競技場全周画像が生成されるため、サーバシステム２００において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１１０がグループに分割されていなければ、同期はとれる。しかし、サーバシステム２００への入力を行うカメラアダプタ１２０が複数になる（センサシステム１１０がグループに分割される）場合は、それぞれのデイジーチェーンのレーン（経路）によって遅延が異なる場合が考えられる。そのため、サーバシステム２００において全周の画像データが揃うまで待って同期をとる同期制御によって、転送情報の集結をチェックしながら後段の画像処理を行う必要があることを明記しておく。

また、以上説明した各機能部の機能の一部若しくは全部を他の機能部に実施させるようにしても良い。また、情報の送受信時に該情報の符号化／復号を適宜行うようにしても良い。また、画像処理システム１００は、図１で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。

次に、カメラアダプタ１２０の機能構成例について、図２のブロック図を用いて説明する。図２に示す如く、カメラアダプタ１２０は、外部機器制御部６１４０、画像処理部６１３０、伝送部６１２０、ネットワークアダプタ６１１０を有する。図２に示した各機能部は全てハードウェアで実装しても良いし、一部若しくは全部をソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、カメラアダプタ１２０は、このソフトウェアを実行するプロセッサを有する必要がある。

先ず、ネットワークアダプタ６１１０について説明する。ネットワークアダプタ６１１０は、カメラアダプタ１２０自身が生成した転送情報や上流側のネットワークアダプタ６１１０から転送されてきた転送情報を、後段のネットワークアダプタ６１１０に対して転送するためのものである。

次に、伝送部６１２０について説明する。伝送部６１２０は、処理部６１２２と情報保持部６１２５とを有する。

情報保持部６１２５には、自身よりも下流側に位置するカメラアダプタ１２０を特定するための情報が登録されている。本実施形態では、カメラ１１２ａ〜１２０ｚはＷ（Ｗは１以上の整数）個のグループに区分されており、グループ内のカメラは何れも同じ注視点にフォーカスしたカメラであるものとする。つまり、カメラ１１２ａ〜１２０ｚは、Ｗ個の注視点のそれぞれにフォーカスしているカメラグループによって構成されている。然るにカメラ１１２α（α＝ａ〜ｚ）に対応するカメラアダプタ１２０αの情報保持部６１２５には、カメラ１１２αと同グループに属する他のカメラに対応するカメラアダプタ１２０αのアドレス情報が登録されている。カメラ１１２ａ〜１２０ｚがＷ個のグループに区分されているということは、カメラ１１２ａ〜１２０ｚのそれぞれに対応するカメラアダプタ１２０ａ〜１２０ｚも同様にＷ個のグループに区分されていることになる。従って、カメラアダプタ１２０ａ〜１２０ｚのそれぞれには、自身が属するグループを特定するための情報（例えばグループ番号）であるグループ情報が設定されているものとする。

カメラ１１２ａ〜１２０ｉ（カメラアダプタ１２０ａ〜１２０ｉ）が２つのグループに分かれている構成を図１１に示す。図１１では、カメラ１１２ａ〜１２０ｉが２つのグループ（注視点グループＡ、注視点グループＢ）に区分されている。より詳しくは、カメラ１１２ａ、１１２ｃ、１１２ｅ、１１２ｇは、注視点Ａとしての被写体６３０２Ａにフォーカスされたものであり、注視点グループＡを形成している。一方、カメラ１１２ｂ、１１２ｄ、１１２ｆ、１１２ｈ、１１２ｉは、注視点Ｂとしての被写体６３０２Ｂにフォーカスされたものであり、注視点グループＢを形成している。

ここでは、同じ注視点グループに属するカメラ１１２の中で最も近い（接続ホップ数が小さい）カメラ１１２の組を論理的に隣接していると表現する。例えば、カメラ１１２ａとカメラ１１２ｂは、物理的には隣接しているが、異なる注視点グループに属するため論理的には隣接していない。カメラ１１２ａと論理的に隣接しているのは、カメラ１１２ｃである。一方、カメラ１１２ｈとカメラ１１２ｉは、物理的に隣接しているだけでなく、論理的にも隣接している。

図２に戻って、処理部６１２２は、情報保持部６１２５に登録されているアドレス情報を用いて、カメラアダプタ１２０から転送される転送情報の転送先（ルーティング先）を決定する。本実施形態では、処理部６１２２は、情報保持部６１２５に登録されているアドレス情報に対応するカメラアダプタ１２０（カメラ１１２）の並び順において、自身よりも１つ下流のカメラアダプタ１２０のアドレス情報をルーティング先として決定する。以下では、「情報保持部６１２５に登録されているアドレス情報に対応するカメラアダプタ１２０（カメラ１１２）の並び順において、自身よりも１つ下流のカメラアダプタ１２０」を、「自身よりも論理的に１つ下流のカメラアダプタ１２０」と称する場合がある。

なお、各グループの最下流のカメラ１１２に対応するカメラアダプタ１２０の情報保持部６１２５には何も登録されておらず、該カメラアダプタ１２０の処理部６１２２は、ルーティング先をスイッチングハブ１８０として決定する。

次に、画像処理部６１３０について説明する。画像処理部６１３０は、分離部６１３１と生成部６１３２とを有する。分離部６１３１は、カメラ１１２が撮像した画像の前景部分を表す前景画像と、背景部分を表す背景画像と、を生成する。例えば分離部６１３１は、画像中の被写体（人などのオブジェクト）の領域内の画像を前景画像として抽出し、残りの領域内の画像を背景画像とする。

生成部６１３２は、分離部６１３１が生成した前景画像と、ネットワークアダプタ６１１０が受信した転送情報に含まれている前景画像と、を用いて、例えばステレオカメラの原理を用いて、被写体の三次元モデルを生成する際に利用される画像情報を生成する。

次に、外部機器制御部６１４０について説明する。外部機器制御部６１４０は、マイク制御部６１４２、カメラ制御部６１４１、雲台制御部６１４３、センサ制御部６１４４を有する。

マイク制御部６１４２は、マイク１１１の制御や、マイク１１１による収音の開始／終了の制御を行う。マイク１１１の制御とは、例えば、ゲイン調整や、マイク１１１の状態の取得などである。また、マイク制御部６１４２は、マイク１１１から出力された音声信号に対してＡ／Ｄ変換を含む様々な処理を行うことで音声データを生成する。

カメラ制御部６１４１は、コントローラ３００からの指示に応じてカメラ１１２の動作制御を行うためのもので、例えばカメラ１１２の同期制御や、カメラ１１２の撮像パラメータの設定（画素数、色深度、フレームレート、ホワイトバランスの設定等）を行う。撮像パラメータの制御は、コントローラ３００からの指示に応じて行うことに限らず、例えば、オートフォーカス機能などはコントローラ３００からの指示に応じて行うのではなく、カメラ制御部６１４１が撮像画像を分析するなどして行う。更にカメラ制御部６１４１は、カメラ１１２から出力される画像信号に対してＡ／Ｄ変換を含む様々な画像処理を行うことで画像のデータを生成する。更にカメラ制御部６１４１は、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなどのステータス情報）の取得や、カメラ１１２に対して撮像開始／終了を指示する。マイク１１１やカメラ１１２の状態（ステータス情報）は定期的に、若しくはコントローラ３００からの要求に応じてコントローラ３００に対して送出される。

雲台制御部６１４３は、コントローラ３００からの指示などに応じて、雲台１１３の動作制御を行い、これによりカメラ１１２の姿勢を該指示に応じた姿勢に変更することができる（パン・チルト制御）。更に雲台制御部６１４３は、雲台１１３の状態を取得する。

センサ制御部６１４４は、外部センサ１１４の動作制御を行うと共に、外部センサ１１４から出力された信号にＡ／Ｄ変換を含む様々な処理を行うことで、センサ値を取得する。例えば、外部センサ１１４としてジャイロセンサが利用される場合、センサ制御部６１４４は、外部センサ１１４からカメラ１１２の振動を表す情報（振動情報）を取得することができる。そして、センサ制御部６１４４が取得した振動情報を用いて、画像処理部６１３０は、分離部６１３１での処理に先立って、振動を抑えた画像を生成することができる。振動情報は例えば、８Ｋカメラの画像を、振動情報を考慮して、元の８Ｋサイズよりも小さいサイズで切り出して、隣接設置されたカメラ１１２の画像との位置合わせを行う場合に利用される。これにより、建造物の躯体振動が各カメラに異なる周波数で伝搬しても、カメラアダプタ１２０に配備された本機能で位置合わせを行う。その結果、電子的に防振された画像データを生成でき、サーバシステム２００におけるカメラ１１２の台数分の位置合わせの処理負荷を軽減する効果が得られる。なお、センサシステム１１０のセンサは外部センサ１１４に限らず、カメラアダプタ１２０に内蔵されたセンサであっても同様の効果が得られる。

そしてネットワークアダプタ６１１０は、分離部６１３１が生成した前景画像及び背景画像、マイク制御部６１４２が生成した音声データ、生成部６１３２が生成した画像情報、を含む転送情報をパケットとして、処理部６１２２が決定したルーティング先に向けて転送する。なお、パケットのヘッダ情報には、カメラアダプタ１２０に設定されているグループ情報が含まれている。

なお、パケットに含める情報は上記の情報に限らない。例えば、画像や音に係るメタデータをパケットに含めるようにしても良い。また、前景画像及び背景画像の両方を必ずパケットに含めることに限らず、例えば、背景画像をパケットに含めないようにしても良い。また上記の通り、パケットに含める情報は適宜圧縮しても構わない。

以下では説明を簡単にするために、パケットに音声データを含めるための構成／処理については説明を省く。

次に、カメラアダプタ１２０が転送情報を生成するために行う処理について、同処理のフローチャートを示す図３を用いて説明する。ステップＳ６５０１では、カメラ制御部６１４１は、カメラ１１２により撮像された撮像画像を取得する。ステップＳ６５０２では、分離部６１３１は、ステップＳ６５０１で取得した撮像画像を前景画像と背景画像とに分離する。撮像画像のどの部分を前景とし、どの部分を背景とするのかについては特定の形態に限らない。ステップＳ６５０３では、分離部６１３１は、前景画像及び背景画像を圧縮する。圧縮方式については特定の圧縮方式に限らない。例えば、前景画像に対しては可逆圧縮を行い、背景画像に対しては非可逆圧縮を行う。なお、上記の通り、前景画像及び背景画像は圧縮しなくても良いし、一方のみを圧縮しても良い。

次に、カメラアダプタ１２０の動作について、図４のフローチャートを用いて説明する。なお、図４のフローチャートに従った処理は、カメラアダプタ１２０ｂ〜１２０ｙにおいて行われる。カメラアダプタ１２０ａは、前景画像及び背景画像、グループ情報を含むパケットを生成してカメラアダプタ１２０ｂに伝送する処理を行う。カメラアダプタ１２０ｚは図４のフローチャートにおいてルーティング先をスイッチングハブ１８０とした処理を行う。

ステップＳ６６０１では、ネットワークアダプタ６１１０は、自カメラアダプタ１２０の１つ上流側のカメラアダプタ１２０のネットワークアダプタ６１１０から転送されたパケットを受信する。ここで、自カメラアダプタ１２０の動作モードとしてバイパス制御モードが設定されている場合には、処理はステップＳ６６０２を介してステップＳ６６１１に進む。一方、自カメラアダプタ１２０の動作モードとしてバイパス制御モードが設定されていない場合（通常制御モードが設定されている場合）には、処理はステップＳ６６０２を介してステップＳ６６０３に進む。

ステップＳ６６１１では、ネットワークアダプタ６１１０は、ステップＳ６６０１で受信したパケットを、１つ下流側のカメラアダプタ１２０のネットワークアダプタ６１１０に転送（バイパス伝送）する。

一方、ステップＳ６６０３では、伝送部６１２０は、ステップＳ６６０１で受信したパケットのヘッダ情報に含められているグループ情報が、自カメラアダプタ１２０のグループ情報と同じであるか否かを判断する。同じであると判断した場合、ステップＳ６６０１で受信したパケットはバイパス伝送対象のパケットではないと判断する。一方、同じではないと判断した場合、ステップＳ６６０１で受信したパケットはバイパス伝送対象のパケットであると判断する。バイパス伝送対象のパケットとしては、これ以外にもあり、例えば、コントローラ３００から送信された各種の制御指示のパケット等がある。

ステップＳ６６０１で受信したパケットがバイパス伝送対象のパケットである場合には、処理はステップＳ６６０４を介してステップＳ６６１０に進む。一方、ステップＳ６６０１で受信したパケットがバイパス伝送対象のパケットではない場合には、処理はステップＳ６６０４を介してステップＳ６６０８に進む。

ステップＳ６６１０では、ネットワークアダプタ６１１０は、ステップＳ６６０１で受信したパケットを、１つ下流側のカメラアダプタ１２０のネットワークアダプタ６１１０に転送（バイパス伝送）する。

一方、ステップＳ６６０８では、分離部６１３１は、カメラ１１２により撮像された撮像画像を前景画像と背景画像とに分離する。伝送部６１２０は、ステップＳ６６０１で受信したパケットを画像処理部６１３０に転送する。生成部６１３２は、分離部６１３１により分離された前景画像と、伝送部６１２０によって伝送されたパケット（ステップＳ６６０１で受信したパケット）中の前景画像とを用いて、三次元モデルを生成するために要する画像情報（三次元モデル情報）を生成する。

ステップＳ６６０９では、ネットワークアダプタ６１１０は、ステップＳ６６０８で生成した三次元モデル情報、ステップＳ６６０８で生成した前景画像及び背景画像、自カメラアダプタ１２０のグループ情報、を含むパケットを生成する。また、処理部６１２２は、情報保持部６１２５が保持するアドレス情報を参照し、このパケットのルーティング先として、自カメラアダプタ１２０よりも論理的に１つ下流側のカメラアダプタ１２０のネットワークアダプタ６１１０を決定する。そしてネットワークアダプタ６１１０は、該生成したパケットと、ステップＳ６６０１で受信したパケットと、を１つ下流側のカメラアダプタ１２０のネットワークアダプタ６１１０に転送する（ルーティング先は処理部６１２２が決定したルーティング先）。

ここで、上記のバイパス伝送（バイパス制御）について、図５を例にとり説明する。図５では、カメラアダプタ１２０ｂによるバイパス伝送について示している。カメラアダプタ１２０ａから受信したパケットがバイパス伝送対象のパケットである場合や、カメラアダプタ１２０ｂの動作モードがバイパス制御モードであるとする。この場合、ルーティング先の制御は行われず、伝送部６１２０ｂは、カメラアダプタ１２０ａから受信したパケットを画像処理部６１３０ｂに転送することなく、１つ下流側のカメラアダプタ１２０ｃにネットワークアダプタ６１１０ｂを介して転送する。

例えばカメラアダプタ１２０ｂは、カメラ１１２ｂの状態が撮影停止中やキャリブレーション中、又はエラー処理中である場合には、動作モードをバイパス制御モードに切り替える。また例えば、伝送部６１２０または画像処理部６１３０などの動作不良などが発生した場合にも、バイパス制御モードに切り替える。また、ネットワークアダプタ６１１０が伝送部６１２０の状態を検知し、能動的にバイパス制御モードに切り替えても良い。なお、伝送部６１２０または画像処理部６１３０がエラー状態や停止状態にあることを検知するサブＣＰＵをカメラアダプタ１２０ｂに配備し、サブＣＰＵがエラー検知を行った場合にネットワークアダプタ６１１０の動作モードをバイパス制御モードに切り替えるようにしても良い。これにより、各機能ブロックのフォールト状態とバイパス制御を独立して制御できる効果がある。

また、カメラアダプタ１２０は、カメラ１１２の状態がキャリブレーション状態から撮影状態に遷移した場合や、伝送部６１２０などが動作不良から復旧した場合に、バイパス制御モードから通常の通信モードに遷移してもよい。

このバイパス制御モードにより、カメラアダプタ１２０はデータ転送を高速に行う事ができ、また不慮の故障などが発生しデータルーティングに係わる判断ができない場合でも次のカメラアダプタ１２０ｃへデータを転送することができる。

通常制御モードにおけるパケットの転送形態（バイパス制御）の一例について、図１２を用いて説明する。図１２では、カメラアダプタ１２０ｇにおいて生成したパケットの、カメラアダプタ１２０ｈ〜１２０ｎのそれぞれにおける通過ルートを示している。ここで、カメラアダプタ１２０ｇ、１２０ｈ、１２０ｎは注視点グループＡに属しており、カメラアダプタ１２０ｉは注視点グループＢに属しているものとする。

このとき、カメラアダプタ１２０ｇから出力されたパケットは先ずカメラアダプタ１２０ｈのネットワークアダプタ６１１０ｈに入力される。伝送部６１２０ｈは、このパケットのヘッダ情報に含まれているグループ情報が示すグループが注視点グループＡであるかを判断する。このパケットのヘッダ情報には注視点グループＡを示すグループ情報が含まれており、カメラアダプタ１２０ｈが属するグループと同一である。そのため、伝送部６１２０は、このパケットをネットワークアダプタ６１１０ｈから画像処理部６１３０ｈに伝送し、このパケットは、画像処理部６１３０ｈにおける三次元モデル情報の生成に用いられる。そしてネットワークアダプタ６１１０ｈは、カメラアダプタ１２０ｇから入力したパケットをネットワークアダプタ６１１０ｉに転送する。

カメラアダプタ１２０ｈから出力されたパケットは先ずカメラアダプタ１２０ｉのネットワークアダプタ６１１０ｉに入力される。伝送部６１２０ｉは、このパケットのヘッダ情報に含まれているグループ情報が示すグループが注視点グループＡであるかを判断する。このパケットのヘッダ情報には注視点グループＡを示すグループ情報が含まれており、カメラアダプタ１２０ｉが属するグループ（注視点グループＢ）と異なる。そのため、伝送部６１２０ｉは、このパケットを画像処理部６１３０ｉに転送することなく、ネットワークアダプタ６１１０ｉを介してネットワークアダプタ６１１０ｊに転送する。

ネットワークアダプタ６１１０ｎにパケットが入力されると、伝送部６１２０ｎは、このパケットのヘッダ情報に含まれているグループ情報が示すグループが注視点グループＡであるかを判断する。このパケットのヘッダ情報には注視点グループＡを示すグループ情報が含まれており、カメラアダプタ１２０ｎが属するグループと同じである。しかし、画像処理部６１３０ｎが、このパケット内の前景画像が三次元モデル情報の生成に必要な前景画像ではない（自カメラアダプタ１２０との相関が低いデータである）と判断したとする。このとき伝送部６１２０ｎは、このパケットをネットワークアダプタ６１１０ｎを介して次のネットワークアダプタ６１１０ｏに転送する。

次に、上記のカメラ制御部６１４１の機能構成例とその周辺の機能部との関連について、図６のブロック図を用いて説明する。

映像データ受信部６１４１１は、カメラ１１２による撮像画像を取得して、映像データ解析部６１４１２及び画像処理部６１３０に転送する。

映像データ解析部６１４１２は、映像データ受信部６１４１１から転送された撮像画像の画素値（輝度値）の統計量を解析する。撮像画像の画素値の統計量の解析の詳細については後述する。更に映像データ解析部６１４１２は、映像データ受信部６１４１１から転送された撮像画像に添付（多重化）されているカメラ１１２の現在の各露出パラメータ（ＩＲＩＳ、シャッタースピード、ＩＳＯ／ゲイン、ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタに関する情報）を取得する。

露出制御部６１４１３は、映像データ解析部６１４１２が解析した統計量に基づいて、現在の露出が適正であるか否かを判断し、適正でないと判断した場合には、現在のカメラ１１２の露出パラメータを変更してカメラ１１２の新たな露出パラメータを決定する。露出制御部６１４１３の動作の詳細については、後述する。

コマンド送信部６１４１４は、露出制御部６１４１３が決定したカメラ１１２の各露出パラメータをカメラ１１２へ送信する。カメラ１１２は、コマンド送信部６１４１４から送信された各露出パラメータに従って露出を変更する。更にコマンド送信部６１４１４は、コントローラ３００からカメラ１１２を制御するためのコマンドを受信した場合には、このコマンドもカメラ１１２へ送信する。

コマンド解析部６１４１５は、コントローラ３００から出力されたコマンドを解析する。そしてコマンド解析部６１４１５は、この解析の結果、該コマンドがカメラ１１２を制御するためのカメラ制御コマンドであれば、該コマンドをコマンド送信部６１４１４に転送し、該コマンドが露出調整情報であれば、該コマンドを記憶部６１４１６へ送る。

露出調整情報とは、カメラの露出パラメータのうち、ＩＲＩＳ、シャッタースピード、ＩＳＯ／ゲインのそれぞれの許容範囲（上限値及び下限値）を表す情報を含む。例えば、ＩＲＩＳは被写界深度、シャッタースピードは動きボケや動きの滑らかさ、ＩＳＯ／ゲインはノイズにそれぞれ影響するので、コントローラ３００からカメラアダプタ１２０に対して、適正な画質を得るための許容範囲を設定する。露出制御部６１４１３は、各露出パラメータを許容範囲内に収まるように変更して、適正露出に調整する。さらに、露出制御部６１４１３は、ＩＲＩＳ、シャッタースピード、ＩＳＯ／ゲインを許容範囲内で変更しても適正露出に調整できないときは、その旨を警告信号発生部６１４１７へ通知する。また、露出調整情報は、ＩＲＩＳ、シャッタースピード、ＩＳＯ／ゲインのうち、どの露出パラメータを優先して変更するかを表す情報も含む。

なお、本システムのように、複数のカメラの映像を合成した映像を生成するシステムの場合は、すべてのカメラの動きボケの量が同一であることが望ましい、すなわち、すべてのカメラのシャッタースピードが同一であることが望ましい。したがって、シャッタースピードの変更はコントローラ３００から一括で制御するものとして、露出制御部６１４１３によるカメラ個別のシャッタースピードの変更を禁止するのが望ましい。

警告信号発生部６１４１７は、露出制御部６１４１３から、「ＩＲＩＳ、シャッタースピード、ＩＳＯ／ゲインを許容範囲内で変更しても適正露出に調整できない」旨の通知を受けると、伝送部６１２０、ネットワークアダプタ６１１０を介して、コントローラ３００へ露出警告信号を送信する。

コントローラ３００は、露出警告信号を発したカメラアダプタ１２０に対応するカメラがＮＤフィルタを切り替えるタイミングを制御し、該カメラアダプタ１２０に対してＮＤフィルタ切替制御信号を送信する。ＮＤフィルタ切替制御信号は、ネットワークアダプタ６１１０、伝送部６１２０、コマンド解析部６１４１５、コマンド送信部６１４１４を介してカメラ１１２へ送られ、カメラ１１２は該ＮＤフィルタ切替制御信号に応じてＮＤフィルタを切り替える。ＮＤフィルタは物理的なフィルタであり、例えばＮＤフィルタ切替制御信号に従いカメラ１１２の制御によって自動的に撮像用レンズの前面、後面、またはレンズ群の中間部分に挿入される。ＮＤフィルタを複数種類用意しておき、それを切り替えるものとしてもよいし、１つのＮＤフィルタの有無を切り替えるものとしてもよい。また、ＮＤフィルタ以外の物理的フィルタを挿入するものとしてもよい。

次に、映像データ解析部６１４１２による撮像画像の画素値の統計量の解析の詳細について、図７を用いて説明する。図７は、１枚の撮像画像における、各輝度値に対する画素数のヒストグラムを表しており、横軸は輝度値、縦軸は画素数を表している。図７では、撮像画像の各画素の輝度値が１０ビット（輝度値＝０〜１０２３）で表されるものとしている。

ＲＧＢ上限値に相当する明るさの光よりも強い光に対応する画素の映像信号値はＲＧＢ上限値となり、該画素には白飛びが起きている。一方、ＲＧＢ下限値に相当する明るさの光よりも弱い光に対応する画素の映像信号値はＲＧＢ下限値となり、該画素には黒潰れが起きている。ＲＧＢ上限値及びＲＧＢ下限値は、映像信号のフォーマット毎に規定された固定値であり、例えばＳＤＩ規格の１０ビット映像信号では、０と１０２３の値は同期信号として使用され、１〜３と１０２０〜１０２２の値は使用禁止となっている。すなわち有効な輝度値は４〜１０１９の範囲であり、ＲＧＢ上限値は１０１９、ＲＧＢ下限値は４となる。白飛び判定閾値及び黒潰れ判定閾値はそれぞれ、白飛びや黒潰れに近い値になったことを検出して露出調整することで白飛びや黒潰れを未然に防ぐために予め設定されたものである。以下では、白飛び判定閾値をθ１、黒潰れ判定閾値をθ２としている。映像データ解析部６１４１２には、このような白飛び判定閾値θ１及び黒潰れ判定閾値θ２が予め設定されている。なお、この白飛び判定閾値θ１及び黒潰れ判定閾値θ２は、ユーザ操作などに応じて適宜変更しても構わない。

映像データ解析部６１４１２が撮像画像の各画素の輝度値を解析した結果、図７（Ａ）に示す如く、撮像画像中にθ２未満の輝度値を有する画素が存在し、且つθ１より大きい輝度値を有する画素が存在しない場合、該撮像画像については黒潰れと判断する。撮像画像について黒潰れと映像データ解析部６１４１２が判断した場合、露出制御部６１４１３は、露出を現在の露出よりも上げるように各露出パラメータを決定する（ＩＲＩＳを開く、ＩＳＯ／ゲインを上げるなど）。このように決定した各露出パラメータを設定したカメラ１１２の撮像画像では、図７（Ｂ）に示す如く、輝度値が全体的に上がる。

また図７（Ｃ）に示す如く、映像データ解析部６１４１２が撮像画像の各画素の輝度値を解析した結果、撮像画像中にθ２未満の輝度値の画素は存在せず、且つθ１より大きい輝度値の画素が存在する場合、該撮像画像については白飛びと判断する。撮像画像について白飛びと映像データ解析部６１４１２が判断した場合、露出制御部６１４１３は、露出を現在の露出よりも下げるように各露出パラメータを決定する（ＩＲＩＳを絞る、ＩＳＯ／ゲインを下げるなど）。このように決定した各露出パラメータを設定したカメラ１１２の撮像画像では、輝度値が全体的に下がる。

なお、白飛び判定閾値よりも大きい輝度値を有する画素が存在したとしても、その数が比較的小さい規定数よりも小さい場合には、画質にはあまり影響がないものと判断し、白飛び判定閾値よりも大きい輝度値を有する画素の数を０と見なしても良い。同様に、黒潰れ判定閾値未満の輝度値を有する画素が存在したとしても、その数が比較的小さい規定数よりも小さい場合には、画質にはあまり影響がないものと判断し、黒潰れ判定閾値未満の輝度値を有する画素の数を０と見なしても良い。

また図７（Ｄ）に示す如く、映像データ解析部６１４１２が撮像画像の各画素の輝度値を解析した結果、撮像画像中にθ２未満の輝度値の画素及びθ１より大きい輝度値の画素の両方が存在したとする。このとき、θ２未満の輝度値を有する画素の数≧θ１より大きい輝度値を有する画素の数であれば、撮像画像については黒潰れと判断する。一方、θ２未満の輝度値を有する画素の数＜θ１より大きい輝度値を有する画素の数であれば、撮像画像については白飛びと判断する。

次に、カメラ１１２の各露出パラメータの決定処理について、同処理のフローチャートを示す図８を用いて説明する。

ステップＳ３００１では、映像データ解析部６１４１２は、映像データ受信部６１４１１から転送された撮像画像の画素値（輝度値）の統計量として、θ１よりも大きい輝度値を有する画素の数Ｎ１、θ２未満の輝度値を有する画素の数Ｎ２を取得する。更に映像データ解析部６１４１２は、映像データ受信部６１４１１から転送された撮像画像に添付（多重化）されているカメラ１１２の現在の各露出パラメータを取得する。

ステップＳ３００２では、露出制御部６１４１３は、Ｎ１、Ｎ２に基づいて、撮像画像中における白飛びや黒潰れの有無を判定する。ステップＳ３００２で白飛びと判定された場合、処理はステップＳ３００３を介してステップＳ３００６に進む。一方、ステップＳ３００２において黒潰れと判定された場合、処理はステップＳ３００３、Ｓ３００４を介してステップＳ３００５に進む。一方、ステップＳ３００２において白飛びとも黒潰れとも判定していない場合は、図８のフローチャートに従った処理は終了する。

ステップＳ３００６では、露出制御部６１４１３は、カメラ１１２の露出を現在の露出よりも下げるように各露出パラメータを決定するための「現在の露出パラメータに対する変更量」として適当な負の値を設定する。つまり、露出の変更方向としてマイナス方向を設定している。

一方、ステップＳ３００５では、露出制御部６１４１３は、カメラ１１２の露出を現在の露出よりも上げるように各露出パラメータを決定するための「現在の露出パラメータに対する変更量」として適当な正の値を設定する。つまり、露出の変更方向としてプラス方向を設定している。

ステップＳ３００７では、露出制御部６１４１３は、現在の露出パラメータを、ステップＳ３００５若しくはステップＳ３００６において設定した変更量だけ変更可能であるか否かを判断する。すなわち、露出制御部６１４１３は、現在の露出パラメータを、ステップＳ３００５若しくはステップＳ３００６において設定した露出の変更方向に変更可能であるか否かを判断する。例えば、露出制御部６１４１３は、ＩＲＩＳ及びＩＳＯ／ゲインの許容範囲内で上記の変更量だけの変更が可能であるか否かを判断する。この判断の結果、変更可能と判断した場合には、処理はステップＳ３００８に進み、変更不可能と判断した場合には、処理はステップＳ３００９に進む。

ステップＳ３００８で露出制御部６１４１３は、現在の露出パラメータ（ＩＲＩＳまたはＩＳＯ／ゲインの値）を、ステップＳ３００５若しくはステップＳ３００６において設定した変更量だけ変更することで、カメラ１１２の新たな露出パラメータを決定する。そしてコマンド送信部６１４１４は、変更後の露出パラメータをカメラ１１２へ送信する。

一方、ステップＳ３００９では、露出制御部６１４１３は、ＩＲＩＳ、シャッタースピード、ＩＳＯ／ゲインを許容範囲内で変更しても適正露出に調整できない旨を警告信号発生部６１４１７へ通知する。警告信号発生部６１４１７は、露出制御部６１４１３からこの通知を受けると、伝送部６１２０、ネットワークアダプタ６１１０を介して、コントローラ３００へ露出警告信号を送信する。

次に、コマンド解析部６１４１５がコントローラ３００からＮＤフィルタ切替制御信号を受信した場合にカメラアダプタ１２０において行われる処理について、図９のフローチャートを用いて説明する。

コマンド解析部６１４１５がコントローラ３００からネットワークアダプタ６１１０及び伝送部６１２０を介してＮＤフィルタ切替制御信号を受信すると、処理はステップＳ３０２１を介してステップＳ３０２２に進む。

ステップＳ３０２２では、コマンド解析部６１４１５は、コントローラ３００から受信したＮＤフィルタ切替制御信号をコマンド送信部６１４１４に対して出力する。コマンド送信部６１４１４は、コマンド解析部６１４１５から受けたＮＤフィルタ切替制御信号をカメラ制御コマンドとしてカメラ１１２に対して送信する。これによりカメラ１１２側ではＮＤフィルタの切り替え処理が開始される。

ステップＳ３０２３では、伝送部６１２０は、カメラアダプタ１２０の動作モードをバイパス制御モードに切り替える。これによりネットワークアダプタ６１１０は、上流側から転送された転送情報は下流側に転送すると共に、カメラアダプタ１２０が生成する転送情報は下流側には転送しない（転送制御）。

ステップＳ３０２４では、露出制御部６１４１３は、カメラ１１２の動作状態として、「カメラ１１２がＮＤフィルタの切り替え処理を実行中であるのか、それとも完了したのか」を示す動作情報を取得する。そして取得した動作情報が、「カメラ１１２がＮＤフィルタの切り替え処理を実行中」を示す場合には、処理はステップＳ３０２３に戻る。一方、取得した動作情報が、「カメラ１１２がＮＤフィルタの切り替え処理を完了した」ことを示す場合には、処理はステップＳ３０２５に進む。

ステップＳ３０２５では、伝送部６１２０は、カメラアダプタ１２０の動作モードを通常制御モードに切り替える。これによりネットワークアダプタ６１１０は、上流側から転送された転送情報は下流側に転送すると共に、カメラアダプタ１２０が生成する転送情報を下流側に転送可能となる。

このように、ＮＤフィルタ切替制御と連動してバイパス制御を行うことによって、ＮＤフィルタ切替中の映像が三次元モデル生成に使用されなくなり、ＮＤフィルタの形状が三次元モデル化されてしまうおそれがなくなる。また、三次元モデル生成に使用しない映像を伝送しないことで、伝送帯域を有効活用できる。

図１０では、カメラ１１２ａ〜１２０ｈが２つのグループ（注視点グループＡ、注視点グループＢ）に区分されている。より詳しくは、カメラ１１２ａ、１１２ｃ、１１２ｅ、１１２ｇは、注視点Ａとしての被写体６３０２Ａにフォーカスされたものであり、注視点グループＡを形成している。一方、カメラ１１２ｂ、１１２ｄ、１１２ｆ、１１２ｈは、注視点Ｂとしての被写体６３０２Ｂにフォーカスされたものであり、注視点グループＢを形成している。

然るに、注視点グループＡにおいてカメラ１１２ｃと論理的に隣接しているカメラはカメラ１１２ａとカメラ１１２ｅであり、注視点グループＡにおいてカメラ１１２ｅと論理的に隣接しているカメラはカメラ１１２ｃとカメラ１１２ｇである。同様に、注視点グループＢにおいてカメラ１１２ｄと論理的に隣接しているカメラはカメラ１１２ｂとカメラ１１２ｆであり、注視点グループＢにおいてカメラ１１２ｆと論理的に隣接しているカメラはカメラ１１２ｄとカメラ１１２ｈである。

カメラのＮＤフィルタ切替中はＮＤフィルタの動きが撮像画像中に映り込むため、該カメラによる撮像画像を使用せずに三次元モデルを生成するのが望ましい。例えば、図１０のカメラ１１２ｃのＮＤフィルタを切り替えているときは、カメラ１１２ｃと論理的に隣接しているカメラ１１２ａ及びカメラ１１２ｅによる撮像画像によって、カメラ１１２ｃの撮像画像における欠損部分を補う。したがって、論理的に隣接するカメラ同士が同時にＮＤフィルタを切り替えないように、コントローラ３００で各カメラのＮＤフィルタ切替タイミングを制御する。

ここで、ＮＤフィルタ切替中のカメラのバイパス制御について、図１３及び図１４を用いて説明する。図１３及び図１４は、図１０のカメラの一部（カメラ１１２ａ〜カメラ１１２ｄ）におけるバイパス制御を示したものである。

図１３においては、カメラアダプタ１２０ａ、１２０ｂ、１２０ｃ、１２０ｄがそれぞれ露出警告信号を発している。コントローラ３００の警告信号受信部３１０１は、露出警告信号を受信する。

コントローラ３００の制御カメラ決定部３１０２は、露出警告信号を送信したカメラの中からＮＤフィルタを切り替えるカメラをカメラ相関情報に基づいて１つ以上決定する。カメラ相関情報とは、具体的には、各カメラについて論理的に隣接しているカメラを特定するためのテーブルであり、予め作成されて記憶部３１０３に格納されている。ＮＤフィルタを切り替えるカメラを決定する処理については後述する。

コントローラ３００の送信部３１０４は、制御カメラ決定部３１０２がＮＤフィルタを切り替えるカメラとして決定した１つ以上のカメラへカメラ制御信号を送信する。カメラ制御信号には、ＮＤフィルタ切替制御信号が含まれる。

カメラアダプタ１２０の伝送部６１２０は、ＮＤフィルタ切替制御信号を受信すると、該カメラアダプタ１２０についてバイパス制御を行う。バイパス制御については、図５を用いて上述したとおりである。

図１３においては、コントローラ３００は、カメラ１１２ａ及びカメラ１１２ｂをＮＤフィルタ切替カメラとして決定し、それぞれ対応するカメラアダプタ１２０ａ及びカメラアダプタ１２０ｂへＮＤフィルタ切替制御信号を送信する。これによって、カメラ１１２ａ及びカメラ１１２ｂのＮＤフィルタ切替が実行され、その間、カメラアダプタ１２０ａ及びカメラアダプタ１２０ｂはバイパス制御される。

図９のフローチャートで説明したように、ＮＤフィルタ切替が完了すると、カメラアダプタ１２０ａ及びカメラアダプタ１２０ｂのバイパス制御は解除される。また、ＮＤフィルタ切替により、露出調整のためのＩＲＩＳやＩＳＯ／ゲインの許容範囲内での変更が可能になると、露出警告信号が解除される。

すると、次にコントローラ３００は、図１４に示すように、カメラ１１２ｃ及びカメラ１１２ｄをＮＤフィルタ切替カメラとして決定し、それぞれ対応するカメラアダプタ１２０ｃ及びカメラアダプタ１２０ｄへＮＤフィルタ切替制御信号を送信する。これによって、カメラ１１２ｃ及びカメラ１１２ｄのＮＤフィルタ切替が実行され、その間、カメラアダプタ１２０ｃ及びカメラアダプタ１２０ｄはバイパス制御される。

ここで、コントローラ３００の制御カメラ決定部３１０２がＮＤフィルタ切替を行うカメラを決定する処理について、図１５のフローチャートを用いて説明する。ステップＳ３０４１では、制御カメラ決定部３１０２は、変数Ｎの値を１に初期化する。

ステップＳ３０４２では、制御カメラ決定部３１０２は、カメラ１１２ａ〜１２０ｚのうち最上流からＮ番目のカメラ（１番目のカメラはカメラ１１２ａ）のステータス情報を参照して、Ｎ番目のカメラがＮＤフィルタ切替中か否かを判断する。この判断の結果、Ｎ番目のカメラがＮＤフィルタの切り替え中であれば、処理はステップＳ３０４３に進み、Ｎ番目のカメラがＮＤフィルタの切り替え中ではない場合には、処理はステップＳ３０４４に進む。

ステップＳ３０４３では、制御カメラ決定部３１０２は、Ｎ番目のカメラをＮＤフィルタ切替カメラとして決定し、処理はステップＳ３０４８へ進む。一方、ステップＳ３０４４では、制御カメラ決定部３１０２は、Ｎ番目のカメラが露出警告信号を発しているか否かを判断する。この判断の結果、Ｎ番目のカメラが露出警告信号を発している場合には、処理はステップＳ３０４５に進み、Ｎ番目のカメラが露出警告信号を発していない場合には、処理はステップＳ３０４８に進む。

ステップＳ３０４５では、制御カメラ決定部３１０２は、記憶部３１０３に記憶されているカメラ相関情報を参照し、Ｎ番目のカメラがＮＤフィルタ切替カメラとして決定済のいずれかのカメラと論理的に隣接しているか否かを判断する。

例えば、カメラアダプタ１２０ａ〜１２０ｚのそれぞれのアドレス情報及びグループ情報を、対応するカメラの並び順（最上流から最下流に向けた並び順）で並べたリストをカメラ相関情報として記憶部３１０３に格納しておく。つまり、リストの１行目には最上流のカメラ１１２ａに対応するカメラアダプタ１２０ａのアドレス情報及びグループ情報が登録されており、２行目〜２６行目にはカメラアダプタ１２０ｂ〜１２０ｚのアドレス情報及びグループ情報がそれぞれ登録されている。この場合、Ｎ番目のカメラのグループ情報が登録されている行（リストのＮ行目）から１行目に向かって該グループ情報と同じグループ情報が登録されている行を検索した場合に、最初に見つけた行をＭ１とする。また、Ｎ番目のカメラのグループ情報が登録されている行（リストのＮ行目）から２６行目に向かって該グループ情報と同じグループ情報が登録されている行を検索した場合に、最初に見つけた行をＭ２とする。状況によっては、Ｍ１，Ｍ２の両方が存在する場合もあれば、一方のみが存在する場合がある。そして、Ｍ１，Ｍ２の両方（一方しか存在しなければ、一方）に登録されているアドレス情報に対応するカメラが何れもＮＤフィルタ切替カメラとして決定済のカメラでない、という条件が満たされた場合、「Ｎ番目のカメラがＮＤフィルタ切替カメラとして決定済のカメラと論理的に隣接していない」と判断する。一方、この条件が満たされない限りは、「Ｎ番目のカメラがＮＤフィルタ切替カメラとして決定済のいずれかのカメラと論理的に隣接している」と判断する。

なお、Ｎ番目のカメラがＮＤフィルタ切替カメラとして決定済のいずれかのカメラと論理的に隣接しているか否かを判断するための判断方法には様々な方法があり、上記の方法に限らない。

ステップＳ３０４５における判断の結果、隣接していると判断した場合には、処理はステップＳ３０４８に進み、隣接していないと判断した場合には、処理はステップＳ３０４６に進む。

ステップＳ３０４６では、制御カメラ決定部３１０２は、Ｎ番目のカメラをＮＤフィルタ切替カメラとして決定する。ステップＳ３０４７では、送信部３１０４は、ステップＳ３０４６でＮＤフィルタ切替カメラとして決定したＮ番目のカメラに対応するカメラアダプタ１２０へＮＤフィルタ切替制御信号を送信する。

ステップＳ３０４８では、制御カメラ決定部３１０２は、変数Ｎの値がカメラの総数（図１の場合は２６）に達したか否かを判断する。この判断の結果、達したと判断した場合には、図１５のフローチャートに従った処理は完了し、達していないと判断した場合には、処理はステップＳ３０４９に進む。ステップＳ３０４９では、制御カメラ決定部３１０２は、変数Ｎの値を１つインクリメントする。そして処理はステップＳ３０４２へ戻る。

このように、論理的に隣接するカメラのＮＤフィルタ切替を同時に行わないように制御することで、多数のカメラのＮＤフィルタ切替を行う場合も映像の欠損部分を他のカメラの映像で補って三次元モデルを生成できる。

＜変形例１＞
第１の実施形態では、着目カメラの撮像画像における欠損部分を補うために、該着目カメラに論理的に隣接するカメラによる撮像画像を利用していた。しかし、これに限らず、着目カメラと同グループ内のカメラにおいて着目カメラと隣接する隣接カメラ及び該隣接カメラと隣接するカメラによる撮像画像を利用しても良い。「着目カメラと同グループ内のカメラにおいて着目カメラと隣接する隣接カメラ及び該隣接カメラと隣接するカメラによる撮像画像」とは、例えば、次のような撮像画像である。同グループに属する（注視点が同じ）カメラＡ〜カメラＥが、カメラＡ−カメラＢ−カメラＣ−カメラＤ−カメラＥというように接続されている状態を考える。このような状態において、カメラＣによる撮像画像における欠損部分を補うために利用する撮像画像として、カメラＡ、Ｂ、Ｄ、Ｅによる撮像画像を利用する。

また、着目カメラと同グループ内のカメラにおいて上下左右のカメラによる撮像画像を利用しても良い。「着目カメラと同グループ内のカメラにおいて上下左右のカメラによる撮像画像」とは、例えば、次のような撮像画像である。つまり、同グループに属する（注視点が同じ）カメラＡ〜カメラＥが、以下のように配置されているとする。

３階席：−カメラＡ−カメラＢ−カメラＣ−
２階席：−カメラＤ−カメラＥ−カメラＦ−
１階席：−カメラＧ−カメラＨ−カメラＩ−
つまり、３階席では、カメラＡ−カメラＢ−カメラＣというように接続されており、２階席では、カメラＤ−カメラＥ−カメラＦというように接続されており、１階席では、カメラＧ−カメラＨ−カメラＩというように接続されているとする。階が異なるカメラ同士は直接接続されていない。このとき、カメラＥによる撮像画像における欠損部分を補うために利用する撮像画像として、カメラＢ、Ｄ、Ｆ、Ｈによる撮像画像を利用しても良い。

何れにせよ、着目カメラと同グループに属するカメラの中で該着目カメラにより近い規定台数のカメラ（所定のカメラ）を利用する。第１の実施形態では、同じ注視点グループに属するカメラ１１２の中で最も近い（接続ホップ数が小さい）カメラ１１２の組を論理的に隣接していると表現したが、これらの例に示すように、「論理的に隣接している」ことの定義には様々な定義が考えられる。

＜変形例２＞
以下のようにカメラＡ〜カメラＺが、グラウンドなどの周囲を囲むようにして配置されている場合、カメラＡとカメラＺとは直接は接続されていないものの、近接した位置に配置されている。

−カメラＡ−カメラＢ−カメラＣ−・・・
・
−カメラＺ ・
｜ ・
カメラＹ ・
｜ ・
カメラＸ−・・・・・・・・・・・・・・
このような配置によれば、カメラＡによる撮像画像とカメラＺによる撮像画像との相関は高くなるため、一方の撮像画像の欠損を補うために他方の撮像画像を利用することができる。このような場合、例えば、上記のステップＳ３０４５の「Ｎ番目のカメラがＮＤフィルタ切替カメラとして決定済のいずれかのカメラと論理的に隣接しているか否かを判断する処理」では、カメラＡとカメラＺとが仮想的に接続されているものとする。そして、カメラＡの１つ上流側のカメラをカメラＺ、カメラＺの１つ下流側のカメラをカメラＡとしてステップＳ３０４５の処理を行う。

［第２の実施形態］
バイパス制御の際は、あるカメラの撮像画像が使用できないとき、該カメラに論理的に隣接するカメラの映像で補って三次元モデルを生成するが、通常の場合と比べて画質が多少低下する。そこで、本実施形態に係るシステムでは、高画質が必要なシーンか、それとも画質低下が許容されるシーンかをオペレータが判断し、手動操作によって、ＮＤフィルタを切り替えるタイミングを指定する。以下では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。

本実施形態に係る画像処理システムの一例を図１６に示す。図１６に示した構成は、図１３に示した構成において、コントローラ３００に警告報知部３１０５と、カメラ制御操作部３１０６と、を追加したものである。

警告報知部３１０５は、警告信号受信部３１０１が露出警告信号を受信すると、その旨をユーザに報知する。報知方法や報知形態については特定の報知方法、特定の報知形態に限らない。例えば、コントローラ３００が有するモニタに露出警告信号を受信したことを示すメッセージを表示しても良いし、更に露出警告信号の送信元を示す情報も加えて表示しても良い。また、露出警告信号を受信したことを音声にて報知しても良いし、ランプを点灯／点滅させるなどして報知しても良い。

オペレータは、警告報知部３１０５による上記の報知を確認すると、バイパス制御による画質低下が許容されるシーンになってからカメラ制御操作部３１０６を操作する。例えば、スポーツの試合において、インプレイでないとき（ボールが外へ出たとき、けが人の治療中など）は、画質低下が許容されるシーンと判断してもよい。この操作をトリガとして、送信部３１０４は、ＮＤフィルタ切替制御信号を送信する。

送信部３１０４によるＮＤフィルタ切替制御信号の送信は、カメラ制御操作部３１０６が操作されると必ず行われても良い。

警告信号発生部６１４１７は、白飛びや黒潰れと判定された領域の位置やサイズに対する緊急度（緊急の度合い）を示す情報を露出警告信号に含め、コントローラ３００の警告報知部３１０５は、緊急度に応じて区別した報知を行ってもよい。例えば、ランプの色や点灯数、表示文字の色やサイズや内容、音声の音量や内容などによって、緊急度を区別することができる。

白飛びや黒潰れが発生すると適切な三次元モデル生成ができないため、白飛びや黒潰れの緊急度が高ければ、バイパス制御による多少の画質低下があるとしてもＮＤフィルタ切替を急いで行う必要がある。オペレータは露出調整度の緊急度を考慮して、カメラ制御操作部３１０６を操作して、ＮＤフィルタ切替操作を行う。

また、図１７に示す如く、カメラアダプタ１２０の露出制御部６１４１３は、白飛び判定閾値及び黒潰れ判定閾値を複数設けることによって、緊急度を算出して、警告信号発生部６１４１７へ通知してもよい。より高い白飛び判定閾値を超える画素が存在するとき、または、より低い黒潰れ判定閾値未満の画素が存在するときほど、緊急度が高いと判定する。このように、本実施形態によれば、バイパス制御による画質低下を考慮して、適切なタイミングでＮＤフィルタを切り替えることができる。

［第３の実施形態］
第１，２の実施形態では、撮像画像に欠損が生じるようなカメラの動作としてＮＤフィルタを例にとり説明した。しかし、撮像画像に欠損が生じるようなカメラの動作には様々なものが考えられる。

本実施形態に係るカメラ１１２は、該カメラ１１２のレンズに付着した水滴を除去するためのワイパーを有しており、該レンズに水滴が付着したことを検知した場合に、警告信号をコントローラ３００に通知する。コントローラ３００は第１の実施形態と同様、警告信号を発したカメラのうち論理的に隣接するカメラのワイパーを同時に動作させないようにする。

本実施形態に係るカメラ制御部６１４１の機能構成例について、図１８のブロック図を用いて説明する。図１８において図６と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

カメラ１１２のレンズ（不図示）の先端付近に設けた水滴センサ１１２１は、レンズに付着した水滴の量を検知するものであり、レンズに付着した水滴の量が規定量を超えると、その旨をカメラアダプタ１２０へ通知する。カメラアダプタ１２０の警告信号発生部６１４１７は、水滴センサ１１２１からの上記通知を受けた場合には、伝送部６１２０、ネットワークアダプタ６１１０を介して、コントローラ３００へワイパー警告信号を送信する。

コントローラ３００は、ワイパー警告信号を受信すると、第１，２の実施形態と同様に、論理的に隣接するそれぞれのカメラで同時にワイパーを動作させないように、ワイパー警告信号を発したカメラのうちワイパーを動作させるカメラを決定する。そしてコントローラ３００は、決定したカメラのカメラアダプタ１２０に対し、カメラ制御信号（ワイパー制御信号）を送信する。ワイパー制御信号を受信したカメラアダプタ１２０の送信部６１４１８はワイパー１１２２へワイパー制御コマンドを送信するとともに、伝送部６１２０はバイパス制御を行う。ワイパー１１２２は、ワイパー制御コマンドを受信すると、ワイパーを動作させて、カメラのレンズの水滴を除去する。

そして水滴センサ１１２１が、レンズに付着した水滴の量が規定量未満になったことを検知すると、警告信号発生部６１４１７はワイパー警告信号を解除し、コントローラ３００によって、残りのカメラのワイパー制御が行われる。

このように、ワイパー制御のときも、論理的に隣接するカメラのワイパー動作を同時に行わないように制御することで、多数のカメラのワイパー動作を行う場合も映像の欠損部分を他のカメラの映像で補って三次元モデルを生成できる。本実施形態においては、ワイパー制御とＮＤフィルタ制御の両方を行うようにしてもよい。

なお、以上説明した第１〜３の実施形態（変形例も含む）の一部若しくは全部を適宜組み合わせて使用しても構わないし、第１〜３の実施形態（変形例も含む）の一部若しくは全部を選択的に使用しても構わない。

また、上記の実施形態では、特定処理の具体例として、ＮＤフィルタとワイパーの制御を挙げたが、ＮＤフィルタとワイパーは、動作中に撮像画像に映り込む物体の一例として挙げたに過ぎない。特定処理はＮＤフィルタとワイパーの両方の処理またはいずれかとしてもよいし、それ以外の処理としてもよい。すなわち、本実施形態のコントローラ３００は、動作中に撮像画像に映り込む物体の制御が、着目カメラ（着目撮像装置）と、着目カメラの欠損部分を補うカメラとにおいて同時に実行されないように制御する。

また、上記の実施形態では、複数のカメラ１１２による撮像画像を用いて三次元モデルを生成し、当該三次元モデルに基づいて仮想視点画像を生成する場合の例を中心に説明した。しかし、仮想視点画像の生成方法は三次元モデルに基づく方法には限定されない。すなわち、複数のカメラ１１２による撮像画像を合成することで、三次元モデルの生成を介さずに、仮想視点画像を生成するシステムにおいても、本実施形態の特徴的な構成は適用可能である。すなわち、画像処理システム１００に属する複数のカメラ１１２から、仮想視点の指定に基づいて選択される１又は複数のカメラ１１２の撮像画像に基づいて仮想視点画像を生成するシステムにも適用できる。この場合、コントローラ３００は、当該１又は複数のカメラ１１２の特定処理が、他のカメラ１１２の特定処理とは異なるタイミングで実行されるように制御する。つまり、本実施形態のコントローラ３００は、画像処理システム１００に属する複数のカメラ１１２の特定処理（例えば、ＮＤフィルタやワイパーの動作）が同時に実行されないように制御する。これにより、特定処理がすべてのカメラ１１２において同時に実行されることによる仮想視点コンテンツへの悪影響を低減できる。

また、上記の実施形態では、画像処理システム１００に属する複数のカメラ１１２のそれぞれにおける特定処理の実行タイミングを、コントローラ３００が制御する場合の例を中心に説明した。しかし、これに限らず、各カメラアダプタ１２０や各カメラ１１２において特定処理のタイミングが制御されるようにしても良い。例えば、注視点グループごとにマスターカメラアダプタを１台ずつ設け、各マスターカメラアダプタが注視点グループに属する各カメラ１１２の特定処理のタイミングを制御しても良い。また例えば、各カメラアダプタ１２０が他のカメラアダプタ１２０とネゴシエーションすることで特定処理のタイミングが制御されるようにしても良い。

［第４の実施形態］
コントローラ３００を構成する各機能部は何れもハードウェアで実装しても良いが、一部をソフトウェア（コンピュータプログラム）で実装しても良い。例えば、記憶部をメモリで実装し、残りの機能部をコンピュータプログラムで実装しても良い。この場合、この記憶部として機能するメモリを有し、且つこのコンピュータプログラムを実行するプロセッサを有するコンピュータ装置は、コントローラ３００に適用可能である。コントローラ３００に適用可能なコンピュータ装置のハードウェア構成例について、図１９のブロック図を用いて説明する。

ＣＰＵ１９０１は、ＲＡＭ１９０２やＲＯＭ１９０３に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ１９０１は、コンピュータ装置全体の動作制御を行うと共に、コントローラ３００が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ１９０２には、外部記憶装置１９０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１９０７を介して外部（センサシステム１１０等）から受信したデータを格納するためのエリアを有する。更にＲＡＭ１９０２は、ＣＰＵ１９０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１９０２は各種のエリアを適宜提供することができる。ＲＯＭ１９０３には、書き換え不要の本装置の設定データやブートプログラムなどが格納されている。

操作部１９０４は、マウスやキーボードなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ１９０１に対して入力することができる。

表示部１９０５はＣＲＴや液晶画面、プロジェクタ装置などにより構成されており、ＣＰＵ１９０１による処理結果を画像や文字などでもって表示若しくは投影することができる。なお、操作部１９０４と表示部１９０５とを一体化させてタッチパネル画面を構成しても良い。

外部記憶装置１９０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１９０６には、ＯＳ（オペレーティングシステム）や、コントローラ３００が行うものとして上述した各処理をＣＰＵ１９０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１９０６に保存されているコンピュータプログラムには、図１３，１４に示したコントローラ３００の各機能部のうち記憶部以外の各機能部の機能をＣＰＵ１９０１に実現させるためのコンピュータプログラムが含まれている。また、外部記憶装置１９０６に保存されているデータには、上記の説明において既知の情報として説明したものが含まれている。図１３，１４に示した記憶部は、ＲＡＭ１９０２や外部記憶装置１９０６によって実現可能である。

外部記憶装置１９０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１９０１による制御に従って適宜ＲＡＭ１９０２にロードされ、ＣＰＵ１９０１による処理対象となる。

Ｉ／Ｆ１９０７は、外部の機器との間のデータ通信を行うためのもので、例えば、センサシステム１１０やサーバシステム２００との間のデータ通信は、このＩ／Ｆ１９０７を介して行われる。

ＣＰＵ１９０１、ＲＡＭ１９０２、ＲＯＭ１９０３、操作部１９０４、表示部１９０５、外部記憶装置１９０６、Ｉ／Ｆ１９０７は何れもバス１９０８に接続されている。なお、コントローラ３００に適用可能なコンピュータ装置のハードウェア構成例は図１９に示した構成に限るものではない。また、図１９に示したハードウェア構成例は、サーバシステム２００や端末装置１９０にも適用可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３００：コントローラ

Claims (17)

1. 複数の撮像装置のうち特定処理が実行される着目撮像装置の撮像画像における欠損を補うために用いられる撮像画像を撮像する撮像装置の特定処理が前記着目撮像装置の特定処理と同時に実行されないように制御する制御手段を有することを特徴とする制御装置。
2. 前記着目撮像装置の撮像画像における欠損を補うために用いられる撮像画像を撮像する撮像装置は、前記着目撮像装置と同じ注視点にフォーカスされている撮像装置のうちの所定の撮像装置であることを特徴とする請求項１に記載の制御装置。
3. 前記所定の撮像装置は、前記着目撮像装置と同じ注視点にフォーカスされている撮像装置の中で該着目撮像装置と隣接する撮像装置であることを特徴とする請求項２に記載の制御装置。
4. 前記所定の撮像装置は、前記着目撮像装置と同じ注視点にフォーカスされている撮像装置の中で該着目撮像装置により近い規定台数の撮像装置であることを特徴とする請求項２に記載の制御装置。
5. 第１の撮像装置を制御する第１の制御装置から転送された転送情報と、前記着目撮像装置が撮像した撮像画像を含む転送情報と、を第２の撮像装置を制御する第２の制御装置に転送する転送手段と、前記着目撮像装置が前記特定処理を開始してから終了するまでの間は、前記転送手段に前記着目撮像装置が撮像した撮像画像を含む転送情報を前記第２の制御装置に転送させないように制御する転送制御手段と、前記着目撮像装置を制御する制御装置に対して、前記特定処理を実行させるための制御信号を、前記制御手段の制御に基づいて送信する送信手段と、をさらに有することを特徴とする請求項１乃至４の何れか１項に記載の制御装置。
6. 前記着目撮像装置が撮像した撮像画像から前景画像を生成し、該前景画像と前記第１の制御装置から転送された転送情報に含まれている前景画像とに基づいて、該前景画像に含まれている被写体の三次元モデルを生成するために使用される画像情報を生成する手段をさらに有し、
   前記着目撮像装置が撮像した撮像画像を含む転送情報は、該撮像画像から生成した前景画像、前記画像情報を含む転送情報であることを特徴とする請求項５に記載の制御装置。
7. 前記着目撮像装置が撮像した撮像画像に基づいて前記着目撮像装置を制御する手段と、
   前記着目撮像装置の制御が可能ではない場合には、警告を前記制御装置に送信する手段と、
   前記警告の送信に応じて前記制御装置から前記特定処理の実行の指示を受信した場合には前記特定処理を実行する手段と
   をさらに有することを特徴とする請求項５又は６に記載の制御装置。
8. 前記警告の受信を報知する報知手段をさらに有することを特徴とする請求項７に記載の制御装置。
9. 前記警告には、前記特定処理の緊急の度合いが含まれており、
   前記報知手段は、前記緊急の度合いに応じて区別した報知を行うことを特徴とする請求項８に記載の制御装置。
10. ユーザからの操作が行われたこと応じて、前記実行の指示を送信する手段をさらに有することを特徴とする請求項７乃至９の何れか１項に記載の制御装置。
11. 前記特定処理は、ＮＤフィルタの切り替え処理であることを特徴とする請求項１乃至１０の何れか１項に記載の制御装置。
12. 前記着目撮像装置のレンズに水滴が付着したことを検知した場合には、警告を前記制御装置に送信する手段と、
    前記警告の送信に応じて前記制御装置から、前記着目撮像装置に設けられたワイパ−の動作の指示を受信した場合には該動作を前記着目撮像装置に指示する手段と
    をさらに有することを特徴とする請求項５又は６に記載の制御装置。
13. 前記複数の撮像装置のそれぞれは、同じ注視点にフォーカスされている撮像装置であることを特徴とする請求項１乃至１２の何れか１項に記載の制御装置。
14. 前記複数の撮像装置は、同じ注視点にフォーカスされている撮像装置のグループを複数、含み、グループの間ではフォーカスされている注視点は異なることを特徴とする請求項１乃至１２の何れか１項に記載の制御装置。
15. 前記複数の撮像装置は、仮想視点画像の生成のために用いられることを特徴とする請求項１乃至１４の何れか１項に記載の制御装置。
16. 撮像装置の制御方法であって、
    複数の撮像装置のうち特定処理が実行される着目撮像装置の撮像画像における欠損を補うために用いられる撮像画像を撮像する撮像装置の特定処理が前記着目撮像装置の特定処理と同時に実行されないように制御することを特徴とする制御方法。
17. コンピュータを、請求項１乃至１５の何れか１項に記載の制御装置として機能させるためのプログラム。

Images