JP6176073B2 - 撮影システム及びプログラム - Google Patents

Description

本発明は、撮影システムに関し、より詳細には、遠隔会議に適した撮影システムに関する。

近年、ネットワークで接続された複数の拠点間で映像を共有して行われる遠隔会議において、各拠点の様子を撮影する手段として、全天球型の撮影装置を採用することが検討されている。

この点につき、特開２０１３−０２５２５５号公報（特許文献１）は、１８０度を超える画角を持つ２つカメラが取得した画像を統合して３６０°のパノラマ画像を生成する全天球型撮影装置を開示する。

ここで、遠隔会議の各拠点（会議室）にホワイトボードが設置されている場合、会議室の様子を撮影する撮影システムには、会議参加者の表情がしっかり読み取れる画質が求められる一方で、ホワイトボード上の情報が正確に読み取れる画質が求められる。

しかしながら、上述した全天球型撮影装置において、各カメラの撮影範囲の光線状態が大きく異なる場合、カメラが各々単独で撮影条件を最適化すると、２つの撮影画像間に色調差が生じてしまい、これらを統合したパノラマ画像において繋ぎ目が目立ってしまう。一方で、繋ぎ目が目立たないように２つのカメラの撮影条件を揃えてしまうと、場合によっては、ホワイトボード上の情報が正確に読み取れなくなってしまう虞がある。

この点につき、特許第４３２５６４２号（特許文献２）は、自動車に搭載された複数の車載カメラの撮影画像を合成表示するカメラシステムにおいて、任意に選択された第１のカメラ装置の画像信号をリファレンスデータとして第２のカメラ装置に転送し、当該リファレンスデータに基づいて第２のカメラ装置内で補正画像を生成し、当該補正画像と第１のカメラ装置の撮影画像を合成表示する構成を開示する。

本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、２以上の撮影装置のそれぞれの撮影条件を会議の状態に応じて最適化することができる新規な撮影システムを提供することを目的とする。

本発明者は、２以上の撮影装置のそれぞれの撮影条件を会議の状態に応じて最適化することができる撮影システムの構成につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、２以上の撮影装置と該撮影装置に通信可能に接続される情報処理装置とを含む撮影システムであって、前記撮影装置は、最適な撮影条件を自動設定する撮影条件自動設定手段と、前記最適な撮影条件を補正する撮影条件補正手段と、を含み、前記情報処理装置は、各前記撮影装置の撮影画像を合成して出力する画像合成部と、情報表示ボードを撮影している前記撮影装置を監視対象に設定するとともに、該撮影装置の撮影座標系に情報表示ボードの輪郭形状に対応する四角形の監視領域を定義し、情報表示ボードを撮影していない前記撮影装置を監視対象外に設定する監視対象設定部と、前記監視領域について動体検知処理を実行する動体検知部と、各前記撮影装置の撮影条件を制御する撮影条件制御部と、を含み、前記撮影条件制御部は、前記動体検知部が動体を検知している期間において、監視対象に設定された前記撮影装置を前記撮影条件自動設定手段が設定した前記最適な撮影条件で動作させるとともに、該最適な撮影条件を設定するために使用したパラメータを取得して監視対象外に設定された前記撮影装置に転送し、監視対象外に設定された前記撮影装置の前記撮影条件補正手段は、前記撮影条件制御部から転送される前記パラメータに基づいて撮影条件を補正する、撮影システムが提供される。

上述したように、本発明によれば、２以上の撮影装置のそれぞれの撮影条件を会議の状態に応じて最適化することができる新規な撮影システムが提供される。

本実施形態の撮影システムを利用した遠隔会議の様子を示す図。 本実施形態の撮影システムを構成する各装置の機能ブロック図。 第１のカメラおよび第２のカメラの撮影画像を統合した合成画像を示す図。 本実施形態における監視対象設定部が実行する処理を表すフローチャート。 本実施形態における動体検知部の機能ブロック図。 本実施形態における撮影条件制御部が実行する処理を表すフローチャート。 本実施形態における露出自動設定手段の機能ブロック図。 本実施形態におけるホワイトバランス自動設定手段の機能ブロック図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

図１は、本発明の実施形態である撮影システム１００を利用して遠隔会議を行っている１拠点（会議室）の様子を示す。なお、図１（ａ）は会議室を上から見た図を示し、図１（ｂ）は会議室を横から見た図を示す。図１に示すように、会議室には、情報表示用ボードとしてホワイトボード５０が用意されており、参加者Ａ〜Ｄは、会議中、必要に応じて、ホワイトボード５０上の情報を更新する（すなわち、文字や図形を書き入れたり、それらを消したりする）。

本実施形態の撮影システム１００は、１８０度強の画角を有する２つのカメラ（第１のカメラ１０ａおよび第２のカメラ１０ｂ）からなる全天球型撮影装置１０と情報処理装置２０とを含んで構成されており、図１では、全天球型撮影装置１０と情報処理装置２０が一体化した撮影システム１００を例示的に示している。

図１に示すケースでは、撮影システム１００が会議室の机の中央に配置されており、第１のカメラ１０ａがホワイトボード５０が設置された会議室の半分の領域を画角に捕らえ、第２のカメラ１０ｂが会議室の残り半分の領域を画角に捕らえるように、全天球型撮影装置１０が位置決めされて配置されている。

全天球型撮影装置１０によって撮影された画像は、情報処理装置２０に送られて合成された後、ネットワークを介して遠隔会議システムの管理サーバ（図示せず）に出力される。管理サーバは、各拠点から収集した画像を使用して共有画像を生成し、これをネットワーク上に公開する。図１に示す参加者Ａ〜Ｄは、ＰＣ３０を使用してネットワーク上に公開された共有画像を閲覧しながら、会議を進行する。

図２は、本実施形態の撮影システム１００を構成する各装置の機能ブロック図を示す。以下、図２に基づいて、各装置の構成を説明する。

全天球型撮影装置１０は、第１のカメラ１０ａと第２のカメラ１０ｂからなる。２つのカメラは等価な構成を備えており、各カメラは、１８０度強の画角を有するレンズ光学系１２、シャッター機能付き光学センサ１３、アナログフロントエンド（ＡＦＥ）１４、デジタルシグナルプロセッサ（ＤＳＰ）１６およびマイクロコンピュータ１８を含んで構成されている。

レンズ光学系１２によって集光された光は、シャッター機能付き光学センサ１３の撮影素子に画像を結像する。なお、シャッター機能付き光学センサ１３は、電荷の蓄積時間を可変することに露光時間を制御する電子シャッターを具備している。光学センサ１３によって光電変換されたアナログ信号は、ＡＦＥ１４において、相関２重サンプリング回路によりノイズが除去され、ＡＧＣ（自動利得制御）によりゲイン調整された後、Ａ／Ｄ変換器によりディジタル信号に変換されて、ＤＳＰ１６に出力される。ＤＳＰ１６は、ＡＦＥ１４から供給された入力信号を映像信号に変換し、情報処理装置２０に出力する。

ここで、本実施形態における第１のカメラ１０ａおよび第２のカメラ１０ｂは、いずれも、撮影範囲の光線状態に応じて最適な撮影条件を自動的に設定する撮影条件自動設定機能を具備する。ここでいう、撮影条件には、少なくとも、露出およびホワイトバランスが含まれる。なお、本実施形態においては、ＤＳＰ１６およびマイクロコンピュータ１８からなるカメラ信号処理ブロックによって撮影条件自動設定手段が実現される。

一方、情報処理装置２０は、画像合成部２２、通信Ｉ／Ｆ２３、監視対象設定部２４、動体検知部２６および撮影条件制御部２８を含んで構成されている。

画像合成部２２は、第１のカメラ１０ａから入力される映像信号に基づいて生成された第１の撮影画像と第２のカメラ１０ｂから入力される映像信号に基づいて生成された第２の撮影画像を統合した合成画像（パノラマ画像）を生成する。

図３は、第１のカメラ１０ａの撮影画像と第２のカメラ１０ｂの撮影画像を統合した合成画像（パノラマ画像）を示す。なお、本実施形態においては、各カメラ（第１のカメラ１０ａおよび第２のカメラ１０ｂ）の実レンズ画像が湾曲円形画像として得られるので、画像合成部２２では、実レンズ湾曲円形画像を平面画像に正則変換した後に２つの平面正則画像を統合する。本実施形態においては、説明の便宜上、特に断りのない限り、“撮影画像”は平面正則画像のことを意味するものとする。

画像合成部２２によって生成された合成画像は、通信Ｉ／Ｆ２３を介して、先述した遠隔会議システムの管理サーバ（図示せず）に出力され、管理サーバは、各拠点から収集した合成画像を使用して共有画像を生成し、ネットワーク上に公開する。

以上、全天球型撮影装置１０の構成と情報処理装置２０の一部構成について説明してきたが、続いて、本実施形態の撮影システム１００の特徴的な構成である、監視対象設定部２４、動体検知部２６および撮影条件制御部２８について説明する。

最初に、監視対象設定部２４について説明する。

監視対象設定部２４は、情報表示ボードを撮影する（すなわち、情報表示ボードを画角に捕らえている）ところの撮影装置を監視対象に設定し、情報表示ボードを撮影しない（すなわち、情報表示ボードを画角に捕らえていない）ところの撮影装置を監視対象外に設定するための機能部である。以下、図４に示すフローチャートに基づいて、監視対象設定部２４が実行する処理を説明する。

監視対象設定部２４は、撮影システム１００の全天球型撮影装置１０を構成するいずれかのカメラの撮影画像（正則変換後の平面正則画像）を読み込み（ステップ１０１）、読み込んだ画像のRGB信号を輝度信号Yに変換する（ステップ１０２）。

続いて、処理速度を向上させるために、縮小画像を作成した後（ステップ１０３）、作成した縮小画像に対して階調の正規化処理を実施する（ステップ１０４）。具体的には、縮小画像における（最大輝度、最低輝度）が、例えば、8bitの階調レベルで（255、0）となるように、全画素に対して階調補正を行う。

続いて、階調補正後の画像に対してノイズ除去処理を実施した後（ステップ１０５）、一般的なフィルタリング処理により、エッジ画像を生成する（ステップ１０６）。

続いて、画像を構成する画素の輝度信号Yについてヒストグラムを作成した後（ステップ１０７）、所定の閾値Ythに基づいて２値化処理を実施する（ステップ１０８）。具体的には、ステップ１０７で作成したヒストグラムに基づいてホワイトボードの輪郭形状に由来する四角形のエッジのみが抽出できるような閾値Ythを設定し、画像を構成する各画素の輝度信号Yについて、Y＜Ythであれば画素値=0とし、Y≧Ythであれば画素値=255とする処理を実行する。

続くステップ１０９において、生成された２値のエッジ画像から四角形のエッジ画像を抽出できるか否かを判断する。ステップ１０１で読み込んだ画像にホワイトボード５０が写っていない場合には、ホワイトボード５０の枠形状に由来する四角形のエッジ画像が抽出されないので（ステップ１０９、Ｎｏ）、対応するカメラ（すなわち、ステップ１０１で読み込んだ撮影画像を撮影したカメラであって、ホワイトボード５０を撮影していないカメラ）を監視対象外に設定する（ステップ１１３）。

その後、処理はステップ１１２に進み、撮影システム１００を構成する全てのカメラについて設定（監視対象／監視対象外）が終了したか否かを判断する。その結果、全てのカメラの設定が終了していない場合は（ステップ１１２、Ｎｏ）、ステップ１０１に戻って、未設定のカメラの撮影画像を読み込んだ後、上述した手順を繰り返す。

一方、ステップ１０９の判断において、ステップ１０１で読み込んだ画像にホワイトボード５０が写っている場合には、ホワイトボード５０の枠形状に由来する四角形のエッジ画像が抽出されるので（ステップ１０９、Ｙｅｓ）、処理はステップ１１０に進む。

ステップ１１０においては、四角形のエッジ画像が抽出された撮影画像を撮影したカメラのカメラ座標系において監視領域を定義する。監視領域は、例えば、以下の手順で定義することができる。まず、ステップ１０８で取得した２値画像を４つのエリアに分割する。このとき、抽出された四角形のエッジ画像の４つの角が各エリアに１つずつ含まれるように分割する。次に、各エリアにおいて、水平方向に延びる直線と垂直方向に延びる直線を検出し、検出した２本の直線の交点を求める。最後に、上述した手順で求めた４つの交点を直線で結んでなる四角形の内側の領域を監視領域として定義する。

続くステップ１１１では、ステップ１１０で監視領域を定義したカメラを監視対象に設定する。

その後、処理はステップ１１２に進み、撮影システム１００を構成する全てのカメラについて設定（監視対象／監視対象外）が終了したか否かを判断する。その結果、全てのカメラの設定が終了した場合は（ステップ１１２、Ｙｅｓ）、そのまま処理を終了する。

上述した一連の処理が実行される結果、図１に示すケースでは、第１のカメラ１０ａが監視対象に設定され、第２のカメラ１０ｂが監視対象外に設定される。なお、上述した一連の処理は、システム起動時に実施される。そして、システムが動作している間も適切なタイミングで繰り返し実施されることが好ましい。

以上、監視対象設定部２４について説明したが、続いて、動体検知部２６について説明する。

動体検知部２６は、監視対象設定部２４が定義する上述した監視領域について動体検知処理を実行するための機能部である。図１に示すケースでは、その画角にホワイトボード５０を捕らえる第１のカメラ１０ａが監視対象に設定されるので、動体検知部２６は、第１のカメラの監視領域について動体検知を実施する。

図５は、動体検知部２６の機能ブロックを示す。動体検知部２６は、監視対象に設定したカメラから転送される画像を記憶するための第１のフレームメモリ４２および第２のフレームメモリ４４と、オプティカルフロー演算部４６と、動いている物体に対応する画像領域（以下、物体領域という）を抽出する物体領域抽出部４８とを含んで構成されている。

本実施形態においては、第１のフレームメモリ４２より少なくとも1フレーム前のフレーム画像が第２のフレームメモリ４４に保持されるように構成されており、オプティカルフロー演算部４６は、第１のフレームメモリ４２に保持されている現フレーム画像と第２のフレームメモリ４４に保持されている前フレーム画像とを入力とし、現フレーム画像をM×N個の画素から構成されるブロック単位に分割して、現フレーム内から選択した１つのブロックと前フレーム画像の探索範囲内のブロックとの相関値を演算してオプティカルフローを求める。

相関値は、現フレーム画像と前フレーム画像の各ブロック内の同じ位置の画素の差分絶対値和として求めることができ、差分絶対値和の値が小さいほど２つの画像は似ていることを意味する。これら一連の処理を現フレーム画像の各ブロックに対して繰り返し行い、現フレーム画像のオプティカルフローを各ブロック単位で推定する。

物体領域抽出部４８は、塊状に発生したオプティカルフローについてラベリング処理を行って物体領域を検出し、メモリに記憶する。そして、当該ラベリング処理結果と現フレーム画像とを用いて、ブロックの塊の中で隣接しあったオプティカルフローが発生したブロックのブロック数が閾値以上である場合に、隣接しあったブロックの塊を物体が移動した領域として認識することで動体を検知する。動体検知部２６は、上述した手順で動体を検知した場合、その旨を後述する撮影条件制御部２８に通知する。

なお、動体検知部２６は、上述したブロックマッチング法によるオプティカルフローを用いて動体検出を行うものに限定されず、勾配法によるオプティカルフローを用いて動体検出を行うように構成してもよいし、背景差分法やフレーム間差分法を用いて動体検出を行うように構成してもよい。

以上、動体検知部２６について説明したが、続いて、撮影条件制御部２８について説明する。

撮影条件制御部２８は、撮影装置の撮影条件を制御するための機能部である。以下、図６に示すフローチャートに基づいて、撮影条件制御部２８が実行する処理を説明する。

ステップ２０１では、まず、全天球型撮影装置１０を構成する第１のカメラ１０ａおよび第２のカメラ１０ｂの撮影条件を“通常モード”で制御する。なお、“通常モード”での制御内容の詳細については後述する。

続くステップ２０２では、監視対象設定部２４が監視対象に設定したカメラ（図１に示すケースでは、第１のカメラ１０ａ）に係る動体検知通知の有無を判断する（ステップ２０２）。

その結果、動体検知が通知されていない場合には（ステップ２０２、Ｎｏ）、処理はステップ２０１に戻り、カメラの撮影条件を“通常モード”で制御する（既に、通常モードで制御されている場合は、そのモードを維持する）。図１に示すケースでは、ホワイトボード５０に対して誰も文字などを書き込んだり消したりするようなアクションを起こしていない場合、動体検知部２６から動体検知が通知されないので、これを受けて、第１のカメラ１０ａおよび第２のカメラ１０ｂの撮影条件が通常モードで制御される。

一方、動体検知が通知された場合には（ステップ２０２、Ｙｅｓ）、処理はステップ２０３に進み、カメラの撮影条件を“ホワイトボード優先モード”で制御する。図１に示すケースでは、ホワイトボード５０に対して誰かが文字などを書き込んだり消したりするようなアクションを起こした場合、動体検知部２６から動体検知が通知されるので、これを受けて、第１のカメラ１０ａおよび第２のカメラ１０ｂの撮影条件がホワイトボード優先モードで制御される。なお、“ホワイトボード優先モード”の詳細については後述する。

その後、処理はステップ２０２の判断に戻り、上述した手順を繰り返す。その結果、監視対象に設定されたカメラの撮影画像の監視領域において動体が検知される期間においては、カメラの撮影条件がホワイトボード優先モードに制御され、監視領域において動体が検知されない期間においては、カメラの撮影条件が通常モードに制御される。

ここで、上述した２つの撮影条件制御モードについて説明する。ここでは、まず、“ホワイトボード優先モード”について説明する。

“ホワイトボード優先モード”において、撮影条件制御部２８は、監視対象に設定されたカメラを、当該カメラの撮影条件自動設定機能によって設定された最適の撮影条件で動作させるとともに、当該最適の撮影条件を設定するために使用したパラメータを当該カメラから取得する。

ここでいう、パラメータには、露光レベルおよび色情報が含まれる。なお、露光レベルおよび色情報の詳細については後述する。

撮影条件制御部２８は、監視対象に設定されたカメラから取得したパラメータを監視対象外に設定された他のカメラに転送する。監視対象外に設定された他のカメラは、撮影条件制御部２８から転送されたパラメータに基づいて自身の撮影条件を補正する。

図１に示すケースでは、撮影条件制御部２８は、第１のカメラ１０ａの撮影条件自動設定機能が最適の撮影条件を設定する際に使用したパラメータを当該第１のカメラ１０ａから取得し、これを第２のカメラ１０ｂに転送する。第２のカメラ１０ｂは、撮影条件制御部２８から転送されたパラメータに基づいて自身の撮影条件を補正する。

“ホワイトボード優先モード”では、上述した制御が実施される結果、ホワイトボード５０上の情報が更新される期間において、ホワイトボード５０を撮影する第１のカメラ１０ａの撮影画像が最適な画質で得られるため、遠隔会議における他拠点の参加者は、ホワイトボード５０上の情報の更新を確実に視認することができるようになる。加えて、第１のカメラ１０ａの撮影画像と第２のカメラ１０ｂの撮影画像の間に大きな色調差が生じることがないので、パノラマ画像において繋ぎ目が目立つといった不自然さが回避される。

続いて、“通常モード”について説明する。本実施形態においては、“通常モード”の制御内容として、下記Ｉ〜ＩＩＩのいずれかを採用することができる。

（制御内容Ｉ）
撮影条件制御部２８は、全天球型撮影装置１０を構成する各カメラの撮影条件自動設定機能が最適の撮影条件を設定するために使用したパラメータを収集する。撮影条件制御部２８は、各カメラから収集したパラメータに基づいて、合成画像（パノラマ画像）の画質を全体最適化するような共通のパラメータを新たに生成する。本実施形態においては、例えば、各カメラから収集したパラメータを平均化（単純平均や加重平均）した値を共通パラメータとすることができる。撮影条件制御部２８は、生成した共通パラメータを各カメラに転送し、各カメラは、撮影条件制御部２８から転送された共通パラメータに基づいて自身の撮影条件を補正する。

図１に示すケースでは、撮影条件制御部２８は、撮影条件自動設定機能が最適の撮影条件を設定するために使用したパラメータを第１のカメラ１０ａおよび第２のカメラ１０ｂのそれぞれから収集し、収集したパラメータに基づいて、図３に示した合成画像（パノラマ画像）の画質を全体最適化するような共通パラメータを新たに生成し、当該共通パラメータを第１のカメラ１０ａおよび第２のカメラ１０ｂに転送する。各カメラは、撮影条件制御部２８から転送された共通パラメータに基づいて自身の撮影条件を補正する。

制御内容Ｉでは、上述した制御が実施される結果、ホワイトボード５０上の情報が更新されない期間において、遠隔会議における他拠点の参加者は、ホワイトボード５０上の情報と会議参加者の表情の両方を同程度の明瞭さで視認できるようになる。加えて、第１のカメラ１０ａの撮影画像と第２のカメラ１０ｂの撮影画像の間に大きな色調差が生じることがないので、パノラマ画像において繋ぎ目が目立つといった不自然さが回避される。

（制御内容ＩＩ）
撮影条件制御部２８は、監視対象外に設定されたカメラを、当該カメラの撮影条件自動設定手段が設定した撮影条件で動作させるとともに、当該撮影条件を設定するために使用したパラメータを当該カメラから取得し、これを監視対象に設定された他のカメラに転送する。監視対象に設定された他のカメラは、撮影条件制御部２８から転送されたパラメータに基づいて自身の撮影条件を補正する。

図１に示すケースでは、第２のカメラ１０ｂを、当該カメラの撮影条件自動設定手段が設定した撮影条件で動作させるとともに、当該撮影条件を設定するために使用したパラメータを当該カメラから取得し、これを第１のカメラ１０ａに転送する。第１のカメラ１０ａは、撮影条件制御部２８から転送されたパラメータに基づいて自身の撮影条件を補正する。

（制御内容ＩＩＩ）
全天球型撮影装置１０を構成する全てのカメラ（第１のカメラ１０ａおよび第２のカメラ１０ｂ）に対して特段の制御を実施しない。その結果、各カメラは、自身が備える撮影条件自動設定手段によって設定された最適な撮影条件で動作する。

以上、撮影条件制御部２８が制御する２つの撮影条件制御モードの内容について説明してきたが、次に、各モードにおいて、各カメラが実施する処理の具体的な内容については説明する。

各カメラが具備する撮影条件自動設定手段は、露出自動設定手段およびホワイトバランス自動設定手段を含んで構成される。

ここでは、まず、本実施形態における露出自動設定手段について説明する。

本実施形態における露出自動設定手段は、既知の露出自動設定機能に加えて、情報処理装置２０から転送されるパラメータに基づいて露出を調整する機能を具備している。

図７は、本実施形態における露出自動設定手段６０の機能ブロックを示す。図７に示すように、露出自動設定手段６０は、原色分離回路６２、ＯＰＤ（光検出器）６３、露光レベル計算部６４、露光レベル補正部６５およびゲイン算出部６６を含んで構成される。

図７において、ＡＦＥ１４から供給された入力信号は、原色分離回路６２によって原色信号(R,G,B)に分離された後、ＯＰＤ６３に入力される。ＯＰＤ６３は、原色分離回路６２から供給された原色信号(R,G,B)をフィールド毎またはフレーム毎に積分する。

露光レベル計算部６４は、ＯＰＤ６３から供給された各原色信号の積分値に基づいてエリア毎に輝度Yを算出し、得られた輝度分布から適正な露光レベルを決定し、当該露光レベルを露光レベル補正部６５に出力する。

露光レベル補正部６５は、露光レベル計算部６４から供給される露光レベルと、情報処理装置２０の撮影条件制御部２８から転送される露光レベルを比較演算して補正量を決定し、補正した露光レベルをゲイン算出部６６に出力する。

具体的には、露光レベル補正部６５は、自身の露光レベル計算部６４から供給される第１の露光レベルと、情報処理装置２０の撮影条件制御部２８から転送される第２の露光レベルを比較した結果、第１の露光レベルが第２の露光レベルより低い場合は、第１の露光レベルを所定単位で増分して、第２の露光レベルに近づける補正を行い、第１の露光レベルが第２の露光レベルより高い場合は、第１の露光レベルを所定の単位で減分して、第２の露光レベルに近づける補正を行う。

本実施形態においては、自身の撮影条件自動設定機能によって設定された最適の撮影条件で動作させようとするカメラに対して、補正を行わない旨を表す所定のパラメータ（例えば、”0”）を転送するように構成することができる。当該パラメータを受けとったカメラの露光レベル補正部６５は、自身の露光レベル計算部６４から供給される第１の露光レベルをそのままゲイン算出部６６に出力する。

ゲイン算出部６６は、露光レベル補正部６５から供給される露光レベルに応じたシャッターゲインおよびゲインレベルを算出する。

その後、ゲイン算出部６６が算出したシャッターゲインに対応した制御信号がシャッター機能付き光学センサ１３に供給される。当該制御信号により、シャッター機能付き光学センサ１３における電荷の蓄積時間（すなわち、露光時間）が制御される。

また、ゲイン算出部６６が算出したゲインレベルに対応するアナログ制御電圧およびディジタル制御電圧が、それぞれ、ＡＦＥ１４およびカメラ信号処理ブロックに供給され、利得が制御される。

以上、本実施形態における露出自動設定手段について説明してきたが、続いて、本実施形態におけるホワイトバランス自動設定手段について説明する。

本実施形態におけるホワイトバランス自動設定手段は、既知のホワイトバランス自動設定機能に加えて、情報処理装置２０から転送されるパラメータに基づいてホワイトバランスを調整する機能を具備している。

図８は、本実施形態におけるホワイトバランス自動設定手段７０の機能ブロックを示す。図８に示すように、ホワイトバランス自動設定手段７０は、原色分離回路６２、ＯＰＤ（光検出器）６３、Ｒ／Ｇ，Ｂ／Ｇ計算部７２、引込み枠判定部７３、色温度推定部７４、引込み処理部７５、ゲイン設定部７６および座標補正部７８を含んで構成される。

図８において、ＡＦＥ１４から供給された入力信号は、原色分離回路６２によって原色信号(R,G,B)に分離された後、ＯＰＤ６３に入力される。ＯＰＤ６３は、原色分離回路６２から供給された原色信号(R,G,B)をフィールド毎またはフレーム毎に積分する。

Ｒ／Ｇ，Ｂ／Ｇ計算部７２は、ＯＰＤ６３から供給された各原色信号の積分値に基づいて、Ｒ／Ｇ（R信号の積分値とG信号の積分値の比）およびＢ／Ｇ（B信号の積分値とG信号の積分値の比）を求めたのち、求めたＲ／ＧおよびＢ／Ｇを２次元の色座標（横軸：Ｒ／Ｇ、縦軸：Ｂ／Ｇ）上の座標位置として表現する。本実施形態においては、この座標位置が上述した色情報に該当する。Ｒ／Ｇ，Ｂ／Ｇ計算部７２は、算出した色情報（座標位置）を座標補正部７８と引込み枠判定部７３のそれぞれに出力する。

座標補正部７８は、Ｒ／Ｇ，Ｂ／Ｇ計算部７２から供給される色情報（座標位置）と、情報処理装置２０の撮影条件制御部２８から転送される色情報（座標位置）に基づいて色情報（座標位置）を補正し、補正した値を引込み枠判定部７３に出力する。

本実施形態において、座標補正部７８は、例えば、以下のような手順で色情報（座標位置）を補正する。

情報処理装置２０の撮影条件制御部２８から受信した色情報のＲ／Ｇデータを受信Ｒ／Ｇデータとし、自身のプリホワイトバランス調整値に基づいたＲ／Ｇデータを自Ｒ／Ｇデータとした場合、Ｒ／Ｇの補正値を下記式（１）によって求める。
[式１]R/Gの補正値＝自R/G＋（（受信R/G−自R/G）×（補正量の最大割合／255））

同じく、情報処理装置２０の撮影条件制御部２８から受信した色情報のＢ／Ｇデータを受信Ｂ／Ｇデータとし、自身のプリホワイトバランス調整値に基づいたＢ／Ｇデータを自Ｂ／Ｇデータとした場合、Ｂ／Ｇの補正値を下記式（２）によって求める。
[式２]B/Gの補正値＝自B/G＋（（受信B/G−自B/G）×（補正量の最大割合／255））

なお、上記式（１）および（２）における補正量の最大割合は0〜255まで任意に変更することができ、補正幅を例えば5ステップ、10ステップ、・・・、と変えることができる。

補正量の最大割合が0の場合、Ｒ／Ｇの補正値＝自Ｒ／Ｇとなり、Ｂ／Ｇの補正値＝自Ｂ／Ｇとなる。

また、補正量の最大割合が128（50％）の場合、Ｒ／Ｇの補正値＝自Ｒ／Ｇ＋（1／2）×（受信Ｒ／Ｇ−自Ｒ／Ｇ）となり、Ｂ／Ｇの補正値＝自Ｂ／Ｇ＋（1／2）×（受信Ｂ／Ｇ−自Ｂ／Ｇ）となる。これは、Ｒ／Ｇ，Ｂ／Ｇ計算部７２から供給された色情報（座標位置）と情報処理装置２０の撮影条件制御部２８から転送された色情報（座標位置）の中間（50％補正）位置を補正量としたときの色信号の値である。

また、補正量の最大割合が255（100％）の場合、Ｒ／Ｇの補正値＝自Ｒ／Ｇ＋（（受信Ｒ／Ｇ−自Ｒ／Ｇ）となり、Ｂ／Ｇの補正値＝自Ｂ／Ｇ＋（（受信Ｂ／Ｇ−自Ｂ／Ｇ）となる。

本実施形態においては、自身の撮影条件自動設定機能によって設定された最適の撮影条件で動作させようとするカメラに対して、補正を行わない旨を表す所定のパラメータ（例えば、”0”）を転送するように構成することができる。当該パラメータを受けとったカメラの座標補正部７８は、自身のＲ／Ｇ，Ｂ／Ｇ計算部７２から供給される色情報（座標位置）をそのまま引込み枠判定部７３に出力する。

引込み枠判定部７３は、プリホワイトバランス調整（基準色温度下で基準の白色を決める調整）に基づいた色情報（座標位置）と座標補正部７８から供給された色情報（座標位置）の関係から色情報（座標位置）を補正し、補正した値が、引込み制限枠（色座標上に定義された色調整用の制限枠）内にあるか否かを判定する。

その結果、補正した値が引込み制限枠内にあった場合は、その値を色温度推定部７４に出力する。一方、補正した値が引込み制限枠外にあった場合は、Ｒ／Ｇ，Ｂ／Ｇ計算部７２から供給された色情報（座標位置）が引込み制限枠（色座標上に定義された色調整用の制限枠）内にあるか否かを判定する。

その結果、Ｒ／Ｇ，Ｂ／Ｇ計算部７２から供給された色情報（座標位置）が引込み制限枠内にあった場合は、その値を色温度推定部７４に出力する。

色温度推定部７４は、引込み枠判定部７３から供給された色情報（座標位置）を色座標上に表された固体輻射カーブに照らして色温度を推定し、推定値を引込み処理部７５に出力する。

引込み処理部７５は、色温度推定部７４から供給された色温度の推定値が引込み制限枠内にある場合には、入力された座標位置から原点“Ｏ”方向へ引込み動作を行いホワイトバランスの調整を行い、引込み制限枠外にあるとき、通常のホワイトバランスの調整を行う。

ゲイン設定部７６は、引込み処理部７５から出力された色信号に対して、ホワイトバランスアンプ（ＷＢアンプ）７７を構成する３つの利得制御アンプの利得を制御するためのゲイン(Rゲイン、Gゲイン、Bゲイン)を設定し、ホワイトバランスアンプ（ＷＢアンプ）７７に出力する。

ＷＢアンプ７７を構成する３つの利得制御アンプは、ゲイン設定部７６から供給されるゲイン（Rゲイン、Gゲイン、Bゲイン）を用いて、原色分離回路６２から供給される原色信号（R信号、G信号、B信号）の増幅または減衰の利得を制御する。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではない。

例えば、上述した実施形態においては、２つのカメラを使用する撮影システムについて説明したが、本発明は、３以上のカメラを使用する撮影システムにも同様に適用できることはいうまでもない。

また、上述した実施形態においては、情報表示ボードとしてホワイトボードを例示的に示したが、情報表示ボードは、いわゆる電子黒板であってもよい。その場合、会議の参加者は、ネットワーク上に公開される共有画像を電子黒板のディスプレイ画面を介して閲覧することができる。

さらに、上述した実施形態においては、撮影装置と情報処理装置が一体化した撮影システムについて説明したが、本発明の撮影システムは、物理的に分離した撮影装置と情報処理装置が有線または無線を介して通信可能に接続されるものであってもよい。

その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

また、上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

１０…全天球型撮影装置
１０ａ…第１のカメラ
１０ｂ…第２のカメラ
１２…レンズ光学系
１３…シャッター機能付き光学センサ
１４…アナログフロントエンド（ＡＦＥ）
１６…デジタルシグナルプロセッサ（ＤＳＰ）
１８…マイクロコンピュータ
２０…情報処理装置
２２…画像合成部
２３…通信Ｉ／Ｆ
２４…監視対象設定部
２６…動体検知部
２８…撮影条件制御部
３０…ＰＣ
４２…第１のフレームメモリ
４４…第２のフレームメモリ
４６…オプティカルフロー演算部
４８…物体領域抽出部
５０…ホワイトボード
６０…露出自動設定手段
６２…原色分離回路
６３…光検出器（ＯＰＤ）
６４…露光レベル計算部
６５…露光レベル補正部
６６…ゲイン算出部
７０…ホワイトバランス自動設定手段
７２…Ｒ／Ｇ，Ｂ／Ｇ計算部
７３…引込み枠判定部
７４…色温度推定部
７５…引込み処理部
７６…ゲイン設定部
７７…ホワイトバランスアンプ
７８…座標補正部
１００…撮影システム

特開２０１３−０２５２５５号公報 特許第４３２５６４２号

Claims (8)

1. ２以上の撮影装置と該撮影装置に通信可能に接続される情報処理装置とを含む撮影システムであって、
   前記撮影装置は、
   最適な撮影条件を自動設定する撮影条件自動設定手段と、
   前記最適な撮影条件を補正する撮影条件補正手段と、
   を含み、
   前記情報処理装置は、
   各前記撮影装置の撮影画像を合成して出力する画像合成部と、
   情報表示ボードを撮影している前記撮影装置を監視対象に設定するとともに、該撮影装置の撮影座標系に情報表示ボードの輪郭形状に対応する四角形の監視領域を定義し、情報表示ボードを撮影していない前記撮影装置を監視対象外に設定する監視対象設定部と、
   前記監視領域について動体検知処理を実行する動体検知部と、
   各前記撮影装置の撮影条件を制御する撮影条件制御部と、
   を含み、
   前記撮影条件制御部は、
   前記動体検知部が動体を検知している期間において、
   監視対象に設定された前記撮影装置を前記撮影条件自動設定手段が設定した前記最適な撮影条件で動作させるとともに、該最適な撮影条件を設定するために使用したパラメータを取得して監視対象外に設定された前記撮影装置に転送し、
   監視対象外に設定された前記撮影装置の前記撮影条件補正手段は、
   前記撮影条件制御部から転送される前記パラメータに基づいて撮影条件を補正する、
   撮影システム。
2. 前記撮影条件制御部は、
   前記動体検知部が動体を検知しない期間において、
   各前記撮影装置から前記最適な撮影条件を設定するために使用したパラメータを取得し、該パラメータに基づいて全体の画質が最適化する共通のパラメータを生成して各前記撮影装置に転送し、
   各前記撮影装置の前記撮影条件補正手段は、前記共通のパラメータに基づいて撮影条件を補正する、
   請求項１に記載の撮影システム。
3. 前記共通のパラメータは、各前記撮影装置から取得した前記最適な撮影条件を設定するために使用したパラメータを平均化した値を持つ、
   請求項２に記載の撮影システム。
4. 前記撮影条件は、露出およびホワイトバランスを含む、請求項１〜３のいずれか一項に記載の撮影システム。
5. 前記パラメータは、露出を設定するために使用した露光レベルおよびホワイトバランスを設定するために使用した色情報を含む、請求項４に記載の撮影システム。
6. 監視対象設定部は、前記撮影画像のエッジ画像から情報表示ボードの輪郭形状に対応する四角形のエッジが抽出できた場合に、該情報表示ボードを撮影している前記撮影装置を監視対象に設定する、請求項１〜５のいずれか一項に記載の撮影システム。
7. 最適な撮影条件を自動設定する撮影条件自動設定手段と該最適な撮影条件を補正する撮影条件補正手段とを具備する２以上の撮影装置に通信可能に接続されるコンピュータを制御するためのコンピュータプログラムであって、
   コンピュータを、
   各前記撮影装置の撮影画像を合成して出力する画像合成手段、
   情報表示ボードを撮影している前記撮影装置を監視対象に設定するとともに、該撮影装置の撮影座標系に情報表示ボードの輪郭形状に対応する四角形の監視領域を定義し、情報表示ボードを撮影していない前記撮影装置を監視対象外に設定する監視対象設定手段、
   前記監視領域について動体検知処理を実行する動体検知手段、
   各前記撮影装置の撮影条件を制御する撮影条件制御手段であって、前記動体検知手段が動体を検知している期間において、監視対象に設定された前記撮影装置を前記撮影条件自動設定手段が設定した前記最適な撮影条件で動作させるとともに、該最適な撮影条件を設定するために使用したパラメータを取得して監視対象外に設定された前記撮影装置に転送する、撮影条件制御手段、
   として機能させるためのプログラム。
8. 監視対象設定手段は、前記撮影画像のエッジ画像から情報表示ボードの輪郭形状に対応する四角形のエッジが抽出できた場合に、該情報表示ボードを撮影している前記撮影装置を監視対象に設定する、請求項７に記載のプログラム。