JP5180569B2 - カメラ制御装置、カメラ制御方法、カメラシステム、及びプログラム - Google Patents

Description

本発明は、ネットワークを介して接続された複数のカメラの画像を表示する画像処理術に関する。

従来より、ネットワークを介して接続された複数のデジタルスチルカメラやデジタルビデオカメラ（以下、カメラ）によって撮影された複数の静止画や動画（以下、画像）を表示装置に同時に表示するカメラシステムがある。このカメラシステムでは、各々のカメラにおいて撮影画像のオートホワイトバランス（ＡＷＢ）制御等を行っている。

上記ＡＷＢ処理では、撮像素子により得られた画像データの白色（無彩色）部分を検出し、この検出結果（白色部分）から撮影画像における被写体に対する照射光源の色温度を求める。そして、この色温度に応じた色調整値（白色部分の被写体領域を無彩色にするための制御値）を撮像素子により得られた画像データに乗算するものである。

ここで、特許文献１には、複数台のカメラで同一被写体を撮影する場合に、画像の色を略同等にするために、基準データと一致させるのに必要な補正データを算出し、その補正データに基づいて各カメラの画像を補正する技術が記載されている。

また、特許文献２，３には、複数台のカメラにおけるＡＷＢ処理を同じ色温度下での制御とするために基準とする色温度を共有する技術が記載されている。

また、特許文献４には、デジタルカメラにおいて、撮影画像の中にＡＷＢ制御に係る色調整値を決定するための基準となる候補領域を提示する技術が記載されている。
特開２００２−１３５７８９号公報 特開２００２−２７１８２５号公報 特開２００４−３４９９５１号公報 特開２００４−２２１６３７号公報

従来において、各カメラごとにＡＷＢ処理を行い、各カメラでの撮影画像を夫々単独で表示する場合には、画像の色再現性に関してユーザに違和感を与えにくいと言える。しかしながら、各カメラの複数の撮影画像を同時に並列に表示した場合には複数のカメラ間での色再現性の差異によってユーザに違和感を与える場合がある。

また、上記特許文献１では、例えば、撮影範囲が時間と共に日向から日陰へと変化していき色温度が変化する環境において、このような環境の変化が反映されず、基準データと同じ領域は基準データの色再現性、それ以外の領域は不自然な色再現性となる。また、同一被写体ではなく、ユーザが任意に異なる被写体に対して白色であると判定して、その箇所を色合わせすることができず、同一被写体が映らない状態で複数台のカメラを配置した場合に、補正ができないという問題がある。

また、特許文献２のように色温度を共有すると、屋内と屋外、順光と逆光というような設置環境が異なるカメラによる撮影画像間においては少なくとも一方の設置環境で不自然な色再現性となる。

また、特許文献４では、抽出された候補領域の優先度を表示するので、同一画面上に候補領域の優先度を示す番号や枠等を同時に表示すると、ユーザが所望の領域の色を視認しずらくなり、操作性が悪化する場合がある。また、同一画面上に領域の優先度番号や枠等を同時に表示するだけでは、ユーザが複数の領域の色を比較することが難しくなり、やはり領域設定の際の操作性が悪化する場合がある。

また、複数のカメラから受信した複数の画像をネットワークを介して同一画面上に表示する際には、表示される候補領域の数が多くなって、更に操作性が悪化する場合がある。

本発明は、上記課題に鑑みてなされ、複数のカメラによって撮影された複数の画像を表示装置に同時に表示する際に、複数の画像間での色再現性の差異を低減してユーザの違和感を軽減することができる技術を実現する。

また、本発明は、色調整の基準となる候補領域を設定する際の操作性を改善する技術を実現する。

上記課題を解決し、目的を達成するために、本発明のカメラ制御装置は、撮影した画像の色調整を行う色調整手段を有する複数のカメラをネットワークを介して制御するカメラ制御装置であって、前記複数のカメラから撮影画像を受信する受信手段と、前記複数のカメラの中から前記複数のカメラから受信した複数の撮影画像について色の基準とする基準カメラを指定するカメラ指定手段と、前記基準カメラから受信した撮影画像において、前記複数のカメラから受信した複数の撮影画像の間で同等の色であるべき基準領域を決定する基準領域決定手段と、前記基準カメラの撮影画像の前記基準領域の色と、他のカメラの撮影画像において前記基準領域に相当する領域の色とから他のカメラに対する色調整値を決定する調整値決定手段と、前記ネットワークを介して前記色調整値と前記色調整値に基づいて前記色調整手段により色調整を実行させる命令とを前記他のカメラに送信する送信手段と、を有し、前記色調整手段は、各カメラで撮影された画像のホワイトバランス制御を実行し、前記色調整値は、前記色調整値を受信したカメラにてホワイトバランス制御を実行するための色ゲイン調整値に対して加算又は減算できるオフセット値であり、継続的に用いられる。

また、本発明のカメラシステムは、撮影した画像の色調整を行う色調整手段を有する複数のカメラとカメラ制御装置とがネットワークを介して接続されたカメラシステムであって、前記カメラ制御装置は、前記複数のカメラから撮影画像を受信する受信手段と、前記複数のカメラの中から前記複数のカメラから受信した複数の撮影画像について色の基準とする基準カメラを指定するカメラ指定手段と、前記基準カメラから受信した撮影画像において、前記複数のカメラから受信した複数の撮影画像の間で同等の色であるべき基準領域を決定する基準領域決定手段と、前記基準カメラの撮影画像の前記基準領域の色と、他のカメラの撮影画像において前記基準領域に相当する領域の色とから他のカメラに対する色調整値を決定する調整値決定手段と、前記ネットワークを介して前記色調整値と前記色調整値に基づいて前記色調整手段により色調整を実行させる命令とを前記他のカメラに送信する送信手段と、を有し、前記色調整手段は、各カメラで撮影された画像のホワイトバランス制御を実行し、前記色調整値は、前記色調整値を受信したカメラにてホワイトバランス制御を実行するための色ゲイン調整値に対して加算又は減算できるオフセット値であり、継続的に用いられるものであり、前記複数のカメラは、撮影画像を前記ネットワークを介して前記カメラ制御装置に送信する送信手段を有し、前記ネットワークを介して前記カメラ制御装置から受信した前記色調整値と色調整を実行させる命令とに基づいて前記色調整手段により色調整を実行する。

また、本発明のカメラ制御方法は、撮影した画像の色調整を行う色調整手段を有する複数のカメラをネットワークを介して制御する方法であって、前記複数のカメラから撮影画像を受信する受信工程と、前記複数のカメラの中から前記複数のカメラから受信した複数の撮影画像について色の基準とする基準カメラを指定するカメラ指定工程と、前記基準カメラから受信した撮影画像において、前記複数のカメラから受信した複数の撮影画像の間で同等の色であるべき基準領域を決定する基準領域決定工程と、前記基準カメラの撮影画像の前記基準領域の色と、他のカメラの撮影画像において前記基準領域に相当する領域の色とから他のカメラに対する色調整値を決定する調整値決定工程と、前記ネットワークを介して前記色調整値と前記色調整値に基づいて前記色調整を実行させる命令とを前記他のカメラに送信する送信工程と、を有し、前記色調整手段により、各カメラで撮影された画像のホワイトバランス制御を実行し、前記色調整値は、前記色調整値を受信したカメラにてホワイトバランス制御を実行するための色ゲイン調整値に対して加算又は減算できるオフセット値であり、継続的に用いられる。

本発明によれば、複数のカメラによって撮影された画像を表示装置に同時に表示する際において、画像間の色再現性の差異を減少してユーザの違和感を軽減することができる。

また、色調整の基準となる候補領域を設定する際の操作性を改善することができる。

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［第１の実施形態］
図１は、第１の実施形態のカメラ制御装置を有するカメラシステムの構成を示すブロック図である。図２は、本実施形態のカメラ制御装置の構成を示すブロック図である。

図１において、カメラ５ａ〜５ｃはネットワーク２を介して通信可能な機能を有するデジタルスチルカメラやデジタルビデオカメラ等である。本実施形態では３台であるが、この台数に限るものではない。

ネットワーク２はLocal Area Network（ＬＡＮ）のような汎用的なもの、あるいは専用線などからなり、通信の用途に利用できる通信回線である。

表示装置３はＣＲＴやＬＣＤなどを持つ表示器であり、カメラ５ａ〜５ｃにて撮影された画像のデータをネットワーク２を介して受信し表示する。この表示装置３はネットワーク２を通して通信可能なパーソナルコンピュータ（ＰＣ）のディスプレイにより実現してもよい。

入力操作装置４は、ユーザがカメラ制御装置１や表示装置３を操作するためのデバイスであり、キーボードやボタン、マウス、リモートコントローラなどで実現してもよいし、タッチパネルで実現して表示装置３と一体のものとして実現してもよい。入力操作装置４はＰＣのキーボードで実現してもよい。

カメラ制御装置１、カメラ５ａ〜５ｃ、表示装置３、及び入力操作装置４はネットワーク２を介して通信可能に接続されている。

尚、入力操作装置４からカメラ制御装置１や表示装置３へ出力される操作信号の方式は、有線通信式、無線通信式、光通信式のいずれでもよく、限定するものではない。

次に、カメラ制御装置１の構成について、図２を参照して説明する。

コントローラ１１はカメラ制御装置１を制御するＣＰＵ（Central Processing Unit）、ＣＰＵの動作に必要なＲＯＭやＲＡＭ等から構成されている。

ネットワークインターフェース部（以下、ネットワークＩ／Ｆ部）１２は、カメラ５ａ〜５ｃからそれぞれ画像を受信して画像メモリ１７へ記憶すると共に、受信した画像をネットワーク２に接続された表示装置３に対して送信する。

更に、ネットワークＩ／Ｆ部１２は、表示装置３近傍に設置された入力操作装置４によって送信される制御指令としてのカメラ指定命令、基準領域指定命令、及びカメラ制御命令を受信する。

カメラ指定命令は、色再現性の基準とすべき画像を撮影しているカメラ（基準カメラ）を指定するコマンドである。ユーザは、ネットワーク２に接続された表示装置３に表示される各カメラ５ａ〜５ｃによって撮影された画像を視認し、表示装置３近傍に設置された入力操作装置４を操作することによってカメラ指定命令を送信する。

基準領域指定命令は、同等の色であるべき白色の領域を、各カメラの画像について指定するコマンドである。ユーザは、ネットワーク２に接続された表示装置３に表示される各カメラ５ａ〜５ｃによって撮影された画像を視認し、表示装置３近傍に設置された入力操作装置４を操作することによって基準領域指定命令を送信する。ここでは、カメラ指定命令によりカメラ５ａが指定されているとする。

基準領域決定部１３は、Ｗ画素抽出フィルタ１８と座標保持部１９からなる。基準領域指定命令を受信している場合は、カメラ５ａ〜５ｃによって撮影された画像において、基準領域指定命令で指定されている領域を各カメラの基準領域として決定して、この座標情報を座標保持部１９に保持する。

一方、基準領域指定命令を受信していない場合は、カメラ５ａ〜５ｃによって撮影された各画像から、図５に示す白抽出範囲Ｗの色差範囲内にある画素（以下、Ｗ画素）が所定画素以上含まれている領域をＷ画素抽出フィルタ１８で検出する。そして、それぞれを各カメラの基準領域として決定して、この座標情報を座標保持部１９に保持する。

調整値決定部１４は、色差信号平均値算出部２０と調整値算出部２１からなる。基準領域が決定されると、調整値決定部１４は図４のフローチャートに従って色調整値を算出する。

先ず、色差信号平均値算出部２０は、カメラ５ａの基準領域にあるＷ画素の色差信号（Ｂ-Ｙ，Ｒ-Ｙ）の平均値（Ｂａ，Ｒａ）を算出する（Ｓ１０１）。

次に、色差信号平均値算出部２０は、調整前のカメラ５ｂの基準領域にあるＷ画素の色差信号（Ｂ-Ｙ，Ｒ-Ｙ）の平均値（Ｂｂ，Ｒｂ）を算出する（Ｓ１０２）。

調整値算出部２１は、これらの値からＢゲイン調整値（Ｂａ−Ｂｂ）、Ｒゲイン調整値（Ｒａ−Ｒｂ）を算出する（Ｓ１０３）。

これらのＢゲイン調整値とＲゲイン調整値を、カメラ５ａとカメラ５ｂの基準領域内のＷ画素を近似させる色ゲイン調整値として決定する（Ｓ１０４）。

このＢゲイン調整値及びＲゲイン調整値からなる色ゲイン調整値に基づいてＡＷＢ制御の変更を要求するカメラ制御命令を、ネットワークＩ／Ｆ部１２を介してカメラ５ｂに送信する（Ｓ１０５）。

そして、色差信号平均値算出部２０は、調整前のカメラ５ｃの基準領域にあるＷ画素の色差信号（Ｂ-Ｙ，Ｒ-Ｙ）の平均値（Ｂｃ，Ｒｃ）を算出する（Ｓ１０６）。

調整値算出部２１は、これらの値からＢゲイン調整値（Ｂａ−Ｂｃ）、Ｒゲイン調整値（Ｒａ−Ｒｃ）を算出する（Ｓ１０７）。

このＢゲイン調整値とＲゲイン調整値を、カメラ５ａとカメラ５ｃの基準領域内のＷ画素を近似させる色ゲイン調整値として決定する（Ｓ１０８）。

このＢゲイン調整値及びＲゲイン調整値からなる色ゲイン調整値に基づいてＡＷＢ制御の変更を要求するカメラ制御命令を、ネットワークＩ／Ｆ部１２を介してカメラ５ｃに送信する（Ｓ１０９）。

以上、基準領域にあるＷ画素の色差信号の平均値から色ゲイン調整値を算出する例を説明したが、基準領域にあるＷ画素の色差信号の最頻値や基準領域にある特定のＷ画素の色差信号を元にして色ゲイン調整値を算出してもよい。

また、カメラ５ｂに対するカメラ制御命令を送信した後に、カメラ５ｃの色ゲイン調整値を決定しカメラ５ｃにカメラ制御命令を送信する例を説明したが、カメラ５ｂ，５ｃの色ゲイン調整値を決定した後にカメラ制御命令をカメラ５ｂ，５ｃに送信してもよい。

また、両カメラ５ｂ，５ｃの色ゲイン調整値を算出するためにカメラ５ａの基準領域を共通に用いる構成を説明したが、カメラ５ｂの色ゲイン調整値算出時とカメラ５ｃの色ゲイン調整値算出時とで異なった基準領域としてもよい。

また、カメラ制御装置１がカメラ制御命令を送信した後、カメラ制御命令を受信したカメラ５ｂ，５ｃは色ゲイン調整値を元にＡＷＢ制御を変更するが、カメラ５ｂ，５ｃのＡＷＢ制御のオフセット値として以後、継続的にこの色ゲイン調整値を用いてもよい。

ここでは、コントローラ１１、基準領域決定部１３、調整値決定部１４を各々別構成として説明したが、全て又は一部をＬＳＩにまとめて搭載して同等の機能を有する構成としてもよい。

また、基準領域指定命令を受信する構成を説明したが、基準領域決定部１３が常にカメラ５ａ〜５ｃによって撮影された各画像からＷ画素が所定画素以上含まれている領域を各カメラの基準領域として決定する構成としてもよい。

また、基準領域決定部１３は、カメラ５ａ〜５ｃによって撮影された各画像からＷ画素が所定画素以上含まれている領域を各カメラの基準領域として決定する機能を有するものとして説明したが、この機能を有さない構成としてもよい。つまり、常に基準領域指定命令で指定されている領域を各カメラの基準領域として決定する構成としてもよい。

次に、カメラ５ａ〜５ｃの構成及び動作について図３を参照して説明する。

図３は、ＷＢ調整機能を有するカメラ５ａ〜５ｃの構成を示すブロック図である。

ＣＣＤやＣＭＯＳ等の撮像素子を含む撮像部５１は、被写体の光学像を電気信号に変換する。ここでは一例として電気信号をＲ・Ｇ・Ｂの色信号として取り出している。

ゲインコントロールアンプ５２ａ，５２ｂはＲ信号とＢ信号の利得を制御し、信号処理部５３は撮像部５１及びゲインコントロールアンプ５２ａ，５２ｂから得られたＲ・Ｇ・Ｂ信号を処理して輝度信号Ｙ及び色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。

画像処理部５４は、信号処理部５３で得られた輝度信号Ｙ及び色差信号Ｒ−Ｙ、Ｂ−Ｙをネットワーク２を介して外部機器等へ出力するための画像フォーマット（サイズ、圧縮方式等）に適合するように画像処理を行う。

ホワイトバランス制御部（ＷＢ制御部）５５は、色差信号Ｒ−Ｙ、Ｂ−Ｙを元にゲインコントロールアンプ５２ａ，５２ｂを制御し、Ｇ信号に対してＲ信号、Ｂ信号を増減することにより画像信号のＷＢを制御する。

ここで、上記構成のカメラによるＡＷＢ制御について説明する。

ＷＢ制御部５５は、色差信号Ｒ−Ｙ、Ｂ−Ｙを基にゲインコントロールアンプ５２ａ，５２ｂの利得を制御する。これによりＲ信号及びＢ信号が増減されて、色差信号Ｒ−Ｙ、Ｂ−Ｙの信号成分が最小になるように制御する。

カメラ制御装置１からカメラ制御命令を受信した時に、白である箇所において色差信号Ｒ−Ｙ、Ｂ−Ｙの信号成分が最小になるゲインコントロールアンプ５２ａ，５２ｂの利得を、カメラ制御命令によって与えられる色ゲイン調整値を元に調整する。

例えばカメラ指定命令にてカメラ５ａが指定されている場合、ＷＢ制御部５５は、カメラ５ｂに対し、入力されるＢ−Ｙ、Ｒ−Ｙの各信号から、Ｂゲイン調整値、Ｒゲイン調整値を引いた値の信号成分が最小になるようにアンプ５２ａ，５２ｂの利得を調整する。

なお、上述したカメラ制御装置をカメラに内蔵してもよい。この場合、複数のカメラの少なくとも１台以上がカメラ制御装置を内蔵していれば、本実施形態と同様のシステムを構築でき、同様の効果を発揮できるのは言うまでもない。

本実施形態によれば、カメラ指定命令で指定されていないカメラに対して色ゲイン調整値に基づくＷＢ制御の変更を要求するカメラ制御命令を送信する。これにより、各カメラにてホワイトバランス制御を行うための色ゲイン調整値に対して加算又は減算できるオフセット値として利用できる。そのため、撮影範囲が時間と共に変化して色温度が変化する環境において、各カメラのＡＷＢ制御による環境の変化に対する調整と、色ゲイン調整値による調整が重ねて実行されるため、自然な色再現性を実現できる。

また、基準領域指定命令で指定されている領域を各カメラの基準領域とすることで、ユーザが任意に異なる被写体に対して同等の白色であると判定して、その箇所を色合わせすることができる。

また、複数のカメラによって撮影された各画像からＷ画素が所定画素以上含まれている領域をそれぞれ各カメラの基準領域として決定することで、同一被写体のみでなく、異なる被写体に対しても同等の白色であるとみなされる箇所を色合わせすることができる。

［第２の実施形態］
図６は第２の実施形態のカメラ制御装置が適用されるカメラシステムの構成を例示し、図７は第２の実施形態のカメラ制御装置の構成を示すブロック図であり、第１の実施形態の図１及び図２と同一の構成には同じ符号を付して示している。

第２の実施形態のシステムは、図６に示すように図１の構成から表示装置３及び入力操作装置４を取り除き、その代わりに図７に示すように表示部１５及び入力部１６がカメラ制御装置１に内蔵されている。

表示部１５はＣＲＴやＬＣＤなどの表示装置であり、他のカメラから受信した画像やカメラ制御装置１の後述するユーザインタフェース（ＵＩ）画面などを表示する。

入力部１６はキーボードやボタン、マウスなどで実現してもよいし、タッチパネルで実現して表示部１５と一体のものとして実現してもよい。

ユーザは表示部１５に表示されるカメラ５ａ〜５ｃによって撮影された画像を視認し、入力部１６を操作することによってカメラ指定命令を送信する。また、ユーザは表示部１５に表示されるカメラ５ａ〜５ｃによって撮影された画像を視認し、入力部１６を操作することによって基準領域指定命令を送信する。

基準領域決定部１３、調整値決定部１４、及びカメラ５ａ〜５ｃの構成や動作は、第１の実施形態で説明した通りである。

以上のように、表示部及び入力部をカメラ制御装置１に内蔵した場合でも、第１の実施形態と同様の効果を発揮することができる。

［第３の実施形態］
本発明の目的は、前述した第１乃び第２の各実施形態の機能を実現するコンピュータプログラムを、システム或いは装置に直接又は遠隔から供給することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

この記憶媒体に格納されたプログラムコードを読み出し実行するシステム或いは装置の一例を図８に示す。
このコンピュータシステム１００は、ＣＰＵ１０１、プログラムコードを展開して実行するための領域に使用されるメモリ１０２、プログラムコードを格納している記憶媒体１０３を有する。また、コンピュータシステム１００は、必要な操作コマンドを入力する入力部１６、実行状態を判定する表示部１５、ネットワーク２を介して他のコンピュータシステムやカメラとの通信を行うネットワークＩ／Ｆ部１２を有する。

図９は、本実施形態のプログラムにより実現される機能の一例を示すフローチャートである。

図９において、先ずカメラ指定命令を受信する（Ｓ２０１）。カメラ指定命令は、色再現性の基準にするべき画像を撮影しているカメラを指定する命令である。ユーザは、撮影画像を視認してカメラ指定命令を送信する。

次に基準領域指定命令を受信しているか判定する（Ｓ２０２）。基準領域指定命令は、同等の色であるべき白色の領域を、各カメラの画像について指定する命令である。ユーザは撮影画像を視認して基準領域指定命令を送信する。ここでは、カメラ指定命令によりカメラ５ａが指定されているとする。

基準領域指定命令を受信している場合は、カメラ５ａ〜５ｃによって撮影された画像において、基準領域指定命令で指定されている領域を各カメラの基準領域として決定する（Ｓ２０４）。

一方、基準領域指定命令を受信していない場合は、カメラ５ａ〜５ｃによって撮影された各画像から、図５の白抽出範囲Ｗの色差範囲内にあるＷ画素が所定画素以上含まれている領域を検出する（Ｓ２０３）。そして、各カメラの基準領域として決定する（Ｓ２０４）。

基準領域を決定すると、カメラ５ａとカメラ５ｂの基準領域内の画素における色差信号Ｒ-Ｙ、色差信号Ｂ-Ｙを近似させる色ゲイン調整値を算出して決定する（Ｓ２０５）。例えば図５において、カメラ５ａの基準領域内画素をＷａの値、調整前のカメラ５ｂの基準領域内画素をＷｂの値とした時、カメラ５ｂの基準領域内画素をＷａの値に近づける。この時のＲゲイン調整値及びＢゲイン調整値を算出する。このＲゲイン調整値及びＢゲイン調整値からなる色ゲイン調整値に基づいてＡＷＢ制御の変更を要求するカメラ制御命令を、カメラ５ｂに送信する（Ｓ２０６）。

カメラ５ｃについても、カメラ５ｂに対する手順と同様にＳ２０５及びＳ２０６の処理を実行する。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行うことによっても実現され得る。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のＣＰＵ等が実際の処理の一部又は全部を行うことによっても実現される。

［第４の実施形態］
図１０は、図１に示すカメラシステムに適用される、第４の実施形態のカメラ制御装置の構成を示すブロック図であり、図２と同一の構成には同じ符号を付して示している。

図１０において、本実施形態のカメラ制御装置１は、調整値決定部１４がＷ画素有無判定部２２と色差信号平均値算出部２０とフレームゲイン調整値算出部２３と調整値算出部２１とからなる。

基準領域決定部１３は、基準領域指定命令を受信している場合、カメラ５ａ〜５ｃによって撮影された画像において、基準領域指定命令で指定されている領域を各カメラの基準領域として決定して、この座標を座標保持部１９に保持する。一方、基準領域指定命令を受信していない場合は、カメラ５ａ〜５ｃによって撮影された各画像から、図１２の白抽出範囲Ｗの色差範囲内にあるＷ画素が所定画素以上含まれている領域をＷ画素抽出フィルタ１８で検出する。そして、各カメラの基準領域として決定して、この座標を座標保持部１９に保持する。

基準領域が決定されると、調整値決定部１４の各ブロックは図１１のフローチャートに従って動作する。

調整値決定部１４は所定フレーム数の画像を用いてフレーム毎の色ゲイン調整値を決定する。本実施形態において所定フレーム数は予め任意の数に設定されているが、基準領域指定命令と共にネットワーク２を介して外部機器等から設定可能としてもよい。

先ずコントローラ１１がフレームカウントＮを０にリセットする（Ｓ３０１）。

このフレームカウントＮは、1フレーム分の画像を入力するとコントローラ１１によってカウントアップされる（Ｓ３０２）。

次にＷ画素有無判定部２２は、カメラ５ａの基準領域にＷ画素が含まれているか判定する（Ｓ３０３）。基準領域決定時にはＷ画素が基準領域に含まれていても、基準領域に他の物体が移動して入ってきた場合や、周辺に移動体が接近して影が発生した場合などに、Ｗ画素が含まれない場合が起こる。そこで、フレームＲゲイン調整値及びフレームＢゲイン調整値を算出する時に、Ｗ画素が基準領域内に含まれていないフレームの画像から算出されたフレームＲゲイン調整値及びフレームＢゲイン調整値を除外する。

処理対象のフレームの基準領域にはＷ画素が含まれていない場合、次のフレーム画像を入力する（Ｓ３０２）。

Ｗ画素が基準領域に含まれている時、色差信号平均値算出部２０は、カメラ５ａの基準領域にあるＷ画素の色差信号（Ｂ-Ｙ，Ｒ-Ｙ）の平均値（Ｂａ［Ｎ］，Ｒａ［Ｎ］）を算出する（Ｓ３０４）。

次にＷ画素有無判定部２２は、カメラ５ｂの基準領域にＷ画素が含まれているか判定する（Ｓ３０５）。

Ｗ画素が基準領域に含まれている場合、色差信号平均値算出部２０は、調整前のカメラ５ｂの基準領域にあるＷ画素の色差信号（Ｂ-Ｙ，Ｒ-Ｙ）の平均値（Ｂｂ［Ｎ］，Ｒｂ［Ｎ］）を算出する（Ｓ３０６）。

フレームゲイン調整値算出部２３は、これらの値からフレームＢゲイン調整値（Ｂａ［Ｎ］−Ｂｂ［Ｎ］）、フレームＲゲイン調整値（Ｒａ［Ｎ］−Ｒｂ［Ｎ］）を算出する（Ｓ３０７）。Ｗ画素が基準領域に含まれていない場合はこれらの処理をせずにＳ３０８へ進む。

次にＷ画素有無判定部２２は、カメラ５ｃの基準領域にＷ画素が含まれているかどうかを判定する（Ｓ３０８）。

Ｗ画素が基準領域に含まれている場合、色差信号平均値算出部２０は、調整前のカメラ５ｃの基準領域にあるＷ画素の色差信号（Ｂ-Ｙ，Ｒ-Ｙ）の平均値（Ｂｃ［Ｎ］，Ｒｃ［Ｎ］）を算出する（Ｓ３０９）。

フレームゲイン調整値算出部２３は、これらの値からフレームＢゲイン調整値（Ｂａ［Ｎ］−Ｂｃ［Ｎ］）、フレームＲゲイン調整値（Ｒａ［Ｎ］−Ｒｃ［Ｎ］）を算出する（Ｓ３１０）。Ｗ画素が基準領域に含まれていない場合はこれらの処理をせずにＳ３１１へ進む。

次にコントローラ１１は、フレームカウントＮが所定フレーム数に達しているか判定する（Ｓ３１１）。

フレームカウントＮが所定フレーム数未満である場合、Ｓ３０２へ戻って次のフレームの画像を入力して、基準領域にあるＷ画素の色差信号の平均値算出、フレームＢゲイン調整値とフレームＲゲイン調整値の算出を繰り返す。

所定フレーム数に達している場合、調整値算出部２１は、カメラ５ｂのフレームＢゲイン調整値（Ｂａ［Ｎ］−Ｂｂ［Ｎ］）の平均値であるＢゲイン調整値とフレームＲゲイン調整値（Ｒａ［Ｎ］−Ｒｂ［Ｎ］）の平均値であるＲゲイン調整値を算出する。そして、これらをカメラ５ａとカメラ５ｂの基準領域内のＷ画素を近似させる色ゲイン調整値として決定する（Ｓ３１２）。
ここではカメラ５ａ，５ｂの両方にＷ画素が基準領域に含まれるフレームが１以上存在することを前提としているが、所定フレーム数Ｎのフレーム中にそのようなフレームが存在せず色ゲイン調整値を決定できないときはエラーとしてユーザ等へ通知する。

このＢゲイン調整値及びＲゲイン調整値からなる色ゲイン調整値に基づいてＡＷＢ制御の変更を要求するカメラ制御命令を、ネットワークＩ／Ｆ部１２を介してカメラ５ｂに送信する（Ｓ３１３）。

次に調整値算出部２１は、カメラ５ｃの各フレームのフレームＢゲイン調整値（Ｂａ［Ｎ］−Ｂｃ［Ｎ］）の平均値であるＢゲイン調整値と、フレームＲゲイン調整値（Ｒａ［Ｎ］−Ｒｃ［Ｎ］）の平均値であるＲゲイン調整値を算出する。そして、これらをカメラ５ａとカメラ５ｃの基準領域内のＷ画素を近似させる色ゲイン調整値として決定する（Ｓ３１４）。ここではカメラ５ａとカメラ５ｃの両方にＷ画素が基準領域に含まれているフレームが１以上存在するということを前提としているが、該当するフレームが存在せず色ゲイン調整値を決定できない場合はエラーとしてユーザ等へ通知する。

このＢゲイン調整値及びＲゲイン調整値からなる色ゲイン調整値に基づいてＡＷＢ制御の変更を要求するカメラ制御命令を、ネットワークＩ／Ｆ部１２を介してカメラ５ｃに送信する（Ｓ３１５）。

以上、基準領域にあるＷ画素の色差信号の平均値からフレームＢゲイン調整値、フレームＲゲイン調整値を算出する例を説明したが、基準領域にあるＷ画素の色差信号の最頻値や特定のＷ画素の色差信号を元にして色ゲイン調整値を算出してもよい。

また、各フレームで算出したフレームＢゲイン調整値とフレームＲゲイン調整値の平均値をＢゲイン調整値とＲゲイン調整値として決定する例を説明したが、平均値ではなく最頻値を元にしてＢゲイン調整値とＲゲイン調整値を決定してもよい。

また、カメラ５ｂにカメラ制御命令を送信後に、カメラ５ｃの色ゲイン調整値決定し、カメラ５ｃにカメラ制御命令を送信する例を説明したが、カメラ５ｂ，５ｃの各色ゲイン調整値を決定後に送信してもよい。

また、カメラ５ａの基準領域をカメラ５ｂ，５ｃの色ゲイン調整値を算出するために共通に用いる例を説明したが、カメラ５ａの基準領域は、カメラ５ｂと５ｃの各色ゲイン調整値を算出する時で異なった基準領域としてもよい。

カメラ制御装置１がカメラ制御命令を送信した後、このカメラ制御命令を受信したカメラ５ｂ、カメラ５ｃは色ゲイン調整値を元にＡＷＢ制御の内容を変更する。カメラ５ｂ、カメラ５ｃにおけるＡＷＢ制御のオフセット値として以後、継続的に色ゲイン調整値を用いることもできる。

なお、カメラ５ａ〜５ｃの構成及び動作については、図３で述べた第１の実施形態と同様である。

以上のように、調整値決定部１４にＷ画素有無判定部２２及びフレームゲイン調整値算出部２３を付加して構成した場合でも、第１の実施形態と同様の効果を発揮することができる。

また、所定フレーム数の画像におけるフレームＢゲイン調整値とフレームＲゲイン調整値を算出して、これらの平均値又は最頻値を用いてＢゲイン調整値とＲゲイン調整値を決定する。これにより、撮影場所の周囲環境の一時的な変化（周辺物による反射光の映り込み等）による画像への影響を軽減することができる。

［第５の実施形態］
図１３は、図６に示すカメラシステムに適用される、第５の実施形態のカメラ制御装置の構成を示すブロック図であり、図７及び図１０と同一の構成には同じ符号を付して示している。

図１３において、本実施形態のカメラ制御装置１は、図７と同様に表示部１５及び入力部１６を内蔵し、図１０と同様に調整値決定部１４がＷ画素有無判定部２２と色差信号平均値算出部２０とフレームゲイン調整値算出部２３と調整値算出部２１とからなる。即ち、本実施形態のカメラ制御装置１は、第２の実施形態と第４の実施形態とを組み合わせた構成となっており、動作については各実施形態において説明した通りである。

以上のように構成した場合でも、第１乃至第４の各実施形態と同様の効果を発揮することができる。

［第６の実施形態］
本発明の目的は、前述した第４及び第５の各実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を供給したシステム或いは装置のコンピュータが記録媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

この記憶媒体に格納されたプログラムコードを読み出し実行するシステム或いは装置の例は図８に示した通りである。また、本実施形態のプログラムの一例は図４のフローチャートに示した通りである。

以上のように構成した場合でも、第４及び第５の各実施形態と同様の効果を発揮することができる。

［第７の実施形態］
図１４は、第７の実施形態の表示装置を有するカメラシステムの構成を示すブロック図である。図１５は、図１４の表示装置の構成を示すブロック図である。図１６は、本実施形態のカメラシステムによる画像表示処理を示すフローチャートである。図１７及び図１８は、本実施形態のシステムによるＵＩ画面例を示す図である。図１９は、カメラのＡＷＢ制御を行う際の色温度が移動する範囲を説明するための色差マトリックスを示す図である。

図１４において、５ａ〜５ｄはカメラである。なお、本実施形態では４台のカメラを例に説明するが、カメラの台数について特に限定はない。その他、図１と同一の構成には同じ符号を付して示している。

７は、ユーザが表示装置３を操作するための入力操作装置であり、ここではカーソル等をスクロールするためのマウスを説明するが、キーボード、リモートコントローラでもよい。また、入力操作装置４から表示装置３へ操作する信号の方式は、有線通信式、無線通信式、光通信式のいずれでもよい。

次に、図１５において、３８は、ネットワーク２を介してカメラ５ａ〜５ｄと通信し、各カメラから画像データを受信すると共に、表示装置３内で設定した位置（表示上の座標）情報やカメラ制御命令等をカメラへ送信するためネットワークＩ／Ｆ部である。

３９は、カメラから所定のフォーマットで送られてきた画像データをデコードするデコード部である。このデコード部３９によりデコードされるフォーマットとしては、ＪＰＥＧやＭＰＥＧが挙げられるが、画像フォーマットであれば、特に限定する必要はない。

４０は、デコード部３９により解凍された画像データを表示装置３のパラメータに合わせて色再現特性、輝度再現性等を調整するための第１の画像処理部である。第１の画像処理部４０は、表示装置３にて処理しなくても問題ないデータについて、処理せずにデータをスルーする場合もある。

４１は、デコード部３９により解凍された画像データのうち、予め設定された色を示す基準候補領域以外の領域が同一の色で表示されるようにデータを置き換える処理を行う第２の画像処理部である。ここでは、カメラのＷＢを調整するために必要な白とされる領域（図１９の領域Ｗ）以外の部分を単一色にする。図１９の領域Ｗについては、白領域の光源による色温度の移動に対する色差データとして移動する範囲を示している。

４２は、表示装置３の各ブロックを制御するためのＣＰＵである。

４３は、第１の画像処理部４０によって表示に最適な画像処理をした画像データを必要に応じてＣＰＵ４２の制御により縮小処理を行う縮小処理部Ａである。

４４は、第２の画像処理部４１により予め設定された色を示す領域以外の部分を単一の色になるようにデータを置き換える処理がなされた画像を必要に応じて縮小処理するための縮小処理部Ｂ４４である。

４５は、第１、第２の画像処理部４０，４１、縮小処理部Ａ４３，Ｂ４４にて処理された画像データをＣＰＵ４２の制御により切り替えて後段のブロックへデータを送出するためのセレクタである。

４６は、ＹＣデータの場合、Ｙ（輝度情報）、Ｃ（色情報）を表示させるためにＲＧＢデータ（Ｒ（赤）,Ｇ（緑）,Ｂ（青））に変換するためのＹＣ−ＲＧＢ変換部である。

４７は、画像データを表示するための表示部であり、表示媒体としては、ＬＣＤ（液晶表示パネル）、ＣＲＴ（ブラウン管による表示器）、プラズマディスプレー等に代表される画像を表示する手段であれば特に限定はしない。

４８は、ユーザによる操作入力に応じて、色の基準候補領域から選択された位置に対応する画像の色情報を送出するための色情報送出部である。

４９は、ユーザによる操作入力に応じて入力操作装置４と通信し、色の基準候補領域から選択する際に必要な操を行うための外部Ｉ／Ｆ部である。

次に表示装置３の動作について、図１６のフローチャートと、図１７及び図１８の表示例とを参照して説明する。

なお、以降の説明では、特に言及しない限り、「画像」とは動画又は映像（動画＋音声）を意味するものとする。

図１６において、先ずＳ１０２では、カメラ５ａ〜５ｄと表示装置３との間で通信を行い、画像データのフォーマットや画像サイズ等の必要な情報のやり取りを行う（Ｓ４０２）。

次に、Ｓ４０２で設定された内容に応じて、ネットワークＩ／Ｆ部３８により各カメラ５ａ〜５ｄで撮影された画像を受信する（Ｓ４０３）。ネットワークＩ／Ｆ部３８で受信した画像は、デコード部３９から第１の画像処理部４０を通じてセレクタ４５に出力される。セレクタ４５は、第１の画像処理部４０から出力された画像データを選択し、ＹＣ−ＲＧＢ変換部４６を通じて表示部４７に表示する。図１７は、表示部４７への表示例を示している。

図１７において、６１は、表示部４７の全画面の大きさを表している。６２，６３，６４，６５はそれぞれ、カメラ５ａ，５ｂ，５ｃ，５ｄの各画像を例示している。

図１６の説明に戻り、Ｓ４０４では、各カメラの画像を表示すると共に、図１７に示す基準領域設定開始を促すための「ＷＢ基準設定」アイコン６６を表示する。本実施形態では画面６１の右下にアイコン６６を表示する例を挙げているが、画面中の表示位置や、表示色、表示文字、表示アイコンの大きさについて特に限定はない。同一画面上に複数のカメラの画像と同時に表示される構成であれば特に限定はない。

ここまでのステップにおいて、各カメラから順次送信される画像は動画像である。

Ｓ４０５では、ユーザが外部から入力操作装置４を操作してＡＷＢ制御に関わる色の基準領域を設定した場合に、外部Ｉ／Ｆ部４９により図１７のアイコン６６にカーソルを移動させてクリックされたか否か判定する。ここでは、入力操作装置４がマウスの場合を説明しているが、キーボードによるカーソル位置の変更する方法でもよいし、専用のリモートコントローラでカーソルの位置を変更する方法でもよく、特に設定画面の操作方法は問わない。

Ｓ４０５でアイコン６６がクリックされたと判定した場合は、Ｓ４０６へ移行し、クリックされなければＳ４０４へ戻り、表示の変更は行わず、各カメラから受信した動画像が順次更新されていく。

Ｓ４０６では、第２の画像処理部４１に画像データが出力され、予め設定された色を示す領域を検出し、対応する部分の画像の色差情報とその色を示す領域が画面上のデータのどの位置に相当するかを解析し、解析結果をＣＰＵ４２にフィードバックする。

Ｓ４０７では、第２の画像処理部４１により、予め設定された色を示す領域を基準候補領域として設定し、その領域以外の部分を単一の色になるようにデータを置き換える処理を行う。本実施形態では、単一の色としてＷＢは白色を基準としているため、白に対して１番コントラスト比を高くするための色として黒色又は黒色に近いグレー色になるような処理を施す。

Ｓ４０８では、Ｓ４０７で処理された画像について、セレクタ４５にて第１の画像処理部４０から出力される通常画像を遮断し、第２の画像処理部４１にて処理された画像のみを後段のブロックへ出力する。

Ｓ４０９では、Ｓ４０８で処理された基準領域設定画像を表示部４７に表示する。ここで表示される表示画面を図１８に例示する。図１８において、７１は全画面の大きさを示し、７２，７３，７４，７５はそれぞれ、カメラ５ａ，５ｂ，５ｃ，５ｄの各基準領域設定画像の表示ウインドウを表しており、表示ウインドウのサイズに変更はない。

また、画面７１上のａ,ｂ,ｃ,ｄ,ｅが各基準領域の画像を抽出した部分となる。画面７１上のａ,ｂ,ｃ,ｄ,ｅの各部分の各色差データの色マトリックスが図１９に示す各ポイントに対応しており、Ｗａがａ、Ｗｂがｂ、Ｗｃがｃ、Ｗｄがｄ、Ｗｅがｅに対応している。このステップでは、Ｓ４０４で表示されていた基準領域を設定するためのアイコン６６から、基準領域設定画面のキャンセル操作を行うためのアイコン７６に変更される。ここでのアイコンの表示方法についても特に限定はない。

次にＳ４０９で、ユーザが入力操作装置４によりキャンセル操作を行ったか否か判定し、キャンセル操作が行われた場合はＳ４１３、キャンセル操作が行われていない場合はＳ４１０へ進む。

Ｓ４１３では、上記Ｓ４０６〜Ｓ４０８での設定及び表示内容をリセットし、Ｓ４０４へ戻り、各カメラにて撮影された画像を通常表示する。

Ｓ４１０では、ユーザが画面７１上のａ,ｂ,ｃ,ｄ,ｅのいずれかの基準領域を選択したか否か判定し、特に操作がされなければＳ４０６へ戻り、いずれかの基準領域を選択した場合にはＳ４１１へ進む。

Ｓ４１１では、Ｓ４１０で設定されたａ,ｂ,ｃ,ｄ,ｅのいずれかを基準領域として決定する。本実施形態では、仮にａが選択されたものとして説明する。ａは、図１９中において、カメラのＷＢを調整するために必要な白とされる領域であるところのＷ領域中のＷａ点に相当する色差マトリックス上にマッピングされる。この色差の値を白の基準として決定する。

Ｓ４１２では、Ｓ４１１で設定された値が色情報送出部４８に出力され、そのデータがネットワークＩ／Ｆ部３８からネットワーク２を介して各カメラ５ａ〜５ｄに送信される。

なお、予め設定された色を示す領域は白或いは無彩色の画素の範囲に設定される。

上記実施形態によれば、複数台のカメラのＡＷＢ制御の基準領域を指定する際に、操作が解りやすく且つ表示が見やすくなるので、操作性を向上させることができる。

［第８の実施形態］
図２０は、第８の実施形態のカメラシステムによる画像表示処理を示すフローチャートである。図２１は、本実施形態のシステムによるＵＩ画面例を示す図である。

なお、本実施形態のカメラシステム及び表示装置の構成については、図１４及び図１５と同様であるので、説明を省略する。

また、図２０において、図１６と同一の処理（Ｓ４０２〜Ｓ４０７、Ｓ４０９〜Ｓ４１３）については同一の符号を付して、説明を省略する。

Ｓ５０１では、カメラ５ａ〜５ｄまでの画像が表示されているウインドウのサイズとカメラの台数により、全画面表示内に同一サイズの基準領域設定画面が表示可能か否か判定する。このでの判定方法の一例として、通常カメラ撮影ウインドウの縦方向と横方向のいずれかの占める割合が５０％以上になっているか否かを判定する。判定の結果、表示可能ならば、Ｓ５０３へ進み、表示不能と判定された場合は、Ｓ５０２へ進む。

Ｓ５０２では、ＣＰＵ４２は、通常画像と、予め設定された色を示す領域以外の部分を単一の色になるように処理された画像とについて、表示部４７で表示可能なサイズを算出する。そして、縮小処理部Ａ４３，Ｂ４４は、その算出結果に応じた画像サイズへ縮小処理を施す。

Ｓ５０３では、図２１に例示するように、基準領域設定用画像と通常画像とを同時に表示できるよう配置し表示する。

図２１において、８１は表示部４７の全画面の大きさを表している。各ウインドウ８２，８３，８４，８５のそれぞれには、カメラ５ａ，５ｂ，５ｃ，５ｄの各撮影画像から設定基準領域部分を抽出しそれ以外の部分を単一の色で塗りつぶした基準領域設定用画像が表示される。また、各ウインドウ８７，８８，８，８９，９０のそれぞれには、カメラ５ａ，５ｂ，５ｃ，５ｄのリアルタイム画像が表示される。図２１に示す表示方法は一例であり、基準領域設定用画像と通常画像とを同時に表示する構成であれば、これに限定されるものではない。

以上のように構成した場合でも、第７の実施形態と同様の効果を発揮することができる。

［第９の実施形態］
図２２は、第９の実施形態のカメラシステムによる画像表示処理を示すフローチャートである。図２３は、本実施形態のシステムによるＵＩ画面例を示す図である。

なお、本実施形態のカメラシステム及び表示装置の構成については、図１４及び図１５と同様であるので、説明を省略する。

また、図２２において、図１６及び図２０と同一の処理（Ｓ４０２〜Ｓ４０７、Ｓ４０９〜Ｓ４１３、Ｓ５０１）については同一の符号を付して説明を省略する。

Ｓ５０１で表示可能ならばＳ６０１に進み、ＣＰＵ４２は、第１の画像処理部４０で処理された画像の表示サイズは変更せずに、第２の画像処理部４１にて処理した画像について表示部４７で表示可能なサイズを算出する。そして、縮小処理部Ｂ４４が、その算出結果に応じた画像サイズへ縮小処理を施す。

Ｓ６０２では、図２３に例示するように、基準領域設定用画像を通常画像に対して縮小し、リアルタイムな通常画像の解像度やウインドウのサイズを落とさずに基準領域設定用画像と通常画像とを同時に表示できるよう配置し表示する。

図２３において、１０１は表示部４７の全画面の大きさを表している。各ウインドウ１０２，１０３，１０４，１０５のそれぞれには、カメラ５ａ，５ｂ，５ｃ，５ｄの各画像から設定基準領域部分を抽出しそれ以外の部分を単一の色で塗りつぶした基準領域設定用画像が表示される。また、各ウインドウ１０７，１０８，１０９，１１０のそれぞれには、カメラ５ａ，５ｂ，５ｃ，５ｄのリアルタイム画像が表示される。図２３に示す表示方法は一例であり、基準領域設定用画像と通常画像とを同時に表示する構成であれば、これに限定されるものではない。

以上のように構成した場合でも、第７の実施形態と同様の効果を発揮することができる。

［第１０の実施形態］
図２４は、第１０の実施形態の表示装置の構成を示すブロック図である。図２５は、本実施形態のカメラシステムによる画像表示処理を示すフローチャートである。

図２４に示すように、表示装置には、第２の画像処理部４１で処理された静止画データを保持するためのＲＡＭなどからなる画像記憶部３７が設けられている。第２の画像処理部４１で処理された画像データは、この画像記憶部３７から縮小処理部Ｂ４４及びセレクタ４５に出力される。その他の構成ついては、図１５と同様であるので説明を省略する。

また、図２５において、図１６と同一の処理（Ｓ４０２〜Ｓ４０５、Ｓ４０６〜Ｓ４１３）については同一の符号を付して、説明を省略する。

Ｓ７０１では、ＣＰＵ４２が第２の画像処理部４１を制御してカメラ５ａ〜５ｄの各画像（動画）から所定フレーム後の静止画をキャプチャーする。

Ｓ７０２では、Ｓ７０１でキャプチャーした静止画を画像記憶部３７に保持する。

その後、Ｓ４０６へ進み、第２の画像処理部２は、画像記憶部３７に保持されている静止画データについて、予め設定された色を示す領域を検出する。そして、対応する部分の画像の色差情報とその色を示す領域が画面上のデータのどの位置に相当するかを解析し、その結果をＣＰＵ４２にフィードバックする。

ここで、第７の実施形態と異なる点は、基準領域設定用画像が動画ではなく、静止画であるところであり、第８及び第９の実施形態についても同様である。

また、表示部４７への画像の表示方法やユーザの操作方法は、第７〜第９の実施形態のいずれかと同様である。

上記実施形態によれば、複数台のカメラのＡＷＢ制御の基準領域を指定する際に、設定用画像が静止画であるので、設定したい領域の色の指定が操作しやすくなる。

［第１１の実施形態］
図２６は、第１１の実施形態の表示装置の構成を示すブロック図である。図２７は、本実施形態のカメラシステムによる画像表示処理を示すフローチャートである。図２８及び図２９は、本実施形態のシステムによるＵＩ画面例を示す図である。

図２６に示すように、表示装置には、第２の画像処理部４１からＣＰＵ４２にフィードバックされたある部分の色差情報を元に、各画像の基準候補領域の色特性を比較用マトリックス上に表示するための比較用画像処理部３６が設けられている。その他の構成ついては、図１５と同様であるので説明を省略する。

また、図２７において、図１６と同一の処理（Ｓ４０２〜Ｓ４０６、Ｓ４０９〜Ｓ４１３）については同一の符号を付して、説明を省略する。

Ｓ８０１では、第２の画像処理部４１にて、予め設定された色を示す領域を基準候補領域として設定する。そして、基準候補領域に対して強調用の枠をつける処理を行うと同時に、基準候補領域側にそれぞれ、”ａ”,”ｂ”,”ｃ”,”ｄ”,”ｅ”のタグを付す処理を行う。

Ｓ８０２では、セレクタ４５にて、第１の画像処理部４０からの通常画像に代えて、Ｓ８０１で第２の画像処理部４１にて処理された画像を、後段のブロック４６，４７へ出力するように切り替える。これにより、当初図１７のように表示されていた画像が、図２８に示すような画像に切り替わる。

図２８において、１２１は表示部４７の全画面の大きさを表している。また、各ウインドウ１２２，１２３，１２４，１２５のそれぞれには、カメラ５ａ，５ｂ，５ｃ，５ｄの各画像が表示される。また、各画像には、基準候補領域”ａ”,”ｂ”,”ｃ”,”ｄ”,”ｅ”の各部分を強調用の枠で囲み、その近傍に識別子”ａ”,”ｂ”,”ｃ”,”ｄ”,”ｅ”が識別用のタグと一緒に表示される。

また、Ｓ８０２では、Ｓ４０４で表示していた基準領域を設定するためのアイコン表示に代えて、基準領域設定表示画面のキャンセル操作を行うためのアイコン７６を表示する。

図２７の説明に戻り、Ｓ８０３では、Ｓ４０６で第２の画像処理部４１にて抽出されＣＰＵ４２にフィードバックされた基準候補領域の色差情報を元に、各カメラの画像における基準候補領域の色特性を比較用色マトリックス上にプロットした画像を生成する。ここでの処理は、ＣＰＵ４２が比較用画像処理部３６に対して必要な情報を与えて制御命令を送信することにより行われる。

Ｓ８０４では、セレクタ４５にて第２の画像処理部４１からの基準候補領域強調画像に加えて、Ｓ８０３で比較用画像処理部３６にて処理された画像を、後段のブロック４６，４７へ出力するように切り替える。これにより、図２８に示す画像に加えて、図２９に示すような画像が表示される。

図２９において、１３１は基準候補領域比較用の色マトリックス全体を示している。横軸方向がＢ−Ｙ成分、縦軸方向がＲ−Ｙ成分を示している。また、図２９において、”ａ”,”ｂ”,”ｃ”,”ｄ”,”ｅ”の各タグの近傍に示されている５つの白丸が、それぞれ、図２８の基準候補領域”ａ”,”ｂ”,”ｃ”,”ｄ”,”ｅ”の実際の色特性の値に相当する位置に表示されている。１３２は矢印型のカーソルである。１３１の中に示された基準候補領域の色特性を表す５つの白丸のいずれかを、カーソル１３２で指定しクリックすることにより、自分の選択したい基準領域を設定することができる（Ｓ４１０）。

次にＳ４０９で、ユーザが入力操作装置４によりキャンセル操作を行ったか否か判定し、キャンセル操作が行われた場合はＳ４１３、キャンセル操作が行われていない場合はＳ４１０へ進む。

Ｓ４１３では、上記Ｓ４０６〜Ｓ８０４での設定及び表示内容をリセットし、Ｓ４０４へ戻り、各カメラにて撮影された画像を通常表示する。

Ｓ４１０では、ユーザが図２９の画面上のａ,ｂ,ｃ,ｄ,ｅのいずれかの基準候補領域を示す白丸を選択したか否か判定し、特に操作がされなければＳ４０６へ戻り、いずれかの基準領域を選択した場合にはＳ４１１へ進む。

Ｓ４１１では、Ｓ４１０にて設定された図２９の画面上のａ,ｂ,ｃ,ｄ,ｅのいずれかを基準領域として決定する。ここで、ａが選択されたとすると、ａは図２９に示す色差マトリックス上にマッピングされているので、この色差の値を白の基準として決定する。

なお、本実施形態では、図２９の画面上で基準候補領域を指定しているが、図２９に示す情報を参考にしながら、図２８の画面上の強調表示された”ａ”〜”ｅ”で示される各画像領域を指定してもよい。また、図２８及び図２９の双方の画面上で指定できるような形態にすることも可能である。

上記実施形態によれば、複数台のカメラのＡＷＢ制御の基準領域を指定する際に、各カメラ間での基準領域の微妙な色特性をマトリックス上に表示して比べやすくなるので、操作性を向上することができる。

［第１２の実施形態］
図３０は、第１２の実施形態のカメラシステムによる画像表示処理を示すフローチャートである。図３１〜図３３は、本実施形態のシステムによるＵＩ画面例を示す図である。

なお、本実施形態のカメラシステム及び表示装置の構成については、図１４及び図２６と同様であるので、説明を省略する。

また、図３０において、図１６及び図２７と同一の処理（Ｓ４０２〜Ｓ４０６、Ｓ４０９〜Ｓ４１３、Ｓ８０１〜Ｓ８０４）については同一の符号を付して、説明を省略する。

本実施形態の比較用画像処理部３６は、上記第１１の実施形態で述べた機能に加えて、外部Ｉ／Ｆ部４９から入力されたユーザの指定する色特性を比較用マトリックス上に表示する機能を有している。

図３０において、Ｓ８０４の後、表示部４７には図３１及び図３２に示す画像が表示されている。

図３１は各カメラの画像の中に基準候補領域を表示したＵＩ画面例を示している。図３１において、１４１は表示部４７の全画面の大きさを表している。ウインドウ１４２，１４３，１４４，１４５のそれぞれには、カメラ５ａ，５ｂ，５ｃ，５ｄの各画像が表示される。また、各画像中には基準候補領域”１”,”２”,”３”,”４”,”５”の各部分を円形の点線で囲み、その近傍に識別子”１”,”２”,”３”,”４”,”５”が識別用のタグと一緒に表示される。また、各画像の下には、カメラを区別するための“カメラａ”，“カメラｂ”，“カメラｃ”，“カメラｄ”という情報が表示される。なお、基準候補領域の識別子は、各カメラの画像に共通の通し番号又は記号が付されている。

第１１の実施形態では、基準候補領域を強調する枠で囲んでいたが、本実施形態は基準候補領域のうち、特に代表的な部分を点線で囲んで表示している。

図３２は各カメラの基準候補領域の色特性を比較するためのＵＩ画面を例示している。図３２の構成は図２９と略同じであるが、タグがカメラ情報ａ〜ｄと基準候補領域の通し番号１〜５との組み合わせで”ａ１”,”ｂ２”,”ｂ３”,”ｃ４”,”ｄ５”のように付されている。

また、図３２の画面には、基準となる色差情報を基準候補領域の中から選択するのではなく、ユーザが直接入力するユーザ指定モードにするための「ユーザ指定入力」という四角のアイコン１５３で表示されている。ここでのアイコンの表示方法についても上記実施形態と同様に特に限定はしない。

図３０において、Ｓ９０１では、既にユーザ指定モードに設定されているか判定し、当該モードに設定されているならば、Ｓ９０４に進む。

Ｓ９０２では、ユーザ指定モードへの変更指示がなされたか判定する。ユーザ指定モードへの変更指示は、図３２の「ユーザ指定入力」というアイコン１５３を外部Ｉ／Ｆ部４９を介して選択することで実現される。

Ｓ９０２でアイコン１５３が選択されたならば、ＣＰＵ４２から比較用画像処理部３６へユーザ指定モードへの変更指示がなされたことが通知される。

その結果、Ｓ９０３にて、比較用画像処理部３６は、図３２の矢印型のカーソル１５２を、例えば図３３の菱形カーソル１５６に変更する。また、図３２の「ユーザ指定入力」のアイコン１５３を、図３３の「ユーザ指定入力解除」という四角のアイコン１５５に変更すると共に、図３３の「ユーザ指定値決定」アイコン１５７を表示して、後段１５，１６，１７に出力する。

次にＳ９０４では、ユーザがユーザ指定モードのキャンセル操作を行ったか否かを判定する。ここで、キャンセル操作は、図３３の「ユーザ指定入力解除」アイコン１５５を選択することで実現される。

ユーザ指定モードのキャンセル操作がなされた場合にはＳ９０８、キャンセル操作がされていない場合はＳ９０５へ進む。

Ｓ９０８では、Ｓ９０３とは反対の処理を行い、図３３から図３２にカーソル表示を戻す。即ち、比較用画像処理部３６は、図３３の菱形カーソル１５６を図３２の矢印型カーソル１５２に変更する。また、図３３において、「ユーザ指定入力解除」アイコン１５５を図３２の「ユーザ指定入力」アイコン１５３に変更して表示し、図２６の後段１５，１６，１７に出力する。

Ｓ９０５では、ユーザが基準領域設定処理のキャンセル操作を行ったか否か判定する。ここで、キャンセル操作は、図３１の「通常表示」アイコン７６を選択することで実現される。

キャンセル操作がなされた場合にはＳ４１３、キャンセル操作がなされていない場合にはＳ９０６へ進む。

Ｓ９０６では、ユーザが図３３のカーソル１５６により基準となる色特性を図３３の色差マトリックス上で指定したか判定する。ここで、ユーザは図３３のカーソル１５６を移動させて、ユーザの好みの色特性を色差マトリックス上で指定する。次いで、ユーザは図３３の「ユーザ指定値決定」アイコン１５７を選択することによって、カーソル１５６がある位置の色差マトリックス上の特性値を基準となる色差情報として設定することができる。なお、本実施形態では、「ユーザ指定値決定」アイコン１５７を選択することによって、カーソル１５６がある位置の色差マトリックス上の特性値を基準となる色差情報として設定するようにしたが、この方法に限るものではない。例えば、「ユーザ指定値決定」アイコン１５７がない場合でも、カーソル位置をダブルクリックするなどの操作を関連付けることによって、設定指示することが可能である。

上記ユーザによる設定操作があった場合にはＳ９０７へ進み、設定操作がなかった場合にはＳ４０６へ戻る。

Ｓ９０７では、Ｓ９０６で設定された図３３のアイコン１５７で指示された色差マトリックス上の特性値を基準となる色差情報として決定し、カーソル１５６の菱形の中央の値を白の基準として決定する。

上記実施形態によれば、ユーザが自分の好みの色差特性値をＡＷＢ制御の基準値として簡単に設定することができる。

［第１３の実施形態］
本発明の目的は、前述した第７乃至第１２の各実施形態の機能を実現するコンピュータプログラムを、システム或いは装置に直接又は遠隔から供給することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

この記憶媒体に格納されたプログラムコードを読み出し実行するシステム或いは装置の例は図８に示した通りである。また、本実施形態のプログラムの一例は図１６，２０，２２，２５，３０のフローチャートに示した通りである。

以上のように構成した場合でも、第７乃至第１２の各実施形態と同様の効果を発揮することができる。

第１の実施形態のカメラ制御装置を有するカメラシステムの構成を示すブロック図である。 第１の実施形態のカメラ制御装置の構成を示すブロック図である。 第１の実施形態のカメラの構成を示すブロック図である。 第１の実施形態の色ゲイン調整値決定処理を示すフローチャートである。 第１及び第２の各実施形態の白抽出範囲Ｗの色差範囲及びＷ画素の座標を色差信号Ｒ−Ｙ、Ｂ−Ｙ座標上に示した図である。 第２の実施形態のカメラシステムの構成を示すブロック図である。 第２の実施形態のカメラ制御装置の構成を示すブロック図である。 第３の実施形態のコンピュータシステムの構成を示すブロック図である。 第１及び第２の各実施形態をプログラムにより実現した例を示すフローチャートである。 第４の実施形態のカメラ制御装置の構成を示すブロック図である。 第４の実施形態の色ゲイン調整値決定処理を示すフローチャートである。 第４及び第５の各実施形態の白抽出範囲Ｗの色差範囲及びＷ画素の座標を色差信号Ｒ−Ｙ、Ｂ−Ｙ座標上に示した図である。 第５の実施形態のカメラ制御装置の構成を示すブロック図である。 第７の実施形態のカメラシステムの構成を示すブロック図である。 第７の実施形態の表示装置の構成を示すブロック図である。 第７の実施形態のシステムによる画像表示処理を示すフローチャートである。 第７の実施形態のシステムによるＵＩ画面の表示例を示す図である。 第７の実施形態のシステムによるＵＩ画面の表示例を示す図である。 第７の実施形態の白抽出範囲Ｗの色差範囲及びＷ画素の座標を色差信号Ｒ−Ｙ、Ｂ−Ｙ座標上に示した図である。 第８の実施形態のシステムによる画像表示処理を示すフローチャートである。 第８の実施形態のシステムによるＵＩ画面の表示例を示す図である。 第９の実施形態のシステムによる画像表示処理を示すフローチャートである。 第９の実施形態のシステムによるＵＩ画面の表示例を示す図である。 第１０の実施形態の表示装置の構成を示すブロック図である。 第１０の実施形態のシステムによる画像表示処理を示すフローチャートである。 第１１の実施形態の表示装置の構成を示すブロック図である。 第１１の実施形態のシステムによる画像表示処理を示すフローチャートである。 第１１の実施形態のシステムによるＵＩ画面の表示例を示す図である。 第１１の実施形態のシステムによるＵＩ画面の表示例を示す図である。 第１２の実施形態のシステムによる画像表示処理を示すフローチャートである。 第１２の実施形態のシステムによるＵＩ画面の表示例を示す図である。 第１２の実施形態のシステムによるＵＩ画面の表示例を示す図である。 第１２の実施形態のシステムによるＵＩ画面の表示例を示す図である。

符号の説明

１ カメラ制御装置
２ ネットワーク
３ 表示装置
４ 入力操作装置
５ａ〜５ｄ カメラ
１１ コントローラ
１２，３８ ネットワークＩ／Ｆ部
１３ 基準領域決定部
１４ 調整値決定部
１５，４７ 表示部
１６ 入力部
１７ 画像メモリ
１８ Ｗ画素抽出フィルタ
１９ 座標保持部
２０ 色差信号平均値算出部
２１ 調整値算出部
２２ Ｗ画素有無判定部
２３ フレームゲイン調整値算出部
３６ 比較用画像処理部
３７ 画像記憶部
３９ デコード部
４０ 第１の画像処理部
４１ 第２の画像処理部
４３ 縮小処理部Ａ
４４ 縮小処理部Ｂ
４５ セレクタ
４６ ＹＣ−ＲＧＢ変換部
４８ 色情報送出部
４９ 外部Ｉ／Ｆ部
５１ 撮像部
５２ａ，５２ｂ ゲインコントロールアンプ
５３ 信号処理部
５４ 画像処理部
５５ ＷＢ制御部
５６ ネットワークＩ／Ｆ部
１００ コンピュータシステム
４２，１０１ ＣＰＵ
１０２ メモリ
１０３ 記憶媒体

Claims (12)

1. 撮影した画像の色調整を行う色調整手段を有する複数のカメラをネットワークを介して制御するカメラ制御装置であって、
   前記複数のカメラから撮影画像を受信する受信手段と、
   前記複数のカメラの中から前記複数のカメラから受信した複数の撮影画像について色の基準とする基準カメラを指定するカメラ指定手段と、
   前記基準カメラから受信した撮影画像において、前記複数のカメラから受信した複数の撮影画像の間で同等の色であるべき基準領域を決定する基準領域決定手段と、
   前記基準カメラの撮影画像の前記基準領域の色と、他のカメラの撮影画像において前記基準領域に相当する領域の色とから他のカメラに対する色調整値を決定する調整値決定手段と、
   前記ネットワークを介して前記色調整値と前記色調整値に基づいて前記色調整手段により色調整を実行させる命令とを前記他のカメラに送信する送信手段と、を有し、
   前記色調整手段は、各カメラで撮影された画像のホワイトバランス制御を実行し、
   前記色調整値は、前記色調整値を受信したカメラにてホワイトバランス制御を実行するための色ゲイン調整値に対して加算又は減算できるオフセット値であり、継続的に用いられることを特徴とするカメラ制御装置。
2. ユーザの操作により前記ネットワークを介して前記基準カメラと前記基準領域の指定命令を受け付ける入力手段を更に有することを特徴とする請求項１に記載のカメラ制御装置。
3. 前記受信手段は、前記ネットワークを介して前記基準カメラの指定命令と前記基準領域の指定命令とを外部から受信することを特徴とする請求項１に記載のカメラ制御装置。
4. 前記基準領域決定手段は、前記入力手段により前記基準領域の指定命令を受け付けていない場合は、前記複数のカメラから受信した複数の撮影画像について、白又は無彩色の画素が所定画素以上含まれている領域を基準領域として決定することを特徴とする請求項２に記載のカメラ制御装置。
5. 前記基準領域決定手段は、前記受信手段により外部から基準領域の指定命令を受信していない場合は、前記複数のカメラから受信した複数の撮影画像について、白又は無彩色の画素が所定画素以上含まれている領域を基準領域として決定することを特徴とする請求項３に記載のカメラ制御装置。
6. 前記色ゲイン調整値は、前記基準領域にある白画素の色差信号の平均値から算出されることを特徴とする請求項１乃至５のいずれか１項に記載のカメラ制御装置。
7. 前記複数のカメラから受信した撮影画像を表示する表示手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載のカメラ制御装置。
8. 前記基準領域の色は、前記基準領域における各画素の色差信号の平均値又は最頻値であることを特徴とする請求項１乃至７のいずれか１項に記載のカメラ制御装置。
9. 前記調整値決定手段は、所定フレーム数の撮影画像において前記基準カメラの撮影画像の前記基準領域の色と他のカメラの撮影画像において前記基準領域に相当する領域の色とから、フレーム毎にフレームゲイン調整値を算出するフレームゲイン調整値算出手段と、
   複数の前記フレームゲイン調整値の平均値又は最頻値を算出する調整値算出手段と、を有し、
   前記調整値算出手段の算出結果を前記色調整値として決定することを特徴とする請求項１に記載のカメラ制御装置。
10. 撮影した画像の色調整を行う色調整手段を有する複数のカメラとカメラ制御装置とがネットワークを介して接続されたカメラシステムであって、
    前記カメラ制御装置は、
    前記複数のカメラから撮影画像を受信する受信手段と、
    前記複数のカメラの中から前記複数のカメラから受信した複数の撮影画像について色の基準とする基準カメラを指定するカメラ指定手段と、
    前記基準カメラから受信した撮影画像において、前記複数のカメラから受信した複数の撮影画像の間で同等の色であるべき基準領域を決定する基準領域決定手段と、
    前記基準カメラの撮影画像の前記基準領域の色と、他のカメラの撮影画像において前記基準領域に相当する領域の色とから他のカメラに対する色調整値を決定する調整値決定手段と、
    前記ネットワークを介して前記色調整値と前記色調整値に基づいて前記色調整手段により色調整を実行させる命令とを前記他のカメラに送信する送信手段と、を有し、
    前記色調整手段は、各カメラで撮影された画像のホワイトバランス制御を実行し、
    前記色調整値は、前記色調整値を受信したカメラにてホワイトバランス制御を実行するための色ゲイン調整値に対して加算又は減算できるオフセット値であり、継続的に用いられるものであり、
    前記複数のカメラは、
    撮影画像を前記ネットワークを介して前記カメラ制御装置に送信する送信手段を有し、
    前記ネットワークを介して前記カメラ制御装置から受信した前記色調整値と色調整を実行させる命令とに基づいて前記色調整手段により色調整を実行することを特徴とするカメラシステム。
11. 撮影した画像の色調整を行う色調整手段を有する複数のカメラをネットワークを介して制御する方法であって、
    前記複数のカメラから撮影画像を受信する受信工程と、
    前記複数のカメラの中から前記複数のカメラから受信した複数の撮影画像について色の基準とする基準カメラを指定するカメラ指定工程と、
    前記基準カメラから受信した撮影画像において、前記複数のカメラから受信した複数の撮影画像の間で同等の色であるべき基準領域を決定する基準領域決定工程と、
    前記基準カメラの撮影画像の前記基準領域の色と、他のカメラの撮影画像において前記基準領域に相当する領域の色とから他のカメラに対する色調整値を決定する調整値決定工程と、
    前記ネットワークを介して前記色調整値と前記色調整値に基づいて前記色調整を実行させる命令とを前記他のカメラに送信する送信工程と、を有し、
    前記色調整手段により、各カメラで撮影された画像のホワイトバランス制御を実行し、
    前記色調整値は、前記色調整値を受信したカメラにてホワイトバランス制御を実行するための色ゲイン調整値に対して加算又は減算できるオフセット値であり、継続的に用いられることを特徴とするカメラ制御方法。
12. 撮影した画像の色調整を行う色調整手段を有する複数のカメラをネットワークを介して制御する方法をコンピュータに実行させるためのプログラムであって、前記制御方法は、
    前記複数のカメラから撮影画像を受信する受信工程と、
    前記複数のカメラの中から前記複数のカメラから受信した複数の撮影画像について色の基準とする基準カメラを指定するカメラ指定工程と、
    前記基準カメラから受信した撮影画像において、前記複数のカメラから受信した複数の撮影画像の間で同等の色であるべき基準領域を決定する基準領域決定工程と、
    前記基準カメラの撮影画像の前記基準領域の色と、他のカメラの撮影画像において前記基準領域に相当する領域の色とから他のカメラに対する色調整値を決定する調整値決定工程と、
    前記ネットワークを介して前記色調整値と前記色調整値に基づいて前記色調整を実行させる命令とを前記他のカメラに送信する送信工程と、を有し、
    前記色調整手段により、各カメラで撮影された画像のホワイトバランス制御を実行し、
    前記色調整値は、前記色調整値を受信したカメラにてホワイトバランス制御を実行するための色ゲイン調整値に対して加算又は減算できるオフセット値であり、継続的に用いられることを特徴とするプログラム。

Images