JP5167222B2 - 固体電子撮像装置の白バランス調整システムおよびその動作制御方法 - Google Patents

Description

この発明は，固体電子撮像装置の白バランス調整システムおよびその動作制御方法に関する。

複数の固体電子撮像装置を備えたディジタル・スチル・カメラが実現されている。ディジタル・スチル・カメラにおいては，複数の固体電子撮像装置が設けられている場合にも白バランス調整が行われている（特許文献１，２）。一の固体電子撮像装置の撮影対象を照射している光源等と，他の固体電子撮像装置の撮影対象を照射している光源等とが一致する場合もあるが，異なる場合もあるので，複数の固体電子撮像装置から出力されるすべての画像データについて適切な白バランス調整ができないことがある。

特開2009-17457号公報 特開平5-110939号公報

この発明は，複数の固体電子撮像装置がディジタル・カメラ（ディジタル・スチル・カメラ，ムービ・ディジタル・カメラを含む）などに設けられている場合でも適切な白バランス調整を行うことを目的とする。

この発明による固体電子撮像装置の白バランス調整システムは，被写体を撮像し，被写体像を表すカラー画像データを出力するメイン固体電子撮像装置，被写体を撮像し，被写体像を表すカラー画像データを出力する１または複数のサブ固体電子撮像装置，上記メイン固体電子撮像装置から出力したカラー画像データおよび上記サブ固体電子撮像装置から出力したカラー画像データを白バランス調整する白バランス調整手段，上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて，上記メイン固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを決定する第１のゲイン決定手段，上記１または複数のサブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定するか，あるいは上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定するかを，上記１または複数のサブ固体電子撮像装置ごとに判定する判定手段，上記判定手段によって，上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて決定し，上記白バランス調整手段のゲインを，上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，その上記サブ固体電子撮像装置から出力するカラー画像データにもとづいて決定する第２の決定手段，ならびに上記第１の決定手段によって決定されたゲインまたは上記第２の決定手段によって決定されたゲインを用いて，入力するカラー画像データについて白バランス調整するように上記白バランス調整手段を制御する制御手段を備えていることを特徴とする。

この発明は，上記固体電子撮像装置の白バランス調整システムに適した動作制御方法も提供している。すなわち，この方法は，メイン固体電子撮像装置が，被写体を撮像し，被写体像を表すカラー画像データを出力し，１または複数のサブ固体電子撮像装置が，被写体を撮像し，被写体像を表すカラー画像データを出力し，白バランス調整手段が，上記メイン固体電子撮像装置から出力したカラー画像データおよび上記サブ固体電子撮像装置から出力したカラー画像データを白バランス調整し，第１のゲイン決定手段が，上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて，上記メイン固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを決定し，判定手段が，上記１または複数のサブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定するか，あるいは上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定するかを，上記１または複数のサブ固体電子撮像装置ごとに判定し，第２の決定手段が，上記判定手段によって，上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて決定し，上記白バランス調整手段のゲインを，上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，その上記サブ固体電子撮像装置から出力するカラー画像データにもとづいて決定し，制御手段が，上記第１の決定手段によって決定されたゲインまたは上記第２の決定手段によって決定されたゲインを用いて，入力するカラー画像データについて白バランス調整するように上記白バランス調整手段を制御するものである。

この発明によると，メイン固体電子撮像装置と，１または複数のサブ固体電子撮像装置とが設けられている。メイン固体電子撮像装置から出力するカラー画像データの白バランス調整手段のゲインについては，メイン固体電子撮像装置から出力したカラー画像データにもとづいて決定される。１または複数のサブ固体電子撮像装置から出力するカラー画像データの白バランス調整手段のゲインについては，メイン固体電子撮像装置から出力するカラー画像データにもとづいて決定するか，サブ固体電子撮像装置から出力するカラー画像データにもとづいて決定するかが，サブ固体電子撮像装置ごとに判定される。白バランス調整手段のゲインを，メイン固体電子撮像装置から出力するカラー画像データにもとづいて決定すると判定されたサブ固体電子撮像装置については，メイン固体電子撮像装置から出力されたカラー画像データにもとづいて，そのゲインが決定される。白バランス調整手段のゲインを，サブ固体電子撮像装置から出力するカラー画像データにもとづいて決定すると判定されたサブ固体電子撮像装置については，サブ固体電子撮像装置から出力されるカラー画像データにもとづいて，そのゲインが決定される。複数の固体電子撮像装置から出力されるすべての画像データについて適切な白バランス調整ができるようになる。メイン固体電子撮像装置とサブ固体電子撮像装置とは単に白バランス調整のための基準をどちらにするかという点で名称が付与されているものであり，複数の固体電子撮像装置のうちいずれの固体電子撮像装置であってもメインまたはサブ固体電子撮像装置としてもよい。また複数の固体電子撮像装置が設けられている撮像装置は，３Ｄ撮影や，固体電子撮像装置ごとにテレ撮影，ワイド撮影などのように焦点距離を変えて撮影するものに利用できる。

上記判定手段は，たとえば，あらかじめ定められている設定状況にもとづいて，上記１または複数のサブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定するか，あるいは上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定するかを，上記１または複数のサブ固体電子撮像装置ごとに判定するものである。

上記メイン固体電子撮像装置および上記サブ固体電子撮像装置のそれぞれに撮像レンズが設けられている場合には，上記固体電子撮像装置に設けられている撮像レンズの焦点距離と上記サブ固体電子撮像装置に設けられている撮像レンズの焦点距離との差を算出する焦点距離差算出手段をさらに備えることが好ましい。

この場合，上記判定手段は，たとえば，上記焦点距離差算出手段によって算出された焦点距離差が所定のしきい値よりも大きい場合に，上記サブ固体電子撮像装置から出力するカラー画像データを用いて上記白バランス調整手段のゲインを決定し，上記焦点距離差算出手段によって算出された焦点距離差が所定のしきい値以下の場合に，上記メイン固体電子撮像装置から出力するカラー画像データを用いて上記白バランス調整手段のゲインを決定するものである。

フリッカが生じる光源下での撮影かどうかを判定する撮影判定手段，および上記撮影判定手段によりフリッカが生じる光源下での撮影であると判定されたことに応じて，上記メイン固体電子撮像装置のシャッタ速度がしきい値よりも速いかどうかを判定する第１のシャッタ速度判定手段をさらに備えてもよい。この場合，上記判定手段は，たとえば，上記第１のシャッタ速度判定手段によって，上記メイン固体電子撮像装置のシャッタ速度がしきい値よりも速いと判定されたことに応じて，上記１または複数のサブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定するものである。

上記第１のシャッタ速度判定手段によって，上記メイン固体電子撮像装置のシャッタ速度がしきい値以下であると判定されたことに応じて，上記１または複数のサブ固体電子撮像装置のそれぞれのシャッタ速度が上記しきい値以下どうかを判定する第２のシャッタ速度判定手段をさらに備えてもよい。この場合，上記判定手段は，たとえば，上記第２のシャッタ速度判定手段によってシャッタ速度が上記しきい値以下と判定された上記サブ固体電子撮像装置については，上記メイン固体電子撮像装置から出力するカラー画像データを用いて上記白バランス調整手段のゲインを決定し，上記第２のシャッタ速度判定手段によってシャッタ速度が上記しきい値よりも速いと判定された上記サブ固体電子撮像装置については，上記サブ固体電子撮像装置から出力するカラー画像データを用いて上記白バランス調整手段のゲインを決定するものである。

ディジタル・スチル・カメラの電気的構成を示すブロック図である。 白バランス・ゲインの算出処理手順を示すフローチャートである。 白バランス・ゲインの算出処理手順を示すフローチャートである。 白バランス・ゲインの算出処理手順を示すフローチャートである。 白バランス・ゲインの算出処理手順を示すフローチャートである。

図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。

ディジタル・スチル・カメラの全体の動作は，ＣＰＵ10によって統括される。

ディジタル・スチル・カメラには，シャッタ・レリーズ・ボタン，撮像モード，再生モードなどのモードを設定するモード設定ボタンなどの各種ボタン類を含む操作装置31が含まれている。操作装置31から出力される操作信号は，ＣＰＵ10に入力する。また，ディジタル・スチル・カメラには，ＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）40，ＲＡＭ41，フラッシュ・メモリ42，および動作プログラム，所定のデータなどが格納されているＲＯＭ（リード・オンリ・メモリ）43も含まれている。

この実施例によるディジタル・スチル・カメラには，１つのメイン固体電子撮像装置とｎ（ｎは１または複数）個のサブ固体電子撮像装置２〜ｎが含まれている。ディジタル・スチル・カメラは，たとえば，３Ｄカメラであるために複数の固体電子撮像装置が含まれている。

メイン固体電子撮像装置１には，ＣＣＤ制御回路18によって動作が制御されるＣＣＤ17が含まれている。ＣＣＤの前方には，フォーカス・レンズおよびズーム・レンズ（フォーカス／ズーム・レンズ，撮像レンズ）11，絞り13および機械シャッタ15が設けられている。フォーカス／ズーム・レンズ11は，レンズ駆動回路12によって位置決めされる。絞り13は，絞り駆動回路14によって絞り値が決定される。また，機械シャッタ15のシャッタ速度はシャッタ制御回路16によって制御される。

撮像モードが設定されると，ＣＣＤ17によって被写体が撮像される。被写体を撮像することにより，ＣＣＤ17から被写体像を表すカラー映像信号が出力される。ＣＣＤ17から出力されたカラー映像信号は，アナログ信号処理回路19において所定のアナログ信号処理が行われる。アナログ信号処理回路19から出力されたカラー映像信号は，アナログ／ディジタル変換回路20においてディジタル・カラー画像データに変換される。

ディジタル・カラー画像データは，画像入力コントローラ21を介してＡＦ検出回路38およびＡＥ検出回路39に入力する。ＡＦ検出回路38において，入力したカラー画像データにもとづいて合焦の程度を表す合焦値が検出される。検出された合焦値にもとづいて，被写体像がＣＣＤ17の撮像面上に合焦するようにフォーカス／ズーム・レンズ11がレンズ駆動回路12によって位置決めされる。また，ＡＥ検出回路39において，入力したカラー画像データにもとづいて露光値が検出される。検出された露光値にもとづいて適正な露光量となるように，絞り13および機械シャッタ15が絞り駆動回路14およびシャッタ駆動回路16によってそれぞれ駆動させられる。

自動白バランス・ゲイン演算回路44において，白バランスのゲインが演算される。演算されたゲインを表すデータはディジタル信号処理回路38に入力し，ディジタル信号処理回路38において，演算されたゲインで白バランス調整が行われる。白バランス調整されたカラー画像データが表示制御回路32の制御のもとに液晶表示装置33に表示される。すると，メイン固体電子撮像装置１によって撮像された被写体像が液晶表示装置33上に表示される。

シャッタ・レリーズ・ボタンが押されると，上述のようにして得られたカラー画像データは圧縮／伸張処理回路36に入力する。圧縮／伸張処理回路36において圧縮されたカラー画像データが記録制御装置34によってメモリ・カード35に記録される。

再生モードが設定されると，メモリ・カード35に記録されている画像データが読み取られて再生されるが，その処理については省略する。

ｎ個のサブ固体電子撮像装置２〜ｎのそれぞれもメイン固体電子撮像装置１と同じ構成である。メイン固体電子撮像装置１と同様にｎ個のサブ固体電子撮像装置２〜ｎのそれぞれにおいても被写体が撮像され，カラー画像データが得られる。サブ固体電子撮像装置２〜ｎにおいても上述したように，白バランス調整のためのゲインが演算され，演算されたゲインで白バランス調整が行われる。

この実施例においては，メイン固体電子撮像装置１から出力される画像データについては，その画像データを用いて自動白バランス・ゲイン演算回路44において，どのような光源下で撮影されているかが推定され，推定された光源に応じた白バランスのゲインが演算される。サブ固体電子撮像装置２〜ｎについては，メイン固体電子撮像装置１またはサブ固体電子撮像装置２〜ｎのどちらから出力される画像データを用いてどの様な光源下で撮影されているかを推定するかが判定される。このようにサブ固体電子撮像装置２〜ｎについて，メイン固体電子撮像装置１またはサブ固体電子撮像装置２〜ｎのどちらから出力される画像データを用いて白バランスのゲインを演算するかを判定する回路が白バランス制御判定回路45である。

図２は，白バランス・ゲイン算出処理手順を示すフローチャートである。

上述したように，メイン固体電子撮像装置１において被写体像が撮像され，被写体像を表すカラー画像データが自動白バランス演算回路44に入力する。入力したカラー画像データにもとづいて，メイン固体電子撮像装置１が撮像している被写体像がどの様な光源下にあるか，その光源が推定される（ステップ51）。様々な光源ごとにあらかじめ被写体を撮像し，得られるカラー画像データの分布を記憶し，そのカラー画像データの分布とメイン固体電子撮像装置１から出力された画像データの分布とから光源を推定できる。メイン固体電子撮像装置１から出力される画像データについて適切な白バランス調整が行われるように，推定した光源に応じた白バランス・ゲインが自動白バランス演算回路44において算出される（ステップ52）。光源を推定した後に白バランス・ゲインを演算しているが，光源を推定することなく白バランス・ゲインを演算するようにしてもよい。

つづいて，変数Ｎがリセットされ（ステップ53），すべてのサブ固体電子撮像装置２〜ｎについて白バランス・ゲインが算出されると（変数Ｎがすべてのサブ固体電子撮像装置２〜ｎの数となると）（ステップ54でＹＥＳ），算出されたそれぞれの白バランス・ゲインで，メイン固体電子撮像装置１およびサブ固体電子撮像装置２〜ｎのそれぞれから出力されたカラー画像データが白バランス調整される（ステップ60）。

すべての固体電子撮像装置２〜ｎについての白バランス・ゲインが算出されていなければ（ステップ54でＮＯ），Ｎ番目のサブ固体電子撮像装置から出力されたカラー画像データの白バランス・ゲインはメイン固体電子撮像装置１から出力されたカラー画像データにもとづいて算出するように設定されているかどうかが判定される（ステップ55）。操作装置31を用いてあらかじめ設定されているのはいうまでもない。

Ｎ番目のサブ固体電子撮像装置から出力されたカラー画像データの白バランス・ゲインがメイン固体電子撮像装置１から出力されたカラー画像データにもとづいて算出するように設定されていると（ステップ55でＹＥＳ），上述のように，メイン固体電子撮像装置１から出力された画像データから推定した光源に応じた自動白バランスが算出される（ステップ56）。このようにして算出された白バランス・ゲインが，Ｎ番目のサブ固体電子撮像装置から出力されたカラー画像データの白バランス・ゲインとされる。

Ｎ番目のサブ固体電子撮像装置から出力されたカラー画像データの白バランス・ゲインがメイン固体電子撮像装置１から出力されたカラー画像データにもとづいて算出するように設定されていないと（ステップ55でＮＯ），そのＮ番目のサブ固体電子撮像装置から出力されたカラー画像データから，Ｎ番目のサブ固体電子撮像装置が撮像されている被写体を照射している光源が推定される（ステップ57）。推定した光源に応じた白バランス・ゲインが算出される（ステップ58）。

このようにしてサブ固体電子撮像装置から出力されるカラー画像データについての白バランス・ゲインが算出されると，変数Ｎがインクレメントされ（ステップ59），次のサブ固体電子撮像装置から出力されるカラー画像データについての白バランス・ゲインが算出される。

サブ固体電子撮像装置２〜ｎのそれぞれから出力されたカラー画像データについての白バランス・ゲインの算出を，メイン固体電子撮像装置１から出力されたカラー画像データにもとづいて行うか，サブ固体電子撮像装置２〜ｎのそれぞれから出力されたカラー画像データにもとづいて行うかを設定に応じて決定できるようになる。

図３は，他の実施例を示すもので，白バランス・ゲインの算出処理手順を示すフローチャートである。この図において，図２に示す処理と同一の処理については同一符号を付して説明を省略する。

上述した実施例においては，サブ固体電子撮像装置２〜ｎのそれぞれから出力されたカラー画像データについての白バランス・ゲインの算出を，メイン固体電子撮像装置１から出力されたカラー画像データにもとづいて行うか，サブ固体電子撮像装置２〜ｎのそれぞれから出力されたカラー画像データにもとづいて行うかを設定に応じて決定しているが，この実施例では，フォーカス／ズーム・レンズ11の焦点距離を利用している。

すべての固体電子撮像装置２〜ｎについての白バランス・ゲインが算出されていなければ（ステップ54でＮＯ），メイン固体電子撮像装置１のフォーカス／ズーム・レンズ11の焦点距離fmainとサブ固体電子撮像装置のフォーカス／ズーム・レンズ11の焦点距離fsubNとの焦点距離差ΔfNが算出される（ステップ61）。

焦点距離差ΔfNが所定のしきい値fth以下であると（ステップ62でＹＥＳ），メイン固体電子撮像装置１の画角とサブ固体電子撮像装置２〜ｎの画角とはあまり変わらないと考えられる。メイン固体電子撮像装置１から出力される画像データに対する光源の影響とサブ固体電子撮像装置２〜ｎから出力される画像データに対する光源の影響とはほとんど同じとなる。このために，サブ固体電子撮像装置２〜ｎから出力した画像データの白バランス・ゲインは，メイン固体電子撮像装置１から出力された画像データから推定した光源に応じた自動白バランス・ゲインとなる（ステップ56）。

焦点距離差ΔfNが所定のしきい値fthより大きいと（ステップ62でＮＯ），メイン固体電子撮像装置１とサブ固体電子撮像装置２〜ｎとのうち，一方が遠い被写体を撮像し，他方が近い被写体を撮像しているように，撮像装置の画角が変わってしまう。メイン固体電子撮像装置１から出力される画像データに対する光源の影響とサブ固体電子撮像装置２〜ｎから出力される画像データに対する光源の影響とが無視できない程度に異なる。このために，Ｎ番目のサブ固体電子撮像装置から出力した画像データの白バランス・ゲインは，そのＮ番目のサブ固体電子撮像装置から出力された画像データから推定した光源に応じた自動白バランス・ゲインとなる（ステップ57，58）。たとえば，メイン固体電子撮像装置１のフォーカス／ズーム・レンズ11がワイド端で夜景撮影で，Ｎ番目のサブ固体電子撮像装置のフォーカス／ズーム・レンズ11がテレ端で撮影範囲のほとんどが人物の顔であった場合には，Ｎ番目のサブ固体電子撮像装置から出力される画像データについてはＮ番目のサブ固体電子撮像装置から出力される画像データにもとづいて白バランス・ゲインが決定されるので，適切な白バランス・ゲインとなる。

上述の実施例において，所定のしきい値fthはディジタル・スチル・カメラの設計時にパラメータとして与えられ，焦点距離は，たとえば，35mm換算で算出し，焦点距離差が正確に算出できるようにするのはいうまでもない。

図４および図５は，さらに他の実施例を示すもので，白バランス・ゲインの算出処理手順を示すフローチャートである。この図においても図２に示す処理と同一の処理については同一符号を付して説明を省略する。

この実施例においては，推定された光源がフリッカの無いものか，シャッタ速度の速さなどにもとづいて，サブ固体電子撮像装置２〜ｎのそれぞれから出力されたカラー画像データについての白バランス・ゲインの算出を，メイン固体電子撮像装置１から出力されたカラー画像データにもとづいて行うか，サブ固体電子撮像装置２〜ｎのそれぞれから出力されたカラー画像データにもとづいて行うかが決定される。

メイン固体電子撮像装置１から出力された画像データから光源が推定され（ステップ51），推定した光源に応じて白バランス・ゲインが算出されると（ステップ52），推定された光源がフリッカの無い光源かどうかが判定される（ステップ63）。

フリッカの無い光源であれば（ステップ63でＹＥＳ），すべてのサブ固体電子撮像装置２〜ｎの白バランス・ゲインが算出される（ステップ64）。フリッカのある光源下での撮影であれば，フリッカの周期よりも早いシャッタ速度で撮影すると撮影により得られた画像はフリッカの影響を受けてしまうが，フリッカの無い光源下での撮影であれば，フリッカの影響を考慮する必要が無いから，フリッカを考慮せずにサブ固体電子撮像装置２〜ｎの白バランス・ゲインが算出される。サブ固体電子撮像装置２〜ｎの白バランス・ゲインは，メイン固体電子撮像装置から出力された画像データから推定された光源に応じたものに決定してもよいし，サブ固体電子撮像装置２〜ｎから出力された画像データから光源を推定し，その推定された光源に応じたものに決定してもよい。

フリッカのある光源であれば（ステップ63でＮＯ），メイン固体電子撮像装置１のシャッタ速度Tvmainが所定のしきい値Tvth（たとえば，1/60秒）以下であるかどうかが判定される（ステップ65）。メイン固体電子撮像装置１のシャッタ速度Tvmainが所定のしきい値Tvth以下（メイン固体電子撮像装置１のシャッタ速度Tvmainが所定のしきい値Tvthよりも遅い）であれば（ステップ65でＹＥＳ），メイン固体電子撮像装置１から出力された画像データはフリッカの影響を受けていないと考えられる。Ｎ番目のサブ固体電子撮像装置１のシャッタ速度Tvsubが所定のしきい値Tvth以下であるかどうかが判定される（ステップ67）。

Ｎ番目のサブ固体電子撮像装置１のシャッタ速度Tvsubが所定のしきい値Tvth以下であれば（ステップ67でＹＥＳ），Ｎ番目のサブ固体電子撮像装置１から出力された画像データはメイン固体電子撮像装置１から出力された画像データと同様にフリッカの影響を受けていないと考えられるので，メイン固体電子撮像装置１から出力された画像データによって推定された光源に応じた白バランス・ゲインに算出される（ステップ56）。

Ｎ番目のサブ固体電子撮像装置１のシャッタ速度Tvsubが所定のしきい値Tvthより大きければ（Ｎ番目のサブ固体電子撮像装置１のシャッタ速度Tvsubが所定のしきい値Tvthより速ければ）（ステップ67でＮＯ）,Ｎ番目のサブ固体電子撮像装置１から出力された画像データはフリッカの影響を受けていると考えられる。このために，Ｎ番目のサブ固体電子撮像装置から出力された画像データから，影響を受けている光源が推定される（ステップ57）。推定された光源に応じた白バランス・ゲインが算出される（ステップ58）。

メイン固体電子撮像装置１のシャッタ速度Tvmainが所定のしきい値Tvthより大きい（メイン固体電子撮像装置１のシャッタ速度Tvmainが所定のしきい値Tvthよりも速い）であれば（ステップ65でＮＯ），メイン固体電子撮像装置１から出力された画像データにもとづいて推定された光源に応じて決定される白バランス・ゲインの精度は信頼できないものと考えられる。すべてのサブ固体電子撮像装置２〜ｎにおいて，サブ固体電子撮像装置２〜ｎから出力された画像データから光源が推定され，推定された光源に応じた白バランス・ゲインが算出される（ステップ66）。

１ メイン固体電子撮像装置
２〜ｎ サブ固体電子撮像装置
10 ＣＰＵ（制御手段）
37 ディジタル信号処理回路（白バランス調整手段）
44 自動白バランス演算回路（第１のゲイン決定手段，第２のゲイン決定手段）
45 白バランス制御判定回路（判定手段）

Claims (5)

1. 被写体を撮像し，被写体像を表すカラー画像データを出力するメイン固体電子撮像装置，
   被写体を撮像し，被写体像を表すカラー画像データを出力する１または複数のサブ固体電子撮像装置，
   上記メイン固体電子撮像装置から出力したカラー画像データおよび上記サブ固体電子撮像装置から出力したカラー画像データを白バランス調整する白バランス調整手段，
   上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて，上記メイン固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを決定する第１の決定手段，
   上記１または複数のサブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定するか，あるいは上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定するかを，上記１または複数のサブ固体電子撮像装置ごとに判定する判定手段，
   上記判定手段によって，上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて決定し，上記白バランス調整手段のゲインを，上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，その上記サブ固体電子撮像装置から出力するカラー画像データにもとづいて決定する第２の決定手段，ならびに
   上記第１の決定手段によって決定されたゲインまたは上記第２の決定手段によって決定されたゲインを用いて，入力するカラー画像データについて白バランス調整するように上記白バランス調整手段を制御する制御手段，
   を備えた固体電子撮像装置の白バランス調整システムにおいて，
   上記メイン固体電子撮像装置および上記サブ固体電子撮像装置のそれぞれに撮像レンズが設けられており，
   上記メイン固体電子撮像装置に設けられている撮像レンズの焦点距離と上記サブ固体電子撮像装置に設けられている撮像レンズの焦点距離との差を算出する焦点距離差算出手段をさらに備え，
   上記判定手段は，
   上記焦点距離差算出手段によって算出された焦点距離差が所定のしきい値よりも大きい場合に，上記サブ固体電子撮像装置から出力するカラー画像データを用いて上記白バランス調整手段のゲインを決定し，上記焦点距離差算出手段によって算出された焦点距離差が所定のしきい値以下の場合に，上記メイン固体電子撮像装置から出力するカラー画像データを用いて上記白バランス調整手段のゲインを決定するものである，
   固体電子撮像装置の白バランス調整システム。
2. メイン固体電子撮像装置が，被写体を撮像し，被写体像を表すカラー画像データを出力し，
   １または複数のサブ固体電子撮像装置が，被写体を撮像し，被写体像を表すカラー画像データを出力し，
   白バランス調整手段が，上記メイン固体電子撮像装置から出力したカラー画像データおよび上記サブ固体電子撮像装置から出力したカラー画像データを白バランス調整し，
   第１の決定手段が，上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて，上記メイン固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを決定し，
   判定手段が，上記１または複数のサブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定するか，あるいは上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定するかを，上記１または複数のサブ固体電子撮像装置ごとに判定し，
   第２の決定手段が，上記判定手段によって，上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて決定し，上記白バランス調整手段のゲインを，上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，その上記サブ固体電子撮像装置から出力するカラー画像データにもとづいて決定し，
   制御手段が，上記第１の決定手段によって決定されたゲインまたは上記第２の決定手段によって決定されたゲインを用いて，入力するカラー画像データについて白バランス調整するように上記白バランス調整手段を制御する，
   固体電子撮像装置の白バランス調整システムの動作制御方法において，
   上記メイン固体電子撮像装置および上記サブ固体電子撮像装置のそれぞれに撮像レンズが設けられており，
   焦点距離差算出手段が，上記メイン固体電子撮像装置に設けられている撮像レンズの焦点距離と上記サブ固体電子撮像装置に設けられている撮像レンズの焦点距離との差を算出し，
   上記判定手段が，
   上記焦点距離差算出手段によって算出された焦点距離差が所定のしきい値よりも大きい場合に，上記サブ固体電子撮像装置から出力するカラー画像データを用いて上記白バランス調整手段のゲインを決定し，上記焦点距離差算出手段によって算出された焦点距離差が所定のしきい値以下の場合に，上記メイン固体電子撮像装置から出力するカラー画像データを用いて上記白バランス調整手段のゲインを決定する，
   固体電子撮像装置の白バランス調整システムの動作制御方法。
3. 被写体を撮像し，被写体像を表すカラー画像データを出力するメイン固体電子撮像装置，
   被写体を撮像し，被写体像を表すカラー画像データを出力する１または複数のサブ固体電子撮像装置，
   上記メイン固体電子撮像装置から出力したカラー画像データおよび上記サブ固体電子撮像装置から出力したカラー画像データを白バランス調整する白バランス調整手段，
   上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて，上記メイン固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを決定する第１の決定手段，
   上記１または複数のサブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定するか，あるいは上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定するかを，上記１または複数のサブ固体電子撮像装置ごとに判定する判定手段，
   上記判定手段によって，上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて決定し，上記白バランス調整手段のゲインを，上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，その上記サブ固体電子撮像装置から出力するカラー画像データにもとづいて決定する第２の決定手段，ならびに
   上記第１の決定手段によって決定されたゲインまたは上記第２の決定手段によって決定されたゲインを用いて，入力するカラー画像データについて白バランス調整するように上記白バランス調整手段を制御する制御手段，
   を備えた固体電子撮像装置の白バランス調整システムにおいて，
   フリッカが生じる光源下での撮影かどうかを判定する撮影判定手段，
   上記撮影判定手段によりフリッカが生じる光源下での撮影であると判定されたことに応じて，上記メイン固体電子撮像装置のシャッタ速度がしきい値よりも速いかどうかを判定する第１のシャッタ速度判定手段をさらに備え，
   上記判定手段は，
   上記第１のシャッタ速度判定手段によって，上記メイン固体電子撮像装置のシャッタ速度がしきい値よりも速いと判定されたことに応じて，上記１または複数のサブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定するものである，
   固体電子撮像装置の白バランス調整システム。
4. 上記第１のシャッタ速度判定手段によって，上記メイン固体電子撮像装置のシャッタ速度がしきい値以下であると判定されたことに応じて，上記１または複数のサブ固体電子撮像装置のそれぞれのシャッタ速度が上記しきい値以下どうかを判定する第２のシャッタ速度判定手段をさらに備え，
   上記判定手段は，
   上記第２のシャッタ速度判定手段によってシャッタ速度が上記しきい値以下と判定された上記サブ固体電子撮像装置については，上記メイン固体電子撮像装置から出力するカラー画像データを用いて上記白バランス調整手段のゲインを決定し，上記第２のシャッタ速度判定手段によってシャッタ速度が上記しきい値よりも速いと判定された上記サブ固体電子撮像装置については，上記サブ固体電子撮像装置から出力するカラー画像データを用いて上記白バランス調整手段のゲインを決定するものである，
   請求項３に記載の固体電子撮像装置の白バランス調整システム。
5. メイン固体電子撮像装置が，被写体を撮像し，被写体像を表すカラー画像データを出力し，
   １または複数のサブ固体電子撮像装置が，被写体を撮像し，被写体像を表すカラー画像データを出力し，
   白バランス調整手段が，上記メイン固体電子撮像装置から出力したカラー画像データおよび上記サブ固体電子撮像装置から出力したカラー画像データを白バランス調整し，
   第１の決定手段が，上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて，上記メイン固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを決定し，
   判定手段が，上記１または複数のサブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定するか，あるいは上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定するかを，上記１または複数のサブ固体電子撮像装置ごとに判定し，
   第２の決定手段が，上記判定手段によって，上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記メイン固体電子撮像装置から出力するカラー画像データにもとづいて決定し，上記白バランス調整手段のゲインを，上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定すると判定された上記サブ固体電子撮像装置については，その上記サブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，その上記サブ固体電子撮像装置から出力するカラー画像データにもとづいて決定し，
   制御手段が，上記第１の決定手段によって決定されたゲインまたは上記第２の決定手段によって決定されたゲインを用いて，入力するカラー画像データについて白バランス調整するように上記白バランス調整手段を制御する，
   固体電子撮像装置の白バランス調整システムの動作制御方法において，
   撮影判定手段が，フリッカが生じる光源下での撮影かどうかを判定し，
   シャッタ速度判定手段が，上記撮影判定手段によりフリッカが生じる光源下での撮影であると判定されたことに応じて，上記メイン固体電子撮像装置のシャッタ速度がしきい値よりも速いかどうかを判定し，
   上記判定手段が，
   上記シャッタ速度判定手段によって，上記メイン固体電子撮像装置のシャッタ速度がしきい値よりも速いと判定されたことに応じて，上記１または複数のサブ固体電子撮像装置から出力するカラー画像データについての上記白バランス調整手段のゲインを，上記サブ固体電子撮像装置から出力するカラー画像データを用いて決定する，
   固体電子撮像装置の白バランス調整システムの動作制御方法。

Images