JP4158029B2 - ホワイトバランス調整方法および電子カメラ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はホワイトバランス調整方法および電子カメラに係り、動画、静止画に関わらず好ましい画像を再現できるホワイトバランス調整制御技術に関する。
【０００２】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラ等では、撮影シーンや撮影者の嗜好に応じた好適な画像を得るために様々なホワイトバランス調整の制御方法が提案されており、動画、静止画に関わらずホワイトバランス調整を施された画像を得ることができる。
【０００３】
特許文献１に開示された撮影装置では、動画撮影モードと静止画撮影モードとを検出し、静止画撮影にはホワイトバランス補正動作を瞬時に行えるようにホワイトバランス調整値を高く設定し、動画撮影時にはホワイトバランス調整が円滑に行われるように静止画撮影時よりも低いホワイトバランス調整値を設定する。
【０００４】
【特許文献１】
特開平５−１３０６３５号公報
【０００５】
【発明が決しようとする課題】
しかしながら、ＣＣＤ等の撮像素子は動画撮影と静止画撮影とでは、駆動電圧、読み出し速度、間引き出力と全画素出力の違い等により感度が異なり、結果として同じ入射光に対する出力が異なることになる。したがって、動画撮影と静止画撮影とで同じ方法を用いてホワイトバランス調整値を求めると、同じシーンで同じ被写体を撮影したにも関わらず、動画と静止画では再生画像の色味が異なってしまう。
【０００６】
特許文献１に開示された撮影装置では、動画撮影は静止画の連続撮影と同じ機能を持つにも関わらず、連続画像の円滑性重視のために静止画と異なる色再現性を持ってしまい、せっかく静止画で設定した適切な目標値に合わせる補正量を決めても、動画撮影では円滑性重視のために適切な色再現、目標値に合わせた定量的なホワイトバランス設計を行っておらず、撮影シーンによってはホワイトバランスが崩れてしまうことがある。
【０００７】
本発明はこのような事情を鑑みてなされたもので、動画撮影と静止画撮影と同じ色再現を実現し、動画撮影、静止画撮影に関わらず再現画像の安定性や追従性を再現でき、広範囲のホワイトバランス調整が可能なホワイトバランス調整方法および電子カメラを提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するために本発明に係るホワイトバランス調整方法は、撮像手段を介して取得される画像信号から色情報を生成し、該色情報に基づいて算出したホワイトバランス調整値によって色信号を補正するホワイトバランス調整方法であって、動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された前記色情報を生成する工程と、前記補正された色情報から第１のホワイトバランス調整値を算出する工程と、前記算出された第１のホワイトバランス調整値を前記補正係数によって補正して第２のホワイトバランス調整値を求める工程と、前記求めた第２のホワイトバランス調整値に従って色信号を補正する工程と、を含むことを特徴としている。
【０００９】
本発明によれば、動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された前記色情報が生成され、生成された色情報から第１のホワイトバランス調整値を求め、さらに第１のホワイトバランス調整値から第２のホワイトバランス調整値を求め、第２のホワイトバランス調整値に従って色信号を補正するように構成したので、動画でも静止画でも同じ色再現を持った好ましい画像を得ることができる。
【００１０】
静止画を基準として動画のホワイトバランスを補正してもよいし、動画を基準として静止画のホワイトバランスを補正してもよい。
【００１１】
動画撮影時と静止画撮影時との画像信号の出力差は、撮像手段に含まれる撮像素子の感度差、黒レベル設定の差などに起因する。
【００１２】
撮像手段からＲＧＢのカラー画像信号が出力される場合に、色情報は、例えば、ＲＧＢの積算値（単位画素あたり）、Ｒ信号とＧ信号の比Ｒ／ＧおよびＢ信号とＧ信号の比Ｂ／Ｇを含んでいる。
【００１３】
ホワイトバランス調整値には色バランスの目標値を実現するゲイン値が含まれている。
【００１４】
本発明の一態様として、前記補正係数は、動画撮影時と静止画撮影時との感度比を表すものであることを特徴としている。
【００１５】
静止画撮影時の出力に対する動画撮影時の出力をＡとするときに、動画の画像信号から色情報を算出するときには、動画の画像信号に１／Ａを乗算（Ａで除算）して色情報を求め、該色情報から算出した第１のホワイトバランス調整値に対して１／Ａを乗算して最終的な第２のホワイトバランス調整値を算出する。
【００１６】
また、感度比は色信号（ＲＢＧ）ごとに異なることがあり、感度比による補正は色信号ごとに行うとよい。
【００１７】
本発明の他の態様として、前記色情報を生成する工程は、色信号の積算値を算出する工程と、前記積算値に前記補正係数を乗算する工程と、を含むことを特徴としている。
【００１８】
積算値には積算値から求めた平均値を含んでいる。
【００１９】
上記方法発明を具現化する装置を提供すべく、本発明に係る電子カメラは、被写体の光学像を電気信号に変換して被写体像を示す画像信号を出力する撮像手段と、動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された色情報を生成する色情報生成手段と、前記生成された前記色情報から第１のホワイトバランス調整値を算出する第１のホワイトバランス調整値算出手段と、前記算出された第１のホワイトバランス調整値を前記補正係数によって補正して第２のホワイトバランス調整値を求める第２のホワイトバランス調整値算出手段と、前記求めた第２のホワイトバランス調整値に従って色信号を補正するホワイトバランス処理手段と、を備えたことを特徴としている。
【００２０】
本発明の電子カメラにおいて、表示手段を付加し、ホワイトバランス調整の結果、得られる画像を前記表示手段に表示し、また、得られた画像を記録する記録手段を備える態様が好ましい。さらに、撮影者が画角確認するスルー画を表示手段に表示させる際にも本発明を適用可能である。
【００２１】
本発明の一態様によれば、前記補正係数は、動画撮影時と静止画撮影時との感度比を表すものであることを特徴としている。
【００２２】
また、前記色情報生成手段は、前記撮像手段から得られる画像信号から色情報を算出する色情報算出手段と、動画撮影時に前記撮像手段から得られた画像信号から算出された色情報に対して前記補正係数を用いて補正を施す色情報補正手段と、を含む態様も好ましい。また、前記撮像手段の静止画撮影における感度と動画撮影における感度との比を用いて補正色情報を算出する色情報補正手段を備えたことを特徴としている。
【００２３】
本発明の他の態様によれば、ホワイトバランス調整の度合いを示す順応率を設定する順応率設定手段と、前記順応率設定手段により設定された順応率に従ってホワイトバランス処理の制御を行うホワイトバランス制御手段と、を備えたことを特徴としている。
【００２４】
かかる態様によれば、ホワイトバランス調整の度合いを示す順応率を用いて撮影シーンの色味を残すようなホワイトバランス処理を行った場合にも、動画と静止画と同じ色再現を実現できる。
【００２５】
順応率は光源の雰囲気を残す度合いを示すものであり、予め所定の値が設定されていてもよいし、利用者が所定のユーザインターフェースや操作手段を通じて可変設定できる構成でもよい。順応率は無補正（順応率０％）から完全補正（順応率１００％）の間に少なくとも１つ設定できればよい。また、完全補正を順応率１００未満にしてもよい。
【００２６】
利用者が順応率を設定する態様では、順応率を表示する表示手段を備えると、撮影者が順応率を設定する手助けになる。
【００２７】
また、前記目的を達成するために本発明に係る電子カメラは、被写体の光学像を電気信号に変換して被写体像を示す画像信号を出力する撮像手段と、前記撮像手段から出力される画像信号から色情報を生成する色情報生成手段と、動画撮影時に前記撮像装置から得られた画像信号に基づいて前記色情報生成手段で生成された色情報に対して動画撮影時と静止画撮影時との感度比で表される補正係数を乗じて補正を行う色情報補正手段と、静止画撮影時に前記撮像装置から得られた画像信号に基づいて前記色情報生成手段で生成された色情報からホワイトバランス調整値を求め、動画撮影時には前記色情報補正手段によって補正された色情報からホワイトバランス調整値を求めるホワイトバランス調整値算出手段と、動画撮影時に前記色情報補正手段によって補正された色情報から求められた前記ホワイトバランス調整値に前記補正係数を乗じて補正を行うホワイトバランス調整値補正手段と、静止画撮影時には前記ホワイトバランス調整値算出手段で算出されたホワイトバランス調整値に従って色信号を補正し、動画撮影時には前記ホワイトバランス調整値補正手段によって補正されたホワイトバランス調整値に従って色信号を補正するホワイトバランス処理手段と、を備えたことを特徴としている。
【００２８】
本発明によれば、静止画撮影時には画像信号から生成された色情報からホワイトバランス調整値を求め、該ホワイトバランス調整値に従って色補正を行い、動画撮影時には前記色情報に動画撮影時と静止画撮影時との感度比で表される補正係数を乗じて補正を行い、補正された色情報からホワイトバランス調整値を求め、さらに、該ホワイトバランス調整値に前記感度比を乗じて補正したホワイトバランス調整値にしたがってホワイトバランス処理を行うよう構成したので、好ましい色再現設計をされた静止画撮影のホワイトバランスアルゴリズムを利用して、動画撮影時のホワイトバランス処理を行い、動画に対しても静止画同様の安定性、追従性を再現でき、広範囲のホワイトバランスをとることができる。
【００２９】
前記色情報および前記ホワイトバランス調整値を補正する形態には、前記補正係数を乗じる形態の他に、補正係数（補正値）を加算あるいは減算する形態を適用してもよい。
【００３０】
【発明の実施の形態】
以下添付図面に従って本発明に係るホワイトバランス調整方法および電子カメラの好ましい実施の形態について詳説する。
【００３１】
図１は本実施形態に係るデジタルカメラのブロック図である。カメラ１の撮影レンズ１０は、単焦点レンズでもよいし、ズームレンズ等の焦点距離可変のものでもよい。撮影レンズ１０および絞り１２を通過した光はＣＣＤ固体撮像素子（以下ＣＣＤと記載）１４に入射する。ＣＣＤの受光面には多数のフォトセンサ（受光素子）が二次元的に配列され、各フォトセンサに対応して赤（Ｒ），緑（Ｇ），青（Ｂ）の原色カラーフィルタが所定の配列形態で配置されている。ＣＣＤ１４は単板式ＣＣＤを例示したが、３板式ＣＣＤでもよい。
【００３２】
ＣＣＤ１４の受光面に結像された被写体像は、ＣＣＤ１４上の各センサで光の入射光量に応じた量の信号電荷に変換される。
【００３３】
このようにして蓄積された信号電荷は、ＣＣＤ駆動回路１６から加えられるリードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって信号電荷に応じた電圧信号として順次読み出される。このＣＣＤ１４は、蓄積した信号電荷をシャッターゲートパルスによって掃き出すことができ、これにより電荷の蓄積時間（シャッタースピード）を制御する、いわゆる電子シャッター機能を有している。
【００３４】
ＣＣＤ１４から順次読み出された電圧信号（画像信号）は、相関二重サンプリング回路（ＣＤＳ回路）１８に加えられ、ここで各受光素子（画素）ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、Ａ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、ＣＤＳ回路１８から順次加えられるＲ、Ｇ、Ｂ信号をデジタル信号に変換して出力する。ＣＣＤ駆動回路１６、ＣＤＳ回路１８およびＡ／Ｄ変換器２０は、タイミング発生回路２２から加えられるタイミング信号によって同期して駆動されるようになっている。
【００３５】
Ａ／Ｄ変換器２０から出力されたＲ、Ｇ、Ｂ信号は、一旦メモリ２４に格納され、その後、メモリ２４に格納されたＲ、Ｇ、Ｂ信号は、デジタル信号処理回路２６に加えられる。デジタル信号処理回路２６は、同時化回路２８、ホワイトバランス調整回路３０、ガンマ補正回路３２、輝度・色差信号（ＹＣ信号）作成回路３４、およびメモリ３６から構成されている。
【００３６】
同時化回路２８は、メモリ２４から読み出された点順次のＲ、Ｇ、Ｂ信号を同時式に変換し、Ｒ、Ｇ、Ｂ信号を同時にホワイトバランス調整回路３０に出力する。ホワイトバランス調整回路３０は、Ｒ、Ｇ、Ｂ信号のデジタル値をそれぞれ増減するための乗算器３０Ｒ、３０Ｇ、３０Ｂから構成されており、Ｒ、Ｇ、Ｂ信号は、それぞれ乗算器３０Ｒ、３０Ｇ、３０Ｂに加えられる。
【００３７】
乗算器３０Ｒ、３０Ｇ、３０Ｂの他の入力には、中央処理装置（ＣＰＵ）３８からホワイトバランス制御するためのホワイトバランス調整値（ゲイン値）Ｒｇ、Ｇｇ、Ｂｇが加えられており、乗算器３０Ｒ、３０Ｇ、３０Ｂはそれぞれ２入力を乗算し、この乗算によってホワイトバランス調整されたＲ’、Ｇ’、Ｂ’信号をガンマ補正回路３２に出力する。ＣＰＵ３８からホワイトバランス調整回路３０に加えられるホワイトバランス調整値Ｒｇ、Ｇｇ、Ｂｇの詳細については後述する。ここで、ＣＰＵ３８には、ＣＰＵに画像処理プロセッサーやその他周辺回路を含んだマイクロコンピュータおよび画像処理や音声処理を高速で行うＤＳＰ等を含んでいる。また、ＣＰＵは用途に応じて複数個備えてもよい。
【００３８】
ガンマ補正回路３２は、ホワイトバランス調整されたＲ’、Ｇ’、Ｂ’信号が所望のガンマ特性となるように入出力特性を変更し、ＹＣ信号作成回路３４に出力する。ＹＣ信号作成回路３４は、ガンマ補正されたＲ、Ｇ、Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂとを作成する。これらの輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）は、メモリ２４と同じメモリ空間のメモリ３６に格納される。
【００３９】
ここで、メモリ３６内のＹＣ信号を読み出し、液晶モニタ５２に出力することにより、動画または静止画を液晶モニタ５２に表示させることができる。また、シャッターボタン全押し（Ｓ２オン）に応動して撮影され、メモリ３６に格納されたＹＣ信号は、圧縮／伸張回路５４によってＪＰＥＧなど所定のフォーマットに従って圧縮された後、メモリカード５６その他の記録媒体に記録される。
【００４０】
画像データを保存する手段（記録部）としての記録媒体としては、xD-Picture Card （商標）、メモリスティック（商標）、ＰＣカード、コンパクトフラッシュ、磁気ディスク、光ディスク、光磁気ディスクなどを適用でき、電子的、磁気的、若しくは光学的、またはこれらの組み合わせによる方式に従って読み書き可能な種々の媒体を用いることができる。使用される媒体に応じた信号処理手段とインターフェースが適用される。異種、同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像を保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラ１に内蔵された記録媒体（内部メモリ）であってもよい。
【００４１】
再生モード時には、メモリカード５６に記録されている画像データが読み出され、圧縮／伸張回路５４によって伸張処理された後、液晶モニタ５２に出力される。こうして、液晶モニタ５２に再生画像が表示される。
【００４２】
ＣＰＵ３８は、カメラ操作部４０からの入力に基づいて各回路を統括制御するとともに、オートフォーカス（ＡＦ）、自動露出制御（ＡＥ）、オートホワイトバランス（ＡＷＢ）等の制御を行う。
【００４３】
カメラ操作部４０には、多機能の十字キー、メニュー／実行キー、キャンセル／戻るキー、表示／ＯＫキー、モード切替レバー、モードダイヤルが設けられている（図１には不図示）。
【００４４】
十字キーは、上下左右の４方向の指示を入力し得る操作キーであり、液晶モニタ５２に表示されるメニュー画面における各種設定項目の選択や設定内容の変更を指示する手段（カーソル移動手段）として使用されるとともに、電子ズームの倍率調整や再生コマの送り／戻しを指示する手段として用いられる。
【００４５】
メニュー／実行キーは、メニュー画面の表示を指示するメニューボタンとしての機能と、選択内容の確定および実行など指令するＯＫボタンとしての機能とを兼備した操作キーである。例えば、セットアップモードが選択されると、液晶モニタ５２上にセットアップ画面が表示される。セットアップ画面においては、記録画素数（画像サイズ）、記録画質（圧縮率）、立ち上げ時の液晶モニタ５２のＯＮ／ＯＦＦ選択、オートパワーオフ時間、オープニング画面の表示設定、日時設定、ホワイトバランスモードの設定などの各種設定項目が表示される。ユーザは十字キーを操作して、セットアップ画面から変更したい項目を選択したり、設定内容を変更したりしてから、メニュー／実行キーを押して指示の確定を行う。
【００４６】
キャンセル／戻るキーは、メニューから選んだ項目の取消（キャンセル）や一つ前の操作状態に戻る時などに使用される。表示／ＯＫキーは、液晶モニタ５２をＯＮ／ＯＦＦ操作したり、再生方法や再生中のコマ番号等の表示／非表示を切り替えたりするための操作手段である。
【００４７】
モード切替レバーは、「静止画撮影モード」、「動画撮影モード」と「再生モード」とを切り替えるための操作部である。また、カメラ上面に配設されているモードダイヤル（不図示）を回転させることにより、セットアップモード、連写／ブラケティングモード、マニュアル撮影モード、オート撮影モード、人物撮影モード、風景撮影モード、および夜景撮影モードのうち何れか１のモードを選択できるようになっている。ただし、モード切替レバーによって動画撮影モードが選択されている場合には、モードダイヤルをマニュアルモードおよびオート撮影モード以外に設定しても、すべてオート撮影モードの制御が行われる。
【００４８】
モードダイヤルの中央部には、シャッターボタンが設けられている。シャッターボタンは、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。シャッターボタンの半押し（Ｓ１オン）によって自動ピント合わせ（ＡＦ）および自動露出制御（ＡＥ）が作動してＡＦとＡＥをロックし、半押しから更に押し込む全押し（Ｓ２オン）の状態で撮影（記録用の撮影動作）が実行される。
【００４９】
液晶モニタ５２は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、撮影した画像のプレビュー画やカメラ１に装填されたメモリカード５６から読み出した再生画像、ホワイトバランス順応率設定画面等を表示することができる。また、液晶モニタ５２には、撮影可能コマ数（動画については撮影可能時間）や再生コマ番号の表示、ストロボ発光の有無、マクロモード表示、記録画質（クオリティー）表示、画素数表示等の情報も表示される。液晶モニタ５２は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。撮影者は、ファインダーまたは液晶モニタ５２に映し出されるリアルタイム画像（スルー画）を確認しながら、構図（画角）を決定し、シャッターボタンを押下して撮影を行う。液晶モニタ５２に代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００５０】
また、本例のカメラ１は図１に示したように、ストロボ装置４６を有し、図示せぬストロボキーの操作に応じて、低輝度時にストロボ装置４６を自動的に発光させる自動発光モード、被写体輝度にかかわらずストロボ装置４６を発光させる強制発光モード、またはストロボ装置４６の発光を禁止させる発光禁止モード等に設定される。
【００５１】
ＣＰＵ３８はユーザが選択したストロボモードに応じて図示しないメインコンデンサの充電制御や発光管（例えば、キセノン管）への放電（発光）タイミング等を制御する。また、ＣＰＵ３８はストロボモードの設定に応じたホワイトバランス制御を行うようになっている。
【００５２】
ＥＥＰＲＯＭ５８にはホワイトバランス制御に必要な調整値データが格納されており、ＣＰＵ３８は必要に応じてこれらデータを活用する。また、ＥＥＰＲＯＭ５８にＣＣＤ１４の感度の情報やキズの情報などを記録してもよい。
【００５３】
カメラ１のＡＦ制御は、例えばＧ信号の高周波成分が最大になるように撮影レンズ１０を移動させるコントラストＡＦであり、シャッターボタン半押し（Ｓ１オン）時にＧ信号の高周波成分が最大になるようにレンズ駆動部４２を介して撮影レンズ１０を合焦位置に移動させる。
【００５４】
ＡＥ制御は、予め決めた露出複数回（最大４回）Ｒ、Ｇ、Ｂ信号を取り込み、これらのＲ、Ｇ、Ｂ信号を積算した積算値に基づいて被写体輝度（撮影ＥＶ値）を求める。
【００５５】
そして、シャッターボタン全押し（Ｓ２オン）時に決定した絞り値になるように絞り駆動部４４を介して絞り１２を駆動し、また、決定したシャッタースピードとなるように電子シャッターによって電荷の蓄積時間を制御する。
【００５６】
図２はオートホワイトバランス制御に関連する部分を示したブロック図である。なお、ストロボ装置４６を発光させる場合には、ストロボ光に対して良好なホワイトバランスを行うためのホワイトバランス補正値Ｒｇ、Ｇｇ、Ｂｇがホワイトバランス調整回路３０に加えられるため、以下、ストロボが発光しない場合のホワイトバランス制御について説明する。
【００５７】
まず、シャッターボタン半押し時に求めた撮影ＥＶ値を取得し、図２の積算値調整回路１００において、シャッターボタン全押し時に図１のＡ／Ｄ変換器２０から出力された１画面分のＲ、Ｇ、Ｂ信号１０２は図１のメモリ２４に格納される。メモリ２４から読み出された１画面分のＲ、Ｇ、Ｂ信号１０２は、ＯＢ調整部１０４において、ＣＣＤ１４に発生する暗電流に起因する黒レベルのオフセットを調整する黒レベル調整（ＯＢ調整）が施される。
【００５８】
続いて、図１の積算回路４８において、この１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値が求められ、ＣＰＵ３８に加えられる。また、積算回路４８とＣＰＵ３８との間には乗算器５０Ｒ、５０Ｇ、５０Ｂが設けられており、乗算器５０Ｒ、５０Ｇ、５０Ｂには、機器のバラツキを調整するための調整ゲイン値が加えられるようになっている。
【００５９】
Ｒ、Ｇ、Ｂ信号の色別の平均積算値から図２に符号１０８で示したＲ信号の積算値とＧ信号の積算値との比Ｒ／Ｇ、およびＢ信号の積算値とＧ信号の積算値との比Ｂ／Ｇが求められる。１画面の分割数は、解像度や内部の処理速度などカメラ１の設計に応じて適宜設計可能である。
【００６０】
静止画の場合には、上記のようにして分割エリアごとに求められる色情報Ｒ／Ｇ、Ｂ／Ｇ積算値１０８は、ホワイトバランスゲイン算出部１１０に送られる。ホワイトバランスゲイン算出部１１０のうち検出枠算出部１１２は、各分割エリアが図３の、Ｒ／Ｇ（横軸）、Ｂ／Ｇ（たて軸）で表された表色座標２００上の検出枠のうち、何れの検出枠内に入るかを判別する。なお、図３の表色座標２００における青空検出枠２０２、日陰検出枠２０４、曇り検出枠２０６、昼光色検出枠２０８、昼白色−白色検出枠２１０、肌色検出枠２１２、温白色検出枠２１４、タングステン灯検出枠２１６は、検出枠ごとに光源種などの色分布の範囲を規定するものである。ただし、検出枠の種類や数、設定範囲などについては本例に限定されず、多様な設計が可能である。
【００６１】
図２の演算部１１４では、図３の表色座標２００上の検出枠を用い、撮像画面の各エリアに対応する６４点の分布を得て、６４点の分布を検出枠ごとに平均化する。即ち、各検出枠に出力された点のみに関して、各検出枠に入った個数とある目標値に合わせるようなゲインと重み付けによって各検出枠での平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）が算出される。
【００６２】
各枠ごとの分布を目標値座標（１，１）、即ち色味をグレーに合わせるＲ／Ｇゲインｇｒｉ、Ｂ／Ｇゲインｇｂｉは、各検出枠に入った個数をｎとすると、次式で計算される。
【００６３】
【数１】
ｇｒｉ＝１／［Σ｛（Ｒｉ／Ｇｉ）／ｎ｝］
ｇｂｉ＝１／［Σ｛（Ｂｉ／Ｇｉ）／ｎ｝］
こうして求められた各枠ごとのゲインと、検出枠ごとの明るさ依存性係数（０〜１）を各検出枠に入る個数に乗じて求めた評価値が求められる。該評価値は次式で計算される。
【００６４】
【数２】
評価値Ｈｉ＝Ｆ（検出個数×明るさ依存係数）
上記のように求められた評価値Ｈｉとの重み付けでホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇは求められ、目標値を（Ｔｘｉ，Ｔｙｉ）とすると、ホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇは次式で計算される。
【００６５】
【数３】
Ｒｇ＝Σ（Ｔｘｉ×ｇｒｉ×Ｈｉ）／ΣＨｉ×Σ（Ｇｉ×Ｈｉ）／ΣＨｉ
Ｂｇ＝Σ（Ｔｘｉ×ｇｂｉ×Ｈｉ）／ΣＨｉ×Σ（Ｇｉ×Ｈｉ）／ΣＨｉ
Ｇｇ＝Σ（Ｇｉ×Ｈｉ）／ΣＨｉ
さらに、光源色補正部１１６において、上記のように求められたゲインから光源色の色味を出すための補正を施すことができる。ホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇそれぞれに０から１００％までの順応率のＬＷゲイン値を乗じて最終ゲインが求められる。
【００６６】
上記の如く求められたホワイトバランス補正値をＲｇ、Ｇｇ、Ｂｇ、補正する前の信号をＲ、Ｇ、Ｂとし、ホワイトバランスゲイン算出部１１０での補正結果をＲ’、Ｇ、’Ｂ’とすると、補正結果Ｒ’、Ｇ’、Ｂ’は次式によって表される。
【００６７】
【数４】
Ｒ’＝Ｒｇ×Ｒ
Ｇ’＝Ｇｇ×Ｇ
Ｂ’＝Ｂｇ×Ｂ
ここで、順応率のＬＷゲイン値を乗じて最終ゲインを求める（ホワイトバランス順応率設定）態様について説明する。
【００６８】
図４は、液晶モニタ５２に表示されたホワイトバランス順能率設定画面である。
【００６９】
カメラ１を動画撮影モードあるいは静止画撮影モードに設定し、モードダイヤルをマニュアルモードに設定し、メニュー／実行キーを押下すると、液晶モニタ５２にはマニュアル補正メニューが表示される。この画面には、ホワイトバランス、露出、シャープネス、測光パターン、ストロボの明るさＩＳＯ感度などの項目が表示される。ここで「ホワイトバランス」の項目を選択すると、ホワイトバランスをマニュアルで調整できるモードになる。
【００７０】
ホワイトバランス補正の度合い（順応率）を選択すると、液晶モニタ５２にはマニュアル補正用の目盛り２６０（補正の度合いを示す補正バー）が表示される。撮影者は、液晶モニタ５２に表示されている画像のホワイトバランスを見ながら、十字キーの左右キーを押すことによって調整を行う。左右キーの操作に応じてメモリの表示が増減するとともに、表示画像の色味も変化する。なお、デフォルトでは、ＡＷＢの初期設定が表示される。また、順応率のＬＷゲイン値を０％に設定した場合には結果的にホワイトバランスの調整は行われず、光源の色がそのまま出力される。
【００７１】
上述した静止画撮影におけるホワイトバランス制御を利用して、動画撮影におけるホワイトバランス制御を行うことができる。動画像は静止画像を所定の間隔で連続的に撮影されたものであり、動画像を構成するフレーム画像（静止画像）に対して所定の間隔で静止画撮影のホワイトバランス調整を行うことで動画撮影のホワイトバランス調整が可能になる。なお、ホワイトバランス調整は１フレームごと行ってもよいし、数フレームごとに行ってもよい。
【００７２】
しかしながら、動画撮影と静止画撮影とでは、同じシーンにおいて同じ被写体を撮影した場合に、ＣＣＤ１４から出力される電圧が異なることがある。これは、ＣＣＤ１４の駆動電圧の違い（動画は駆動電圧が低く、静止画は駆動電圧が高い）、読み出し速度の違い（動画は読み出し速度が速く、静止画は読み出し速度が遅い）、読み出し形式の違い（動画は間引き読み出し、静止画は前画素読み出し）等によることである。また、黒レベル調整なども動画撮影と静止画撮影では若干異なる設計をすることがある。これは、カメラ設計とは色調整だけでなく画質全体の設計を行うために、解像度やノイズなど多面的に設計を見るために生じる現象である。
【００７３】
したがって、動画撮影において、上述した静止画撮影のホワイトバランス調整制御を用いて、フレームごとのＲＧＢ信号からホワイトバランスゲインを算出しホワイトバランス調整を行った場合には、静止画撮影の色再現が動画撮影では実現できないことがある。
【００７４】
以下に、上述した動画と静止画との色再現が異なる現象を解決するための、動画撮影のホワイトバランスの補正について説明する。なお、動画撮影と静止画撮影とのＣＣＤ１４のＲ信号における感度比およびＢ信号の感度比はそれぞれ一定である。以下の説明において、動画撮影と静止画撮影とのＣＣＤ１４のＲ信号における感度比およびＢ信号の感度比を、それぞれＲ信号の感度比、Ｂ信号の感度比と記載することや、単にＣＣＤ１４の感度比と記載することがある。
【００７５】
図４は、図２の積算値調整回路１００および動画撮影時の信号を示したブロック図である。図４中図２と同一または類似する部分には同一の符号を付し、その説明は省略する。
【００７６】
積算値調整回路１００に入力される動画の１画面分のＲＧＢ信号３０２は、ＯＢ調整部１０４において、動画撮影に合わせた黒レベル調整（ＯＢ調整）が施され、積算部１０６において、この１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値を求め、Ｒ信号の積算値とＧ信号の積算値との比Ｒ／Ｇ、およびＢ信号の積算値とＧ信号の積算値との比Ｂ／Ｇ（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）３０８が求められる。
【００７７】
図１に示したＣＣＤ１４において、Ｒ信号の感度比（感度比係数）をａ、Ｂ信号の感度比（感度比係数）をｂとすると、積算値調整回路１００で求められた動画積算値（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）３０８から本動画撮影と同じシーンで同じ被写体を静止画撮影した場合の積算値である疑似静止画積算値３１０が図２に示した感度補正部１２６で算出され、疑似静止画積算値３１０（Ｒｉ”／Ｇｉ”，Ｂｉ”／Ｇｉ”）は次式で計算される。
【００７８】
【数５】
Ｒｉ”／Ｇｉ”＝（Ｒｉ／Ｇｉ）／ａ
Ｂｉ”／Ｇｉ”＝（Ｂｉ／Ｇｉ）／ｂ
図５では、［数５］に示された式は▲１▼で示した「感度比係数ａ、ｂで割る」に相当する。
【００７９】
図６は、横軸をＲ／Ｇ、たて軸をＢ／Ｇで表した表色座標３００である。ただし、本発明の理解を容易にするために、図６ではＢ信号成分の変化のみが表されている。
【００８０】
表色座標３００上では、図５に示した動画積算値３０８は点Ａ、疑似静止画積算値３１０は点Ｃで表されている。また、［数５］に示された演算は矢印付き実線▲１▼で表されている。
【００８１】
仮に、原点Ｏ（１，１）を目標値として、動画積算値３０８を用いてホワイトバランス調整値（ホワイトバランスゲイン）を算出すると、ホワイトバランスゲインは直線ＯＡで表される。一方、疑似静止画積算値３１０を用いてホワイトバランスゲインを求めると、ホワイトバランスゲインは直線ＯＣで表される。
【００８２】
図２に示した光源色補正部１１６において、ホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇに光源色の色味を出すために順応率のＬＷゲイン値を乗じ、最終ゲインが求められる。上記のように求められた最終ゲインは、動画撮影時の最終ゲインは点Ａ’、静止画撮影時の最終ゲインは点Ｃ’になる。
【００８３】
これは、任意の目標値ついて、光源色の色味を出すための補正を行った場合には、動画積算値３０８からホワイトバランス処理行った場合と疑似静止画積算値３１０からホワイトバランス処理を行った場合とでは、動画撮影と静止画撮影とでは異なる色再現性を持つことを示している。
【００８４】
直線ＯＣで表された静止画撮影のホワイトバランスゲインは適切な色再現設計をされているが、直線ＯＡで表されたホワイトバランスゲイン（動画撮影のホワイトバランスゲイン）は適切な色再現設計をされているとは限らないので、動画撮影において光源色の色味を出すために補正を行った場合にも適切な色再現を実現するためにホワイトバランスゲインの補正を行う必要がある。
【００８５】
［数５］に示された式によって算出された疑似静止画積算値３１０から算出されたホワイトバランスゲイン（図５の直線ＯＣ）を、動画積算値３０８に適用すると直線Ｏ’Ａで表されるホワイトバランスゲインが求められる。ただし、直線Ｏ’Ａで表されるホワイトバランスゲインでは過補正ぎみのゲインがかかることになるために、ＣＣＤ１４の感度比を用いて過補正分を戻す必要がある。
【００８６】
これは、動画積算値３０８から疑似静止画積算値３１０を求めたときと同じ処理が適用でき、点Ｏ’を目標値としたホワイトバランスゲインをＣＣＤ１４の感度比で割る（ここではＢ信号の感度比係数ｂで割る）と、点Ｏで表されるホワイトバランスゲインが求められる。この処理は図６の▲２▼で示されており、図２に示した感度補正部１２６で行われる。
【００８７】
また、任意の目標値ついて光源色の色味を出すために補正を行う場合は、例えば、直線Ｏ’Ａ上の点Ａ”をＢ信号の感度比係数ｂで割ると、静止画ゲインを表す直線ＯＣ上の点Ｃ’が求められる。これは、直線Ｏ’Ａ上の任意の点で表されるホワイトバランスゲインについて適用可能である。
【００８８】
図６は、カメラ１のオートホワイトバランス（ＡＷＢ）処理の流れを示したフローチャートである。
【００８９】
カメラ１は、主電源がオンされると、内部のイニシャライズ処理が行われ撮影可能になる。撮影が開始されると（ステップＳ１０）、まず、モード選択レバーの設定が動画撮影であるか静止画撮影であるかが検出される（ステップＳ１２）。モード選択レバーが静止画撮影モードに設定されている場合には（ＮＯ判定）、ステップ１４に進み、静止画撮影モードであるか否かが検出される。ステップＳ１４において静止画撮影モードが選択されていない場合には（ＮＯ判定）、撮影を終了し（ステップＳ５０）、静止画撮影モードが選択されている場合には（ＹＥＳ判定）、ステップＳ１６に進み、Ｓ１オンを検出する。ステップＳ１６においてＳ１オンが検出されない場合には（ＮＯ判定）、Ｓ１オン検出を継続し、Ｓ１オンが検出された場合には（ＹＥＳ判定）、ＡＥ、ＡＦ処理が行われる（ステップＳ１８）。
【００９０】
ＡＥ、ＡＦ処理の後、カメラ１の制御はＳ２オン検出に進む（ステップＳ２０）。ステップＳ２０では、Ｓ１保持中はＡＥ、ＡＦをロックし、シャッターボタンから手を放したときにはＳ１が解除され、Ｓ２オンが検出されない場合には（ＮＯ判定）、カメラ１０の制御はＳ１オン検出に戻り（ステップＳ１６）、Ｓ２オンが検出された場合には（ＹＥＳ判定）、ＡＷＢ処理が開始される。
【００９１】
ＡＷＢ処理では、まず、ＣＣＤ１４から出力されるＲＧＢ信号をもとに、１画面を分割したエリアごとのＲＧＢ積算値（静止画積算値１０８）が算出され（ステップＳ２２）、このＲＧＢ積算値１０８を用いてホワイトバランスゲインが算出される（ステップＳ２４）。ステップＳ２４で算出されたホワイトバランスゲインを用いてホワイトバランス処理が行われ（ステップＳ２６）、画像が記録される（ステップＳ２８）。ステップＳ２８において、画像記録がなされると、撮影が終了される（ステップＳ５０）。
【００９２】
一方、ステップＳ１２において、モード選択レバーが動画撮影モードに選択されている場合には（ＹＥＳ判定）、ステップＳ３０に進み、Ｓ２オンを検出する。ステップＳ３０において、Ｓ２オンが検出されない場合には、Ｓ２オンの検出を継続し、Ｓ２オンが検出された場合には（ＹＥＳ判定）、動画記録が開始される（ステップＳ３２）。
【００９３】
動画記録が開始されると、動画撮影時のＡＷＢ処理が開始され、まず、１フレーム分の画像データに対して、ＣＣＤ１４から出力されるＲＧＢ信号をもとに、１画面を分割したエリアごとの動画積算値３０８が算出される（ステップＳ３４）。ステップＳ３４で算出された動画積算値をＣＣＤ１４の感度比係数ａまたはｂで割り、疑似静止画積算値３１０が算出される（ステップＳ３６）。ステップＳ３６で求められた疑似静止画積算値３１０から動画ＷＢゲインが算出され（ステップＳ３８）、動画ＷＢゲインをＣＣＤ１４の感度比係数ａまたはｂで割り、最終ＷＢゲインが算出される（ステップＳ４２）。
【００９４】
ステップＳ４２において算出された最終ＷＢゲインを用いてＷＢ処理が行われ（ステップＳ４４）、ステップＳ４６に進み画像記録が行われる。画像記録が行われると、Ｓ１オンを検出し（ステップＳ４８）、ステップＳ４８においてＳ１オンが検出されなければ（ＮＯ判定）、次のフレーム取り込みを行い、Ｓ１オンが検出された場合には（ＹＥＳ判定）、撮影が終了される（ステップＳ５０）。
【００９５】
本実施形態ではホワイトバランス制御に用いる表色座標系にＲ／Ｇ、Ｂ／Ｇ座標系を用いたが、表色座標はＲ、Ｇ、Ｂ座標系等、他の表色座標を用いてもよい。
【００９６】
また、本発明の適用範囲はデジタルビデオカメラや、カメラ付き携帯電話等の動画撮影機能と静止画撮影機能とを備えた機器に適用可能である。
【００９７】
本実施形態では、記録する画像に対するホワイトバランス処理について例示したが、本発明はスルー画（記録を伴わない画像処理）にも適用可能である。
【００９８】
上記の如く構成されたカメラ１では、動画撮影時のホワイトバランス調整において、ＣＣＤ１４の感度比係数ａ、ｂを用いてＲＧＢ積算値（動画積算値３０８）を補正して疑似静止画積算値３１０が求められ、さらに、疑似静止画積算値３１０から求められたホワイトバランスゲインに対してＣＣＤ１４の感度比係数ａ、ｂを用いて補正され、最終ホワイトバランスゲインが求められる。したがって、動画と静止画の色再現を同じにでき、動画に対しても静止画と同様の好ましいホワイトバランス処理を施すことが可能になる。
【００９９】
なお、本実施形態では静止画撮影のホワイトバランス処理を利用して動画撮影のホワイトバランス処理を行う態様を例示したが、動画撮影のホワイトバランス処理を利用して静止画撮影のホワイトバランス処理を行う態様も可能である。
【０１００】
【発明の効果】
本発明によれば、動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された前記色情報が生成され、生成された色情報から第１のホワイトバランス調整値を求め、さらに第１のホワイトバランス調整値から第２のホワイトバランス調整値を求め、第２のホワイトバランス調整値に従って色信号を補正するように構成したので、動画と静止画との色再現を同じにした好ましい画像を得ることができる。また、ホワイトバランス調整の度合いを示す順応率を用いて撮影シーンの色味を残すようなホワイトバランス処理を行った場合にも、動画と静止画とは同じ色再現を実現できる。
【０１０１】
動画撮影時に得られた画像信号から生成された動画色情報に、動画撮影時と静止画撮影時との感度比で表される補正係数を乗じて補正を行い、補正された色情報からホワイトバランス調整値を求め、さらに、該ホワイトバランス調整値に前記感度比を乗じて補正したホワイトバランス調整値にしたがってホワイトバランス処理を行うよう構成したので、好ましい色再現設計をされた静止画撮影のホワイトバランスアルゴリズムを利用して、動画撮影のホワイトバランス処理を行い、動画に対しても静止画同様の安定性、追従性を再現でき、広範囲のホワイトバランスをとることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るカメラのブロック図
【図２】本実施形態に係るカメラのホワイトバランス処理関連部分のブロック図
【図３】表色座標上の光源種検出枠を示した図
【図４】順応率設定画面を示した図
【図５】動画撮影時のホワイトバランス処理関連部分のブロック図
【図６】動画ホワイトバランスゲイン算出を説明する図
【図７】本実施形態に係るカメラのオートホワイトバランス処理の流れを示したフローチャート
【符号の説明】
１…カメラ、１４…ＣＣＤ、２６…デジタル信号処理回路、３８…ＣＰＵ、４０…カメラ操作部、４８…積算回路、１０８，３１０…静止画積算値、１１０…ホワイトバランスゲイン算出部、１２６…感度補正部、３０８…動画積算値

Claims (8)

1. 撮像手段を介して取得される画像信号から色情報を生成し、該色情報に基づいて算出したホワイトバランス調整値によって色信号を補正するホワイトバランス調整方法であって、
   動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された前記色情報を生成する工程と、
   前記補正された色情報から第１のホワイトバランス調整値を算出する工程と、
   前記算出された第１のホワイトバランス調整値を前記補正係数によって補正して第２のホワイトバランス調整値を求める工程と、
   前記求めた第２のホワイトバランス調整値に従って色信号を補正する工程と、
   を含むことを特徴とするホワイトバランス調整方法。
2. 前記補正係数は、動画撮影時と静止画撮影時との感度比を表すものであることを特徴とする請求項１記載のホワイトバランス調整方法。
3. 前記色情報を生成する工程は、色信号の積算値を算出する工程と、
   前記積算値に前記補正係数を乗算する工程と、
   を含むことを特徴とする請求項１または２記載のホワイトバランス調整方法。
4. 動被写体の光学像を電気信号に変換して被写体像を示す画像信号を出力する撮像手段と、
   動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された色情報を生成する色情報生成手段と、
   前記生成された前記色情報から第１のホワイトバランス調整値を算出する第１のホワイトバランス調整値算出手段と、
   前記算出された第１のホワイトバランス調整値を前記補正係数によって補正して第２のホワイトバランス調整値を求める第２のホワイトバランス調整値算出手段と、
   前記求めた第２のホワイトバランス調整値に従って色信号を補正するホワイトバランス処理手段と、
   を備えたことを特徴とする電子カメラ。
5. 前記補正係数は、動画撮影時と静止画撮影時との感度比を表すものであることを特徴とする請求項４記載の電子カメラ。
6. 前記撮像手段の静止画撮影における感度と動画撮影における感度との比を用いて補正色情報を算出する色情報補正手段を備えたことを特徴とする請求項４または５記載の電子カメラ。
7. ホワイトバランス調整の度合いを示す順応率を設定する順応率設定手段と、
   前記順応率設定手段により設定された順応率に従ってホワイトバランス処理の制御を行うホワイトバランス制御手段と、
   を備えたことを特徴とする請求項４、５または６記載の電子カメラ。
8. 被写体の光学像を電気信号に変換して被写体像を示す画像信号を出力する撮像手段と、
   前記撮像手段から出力される画像信号から色情報を生成する色情報生成手段と、
   動画撮影時に前記撮像装置から得られた画像信号に基づいて前記色情報生成手段で生成された色情報に対して動画撮影時と静止画撮影時との感度比で表される補正係数を乗じて補正を行う色情報補正手段と、
   静止画撮影時に前記撮像装置から得られた画像信号に基づいて前記色情報生成手段で生成された色情報からホワイトバランス調整値を求め、動画撮影時には前記色情報補正手段によって補正された色情報からホワイトバランス調整値を求めるホワイトバランス調整値算出手段と、
   動画撮影時に前記色情報補正手段によって補正された色情報から求められた前記ホワイトバランス調整値に前記補正係数を乗じて補正を行うホワイトバランス調整値補正手段と、
   静止画撮影時には前記ホワイトバランス調整値算出手段で算出されたホワイトバランス調整値に従って色信号を補正し、動画撮影時には前記ホワイトバランス調整値補正手段によって補正されたホワイトバランス調整値に従って色信号を補正するホワイトバランス処理手段と、
   を備えたことを特徴とする電子カメラ。

Images