JP5882787B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像データに対するホワイトバランス制御技術に関するものである。

従来、撮像素子から出力された信号に基づいてホワイトバランスを調整する方法が知られている。その一例として、オートホワイトバランス処理が知られている。オートホワイトバランス制御は、撮影した画像データから白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を算出し、算出したホワイトバランス係数を画面全体に適用する。

しかし、このようなオートホワイトバランス制御には次のような問題があった。画面内に異なる複数の光源が存在するシーンでは、算出したホワイトバランス係数を画面全体に適用するため、各光源をともに適正な色味とするホワイトバランス制御を行うことが困難であった。例えば、夜景シーンにおいて主被写体は水銀灯で照らされているが、背景となるビル群の光源は蛍光灯であることが想定される。このようなシーンにおいて、水銀灯光源下の主被写体のホワイトバランスを適正にすると、背景の蛍光灯光源部分は赤みを帯びてしまう。同様に、蛍光灯光源下の背景のホワイトバランスを適正にすると、主被写体の水銀灯光源部分のホワイトバランスが適正から外れてしまう。また、それぞれの光源が適正となるホワイトバランスの中間に合わせてホワイトバランス制御をすると、どちらの光源も色味が残る結果となってしまう。

さらに付け加えると、水銀灯光源下における各ブロックの色評価値は通常光源下の白検出範囲では検出できない場合が多く、水銀灯の単一光源のシーンであったとしても、適正なホワイトバランスを求めることは困難である。

ここで、特許文献１には次のような技術が開示されている。即ち、特許文献１に開示される技術は、第１の白検出範囲で白と判定されたブロックが一定数より少ない場合、低色温度光源下での撮影か否かを判別し、低色温度光源下での撮影と判別された場合に低色温度側の白検出範囲を広げて第２の白検出範囲とする。そして、第２の白検出範囲によって白と判定されるブロックが一定数以上である場合、白と判定されたブロックに基づいてホワイトバランス補正係数を算出する。

特開２００９−２１２６４１号公報

しかしながら、特許文献１に開示される技術は、低色温度光源下での撮影である場合に白検出範囲を広げ、新たに白と判定されたブロックに基づいてホワイトバランス補正係数を算出するものであり、結局複数の光源が存在した場合には対応できない。さらに、ブロック単位で光源の推定を行うと、ブロックの境界部分に色味ずれが生じてしまう。

そこで、本発明の目的は、複数の光源が混在する場合であっても、ブロックの境界部分の色味ずれをより少なく適正な色味の画像データを生成することにある。

本発明の画像処理装置は、撮像により得られた画像データに対して、前記画像データにおける第１の光源に対応する第１のホワイトバランス補正値を用いて第１の画像データを現像するとともに、前記画像データにおける第２の光源に対応する第２のホワイトバランス補正値を用いて第２の画像データを現像する現像手段と、前記画像データを複数のブロックに分割する分割手段と、前記分割手段により分割された各ブロックの色評価値を算出する第１の色評価値算出手段と、前記第１の色評価値算出手段により算出された各ブロックの色評価値に基づいて、当該各ブロックを再分割する再分割手段と、前記再分割手段により再分割された各ブロックの色評価値を算出する第２の色評価値算出手段と、前記分割手段と再分割手段による分割で得られた各ブロックについて、それぞれのブロックで算出された色評価値と前記第２の光源下の白の色評価値との差分に基づいて、前記第１の画像データと前記第２の画像データとの合成比率を決定する合成比率決定手段と、前記合成比率決定手段により決定された合成比率に従って、前記第１の画像データと前記第２の画像データとをブロック単位で合成する合成手段と、を有することを特徴とする。

本発明によれば、複数の光源が混在する場合であっても、ブロックの境界部分の色味ずれをより少なく適正な色味の画像データを生成することができる。

本発明の実施形態に係る画像処理装置の構成を示す図である。 第１のホワイトバランス補正値の算出方法を示すフローチャートである。 白検出の際に使用されるグラフを示す図である。 画像処理回路による画像データの合成処理を示すフローチャートである。 合成比率算出の際に用いられる色評価値の関係を示す図である。 本発明の他の実施形態におけるブロックの再分割処理を説明するための図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。なお、以下に説明する実施形態は、飽くまでも本発明の一適用例である。即ち、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

図１は、本発明の実施形態に係る画像処理装置の構成を示す図である。図１において、１００は画像処理装置である。１０は撮影レンズである。１２は絞り機能を備えるシャッタである。１４は光学像を電気信号に変換する撮像素子である。１６は撮像素子１４から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１８は、撮像素子１４、Ａ／Ｄ変換器１６及びＤ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は、画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０及び測距制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理及びＥＦ（フラッシュプリ発光）処理を行っている。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０及び圧縮伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータは、画像処理回路２０及びメモリ制御回路２２を介して、或いは、直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリである。２６はＤ／Ａ変換器である。２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することができる。

３０は、撮影された静止画像データや動画像データを格納するためのメモリであり、所定の枚数の静止画像データや所定時間の動画像データを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像データを連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッタ１２を制御する露光制御部であり、ストロボ（フラッシュ）４８と連携することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御部である。４４は撮影レンズ１０のズーミングを制御するズーム制御部である。４６はバリアである保護手段１０２の動作を制御するバリア制御部である。

４８はストロボであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。ストロボ４８は一つでもよいし、閃光発光用にＸｅ管、微小長秒発光用にＬＥＤ等のように複数個用意してもよい。露光制御部４０及び測距制御部４２は、ＴＴＬ方式を用いて制御されており、システム制御回路５０は、撮像した画像データを画像処理回路２０によって演算した結果に基づいて、露光制御部４０及び測距制御部４２に対して制御を行う。

システム制御回路５０は、画像処理装置１００全体を制御する。メモリ５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶する。また、メモリ５２はＡＥで用いるプログラム線図も格納している。プログラム線図は、露出値に対する絞り開口径とシャッタ速度の制御値との関係を定義したテーブルである。

５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する画像表示部２８等の表示部である。表示部５４は、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

また、表示部５４の一部の機能は光学ファインダ１０４内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示等がある。

また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示、等がある。

５６は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０、６２、６４及び６６は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。６０はモードダイアルスイッチであり、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。６２はシャッタスイッチＳＷ１であり、不図示のシャッタボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタスイッチＳＷ２であり、不図示のシャッタボタンの操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は、各種ボタンやタッチパネル等からなる操作部であり、メニューボタン、セットボタン、マクロボタン、画像表示ＯＮ／ＯＦＦボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマ切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２、８４はコネクタである。８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等からなる電源手段である。９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェースである。９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部である。

なお、本実施形態では、記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、何れの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。

さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ）カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示等が設置されている。

１１０は通信部であり、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は通信部１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４及び画像処理装置１００と接続を行うコネクタ２０６を備えている。２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４及び画像処理装置１００と接続を行うコネクタ２１６を備えている。

次に、本実施形態に係る画像処理回路２０におけるＷＢ補正値の算出方法について説明する。本処理は、黒体放射軸を用いたＷＢ制御に基づいてＷＢ補正値を算出する処理である。先ず、図２を参照しながら、第１のホワイトバランス補正値(第１のＷＢ補正値)の算出方法について説明する。ここで、第１のＷＢ補正値とは、第１の光源（例えば、蛍光灯光源）に対する通常のホワイトバランス制御により算出される補正値である。

ステップＳ２０１において、画像処理回路２０は、メモリ３０に記憶された画像データを読み出し、当該画像データを任意のｍ個のブロックに分割する。ステップＳ２０２において、画像処理回路２０は、ブロック（１〜ｍ）毎に、画素値を色毎に加算平均して色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を算出し、次の式を用いて色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を算出する。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４
但し、Ｙ［ｉ］＝（Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］）／４

ステップＳ２０３において、画像処理回路２０は、ｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が、図３に示す予め設定される白検出範囲３０１に含まれるか否かを判定する。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。この白検出範囲は撮影モードに対応して個別に設定できるものとする。図３におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の白を撮影したときの色評価値を表している。また、ｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧｒｅｅｎ成分が大きくなる。

ｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が予め設定される白検出範囲３０１に含まれる場合、処理はステップＳ２０４に移行する。一方、ｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が予め設定される白検出範囲３０１に含まれない場合、処理はステップＳ２０４をスキップして、ステップＳ２０５に移行する。

ステップＳ２０４において、画像処理回路２０は、ｉ番目のブロックが白色であると判定して、当該ブロックの色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分する。なお、ステップＳ２０３、Ｓ２０４の処理は次の式によって表すことができる。

ここで、上記式において、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれる場合にはＳｗ［ｉ］を１とし、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれない場合にはＳｗ［ｉ］を０とする。これにより、ステップＳ２０３．Ｓ２０４において、色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分するか、積分しないかを実質的に行っている。

ステップＳ２０５において、画像処理回路２０は、全てのブロックについて上記処理を行ったか否かを判定する。未処理のブロックが存在する場合、処理はステップＳ２０２に戻って上記処理を繰り返す。一方、全てのブロックについて処理を行った場合、処理はステップＳ２０６に移行する。

ステップＳ２０６において、画像処理回路２０は、得られた平均値の積分値（ＳｕｍＲ１，ＳｕｍＧ１，ＳｕｍＢ１）から、次の式を用いて、第１のＷＢ補正値（ＷＢＣｏ１＿Ｒ１，ＷＢＣｏ１＿Ｇ１，ＷＢＣｏ１＿Ｂ１）を算出する。
ＷＢＣｏ１＿Ｒ１＝ＳｕｍＹ１×１０２４／ＳｕｍＲ１
ＷＢＣｏ１＿Ｇ１＝ＳｕｍＹ１×１０２４／ＳｕｍＧ１
ＷＢＣｏ１＿Ｂ１＝ＳｕｍＹ１×１０２４／ＳｕｍＢ１
但し、ＳｕｍＹ１＝（ＳｕｍＲ１＋２×ＳｕｍＧ１＋ＳｕｍＢ１）／４

次に、第２の光源に対する第２のホワイトバランス補正値(第２のＷＢ補正値)の決定方法について説明する。第２のＷＢ補正値（ＷＢＣｏ２＿Ｒ，ＷＢＣｏ２＿Ｇ，ＷＢＣｏ２＿Ｂ）は、特定の光源毎に予め決められた値を用いて決定する。即ち、この値は予め特定の光源下で白を撮影して算出した値を用いる。例えば、光源に水銀灯が使われているシーンであれば、水銀灯用に予め決められているＷＢ補正値を第２のＷＢ補正値として用いる。ここで、光源に複数の種類がある場合、光源の種類に応じて第２のＷＢ補正値を可変にしてもよい。例えば、水銀灯に２つの種類がある場合には、それぞれの水銀灯に応じてＷＢ補正値を可変にしてもよい。

次に、図４を参照しながら、画像処理回路２０による画像データの合成処理について説明する。ステップＳ４０１において、画像処理回路２０は、特殊光源対応を行うか否かを判定する。例えば、画像処理回路２０は、メモリ３０に記憶された画像データから第１の光源を推定することができた場合、特殊光源対応を行うように判定し、第１の光源を推定することができなかった場合、特殊光源対応を行うように判定することが考えられる。その他、ユーザが予め指定しておいた結果に応じて特殊光源対応を行うか否かを判定するようにしてもよい。特殊光源対応を行う場合、処理はステップＳ４０２に移行する。一方、特殊光源対応を行わない場合、処理はステップＳ４０９に移行する。

ステップＳ４０２において、画像処理回路２０は、図２を用いて説明した方法により、第１のＷＢ補正値ＷＢＣｏ１を算出する。ステップＳ４０３において、画像処理回路２０は、上述した方法により、第２のＷＢ補正値ＷＢＣｏ２を算出する。ステップＳ４０４において、画像処理回路２０は、第１のＷＢ補正値ＷＢＣｏ１を用いて、メモリ３０に記憶された画像データから現像画像データＹｕｖ１を現像する。ステップＳ４０５において、画像処理回路２０は、第２のＷＢ補正値ＷＢＣｏ２を用いて、メモリ３０に記憶された画像データから現像画像データＹｕｖ２を現像する。なお、現像画像データＹｕｖ１は第１の画像データ、現像画像データＹｕｖ２は第２の画像データの例である。なお、ステップＳ４０２及びＳ４０３は、補正値決定手段の処理例である。

ステップＳ４０６において、画像処理回路２０は、メモリ３０に記憶されている画像データをｎ個のブロックに分割してブロック毎に画素値を各色に加算平均して色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を算出する。そして、画像処理回路２０は、ステップＳ２０２と同様に色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を算出する。

続けて、画像処理回路２０は、算出した各ブロックの色評価値に基づき、各ブロックの分割数を再設定する。このときの分割数は各ブロックの色評価値と第２の光源の白の色評価値との差分に基づいて決定する。例えば画像処理回路２０は、色評価値の差分が小さいブロックであれば、当該ブロックを４分割し、色評価値の差分が大きいブロックであれば、当該ブロックを９分割する。画像処理回路２０は、ブロックを再分割した後、再分割したブロック毎に色評価値を再度算出する。

このとき、色評価値の差分が予め指定された範囲にない場合、例えば、色評価値の差分がほとんどない場合や色評価値の差分が大きすぎる場合は再分割しなくてもよい。色評価値の差分がほとんどない場合、対象ブロックの光源は第２の光源である可能性が高く、逆に差分が大き過ぎる場合、対象ブロックの光源は第２の光源である可能性がほとんどなく、再評価する必要がないためである。

基本的に、各ブロックの色評価値と第２の光源の白の色評価値との差分が大きいということは、第２の光源とは異なる光源が混ざっているブロックである可能性が高い。従って、画像処理回路２０は、ブロックを再分割して色評価値を新たに算出する。光源が混ざっているブロックであれば、小さいブロックに分割することでブロックの境界部分に生じる色味ずれを緩和することができる。但し、最初から小さいブロックで色評価値を算出すると、物体色を光源と誤判定しやすい等の問題がある。

また、ステップＳ４０６における、分割又は再分割されたブロックの色評価値の算出処理において、飽和画素が存在する場合には、その飽和画素の画素値とその画素に対応する別色の画素の画素値とを色平均値の算出時の加算処理に含めなくてもよい。例えば、或るＲ画素が飽和画素である場合には、Ｒ画素の画素値とそのＲ画素に対応するＧ画素の画素値及びＢ画素の画素値とを加算処理に含めないようにする。なお、ステップＳ４０６は、第１の色評価値算出手段及び第２の色評価値算出手段の処理例である。

ステップＳ４０７において、画像処理回路２０は、各光源に応じて後述の評価枠及び内枠を設定して、第２の光源の白の色評価値と各ブロックの色評価値との差分に基づいて、ブロック毎の合成比率を算出する。例えば、光源に水銀灯を用いたシーンでは、図５に示すように、予め決められた第２の光源である水銀灯光源下の白の色評価値を重心とした水銀灯光源用の評価枠５０１及び内枠５０２を設定する。そして画像処理回路２０は、予め決められた水銀灯光源の白の色評価値と各ブロックの色評価値との差分に基づいて、各ブロックの合成比率を算出する。なお、評価枠５０１は、予め水銀灯光源で白の被写体を撮影して算出された色評価値に基づき設定されたものである。

先ず、色評価値と水銀灯光源下の白の色評価値との差分が小さく、図５に示す内枠５０２の内部に色評価値が存在するブロックに対しては、画像処理回路２０は、当該ブロックの合成比率α［ｉ］を１とする。次に、図５に示す評価枠５０１と内枠５０２との間の領域に色評価値が存在するブロックに対しては、画像処理回路２０は以下のように合成比率α［ｉ］を算出する。即ち、画像処理回路２０は、内枠５０２を合成比率α［ｉ］＝１とし、評価枠５０１を合成比率α［ｉ］＝０とするように、内枠５０２から評価枠５０１に向かって合成比率を線形的に減少させ、当該ブロックの合成比率α［ｉ］を算出する。そして、評価枠５０１の外部に色評価値が存在するブロックに対しては、画像処理回路２０は合成比率α［ｉ］を０とする。

このとき、ステップＳ４０６において再分割されていないブロックと再分割されたブロックとで合成比率算出のためのパラメータを変えてもよい。例えば、光源に水銀灯を用いたシーンでは、色評価値と水銀灯光源下の白の色評価値との差分が同じでも、細かく再分割されたブロックほど合成比率を小さくする。こうすることで、小さいブロックの光源の誤判定を少なくすることができる。さらには、再分割されていないブロックと再分割されたブロックとの合成比率をそれぞれ算出し、それぞれの合成比率に基づいて合成画像データを生成する際の合成比率を算出してもよい。

また、評価枠と内枠との設定は、図５に示すような四角形ではなく任意の形にしてもよい。また例えば、電球色光源のような低色温度光源を用いたシーンの場合においても、光源に適した評価枠や内枠を設定し、水銀灯を光源としたシーンにおける合成比率算出方法と同様の処理により、合成比率を算出することができる。

ステップＳ４０８において、画像処理回路２０は、ブロック毎の合成比率α［ｉ］を用いて現像画像データＹｕｖ１と現像画像データＹｕｖ２とを合成し、合成画像データＹｕｖ３を生成する。合成画像データＹｕｖ３の色評価値（Ｙ３［ｉ］，ｕ３［ｉ］，ｖ３［ｉ］）を算出する際には、現像画像データＹｕｖ１の色評価値（Ｙ１［ｉ］，ｕ１［ｉ］，ｖ１［ｉ］）と現像画像データＹｕｖ２の色評価値（Ｙ２［ｉ］，ｕ２［ｉ］，ｖ２［ｉ］）とが用いられる。即ち、画像処理回路２０は、次の式により、合成画像データＹｕｖ３の色評価値（Ｙ３［ｉ］，ｕ３［ｉ］，ｖ３［ｉ］）を算出する。

ここで、ブロックの境界部分に生じる色味ずれを緩和するために、ステップＳ４０７でさらに画素補間処理を行うことにより、ブロック毎の合成比率α［ｉ］から画素毎の合成比率α´［ｊ］を算出してもよい。例えば、画像処理回路２０は、画素補間処理としてバイリニア補間を用い、ブロック毎の合成比率α［ｉ］から画素毎の合成比率α´［ｊ］を算出する。このとき、ステップＳ４０８において、画像処理回路２０は、画素毎の合成比率α´［ｊ］を用いて、現像画像データＹｕｖ１と現像画像データＹｕｖ２とを合成し、合成画像データＹｕｖ３を生成する。画像処理回路２０は、合成画像データＹｕｖ３の色評価値（Ｙ３［ｊ］，ｕ３［ｊ］，ｖ３［ｊ］）を算出する際に、現像画像データＹｕｖ１の色評価値（Ｙ１［ｊ］，ｕ１［ｊ］，ｖ１［ｊ］）と現像画像データＹｕｖ２の色評価値（Ｙ２［ｊ］，ｕ２［ｊ］，ｖ２［ｊ］）とを用いる。即ち、画像処理回路２０は、次の式により合成画像データＹｕｖ３の色評価値（Ｙ３［ｊ］，ｕ３［ｊ］，ｖ３［ｊ］）を算出する。

また、画像処理回路２０における計算量を低減するために、色成分であるｕ成分及びｖ成分のみを合成してもよい。例えば、画像処理回路２０は、合成画像データＹｕｖ３の色評価値（Ｙ３［ｉ］，ｕ３［ｉ］，ｖ３［ｉ］）を次の式により算出する。

また、上述した画像合成処理において現像画像データはＹｕｖ形式を用いたが、例えば、画像形式としてＲＧＢ形式を用いた場合、ステップＳ４０８において用いた式の代わりに、次の式を用いる。つまり、画像処理回路２０は、第１のＷＢ補正値を用いて現像した現像画像データＲＧＢ１の色評価値（Ｒ１［ｉ］，Ｇ１［ｉ］，Ｂ１［ｉ］）と、第２のＷＢ補正値を用いて現像した現像画像データＲＧＢ２の色評価値（Ｒ２［ｉ］，Ｇ２［ｉ］，Ｂ２［ｉ］）とを算出する。そして、画像処理回路２０は、合成画像データＲＧＢ３の色評価値（Ｒ３［ｉ］，Ｇ３［ｉ］，Ｂ３［ｉ］）を次の式により算出する。

ステップＳ４０９において、画像処理回路２０は、ステップＳ４０２と同様の方法により第１のＷＢ補正値ＷＢＣｏ１を算出する。ステップＳ４１０において、画像処理回路２０は、第１のＷＢ補正値ＷＢＣｏ１を用いて、メモリ３０に記憶された画像データから現像画像データＹｕｖ１を現像する。つまり、画像処理回路２０は通常のホワイトバランス制御を行う。

上述した画像合成処理では、光源が２種類以上存在する場合、現像画像データを２枚以上にして合成してもよい。例えば、水銀灯光源を用いたシーンにおいてストロボ光を発光した場合、画像処理回路２０は、上記第１のＷＢ補正値及び第２のＷＢ補正値に加えて、上記第２のＷＢ補正値を決定する方法と同様にストロボ光に対応した第３のＷＢ補正値を決定する。そして画像処理回路２０は、３つのＷＢ補正値をそれぞれ用いて３枚の画像データを現像して画像合成処理を行う。

以上のように、本実施形態によれば、異なる複数の光源が混在するシーンにおいて、主被写体と背景とをともに適正な色味とする画像データを生成し、ユーザにとって好ましい画像を提供することができる。また、本実施形態によれば、複数の光源が混在する場合であっても、ブロックの境界部分の色味ずれをより少なく適正な色味の画像データを生成することが可能となる。

次に、本発明の他の実施形態について説明する。本実施形態に係る画像処理装置の処理は、図４のステップＳ４０６におけるブロックの再分割処理を除いて、上述した実施形態と同様である。従って、以下では、上述した実施形態との相違部分、即ち、本実施形態におけるステップＳ４０６の処理についてのみ説明を行う。なお、本実施形態に係る画像処理装置の構成は、図１に示した構成と同様であるため、以下の説明においても図１の符号を用いるものとする。

本実施形態におけるステップＳ４０６では、画像処理回路２０は、算出した各ブロックの色評価値が特定の範囲にあるか否かに応じて、ブロックの分割数を再設定する。水銀灯を用いたシーンを例にした場合、図６ではブロック４分割設定範囲６０１の中にブロックの色評価値があるため、画像処理回路２０は、該当するブロックを４分割して色評価値を再度算出する。本実施形態は、例えば人物の顔のようにある程度分布する範囲がわかっている場合、その範囲のブロックだけ分割することで特定の領域のみの色味ずれを意識的に緩和することができる。

なお、上述した実施形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置であってもよい。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０：撮影レンズ、１２：シャッタ、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生回路、２０：画像処理回路、２２：メモリ制御回路、２４：画像表示メモリ、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ、３２：画像圧縮・伸長回路、４０：露光制御部、４２：測距制御部、４４：ズーム制御部、４６：バリア制御部、４８：ストロボ、５０：システム制御回路、５２：メモリ、５４：表示部、５６：不揮発性メモリ、６０：モードダイアルスイッチ、６２：シャッタスイッチＳＷ１、６４：シャッタスイッチＳＷ２、６６：操作部、８０：電源制御部、８２：コネクタ、８４：コネクタ、８６：電源、９０：インタフェース、９２：コネクタ、９４：インタフェース、９６：コネクタ、９８：記録媒体着脱検知部、１００：画像処理装置、１０２：保護手段、１０４：光学ファインダ、１１０：通信部、１１２：コネクタ（またはアンテナ）、２００：記録媒体、２０２：記録部、２０４：インタフェース、２０６：コネクタ、２１０：記録媒体、２１２：記録部、２１４：インタフェース、２１６：コネクタ

Claims (10)

1. 撮像により得られた画像データに対して、前記画像データにおける第１の光源に対応する第１のホワイトバランス補正値を用いて第１の画像データを現像するとともに、前記画像データにおける第２の光源に対応する第２のホワイトバランス補正値を用いて第２の画像データを現像する現像手段と、
   前記画像データを複数のブロックに分割する分割手段と、
   前記分割手段により分割された各ブロックの色評価値を算出する第１の色評価値算出手段と、
   前記第１の色評価値算出手段により算出された各ブロックの色評価値に基づいて、当該各ブロックを再分割する再分割手段と、
   前記再分割手段により再分割された各ブロックの色評価値を算出する第２の色評価値算出手段と、
   前記分割手段と前記再分割手段による分割で得られた各ブロックについて、それぞれのブロックで算出された色評価値と前記第２の光源下の白の色評価値との差分に基づいて、前記第１の画像データと前記第２の画像データとの合成比率を決定する合成比率決定手段と、
   前記合成比率決定手段により決定された合成比率に従って、前記第１の画像データと前記第２の画像データとをブロック単位で合成する合成手段と、を有することを特徴とする画像処理装置。
2. 前記合成比率決定手段は、前記再分割手段により再分割されたブロックと、前記再分割手段により再分割されていないブロックとで合成比率を決定する際のパラメータを異ならせることを特徴とする請求項１に記載の画像処理装置。
3. 前記再分割手段は、前記第１の色評価値算出手段により算出されたブロックの色評価値と、前記第２の光源下の白の色評価値との差分に基づいて分割数を決定し、決定した分割数で当該ブロックを再分割することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記再分割手段は、前記第１の色評価値算出手段により算出されたブロックの色評価値と、前記第２の光源下の白の色評価値との差分が予め定められた範囲内にない場合、当該ブロックを再分割しないことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記再分割手段は、前記第１の色評価値算出手段により算出されたブロックの色評価値が特定の範囲内にある場合、前記特定の範囲に対応する分割数で当該ブロックを再分割することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記画像データから前記第１の光源を推定する推定手段を更に有し、
   前記合成手段は、前記推定手段により前記画像データから前記第１の光源が推定されなかった場合、前記第１の画像データと前記第２の画像データとの合成処理を実行しないことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記合成比率決定手段は、画素補間処理により、ブロック毎の合成比率から画素毎の合成比率を決定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記第１の色評価値算出手段及び前記第２の色評価値算出手段のうちの少なくとも何れか一方は、各ブロックの色評価値を算出する際に、飽和画素の画素値と当該画素に対応する別色の画素の画素値とを色平均値の算出に含めないことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記合成手段は、前記第１の画像データと前記第２の画像データとの色成分のみを合成することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 画像処理装置によって実行される画像処理方法であって、
    撮像により得られた画像データに対して、前記画像データにおける第１の光源に対応する第１のホワイトバランス補正値を用いて第１の画像データを現像するとともに、前記画像データにおける第２の光源に対応する第２のホワイトバランス補正値を用いて第２の画像データを現像する現像ステップと、
    前記画像データを複数のブロックに分割する分割ステップと、
    前記分割ステップにより分割された各ブロックの色評価値を算出する第１の色評価値算出ステップと、
    前記第１の色評価値算出ステップにより算出された各ブロックの色評価値に基づいて、当該各ブロックを再分割する再分割ステップと、
    前記再分割ステップにより再分割された各ブロックの色評価値を算出する第２の色評価値算出ステップと、
    前記分割ステップと前記再分割ステップによる分割で得られた各ブロックについて、それぞれのブロックで算出された色評価値と前記第２の光源下の白の色評価値との差分に基づいて、前記第１の画像データと前記第２の画像データとの合成比率を決定する合成比率決定ステップと、
    前記合成比率決定ステップにより決定された合成比率に従って、前記第１の画像データと前記第２の画像データとをブロック単位で合成する合成ステップと、を有することを特徴とする画像処理方法。

Images