JP6083974B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像データに対するホワイトバランス制御技術に関するものである。

一般に、デジタルカメラやデジタルビデオカメラ等の、撮像素子を用いた撮像装置においては、撮像によって得られた画像の色調を調整するホワイトバランス制御機能を備えている。ホワイトバランス制御には、マニュアルホワイトバランス制御とオートホワイトバランス制御とがある。マニュアルホワイトバランス制御は、予め白色被写体を撮像してホワイトバランス係数を求めておき、算出したホワイトバランス係数を画面全体に適用する制御である。一方、オートホワイトバランス制御は、撮像した画像から白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を算出し、算出したホワイトバランス係数を画面全体に適用する制御である。

ここで、従来のオートホワイトバランス制御について簡単に説明する。従来のオートホワイトバランス制御は、撮像された画像データのブロック毎に色評価値が求められ、色評価値が白検出領域に含まれる場合、そのブロックが白であると判定される。そして、白と判定されたブロックの画素の積分値が求められることにより、ホワイトバランス係数が算出される。

しかしながら、このようなホワイトバランス制御においては、次のような問題があった。従来のホワイトバランス制御では、あらゆる光源に対して白を検出する必要があるため、白検出範囲が予め広めに設定されている。そのため、光源の種類によっては有彩色の色評価値が白検出範囲内に含まれる場合があり、有彩色が白と誤検出されてしまい、所望のホワイトバランス制御を行うことができないシーンが存在した。例えば、蛍光灯下におけるフローリングやダンボール等、肌色系の被写体が画像データ内の大部分を占めるシーンでは、ホワイトバランスの白検出において、フローリングやダンボール等の肌色系有彩色が白と誤検出されてしまうことがある。その結果、見た目の色味に対して寒色気味の画像が生成されてしまう。

特許文献１には、過去の状態情報と最新の状態情報との変化に応じて、記録手段に記録されている前回の制御値と最新の状態情報に基づいて得られる制御値とを合成して、新たな制御値を算出する方法が開示されている。

特許第４３２０９９８号公報

しかしながら、特許文献１に開示された技術では、最新の状態情報だけでなく過去の状態情報を用いる必要があるため、最新の状態情報のみで制御を行うことができない。従って、例えば１枚の静止画を撮影する際のホワイトバランス制御には、特許文献１に開示された技術を適用することはできない。また、特許文献１においては、画像データ内に含まれる所定の色情報を用いた処理に関して言及していない。

そこで、本発明の目的は、白と誤検出するような有彩色の被写体を撮影した場合においても、見た目に近い色味となる画像データを生成し、ユーザにとって好ましい画像を提供することにある。

本発明の画像処理装置は、画像を分割した各ブロックから算出される色評価値のうちで所定の白検出範囲に含まれる色評価値を用いてホワイトバランス補正値を算出する画像処理装置であって、前記画像から第１のホワイトバランス補正値を算出する第１の算出手段と、前記第１の算出手段により算出された前記第１のホワイトバランス補正値に基づいて、前記白検出範囲内の領域ごとの重みを制御する制御手段と、前記画像を分割した各ブロックから算出される色評価値のうちで前記白検出範囲に含まれる色評価値を、色評価値に対応する前記白検出範囲内の領域の重みに応じて積算し、積算値から第２のホワイトバランス補正値を算出する第２の算出手段と、を有することを特徴とする。

本発明によれば、白と誤検出するような有彩色の被写体を撮影した場合においても、見た目に近い色味となる画像データを生成し、ユーザにとって好ましい画像を提供することが可能となる。

本発明の実施形態に係る撮像装置の構成を示す図である。 第１の実施形態におけるＷＢ制御部のＷＢ補正値の算出方法を示すフローチャートである。 図２のステップＳ２０１における第１のＷＢ補正値の算出処理の詳細を示す図である。 白検出の際に使用されるグラフを示す図である。 パラメータの決定方法を説明するための図である。 肌色領域、肌色補正対象領域及び肌色補正対象外領域の例を示す図である。 肌色平均値から肌色領域への移動距離が最も小さくなるような補正量を算出する方法を説明するための図である。 第１のＷＢ補正値とゲイン値との関係を示す図である。 パラメータの決定方法を説明するための図である。 第１のＷＢ補正値とゲイン値との関係を示す図である。 パラメータの決定方法を説明するための図である。 第２の実施形態におけるＷＢ制御部のＷＢ補正値の算出方法を示すフローチャートである。 青色系有彩色の検出領域を示す図である。 ゲイン値と青色系有彩色の検出率との関係をグラフで示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。図１において、１０１は、ＣＣＤやＣＭＯＳ等からなる固体撮像素子であり、その表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。被写体像が固体撮像素子１０１上に結像されると、固体撮像素子１０１は、画像データ（画像信号）を生成する。固体撮像素子１０１により生成された画像データは、メモリ１０２に記憶される。

ＣＰＵ１１５は、画像全体が明るくなるようなシャッタ速度、絞り値を計算するとともに、合焦領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算する。そして、ＣＰＵ１１５により計算された露出値（シャッタ速度、絞り値）及びフォーカスレンズの駆動量は、制御回路１１３に出力され、各値に基づいてそれぞれ制御される。ホワイトバランス（ＷＢ）制御部１０３は、メモリ１０２に記憶された画像データに基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像データに対してＷＢ補正を行う。なお、このＷＢ制御部１０３によるＷＢ補正値の算出方法の詳細については後述する。

色変換マトリックス（ＭＴＸ）回路１０４は、ＷＢ制御部１０３によりＷＢ補正された画像データが最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路１０５は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限する。ＣＳＵＰ（Chroma Supress）回路１０６は、ＬＰＦ回路１０５で帯域制限された画像データのうち、飽和部分の偽色信号を抑圧する。一方、ＷＢ制御部１０３によりＷＢ補正された画像データは、輝度信号（Ｙ）生成回路１１１にも出力される。輝度信号生成回路１１１は、入力された画像データから輝度信号Ｙを生成する。エッジ強調回路１１２は、生成された輝度信号Ｙに対してエッジ強調処理を施す。

ＲＧＢ変換回路１０７は、ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号ＹとをＲＧＢ信号に変換する。ガンマ（γ）補正回路１０８は、変換されたＲＧＢ信号に対して階調補正を施す。色輝度変換回路１０９は、階調補正が施されたＲＧＢ信号をＹＵＶ信号に変換する。ＪＰＥＧ圧縮回路１１０は、色輝度変換回路１０９から出力されるＹＵＶ信号をＪＰＥＧ方式等により圧縮し、外部記録媒体又は内部記録媒体に画像データとして記録させる。顔検出部１１４は、画像データから顔領域を検出する。

図２は、第１の実施形態におけるＷＢ制御部１０３のＷＢ補正値の算出方法を示すフローチャートである。なお、図２に示す処理に示す処理は、ＣＰＵ１１５がＲＯＭ等から必要なデータ及びプログラムを読み出して実行し、ＷＢ制御部１０３を制御することにより実現する処理である。ステップＳ２０１において、ＷＢ制御部１０３は、第１のＷＢ補正値（第１のホワイトバランス補正値）を算出する。なお、ステップＳ２０１は、第１の算出手段の処理例である。

図３は、図２のステップＳ２０１の詳細を示すフローチャートである。以下、図３を参照しながら、ステップＳ２０１における第１のＷＢ補正値の算出処理について詳細に説明する。

ステップＳ３０１において、ＷＢ制御部１０３は、メモリ１０２に記憶された画像データを読み出し、当該画像データを任意のｍ個のブロックに分割する。ステップＳ３０２において、ＷＢ制御部１０３は、ブロック（１〜ｍ）毎に、画素値を各色に加算平均して色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を算出する。そして、ＷＢ制御部１０３は、次の式を用いて、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を算出する。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４
但し、Ｙ［ｉ］＝（Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］）／４

ＷＢ制御部１０３は、図４に示すような座標軸（黒体放射軸）を持つグラフを用いて白検出を行う。図４において、ｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の白を撮影したときの色評価値を表す。また、ｙ座標（Ｃｙ）は、光源の緑成分の度合いを意味しており、負方向になるにつれてGreen成分が大きくなり、つまり蛍光灯であることを示している。

ステップＳ３０３において、ＷＢ制御部１０３は、ステップＳ３０２で算出したｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が、予め設定された白検出範囲４０１に含まれるか否かを判定する。白検出範囲４０１は、予め異なる光源下で白を撮影して算出した色評価値をプロットしたものである。なお、この白検出範囲４０１は、撮影モードによって異なるように設定できるものとする。色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲４０１に含まれる場合、処理はステップＳ３０４に移行する。一方、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲４０１に含まれない場合、処理はステップＳ３０４をスキップして、ステップＳ３０５に移行する。

ステップＳ３０４において、ＷＢ制御部１０３は、ｉ番目のブロックが白色であると判定して、当該ブロックの色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分する。一方、ステップＳ３０４がスキップされた場合、当該ブロックの色平均値は積分（加算）されないまま、処理はステップＳ３０５に移行する。なお、ステップＳ３０３及びＳ３０４の処理は、次の式によって表すことができる。

ここで、上記式において、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲４０１に含まれる場合、Ｓｗ［ｉ］は１に設定され、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲４０１に含まれない場合、Ｓｗ［ｉ］は０に設定される。これにより、ステップＳ３０３及びＳ３０４において、色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分するか、積分しないかを実質的に行っている。また、上記式におけるパラメータ（Ｗｅｉｇｈｔ［ｉ］）は、例えば図５に示した方法によって決定される。

ここで、図５（ａ）は、図４に示す白検出範囲を４つのノード（ノードＡ〜Ｄ）に分割した状態を示している。ＷＢ制御部１０３は、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が４つのノードのうちのどのノードに属するかを判定し、判定したノードに対応するパラメータ設定方法でパラメータ（Ｗｅｉｇｈｔ［ｉ］）を設定する。図５（ｂ）は、各ノードに対応するパラメータ設定方法を示している。即ち、図５（ｂ）において、５０１は、ノードＡに対応するパラメータ設定方法を示している。５０２は、ノードＢに対応するパラメータ設定方法を示している。５０３は、ノードＣに対応するパラメータ設定方法を示している。５０４は、ノードＤに対応するパラメータ設定方法を示している。ＷＢ制御部１０３は、ｉ番目のブロックがノードＡ〜ノードＤのうちのどのノードに属するかを判定する。そして、ＷＢ制御部１０３は、判定したノードに対応するパラメータ設定方法（ｉ番目のブロックの色評価値（Ｃｘ［ｉ］）とパラメータ（Ｗｅｉｇｈｔ［ｉ］）との関係）を参照し、パラメータ（Ｗｅｉｇｈｔ［ｉ］）を取得する。

ステップＳ３０５において、ＷＢ制御部１０３は、全てのブロックについてステップＳ３０２〜Ｓ３０４の処理を実行したか否かを判定する。全てのブロックについて処理が実行された場合、処理はステップＳ３０６に移行する。一方、全てのブロックについて処理が実行されていない場合、処理はステップＳ３０２に戻る。

ステップＳ３０６において、ＷＢ制御部１０３は、得られた色平均値の積分値（ＳｕｍＲ１，ＳｕｍＧ１，ＳｕｍＢ１）から、次の式を用いて、第３のＷＢ補正値（ＷＢＣｏｌ＿Ｒ３、ＷＢＣｏｌ＿Ｇ３、ＷＢＣｏｌ＿Ｂ３）を算出する。
ＷＢＣｏｌ＿Ｒ３＝ＳｕｍＹ１×１０２４／ＳｕｍＲ１
ＷＢＣｏｌ＿Ｇ３＝ＳｕｍＹ１×１０２４／ＳｕｍＧ１
ＷＢＣｏｌ＿Ｂ３＝ＳｕｍＹ１×１０２４／ＳｕｍＢ１
但し、ＳｕｍＹ１＝（ＳｕｍＲ１＋２×ＳｕｍＧ１＋ＳｕｍＢ１）／４

ステップＳ３０７において、顔検出部１１４は、顔領域を検出したか否かを判定する。なお、ここでの顔領域の検出対象は、ＷＢ補正対象の画像データが適切であるが、それ以前に撮影された他の画像データから顔領域を検出してもよい。顔領域が検出された場合、処理はステップＳ３０８に移行する。一方、顔領域が検出されていない場合、処理はステップＳ３１３に移行する。ステップＳ３１３において、ＷＢ制御部１０３は、ステップＳ３０６において算出した第３のＷＢ補正値（第３のホワイトバランス補正値）を、第１のＷＢ補正値として決定する。

ステップＳ３０８において、ＷＢ制御部１０３は、顔領域に対応するブロック（例えば、顔領域に全体が含まれるブロック）の全てについての色平均値（ＦＲ，ＦＧ，ＦＢ）を取得する。なお、顔領域がブロック単位で検出されない場合には、顔領域に完全に含まれるブロックだけでなく、所定の割合（例えば、５０％以上）が顔領域であるブロックを顔領域に対応するブロックに含めてもよい。

ステップＳ３０９において、ＷＢ制御部１０３は、ステップＳ３０８で取得した色平均値（ＦＲ，ＦＧ，ＦＢ）に、第３のＷＢ補正値（ＷＢＣｏｌ＿Ｒ３，ＷＢＣｏｌ＿Ｇ３，ＷＢＣｏｌ＿Ｂ３）をそれぞれ乗じ、肌色平均値を求める。肌色平均値は、顔領域の色平均値を第３のＷＢ補正値により補正した値であり、肌色評価値の一例である。即ち、次の式によって肌色平均値（ＳＲ,ＳＧ,ＳＢ）が求められる。
ＳＲ＝ＦＲ×ＷＢＣｏｌ＿Ｒ３
ＳＧ＝ＦＧ×ＷＢＣｏｌ＿Ｇ３
ＳＢ＝ＦＢ×ＷＢＣｏｌ＿Ｂ３

ステップＳ３１０において、ＷＢ制御部１０３は、肌色平均値（ＳＲ,ＳＧ,ＳＢ）が肌色補正対象領域内にあるか否かを判別する。

図６は、肌色領域、肌色補正対象領域及び肌色補正対象外領域の例を示す図である。図６において、（Ａ）肌色領域は、第１の色信号領域に対応し、（Ｂ）肌色補正対象領域は、第１の色信号領域からの差分値が所定範囲内の周辺領域である第２の色信号領域に対応する。ここで、図６においては、所定の色空間座標系としてＣｘ、Ｃｙ座標系が用いられているため、ＲＧＢデータをＣｘ＝ＳＲ−ＳＢ、Ｃｙ＝ＳＲ＋ＳＢ−２ＳＧと色差信号に変換してから判別される。勿論、公知の色空間変換方法を適用することにより、任意の色空間で判別することができる。ここで、図６に示す（Ａ）肌色領域及び（Ｂ）肌色補正対象領域は、例えば、太陽光（昼光）等の白色光下で予め肌色を複数撮影し、統計的な手法を用いて設定することができる。また、（Ａ）肌色領域及び（Ｂ）肌色補正対象領域を特定する情報は、ＷＢ制御部１０３に予め登録しておいてもよいし、別の記憶装置に記憶しておき、必要な際にＷＢ制御部１０３が参照してもよい。

肌色平均値が図６の（Ａ）肌色領域に入っている場合、第３のＷＢ補正値により肌色が適正にＷＢ補正されたと判別できるため、ステップＳ３１３において、ＷＢ制御部１０３は、第３のＷＢ補正値を第１のＷＢ補正値として決定する。また、肌色平均値が（Ｃ）肌色補正対象外領域にある場合、ステップＳ３１３において、ＷＢ制御部１０３は、肌色平均値が人の肌を表していないと判別し、やはり第３のＷＢ補正値を第１のＷＢ補正値として決定する。一方、肌色平均値が（Ｂ）肌色補正対象領域内にある場合、第３のＷＢ補正値では、肌色が適正にＷＢ補正されなかったと判別することができる。従って、ステップＳ３１１において、ＷＢ制御部１０３は、肌色平均値と（Ａ）肌色領域との差分値を補正するための第４のＷＢ補正量を算出する。

ここでは、図７に示すように、肌色平均値から（Ａ）肌色領域への移動距離が最も小さくなるような補正量を算出するものとする。即ち、ＷＢ制御部１０３は、肌色平均値の座標（Ｃｘ１,Ｃｙ１）と、（Ａ）肌色領域内で且つ肌色平均値に最も近い点（目標ポイン
ト）の座標（Ｃｘ２,Ｃｙ２）とを用いて、補正量を次の式のように算出する。
ΔＣｘ＝Ｃｘ２−Ｃｘ１
ΔＣｙ＝Ｃｙ２−Ｃｙ１

ＷＢ制御部１０３は、この補正量（ΔＣｘ，ΔＣｙ）を第４のＷＢ補正値（第４のホワイトバランス補正値）ΔＦＷとする。なお、ここで肌色目標値を肌色平均値から（Ａ）肌色領域への移動距離が最も小さくなる座標にしているのは、第３のＷＢ補正値による過補正があっても、適正な肌色の範囲内に入るようにするための制御の一例である。従って、肌色目標値が（Ａ）肌色領域の内部に設定されてもよい。ステップＳ３１２において、ＷＢ制御部１０３は、このようにして算出した第４のＷＢ補正値ΔＦＷと第３のＷＢ補正値との合計を、第１のＷＢ補正値として決定する。

次に、図２のステップＳ２０２における第１のＷＢ補正値に基づくパラメータ設定方法の決定処理について説明する。ＷＢ制御部１０３は、撮影環境下において低色温度光源により照射されているか否かを判定するため、例えば、図８に示す第１のＷＢ補正値（Ｃｘ）とゲイン値（Ｇａｉｎ）との関係を参照し、第１のＷＢ補正値（Ｃｘ）に対するゲイン値（Ｇａｉｎ）を決定する。第１のＷＢ補正値（Ｃｘ）≦Ｔｈ＿Ａ（閾値Ａ）である場合、ＷＢ制御部１０３は、ゲイン値（Ｇａｉｎ）＝０と決定する。このとき、ＷＢ制御部１０３は、低色温度光源で照射されていないと判定し、低色温度方向の白を検出しないように、図９に示すパラメータ設定方法を決定する。

図９は、低色温度光源で照射されていないと判定された場合に決定される、各ノードに対応するパラメータ設定方法を示す図である。即ち、図９において、９０１は、低色温度光源で照射されていない場合のノードＡに対応するパラメータ設定方法を示している。９０２は、低色温度光源で照射されていない場合のノードＢに対応するパラメータ設定方法を示している。９０３は、低色温度光源で照射されていない場合のノードＣに対応するパラメータ設定方法を示している。９０４は、低色温度光源で照射されていない場合のノードＤに対応するパラメータ設定方法を示している。

また、第１のＷＢ補正値（Ｃｘ）≧Ｔｈ＿Ｂ（閾値Ｂ）である場合、ＷＢ制御部１０３は、ゲイン値（Ｇａｉｎ）＝１と決定する。このとき、ＷＢ制御部１０３は、低色温度光源で照射されていると判定し、図５に示すパラメータ設定方法を決定する。さらに、Ｔｈ＿Ａ＜第１のＷＢ補正値（Ｃｘ）＜Ｔｈ＿Ｂである場合、ＷＢ制御部１０３は、０＜ゲイン値（Ｇａｉｎ）＜１の範囲内で合成比率としてのゲイン値（Ｇａｉｎ）を決定する。このとき、ＷＢ制御部１０３は、図５に示すグラフの各点の座標（ｅｘ.Ｐｏｉｎｔ１）と
、図９に示すグラフの各点の座標（ｅｘ.Ｐｏｉｎｔ２）とを、次の式のように線形補間
処理を行うことにより、パラメータ設定方法を決定する。
ＦｉｎａｌＰｏｉｎｔ＝Ｐｏｉｎｔ１＊Ｇａｉｎ＋Ｐｏｉｎｔ２＊（１−Ｇａｉｎ）
なお、図５に示すグラフの各点の座標（ｅｘ.Ｐｏｉｎｔ１）と、図９に示すグラフの
各点の座標（ｅｘ.Ｐｏｉｎｔ２）とはそれぞれ、第１のパラメータと第２のパラメータ
との例である。

また、パラメータ設定方法の決定処理では、撮影環境下で高色温度光源により照射されているか否かに応じて、どのパラメータ設定方法を採用するかを決定してもよい。この場合、ＷＢ制御部１０３は、例えば図１０に示す第１のＷＢ補正値（Ｃｘ）とゲイン値（Ｇａｉｎ）との関係を参照し、第１のＷＢ補正値（Ｃｘ）に対するゲイン値（Ｇａｉｎ）を決定する。即ち、第１のＷＢ補正値（Ｃｘ）≦Ｔｈ＿Ｃ（閾値Ｃ）である場合、ゲイン値（Ｇａｉｎ）＝１と決定される。このとき、ＷＢ制御部１０３は、高色温度光源で照射されていると判定し、図５に示すパラメータ設定方法を決定する。また、第１のＷＢ補正値（Ｃｘ）≧Ｔｈ＿Ｄ（閾値Ｄ）である場合、ゲイン値（Ｇａｉｎ）＝０と決定される。このとき、ＷＢ制御部１０３は、高色温度光源で照射されていないと判定し、高色温度方向の白を検出しないように、図１１に示すパラメータ設定方法を決定する。

図１１は、高色温度光源で照射されていないと判定された場合に決定される、各ノードに対応するパラメータ設定方法を示す図である。即ち、図１１において、１１０１は、高色温度光源で照射されていない場合のノードＡに対応するパラメータ設定方法を示している。１１０２は、高色温度光源で照射されていない場合のノードＢに対応するパラメータ設定方法を示している。１１０３は、高色温度光源で照射されていない場合のノードＣに対応するパラメータ設定方法を示している。１１０４は、高色温度光源で照射されていない場合のノードＤに対応するパラメータ設定方法を示している。

また、Ｔｈ＿Ｃ＜第１のＷＢ補正値（Ｃｘ）＜Ｔｈ＿Ｄである場合、ＷＢ制御部１０３は、１＞ゲイン値（Ｇａｉｎ）＞０の範囲内でゲイン値（Ｇａｉｎ）を決定する。このとき、ＷＢ制御部１０３は、図５に示すグラフの各点の座標（ｅｘ.Ｐｏｉｎｔ１）と、図
１１に示すグラフの各点の座標（ｅｘ.Ｐｏｉｎｔ３）とを、次の式のように線形補間処
理を行うことにより、パラメータ設定方法を決定する。
ＦｉｎａｌＰｏｉｎｔ＝Ｐｏｉｎｔ１＊Ｇａｉｎ＋Ｐｏｉｎｔ３＊（１−Ｇａｉｎ）

次に、図２のステップＳ２０３における第２のＷＢ補正値（第２のホワイトバランス補正値）の算出処理について説明する。ステップＳ２０３において、ＷＢ制御部１０３は、ステップＳ２０２において決定したパラメータ設定方法を用いて、第２のＷＢ補正値を算出する。第２の補正値の算出処理は、図３を用いて説明した第１のＷＢ補正値の算出処理と同様である。但し、第２のＷＢ補正値の算出処理では、図３のステップＳ３０４に対応する処理において、図２のステップＳ２０２で決定されたパラメータ設定方法によりパラメータ（Ｗｅｉｇｈｔ［ｉ］）が取得されて、色平均値の積分処理が行われる。そして、図３のステップＳ３０６に対応する処理においては、得られた色平均値の積分値から第５のＷＢ補正値（第５のホワイトバランス補正値）が算出される。図３のステップＳ３１０に対応する処理において、肌色平均値が肌色補正対象領域内にないと判定された場合、図３のステップＳ３１３に対応する処理において、第５のＷＢ補正値が第２のＷＢ補正値として決定される。一方、図３のステップＳ３１０に対応する処理において、肌色平均値が肌色補正対象領域内にあると判定された場合、図３のステップＳ３１１に対応する処理において、肌色平均値と肌色領域との差分値を補正するための第６のＷＢ補正値（第６のホワイトバランス補正値）ΔＦＷが算出される。そして、図３のステップＳ３１２に対応する処理において、第６のＷＢ補正値ΔＦＷと第５のＷＢ補正値との合計が第２のＷＢ補正値として決定される。ここで、第６のＷＢ補正値ΔＦＷは、第４のＷＢ補正値ΔＦＷより大きな値となるように制御することが好ましい。これは、ステップＳ２０２により白検出範囲を限定できるため、第５のＷＢ補正値が第３のＷＢ補正値と比較してＷＢ補正値としての精度が向上し、肌色補正の信頼性が上がるためである。なお、ステップＳ２０３は、第２の算出手段の処理例である。

本実施形態に係る画像処理装置は、ステップＳ２０３において算出された第２のＷＢ補正値を用いて、メモリ１０２に格納された画像データを現像する。これにより、本実施形態においては、白と誤検出するような有彩色の被写体を撮影した場合においても、見た目に近い色味となる画像データを生成し、ユーザにとって好ましい画像を提供することが可能となる。

次に、本発明の第２の実施形態について説明する。第２の実施形態に係る撮像装置は、図１に示した構成と同様であるため、その説明を省略するとともに、以下の説明においても図１に示した符号を用いるものとする。

図１２は、第２の実施形態におけるＷＢ制御部１０３のＷＢ補正値の算出方法を示すフローチャートである。図１２におけるステップＳ２０１、Ｓ２０２及びＳ２０３は夫々、図２におけるステップＳ２０１、Ｓ２０２及びＳ２０３と同様の処理である。ここでは、第１の実施形態との相違点である、図２のステップＳ１２０１における所定色領域の検出値に基づくパラメータ設定方法の決定処理に主眼をおいて説明を行う。

ステップＳ１２０１において、例えば図１３に示すように、ＷＢ制御部１０３は、白検出範囲における高色温度領域を青色系有彩色の検出領域とし、ステップＳ３０２で算出されるブロックの色評価値に基づき、青色系有彩色の検出領域に含まれるブロック数（ＢｌｕｅＢｌｏｃｋＮｕｍ）と、白検出範囲に含まれるブロック数（ＷｈｉｔｅＢｌｏｃｋＮｕｍ）とを用いて、次の式のように青色系有彩色の検出率（ＢｌｕｅＲａｔｉｏ）を算出する。即ち、画像データにおける青色系有彩色の割合或いは個数に基づいて青色系有彩色の検出率が算出される。なお、青色系有彩色の検出領域は、所定色領域の一例である。
ＢｌｕｅＲａｔｉｏ＝ＢｌｕｅＢｌｏｃｋＮｕｍ／ＷｈｉｔｅＢｌｏｃｋＮｕｍ

ＷＢ制御部１０３は、算出した青色系有彩色の検出率（ＢｌｕｅＲａｔｉｏ）に基づき、図１４に示すグラフに従ってゲイン値（Ｇａｉｎ２）を決定する。そして、ＷＢ制御部１０３は、ゲイン値（Ｇａｉｎ２）を用いて、次の式のようにパラメータ設定方法を決定する。
ＦｉｎａｌＰｏｉｎｔ２＝ＦｉｎａｌＰｏｉｎｔ１＊Ｇａｉｎ２＋Ｐｏｉｎｔ１＊（１−Ｇａｉｎ２）

ステップＳ２０３において、ＷＢ制御部１０３は、ステップＳ１２０１にて決定されたパラメータ設定方法を用いて、第２のＷＢ補正値を算出する。ここでの第２のＷＢ補正値の算出方法は、第１の実施形態におけるステップＳ２０３のＷＢ補正値の算出方法と同様であるが、ステップＳ２０２で決定されたパラメータ設定方法ではなく、ステップＳ１２０１で決定されたパラメータ設定方法を用いて、第２のＷＢ補正値を算出する点が異なる。これにより、本実施形態においては、白と誤検出するような有彩色の被写体を撮影した場合においても、見た目に近い色味となる画像データを生成し、ユーザにとって好ましい画像を提供することが可能となる。

次に、本発明の第３の実施形態について説明する。本発明の第３の実施形態では、動画撮影時等の連続的な撮影時の動作について説明する。第３の実施形態と上述した第１及び第２の実施形態とは、第１のＷＢ補正値の算出処理が異なる。即ち、第３の実施形態における第１のＷＢ補正値の算出処理では、直前のフレームにおいて撮像された画像データ（第１の画像データ）を用いており、第１のＷＢ補正値の算出処理におけるその他の処理部分は、上述した第１及び第２の実施形態と同様である。また、第１のＷＢ補正値の算出処理以降の、パラメータ（Ｗｅｉｇｈｔ）の決定処理や第２のＷＢ補正値の算出処理等も、上述した実施形態と同様に、現フレームにおいて撮像された画像データ（第２の画像データ）について実行される。第３の実施形態においても、上述した第１及び第２の実施形態と同様に、白と誤検出するような有彩色の被写体を撮影した場合においても、見た目に近い色味となる画像データを生成し、ユーザにとって好ましい画像を提供することが可能となる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：固体撮像素子、１０２：メモリ、１０３：ＷＢ制御部、１０４：色変換マトリックス回路、１０５：ＬＰＦ回路、１０６：ＣＳＵＰ回路、１０７：ＲＧＢ変換回路、１０８：γ補正回路、１０９：色輝度変換回路、１１０：ＪＰＥＧ圧縮回路、１１１：Ｙ生成回路、１１２：エッジ強調回路、１１３：制御回路、１１４：顔検出部、１１５：ＣＰＵ

Claims (13)

1. 画像を分割した各ブロックから算出される色評価値のうちで所定の白検出範囲に含まれる色評価値を用いてホワイトバランス補正値を算出する画像処理装置であって、
   前記画像から第１のホワイトバランス補正値を算出する第１の算出手段と、
   前記第１の算出手段により算出された前記第１のホワイトバランス補正値に基づいて、前記白検出範囲内の領域ごとの重みを制御する制御手段と、
   前記画像を分割した各ブロックから算出される色評価値のうちで前記白検出範囲に含まれる色評価値を、色評価値に対応する前記白検出範囲内の領域の重みに応じて積算し、積算値から第２のホワイトバランス補正値を算出する第２の算出手段と、を有することを特徴とする画像処理装置。
2. 前記制御手段は、前記第１のホワイトバランス補正値に基づいて、光源の色温度を判定し、判定された光源の色温度に応じて前記白検出範囲内の領域ごとの重みを制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の算出手段は、黒体放射軸を用いて前記画像から第３のホワイトバランス補正値を算出し、前記画像から所定の領域を検出し、前記第３のホワイトバランス補正値を前記所定の領域に適用することによって所定の色の評価値を取得し、前記評価値が前記所定の色の領域から外れている場合、前記評価値が前記所定の色の領域に含まれるように補正するための第４のホワイトバランス補正値を算出し、前記第３のホワイトバランス補正値と前記第４のホワイトバランス補正値とに基づいて、前記第１のホワイトバランス補正値を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の算出手段は、前記画像から前記所定の領域が検出されなかった場合、前記第３のホワイトバランス補正値を前記第１のホワイトバランス補正値として決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の算出手段は、前記評価値が前記所定の色の領域に含まれる場合、前記第３のホワイトバランス補正値を前記第１のホワイトバランス補正値として決定することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記第２の算出手段は、前記画像を分割した各ブロックから算出される色評価値のうちで前記白検出範囲に含まれる色評価値を、色評価値に対応する前記白検出範囲内の領域の重みに応じて積算し、積算値から第５のホワイトバランス補正値を算出し、前記画像から所定の領域を検出し、前記第５のホワイトバランス補正値を前記所定の領域に適用することによって所定の色の評価値を取得し、前記評価値が前記所定の色の領域から外れている場合、前記評価値が前記所定の色の領域に含まれるように補正するための第６のホワイトバランス補正値を算出し、前記第５のホワイトバランス補正値と前記第６のホワイトバランス補正値とに基づいて、前記第２のホワイトバランス補正値を算出することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記第２の算出手段は、前記画像から前記所定の領域が検出されなかった場合、前記第５のホワイトバランス補正値を前記第２のホワイトバランス補正値として決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記第２の算出手段は、前記評価値が前記所定の色の領域に含まれる場合、前記第５のホワイトバランス補正値を前記第２のホワイトバランス補正値として決定することを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記第１の算出手段は、黒体放射軸を用いて前記画像から第３のホワイトバランス補正値を算出し、前記画像から所定の領域を検出し、前記第３のホワイトバランス補正値を前記所定の領域に適用することによって所定の色の評価値を取得し、前記評価値が前記所定の色の領域から外れている場合、前記評価値が前記所定の色の領域に含まれるように補正するための第４のホワイトバランス補正値を算出し、前記第２の算出手段は、前記画像を分割した各ブロックから算出される色評価値のうちで前記白検出範囲に含まれる色評価値を、色評価値に対応する前記白検出範囲内の領域の重みに応じて積算し、積算値から第５のホワイトバランス補正値を算出し、前記画像から所定の領域を検出し、前記第５のホワイトバランス補正値を前記所定の領域に適用することによって所定の色の評価値を取得し、前記評価値が前記所定の色の領域から外れている場合、前記評価値が前記所定の色の領域に含まれるように補正するための第６のホワイトバランス補正値を算出し、前記第４のホワイトバランス補正値よりも前記第６のホワイトバランス補正値を大きな値とするように制御することを特徴とする請求項１又は２に記載の画像処理装置。
10. 前記制御手段は、前記第１のホワイトバランス補正値が所定の値以下である場合、低色温度方向の白を検出しないように、前記白検出範囲内の領域ごとの重みを制御することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記制御手段は、前記第１のホワイトバランス補正値が所定の値以上である場合、高色温度方向の白を検出しないように、前記白検出範囲内の領域ごとの重みを制御することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 画像を分割した各ブロックから算出される色評価値のうちで所定の白検出範囲に含まれる色評価値を用いてホワイトバランス補正値を算出する画像処理装置によって実行される画像処理方法であって、
    前記画像から第１のホワイトバランス補正値を算出する第１の算出ステップと、
    前記第１の算出ステップにより算出された前記第１のホワイトバランス補正値に基づいて、前記白検出範囲内の領域ごとの重みを制御する制御ステップと、
    前記画像を分割した各ブロックから算出される色評価値のうちで前記白検出範囲に含まれる色評価値を、色評価値に対応する前記白検出範囲内の領域の重みに応じて積算し、積算値から第２のホワイトバランス補正値を算出する第２の算出ステップと、を有することを特徴とする画像処理方法。
13. 画像を分割した各ブロックから算出される色評価値のうちで所定の白検出範囲に含まれる色評価値を用いてホワイトバランス補正値を算出する画像処理装置を制御するためのプログラムであって、
    前記画像から第１のホワイトバランス補正値を算出する第１の算出ステップと、
    前記第１の算出ステップにより算出された前記第１のホワイトバランス補正値に基づいて、前記白検出範囲内の領域ごとの重みを制御する制御ステップと、
    前記画像を分割した各ブロックから算出される色評価値のうちで前記白検出範囲に含まれる色評価値を、色評価値に対応する前記白検出範囲内の領域の重みに応じて積算し、積算値から第２のホワイトバランス補正値を算出する第２の算出ステップと、をコンピュータに実行させるためのプログラム。

Images