JP5589585B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に撮像された画像から色再現性の高い画像を生成する画像処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

照明環境の異なる複数枚の画像を用いた画像処理の代表的な例として、フラッシュを発光して撮像した画像の色再現性向上を目的としたフラッシュ発光および非発光の２枚の画像を用いたホワイトバランス処理がある。一般に、フラッシュの光と環境光は色温度が異なるために、フラッシュを発光した写真撮像ではフラッシュが当たった個所とそれ以外では照明の色バランスが異なる。そのため、領域毎に被写体にあたる光の色バランスが変化してしまい、従来のように画面に一様なホワイトバランスを施すゲイン処理では破綻が生じることがあった。これに対して、フラッシュ発光および非発光の２枚の画像から照明のフラッシュ成分と環境光成分を分離し、画素毎にホワイトバランスゲインを調整する試みがなされてきた（例えば、特許文献１参照。）。

特開２００５−２１０４８５号公報（図１）

従来の複数枚画像を用いた手法では、２枚画像の差分をとることによって照明成分を分離し、それぞれを単一照明環境下で撮像された画像のホワイトバランスの問題として処理し、合成することによって解決してきた。しかし、従来の手法には以下のように２つの大きな問題がある。

第１の問題は、環境光の変化に対応できないという問題である。基準画像および処理対象画像の２枚の差分を単一照明の問題として扱うためには、２枚の画像の間でフラッシュ以外の照明成分が一定でなければならない。そのため、撮像時に日光が陰るなどの変化が生じた場合にはうまく対応できなくなるという問題がある。

第２の問題は、動被写体への対応が困難であるという問題である。基準画像と処理対象画像の間で動いた被写体に属する画素では、分光反射率の異なる画素を比較することになり画像の差分による照明成分の分離が行えない。このため、従来の手法では、カメラの向きが変化した画像、動被写体が存在する画像などの組み合わせには対応できないという問題があった。複数枚画像の画像処理におけるこれらずれに対する問題には、三脚の使用やグローバルモーションベクター（Global Motion Vector）、ブロックマッチングによる位置合わせ等の解決手段が提案されて来た。 しかしながら、三脚を用いた場合には、カメラが動いてしまうことによるずれは解決できるが、動被写体には対応できない。 グローバルモーションベクターやブロックマッチングでは、一般にＳＡＤ（Sum of Absolute Difference）という２枚の画像の差分に基づいて動きが推測される。しかし、照明環境が異なる場合には差分が照明成分の変化によるものか動被写体によるものかを判断することができず、精度が落ちるという問題がある。

本発明はこのような状況に鑑みてなされたものであり、照明環境が異なる複数枚画像から照明成分による影響を取り除き、色再現性の高い画像を生成することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、異なる照明環境下で撮像された基準画像および処理対象画像から、各画素位置におけるチャンネル毎に照明成分を変換するためのゲインを算出するチャンネルゲイン算出部と、上記ゲインを上記処理対象画像に適用するためのチャンネルゲイン適用部とを具備する画像処理装置、画像処理方法およびプログラムである。これにより、異なる照明環境下で撮像された基準画像を利用して処理対象画像の各画素位置におけるチャンネル毎に照明成分を変換させるという作用をもたらす。

また、この第１の側面において、上記チャンネルゲイン算出部は、上記処理対象画像の特定のチャンネルのゲインを固定して、上記処理対象画素の色バランスを上記基準画像と一致するように上記ゲインを算出してもよい。また、上記チャンネルゲイン算出部は、上記処理対象画像の輝度値を固定して、上記処理対象画素の色バランスを上記基準画像と一致するように上記ゲインを算出してもよい。

また、この第１の側面において、上記チャンネルゲイン算出部は、所定の上限値を超える値が上記ゲインとして算出された場合には上記上限値を上記ゲインとし、または、所定の下限値を下回る値が上記ゲインとして算出された場合には上記下限値を上記ゲインとしてもよい。これにより、上限値および下限値の範囲を逸脱したゲインを除去するという作用をもたらす。

また、この第１の側面において、上記チャンネルゲイン算出部は、上記基準画像の画素値から画素の飽和度を算出する飽和度算出部と、上記飽和度に応じて上記ゲインの補償処理を行う飽和補償部とを備えてもよい。これにより、飽和度に応じてゲインを補償させるという作用をもたらす。

また、この第１の側面において、上記チャンネルゲイン算出部は、上記基準画像の画素値から画素の黒つぶれ度を算出する黒つぶれ度算出部と、上記黒つぶれ度に応じて上記ゲインの補償処理を行う黒つぶれ補償部とを備えてもよい。また、上記チャンネルゲイン算出部は、上記基準画像の画素値および上記基準画像と上記処理対象画像とのチャンネル間比率から画素の黒つぶれ度を算出する黒つぶれ度算出部と、上記黒つぶれ度に応じて上記ゲインの補償処理を行う黒つぶれ補償部とを備えてもよい。これにより、黒つぶれ度に応じてゲインを補償させるという作用をもたらす。

また、この第１の側面において、上記基準画像および上記処理対象画像の撮像条件の違いを補償するために露出強度が等しくなるよう強度調整する露出補償部をさらに具備してもよい。これにより、撮像条件の違いを補償させるという作用をもたらす。

また、この第１の側面において、上記チャンネルゲイン適用部は、上記基準画像の画素値から画素の飽和信頼度を算出する飽和信頼度算出部と、上記飽和信頼度に基づいて上記ゲインを空間平滑化した上で上記処理対象画素に対して適用する平滑化処理部とを備えてもよい。これにより、飽和信頼度に基づいて空間平滑化したゲインにより照明成分を変換させるという作用をもたらす。

また、この第１の側面において、上記チャンネルゲイン適用部は、上記基準画像の画素値から画素の黒つぶれ信頼度を算出する黒つぶれ信頼度算出部と、上記黒つぶれ信頼度に基づいて上記ゲインを空間平滑化した上で上記処理対象画素に対して適用する平滑化処理部とを備えてもよい。また、この第１の側面において、上記チャンネルゲイン適用部は、上記基準画像の画素値および上記基準画像と上記処理対象画像とのチャンネル間比率から画素の黒つぶれ信頼度を算出する黒つぶれ信頼度算出部と、上記黒つぶれ信頼度に基づいて上記ゲインを空間平滑化した上で上記処理対象画素に対して適用する平滑化処理部とを備えてもよい。これにより、黒つぶれ信頼度に基づいて空間平滑化したゲインにより照明成分を変換させるという作用をもたらす。

また、この第１の側面において、上記チャンネルゲイン適用部は、上記基準画像と上記処理対象画像の対応画素における特性値の変化から空間的に被写体が動いた画素か否かを判定して動被写体信頼度を算出する動被写体信頼度算出部と、上記動被写体信頼度に基づいて上記ゲインを空間平滑化した上で上記処理対象画素に対して適用する平滑化処理部とを備えてもよい。また、この第１の側面において、上記動被写体信頼度算出部は、上記基準画像と上記処理対象画像の対応画素の分光反射率の変化に応じて上記動被写体信頼度を算出する分光反射率変化量予測部を備えてもよい。これにより、動被写体信頼度に基づいて空間平滑化したゲインにより照明成分を変換させるという作用をもたらす。

また、この第１の側面において、上記基準画像または上記処理対象画像の解像度を変換した上で上記チャンネルゲイン算出部に供給する解像度変換部をさらに具備してもよい。その際、この第１の側面において、上記解像度変換部は、画素の間引きによる縮小により上記解像度変換を行ってもよく、ブロック内の画素の平均に基づく縮小により上記解像度変換を行ってもよい。また、ブロック内の画素の中央値に基づく縮小により上記解像度変換を行ってもよい。また、エッジ保存型平滑化フィルタ処理により上記解像度変換を行ってもよい。これにより、基準画像と処理対象画像のサイズを合致させるという作用をもたらす。

また、この第１の側面において、連続して撮像された画像を格納するためのフレームメモリと、上記連続撮像された画像を重み付けしながら加算して入力画像を作成する加算部と、上記連続撮像に使用する制御パラメータを決定して撮像の繰り返し制御を行う制御パラメータ決定部とをさらに具備してもよい。これにより、連続撮像された複数の画像から合成された画像を入力画像として利用させるという作用をもたらす。

また、この第１の側面において、上記基準画像はフラッシュ発光無しで撮像された画像として、上記処理対象画像はフラッシュ発光有りで撮像された画像とした組合せを利用してもよい。

また、この第１の側面において、上記チャンネルゲイン適用部は、上記処理対象画像の画素値から輝度を算出する輝度算出部と、画素間の輝度の差に基づいて前記ゲインを空間平滑化した上で上記処理対象画素に対して適用する平滑化処理部とを備えてもよい。この場合において、上記輝度算出部は、上記処理対象画像の画素値に対して予め設定された重みによる線形和として上記輝度を算出してもよく、また、上記基準画像と上記処理対象画像の対応画素の強度比を目的変量とし、上記処理対象画像の画素値を説明変量とした重回帰分析に基づいて前記輝度を算出してもよい。

また、本発明の第２の側面は、空間軸方向および輝度軸方向に領域を複数に分割した各ブロックについて処理対象画像の画素の頻度値をブロックヒストグラムとして算出するブロックヒストグラム算出部と、上記各ブロックに属する特性値の積分値を算出するブロック積分値算出部と、ブロックヒストグラムとブロック積分値と当該画素位置の輝度値とから当該画素位置の大局ゲイン値を算出する加重積和部と、上記処理対象画像に上記大局ゲイン値を適用するゲイン適用部とを具備する画像処理装置である。これにより、異なる照明環境下で撮像された基準画像を利用して大局ゲイン値を求め、この大局ゲイン値を適用することにより処理対象画像の各画素位置におけるチャンネル毎に照明成分を変換させるという作用をもたらす。

また、この第２の側面において、上記ブロック毎の特性値の積分値は、上記各ブロックに属する画素のチャンネル毎に照明成分を変換するためのゲインのチャンネル毎の総和であってもよく、上記各ブロックに属する画素の照明成分を変換するためのゲインのチャンネル毎の中央値にブロック内処理対象画像の画素の頻度値をかけたものであってもよい。

また、この第２の側面において、上記加重積和部は、予め定義された空間軸方向の重み関数によって当該画素位置への上記ブロックヒストグラムの補間を行う第１の補間部と、予め定義された空間軸方向の重み関数によって当該画素位置への上記ブロック毎の特性値の補間を行う第２の補間部と、予め定義された輝度軸方向の重み関数によって上記補間されたブロックヒストグラムの荷重和を算出する第１の積和部と、予め定義された輝度軸方向の重み関数によって上記補間された特性値の荷重和を算出する第２の積和部と、上記第２の積和部の出力を上記第１の積和部の出力によって除算する除算部とを備えてもよい。また、この加重積和部における保管処理は、順序を入れ替えて、輝度方向の補間、空間方向の補間の順で行っても構わない。

また、この第２の側面において、上記加重積和部は、上記ブロック毎の特性値を上記ブロックヒストグラムの値で除算することによってブロック位置毎の平均特性値を計算する除算部と、上記平均特性値と当該画素位置に関する特性値とを比較することによって重みを計算する比較部と、上記比較部において算出された重みを対応するブロック位置の上記ブロック毎の特性値に乗じる第１の乗算部と、上記比較部において算出された重みを対応するブロック位置の上記ブロックヒストグラムの値に乗じる第２の乗算部と、予め定義された空間軸方向の重み関数によって当該画素位置へ上記第１の乗算部の出力である重み付きブロックヒストグラムの補間を行う第１の補間部と、予め定義された予め定義された空間軸方向の重み関数によって当該画素位置への第２の乗算部の出力であるブロック毎の重み付き特性値の補間を行う第２の補間部と、予め定義された輝度軸方向の重み関数によって上記補間されたブロックヒストグラムの荷重和を算出する第１の積和部と、予め定義された輝度軸方向の重み関数によって上記補間された特性値の荷重和を算出する第２の積和部と、上記第２の積和部の出力を上記第１の積和部の出力によって除算する除算部とを備えてもよい。

本発明によれば、照明環境が異なる複数枚画像から照明成分による影響を取り除き、色再現性の高い画像を生成することができるという優れた効果を奏し得る。

本発明の実施の形態における撮像装置の一例を示す図である。 本発明の第１の実施の形態における画像処理回路２３の処理機能の一例を示す図である。 本発明の実施の形態において想定するモザイク画像の色配列の一例としてのベイヤー配列を示す図である。 本発明の実施の形態において想定するモザイク画像の色配列の一例としてのベイヤー配列におけるベイヤーセットを示す図である。 本発明の第１の実施の形態における照明成分変換処理部１２０の構成例を示す図である。 本発明の第１の実施の形態におけるチャンネルゲイン算出部２５０の構成例を示す図である。 本発明の第１の実施の形態における黒つぶれ度の一例を示す図である。 本発明の第１の実施の形態における黒つぶれ度の他の例を示す図である。 本発明の第１の実施の形態における飽和度の一例を示す図である。 本発明の実施の形態におけるチャンネルゲイン適用部２６０の第１の構成例を示す図である。 本発明の実施の形態における撮像装置の動作例を示す図である。 本発明の第１の実施の形態における照明成分変換処理手順の動作例を示す図である。 本発明の第１の実施の形態におけるチャンネルゲイン算出処理手順の動作例を示す図である。 本発明の第１の実施の形態におけるチャンネルゲイン適用処理手順の動作例を示す図である。 本発明の第２の実施の形態における照明成分変換処理部１２０の構成例を示す図である。 本発明の第２の実施の形態におけるチャンネルゲイン適用部２６０の構成例を示す図である。 本発明の第２の実施の形態における飽和信頼度の一例を示す図である。 本発明の第２の実施の形態における黒つぶれ信頼度の一例を示す図である。 本発明の第２の実施の形態における黒つぶれ信頼度の他の例を示す図である。 本発明の第２の実施の形態における動被写体信頼度算出部４６０の構成例を示す図である。 本発明の第２の実施の形態における比率逆転度の一例を示す図である。 本発明の第２の実施の形態における予測比率の一例を示す図である。 本発明の第２の実施の形態における分光反射率変化量の一例を示す図である。 本発明の第２の実施の形態におけるチャンネルゲイン適用部２６０の動作例を示す図である。 本発明の実施の形態における動被写体信頼度算出部４６０の動作例を示す図である。 本発明の第３の実施の形態における平滑化処理部４８０の処理機能例を示す図である。 本発明の第３の実施の形態におけるブロック積分値算出部５３１、５３２およびブロックヒストグラム算出部５３３の構成例を示す図である。 本発明の第３の実施の形態における加重積和部５６１および５６２の構成例を示す図である。 本発明の第３の実施の形態における輝度重み関数の形状の一例を示す図である。 本発明の第３の実施の形態における平滑化処理部４８０の動作例の前半を示す図である。 本発明の第３の実施の形態における平滑化処理部４８０の動作例の後半を示す図である。 本発明の第３の実施の形態におけるブロック積分値算出部５３１、５３２およびブロックヒストグラム算出部５３３の動作例を示す図である。 本発明の第３の実施の形態における加重積和部５６１および５６２の動作例を示す図である。 本発明の第４の実施の形態における照明成分変換処理部１２０の構成例を示す図である。 本発明の第４の実施の形態におけるチャンネルゲイン適用部２６０の構成例を示す図である。 本発明の第４の実施の形態における平滑化処理部４８０の構成例を示す図である。 本発明の第４の実施の形態における照明成分変換処理部１２０の動作例を示す図である。 本発明の第４の実施の形態におけるチャンネルゲイン適用部２６０の動作例を示す図である。 本発明の第４の実施の形態における平滑化処理部４８０の動作例の前半を示す図である。 本発明の第４の実施の形態における平滑化処理部４８０の動作例の後半を示す図である。 本発明の第５の実施の形態における照明成分変換処理部１２０の構成例を示す図である。 本発明の第５の実施の形態におけるフレーム加算部２８０の構成例を示す図である。 本発明の第５の実施の形態における照明成分変換処理部１２０の動作例の前半を示す図である。 本発明の第５の実施の形態における照明成分変換処理部１２０の動作例の後半を示す図である。 本発明の第６の実施の形態における画像処理回路２３の処理機能の一例を示す図である。 本発明の第７の実施の形態における画像処理回路２３の処理機能の一例を示す図である。 本発明の第８の実施の形態における画像処理回路２３の処理機能の一例を示す図である。 本発明の第９の実施の形態における平滑化処理部４８０の処理機能例を示す図である。 本発明の第９の実施の形態における平滑化処理部４８０の他の処理機能例を示す図である。 本発明の第９の実施の形態における平滑化処理部４８０の図４８の処理機能例に対応する動作例の前半を示す図である。 本発明の第９の実施の形態における平滑化処理部４８０の図４８の処理機能例に対応する動作例の後半を示す図である。 本発明の第９の実施の形態における平滑化処理部４８０の図４９の処理機能例に対応する動作例の１枚目を示す図である。 本発明の第９の実施の形態における平滑化処理部４８０の図４９の処理機能例に対応する動作例の２枚目を示す図である。 本発明の第９の実施の形態における平滑化処理部４８０の図４９の処理機能例に対応する動作例の３枚目を示す図である。 本発明の第１０の実施の形態における平滑化処理部４８０の処理機能例を示す図である。 本発明の第１０の実施の形態における加重積和部５６１および５６２の構成例を示す図である。 本発明の第１０の実施の形態における加重積和の重みθの算出例を示す図である。 本発明の第１０の実施の形態における平滑化処理部４８０の他の処理機能例を示す図である。 本発明の第１０の実施の形態における平滑化処理部４８０の図５８の処理機能例に対応する加重積和部５６１および５６２の構成例を示す図である。 本発明の第１０の実施の形態における平滑化処理部４８０の図５５の処理機能例に対応する動作例を示す図である。 本発明の第１０の実施の形態における加重積和部５６１および５６２の動作例の前半を示す図である。 本発明の第１０の実施の形態における加重積和部５６１および５６２の動作例の後半を示す図である。 本発明の第１０の実施の形態における平滑化処理部４８０の動作例を示す図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（乗算によりゲイン適用を行う例）
２．第２の実施の形態（重み付け平滑化によりゲイン適用を行う例）
３．第３の実施の形態（ブロックヒストグラムを利用したエッジ保存型平滑化によりゲイン適用を行う例）
４．第４の実施の形態（入力画像に対して解像度変換を行う例）
５．第５の実施の形態（フレームメモリを利用して入力画像を合成する例）
６．第６の実施の形態（ホワイトバランス処理を照明成分変換処理の前段で行う例）
７．第７の実施の形態（ホワイトバランス処理された入力画像を用いる例）
８．第８の実施の形態（ガンマ補正処理された入力画像を用いる例）
９．第９の実施の形態（重回帰分析を利用して輝度を算出する例）
１０．第１０の実施の形態（ゲインを利用して平滑化を行う例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明の実施の形態における撮像装置の一例を示す図である。この撮像装置は、大別して光学系、信号処理系、記録系、表示系、および、制御系から構成される。

光学系は、被写体の光画像を集光するレンズ１１と、光画像の光量を調整する絞り１２と、集光された光画像を光電変換して電気信号に変換する撮像素子１３とから構成される。撮像素子１３は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどにより実現される。

信号処理系は、サンプリング回路２１と、Ａ／Ｄ変換回路２２と、画像処理回路２３とから構成される。サンプリング回路２１は、撮像素子１３からの電気信号をサンプリングするものである。このサンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現される。これにより、撮像素子１３で発生するノイズが軽減される。Ａ／Ｄ変換回路２２は、サンプリング回路２１から供給されるアナログ信号をディジタル信号に変換するものである。画像処理回路２３は、Ａ／Ｄ変換回路２２から入力されるディジタル信号に所定の画像処理を施すものである。この画像処理回路２３は、例えば、ＤＳＰ（Digital Signal Processor）によって実現される。なお、この画像処理回路２３により実行される処理の詳細については後述する。

記録系は、画像信号を記憶するメモリ３２と、画像処理回路２３によって処理された画像信号を符号化してメモリ３２に記録し、また、メモリ３２から画像信号を読み出して復号し、画像処理回路２３に供給する符号化／復号器３１とから構成される。なお、メモリ３２は、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等であってよい。

表示系は、画像処理回路２３によって処理された画像信号を表示部４２に出力する表示ドライバ４１と、入力される画像信号に対応する画像を表示する表示部４２とから構成される。表示部４２は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。

制御系は、タイミング生成器５１と、操作入力受付部５２と、ドライバ５３と、制御部５４と、フラッシュ発光部６１と、フラッシュ制御部６２とから構成される。タイミング生成器５１は、撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３の動作タイミングを制御するものである。操作入力受付部５２は、ユーザによるシャッタ操作やその他のコマンド入力を受け付けるものである。ドライバ５３は、周辺機器を接続するためのドライバである。このドライバ５３には、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等が接続される。制御部５４は、撮像装置全体を制御するものである。この制御部５４は、これらに記憶されている制御用プログラムを、ドライバ５３を介して読み出し、読み出した制御用プログラムや操作入力受付部５２から入力されるユーザからのコマンド等に基づいて制御を行う。フラッシュ発光部６１は、撮像の際に被写体に光を照らすためのものであり、ストロボと呼ばれることもある。フラッシュ制御部６２は、フラッシュ発光部６１を制御するものであり、ユーザからの指示や周囲の明るさ等に従ってフラッシュ発光部６１を発光させる。

画像処理回路２３、符号化／復号器３１、メモリ３２、表示ドライバ４１、タイミング生成器５１、操作入力受付部５２、制御部５４、および、フラッシュ制御部６２は、バス５９を介して相互に接続されている。

この撮像装置において、被写体の光学画像（入射光）は、レンズ１１および絞り１２を介して撮像素子１３に入射され、撮像素子１３によって光電変換されて電気信号となる。得られた電気信号は、サンプリング回路２１によってノイズ成分が除去され、Ａ／Ｄ変換回路２２によってディジタル化された後、画像処理回路２３が内蔵する（図示しない）画像メモリに一時格納される。

なお、通常の状態では、タイミング生成器５１による信号処理系に対する制御により、画像処理回路２３の内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理回路２３の内蔵する画像メモリの画像信号は、表示ドライバ４１を介して表示部４２に出力され、対応する画像が表示部４２に表示される。

表示部４２は、撮像装置のファインダとしての役割も担っている。ユーザが操作入力受付部５２に含まれるシャッタボタンを押下した場合、制御部５４は、タイミング生成器５１に対して、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理回路２３の画像メモリに画像信号が上書きされないように、信号処理系を制御する。画像処理回路２３の画像メモリに保持された画像データは、符号化／復号器３１によって符号化されてメモリ３２に記録される。以上のような撮像装置の動作によって、１枚の画像データの取込みが完了する。

［画像処理回路２３の処理機能例］
図２は、本発明の第１の実施の形態における画像処理回路２３の処理機能の一例を示す図である。画像処理回路２３は、照明成分変換処理部１２０と、ホワイトバランス処理部１３０と、デモザイク処理部１４０と、階調補正処理部１５０と、ガンマ補正処理部１６０と、ＹＣ変換処理部１７０とを備える。この画像処理回路２３は、Ａ／Ｄ変換回路２２によってデジタイズされたモザイク画像を入力画像として画像処理を施すものである。モザイク画像は、各画素にＲ、Ｇ、Ｂの何れかの色に対応する強度信号が格納されたものであり、その色配列は図３に示すようなベイヤー配列を想定している。なお、モザイク画像は、ＲＡＷデータと呼ばれることもある。また、各画素で格納する強度信号は、Ｒ、Ｇ、Ｂに限らず、Ｃ、Ｍ、Ｙ、または、それ以外の色情報でも構わない。

画像処理回路２３は、入力部に基準モザイク画像保持部１１１および処理対象モザイク画像保持部１１２を備える。基準モザイク画像保持部１１１は、基準（criterion）となるモザイク画像（基準画像Ｍ_ｃ）を保持するメモリである。処理対象モザイク画像保持部１１２は、処理対象（subject）となるモザイク画像（処理対象画像Ｍ_ｓ）を保持するメモリである。本発明の実施の形態では、基準画像における色バランス（色の比率）を利用して処理対象画像の色バランスを調整することを想定する。

照明成分変換処理部１２０は、基準画像における色の比率を利用して処理対象画像の照明成分を変換して、モザイク画像Ｍ_ｌを生成するものである。すなわち、処理対象画像には、基準画像の色バランスと等しくなるようにチャンネル毎に適切な係数が掛けられて、単一の光源の色バランスに変換される。なお、この照明成分変換処理部１２０の構成については後述する。

ホワイトバランス処理部１３０は、モザイク画像Ｍ_ｌに対してホワイトバランス処理を施すものである。このホワイトバランス処理部１３０は、モザイク画像Ｍ_ｌに対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数を掛けるものである。このホワイトバランス処理を施されたモザイク画像Ｍ_ｗは、デモザイク処理部１４０に供給される。

デモザイク処理部１４０は、モザイク画像Ｍ_ｗの各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃うように補間処理（デモザイク処理）を行うものである。この補間処理の施されたデモザイク画像［Ｒ_ｇ，Ｇ_ｇ，Ｂ_ｇ］^Ｔは、Ｒ（Red：赤）、Ｇ（Green：緑）、Ｂ（Blue：青）の３つの色に対応する３つの画像（ＲＧＢ画像）であり、階調補正処理部１５０に供給される。なお、行列Ａ^Ｔは、行列Ａの転置行列を意味する。

階調補正処理部１５０は、デモザイク処理部１４０の出力の画像［Ｒ_ｇ，Ｇ_ｇ，Ｂ_ｇ］^Ｔにおける各画素に階調補正処理を施すものである。この階調補正処理の施された画像［Ｒ_ｕ，Ｇ_ｕ，Ｂ_ｕ］^Ｔは、ガンマ補正処理部１６０に供給される。

ガンマ補正処理部１６０は、画像［Ｒ_ｕ，Ｇ_ｕ，Ｂ_ｕ］^Ｔに対してガンマ補正処理を施すものである。ガンマ補正処理は、表示部４２において入力画像に忠実な表示を再現するための補正である。このガンマ補正処理部１６０の出力［Ｒ_ｕ ^γ，Ｇ_ｕ ^γ，Ｂ_ｕ ^γ］^Ｔは、ＹＣ変換処理部１７０に供給される。

ＹＣ変換処理部１７０は、ガンマ補正された３チャネル画像［Ｒ_ｕ ^γ，Ｇ_ｕ ^γ，Ｂ_ｕ ^γ］^ＴにＹＣマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度信号Ｙおよび色差信号Ｃ（Ｃｒ，Ｃｂ）を出力するものである。この輝度信号および色差信号は、それぞれＹ画像保持部１９１およびＣ画像保持部１９２に保持されて、画像処理回路２３の後段の符号化／復号器３１に供給される。

なお、表示ドライバ４１には、通常の場合、ＲＧＢ信号が供給される。このＲＧＢ信号は、ＹＣ変換処理部１７０の出力である輝度信号および色差信号をＲＧＢ信号に変換したものである。

［ベイヤー配列とベイヤーセット］
図３は、本発明の実施の形態において想定するモザイク画像の色配列の一例としてのベイヤー配列を示す図である。このベイヤー配列では、Ｇの色の画素が市松状に配置され、それ以外の画素位置ではＲの色の画素が水平方向および垂直方向に１画素おきの正方格子状に配置され、残りの画素位置にＢの色の画素が水平方向および垂直方向に１画素おきの正方格子状に配置されている。

図４は、本発明の実施の形態において想定するモザイク画像の色配列の一例としてのベイヤー配列におけるベイヤーセットを示す図である。本発明の実施の形態では、照明成分変換処理部１２０における照明成分の変換処理の際にモザイク画像の横２画素×縦２画素の４画素を単位として扱ってもよい。この４画素の集合をベイヤーセットと称する。具体的には、Ｇ、Ｂ、Ｒ、Ｇの４つの画素に接する位置６０１を中心として、それら４つの画素をまとめたものがベイヤーセット６０２となる。

［照明成分変換処理部１２０の構成例］
図５は、本発明の第１の実施の形態における照明成分変換処理部１２０の構成例を示す図である。照明成分変換処理部１２０は、デモザイク処理部２２１および２２２と、ホワイトバランス算出部２３０と、基準画像ホワイトバランス保持部２４０と、チャンネルゲイン算出部２５０と、チャンネルゲイン適用部２６０とを備える。

デモザイク処理部２２１は、基準モザイク画像保持部１１１に保持された基準画像に対してデモザイク処理を施して、画素毎に強度や信頼度を求めるために必要なチャンネルが揃った基準画像のデモザイク画像Ｉ_ｃ（ｐ）を生成するものである。なお、ｐは各画素位置を表す。デモザイク処理部２２２は、処理対象モザイク画像保持部１１２に保持された処理対象画像に対してデモザイク処理を施して、画素毎に強度や信頼度を求めるために必要なチャンネルが揃った処理対象画像のデモザイク画像Ｉ_ｓ（ｐ）を生成するものである。なお、本発明の第１の実施の形態においては、強度を求めるためのＧチャンネルが画素毎に求まっていればよい。

デモザイク処理部２２１および２２２は、デモザイク処理を行う際、図４のベイヤーセット６０２を処理単位として位置６０１へデモザイクする簡易的な処理で構わない。このときのデモザイク方法は、ＲおよびＢチャンネルの画素はそのまま使用し、Ｇチャンネルの画素は２つの画素の平均をとるような処理でよい。この場合は、縦横１／２に縮小され、３チャンネル揃った画像が作成される。また、デモザイク処理部２２１および２２２におけるデモザイク処理は、図２のデモザイク処理部１４０におけるデモザイク処理のように、より広い領域を参照して画素毎に行うものであってもよい。この場合は、縮小は行われず、デモザイクのみが行われることになる。また、画素毎にデモザイク処理を行った際にはデモザイク前の画素ｐ_Ｍとデモザイク後の画素ｐが等しくなり、モザイク画像Ｍｓからゲイン適用部への線は不要になる。

ホワイトバランス算出部２３０は、基準モザイク画像保持部１１１に保持された基準画像に対してチャンネル毎のホワイトバランスゲインを算出するものである。このときのホワイトバランスの算出方法としては、グレイワールド仮説に基づき画面全体のＲＧＢ画素の平均値の比率を１：１：１にするようなゲインとして求めてもよい。また、別の算出法としては、処理対象モザイク画像保持部１１２に保持された処理対象画像とあわせて特開２００６−６７５６１号公報の第００７１乃至００８１段落に記載されているように最適化問題としてホワイトバランスを求めることも可能である。さらに、図２におけるホワイトバランス処理部１３０と同様の手法により設定しても構わない。また、ホワイトバランスは撮像前に事前に設定する形を取ることも可能である。設定する方法としては、カラーメータ等の別機器によって計測された色温度に基づいて、撮像時に撮像者が設定することが想定される。蛍光灯や曇天などシーンを設定することで、プリセットホワイトバランスを利用して設定することもできる。または、カスタムホワイトバランス（白セット）機能などを利用して白色物体を撮像することで設定するようにしてもよい。算出されたホワイトバランスは、基準画像ホワイトバランス保持部２４０に格納される。

チャンネルゲイン算出部２５０は、基準画像および処理対象画像のＲ、Ｇ、Ｂの値、および、基準画像のホワイトバランスから、色バランス調整のためのチャンネル毎のゲインＦＳ（ｐ）を算出するものである。このゲインＦＳ（ｐ）は、処理対象画像の照明成分を変換するためのチャンネル毎のゲイン値である。このゲインは、後述するように、何れかのチャンネルを基準として、基準画像と処理対象画像との比を求めることにより得ることができる。例えば、Ｇチャンネルを基準とした場合、ＧチャンネルのゲインＦＳ_Ｇ（ｐ）は、「１」になる。このチャンネルゲイン算出部２５０によって算出されたゲインは、チャンネルゲイン適用部２６０に供給される。

チャンネルゲイン適用部２６０は、チャンネルゲイン算出部２５０によって算出されたゲインを処理対象画像の各チャンネルに適用するものである。ゲイン適用の詳細については後述するが、最も単純な適用の態様としては、処理対象画像にゲインを乗算することが考えられる。このチャンネルゲイン適用部２６０によってゲイン適用されたモザイク画像Ｍ_ｌは照明成分変換済モザイク画像保持部２９０に保持されて、後段のホワイトバランス処理部１３０に供給される。

［チャンネルゲイン算出部２５０の構成例］
図６は、本発明の第１の実施の形態におけるチャンネルゲイン算出部２５０の構成例を示す図である。このチャンネルゲイン算出部２５０は、色変換ゲイン算出部３１１および３１２を備えて、ゲインＳ（ｐ）を算出する。

本発明の実施の形態では、同一の被写体に対して異なる照明環境で撮像された２枚の画像（基準画像および処理対象画像）を用いて各画素のチャンネル毎にゲインを求め、適用することで、色再現性の高い画像を生成する。基準画像とは、すでに画素毎のホワイトバランスが求められており、または、従来手法等で容易に求めることができる画像である。一方、処理対象画像とは、基準画像とは色温度の異なる複数光源下で撮像された画像など、その画像単体からでは画素毎のホワイトバランスゲインの推定が困難である画像を想定している。これにより、基準画像のホワイトバランスを求めることで、間接的に処理対象画像のホワイトバランスを算出することが可能となり、複数光源下で撮像された画像に対するホワイトバランスの問題を解決することができる。具体的な組み合わせとしては、フラッシュを発光させずに撮像した画像と、フラッシュを発光させて撮像した画像との組合せが想定される。また、他の例として、蛍光灯の影響による帯状のノイズ（フリッカー）を有する画像と有しない画像との組合せや、複数光源が存在する環境下で光源が変化した画像の組合せ等が想定される。

各画素でのセンサで計測される強度をＩ、照明強度をＥ、分光反射率をρとすると、次式の関係により近似することができる。
Ｉ（ｐ）＝Ｅ（ｐ）・ρ（ｐ）
ただし、

である。ここで基準画像の強度をＩ_ｃ、処理対象画像の強度をＩ_ｓとして２枚の画像の比をとると、チャンネル毎に分光反射率ρの影響を近似的に打ち消すことができ、次式のように分光反射率に依存しない照明成分の比率Ｋｏを求めることができる。

２枚の画像の比較に際しては、撮像条件を補正し、露出条件を揃えることによって、Ｋｏの値を正規化し、Ｋｏを純粋な照明色バランスの比とすることができる。このＫｏの値で処理対象画素Ｉ_ｓを除算することによって、処理対象画素の照明成分を基準画像の照明の色バランスに写像することができる。ただし、単純にＫｏで除算したのでは、色バランスとともに、信号強度に対しても基準画像の強度に揃えてしまうことになり、フラッシュによる強度の改善効果が失われてしまう。そこで、照明強度を維持するために、強度変化を打ち消す補正を加え、ゲインＳを次式のように表すことができる。

ここで、ＫＩは強度の定義に応じて画素毎に決まる値であり、本発明の実施の形態では、一般的なホワイトバランスのゲインに倣って、Ｇチャンネルの値を固定するために、次の関係を用いる。
ＫＩ（ｐ）＝Ｋｏ_Ｇ（ｐ）＝Ｇ_ｓ（ｐ）／Ｇ_ｃ（ｐ）
すなわち、

となる。色変換ゲイン算出部３１１および３１２は、上式により、それぞれゲインＳ_Ｒ（ｐ）およびＳ_Ｂ（ｐ）を算出する。なお、本発明の実施の形態ではＧチャンネルの値を固定することを前提としたため、ゲインＳ_Ｇ（ｐ）は常に「１」となる。なお、Ｇチャンネルの値を固定にしたのは、Ｇチャンネルの信号が最も画素数が多く、また、感度が高いため、信頼性が高いと考えられるからである。

なお、本発明の実施の形態では、画像間の同チャンネルの比率Ｋｏを経由してゲインＳを算出しているが、同様の処理を、演算順序を変えて実現しても構わない。一般に、除算処理は演算コストが高い処理であるため、演算量削減のために、逆数ルックアップテーブルによる処理や、対数に変換したうえで減算するなどの手法を用いることが望ましい。また、ＫＩの値としては画素毎の輝度値など、Ｇチャンネル以外の比率も使えることはいうまでもない。

このようにして得られたゲインをチャンネルゲイン適用部２６０において各画素に乗じることにより、基準画像の色バランスで、照明強度が処理対象画像に等しい画像を得ることができる。本発明の実施の形態による手法では光源の分離は行わず、処理対象画像の合成光を一つの光源と見て基準画像の照明の色バランスに写像する。このため、２枚の画像の差分が複数光源から構成されていても正常に動作する。

ただし、上式では基準画像の色バランスが正しいことが前提となっているが、各画素のチャンネルが飽和または黒つぶれを生じている場合には、基準画素の色バランス自体が正しくないことになる。また、動被写体に相当する画素でも、比率Ｋｏが正しく求まらずゲインＳが非常に大きい値または非常に小さい値となることがある。そのため、照明成分変換処理部１２０は、さらに、上限値クリッピング部３２１および３２２と、下限値クリッピング部３３１および３３２とを備える。これにより、ゲインの値に上限値および下限値を設定してクリッピング処理を行って、極端なアーチファクトを抑制する。また、照明成分変換処理部１２０は、さらに、黒つぶれ補償部３４１および３４２と、黒つぶれ度算出部３４５と、飽和補償部３５１および３５２と、飽和度算出部３５５とを備える。これにより、黒つぶれや飽和に対する基準値を与え、ゲインＳの有効性を判定し、その度合いに応じて、黒つぶれや飽和時特有の方策で定めた補償値との加重平均をゲインとすることで、大きな破綻をしないゲインを求める。

上限値クリッピング部３２１および３２２は、ゲインＳ_Ｒ（ｐ）またはＳ_Ｂ（ｐ）がその上限値を超えている場合に、上限値になるようクリッピング処理を行うものである。下限値クリッピング部３３１および３３２は、ゲインＳ_Ｒ（ｐ）またはＳ_Ｂ（ｐ）がその下限値を下回っている場合に、下限値になるようクリッピング処理を行うものである。ゲイン上限値は、ゲイン上限値Ｒ保持部３２３またはゲイン上限値Ｂ保持部３２４に予め設定することができる。また、ゲイン下限値は、ゲイン下限値Ｒ保持部３３３またはゲイン下限値Ｂ保持部３３４に予め設定することができる。ゲイン上限値およびゲイン下限値は、外部から設定されてもよく、また、内部で算出された上で設定されてもよい。ゲイン上限値およびゲイン下限値を算出する際には、次式を用いることができる。

上式において、ＷＢ_ｃは基準画像に対するホワイトバランスであり、ＷＢ_ｓは処理対象画像に対するホワイトバランスである。これにより、後段のホワイトバランス処理部１３０におけるゲインと合わせて、各画素にかかるゲインが、チャンネルに応じた基準画像のホワイトバランスと処理対象画像のホワイトバランスの間に収まり、大きな破綻を防ぐことができる。ここで、ＷＢ_ｃとしては、ホワイトバランス算出部２３０で算出された値を用いることができる。また、ＷＢ_ｓとしては、図１のフラッシュ発光部６１に対して事前に測定することにより求められたホワイトバランス値を用いることができ、また、ＷＢ_ｃと同様の手法で処理対象画像から求められた値を用いてもよい。

上限値クリッピング部３２１および３２２によってクリッピング処理されたゲインＳ_{ｍａｘｃＲ}（ｐ）およびＳ_{ｍａｘｃＢ}（ｐ）は、下限値クリッピング部３３１および３３２に供給される。また、下限値クリッピング部３３１および３３２によってクリッピング処理されたゲインＳ_{ｍｉｎｃＲ}（ｐ）およびＳ_{ｍｉｎｃＢ}（ｐ）は、黒つぶれ補償部３４１および３４２に供給される。

黒つぶれ度算出部３４５は、基準画像または処理対象画像の特定のチャンネルの値に基づいて、黒つぶれを生じている度合いを示す黒つぶれ度を算出するものである。ここでは、特定のチャンネルとして、Ｇチャンネルを想定する。一般に、画像センサにおいて黒つぶれ領域では、センサの特性に線形性がなくなる。さらに完全に黒つぶれし、画素値が０になってしまったチャンネルに関しては、比率Ｋｏが正しく求まらない。そこで、画素値が非常に小さい画素は、別の方法でゲインを算出する必要がある。処理対象画像の当該画素が暗い時には間違ったゲインを算出して色バランスを適用しても目立たないが、当該画素がフラッシュにより十分な輝度を持った時には色バランスの破綻が大きく目立つ。このことから、黒つぶれ度に求められる特性は、基準画像が非常に小さな値では大きな値を取るとともに、フラッシュにより処理対象画像が十分に明るくなった時に大きな値を示すことが望ましい。

そこで、黒つぶれ度ＰＧＢ（ｐ）は、図７および次式のように、０からある閾値となるＧｃの値まで急激に減少し、閾値以降は０となるような値を用いることが有効である。

ここでＧ_{ｗｈｉｔｅ＿ｌｅｖｅｌ}は、Ｇ_ｃの上限値である。この式は、基準画像の画素値から黒つぶれ度を算出するものである。

また、フラッシュが当たることで明るくなったことをより明確にするために、図８および次式により黒つぶれ度ＰＧＢ（ｐ）を設定してもよい。この式は、基準画像の画素値および基準画像と処理対象画像とのチャンネル間比率から黒つぶれ度を算出するものである。

ここでｅｘｐＣＶは基準画像と処理対象画像の絞り、シャッタースピード、および、センサに対するＩＳＯ感度設定の違いに起因する露出の相違を補正するための係数である。また、簡易的には、Ｅｘｉｆ情報に基づく次式によりｅｘｐＣＶを設定してもよい。ただし、Ｆは絞りを表すＦ値、ｔはシャッタースピード、ＩＳＯはＩＳＯ感度である。それぞれの添字ｃは基準画像を意味し、添字ｓは処理対象画像を意味する。

後者の黒つぶれ度では、０から露出を合わせたＧ_ｓ・ｅｘｐＣＶの値まで急激に減少し、Ｇ_ｓ・ｅｘｐＣＶ以降は０となっている。単調減少性から、基準画像のＧの強度Ｇ_ｃが小さく黒つぶれしている時に、大きな値を持つ。さらに、０からＧｓ・ｅｘｐＣＶまで下に凸の属性を持つことで、露出調整後の基準画像と処理対象画像の比率が大きい時、すなわちフラッシュの寄与率が大きい時に、大きな値をとる。このような特性を持つ重みであれば、重みの算出方法は上述の式に限定されるものではない。

黒つぶれ補償値Ｒ保持部３４３および黒つぶれ補償値Ｂ保持部３４４は、黒つぶれを補償する際の基準となる黒つぶれ補償値を保持するものである。この黒つぶれ補償値は、処理対象画素の照明成分がほぼフラッシュによるものであると考えて、ＷＢｓ／ＷＢｃとすることが有効である。このときのＷＢｃ、ＷＢｓは、上限値および下限値算出に用いられたホワイトバランスと同様の値を使用することができる。またここでのＷＢｓは、特許第３８８９０１７号公報に記載された二重ホワイトバランス補正により求められたホワイトバランス値を用いてもよい。

黒つぶれ補償部３４１および３４２は、ゲインＳ_ｍｉｎｃ（Ｓ_{ｍｉｎｃＲ}（ｐ）およびＳ_{ｍｉｎｃＢ}（ｐ））を黒つぶれ補償値Ｒ保持部３４３および黒つぶれ補償値Ｂ保持部３４４に保持される黒つぶれ補償値に近づける処理を行うものである。具体的には、黒つぶれ補償部３４１および３４２は、黒つぶれ度ＰＧＢ（ｐ）を重みとしたＳ_ｍｉｎｃと黒つぶれ補償値との案分処理（加重平均）により、ゲインＳ_{ｂｌａｃＲ}（ｐ）およびＳ_{ｂｌａｃＢ}（ｐ）を生成する。

飽和度算出部３５５は、基準画像のＧチャンネルの値に基づいて、基準画像が飽和（白飛び）している度合いを示す飽和度を算出するものである。一般に、画像センサの飽和領域においては、センサの特性に線形性がなくなる。そして、さらに完全に飽和し、値が上限値に至ってしまったチャンネルに関しては、比率Ｋｏが正しく求まらない。そこで、画素値が非常に大きな画素については、別な方法でゲインを算出する必要がある。飽和度ＰＧＳ（ｐ）は、図９のような特性を持つ値が有効であると考えられる。すなわち、ある閾値の値まで飽和度は０であり、基準画像のＧの強度Ｇ_ｃが閾値を超えた領域において急激に飽和度が大きくなる。基準画素が飽和している場合には、処理対象画素においても照明成分のうち環境光成分が十分な大きさを有することが期待される。

飽和補償値Ｒ保持部３５３および飽和補償値Ｂ保持部３５４は、飽和を補償する際の基準となる飽和補償値を保持するものである。この飽和補償値は「１」とすることが有効であると考えられる。

飽和補償部３５１および３５２は、ゲインＳ_ｂｌａｃ（Ｓ_{ｂｌａｃＲ}（ｐ）およびＳ_{ｂｌａｃＢ}（ｐ））を飽和補償値Ｒ保持部３５３および飽和補償値Ｂ保持部３５４に保持された飽和補償値に近づける処理を行うものである。具体的には、飽和補償部３５１および３５２は、飽和度ＰＧＳ（ｐ）を重みとしたゲインＳ_ｂｌａｃと飽和補償値との案分処理（加重平均）により、ゲインＦＳ_Ｒ（ｐ）およびＦＳ_Ｂ（ｐ）を生成する。

なお、上述の黒つぶれ度算出部３４５および飽和度算出部３５５では、Ｇチャンネルを用いて黒つぶれ度や飽和度の判定を行ったが、これはＧチャンネルに限定されるものではない。Ｒ、Ｂチャンネル、またはそれらの最大最小、線形和、輝度値などによる判定も有効である。

チャンネルゲイン算出部２５０では、色変換ゲイン算出部３１１、３１２で求めるゲインにおける強度、黒つぶれ度算出部３４５における黒つぶれ度判定、飽和度算出部３５５における飽和度判定においてＧチャンネルを用いたため、モザイク画像上における元々のチャンネルに加えて画素毎にＧチャンネルの値を持つことが必要となるが、それ以外のチャンネルに関しては必ずしも必要ではない。また、この画素毎に必要になるチャンネルは強度の基準とするチャネルを変化させることに伴い変化する。

［チャンネルゲイン適用部２６０の第１の構成例］
図１０は、本発明の実施の形態におけるチャンネルゲイン適用部２６０の第１の構成例を示す図である。このチャンネルゲイン適用部２６０の第１の構成例は、乗算部２６１および２６２を備える。乗算部２６１は、デモザイク処理部２２２からの処理対象画像Ｉ_ｓ（ｐ）のＲ_ｓ（ｐ）とチャンネルゲイン算出部２５０からのゲインＦＳ_Ｒ（ｐ）とを乗算するものである。乗算部２６２は、デモザイク処理部２２２からの処理対象画像Ｉ_ｓ（ｐ）のＢ_ｓ（ｐ）とチャンネルゲイン算出部２５０からのゲインＦＳ_Ｂ（ｐ）とを乗算するものである。両者の処理を式に表すと、次式のようになる。
Ｒ_ｌ（ｐ）＝ＦＳ_Ｒ（ｐ）×Ｒ_ｓ（ｐ）
Ｂ_ｌ（ｐ）＝ＦＳ_Ｂ（ｐ）×Ｂ_ｓ（ｐ）

これらＲ_ｌ（ｐ）およびＢ_ｌ（ｐ）は、それぞれモザイク画像Ｍ_ｌのＲチャンネルおよびＢチャンネルを構成する。また、本発明の実施の形態ではＧチャンネルに対するゲインを１に固定しているため、照明成分変換処理の前後でＧチャンネルに値に変化がない。そのため、処理対象画像のモザイク画像Ｍ_ｓのＧの画素を、それぞれモザイク画像Ｍ_ｌ上の対応する位置のＧとして読み出して格納する。ゲイン算出時に保持する信号の強度によってＧチャンネルに対してもゲインの適用が必要になる。その際には、チャンネルゲイン算出部２５０において、Ｒ、Ｂチャンネルに準じた形でＧチャンネル用のゲインを算出するとともに、チャンネルゲイン適用部２６０においてゲインを適用する。

なお、このチャンネルゲイン適用部２６０の第１の構成例においては、デモザイク処理部２２１からの基準画像Ｉ_ｃ（ｐ）の入力は不要になる。

［動作例］
図１１は、本発明の実施の形態における撮像装置の動作例を示す図である。まず、フラッシュ発光部６１を発光させずに撮像が行われ（ステップＳ９０１）、基準画像のモザイク画像Ｍ_ｃとして基準モザイク画像保持部１１１に格納される（ステップＳ９０２）。次に、フラッシュ発光部６１を発光させた撮像が行われ（ステップＳ９０３）、処理対象画像のモザイク画像Ｍ_ｓとして処理対象モザイク画像保持部１１２に格納される（ステップＳ９０４）。

その後、画像処理回路２３の照明成分変換処理部１２０が、撮像された２枚の画像に基づいて処理対象画像の色バランスを調整し、照明成分を単一の光源の色バランスに変換する（ステップＳ９１０）。そして、ホワイトバランス処理部１３０がモザイク画像の色バランスを調整する（ステップＳ９０５）。次に、デモザイク処理部１４０がモザイク画像から各画素にＲＧＢの情報が揃ったＲＧＢ画像を生成する（ステップＳ９０６）。次に、階調補正処理部１５０がＲＧＢ画像に対して階調補正処理を行う（ステップＳ９０７）。次に、ガンマ補正処理部１６０が階調補正された画像に対してガンマ補正処理を施す（ステップＳ９０８）。次に、ＹＣ変換処理部１７０がガンマ補正されたＲＧＢ画像をＹＣ画像に変換する（ステップＳ９０９）。変換されたＹＣ画像は、ＬＣＤへの表示または記録媒体への保存のために出力される。以上で１フレーム分の画像処理部の動作が終了する。後続のフレームの入力がなければ、画像処理部の動作は終了する。なお、フラッシュ発光部６１の発光の有無については、先に発光有りの画像を撮像するようにして、撮像順序を逆にしてもよい。

図１２は、本発明の第１の実施の形態における照明成分変換処理手順（ステップＳ９１０）の動作例を示す図である。まず、基準画像が読み出され（ステップＳ９１１）、この基準画像に対するチャンネル毎のホワイトバランスが算出される（ステップＳ９１２）。算出されたホワイトバランスは、基準画像ホワイトバランス保持部２４０に保持される（ステップＳ９１３）。以降、以下のステップにおいて、画素毎の処理が画面全体に対して進められる。

次に、処理対象画像が読み出される（ステップＳ９１４）。これら読み出された基準画像および処理対象画像は、デモザイク処理部２２１および２２２においてそれぞれデモザイク処理が施される（ステップＳ９１５およびＳ９１６）。この際、デモザイク処理の順序は問わない。そして、チャンネルゲイン算出部２５０において、基準画像および処理対象画像のＲ、Ｇ、Ｂの値から色バランス調整のためのチャンネル毎のゲインが算出される（ステップＳ９１７）。この算出されたゲインは、チャンネルゲイン適用部２６０において、処理対象画像の各チャンネルに適用される（ステップＳ９１８）。このようにして処理された処理対象画像は、照明成分変換済モザイク画像保持部２９０に保持される（ステップＳ９１９）。

ステップＳ９１１乃至Ｓ９１９の処理が終了すると、１フレーム分の照明成分変換処理を終了する。

図１３は、本発明の第１の実施の形態におけるチャンネルゲイン算出処理手順（ステップＳ９１７）の動作例を示す図である。まず、ゲイン上限値Ｒ保持部３２３、ゲイン上限値Ｂ保持部３２４、ゲイン下限値Ｒ保持部３３３およびゲイン下限値Ｂ保持部３３４に、それぞれゲイン上限値または下限値が設定される（ステップＳ９２１）。また、黒つぶれ補償値Ｒ保持部３４３および黒つぶれ補償値Ｂ保持部３４４に黒つぶれ補償値が設定され、飽和補償値Ｒ保持部３５３および飽和補償値Ｂ保持部３５４に飽和補償値が設定される（ステップＳ９２２）。そして、以下の処理が各画素を対象として繰り返される（ループＬ７０２）。

ループＬ７０２において、処理対象画像の画素および基準画像の画素が取得される（ステップＳ９２３）。そして、黒つぶれ度算出部３４５において黒つぶれ度が算出され（ステップＳ９２４）、飽和度算出部３５５において飽和度が算出される（ステップＳ９２５）。そして、さらに以下の処理が各チャンネル（ＲチャンネルおよびＢチャンネル）を対象として繰り返される（ループＬ７０３）。

ループＬ７０３において、色変換ゲイン算出部３１１および３１２により色変換ゲインが算出される（ステップＳ９２６）。このとき、ゲイン上限値Ｂ保持部３２４またはゲイン上限値Ｒ保持部３２３に保持されたゲイン上限値を超えている場合には（ステップＳ９２７）、ゲイン上限値によるクリッピング処理が行われる（ステップＳ９２８）。ゲイン下限値Ｒ保持部３３３またはゲイン下限値Ｂ保持部３３４に保持されたゲイン下限値を下回っている場合には（ステップＳ９２９）、ゲイン下限値によるクリッピング処理が行われる（ステップＳ９３１）。これらクリッピング処理は、下限値、上限値の順でも構わない。また、黒つぶれ補償部３４１または３４２において、黒つぶれ度に応じた黒つぶれ補償が行われる（ステップＳ９３２）。また、飽和補償部３５１または３５２において、飽和度に応じた飽和度補償が行われる（ステップＳ９３３）。このようにして得られたゲインは、（図示しない）メモリに格納される（ステップＳ９３４）。

ループＬ７０３におけるステップＳ９２６乃至Ｓ９３４の処理が終了すると、次のチャンネルに関して同様の処理が繰り返される。全てのチャンネルに対する処理が終了すると、ループＬ７０３を抜けて次の画素に対する処理が繰り返される。全ての画素に対する処理が終了すると、ループＬ７０２を抜けて、１フレーム分のチャンネルゲイン算出処理を終了する。なお、本発明の第１の実施の形態においては、ステップＳ９２３とステップＳ９２４の間に図１２におけるステップＳ９１５、ステップＳ９１６で行われるデモザイク処理を画素ごとの処理として挿入することが可能である。これにより、図１２におけるステップＳ９１４乃至ステップＳ９１６の処理をループＬ７０２内にて併せて行うことができる。

図１４は、本発明の第１の実施の形態におけるチャンネルゲイン適用処理手順（ステップＳ９１８）の動作例を示す図である。ここでは、以下の処理が各画素を対象として繰り返される（ループＬ７０４）。

ループＬ７０４において、処理対象画像のＲＧＢ値（Ｒ_ｓ（ｐ）およびＢ_ｓ（ｐ））およびゲイン（ＦＳ_Ｒ（ｐ）およびＦＳ_Ｂ（ｐ））が取得される（ステップＳ９３７）。これらＲＧＢ値とゲインはチャンネル毎に乗算部２６１および２６２によって乗算される（ステップＳ９３８）。この乗算結果は、ゲイン適用されたモザイク画像Ｍ_ｌの画素値としてチャンネル毎に照明成分変換済モザイク画像保持部２９０の処理対象画像のモザイク画像Ｍ_ｓ上の元画素位置に応じた位置に保持される（ステップＳ９３９）。また、ここでいうステップＳ９３９の処理は、図１２におけるステップＳ９１９のことであり、いずれかで処理結果を格納することによって他の処理を省略することができる。

全ての画素における処理が終了すると、ループＬ７０４を抜けて、１フレーム分のチャンネルゲイン適用処理を終了する。なお、本発明の第１の実施の形態においては、ステップＳ９３８乃至Ｓ９３９の処理を図１３におけるステップＳ９３３の直後に挿入することで、図１３におけるループＬ７０３と図１４におけるループＬ７０４とを共通のループ処理として構成することができる。また、このとき、ステップＳ９３４およびＳ９３７は省略される。

このように、本発明の第１の実施の形態によれば、基準画像の色バランスになるように画素毎のゲインを求めて、これを乗算部２６１および２６２によって処理対象画像の各画素に適用することにより、色再現性の高い画像を生成することができる。また、ゲイン算出の際、上限値または下限値の範囲外になった場合には、上限値クリッピング部３２１、３２２、下限値クリッピング部３３１および３３２においてクリッピング処理を行うことにより、極端なアーチファクトを抑制することができる。また、ゲイン算出の際、黒つぶれや飽和を生じている場合には、黒つぶれ補償部３４１、３４２、飽和補償部３５１および３５２において補償値との加重平均をゲインとすることで、大きな破綻をしないゲインを得ることができる。

＜２．第２の実施の形態＞
上述の第１の実施の形態においては、乗算部２６１および２６２における単純な乗算によりゲイン適用を行った。しかしながら、実際のゲイン適用の際には画素の座標が微妙にずれることがあり、このままでは外乱に対して十分に対応できない場合も生じ得る。そこで、以下では各画素の信頼度に応じて周囲の画素から平滑化を行うことにより、ロバストなゲイン適用を行う例について説明する。なお、前提となる撮像装置および画像処理回路２３の構成については第１の実施の形態と同様であるため、説明を省略する。

［照明成分変換処理部１２０の構成例］
図１５は、本発明の第２の実施の形態における照明成分変換処理部１２０の構成例を示す図である。この照明成分変換処理部１２０の構成例は、デモザイク処理部２２１からの出力がチャンネルゲイン適用部２６０に入力されている点において、図５により説明した第１の構成例と異なり、この点以外は第１の構成例と同様の構成となっている。したがって、他の構成については説明を省略する。

［チャンネルゲイン適用部２６０の構成例］
図１６は、本発明の第２の実施の形態におけるチャンネルゲイン適用部２６０の構成例を示す図である。このチャンネルゲイン適用部２６０の構成例は、除算部４２１乃至４２３と、露出補償部４３１乃至４３３と、飽和信頼度算出部４４０と、黒つぶれ信頼度算出部４５０と、動被写体信頼度算出部４６０と、信頼度選択部４７０と、平滑化処理部４８０とを備える。

除算部４２１乃至４２３は、基準画像と処理対象画像との間の各画素のチャンネル毎の比率Ｋｏを生成するものである。一般に、除算は演算コストが高い処理である。したがって、この除算は、演算量削減のために逆数ルックアップテーブルによる処理や、対数に変換した上で減算するなどの手法により実現することが望ましい。

露出補償部４３１乃至４３３は、２枚の画像の撮像条件の違いを補償するための処理を行うものである。この露出補償処理によって、基準画像と処理対象画像内の照明環境が等しく静態した領域での露出強度が等しくなるよう強度調整される。一般に、デジタルカメラの撮像では、等しい照明環境下で同一被写体を撮像しても、絞り、シャッタースピード、センサに対するＩＳＯ感度設定などに依存して、センサで観測される信号強度が異なる。この露出補償処理は、同条件で撮像された被写体が同じ強度となるようにゲインを調整する処理である。

この露出補償処理は、簡易的には、Ｅｘｉｆ情報の各パラメータから計算される露出補償値ｅｘｐＣＶを比率Ｋｏに乗じることで実現される。これにより、補償後の比率Ｋが得られる。
Ｋ_Ｇ（ｐ）＝Ｋｏ_Ｇ（ｐ）×ｅｘｐＣＶ
Ｋ_Ｒ（ｐ）＝Ｋｏ_Ｒ（ｐ）×ｅｘｐＣＶ
Ｋ_Ｂ（ｐ）＝Ｋｏ_Ｂ（ｐ）×ｅｘｐＣＶ
なお、この露出補償処理は、後段の条件判定において露出補償値分のずれを考慮することで省略することができる。

飽和信頼度算出部４４０は、基準画像の信頼度を飽和度の観点から算出するものである。一般に、画像センサにおいて、飽和領域ではセンサの線形特性が成り立たなくなる。さらに完全に飽和し、値が上限値でクリップされたチャンネルに関しては、ゲインを正しく求めることは困難である。そこで、平滑化処理の際に、飽和した画素の重みを下げ、より信頼度の高い周辺画素の情報によってその画素の値を求めることが有効と考えられる。したがって、飽和信頼度ＳＴ（ｐ）は、図１７で表されるように、ある基準画像の強度Ｇｃが閾値までは１であり、ある閾値を越えたところで強度の上昇とともに急激にその値が下がるような特性が有効と考えられる。また、本手法は処理対象画像の飽和信頼度算出法として用いることもできる。その場合には、Ｇｃに代えてＧｓが用いられる。

黒つぶれ信頼度算出部４５０は、基準画像の信頼度を黒つぶれ度の観点から算出するものである。一般に、画像センサにおいて、黒つぶれ領域ではセンサの特性に線形性が成り立たなくなる。さらに完全に黒つぶれし、値が下限値でクリッピングされたチャンネルでは、ゲインを正しく求めることは困難である。また、そのような破綻は処理対象画像の強度が大きな時に目立つ。そこで、基準画像の画素値が非常に小さい値であり、かつ、処理対象画像の画素値が十分大きな値である画素に対して、平滑化処理の際に重みを下げ、より信頼度の高い周辺画素の情報によってその画素の値を求めることが有効と考えられる。したがって、黒つぶれ信頼度ＢＴ（ｐ）は、図１８により表される次式のような特性を有する値が有効と考えられる。この式は、基準画像の画素値から黒つぶれ度を算出するものである。また、本手法は処理対象画像の黒つぶれ信頼度算出法として用いることもできる。その場合には、Ｇｃに代えてＧｓが用いられる。

また、この黒つぶれ信頼度ＢＴ（ｐ）は、図１９により表される次式のような特性を有する値であってもよい。この式は、基準画像の画素値および基準画像と処理対象画像とのチャンネル間比率から黒つぶれ度を算出するものである。

なお、上述の飽和信頼度算出部４４０および黒つぶれ信頼度算出部４５０では、Ｇチャンネルを用いて黒つぶれ度や飽和度の判定を行ったが、これはＧチャンネルに限定されるものではない。Ｒ、Ｂチャンネル、またはそれらの最大最小、線形和、輝度値などによる判定も有効である。

動被写体信頼度算出部４６０は、基準画像の信頼度を動被写体か否かの観点から算出するものである。この動被写体信頼度算出部４６０は、フラッシュ非発光および発光の何れの画像でも判別可能な被写体の特性値に注目して、各画素が動被写体かどうかを判定して、動被写体信頼度ＭＴ（ｐ）を算出する。そのような特性値としては、例えば、被写体の分光反射率が考えられる。一般に、動被写体では画素の比較が正しく行えないために、ゲインを正しく求めることは困難である。そのような画素では、平滑化処理の際に重みを下げ、より信頼度の高い周辺画素の情報によってその画素の値を求めることが有効と考えられる。

信頼度選択部４７０は、飽和信頼度ＳＴ（ｐ）、黒つぶれ信頼度ＢＴ（ｐ）および動被写体信頼度ＭＴ（ｐ）のうち最も信頼度の低いものを選択するものである。これにより、最も疑わしいと判断された信頼度ＦＴ（ｐ）が選択されることになる。また、この選択の際には、飽和信頼度ＳＴ（ｐ）、黒つぶれ信頼度ＢＴ（ｐ）および動被写体信頼度ＭＴ（ｐ）の線形和としての信頼度を算出してもよい。

平滑化処理部４８０は、このようにして得られた信頼度ＦＴ（ｐ）に基づいて平滑化しながら、処理対象画像のＲＧＢ値（Ｒ_ｓ（ｐ）およびＢ_ｓ（ｐ））に対してゲインＦＳ_Ｒ（ｐ）およびＦＳ_Ｂ（ｐ）を適用する。平滑化処理部４８０の第１の処理機能例として、領域αにおいて重み付け平滑化を行う場合には次式により実現される。

このようにしてゲイン適用されたモザイク画像Ｍ_ｌは照明成分変換済モザイク画像保持部２９０に保持される。なお、平滑化処理の他の例については後述する。

［動被写体信頼度算出部４６０の構成例］
図２０は、本発明の第２の実施の形態における動被写体信頼度算出部４６０の構成例を示す図である。この動被写体信頼度算出部４６０は、比率逆転度算出部４６１と、比率予測部４６２と、分光反射率変化量予測部４６３と、環境光スペクトル色バランス値保持部４６４と、フラッシュ光スペクトル色バランス値保持部４６５と、最小値選択部４６６とを備える。

環境光スペクトル色バランス値保持部４６４に保持される環境光スペクトル色バランス値は、基準画像における環境光のスペクトルに対して、無彩色の物体の信号強度が無彩色、すなわちＲ：Ｇ：Ｂ＝１：１：１となるようなチャンネルごとのゲインである。近似的には、基準画像に対するホワイトバランスＷＢ_ｃを用いることができる。一般的には、ホワイトバランスの値としては、絵作りを考慮して無彩色の物体に対して多少の色味を残すゲインが設定されるが、この環境光スペクトル色バランス値は完全にＲ：Ｇ：Ｂ＝１：１：１とするようなゲインが望ましい。ここでは両者を区別するために、特にＷＢ_ｐｃと表記する。

フラッシュ光スペクトル色バランス値保持部４６５に保持されるフラッシュ光スペクトル色バランス値は、フラッシュ発光部６１によるフラッシュ光のスペクトルに対して、無彩色の物体の信号強度が無彩色となるようなチャンネルごとのゲインである。近似的には、処理対象画像に対するホワイトバランスＷＢ_ｓを用いることができる。一般的には、ホワイトバランスの値としては、絵作りを考慮して無彩色の物体に対して多少の色味を残すゲインが設定されるが、このフラッシュ光スペクトル色バランス値は完全にＲ：Ｇ：Ｂ＝１：１：１とするようなゲインが望ましい。ここでは両者を区別するために特にＷＢ_ｐｆと表記する。なお、これらスペクトルに対する色バランス値は撮像装置の内部で計算することによって設定してもよく、また、撮像装置の外部から設定してもよい。環境光についても同様である。

比率逆転度算出部４６１は、動被写体信頼度を画素値の変化方向の観点から算出するものである。この比率逆転度算出部４６１は、画像全体の照明成分変化方向に対して画素値の変化の方向が逆転していることを検出することで、その画素が動被写体であると判断する。フラッシュ発光／非発光の例において、連写された基準画像と処理対象画像において、環境光に変化がないと仮定すると、露出補償部４３１乃至４３３により補償された画像では、フラッシュが照射された領域では補償後の比率Ｋは「１」より大きくなるはずである。また、フラッシュが当たらなかった領域では補償後の比率Ｋは「１」と等しくなるはずである。したがって、補償後の比率Ｋが「１」より小さくなる領域では物体が移動したために信号強度が落ちたと推測できるため、図２１に示される特性を持たせた関数により比率逆転度ＭＴＲＫ（ｐ）を決定することができる。すなわち、ｌｏｇＫが負であって、絶対値が大きくなればなるほどその値が０に近づく特性を有する比率逆転度ＭＴＲＫ（ｐ）が有効と考えられる。

比率予測部４６２は、動被写体信頼度を比率Ｋの予測値の観点から算出するものである。この比率予測部４６２は、補償後の比率Ｋの値を予測し、実測値とのずれを計測することによって、動被写体であることを判定する。フラッシュ画像である処理対象画像の照明成分Ｅ_ｓは、処理対象画像の照明成分のうち環境光によるものＥ"_ｃとフラッシュ光のみによるものＥ"_ｐｆとの加算によって表される。
Ｅ_ｓ（ｐ）＝Ｅ"_ｃ（ｐ）＋Ｅ"_ｐｆ（ｐ）
したがって、比率Ｋｏは次式により表される。

また、照明のスペクトルから求まるホワイトバランスゲインは、分光反射率が無彩色の対象、すなわちρ_Ｒ：ρ_Ｇ：ρ_Ｂ＝１：１：１となる対象で、チャンネル強度がＲ：Ｇ：Ｂ＝１：１：１となるよう色バランスを調整するゲインである。したがって、次式の関係が成り立つ。

上２式より、ＲおよびＢチャンネルの比率の予測値ｅＫ_ＲおよびｅＫ_Ｂは次式のように表すことができる。

ここで、予測値ｅＫと実測値Ｋが大きく異なるのは、分光反射率ρが変化し、約分できなかったことが原因と考えられる。これにより、差分絶対値、ΔＫ＝｜Ｋ−ｅＫ｜が大きな画素は動被写体であると判断して、図２２のような特性を有する予測比率ＭＴＥＫ（ｐ）を設定する。すなわち、ΔＫ＝｜Ｋ−ｅＫ｜の値が大きいほど分光反射率ρの変化による影響が大きいとして、平滑化処理の際の重みを小さくしている。なお、この図２２における予測比率とは、予測された比率と実際の値の誤差に伴う信頼度を意味する。

分光反射率変化量予測部４６３は、動被写体信頼度を分光反射率変化量の予測値の観点から算出するものである。この分光反射率変化量予測部４６３は、比率予測部４６２と同様に、Ｇチャンネルの値に基づいてＲおよびＢチャンネルの強度比率Ｋの値を推定する。基準画像と処理対象画像の間で環境光の照明強度がＥ'_ｃに変化したとすると、上述のＲおよびＢチャンネルの比率の予測値ｅＫ_ＲおよびｅＫ_Ｂの式は、次式のように書き換えることができる。

したがって、Ｒ、Ｇ、Ｂの比率は次式により近似することができる。

この式は以下の３点が同一直線上に存在することを意味する。

もし、これら３点が同一直線上にない場合には、上述のＲおよびＢチャンネルの比率の予測値ｅＫ_ＲおよびｅＫ_Ｂの式の導出過程においてρがキャンセルできなかったと考えられるため、やはり動被写体と判定することができる。３点が同一直線状にあるか否かは、３点のなす角度θなどにより判定が可能である。したがって、分光反射率変化量ＭＴＶＲ（ｐ）は、θの関数として図２３のような特性を持つことが望ましい。すなわち、一直線上並んだ際に、空間平滑化における重みが「１」に近づき、角度θが直角の時に「０」となる。なお、この図２３における分光反射率変化量は、分光反射率の変化に伴う信頼度を意味する。

最小値選択部４６６は、比率逆転度算出部４６１、比率予測部４６２、および、分光反射率変化量予測部４６３において求められた値の中から最小値を選択して最終的な動被写体信頼度ＭＴ（Ｐ）として出力するものである。なお、本発明の実施の形態では、比率逆転度算出部４６１、比率予測部４６２、および、分光反射率変化量予測部４６３の全てを用いたが、一部のみを単独でまたは組み合わせて用いてもよい。

［動作例］
図２４は、本発明の第２の実施の形態におけるチャンネルゲイン適用部２６０の動作例を示す図である。ここでは、以下の処理が各画素を対象として繰り返される（ループＬ７０５）。

ループＬ７０５において、基準画像および処理対象画像のＲＧＢ値（Ｒｃ（ｐ）、Ｇｃ（ｐ）およびＢｃ（ｐ）、Ｒｓ（ｐ）、Ｇｓ（ｐ）およびＢｓ（ｐ））が取得される（ステップＳ９４１）。除算部４２１乃至４２３において、基準画像および処理対象画像のＲＧＢ値の比率Ｋｏ（ｐ）が算出される（ステップＳ９４２）。また、露出補償部４３１乃至４３３において撮像時の設定による露出の補償処理が行われる（ステップＳ９４３）。これにより、照明環境の変化のない静止被写体では比率が「１」となる。

次に、飽和信頼度算出部４４０において、飽和信頼度ＳＴ（ｐ）が算出される（ステップＳ９４４）。黒つぶれ信頼度算出部４５０において、黒つぶれ信頼度ＢＴ（ｐ）が算出される（ステップＳ９４５）。また、動被写体信頼度算出部４６０において、動被写体信頼度ＭＴ（ｐ）が算出される（ステップＳ９４６）。そして、信頼度選択部４７０によって、飽和信頼度ＳＴ（ｐ）、黒つぶれ信頼度ＢＴ（ｐ）および動被写体信頼度ＭＴ（ｐ）のうち最も信頼度の低いものが選択される（ステップＳ９４７）。こうして得られた信頼度は（図示しない）メモリに格納される（ステップＳ９４８）。全ての画素における処理が終了すると、ループＬ７０５を抜ける。この本発明の第２の実施の形態においては、ステップＳ９４２乃至Ｓ９４８の処理を図１３におけるループＬ７０３を抜けた直後に挿入することで、図１３におけるループＬ７０２と図２４におけるループＬ７０５とを共通のループ処理として構成することができる。すでにステップＳ９２３で各画素の値を読み込んでいるため、ステップＳ９４１を省略することができる。

次に、平滑化処理部４８０において、平滑化処理が画素毎に行われる（ステップＳ９４９）。このようにしてゲインが適用された画素値は照明成分変換済モザイク画像保持部２９０に保持される（ステップＳ９５０）。また、ここでいうステップＳ９５０の処理は図１２におけるステップＳ９１９のことであり、いずれかで処理結果を格納することで他の処理を省略することができる。全ての画素における処理が終了すると、１フレーム分のチャンネルゲイン適用処理を終了する。

図２５は、本発明の実施の形態における動被写体信頼度算出部４６０の動作例を示す図である。ここでは、以下の処理が各画素を対象として行われる。

まず、露出補償部４３１乃至４３３から比率Ｋが取得される（ステップＳ９５１）。また、環境光スペクトル色バランス値保持部４６４から基準画像における環境光の色バランスが取得され、フラッシュ光スペクトル色バランス値保持部４６５からフラッシュ光の色バランスが取得される（ステップＳ９５１）。

そして、比率逆転度算出部４６１において、画像全体の強度の変化の方向と画素の強度の向きの逆転が判定され、その度合いに応じて比率逆転度が算出される（ステップＳ９５２）。また、比率予測部４６２において、比率Ｋの実測値と推定値の乖離の度合いから動被写体か否が判定され、予測比率が決定される（ステップＳ９５３）。比率予測時には分光反射率ρが分母分子でキャンセルすることを仮定しているため、予測との乖離は分光反射率の変化を検知したことになり、動被写体だと判定している。また、分光反射率変化量予測部４６３において、色バランスの予測値と実測値とのずれから分光反射率変化量が予測される（ステップＳ９５４）。そして、最小値選択部４６６において、比率逆転度算出部４６１、比率予測部４６２、および、分光反射率変化量予測部４６３において求められた値の中から最小値が選択される（ステップＳ９５５）。この選択された値は、最終的な動被写体信頼度ＭＴ（Ｐ）として出力される。

このように、本発明の第２の実施の形態によれば、黒つぶれ、飽和、または、動被写体の観点から各画素に対する信頼度を判定し、平滑化の際に信頼度の低い画素の重みを下げて、周辺画素の情報を利用することができ、ロバストなゲイン適用を行うことができる。

この第２の実施の形態では、平滑化処理の際に単純な重み付け平滑化を行う例について説明したが、エッジ保存型平滑化を適用することもできる。エッジ保存平滑化とは、画像中の物体境界などの顕著な段差は残しつつ、階調を平滑化する非線形フィルタ処理である。視認性に影響する物体輪郭を保存しながら微細な変動を除去するため、古くからノイズリダクション処理に用いられている。このエッジ保存平滑化処理は、物体内のテクスチャの微細な輝度変動と物体輪郭の顕著な輝度段差とを分離できる性質を利用して、テクスチャに代表されるディテール成分以外の輝度差を圧縮する階調補正処理にも用いられている。

そのようなエッジ保存平滑化処理の中で、近年バイラテラルフィルタと呼ばれる技術がよく利用されている。一般に、画像の輝度Ｉ（ｐ）に対するバイラテラルフィルタＢＬＦ（ｐ）は、次式のように、空間方向の重み関数ω（ｐ−ｐｃ）と輝度値方向の重み関数φ（Ｉ（ｐ）−Ｉ（ｐｃ））の２つで重み付けした中心画素位置ｐｃの周囲の画素値Ｉ（ｐ）を加算する。

上式において、右辺の分母は重み値の正規化係数を示す。

上式に示されるように、バイラテラルフィルタでは局所領域中の各画素に対する重み付けが中心画素の輝度値に依存して変わる。そのため、画素毎に重み値を算出しなおす必要があるため、通常の線形なＦＩＲフィルタなどに比べて演算量がはるかに大きくなるという問題がある。また、バイラテラルフィルタの応用技術として、ジョイントバイラテラルフィルタまたはクロスバイラテラルフィルタと呼ばれる技術が提案されている。バイラテラルフィルタでは局所領域中の各画素に対する重み付けがフィルタ処理対象である中心画素の輝度値に依存して変わったのに対して、ジョイントバイラテラルフィルタでは重み計算に用いる特性値とフィルタ処理対象の特性値が異なる。ジョイントバイラテラルフィルタＪＢＬＦ（ｐ）による式は次式のようになる。

上式は、空間方向の重み関数ω（ｐ−ｐｃ）と輝度値方向の重み関数φ（Ｉ（ｐ）−Ｉ（ｐｃ））の２つで重み付けした中心画素位置ｐｃの周囲の画素値Ｓ（ｐ）を加算する演算を表している。例えば、非常にＳ／Ｎ特性の悪い信号Ｓに対して相関が高く、Ｓ／Ｎ比の高い信号Ｉがあった時に、Ｉ信号に応じた重み付けを行うことによって、Ｓ／Ｎ比の良いエッジ保存型のフィルタ処理が可能になる。

また、ジョイントバイラテラルフィルタにおいて、バイラテラルフィルタと同様に、局所領域中の各画素に対する重み付けが中心画素の輝度値に依存して変わる。そのため、画素毎に重み値を算出しなおす必要があるため、通常の線形なＦＩＲフィルタなどに比べて演算量がはるかに大きいという問題がある。

そこで、以下の第３の実施の形態では、ブロックヒストグラムを利用することにより、エッジ保存型平滑化の演算量を減少させる手法を提案する。

＜３．第３の実施の形態＞
本発明の第３の実施の形態では、空間軸および輝度軸にて複数に分割した各ブロックで画素頻度値および定義されたある特性値を算出した後、各画素位置と各ブロック間の距離で定義される重みに基づいて、ブロック毎の特性値を重みつき加算する。特性値としては、ブロック毎の内部に含まれる画素のゲインの積分値（総和）や、内部に含まれる画素のゲインの中央値に内部に含まれる画素の画素数を乗じたものなどを用いることができる。この演算を数式で表すと次式のようになる。

ここで、ｉ，ｊは空間軸方向のブロックのインデックスである。また、λはブロックに該当する輝度範囲の中央値である。 Ｉ（ｐｃ）は座標位置ｐｃにおける輝度の値である。Ｓ（ｉ，ｊ，λ）はブロック（ｉ，ｊ，λ）のゲインの積分値である。Ｈ（ｉ，ｊ，λ）はブロックヒストグラムの値である。上式はジョイントバイラテラルフィルタの空間軸の重み関数ωと輝度軸の重み関数φをブロックの分割に沿って階段上に離散化したものに相当するため、エッジ保存平滑化の効果がある。さらに、ブロックヒストグラムおよびブロック積分値を算出するコストを差し引いても、ブロック毎の加重積和は画素毎の加重積和に比べればはるかに演算量を小さくすることができる。この効果は、エッジ保存平滑化のオペレータサイズが巨大であるほど大きい。

さらに本発明の第３の実施の形態では、上記重みに加えて画素位置毎に定まる重みτ（ｐ）を導入したエッジ保存型平滑化処理を提案する。ブロックヒストグラムおよびブロック内部の特性値の重み付き積分は以下のように表される。

ここで、ＩＳＷ（ｉ，ｊ，λ）はブロック（ｉ，ｊ，λ）内部の重み付きゲイン積分値、ＩＦＴ（ｉ，ｊ，λ）はブロック（ｉ，ｊ，λ）内の重み付き頻度値、すなわち重み自身の積分値である。これを前式に適用すると、次式を得る。

この演算は、次式で表現される重み付きジョイントバイラテラルフィルタの空間軸の重み関数ωと輝度軸の重み関数φをブロックの分割に沿って階段上に離散化したものに相当する。

したがって、エッジ保存平滑化の効果がある。さらに、ブロック積分値を算出するコストを差し引いても、ブロック毎の加重積和は画素毎の加重積和に比べればはるかに演算量が小さくできる。この効果は、エッジ保存平滑化のオペレータサイズが巨大であるほど大きい。

さらに、本発明の第３の実施の形態では、演算量を減らす手法を提供する。すなわち、ブロックヒストグラムおよびブロック毎のゲイン積分値に対して、あらかじめ輝度軸方向の重み関数を畳み込む演算を行い、その結果を保持しておく。この場合、ブロックヒストグラムへの畳み込み演算は次式のようになる。

また、ブロック積分値への畳み込み演算は次式のようになる。

画素毎の加重積和演算では、すでに輝度重み関数が畳み込まれたブロックヒストグラムおよび重み付きゲイン積分値を空間方向に補間した結果を、除算するだけでよい。この演算は、次式のようになる。

この効果は、元の画像サイズに比べてブロック分割数が粗い場合、すなわち画像中の広い範囲をみて平滑化処理を行う場合ほど大きい。

さらに、本発明の第３の実施の形態では、上述のブロックヒストグラム、ブロック毎のゲイン積分値、または、それらを輝度軸重み関数で畳み込んだものをメモリに格納する。これにより、次に入力されるフレームにおけるエッジ保存平滑化処理に利用する手法を提供する。すなわち、入力が動画データである場合は全画素を２回スキャンすることなく、巨大なエッジ保存平滑化を少ないワーキングメモリで実行することが可能となる。

さらに、本発明の第３の実施の形態では、上述のブロックヒストグラム、ブロック毎のゲイン積分値、または、それらを輝度軸重み関数で畳み込んだものを算出する処理の前に入力画像を縮小する処理を行う。これにより、ブロックヒストグラム、ブロック毎のゲイン積分値、または、それらを輝度軸重み関数で畳み込んだものを算出する演算量およびメモリ量を削減する。

なお、この第３の実施の形態においては、前提となる撮像装置、画像処理回路２３および照明成分変換処理部１２０の構成については第２の実施の形態と同様であるため、説明を省略する。

［平滑化処理部４８０の処理機能例］
図２６は、本発明の第３の実施の形態における平滑化処理部４８０の処理機能例を示す図である。この平滑化処理部４８０の処理機能例は、乗算部５１１および５１２と、輝度算出部５２１と、非線形変換部５２２とを備えている。また、この平滑化処理部４８０の第２の処理機能例は、ブロック積分値算出部５３１および５３２と、ブロックヒストグラム算出部５３３と、ブロック積分値保持部５４１および５４２と、ブロックヒストグラム保持部５４３とを備えている。また、この平滑化処理部４８０の第２の処理機能例は、位相補償処理部５５１および５５２と、加重積和部５６１および５６２と、ゲイン適用部５７１および５７２とをさらに備えている。

輝度算出部５２１は、処理対象画像のＲＧＢ値から輝度値Ｌ（ｐ）を算出するものである。この輝度算出部５２１は、例えば、ＲＧＢ値に対して予め設定された係数（重み）によってＲＧＢ値の線形和を演算することにより、輝度値を算出するものでよい。また、この輝度算出部５２１は、例えば、ＲＧＢ値の中から最大値を求めるような処理により、輝度値を生成してもよい。

非線形変換部５２２は、輝度算出部５２１により算出された輝度値を非線形変換して、非線形変換輝度値Ｌ^（ｎｌ）（ｐ）を出力するものである。この非線形変換部５２２は、例えば、γカーブ、１より小さい指数によるべき乗特性や対数変換などの「上に凸の単調増加特性」を適用することが有用である。

乗算部５１１および５１２は、チャンネル毎のゲインＦＳ（ｐ）に対して当該画素の信頼度ＦＴ（ｐ）を乗じることにより、チャンネル毎の重み付きゲインＳＷ（ｐ）を生成するものである。

ブロック積分値算出部５３１および５３２は、画像を空間軸方向および輝度軸方向に複数のブロックに分割して、各ブロックに属する特性値の積分値を算出するものである。ここにいう特性値とは、信頼度ＦＴ（ｐ）により重み付けられたＲおよびＢチャンネルの重み付きゲインＳＷ_Ｒ（ｐ）およびＳＷ_Ｂ（ｐ）である。このブロック積分値算出部５３１および５３２により算出された積分値は、ブロック積分値保持部５４１または５４２に格納される。すなわち、ブロック積分値保持部５４１は、Ｒチャンネルの重み付きゲインＩＳＷ_Ｒ（ｒ）を保持する。ブロック積分値保持部５４２は、Ｂチャンネルの重み付きゲインＩＳＷ_Ｂ（ｒ）を保持する。

ブロックヒストグラム算出部５３３は、上記分割された各ブロックに属する信頼度ＦＴ（ｐ）を積分して、画素の頻度値をブロックヒストグラムとして算出するものである。このブロックヒストグラム算出部５３３により算出されたブロックヒストグラムＩＦＴ（ｒ）は、ブロックヒストグラム保持部５４３に格納される。以下では、ブロック積分値保持部５４１、５４２、および、ブロックヒストグラム保持部５４３に保持された情報を中間データとも称する。

位相補償処理部５５１および５５２は、当該画素の各チャンネルが対応する処理対象画像のモザイク画像上の位置に応じた輝度値を算出するものである。簡易デモザイクでは、ベイヤーセット６０２毎に位置６０１に輝度値が求まっている。この位相補償処理部５５１および５５２による処理は、モザイク画像上の各画素位置に対する近傍４つの輝度値からの線形補間処理によって実現することができる。簡易デモザイクではなく画素毎にデモザイクした場合には、輝度算出部５２１および非線形変換部５２２により処理対象画像のモザイク画像の画素毎に輝度が求まっているため、この位相補償処理を省略することができる。

加重積和部５６１および５６２は、ブロックヒストグラムとブロック積分値と当該画素位置の輝度値とから当該画素位置の大局ゲイン値を算出するものである。大局ゲイン値とは、当該画素位置が属する物体領域の平均ゲインに相当する情報である。加重積和部５６１は大局ゲイン値ＳＷ_ｌＲ（ｐ）をゲイン適用部５７１に供給し、加重積和部５６２は大局ゲイン値ＳＷ_ｌＢ（ｐ）をゲイン適用部５７２に供給する。

ゲイン適用部５７１および５７２は、加重積和部５６１および５６２により算出されたゲインを各チャンネル値に適用するものである。このゲイン適用部５７１および５７２における処理は、一般的には乗算により実現することができる。すなわち、ゲイン適用部５７１および５７２は、それぞれ次式のような演算を行う。
Ｒ_ｌ（ｐ）＝Ｒ_ｓ（ｐ）×ＳＷ_ｌＲ（ｐ）
Ｂ_ｌ（ｐ）＝Ｂ_ｓ（ｐ）×ＳＷ_ｌＢ（ｐ）
なお、加重積和部５６１、５６２、ゲイン適用部５７１、５７２は、特許請求の範囲に記載の平滑化処理部の一例である。

［ブロック積分値算出部５３１、５３２およびブロックヒストグラム算出部５３３の構成例］
図２７は、本発明の第３の実施の形態におけるブロック積分値算出部５３１、５３２およびブロックヒストグラム算出部５３３の構成例を示す図である。このブロック積分値算出部５３１、５３２およびブロックヒストグラム算出部５３３の各々は、ブロック選択部５３４と、ｎ個の積分器５３５−１乃至ｎとを備えている。ここで、画像の幅方向のブロック分割数をＷ、画像の高さ方向のブロック分割数をＨ、画像の輝度方向のブロック分割数をＤとすると、ブロック数ｎはＷ×Ｈ×Ｄとなる。

ブロック選択部５３４は、入力される各画素の重み付き特徴量を、画素位置と輝度値によってｎ個のブロックの何れかに分類するものである。ここでいう重み付き特徴量とは、信頼度ＦＴ（ｐ）により重み付けされたＲ、Ｂチャンネル用のゲインＳＷ_Ｒ（ｐ）、ＳＷ_Ｂ（ｐ）または信頼度ＦＴ（ｐ）である。

積分器５３５−１乃至ｎは、分類された重み付き特徴量を加算するものである。この積分器５３５−１乃至ｎの各々は加算部５３６およびレジスタ５３７を保持する。加算部５３６は、分類された重み付き特徴量とレジスタ５３７に保持された値とを加算するものである。レジスタ５３７は加算部５３６の出力を保持するものである。１フレーム分の画素を処理した後、全ブロックの積分器５３５−１乃至ｎの値がブロック積分値保持部５３８に格納される。ここで、ブロック積分値保持部５３８は、ブロック積分値保持部５４１、５４２またはブロックヒストグラム保持部５４３に相当する。

［加重積和部５６１および５６２の構成例］
図２８は、本発明の第３の実施の形態における加重積和部５６１および５６２の構成例を示す図である。この加重積和部５６１および５６２の各々は、補間部５６３および５６４と、空間重み関数テーブル保持部５６５と、積和部５６６および５６７と、輝度重み関数テーブル保持部５６８と、除算部５６９とを備える。

補間部５６３および５６４は、入力された輝度値の画素位置に対応する重み付き特徴量を補間するものである。すなわち、補間部５６３は、当該画素位置の空間方向近傍４ｘ４ブロック領域の重み付きゲインＳＷ_Ｒ（ｒ）またはＳＷ_Ｂ（ｒ）のブロック積分値ＩＳＷ_Ｒ（ｒ）またはＩＳＷ_Ｂ（ｒ）を補間する。補間部５６４は、当該画素位置の空間方向近傍４ｘ４ブロック領域の信頼度ＦＴ（ｐ）自身のブロック積分値ＩＦＴ（ｒ）を補間する。その際の補間係数には、例えば、３次Ｂ−ｓｐｌｉｎｅ関数などが適している。このＢ−Ｓｐｌｉｎｅ関数値を空間重み関数テーブルとして、空間重み関数テーブル保持部５６５に保持しておいて、近傍のブロック位置と当該画素位置の相対位置関係に基づいて必要な係数を取り出せるようにすることができる。補間部５６３および５６４が行う演算は、次式のようになる。

ここで、ｉ，ｊは近傍４ｘ４ブロックを示すインデックスである。λはヒストグラムの各ブロックに該当する輝度レベルの中央値である。Ｂ＿ｉ，ｊはインデックスｉ，ｊに該当するブロックに対するＢ−Ｓｐｌｉｎｅ補間係数である。ＩＳＷ_Ｒ（ｉ，ｊ，λ）、ＩＳＷ_Ｂ（ｉ，ｊ，λ）は、（ｉ，ｊ，λ）に該当するブロックの重み付きゲインＳＷ_Ｒ（ｐ）またはＳＷ_Ｂ（ｐ）のブロック積分値である。ＩＦＴ（ｉ，ｊ，λ）は、（ｉ，ｊ，λ）に該当するブロックの信頼度ＦＴ（ｐ）自身に対する積分値（ブロックヒストグラム）である。なお、補間部５６３は、特許請求の範囲に記載の第１の補間部の一例である。また、補間部５６４は、特許請求の範囲に記載の第２の補間部の一例である。

積和部５６６および５６７は、当該画素位置に対応する重み付き積分値に対して、輝度加重値を積和した結果を算出するものである。輝度加重値は、輝度重み関数テーブル保持部５６８に格納されたテーブルを用いて算出される。図２９は、輝度重み関数テーブル保持部５６８に格納された輝度重み関数の形状の一例を示す図である。輝度重み関数は、入力された当該画素位置の輝度値Ｌ^（ｎｌ）（ｐ）と、当該画素位置に補間された積分値の各ブロックに相当する輝度レベルλとの差分値が小さいほど大きな値を持つ単峰性形状の関数が適切である。例えば、次式に示されるような関数を用いることができる。

ここで、σ＿ｔｈは、この関数の裾野の広がりの大きさを決める定数値である。このような輝度重み関数を用いることによって、入力された輝度値Ｌ^（ｎｌ）（ｐ）に近い値を持つブロックに対して大きな重み値をつけ、離れた値を持つブロックに対して小さな重み値をつけることができる。積和部５６６および５６７は、各ブロックへの重み値を輝度重み関数と入力輝度値により算出した後、当該画素位置に補間された重み自身および重み付きゲイン積分値の全ブロックの値を各重みによって加重和する。除算部５６９は、積和部５６６によって算出された重み付きゲイン値を、積和部５６７によって算出された信頼度で除算して、その結果を当該画素位置の大局ゲイン値として出力するものである。積和部５６６、５６７および除算部５６９が行う演算は次式のようになる。

なお、積和部５６６は、特許請求の範囲に記載の第１の積和部の一例である。また、積和部５６７は、特許請求の範囲に記載の第２の積和部の一例である。また、除算部５６９は、特許請求の範囲に記載の第２の除算部の一例である。

ブロック積分値には、ブロック領域毎に近い値を有する画素の重み付きゲインおよび信頼度自身がブロック毎に積分されている。したがって、上記のように当該画素位置の輝度値に近い輝度レベルのブロックに重みをおいた積和を行うことによって、周囲４ｘ４ブロック領域の中でも特に近い輝度値の画素の積分結果を得ることになる。したがって、周囲４ｘ４ブロック領域のように広範囲な領域を積分しても異なる明るさの別の被写体にかかる画素値の影響は少なく、当該画素が属する被写体の平均ゲイン値を算出することができる。

なお、補間部５６４は、特許請求の範囲に記載の第１の補間部の一例である。また、補間部５６３は、特許請求の範囲に記載の第２の補間部の一例である。また、積和部５６７は、特許請求の範囲に記載の第１の積和部の一例である。また、積和部５６６は、特許請求の範囲に記載の第２の積和部の一例である。

［動作例］
図３０および３１は、本発明の第３の実施の形態における平滑化処理部４８０の動作例を示す図である。

ここでは、まず、ステップＳ９６１乃至Ｓ９６７の処理が各画素を対象として繰り返される（ループＬ７０７）。このループＬ７０７において、処理対象画像のＲＧＢ値が取得される（ステップＳ９６１）。また、対応画素のゲインＦＳ_Ｒ（ｐ）、ＦＳ_Ｂ（ｐ）および信頼度ＦＴ（ｐ）が取得される（ステップＳ９６２）。そして、輝度算出部５２１において、輝度値Ｌ（ｐ）が算出される（ステップＳ９６３）。この輝度値Ｌ（ｐ）は、非線形変換部５２２において非線形変換されて、非線形変換輝度値Ｌ^（ｎｌ）（ｐ）が出力される（ステップＳ９６４）。

そして、ブロック積分値算出のための処理が行われる（ステップＳ９６５）。具体的には、乗算部５１１および５１２において、ゲインＦＳ_Ｒ（ｐ）およびＦＳ_Ｂ（ｐ）と信頼度ＦＴ（ｐ）との乗算が行われる。また、ブロック積分値算出部５３１および５３２において、当該画素位置におけるＲ、Ｂチャンネルに対するゲインのブロック積分値が更新される（ステップＳ９６６）。また、ブロックヒストグラム算出部５３３において、当該画素位置におけるブロックヒストグラムに相当する信頼度自身のブロック積分値が更新される（ステップＳ９６６）。そして、当該画素の輝度値が（図示しない）メモリに格納される（ステップＳ９６７）。

ループＬ７０７のステップＳ９６１乃至Ｓ９６７の処理が終了すると、次の画素位置に対する処理が繰り返される。全ての画素位置に対する処理が終了すると、ループＬ７０７を抜けて、１フレーム分のブロック積分値およびブロックヒストグラムがそれぞれブロック積分値保持部５４１、５４２およびブロックヒストグラム保持部５４３に格納される（ステップＳ９６８）。また、本発明の第３の実施の形態においては、ステップＳ９６２乃至Ｓ９６７の処理を図２４におけるステップＳ９４７の直後に挿入することで、図２４におけるループＬ７０５と図３０におけるループＬ７０７とを共通のループ処理として構成することができる。すでにステップＳ９４１で各画素の値を読み込んでいるためステップＳ９６１は省略することができる。また、信頼度に関しても、ステップＳ９４７において選択された値を直接使うことによって、ステップＳ９４８およびＳ９６２における信頼度の格納や、読出し処理を省略することができる。

次に、以下の処理が各画素を対象として繰り返される（ループＬ７０８）。このループＬ７０８において、当該画素周囲の輝度値をメモリ（図示しない)から読み出す。また、当該画素周囲の信頼度自身に対するブロック積分値がブロックヒストグラム保持部５４３から読み出される（ステップＳ９７１）。そして、以下の処理が各チャンネル（ＲおよびＢチャンネル）を対象として繰り返される（ループＬ７０９）。

ループＬ７０９において、当該チャンネルに対する重み付きゲインのブロック積分値がブロック積分値保持部５４１または５４２から読み出される（ステップＳ９７２）。そして、位相補償処理部５５１または５５２において、モザイク画像上の当該チャンネルの画素位置に応じた輝度値が算出される（ステップＳ９７３）。また、加重積和部５６１または５６２において、当該画素チャンネルに対するゲインがブロック積分値の加重積和演算によって算出される（ステップＳ９７４）。そして、ゲイン適用部５７１または５７２において、加重積和により求められたゲインが当該チャンネルに適用される（ステップＳ９７５）。このようにしてゲイン適用された画素値はチャンネル毎に照明成分変換済モザイク画像保持部２９０の当該画素位置に格納される（ステップＳ９７６）。また、ここでいうステップＳ９７６の処理は図１２におけるステップＳ９１９および図２４におけるステップＳ９５０のことであり、いずれかで処理結果を格納することで他の処理を省略することができる。

ループＬ７０９においてステップＳ９７２乃至Ｓ９７６の処理が終了すると、次のチャンネルに対して同様の処理が繰り返される。全てのチャンネルに対する処理が終了すると、ループＬ７０９を抜けて、次の画素に対して同様の処理が繰り返される。全ての画素位置に対する処理が終了すると、ループＬ７０８を抜けて、１フレーム分の平滑化処理が終了する。

図３２は、本発明の第３の実施の形態におけるブロック積分値算出部５３１、５３２およびブロックヒストグラム算出部５３３の動作例を示す図である。

ここでは、ステップＳ９８１乃至Ｓ９８３の処理が各画素を対象として行われる。まず、当該画素位置の輝度値および重み付き特徴量が非線形変換部５２２、乗算部５１１および５１２から取得される（ステップＳ９８１）。そして、ブロック選択部５３４によってｎ個のブロックの中から当該画素位置が含まれるブロックが何れであるかが判別される（ステップＳ９８２）。そして、該当する積分器５３５−１乃至ｎにおいて、当該画素の重み付き特徴量が加算される（ステップＳ９８３）。

図３３は、本発明の第３の実施の形態における加重積和部５６１および５６２の動作例を示す図である。

まず、当該画素位置の輝度が取得される（ステップＳ９９１）。そして、補間部５６３において、輝度の等しい空間方向の周囲４ｘ４のブロック積分値情報から当該画素位置の重み付きゲイン積分値が補間によって輝度方向の分割毎に算出される（ステップＳ９９２）。また、補間部５６４において、輝度の等しい空間方向の周囲４ｘ４のブロックヒストグラムに相当する当該画素位置の信頼度自身の積分値が補間によって輝度方向の分割毎に算出される（ステップＳ９９３）。

次に、積和部５６６において、当該画素位置に補間された重み付きゲイン積分値に輝度加重値を積和した結果が算出される（ステップＳ９９４）。また、積和部５６７において、当該画素位置に補間された信頼度自身の積分値（ブロックヒストグラム）に輝度加重値を積和した結果が算出される（ステップＳ９９５）。

次に、除算部５６９において、積和部５６６によって積和された重み付きゲイン積分値が積和部５６７によって積和された信頼度自身の積分値により除算される（ステップＳ９９６）。そして、除算部５６９の算出結果は、当該画素位置の大局ゲイン値として出力され（ステップＳ９９７）、１画素に対する加重積和処理が終了する。

このように、本発明の第３の実施の形態によれば、ブロック領域毎に近い値を有する画素の重み付きゲインおよび信頼度自身をブロック毎に積分したブロック積分値を利用することにより、エッジ保存型平滑化の演算量を減少させることができる。また、本発明の実施の形態では、加重積和の順序として空間平滑化の次に輝度方向の平滑化を行う順番で行ったが、輝度方向平滑化の次に空間平滑化の順番でも構わない。また、数２６から数２８で示したように、あらかじめ輝度方向の平滑化を済ませた重み付きゲインをブロック積分値として保持しておくことで画素ごとの演算を減らすこともできる。

なお、上述の実施の形態ではＧチャンネルのゲインを「１」に固定した時のＲ、Ｂチャンネルのゲインを求めているが、輝度を固定した時などのゲインではＧチャンネルについてもゲインを適用する必要がある。その際には、Ｇチャンネルに対しても本実施の形態の手法が有効に機能する。

＜４．第４の実施の形態＞
本発明の範疇で、照明成分変換処理は、別の形態として、入力画像に対して解像度変換した上で比較する処理を備えることができる。照明成分変換処理における中間データは画像全体の大局的な照明分布や構造などを抽出したものであるため、事前に縮小された画像から中間データを算出してもそれらの情報が損なわれることがなく、演算量を減らすことができる。また、縮小した後に比較することにより、動被写体の影響を抑えることができる。さらに、解像度変換処理部導入により、ＬＣＤに向けて出力しているモニタ画像などが使用可能となる。その結果、基準モザイク画像としてモニタ画像を使用した際には、フラッシュ発光、非発光の連写撮影することなく色再現性の高い画像を生成することができるとともに、メモリの節約にも寄与する。入力画像を縮小する方法としては、縮小画像の各画素位置に対応する処理対象画像のモザイク画像上の領域に属する画素の単純平均のように、比較的簡単な方法でよい。

なお、この第４の実施の形態においては、前提となる撮像装置および画像処理回路２３の構成については第３の実施の形態と同様であるため、説明を省略する。

［照明成分変換処理部１２０の構成例］
図３４は、本発明の第４の実施の形態における照明成分変換処理部１２０の構成例を示す図である。この照明成分変換処理部１２０は、第３の実施の形態と同様に、デモザイク処理部２２１および２２２と、ホワイトバランス算出部２３０と、基準画像ホワイトバランス保持部２４０と、チャンネルゲイン算出部２５０と、チャンネルゲイン適用部２６０とを備える。この例において、チャンネルゲイン算出部２５０は、図１５のチャンネルゲイン算出部２５０とは入出力が異なり、解像度変換後の値になるが、それ以外は同様の操作が行われる。この照明成分変換処理部１２０は、さらに、解像度変換部２７１および２７２を備える。

解像度変換部２７１および２７２は、入力画像サイズの変更を行うものである。解像度変換の大きな目的は、画像を縮小することにより、動被写体などによる照明環境の変化以外の差分の影響を抑制することである。別の目的としては、入力画像のサイズを基準画像と処理対象画像との間で合致させることがあげられる。ＬＣＤに出力されるモニタ画像は、通常処理で撮像された画像よりも解像度が小さいことが一般的である。そのため、２枚の画像サイズが異なり、上述のゲイン算出をそのまま使用することができない。この問題を解決するためには、基準画像と処理対象画像のサイズを揃えるための解像度変換をした上で比較する手法が有効である。その際、解像度変換部２７１および２７２で行われる処理が拡大縮小の何れになるかは、基準画像および処理対象画像の画像サイズの大小関係により決定される。解像度変換部２７１および２７２で行われる処理が拡大処理の時には、エッジ保存型平滑化フィルタ処理による拡大処理が有効である。通常の平滑化処理では物体の境界において照明環境が大きく異なる場合にも平滑化処理が進むために、境界で色のにじみが発生してしまう。解像度変換部２７１および２７２で行われる処理が縮小処理の時には、縮小画像の各画素位置に対応する原画像上のブロック領域に属する画素の単純平均、中央値、間引き処理のように、比較的簡単な方法でよい。また、解像度変換部２７１および２７２における解像度変換処理は、デモザイク処理部２２１および２２２で行われるデモザイク処理と同時に行うことによって演算量を削減することができる。また、解像度変換部２７１および２７２における解像度変換処理と、デモザイク処理部２２１および２２２で行われるデモザイク処理との順序を入れ替えてもよく、その場合にも演算量を削減することができる。

［チャンネルゲイン適用部２６０の構成例］
図３５は、本発明の第４の実施の形態におけるチャンネルゲイン適用部２６０の構成例を示す図である。このチャンネルゲイン適用部２６０は、図１６において説明した第２の実施の形態におけるものと同様の構成を備える。ただし、信頼度生成の際には縮小画像が用いられ、それぞれ縮小された基準画像ＢＲ_ｃ（ｑ）、ＢＧ_ｃ（ｑ）、ＢＢ_ｃ（ｑ）、および縮小された処理対象画像ＢＲ_ｓ（ｑ）、ＢＧ_ｓ（ｑ）、ＢＢ_ｓ（ｑ）が入力される。また、平滑化処理部４８０においては、処理対象画像Ｒ_ｓ（ｐ）、Ｇ_ｓ（ｐ）、Ｂ_ｓ（ｐ）の他、縮小された処理対象画像ＢＲ_ｓ（ｑ）、ＢＧ_ｓ（ｑ）、ＢＢ_ｓ（ｑ）、縮小画像に基づく信頼度ＢＦＴ（ｑ）、縮小画像のゲインＢＦＳ_Ｒ（ｑ）、ＢＦＳ_Ｂ（ｑ）が入力される。ここで、ｐおよびｑは各画素を表す。

［平滑化処理部４８０の構成例］
図３６は、本発明の第４の実施の形態における平滑化処理部４８０の構成例を示す図である。この平滑化処理部４８０は、図２６により説明した第３の実施の形態のものと同様の構成を備えている。ただし、ブロック積分値の算出のために用いられる画像は縮小画像となっている。すなわち、乗算部５１１および５１２に入力されるのは、縮小画像のゲインＢＦＳ_Ｒ（ｑ）、ＢＦＳ_Ｂ（ｑ）および縮小画像に基づく信頼度ＢＦＴ（ｑ）である。また、輝度算出部５２３に入力されるのは、縮小された処理対象画像ＢＲ_ｓ（ｑ）、ＢＧ_ｓ（ｑ）、ＢＢ_ｓ（ｑ）である。

一方、加重積和される処理対象画像のサイズはそのままである。すなわち、輝度算出部５２１に入力されるのは、処理対象画像Ｒ_ｓ（ｐ）、Ｇ_ｓ（ｐ）、Ｂ_ｓ（ｐ）である。また、ゲイン適用部５７１および５７２に入力されるのは、それぞれ処理対象画像Ｒ_ｓ（ｐ）、Ｂ_ｓ（ｐ）である。

［動作例］
図３７は、本発明の第４の実施の形態における照明成分変換処理部１２０の動作例を示す図である。この動作例は、図１２により説明した第１の実施の形態におけるものと基本的には同様である。ただし、解像度変換部２７１および２７２において、基準画像および処理対象画像の縮小処理が行われる（ステップＳ８２１およびＳ８２２）。また、チャンネルゲイン適用部２６０において、処理対象画像に合わせてゲインが拡大されて、各チャンネルに適用される（ステップＳ８１８）。この時、当該画素が、黒つぶれ、白とびしていないか、動被写体か否かの判定から信頼度が設定され、エッジ保存型の平滑化フィルタにより各チャンネルの元の画素位置を考慮して空間平滑化したゲインが適用される。

図３８は、本発明の第４の実施の形態におけるチャンネルゲイン適用部２６０の動作例を示す図である。この動作例は、図２４により説明した第２の実施の形態におけるものと基本的には同様である。ただし、縮小画像に基づいて信頼度の算出を行う点が異なる。そのため、ループＬ７０５に相当するループＬ７１４の処理が縮小画素毎の処理となる。また、ループＬ７０２とループＬ７０５を共通のループにすることができたように、縮小画像に対するチャンネルゲイン算出部２５０で行うループＬ７０２に相当する処理とループ７１４の処理はあわせて大きなループ処理にすることができる。また、ブロック積分値の算出のために用いられる画像も縮小画像となっている（ステップＳ８４１）。すなわち、乗算部５１１および５１２に入力されるのは、縮小画像のゲインＢＦＳ_Ｒ（ｑ）、ＢＦＳ_Ｂ（ｑ）および縮小画像に基づく信頼度ＢＦＴ（ｑ）である。また、輝度算出部５２３に入力されるのは、縮小された処理対象画像ＢＲ_ｓ（ｑ）、ＢＧ_ｓ（ｑ）、ＢＢ_ｓ（ｑ）である。また、ここでいうステップＳ８５０の処理は図３７におけるステップＳ８１９のことであり、いずれかで処理結果を格納することで他の処理を省略することができる。

この平滑化では各画素における当該チャンネルの処理対象画像のモザイク画像上での画素位置に応じた平滑化が望ましく、その結果、処理対象画像のモザイク画像のサイズに合わせて拡大しながら適用する処理となる。この際、エッジ保存型平滑化処理と拡大処理は別々に行うことができるが、演算量削減等の観点から同時に行うことが望ましい。

図３９および４０は、本発明の第４の実施の形態における平滑化処理部４８０の動作例を示す図である。この動作例は、図３０および３１により説明した第３の実施の形態におけるものと基本的には同様である。ただし、ブロック積分値の算出のために用いられる画像は縮小画像となっている。すなわち、乗算部５１１および５１２に入力されるのは、縮小画像のゲインＢＦＳ_Ｒ（ｑ）、ＢＦＳ_Ｂ（ｑ）および縮小画像に基づく信頼度ＢＦＴ（ｑ）である。また、輝度算出部５２３に入力されるのは、縮小された処理対象画像ＢＲ_ｓ（ｑ）、ＢＧ_ｓ（ｑ）、ＢＢ_ｓ（ｑ）である。また、加重積和される処理対象画像のサイズはそのままである。そのため、輝度算出部５２１において、処理対象画像Ｒ_ｓ（ｐ）、Ｇ_ｓ（ｐ）、Ｂ_ｓ（ｐ）から輝度が算出され（ステップＳ８７２）、非線形変換部５２２において非線形変換が行われる（ステップＳ８７３）。この非線形変換された輝度に対して、位相補償処理が行われる（ステップＳ８７５）。また、加重積和部５６１および５６２において当該画素チャンネルに対するゲインをブロック積分値の加重積和演算により算出する際（ステップＳ８７６）、ブロック積分値と当該画素の距離を縮小前の処理対象画像のモザイク画像の解像度で考えることが重要である。また、ここでいうステップＳ８７８の処理は図３７におけるステップＳ８１９、図３８におけるステップＳ８５０のことであり、いずれかで処理結果を格納することで他の処理を省略することができる。また、本発明の第４の実施の形態においては、ステップＳ８６２乃至Ｓ８６６の処理を図３８におけるステップＳ８４７の直後に挿入することで、図３８におけるループＬ７１４と図３９におけるループＬ７１５とを共通のループ処理として構成することができる。すでにステップＳ８４１で各画素の値を読み込んでいるため、ステップＳ８６１を省略することができる。また、信頼度に関しても、ステップＳ８４７にて選択された値を直接使うことでステップＳ８４８およびＳ８６２における信頼度の格納や読出し処理を省略することができる。

このように、本発明の第４の実施の形態によれば、縮小画像を用いることにより全体的な演算量を減少させるとともに、動被写体による影響を抑制することができる。

＜５．第５の実施の形態＞
また、照明成分変換処理の他の態様として、以下に説明するような別の態様をとることも可能である。ここまでに説明した照明成分変換処理では、デジタルカメラによって撮像された単独の画像を基準画像および処理対象画像としてきた。以下に説明するのは、フレームメモリを備え、複数の画像から合成入力画像を生成することにより、フラッシュ発光または非発光以外のシーンにも対応する実施の形態である。

なお、この第５の実施の形態においては、前提となる撮像装置および画像処理回路２３の構成については第４の実施の形態と同様であるため、説明を省略する。

［照明成分変換処理部１２０の構成例］
図４１は、本発明の第５の実施の形態における照明成分変換処理部１２０の構成例を示す図である。この照明成分変換処理部１２０は、第４の実施の形態と同様に、デモザイク処理部２２１および２２２と、ホワイトバランス算出部２３０と、基準画像ホワイトバランス保持部２４０と、チャンネルゲイン算出部２５０と、チャンネルゲイン適用部２６０とを備える。この照明成分変換処理部１２０は、さらに、フレーム加算部２８０を備える。このフレーム加算部２８０は、複数の画像から合成入力画像を生成するものである。

［フレーム加算部２８０の構成例］
図４２は、本発明の第５の実施の形態におけるフレーム加算部２８０の構成例を示す図である。このフレーム加算部２８０は、加算部２８１および２８２と、基準モザイク画像保持部２８３と、処理対象モザイク画像保持部２８４と、制御パラメータ決定部２８５とを備える。

基準モザイク画像保持部２８３および処理対象モザイク画像保持部２８４は、過去に撮像された画像、および、それらの加算結果を保持するものである。これら基準モザイク画像保持部２８３および処理対象モザイク画像保持部２８４には、時間方向に積分された画像が保持されていく。また、これら基準モザイク画像保持部２８３および処理対象モザイク画像保持部２８４には、より広い強度範囲で正確な色バランスを保持するために、各チャンネル１６ビット等の精度による高ダイナミックレンジ（ＨＤＲ）画像を保持することが望ましい。

加算部２８１は、新規基準モザイク画像保持部２１３からの画像と基準モザイク画像保持部２８３に保持された画像を加算するものである。加算部２８２は、新規処理対象モザイク画像保持部２１４からの画像と処理対象モザイク画像保持部２８４に保持された画像を加算するものである。

制御パラメータ決定部２８５は、フレームメモリ内の画像および新規撮像画像によって新規撮像を行うか否か、ならびに、撮像時の制御パラメータを決定するものである。この制御パラメータとしては、手ブレや被写体ブレが生じないように十分高速なシャッタ速度が採用されることが望ましい。また、この制御パラメータ決定部２８５は、処理対象画像を撮像する際の露出設定パラメータや処理対象画像の値から、全画素位置に対して、飽和や黒つぶれのない適切なＲＧＢ色バランスを取得できるように露出を変化させながら連写を行うよう制御する。

また、この制御パラメータ決定部２８５は、基準モザイク画像保持部２８３および処理対象モザイク画像保持部２８４に保持された画像から、フリッカーを検出し、その影響がなくなるまで撮像を繰り返す制御を行う。

また別の制御方法として、制御パラメータ決定部２８５において、基準モザイク画像保持部２８３および処理対象モザイク画像保持部２８４に保持された画像から、黒つぶれまたは飽和を検出してもよい。そして、その影響がなくなるまで露出を変化させながら撮像を繰り返すことにより、広ダイナミックレンジ画像を生成することができる。

なお、加算部２８１および２８２では、ブロックマッチングなどにより正確な位置合わせを行った上で加算することが望ましいが、第４の実施の形態の解像度変換処理と組み合わせることも可能である。これにより、基準モザイク画像保持部２８３に保持された画像と新規画像との間の位置合わせをすることなく、単純な重み付き加算平均でも十分な成果をあげることができるようになる。

［動作例］
図４３および４４は、本発明の第５の実施の形態における照明成分変換処理部１２０の動作例を示す図である。この照明成分変換処理部１２０の後半は図１２により説明した第１の実施の形態と同様であるが、前半において基準モザイク画像保持部２８３および処理対象モザイク画像保持部２８４に対するフレーム加算を行う点が異なっている。なお、基準モザイク画像保持部２８３および処理対象モザイク画像保持部２８４を、以下ではフレームメモリと称する。

まず、制御パラメータ決定部２８５において、撮像に関する制御パラメータが決定され、この制御パラメータに従って最初の画像が撮像される（ステップＳ８８１）。この時に撮像される画像は、基準画像および処理対象画像、または、その何れか一方でも構わない。

次に、各画素に対してステップＳ８８２乃至Ｓ８８５の処理が繰り返される（ループＬ７１８）。ループＬ７１８において、新規に撮像された画像の当該画素値が取得される（ステップＳ８８２）。また、フレームメモリから既存の対応する画素値が取得される（ステップＳ８８３）。そして、加算部２８１および２８２において、新規画素値とフレームメモリ内の画像が加重加算される（ステップＳ８８４）。この加算結果は、新規フレームメモリ画像としてフレームメモリに書き戻される（ステップＳ８８５）。

ステップＳ８８２乃至Ｓ８８５の処理が終了すると、次の画素に対する処理が繰り返される。全ての画素に対する処理が終了すると、ループＬ７１８を抜けて、次のステップの処理に移る。その際、制御パラメータ決定部２８５において、フレームメモリ内の画像および新規撮像画像によって新規撮像を行うか否か、ならびに、撮像時の制御パラメータが決定される（ステップＳ８８６）。制御パラメータ決定部２８５において、追加の撮像が必要と判断された際には、ステップＳ８８１に戻って新規の撮像が行われる。フレームメモリ内の画像が有効な場合には次のステップに移る。以降の処理は、図１２により説明した第１の実施の形態と同様である。

このように、本発明の第５の実施の形態によれば、フレームメモリを備え、複数の画像から合成入力画像を生成することにより、フラッシュ発光または非発光以外のシーンにも対応することができる。例えば、蛍光灯や水銀灯照明下においてＣＭＯＳセンサを用いて短時間露光で撮像された画像では、フリッカーの影響により、部分的に照明条件の異なる領域が出てしまうが、そのような画像についても対応することができる。

なお、この第５の実施の形態は、第４の実施の形態と組み合わせて利用することが有効である。

＜６．第６の実施の形態＞
［画像処理回路２３の処理機能例］
図４５は、本発明の第６の実施の形態における画像処理回路２３の処理機能の一例を示す図である。この画像処理回路２３は、図２により説明した第１の実施の形態のものと比べて、ホワイトバランス処理を照明成分変換処理部１２０の前段で行う点で異なる。すなわち、ホワイトバランス処理部１３１および１３２において推定されたホワイトバランス値を算出し、それぞれ基準画像ホワイトバランス保持部１８１および処理対象画像ホワイトバランス保持部１８２に格納される。そして、この格納されたホワイトバランス値は照明成分変換処理部１２０に供給される。

この第６の実施の形態では、色変換ゲイン算出部３１１および３１２における処理は、次式のようになる。

これにより、照明成分変換処理部１２０のゲインとホワイトバランス処理部１３１および１３２のゲインを同時に扱うことが可能になる。この場合、第１の実施の形態に対してゲインＳがＷＢ_ｃ倍されているため、ゲイン上限値Ｒ保持部３２３またはゲイン上限値Ｂ保持部３２４、ゲイン下限値Ｒ保持部３３３またはゲイン下限値Ｂ保持部３３４に関してもＷＢ_ｃ倍した値を設定することになる。その結果、上限値、下限値は次式であらわされる値にすると有効である。

また、黒つぶれ補償値Ｒ保持部３４３および黒つぶれ補償値Ｂ保持部３４４、飽和補償値Ｒ保持部３５３および飽和補償値Ｂ保持部３５４についても同様であり、黒つぶれ補償値はＷＢ_ｓ、飽和補償値はＷＢ_ｃと設定すればよい。また、これら上限値、下限値、補償値の計算には基準画像ホワイトバランス保持部１８１および処理対象画像ホワイトバランス保持部１８２に格納された値が用いられる。

また、このとき、ホワイトバランス算出部２３０による処理は不要になる。これ以外のデモザイク処理部２２１および２２２やチャンネルゲイン適用部２６０における処理は、第１の実施の形態と同様である。

＜７．第７の実施の形態＞
［画像処理回路２３の処理機能例］
図４６は、本発明の第７の実施の形態における画像処理回路２３の処理機能の一例を示す図である。この画像処理回路２３では、ゲイン算出だけでなく実際にホワイトバランス処理まで行ったモザイク画像を照明成分変換処理部の入力としている。ここでは、ホワイトバランス処理部１３１および１３２がホワイトバランスを算出し、それぞれ基準画像ホワイトバランス保持部１８１および処理対象画像ホワイトバランス保持部１８２に格納するとともに、ホワイトバランス処理済みの画像を照明成分変換処理部１２０に対する入力としている。

本発明の第１の実施の形態の入力Ｉに対して、この第７の実施の形態におけるホワイトバランス処理がされた入力は、次式のようになる。

これにより、チャンネルゲイン算出部２５０内の色変換ゲイン算出部３１１および３１２において算出される比率およびゲインはそれぞれ以下のように表現される。

ここで、比率ＫｏはＷＢ_ｓ／ＷＢ_ｃ倍されており、ゲインＳはＷＢ_ｃ／ＷＢ_ｓ倍されている。このことを考慮すると、ゲイン上限値Ｒ保持部３２３またはゲイン上限値Ｂ保持部３２４、ゲイン下限値Ｒ保持部３３３またはゲイン下限値Ｂ保持部３３４に関しても第１の実施の形態に対してＷＢ_ｃ／ＷＢ_ｓ倍した値を設定することになる。その結果、上限値および下限値は以下のように設定することが有効である。

また、黒つぶれ補償値Ｒ保持部３４３および黒つぶれ補償値Ｂ保持部３４４、飽和補償値Ｒ保持部３５３および飽和補償値Ｂ保持部３５４についても同様であり、黒つぶれ補償値は「１」、飽和補償値はＷＢ_ｃ／ＷＢ_ｓと設定すればよい。また、これら上限値、下限値、補償値の計算には、基準画像ホワイトバランス保持部１８１および処理対象画像ホワイトバランス保持部１８２に格納された値が用いられる。

また、これら上限値、下限値、補償値を求める別の形態として以下の手法が考えられる。すなわち、ＷＢｃ／ＷＢｓの値を基準画像ホワイトバランス保持部１８１および処理対象画像ホワイトバランス保持部１８２に格納された値を使わず、ホワイトバランス処理がなされた基準画像、処理対象画像から直接求めてもよい。ホワイトバランス処理がなされた画像において露出補償処理がされた２枚の画像の比率Ｋの式は、数３７に対して露出補償処理を行い数４１のように書ける。ここで、フラッシュ光が届かない背景領域では比率Ｋ（ｐ）は１であることから、そのような領域では数４１の各チャンネルの値としてホワイトバランスの比率を求めることができる。したがって、ＫＧに対して閾値を設け、ＫＧが１に近い領域のＫの各チャンネルの値の平均または中央値の逆数として、ＷＢｃ／ＷＢｓを求めることができる。

また、このとき、ホワイトバランス算出部２３０による処理は不要になる。デモザイク処理部２２１および２２２における処理は第１の実施の形態と同様である。また、チャンネルゲイン適用部２６０における処理は、第１の実施の形態に対して比率ＫｏがＷＢ_ｓ／ＷＢ_ｃ倍されていることに考慮した処理になる。

＜８．第８の実施の形態＞
本発明の第８の実施の形態では、ＲＡＷデータに対して何らかの変換処理が加えられた２枚の画像を想定する。例えば、図２の撮像装置の画像処理回路２３におけるホワイトバランス処理部１３０乃至ＹＣ変換処理部１７０に相当する処理がなされた２枚の画像を想定する。画像フォーマットとしては、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式を想定する。また、入力画像は画素毎に３チャンネル揃っており、それぞれの画像に対して既にホワイトバランス処理がなされていることを想定する。すなわち、第７の実施の形態と同様に、第８の実施の形態ではホワイトバランス処理済みの画像を入力画像とすることができる。

第８の実施の形態と他の実施の形態の大きな違いは、既に画素毎に３チャンネル分のデータがそろっている点である。これにより、図５における基準画像に対するデモザイク処理部２２１、処理対象画像に対するデモザイク処理部２２２が不要となり素通しになる。また、ホワイトバランス算出部２３０の動作も異なる。ホワイトバランス算出部２３０においては、事前にホワイトバランス処理部１３０で求めたホワイトバランス値を保持しておき、基準画像に対するＷＢｃの値として基準画像ホワイトバランス保持部に格納するものとする。ＷＢｓに関しても、事前にホワイトバランス処理部１３０で求めた値を保持しておいて使用するものとする。また、ＷＢｓ設定の他の形態としては図１のフラッシュ発光部６１に対する事前測定により求められたホワイトバランス値を用いてもよい。また、第７の実施例の数４１のように露出補償後の２枚の画像の比率として基準画像と処理対象画像のホワイトバランスの比率を求めてもよい。また、別の違いとしては、入力画像に対して既に図２のガンマ補正処理部１６０に相当する非線形処理が加わっており、信号の強度比Ｋが正しく求まらない点である。そのため、第８の実施の形態では、逆ガンマ補正処理をした後に照明成分変換処理の入力とするか、ガンマ補正処理を前提とした処理の変更が望まれる。逆ガンマ補正処理後の画像を入力とした画像処理回路２３の構成を説明するブロックダイアグラムが図４７である。

［画像処理回路２３の処理機能例］
図４７は、本発明の第８の実施の形態における画像処理回路２３の処理機能の一例を示す図である。この画像処理回路２３は、逆ガンマ補正処理部１３３および１３４と、照明成分変換処理部１２０と、ガンマ補正処理部１６０と、ＹＣ変換処理部１７０と、基準画像ホワイトバランス保持部１８３と、処理対象画像ホワイトバランス保持部１８４とを備える。

この画像処理回路２３の入力画像は、既にＪＰＥＧ形式からデコードされ、画素毎にＲＧＢの３チャンネル揃った画像である。逆ガンマ補正処理は、ＪＰＥＧ形式の画像を作成した時のガンマ補正処理の逆変換が望ましいが、正確な逆変換を知ることができない場合には、簡易的な逆ガンマ補正処理で構わない。ガンマ補正処理の簡易処理は、次式のようになる。

したがって、上式の逆変換式である次式により表される補正処理を行えばよいことが分かる。

ここで、Ｉ_{ｗｈｉｔｅ＿ｌｅｖｅｌ}は入力信号を０．０乃至１．０の値に正規化するための入力信号Ｉの上限値である。逆ガンマ補正後の画像に対する処理は本発明の第１の実施の形態に準じる。また、ゲイン算出部におけるゲイン上限値、ゲイン下限値、飽和補償値、黒つぶれ補償値の算出式は、第７の実施の形態の数３９および数４０に準じる。また、チャンネルゲイン適用部２６０における処理は、第７の実施例同様、第１の実施の形態に対して比率ＫｏがＷＢｓ／ＷＢｃ倍されていることに考慮した処理になる。

また、照明成分変換処理後は、再びガンマ補正する必要があるが、この変換はＪＰＥＧ形式の画像を作成した時のガンマ補正処理とは独立に、逆ガンマ補正処理部１３３および１３４の逆変換とすることが望ましい。

次に、図４７の機能例において逆ガンマ処補正処理部１３３、１３４およびガンマ補正処理部１６０を省略した場合の処理について説明する。一般に各チャンネルに対する色バランス調整処理は、センサおよびその表面に配されたカラーフィルタの分光特性、照明成分の色バランス、および、強度に対して線形な特性を持つＲＡＷデータと呼ばれる画像で行うことが望ましい。このＲＡＷデータに対して変換ｆを行った画像において照明成分変換処理することを考える。

上述のように色バランスの調整をＲＡＷデータの段階で行うこととすると、ここで得ようとする出力は色変換処理を行った後に変換ｆを行った画像であるため、以下のように表すことができる。
ｆ（ＦＳ（ｐ）・Ｉ_ｓ（ｐ））
ここで、説明を簡単にするために、図６における上限値クリッピング部、下限値クリッピング部、黒つぶれ補償部、飽和補償部を省略し、ゲインＳ（ｐ）＝ゲインＦＳ（ｐ）とすると、以下のようになる。
ｆ（Ｓ（ｐ）・Ｉ_ｓ（ｐ））
一方、変換ｆ後の画像を照明成分変換処理部１２０への入力として色変換ゲイン算出部３１１および３１２で得られるゲインをｔＳ（ｐ）とすると、ゲイン適用後の画像は以下のようになる。
ｔＳ（ｐ）・ｆ（Ｉ_ｓ（ｐ））
ここで求めるべきなのは、上２式の結果を一致させるｔＳ（ｐ）である。したがって、次式が得られる。
ｆ（Ｓ（ｐ）・Ｉ_ｓ（ｐ）＝ｔＳ（ｐ）・ｆ（Ｉ_ｓ（ｐ））
ｔＳ（ｐ）＝（ｆ（Ｓ（ｐ）・Ｉ_ｓ（ｐ））／ｆ（Ｉ_ｓ（ｐ））

ここで、変換ｆに対して、乗算および除算と変換ｆの演算順序が交換可能であると仮定する。すなわち、次式が成立するものとする。
ｆ（Ｉ（ｐ）・Ｊ（ｐ））＝ｆ（Ｉ（ｐ））・ｆ（Ｊ（ｐ））
ｆ（１／Ｉ（ｐ））＝１／ｆ（Ｉ（ｐ））
この仮定を用いると、変換後の画像に対して数４と同様の処理を行うことで、次式のように対応する色変換ゲインｔＦＳ(p)が求まることがわかる。

すなわち、ＲＡＷデータに対して上式の性質を有する変換ｆを施した画像に対しても、逆変換処理することなく本発明の実施の形態による色変換ゲイン算出法が有効であることが示された。

ガンマ補正処理は簡易的なガンマ補正処理を表す数４１に示す指数関数による変換に近似することができる。また、この変換は、変換ｆに関する仮定を表す式を満たす。したがって、ガンマ処理後の画像は、近似的に逆変換することなく、本発明の実施の形態において示された照明成分変換処理を適用することが可能である。
また、このとき、チャンネルゲイン算出部２５０で用いられるゲイン上限値、ゲイン下限値、飽和補償値、黒つぶれ補償値は、逆ガンマ補正処理の第７の実施の形態の数３９および数４０で求められたそれぞれをγ乗した値を用いることが有効である。したがって、黒つぶれ補償値は１、飽和補償値は（ＷＢ_ｃ／ＷＢ_ｓ）^γと設定すればよく、ゲイン上限値およびゲイン下限値は次式により設定すればよい。

ガンマ処理されたままの画像を入力画像とした場合、ガンマ補正された状態での画像間の比率ｇａｍＫｏは、次式のようになる。

したがって、撮像環境の違いによる露出補正後の比率ＫはｇａｍＫｏを用いて次式のように表される。

ｇａｍＩに関するガンマ補正処理の簡易処理の数式（数４１）をＩについて解いて、各判定式に代入することにより、ガンマ補正後の画像を入力とした際の黒つぶれ、飽和、動被写体の判定を行うことが可能となる。また、ガンマ補正後の画像を入力とした際にはＲＧＢ値は「上に凸の非線形変換」がすでに適用されているため、その線形和などで表現される輝度Ｌについても非線形変換が施されていることになる。したがって、ガンマ補正後の画像を入力画像とした照明成分変換処理では、非線形変換部５２２（図２６）における処理を省略することができる。最終的に照明成分変換処理部１２０の出力は、図２におけるガンマ補正処理部１６０の出力結果に相当する信号となる。

このように、本発明の第８の実施の形態によれば、ガンマ補正処理された画像を基準画像および処理対象画像とした場合であっても、色再現性の高い画像を生成することができる。

＜９．第９の実施の形態＞
上述の第３または第４の実施の形態ではエッジ保存平滑化の際に、ＲＧＢ値から固定係数に従って輝度を算出してから非線形変換を行っているが、本発明の第９の実施の形態ではＲＧＢ値を非線形変換した後に重回帰分析を施すことによって算出することを想定する。

［平滑化処理部４８０の処理機能例］
図４８は、本発明の第９の実施の形態における平滑化処理部４８０の処理機能例を示す図である。この平滑化処理部４８０の処理機能例は、図２６に示した第３の実施の形態における輝度算出部５２１および非線形変換部５２２に代えて、非線形変換部６１１、６２１乃至６２３および輝度算出部６３０を備えている。

非線形変換部６１１は、Ｇチャンネルの強度比Ｋ_Ｇ（ｐ）を非線形変換して、非線形強度比Ｋ_Ｇ ^（ｎｌ）（ｐ）を出力するものである。非線形変換部６２１乃至６２３は、処理対象画像Ｉ_ｓ（ｐ）のＲＧＢ値Ｒ_ｓ（ｐ）、Ｇ_ｓ（ｐ）およびＢ_ｓ（ｐ）の各々を非線形変換して、非線形ＲＧＢ値Ｒ_ｓ ^（ｎｌ）（ｐ）、Ｇ_ｓ ^（ｎｌ）（ｐ）およびＢ_ｓ ^（ｎｌ）（ｐ）を出力するものである。これら非線形変換部６１１、６２１乃至６２３は、非線形変換部５２２と同様に、例えば、γカーブ、１より小さい指数によるべき乗特性や対数変換などの「上に凸の単調増加特性」を適用することが有用である。ここで、非線形変換を行うのは、画素値の分布を変更して直線モデルに対する精度を向上させるためである。また、この非線形変換により強度比Ｋ_Ｇ（ｐ）とゲインとの相関が高くなり、両者の関係がわかり易くなるという利点がある。なお、この実施の形態では、非線形変換部６１１の入力として強度比Ｋ_Ｇ（ｐ）を用いているが、これに代えてＫ_Ｒ（ｐ）、Ｋ_Ｂ（ｐ）、１／Ｋ_Ｒ（ｐ）、１／Ｋ_Ｇ（ｐ）、１／Ｋ_Ｂ（ｐ）を用いるようにしてもよい。また、色変換ゲインそのもの、すなわちＦＳ_Ｒ（ｐ）やＦＳ_Ｂ（ｐ）を用いるようにしてもよい。

輝度算出部６３０は、非線形変換部６１１、６２１乃至６２３の出力から、非線形変換された輝度値Ｌ^（ｎｌ）（ｐ）を算出するものである。第３の実施の形態における輝度算出部５２１は固定係数からＲＧＢ値の線形和を演算していたが、この輝度算出部６３０は画像に応じて求められた係数から輝度値を算出する。その一例として、輝度算出部６３０は、非線形変換部６１１、６２１乃至６２３の出力に対して重回帰分析を行い、得られた重回帰分析パラメータを係数として輝度値を算出する。なお、ここでは非線形変換された値から算出するため厳密な意味では輝度値と異なるが、第３の実施の形態と同様に最終的には非線形変換された輝度値Ｌ^（ｎｌ）（ｐ）を算出することを目的としているため、広義の輝度値として取り扱う。この輝度算出部６３０は、重回帰分析部６３１と、重回帰分析パラメータ保持部６３２と、重回帰予測値算出部６３３とを備える。

重回帰分析部６３１は、非線形変換部６１１、６２１乃至６２３の出力に対して重回帰分析を行うものである。この重回帰分析部６３１は、次式の値を最小とするような重回帰分析パラメータＣＣ_Ｒ、ＣＣ_Ｇ、ＣＣ_Ｂ、ＣＣ_{Ｏｆｆｓｅｔ}を求める。ここで、ＣＣ_Ｒ、ＣＣ_Ｇ、ＣＣ_Ｂは偏回帰係数であり、ＣＣ_{Ｏｆｆｓｅｔ}は切片である。
Σ（Ｋ_Ｇ ^（ｎｌ）（ｐ）−（ＣＣ_Ｒ・Ｒ_ｓ ^（ｎｌ）（ｐ）＋ＣＣ_Ｇ・Ｇ_ｓ ^（ｎｌ）（ｐ）＋
ＣＣ_Ｂ・Ｂ_ｓ ^（ｎｌ）（ｐ）＋ＣＣ_{Ｏｆｆｓｅｔ}））²
すなわち、ここでは、Ｒ_ｓ ^（ｎｌ）（ｐ）、Ｇ_ｓ ^（ｎｌ）（ｐ）およびＢ_ｓ ^（ｎｌ）（ｐ）を説明変量とし、Ｋ_Ｇ ^（ｎｌ）（ｐ）を目的変量とした重回帰分析が行われる。なお、この例では１画面全体に対して１組の重回帰分析パラメータを求めることを想定しているが、画面の一部である小領域毎に重回帰分析パラメータを求めるようにしてもよい。また、ここではＲＧＢ全てのチャンネルを用いて重回帰分析を行ったが、特定のチャンネルのみを用いて重回帰分析を行ってもよく、ＣＣ_{Ｏｆｆｓｅｔ}を０に固定して重回帰分析を行ってもよい。

重回帰分析パラメータ保持部６３２は、重回帰分析部６３１によって求められた重回帰分析パラメータＣＣ_Ｒ、ＣＣ_Ｇ、ＣＣ_Ｂ、ＣＣ_{Ｏｆｆｓｅｔ}を保持するメモリである。この重回帰分析パラメータ保持部６３２に保持された重回帰分析パラメータは、重回帰予測値算出部６３３に供給される。

重回帰予測値算出部６３３は、重回帰分析パラメータ保持部６３２に保持された重回帰分析パラメータに従って、非線形変換された輝度値Ｌ^（ｎｌ）（ｐ）を重回帰予測値として算出するものである。この重回帰予測値算出部６３３は、次式により非線形変換された輝度値Ｌ^（ｎｌ）（ｐ）を算出する。
Ｌ^（ｎｌ）（ｐ）＝ＣＣ_Ｒ・Ｒ_ｓ ^（ｎｌ）（ｐ）＋ＣＣ_Ｇ・Ｇ_ｓ ^（ｎｌ）（ｐ）＋
ＣＣ_Ｂ・Ｂ_ｓ ^（ｎｌ）（ｐ）＋ＣＣ_{Ｏｆｆｓｅｔ}

このようにして求められた、非線形変換された輝度値Ｌ^（ｎｌ）（ｐ）は、処理対象画像の画素値のみから求まるために動被写体の影響を受け難いという特性を持つ。また、この非線形変換された輝度値Ｌ^（ｎｌ）（ｐ）は、第３の形態の場合と同様の性質を有するため、他の構成に関する説明は省略する。

［平滑化処理部４８０の他の処理機能例］
図４９は、本発明の第９の実施の形態における平滑化処理部４８０の他の処理機能例を示す図である。この平滑化処理部４８０の他の処理機能例は、図３６に示した第４の実施の形態における輝度算出部５２３および非線形変換部５２４に代えて、非線形変換部６１２、６２１乃至６２３、６４１乃至６４３および輝度算出部６３０を備えている。上述の通り、第４の実施の形態は、第３の実施の形態において入力画像に対して解像度変換した上で比較する処理を備えたものであり、図４８の例と図４９の例においても同様の関係を有している。

非線形変換部６１２は、縮小画像のＧチャンネルの強度比ＢＫ_Ｇ（ｐ）を非線形変換して、非線形強度比ＢＫ_Ｇ ^（ｎｌ）（ｐ）を出力するものである。非線形変換部６２１乃至６２３は、上述のように、処理対象画像Ｉ_ｓ（ｐ）のＲＧＢ値Ｒ_ｓ（ｐ）、Ｇ_ｓ（ｐ）およびＢ_ｓ（ｐ）の各々を非線形変換して、非線形ＲＧＢ値Ｒ_ｓ ^（ｎｌ）（ｐ）、Ｇ_ｓ ^（ｎｌ）（ｐ）およびＢ_ｓ ^（ｎｌ）（ｐ）を出力するものである。非線形変換部６４１乃至６４３は、縮小画像のＲＧＢ値ＢＲ_ｓ（ｐ）、ＢＧ_ｓ（ｐ）およびＢＢ_ｓ（ｐ）の各々を非線形変換して、非線形ＲＧＢ値ＢＲ_ｓ ^（ｎｌ）（ｐ）、ＢＧ_ｓ ^（ｎｌ）（ｐ）およびＢＢ_ｓ ^（ｎｌ）（ｐ）を出力するものである。これら非線形変換部６１２、６２１乃至６２３、６４１乃至６４３は、非線形変換部５２２と同様に、例えば、γカーブ、１より小さい指数によるべき乗特性や対数変換などの「上に凸の単調増加特性」を適用することが有用である。

輝度算出部６３０は、非線形変換部６１１、６２１乃至６２３、６４１乃至６４３の出力から、非線形変換された輝度値Ｌ^（ｎｌ）（ｐ）を算出するものである。この輝度算出部６３０は、縮小画像に応じて求められた係数から輝度値を算出する。この輝度算出部６３０は、重回帰分析部６３４と、重回帰分析パラメータ保持部６３５と、重回帰予測値算出部６３３および６３６とを備える。

重回帰分析部６３４は、非線形変換部６１２、６４１乃至６４３の出力に対して重回帰分析を行うものである。分析対象が縮小画像に基づくものである点を除き、図４８の例により説明した重回帰分析部６３１と同様である。

重回帰分析パラメータ保持部６３５は、重回帰分析部６３４によって求められた重回帰分析パラメータＣＣ_Ｒ、ＣＣ_Ｇ、ＣＣ_Ｂ、ＣＣ_{Ｏｆｆｓｅｔ}を保持するメモリである。この重回帰分析パラメータ保持部６３５に保持された重回帰分析パラメータは、重回帰予測値算出部６３３および６３６に供給される。

重回帰予測値算出部６３３は、重回帰分析パラメータ保持部６３５に保持された重回帰分析パラメータに従って、非線形変換された輝度値Ｌ^（ｎｌ）（ｐ）を重回帰予測値として算出するものである。また、重回帰予測値算出部６３６は、重回帰分析パラメータ保持部６３５に保持された重回帰分析パラメータに従って、縮小画像の非線形変換された輝度値ＢＬ^（ｎｌ）（ｐ）を重回帰予測値として算出するものである。重回帰予測値算出部６３３および６３６において、重回帰分析パラメータは同じものが利用される。

［動作例］
図５０および５１は、本発明の第９の実施の形態における平滑化処理部４８０の図４８の処理機能例に対応する動作例を示す図である。なお、ここでは、図３０と同じ処理については同じ参照符号を付している。

ここでは、まず、ステップＳ７５１乃至Ｓ７５３の処理が各画素を対象として繰り返される（ループＬ７１９）。このループＬ７１９において、処理対象画像のＲＧＢ値およびＧチャンネルの強度比が取得される（ステップＳ７５１）。これらＲＧＢ値および強度比は、非線形変換部６１１、６２１乃至６２３において非線形変換される（ステップＳ７５２）。非線形変換されたＲＧＢ値および強度比は、（図示しない）メモリに格納される（ステップＳ７５３）。

各画素に対して非線形変換処理が行われると、重回帰分析部６３１において、Ｒ_ｓ ^（ｎｌ）（ｐ）、Ｇ_ｓ ^（ｎｌ）（ｐ）およびＢ_ｓ ^（ｎｌ）（ｐ）を説明変量とし、Ｋ_Ｇ ^（ｎｌ）（ｐ）を目的変量とした重回帰分析が行われる（ステップＳ７５４）。その結果、重回帰分析により得られた重回帰分析パラメータが重回帰分析パラメータ保持部６３２に保持される（ステップＳ７５５）。

重回帰分析によって重回帰分析パラメータが得られると、ステップＳ７５６乃至Ｓ９６７の処理が各画素を対象として繰り返される（ループＬ７２０）。このループＬ７２０において、処理対象画像の非線形変換処理後のＲＧＢ値が取得される（ステップＳ７５６）。また、対応画素のゲインＦＳ_Ｒ（ｐ）、ＦＳ_Ｂ（ｐ）および信頼度ＦＴ（ｐ）が取得される（ステップＳ９６２）。さらに、重回帰分析パラメータ保持部６３２に保持された重回帰分析パラメータが取得される（ステップＳ７５７）。そして、重回帰予測値算出部６３３において、非線形変換された輝度値Ｌ^（ｎｌ）（ｐ）として重回帰予測値が算出される（ステップＳ７５８）。以降の処理については、図３１において説明したものと同様であるため、ここでの説明は省略する。

図５２乃至５４は、本発明の第９の実施の形態における平滑化処理部４８０の図４９の処理機能例に対応する動作例を示す図である。この動作例は、図５０および５１により説明した図４８の処理機能例に対応する動作例と基本的には同様である。ただし、ブロック積分値の算出のために用いられる画像は縮小画像となっている。すなわち、乗算部５１１および５１２に入力されるのは、縮小画像のゲインＢＦＳ_Ｒ（ｑ）、ＢＦＳ_Ｂ（ｑ）および縮小画像に基づく信頼度ＢＦＴ（ｑ）である。また、非線形変換部６１２、６４１乃至６４３に入力されるのは、縮小画像の強度比ＢＫ_Ｇ（ｐ）、縮小された処理対象画像ＢＲ_ｓ（ｑ）、ＢＧ_ｓ（ｑ）、ＢＢ_ｓ（ｑ）である。また、加重積和される処理対象画像のサイズはそのままである。

ここでは、まず、ステップＳ７６１乃至Ｓ７６３の処理が縮小画像の各画素を対象として繰り返される（ループＬ７２１）。ステップＳ７６１乃至Ｓ７６３の処理内容は、上述のステップＳ７５１乃至Ｓ７５３の処理と同様であるため、ここでの説明は省略する。また、これに続くステップＳ７６４およびＳ７６５の処理内容は、上述のステップＳ７５４およびＳ７５５の処理と同様であるため、これらについても説明は省略する。

重回帰分析によって重回帰分析パラメータが得られると、ステップＳ７６６乃至Ｓ８６６の処理が縮小画像の各画素を対象として繰り返される（ループＬ７２２）。なお、ここでは、図３９と同じ処理については同じ参照符号を付している。このループＬ７２２におけるステップＳ７６６乃至Ｓ８６６の処理内容は、上述のステップＳ７５６乃至Ｓ９６６の処理と同様であるため、ここでの説明は省略する。

一方、加重積和される画像は、縮小画像ではなく処理対象画像となる。したがって、ループＬ７２３では、各処理は処理対象画像の各画素を対象として繰り返される。このループＬ７２３において、処理対象画像のＲＧＢ値および重み自身のブロック積分値が取得され（ステップＳ８７１）、さらに、重回帰分析パラメータ保持部６３２に保持された重回帰分析パラメータが取得される（ステップＳ７７１）。ＲＧＢ値は、非線形変換部６２１乃至６２３において非線形変換される（ステップＳ７７２）。そして、重回帰予測値算出部６３３において、非線形変換された輝度値Ｌ^（ｎｌ）（ｐ）として重回帰予測値が算出される（ステップＳ７７３）。以降の処理については、図４０において説明したものと同様であるため、ここでの説明は省略する。

このように、本発明の第９の実施の形態によれば、ブロック積分値を利用したエッジ保存型平滑化を行う際に、画像に応じた輝度により輝度方向の平滑化を行うことができる。

＜１０．第１０の実施の形態＞
上述の第３または第４の実施の形態ではエッジ保存平滑化の際に、位置と輝度の周囲のヒストグラムから平滑化を行っているが、本発明の第１０の実施の形態では粗いゲインそのものも加重積和に利用して平滑化を行うことを想定する。

［平滑化処理部４８０の処理機能例］
図５５は、本発明の第１０の実施の形態における平滑化処理部４８０の処理機能例を示す図である。この平滑化処理部４８０の処理機能例は、図２６に示した第３の実施の形態における加重積和部５６１および５６２に対して、さらにゲインＦＳ_Ｒ（ｐ）およびＦＳ_Ｂ（ｐ）を入力している。加重積和部５６１および５６２では、位置ｐのゲインＦＳ_Ｒ（ｐ）およびＦＳ_Ｂ（ｐ）と位置ｐおよび輝度値Ｌ^（ｎｌ）（ｐ）に対応する座標ｒの平均ゲインＨＳＷ_Ｒ（ｒ）およびＨＳＷ_Ｂ（ｒ）とを比較することにより、加重積和のための重みが計算される。

［加重積和部５６１および５６２の構成例］
図５６は、本発明の第１０の実施の形態における加重積和部５６１および５６２の構成例を示す図である。この加重積和部５６１および５６２の各々は、図２８に示した第３の実施の形態における補間部５６３および５６４の前段に、除算部６５１と、比較部６５２と、乗算部６５３および６５４とを備えた構成を有する。

除算部６５１は、ブロック積分値保持部５４１および５４２に保持されたブロック積分値ＩＳＷ_Ｒ（ｒ）およびＩＳＷ_Ｂ（ｒ）をブロックヒストグラム保持部５４３に保持されたブロックヒストグラムＩＦＴ（ｒ）によって座標ｒ毎に除算するものである。これにより、座標ｒでの平均ホワイトバランスが算出される。なお、ブロック積分値およびブロックヒストグラムは、空間的な位置、輝度に対して離散化されている。座標ｒは空間的な位置ｉ，ｊおよび輝度λの３次元座標（ｉ，ｊ，λ）を表すものとする。この除算部６５１により算出されるＨＳＷ_Ｒ（ｒ）およびＨＳＷ_Ｂ（ｒ）は、次式により得られる。
ＨＳＷ_Ｒ（ｒ）＝ＩＳＷ_Ｒ（ｒ）／ＩＦＴ（ｒ）
ＨＳＷ_Ｂ（ｒ）＝ＩＳＷ_Ｂ（ｒ）／ＩＦＴ（ｒ）
なお、除算部６５１は、特許請求の範囲に記載の第１の除算部の一例である。

比較部６５２は、処理対象画像の位置ｐにおけるゲインＦＳ_Ｒ（ｐ）およびＦＳ_Ｂ（ｐ）と位置ｐに対応するブロックの座標ｒの平均ゲインＨＳＷ_Ｒ（ｒ）およびＨＳＷ_Ｂ（ｒ）とを比較することにより、加重積和の重みθを計算する。この重みθは、図５７のように△Ｍａｘ（ｒ）の値に応じて１から０の範囲の値を示す。△Ｍａｘ（ｒ）は次式のように、ａｂｓＲおよびａｂｓＢの何れか大きい方を意味する。なお、ＡＢＳは絶対値を示す関数である。
△Ｍａｘ（ｒ）＝ｍａｘ（ａｂｓＲ，ａｂｓＢ）
ａｂｓＲ＝ＡＢＳ（ＦＳ_Ｒ（ｐ）−ＨＳＷ_Ｒ（ｒ））／ＳＷＵＮＩＴ_Ｒ
ａｂｓＢ＝ＡＢＳ（ＦＳ_Ｂ（ｐ）−ＨＳＷ_Ｂ（ｒ））／ＳＷＵＮＩＴ_Ｂ

ここで、ＳＷＵＮＩＴ_ＲおよびＳＷＵＮＩＴ_Ｂは、次式により定義される。
ＳＷＵＮＩＴ_Ｒ＝ＡＢＳ（ゲイン上限値_Ｒ−ゲイン下限値_Ｒ）
ＳＷＵＮＩＴ_Ｂ＝ＡＢＳ（ゲイン上限値_Ｂ−ゲイン下限値_Ｂ）
ゲイン上限値およびゲイン下限値は、数５および数６に示したものと同様である。ＳＷＵＮＩＴにより平均ゲインの差を割ることにより、ゲインと平均ゲインの差が０．０から１．０の範囲に正規化されることになる。各画素のゲインは上限値および下限値によってクリップされているため、差の絶対値の範囲は０から「上限値−下限値」となる。また、この正規化により、ＲとＢの差を比較して大きい方を△Ｍａｘ（ｒ）とすることが可能となる。

なお、ここでは△Ｍａｘ（ｒ）をａｂｓＲおよびａｂｓＢの何れか大きい方とし、ＲチャンネルおよびＢチャンネル共通の重みとして重みθを求めたが、ａｂｓＲおよびａｂｓＢを個別に扱い、ＲチャンネルおよびＢチャンネル独立の重みθ_Ｒおよびθ_Ｂを求めてもよい。この場合、ブロック領域の重み付きゲインＳＷ_Ｒ（ｒ）またはＳＷ_Ｂ（ｒ）もＲチャンネルおよびＢチャンネル毎に計算される。

また、この例では、重みθと△Ｍａｘ（ｒ）との関係を図５７のように想定したが、これに限定されるものではなく、△Ｍａｘ（ｒ）の増加に対して重みθが単調減少する特性を有するものであればよい。

乗算部６５３は、ブロック積分値保持部５４１および５４２に保持されたブロック積分値ＩＳＷ_Ｒ（ｒ）およびＩＳＷ_Ｂ（ｒ）と比較部６５２によって算出された重みθとを座標ｒ毎に乗算するものである。また、乗算部６５４は、ブロックヒストグラム保持部５４３に保持されたブロックヒストグラムＩＦＴ（ｒ）と比較部６５２によって算出された重みθとを座標ｒ毎に乗算するものである。乗算部６５３による乗算結果は補間部５６３に供給され、乗算部６５４による乗算結果は補間部５６４に供給される。なお、乗算部６５３は、特許請求の範囲に記載の第１の乗算部の一例である。また、乗算部６５４は、特許請求の範囲に記載の第２の乗算部の一例である。

補間部５６３および５６４以降の構成は図２８と同様であるが、上述のように重みθが乗算されることにより、以下のように得られる値が異なる。まず、補間部５６３は、空間重み関数テーブル保持部５６５に保持された空間重み関数テーブルの値ω（ｒ，ｐ）によって、乗算部６５３からの入力を補間する。これにより、補間部５６３は以下の値を出力する。
Σω（ｉ，ｊ，ｐ）・θ（△Ｍａｘ（ｉ，ｊ，λ））・ＩＳＷ_Ｒ（ｉ，ｊ，λ）
Σω（ｉ，ｊ，ｐ）・θ（△Ｍａｘ（ｉ，ｊ，λ））・ＩＳＷ_Ｂ（ｉ，ｊ，λ）
ここでは、座標ｒを、空間的な位置ｉ，ｊおよび輝度λの３次元座標（ｉ，ｊ，λ）に展開している。また、演算Σについては、ここでは空間的な位置ｉ，ｊについて総和を行うものとする。

補間部５６４は、空間重み関数テーブル保持部５６５に保持された空間重み関数テーブルの値ω（ｒ，ｐ）によって、乗算部６５４からの入力を補間する。これにより、以下の値を出力する。
Σω（ｉ，ｊ，ｐ）・θ（△Ｍａｘ（ｉ，ｊ，λ））・ＩＦＴ（ｉ，ｊ，λ）
演算Σについては、ここでは空間的な位置ｉ，ｊについて総和を行うものとする。

積和部５６６は、補間部５６３の出力に対して輝度加重値を積和した結果を算出する。輝度加重値は、輝度重み関数テーブル保持部５６８に格納されたテーブルの値ψ（λ，Ｌ^（ｎｌ）（ｐ））を用いて算出される。この積和部５６６は以下の値を出力する。
Σ（ψ（λ，Ｌ^（ｎｌ）（ｐ））・ω（ｉ，ｊ，ｐ）・
θ（△Ｍａｘ（ｉ，ｊ，λ））・ＩＳＷ_Ｒ（ｉ，ｊ，λ））
Σ（ψ（λ，Ｌ^（ｎｌ）（ｐ））・ω（ｉ，ｊ，ｐ）・
θ（△Ｍａｘ（ｉ，ｊ，λ））・ＩＳＷ_Ｂ（ｉ，ｊ，λ））
演算Σについては、ここでは空間的な位置ｉ，ｊおよび輝度λについて総和を行うものとする。

積和部５６７は、補間部５６４の出力に対して輝度加重値を積和した結果を算出する。輝度加重値は、輝度重み関数テーブル保持部５６８に格納されたテーブルの値ψ（λ，Ｌ^（ｎｌ）（ｐ））を用いて算出される。この積和部５６７は以下の値を出力する。
Σ（ψ（λ，Ｌ^（ｎｌ）（ｐ））・ω（ｉ，ｊ，ｐ）・
θ（△Ｍａｘ（ｉ，ｊ，λ））・ＩＦＴ（ｉ，ｊ，λ））
演算Σについては、ここでは空間的な位置ｉ，ｊおよび輝度λについて総和を行うものとする。

除算部５６９は、積和部５６６の出力を積和部５６７の出力により除算する。すなわち、この除算部５６９は以下の値を出力する。

ここで、第３の実施の形態と比較すると、この第１０の実施の形態において、数２５に対応する式は以下のようになる。

これを離散化して近似すると、数２４に対応する以下の式になる。

すなわち、周囲の画素の重み付き加算平均計算を行う際、第３の実施の形態では空間的な距離および輝度差に基づいて重みを計算していたのに対し、この第１０の実施の形態ではさらに画素位置毎に求められたゲインの差を加えて重みを計算する。つまり、この第１０の実施の形態では、空間的な距離、輝度差、および、画素位置毎に求められたゲインの差に基づいて重みを計算して、周囲の画素の重み付き加算平均を計算する。これにより、より適切な平滑化処理を実現することができる。

［平滑化処理部４８０の他の処理機能例］
図５８は、本発明の第１０の実施の形態における平滑化処理部４８０の他の処理機能例を示す図である。この平滑化処理部４８０の他の処理機能例は、図３６に示した第４の実施の形態においてさらに解像度変換部６６１および６６２を備えている。上述の通り、第４の実施の形態は、第３の実施の形態において入力画像に対して解像度変換した上で比較する処理を備えたものであり、図５５の例と図５８の例においても同様の関係を有している。

解像度変換部６６１は、縮小画像のゲインＢＦＳ_Ｂ（ｑ）の解像度を拡大して、処理対象画像と同じ解像度のゲインＩＴＰＢＦＳ_Ｂ（ｐ）に変換する。解像度変換部６６２は、縮小画像のゲインＢＦＳ_Ｒ（ｑ）の解像度を拡大して、処理対象画像と同じ解像度のゲインＩＴＰＢＦＳ_Ｒ（ｐ）に変換する。これらにおける解像度変換は、例えば単純な線形補間により実現することができる。これら縮小画像に基づくゲインＩＴＰＢＦＳ_Ｒ（ｐ）およびＩＴＰＢＦＳ_Ｂ（ｐ）は、精度は悪くなるが、ブロック積分値およびブロックヒストグラムに比べて高周波の成分を持ったゲインになる。これら縮小画像に基づくゲインＩＴＰＢＦＳ_Ｒ（ｐ）およびＩＴＰＢＦＳ_Ｂ（ｐ）は、それぞれ加重積和部５６１および５６２に供給される。

［加重積和部５６１および５６２の構成例］
図５９は、本発明の第１０の実施の形態における平滑化処理部４８０の図５８の処理機能例に対応する加重積和部５６１および５６２の構成例を示す図である。この加重積和部５６１および５６２の各々は、図５６と同様に、補間部５６３および５６４の前段に、除算部６７１と、比較部６７２と、乗算部６７３および６７４とを備えた構成を有する。

この平滑化処理部４８０の構成例は、基本的には図５６に示した構成例と同様である。相違するのは、図５６では比較部６５２に入力されていたゲインＦＳ_Ｒ（ｐ）およびＦＳ_Ｂ（ｐ）に代えて、この例では縮小画像に基づくゲインＩＴＰＢＦＳ_Ｒ（ｐ）およびＩＴＰＢＦＳ_Ｂ（ｐ）が比較部６７２に入力される点である。これ以外の点は図５６の例と同様であるため、ここでは説明を省略する。

［動作例］
図６０は、本発明の第１０の実施の形態における平滑化処理部４８０の図５５の処理機能例に対応する動作例を示す図である。なお、前半の処理は第３の実施の形態における図３０と同様であるため、ここでは省略している。

ここでは、図３０の処理に続いて、ステップＳ９７１乃至Ｓ９７６の処理が各画素を対象として繰り返される（ループＬ７２４）。ステップＳ９７１乃至Ｓ９７６の処理自体は、図３１により説明したものと同様である。相違するのは、図３１におけるチャンネル毎の繰り返しを省いている点である。これは、この第１０の実施の形態においては、重み計算時にＲチャンネルおよびＢチャンネルの値を同時に扱っているためである。これ以外の点は図３１により説明したものと同様であるため、ここでの説明は省略する。

図６１および６２は、本発明の第１０の実施の形態における加重積和部５６１および５６２の動作例を示す図である。なお、ここでは、図３３と同じ処理については同じ参照符号を付している。

まず、当該画素周囲４×４ブロックの重み付きゲイン積分値がブロック積分値保持部５４１および５４２から取得される（ステップＳ７８１）。また、当該画素周囲４×４ブロックの重み（信頼度）自身の積分値（ブロックヒストグラム）がブロックヒストグラム保持部５４３から取得される（ステップＳ７８２）。そして、除算部６５１において、重み付きゲイン積分値に対して重み（信頼度）自身の積分値による除算処理が行われ、当該画素周囲４×４ブロック毎の平均ゲインが算出される（ステップＳ７８３）。

続いて、当該画素のゲインＦＳ_Ｒ（ｐ）およびＦＳ_Ｂ（ｐ）が取得される（ステップＳ７８４）。そして、比較部６５２において、当該画素のゲインと当該画素周囲４×４ブロック毎の平均ゲインとの比較が行われ、ブロック毎にゲイン距離に基づいた重みが算出される（ステップＳ７８５）。また、乗算部６５３および６５４において、ゲイン距離に基づく重みが、対応するブロックの重み付きゲイン積分値および重み（信頼度）自身の積分値に乗じられる（ステップＳ７８６）。

そして、当該画素の輝度値が取得され（ステップＳ９９１）、当該画素位置の重み付きゲイン積分値に対してゲイン距離に応じた重みを乗じた周囲４×４ブロックの補間が補間部５６３において行われる（ステップＳ７８７）。また、当該画素位置の重み（信頼度）自身の積分値に対してゲイン距離に応じた重みを乗じた周囲４×４ブロックの補間が補間部５６４において行われる（ステップＳ７８８）。ステップＳ９９４以降の処理は図３３と同様であるため、ここでの説明は省略する。

なお、この図６１および６２では図５６の構成を前提に説明したが、図５９の構成においても加重積和処理としては同様の処理が行われるため、ここでの説明は省略する。ただし、ステップＳ７８４で、当該画素のゲインＦＳ_Ｒ（ｐ）およびＦＳ_Ｂ（ｐ）に代えて、縮小画像に基づくゲインＩＴＰＢＦＳ_Ｒ（ｐ）およびＩＴＰＢＦＳ_Ｂ（ｐ）が取得されて、比較に用いられる。

図６３は、本発明の第１０の実施の形態における平滑化処理部４８０の動作例を示す図である。なお、前半の処理は第４の実施の形態における図３９と同様であるため、ここでは省略している。また、ここでは、図４０と同じ処理については同じ参照符号を付している。

ブロック積分値およびブロックヒストグラムが更新された後、ループＬ７２５においてステップＳ８７１乃至Ｓ８７８の処理が繰り返される。各処理の内容は図４０と同様であるが、ステップＳ８７３とＳ８７４との間にステップＳ７９１の処理が挿入される点が異なっている。このステップＳ７９１では、当該画素位置のゲインが補間部５６３および５６４の補間処理により算出される。また、図４０におけるチャンネル毎の繰り返しを省いている点も相違する。これは、この第１０の実施の形態においては、重み計算時にＲチャンネルおよびＢチャンネルの値を同時に扱っているためである。これら以外の点は図４０により説明したものと同様であるため、ここでの説明は省略する。

このように、本発明の第１０の実施の形態によれば、平滑化の際の加重積和に際して、位置と輝度の周囲のヒストグラムのみならず粗いゲインそのものを利用することにより、色再現性のより高い画像を生成することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１１ レンズ
１２ 絞り
１３ 撮像素子
２１ サンプリング回路
２２ Ａ／Ｄ変換回路
２３ 画像処理回路
３１ 符号化／復号器
３２ メモリ
４１ 表示ドライバ
４２ 表示部
５１ タイミング生成器
５２ 操作入力受付部
５３ ドライバ
５４ 制御部
５９ バス
６１ フラッシュ発光部
６２ フラッシュ制御部
１１１ 基準モザイク画像保持部
１１２ 処理対象モザイク画像保持部
１２０ 照明成分変換処理部
１３０、１３１ ホワイトバランス処理部
１３３ 逆ガンマ補正処理部
１４０ デモザイク処理部
１５０ 階調補正処理部
１６０ ガンマ補正処理部
１７０ ＹＣ変換処理部
１８１、１８３ 基準画像ホワイトバランス保持部
１８２、１８４ 処理対象画像ホワイトバランス保持部
１９１ Ｙ画像保持部
１９２ Ｃ画像保持部
２１３ 新規基準モザイク画像保持部
２１４ 新規処理対象モザイク画像保持部
２２１、２２２ デモザイク処理部
２３０ ホワイトバランス算出部
２４０ 基準画像ホワイトバランス保持部
２５０ チャンネルゲイン算出部
２６０ チャンネルゲイン適用部
２６１、２６２ 乗算部
２７１ 解像度変換部
２８０ フレーム加算部
２８１、２８２ 加算部
２８３ 基準モザイク画像保持部
２８４ 処理対象モザイク画像保持部
２８５ 制御パラメータ決定部
２９０ 照明成分変換済モザイク画像保持部
３１１、３１２ 色変換ゲイン算出部
３２１、３２２ 上限値クリッピング部
３２３ ゲイン上限値Ｒ保持部
３２４ ゲイン上限値Ｂ保持部
３３１、３３２ 下限値クリッピング部
３３３ ゲイン下限値Ｒ保持部
３３４ ゲイン下限値Ｂ保持部
３４１、３４２ 黒つぶれ補償部
３４３ 黒つぶれ補償値Ｒ保持部
３４４ 黒つぶれ補償値Ｂ保持部
３４５ 黒つぶれ度算出部
３５１、３５２ 飽和補償部
３５３ 飽和補償値Ｒ保持部
３５４ 飽和補償値Ｂ保持部
３５５ 飽和度算出部
４２１〜４２３ 除算部
４３１〜４３３ 露出補償部
４４０ 飽和信頼度算出部
４５０ 黒つぶれ信頼度算出部
４６０ 動被写体信頼度算出部
４６１ 比率逆転度算出部
４６２ 比率予測部
４６３ 分光反射率変化量予測部
４６４ 環境光スペクトル色バランス値保持部
４６５ フラッシュ光スペクトル色バランス値保持部
４６６ 最小値選択部
４７０ 信頼度選択部
４８０ 平滑化処理部
５１１ 乗算部
５２１、５２３、６３０ 輝度算出部
５２２、６１１、６１２、６２１乃至６２３、６４１乃至６４３ 非線形変換部
５３１ ブロック積分値算出部
５３３ ブロックヒストグラム算出部
５３４ ブロック選択部
５３５ 積分器
５３６ 加算部
５３７ レジスタ
５３８ ブロック積分値保持部
５４１、５４２ ブロック積分値保持部
５４３ ブロックヒストグラム保持部
５５１ 位相補償処理部
５６１、５６２ 加重積和部
５６３、５６４ 補間部
５６５ 空間重み関数テーブル保持部
５６６、５６７ 積和部
５６８ 輝度重み関数テーブル保持部
５６９ 除算部
５７１、５７２ ゲイン適用部
６３１、６３４ 重回帰分析部
６３２、６３５ 重回帰分析パラメータ保持部
６３３、６３６ 重回帰予測値算出部
６５１、６７１ 除算部
６５２、６７２ 比較部
６５３、６５４、６７３、６７４ 乗算部
６６１、６６２ 解像度変換部

Claims (23)

1. 異なる照明環境下で撮像された基準画像および処理対象画像から、各画素位置におけるチャンネル毎に照明成分を変換するためのゲインを算出するチャンネルゲイン算出部と、
   前記ゲインを前記処理対象画像に適用するためのチャンネルゲイン適用部と
   を具備し、
   前記チャンネルゲイン適用部は、
   前記基準画像と前記処理対象画像の対応画素における特性値の変化から空間的に被写体が動いた画素か否かを判定して動被写体信頼度を算出する動被写体信頼度算出部と、
   前記動被写体信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理部と
   を備え、
   前記動被写体信頼度算出部は、
   前記処理対象画像の画素の信号強度の変化が基準画像および処理対象画像全体の照明成分の変化の方向と逆転しているか否かに応じて前記動被写体信頼度を算出する比率逆転度算出部を備える
   画像処理装置。
2. 前記基準画像および前記処理対象画像の撮像条件の違いを補償するために露出強度が等しくなるよう強度調整する露出補償部をさらに具備する請求項１記載の画像処理装置。
3. 前記チャンネルゲイン適用部は、
   前記基準画像の画素値から画素の飽和信頼度を算出する飽和信頼度算出部と、
   前記飽和信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理部と
   を備える請求項１記載の画像処理装置。
4. 前記チャンネルゲイン適用部は、
   前記基準画像の画素値から画素の黒つぶれ信頼度を算出する黒つぶれ信頼度算出部と、
   前記黒つぶれ信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理部と
   を備える請求項１記載の画像処理装置。
5. 前記チャンネルゲイン適用部は、
   前記基準画像の画素値および前記基準画像と前記処理対象画像とのチャンネル間比率から画素の黒つぶれ信頼度を算出する黒つぶれ信頼度算出部と、
   前記黒つぶれ信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理部と
   を備える請求項１記載の画像処理装置。
6. 異なる照明環境下で撮像された基準画像および処理対象画像から、各画素位置におけるチャンネル毎に照明成分を変換するためのゲインを算出するチャンネルゲイン算出部と、
   前記ゲインを前記処理対象画像に適用するためのチャンネルゲイン適用部と
   を具備し、
   前記チャンネルゲイン適用部は、
   前記基準画像と前記処理対象画像の対応画素における特性値の変化から空間的に被写体が動いた画素か否かを判定して動被写体信頼度を算出する動被写体信頼度算出部と、
   前記動被写体信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理部と
   を備え、
   前記動被写体信頼度算出部は、
   前記基準画像と前記処理対象画像の対応画素の分光反射率の変化に応じて前記動被写体信頼度を算出する分光反射率変化量予測部を備える
   画像処理装置。
7. 前記基準画像および前記処理対象画像の撮像条件の違いを補償するために露出強度が等しくなるよう強度調整する露出補償部をさらに具備する請求項６記載の画像処理装置。
8. 前記チャンネルゲイン適用部は、
   前記基準画像の画素値から画素の飽和信頼度を算出する飽和信頼度算出部と、
   前記飽和信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理部と
   を備える請求項６記載の画像処理装置。
9. 前記チャンネルゲイン適用部は、
   前記基準画像の画素値から画素の黒つぶれ信頼度を算出する黒つぶれ信頼度算出部と、
   前記黒つぶれ信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理部と
   を備える請求項６記載の画像処理装置。
10. 前記チャンネルゲイン適用部は、
    前記基準画像の画素値および前記基準画像と前記処理対象画像とのチャンネル間比率から画素の黒つぶれ信頼度を算出する黒つぶれ信頼度算出部と、
    前記黒つぶれ信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理部と
    を備える請求項６記載の画像処理装置。
11. 異なる照明環境下で撮像された基準画像および処理対象画像から、各画素位置におけるチャンネル毎に照明成分を変換するためのゲインを算出するチャンネルゲイン算出部と、
    前記ゲインを前記処理対象画像に適用するためのチャンネルゲイン適用部と
    を具備し、
    前記チャンネルゲイン適用部は、
    前記処理対象画像の画素値から輝度を算出する輝度算出部と、
    画素間の輝度の差に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理部とを備え、
    前記輝度算出部は、前記基準画像と前記処理対象画像の対応画素の強度比を目的変量とし、前記処理対象画像の画素値を説明変量とした重回帰分析に基づいて前記輝度を算出する
    画像処理装置。
12. 空間軸方向および輝度軸方向に領域を複数に分割した各ブロックについて処理対象画像の画素の頻度値をブロックヒストグラムとして算出するブロックヒストグラム算出部と、
    前記各ブロックに属する特性値の積分値を算出するブロック積分値算出部と、
    ブロックヒストグラムとブロック積分値と算出対象となる画素位置の輝度値とから前記算出対象となる画素位置の大局ゲイン値を算出する加重積和部と、
    前記処理対象画像に前記大局ゲイン値を適用するゲイン適用部と
    を具備し、
    前記加重積和部は、
    予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置への前記ブロックヒストグラムの補間を行う第１の補間部と、
    予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置への前記ブロック毎の特性値の補間を行う第２の補間部と、
    予め定義された輝度軸方向の重み関数によって前記補間されたブロックヒストグラムの荷重和を算出する第１の積和部と、
    予め定義された輝度軸方向の重み関数によって前記補間された特性値の荷重和を算出する第２の積和部と、
    前記第２の積和部の出力を前記第１の積和部の出力によって除算する除算部と
    を備える
    画像処理装置。
13. 空間軸方向および輝度軸方向に領域を複数に分割した各ブロックについて処理対象画像の画素の頻度値をブロックヒストグラムとして算出するブロックヒストグラム算出部と、
    前記各ブロックに属する特性値の積分値を算出するブロック積分値算出部と、
    ブロックヒストグラムとブロック積分値と算出対象となる画素位置の輝度値とから前記算出対象となる画素位置の大局ゲイン値を算出する加重積和部と、
    前記処理対象画像に前記大局ゲイン値を適用するゲイン適用部と
    を具備し、
    前記加重積和部は、
    前記ブロック毎の特性値を前記ブロックヒストグラムの値で除算することによってブロック位置毎の平均特性値を計算する第１の除算部と、
    前記平均特性値と前記算出対象となる画素位置に関する特性値とを比較することによって重みを計算する比較部と、
    前記比較部において算出された重みを対応するブロック位置の前記ブロック毎の特性値に乗じる第１の乗算部と、
    前記比較部において算出された重みを対応するブロック位置の前記ブロックヒストグラムの値に乗じる第２の乗算部と、
    予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置へ前記第１の乗算部の出力である重み付きブロックヒストグラムの補間を行う第１の補間部と、
    予め定義された予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置への第２の乗算部の出力であるブロック毎の重み付き特性値の補間を行う第２の補間部と、
    予め定義された輝度軸方向の重み関数によって前記補間されたブロックヒストグラムの荷重和を算出する第１の積和部と、
    予め定義された輝度軸方向の重み関数によって前記補間された特性値の荷重和を算出する第２の積和部と、
    前記第２の積和部の出力を前記第１の積和部の出力によって除算する第２の除算部とを備える
    画像処理装置。
14. 異なる照明環境下で撮像された基準画像および処理対象画像から、各画素位置におけるチャンネル毎に照明成分を変換するためのゲインを算出するチャンネルゲイン算出手順と、
    前記ゲインを前記処理対象画像に適用するためのチャンネルゲイン適用手順と
    を具備し、
    前記チャンネルゲイン適用手順は、
    前記基準画像と前記処理対象画像の対応画素における特性値の変化から空間的に被写体が動いた画素か否かを判定して動被写体信頼度を算出する動被写体信頼度算出手順と、
    前記動被写体信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理手順と
    を備え、
    前記動被写体信頼度算出手順は、
    前記処理対象画像の画素の信号強度の変化が基準画像および処理対象画像全体の照明成分の変化の方向と逆転しているか否かに応じて前記動被写体信頼度を算出する比率逆転度算出手順を備える
    画像処理方法。
15. 異なる照明環境下で撮像された基準画像および処理対象画像から、各画素位置におけるチャンネル毎に照明成分を変換するためのゲインを算出するチャンネルゲイン算出手順と、
    前記ゲインを前記処理対象画像に適用するためのチャンネルゲイン適用手順と
    を具備し、
    前記チャンネルゲイン適用手順は、
    前記基準画像と前記処理対象画像の対応画素における特性値の変化から空間的に被写体が動いた画素か否かを判定して動被写体信頼度を算出する動被写体信頼度算出手順と、
    前記動被写体信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理手順と
    を備え、
    前記動被写体信頼度算出手順は、
    前記基準画像と前記処理対象画像の対応画素の分光反射率の変化に応じて前記動被写体信頼度を算出する分光反射率変化量予測手順を備える
    画像処理方法。
16. 異なる照明環境下で撮像された基準画像および処理対象画像から、各画素位置におけるチャンネル毎に照明成分を変換するためのゲインを算出するチャンネルゲイン算出手順と、
    前記ゲインを前記処理対象画像に適用するためのチャンネルゲイン適用手順と
    を具備し、
    前記チャンネルゲイン適用手順は、
    前記処理対象画像の画素値から輝度を算出する輝度算出手順と、
    画素間の輝度の差に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理手順とを備え、
    前記輝度算出手順は、前記基準画像と前記処理対象画像の対応画素の強度比を目的変量とし、前記処理対象画像の画素値を説明変量とした重回帰分析に基づいて前記輝度を算出する
    画像処理方法。
17. 空間軸方向および輝度軸方向に領域を複数に分割した各ブロックについて処理対象画像の画素の頻度値をブロックヒストグラムとして算出するブロックヒストグラム算出手順と、
    前記各ブロックに属する特性値の積分値を算出するブロック積分値算出手順と、
    ブロックヒストグラムとブロック積分値と算出対象となる画素位置の輝度値とから前記算出対象となる画素位置の大局ゲイン値を算出する加重積和手順と、
    前記処理対象画像に前記大局ゲイン値を適用するゲイン適用手順と
    を具備し、
    前記加重積和手順は、
    予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置への前記ブロックヒストグラムの補間を行う第１の補間手順と、
    予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置への前記ブロック毎の特性値の補間を行う第２の補間手順と、
    予め定義された輝度軸方向の重み関数によって前記補間されたブロックヒストグラムの荷重和を算出する第１の積和手順と、
    予め定義された輝度軸方向の重み関数によって前記補間された特性値の荷重和を算出する第２の積和手順と、
    前記第２の積和手順の出力を前記第１の積和手順の出力によって除算する除算手順と
    を備える
    画像処理方法。
18. 空間軸方向および輝度軸方向に領域を複数に分割した各ブロックについて処理対象画像の画素の頻度値をブロックヒストグラムとして算出するブロックヒストグラム算出手順と、
    前記各ブロックに属する特性値の積分値を算出するブロック積分値算出手順と、
    ブロックヒストグラムとブロック積分値と算出対象となる画素位置の輝度値とから前記算出対象となる画素位置の大局ゲイン値を算出する加重積和手順と、
    前記処理対象画像に前記大局ゲイン値を適用するゲイン適用手順と
    を具備し、
    前記加重積和手順は、
    前記ブロック毎の特性値を前記ブロックヒストグラムの値で除算することによってブロック位置毎の平均特性値を計算する第１の除算手順と、
    前記平均特性値と前記算出対象となる画素位置に関する特性値とを比較することによって重みを計算する比較手順と、
    前記比較手順において算出された重みを対応するブロック位置の前記ブロック毎の特性値に乗じる第１の乗算手順と、
    前記比較手順において算出された重みを対応するブロック位置の前記ブロックヒストグラムの値に乗じる第２の乗算手順と、
    予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置へ前記第１の乗算手順の出力である重み付きブロックヒストグラムの補間を行う第１の補間手順と、
    予め定義された予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置への第２の乗算手順の出力であるブロック毎の重み付き特性値の補間を行う第２の補間手順と、
    予め定義された輝度軸方向の重み関数によって前記補間されたブロックヒストグラムの荷重和を算出する第１の積和手順と、
    予め定義された輝度軸方向の重み関数によって前記補間された特性値の荷重和を算出する第２の積和手順と、
    前記第２の積和手順の出力を前記第１の積和手順の出力によって除算する第２の除算手順とを備える
    画像処理方法。
19. 異なる照明環境下で撮像された基準画像および処理対象画像から、各画素位置におけるチャンネル毎に照明成分を変換するためのゲインを算出するチャンネルゲイン算出手順と、
    前記ゲインを前記処理対象画像に適用するためのチャンネルゲイン適用手順と
    をコンピュータに実行させるプログラムであって、
    前記チャンネルゲイン適用手順は、
    前記基準画像と前記処理対象画像の対応画素における特性値の変化から空間的に被写体が動いた画素か否かを判定して動被写体信頼度を算出する動被写体信頼度算出手順と、
    前記動被写体信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理手順と
    を備え、
    前記動被写体信頼度算出手順は、
    前記処理対象画像の画素の信号強度の変化が基準画像および処理対象画像全体の照明成分の変化の方向と逆転しているか否かに応じて前記動被写体信頼度を算出する比率逆転度算出手順を備える
    プログラム。
20. 異なる照明環境下で撮像された基準画像および処理対象画像から、各画素位置におけるチャンネル毎に照明成分を変換するためのゲインを算出するチャンネルゲイン算出手順と、
    前記ゲインを前記処理対象画像に適用するためのチャンネルゲイン適用手順と
    をコンピュータに実行させるプログラムであって、
    前記チャンネルゲイン適用手順は、
    前記基準画像と前記処理対象画像の対応画素における特性値の変化から空間的に被写体が動いた画素か否かを判定して動被写体信頼度を算出する動被写体信頼度算出手順と、
    前記動被写体信頼度に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理手順と
    を備え、
    前記動被写体信頼度算出手順は、
    前記基準画像と前記処理対象画像の対応画素の分光反射率の変化に応じて前記動被写体信頼度を算出する分光反射率変化量予測手順を備える
    プログラム。
21. 異なる照明環境下で撮像された基準画像および処理対象画像から、各画素位置におけるチャンネル毎に照明成分を変換するためのゲインを算出するチャンネルゲイン算出手順と、
    前記ゲインを前記処理対象画像に適用するためのチャンネルゲイン適用手順と
    をコンピュータに実行させるプログラムであって、
    前記チャンネルゲイン適用手順は、
    前記処理対象画像の画素値から輝度を算出する輝度算出手順と、
    画素間の輝度の差に基づいて前記ゲインを空間平滑化した上で前記処理対象画像に対して適用する平滑化処理手順とを備え、
    前記輝度算出手順は、前記基準画像と前記処理対象画像の対応画素の強度比を目的変量とし、前記処理対象画像の画素値を説明変量とした重回帰分析に基づいて前記輝度を算出する
    プログラム。
22. 空間軸方向および輝度軸方向に領域を複数に分割した各ブロックについて処理対象画像の画素の頻度値をブロックヒストグラムとして算出するブロックヒストグラム算出手順と、
    前記各ブロックに属する特性値の積分値を算出するブロック積分値算出手順と、
    ブロックヒストグラムとブロック積分値と算出対象となる画素位置の輝度値とから前記算出対象となる画素位置の大局ゲイン値を算出する加重積和手順と、
    前記処理対象画像に前記大局ゲイン値を適用するゲイン適用手順と
    をコンピュータに実行させるプログラムであって、
    前記加重積和手順は、
    予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置への前記ブロックヒストグラムの補間を行う第１の補間手順と、
    予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置への前記ブロック毎の特性値の補間を行う第２の補間手順と、
    予め定義された輝度軸方向の重み関数によって前記補間されたブロックヒストグラムの荷重和を算出する第１の積和手順と、
    予め定義された輝度軸方向の重み関数によって前記補間された特性値の荷重和を算出する第２の積和手順と、
    前記第２の積和手順の出力を前記第１の積和手順の出力によって除算する除算手順と
    を備える
    プログラム。
23. 空間軸方向および輝度軸方向に領域を複数に分割した各ブロックについて処理対象画像の画素の頻度値をブロックヒストグラムとして算出するブロックヒストグラム算出手順と、
    前記各ブロックに属する特性値の積分値を算出するブロック積分値算出手順と、
    ブロックヒストグラムとブロック積分値と算出対象となる画素位置の輝度値とから前記算出対象となる画素位置の大局ゲイン値を算出する加重積和手順と、
    前記処理対象画像に前記大局ゲイン値を適用するゲイン適用手順と
    をコンピュータに実行させるプログラムであって、
    前記加重積和手順は、
    前記ブロック毎の特性値を前記ブロックヒストグラムの値で除算することによってブロック位置毎の平均特性値を計算する第１の除算手順と、
    前記平均特性値と前記算出対象となる画素位置に関する特性値とを比較することによって重みを計算する比較手順と、
    前記比較手順において算出された重みを対応するブロック位置の前記ブロック毎の特性値に乗じる第１の乗算手順と、
    前記比較手順において算出された重みを対応するブロック位置の前記ブロックヒストグラムの値に乗じる第２の乗算手順と、
    予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置へ前記第１の乗算手順の出力である重み付きブロックヒストグラムの補間を行う第１の補間手順と、
    予め定義された予め定義された空間軸方向の重み関数によって前記算出対象となる画素位置への第２の乗算手順の出力であるブロック毎の重み付き特性値の補間を行う第２の補間手順と、
    予め定義された輝度軸方向の重み関数によって前記補間されたブロックヒストグラムの荷重和を算出する第１の積和手順と、
    予め定義された輝度軸方向の重み関数によって前記補間された特性値の荷重和を算出する第２の積和手順と、
    前記第２の積和手順の出力を前記第１の積和手順の出力によって除算する第２の除算手順とを備える
    プログラム。

Images