JP4946795B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関し、例えば電子スチルカメラに適用することができる。本発明は、画像データの階調を補正する階調補正係数で、ノイズモデルから求められるノイズ抑圧用パラメータを補正してノイズ抑圧処理を実行することにより、階調を補正した後、ノイズモデルに基づいてノイズ抑圧する場合に、ノイズモデルに従って正しくノイズ抑圧することができるようにする。

従来、電子スチルカメラ等の画像処理装置では、種々の画像処理により画質を向上している。ここで、これらの画像処理は、例えばノイズレベルを低減させるノイズリダクション処理（以下、ＮＲ処理と呼ぶ）、肌色の部分をローパスフィルタで平滑化して人物の顔等の見栄えを良くするスキントン処理（以下、ＳＫ処理と呼ぶ）、画像の輝度分布に応じて階調を動的に可変して見た目のダイナミックレンジを拡大するワイドダイナミックレンジ補正処理（以下、ＷＤＲ処理と呼ぶ）等である。

ここで図１９は、従来の電子スチルカメラを示すブロック図である。この電子スチルカメラ１において、固体撮像素子２は、例えばＣＣＤ（Charge Coupled Device ）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）センサ等による２次元イメージセンサであり、図示しないレンズによって撮像面に形成された光学像を光電変換処理し、撮像信号Ｓ１を出力する。

アナログディジタル変換回路（Ａ／Ｄ）３は、この撮像信号Ｓ１をアナログディジタル変換処理し、撮像データＤ２を出力する。

光学補正部４は、レンズの光学特性による撮像データＤ２の画像歪みを補正した後、この撮像データＤ２を赤色、緑色、青色の色データによる画像データＤ３に変換して出力する。

ホワイトバランス部５は、光学補正部４から出力される画像データＤ３のホワイトバランスを調整して出力する。ワイドダイナミックレンジ補正部６は、ホワイトバランス部５から出力される画像データＤ４をＷＤＲ処理して出力する。スキントン処理部７は、ワイドダイナミックレンジ補正部６から出力される画像データＤ５をＳＫ処理して出力する。ノイズ抑圧部８は、スキントン処理部７から出力される画像データＤ６をＮＲ処理して出力する。ガンマ処理部９は、このノイズ抑圧部８から出力される画像データＤ７をガンマ補正処理して出力する。

記録部１０は、ガンマ処理部９から出力される画像データＤ８を演算処理し、この画像データＤ８を輝度信号及び色差信号による画像データに変換する。なおここでこの演算処理は、輝度信号及び色差信号をＹ及びＣｒ、Ｃｂとおき、赤色、緑色、青色の色データをＲ、Ｇ、Ｂとおいたとき、例えばＹ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ、Ｃｒ＝Ｒ−Ｙ、Ｃｂ＝Ｂ−Ｙにより表される。記録部１０は、この輝度信号及び色差信号による画像データを記録メディア１１に記録する。なおここで記録メディア１１は、例えば光ディスク、磁気ディスク、メモリカード等である。

図２０は、ワイドダイナミックレンジ補正部６、スキントン処理部７、ノイズ抑圧部８を詳細に示すブロック図である。ワイドダイナミックレンジ補正部６において、補正値生成部１５は、ホワイトバランス部５から出力される画像データＤ４に応じて画像データＤ４の階調を補正する階調補正カーブを生成する。具体的に、補正値生成部１５は、画像データＤ４の輝度値の分布を計算し、分布が集中している輝度レベルで隣接する階調間の輝度レベル差が大きくなるように、またこれとは逆に分布が集中していない輝度レベルで隣接する階調間の輝度レベル差が小さくなるように、階調補正カーブを生成する。

ここで図２１は、階調補正カーブの１例を示す特性曲線図である。ここで図２１の例は、画像データＤ４が逆光等によるハイコントラスト画像である場合の例であり、ワイドダイナミックレンジ補正部６は、この場合、低輝度部分をブーストすると共に、高輝度部分を抑圧するように、画像データＤ４に応じてγカーブを設定し、見た目のダイナミックレンジを拡大する。ここで補正値生成部１５は、この場合、画像データＤ４における輝度値の増大により補正値Ｃ１が値１から徐々に立ち上がった後、値１より低下して値１に戻るように、階調補正カーブを生成する。補正値生成部１５は、この生成した階調補正カーブを使用して画像データＤ４の輝度値に応じて階調補正値Ｃ１を生成する。

乗算部１６は、この階調補正値Ｃ１と画像データＤ４の対応する画素値とを乗算することにより、画像データＤ４の階調を補正して画像データＤ５を出力する。

スキントン処理部７において、肌色エリア検出部１７は、ワイドダイナミックレンジ補正部６から出力される画像データＤ５から肌色の画素を検出して肌色判定フラグＦ１を出力する。ここで図２２に示すように、ＨＳＶ空間で肌色部分の色相を見ると、肌色は、色相が０〜４０〔度〕の範囲に偏ったものとなる。この色相の偏りを利用して、肌色エリア検出部１７は、画像データＤ５から色差信号Ｃｒ、Ｃｂの画像データを生成する。またこの色差信号Ｃｒ、Ｃｂの信号レベルを判定して画像データの色相を判定し、図２３に示す肌色の検出エリアに属する画像データＤ４を検出して肌色判定フラグＦ１を出力する。

パラメータ生成部１８は、注目画素を中心とした水平方向及び垂直方向の所定範囲で、注目画素毎に肌色判定フラグＦ１の数をカウントし、この所定範囲の肌色画素数を示す肌色量を検出する。パラメータ生成部１８は、図２４に示すように、この肌色量が増大するに従って値が増大するパラメータＢを生成して出力する。なおここでこのパラメータＢは、肌色部分を平滑化処理するローパスフィルタの特性を制御するパラメータである。

ローパスフィルタ（ＬＰＦ）１９は、このパラメータＢの増大によりカットオフ周波数を低減させて及び又は減衰量を増大させて画像データＤ５を処理することにより、顔等の輪郭部分では高域成分の抑圧量が徐々に変化するように設定して、肌色の部分でのみ画像データＤ５の高域成分を抑圧する。より具体的に、ローパスフィルタ１９は、カットオフ周波数及び又は減衰率の異なる２系統のローパスフィルタと、この２系統のローパスフィルタ出力を重み付け加算する重み付け加算回路とにより構成される。ローパスフィルタ１９は、この２系統のローパスフィルタでそれぞれ画像データＤ５を平滑化した後、パラメータＢに応じた重み付け係数によりこの２系統のローパスフィルタ出力を重み付け加算することにより、パラメータＢの増大によりカットオフ周波数を低減させて及び又は減衰量を増大させて画像データＤ５を処理する。

ノイズ抑圧部８は、画像データＤ６のノイズモデルに基づいて画像データＤ６を平滑化処理して出力し、パラメータ生成部２０は、この平滑化処理の特性を制御するパラメータを出力する。ここでこの図２０の例では、この平滑化処理をεフィルタ２１により実行し、パラメータ生成部２０は、平滑化処理の特性を制御するパラメータとしてこのεフィルタ２１のしきい値ε１を出力する。

ここでこのノイズモデルは、ノイズ抑圧部８に画像データＤ６が入力されるまでの間で、この画像データＤ６に混入するノイズ量Ｎを数式化したものである。この電子スチルカメラ１の場合、固体撮像素子２から出力される撮像信号Ｓ１をアナログディジタル変換回路３でアナログディジタル変換処理して処理していることから、ノイズモデルは、次式により表される。

なおここでａは、光ショットノイズによる係数、ｂは、フロアノイズのレベル、ｘは、注目画素の画素値である。従って（１）式、右辺のａ×ｘ^1/2 の項は、固体撮像素子２における光電変換処理で発生する光ショットノイズ量である。続くｂは、固体撮像素子２における光電変換処理結果である各画素の蓄積電荷を撮像信号Ｓ１により出力してアナログディジタル変換回路３でアナログディジタル変換処理するまでの間で混入するノイズ量である。従ってこのノイズモデルは、使用する固体撮像素子２、アナログディジタル変換回路３等によって変化することになる。

パラメータ生成部２０は、（１）式の画素値ｘに各注目画素の画素値を適用して注目画素毎にノイズモデルによるノイズ量Ｎを求め、このノイズ量Ｎをεフィルタ２１のしきい値ε１として出力する。なおここで図２５は、このノイズモデルにより注目画素の画素値としきい値ε１との関係を示す特性曲線図である。

εフィルタ２１は、このしきい値ε１に応じて処理対象の画像データＤ６を選択して平滑化処理を実行することにより、絵柄成分であるエッジ成分の劣化を防止してノイズ抑圧処理を実行する。

ここでεフィルタ２１において、画素選択フラグ生成部２２は、図２６に示すように、注目画素毎に、図示しないメモリを介して注目画素ｄ０を中心とした水平方向及び垂直方向の所定範囲の画素ｄ−４〜ｄ−１、ｄ１〜ｄ６の画像データを入力し、注目画素ｄ０の画素値を中心としたしきい値εの範囲に含まれる画素を検出する。画素選択フラグ生成部２２は、この検出した画素が処理対象であることを示す判定フラグＦ２を出力する。従ってこの図２６の例では、注目画素ｄ０に対して、画素ｄ−２、ｄ４以外の画素ｄ−４、ｄ−３、ｄ−１、ｄ１〜ｄ３、ｄ５、ｄ６でそれぞれ判定フラグＦ２を出力する。

ローパスフィルタ（ＬＰＦ）２３は、この判定フラグＦ２に基づいて処理対象の画像データを選択して注目画素との間で平滑化処理することにより、画像データＤ６のノイズレベルを抑圧して出力する。

ここでワイドダイナミックレンジ補正部６の処理に関して、特開２００１−２９８６２１号公報には、エッジ成分を保存してＷＤＲ処理する構成が開示されている。またＳＫ処理に関して、特開２００６−４１９４６号公報には、ジッタの発生を防止してＳＫ処理する構成が開示されている。また特開２００５−３１１４５５号公報には、ＮＲ処理に関して、画像データの画素値に代えて画像データの２次微分値をしきい値εで判定して処理対象画像データを選択する構成が開示されている。また特開２００６−６０７４４号公報には、ＮＲ処理に関して、注目画素と周辺画素との画素値の平均値によりεフィルタのしきい値を可変する構成が開示されている。

ところでこの図２０に示す構成による画像データの処理では、ワイドダイナミックレンジ補正部６において階調補正カーブにより画像データＤ４の階調を非線型に補正した後、ノイズ抑圧部８においてノイズモデルに応じたしきい値ε１によりノイズレベルを抑圧している。従ってノイズ抑圧部８では、階調補正カーブの影響で、ノイズモデルにより正しくノイズ抑圧することが困難な問題がある。その結果、この図２０に示す構成では、例えばワイドダイナミックレンジ補正部６において低輝度部分をブーストした場合には、この低輝度部分のブーストによりこの低輝度部分で増大したノイズレベルを十分に抑圧することが困難になり、低輝度部分でノイズレベルが増大する問題があった。
特開２００１−２９８６２１号公報 特開２００６−４１９４６号公報 特開２００５−３１１４５５号公報 特開２００６−６０７４４号公報

本発明は以上の点を考慮してなされたもので、階調を補正した後、ノイズモデルに基づいてノイズ抑圧する場合に、ノイズモデルに従って正しくノイズ抑圧することができる画像処理装置及び画像処理方法を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、画像処理装置に適用して、入力画像データに応じた階調補正値を生成して前記入力画像データに乗算し、前記入力画像データの階調を補正した階調補正画像データを出力する階調補正部と、前記入力画像データのノイズモデルに基づいて、前記階調補正画像データのノイズを抑圧して出力画像データを出力するノイズ抑圧部とを備え、前記ノイズ抑圧部は、前記ノイズモデルにより前記階調補正画像データに応じてノイズ抑圧用パラメータを生成するパラメータ生成部と、前記ノイズ抑圧用パラメータに前記階調補正値を乗算して前記ノイズ抑圧用パラメータを補正するパラメータ補正部と、前記パラメータ補正部で補正した前記ノイズ抑圧用パラメータに応じて特性を可変して、前記階調補正画像データのノイズを抑圧するローパスフィルタとを備えるようにする。

また請求項６の発明は、画像処理方法に適用して、入力画像データに応じた階調補正値を生成して前記入力画像データに乗算し、前記入力画像データの階調を補正した階調補正画像データを出力する階調補正ステップと、前記入力画像データのノイズモデルに基づいて、前記階調補正画像データのノイズを抑圧して出力画像データを出力するノイズ抑圧ステップとを備え、前記ノイズ抑圧ステップは、前記ノイズモデルにより前記階調補正画像データに応じてノイズ抑圧用パラメータを生成するパラメータ生成ステップと、前記ノイズ抑圧用パラメータに前記階調補正値を乗算して前記ノイズ抑圧用パラメータを補正するパラメータ補正ステップと、前記パラメータ補正ステップで補正した前記ノイズ抑圧用パラメータに応じて特性を可変して、前記階調補正画像データのノイズを抑圧する平滑化処理ステップとを備えるようにする。

請求項１又は請求項６の構成により、前記ノイズモデルにより生成したノイズ抑圧用パラメータに、階調補正値を乗算して補正した後、平滑化の処理を制御すれば、入力画像データの階調補正に対応するように、ノイズ抑圧用パラメータを補正してノイズ抑圧処理することができる。従って階調を補正した後、ノイズモデルに基づいてノイズを抑圧する場合に、ノイズモデルに従って正しくノイズ抑圧することができる。

本発明によれば、階調を補正した後、ノイズモデルに基づいてノイズ抑圧する場合に、ノイズモデルに従って正しくノイズ抑圧することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例１の構成
図２は、本発明の実施例１の電子スチルカメラを示すブロック図である。この電子スチルカメラ３１において、図１９の電子スチルカメラ１と同一の構成は、対応する符号を付して重複した説明は省略する。この電子スチルカメラ３１は、ワイドダイナミックレンジ補正部６、スキントン処理部７、ノイズ抑圧部８に代えて、ワイドダイナミックレンジ補正部３６、スキントンノイズ処理部３８が設けられ、これらワイドダイナミックレンジ補正部３６、スキントンノイズ処理部３８でＷＤＲ処理、ＳＫ処理、ＮＲ処理する点を除いて、図１９の電子スチルカメラ１と同一に構成される。

図１は、このワイドダイナミックレンジ補正部３６、スキントンノイズ処理部３８の詳細構成を示すブロック図である。ワイドダイナミックレンジ補正部３６は、補正値生成部１５から出力される階調補正値Ｃ１を乗算部１６及びスキントンノイズ処理部３８に出力する点を除いて、図２０のワイドダイナミックレンジ補正部６と同一に構成される。従ってワイドダイナミックレンジ補正部３６は、画像データＤ４の輝度分布に応じて階調補正カーブを生成すると共に、この階調補正カーブにより画像データＤ４の輝度値に応じて階調補正値Ｃ１を生成し、この階調補正値Ｃ１で画像データＤ４の階調を補正して画像データＤ５を出力する。

スキントンノイズ処理部３８において、ノイズ抑圧部４１は、ワイドダイナミックレンジ補正部３６から出力される画像データＤ５のノイズレベルをεフィルタ４２によるローパスフィルタにより抑圧し、この画像データＤ５をＮＲ処理する。またノイズ抑圧部４１は、このεフィルタ４２の特性をスキントン部４３で検出されるパラメータで可変して、併せてＳＫ処理を実行する。このためスキントンノイズ処理部３８において、ノイズ検出部４４は、ＮＲ処理のためにεフィルタ４２の特性を制御するパラメータを検出する。

すなわちノイズ検出部４４において、パラメータ生成部４５は、図３に示すように、ノイズモデルにより画像データＤ４の画素値に応じて、εフィルタ４２の特性を制御するノイズ抑圧用のパラメータであるしきい値ε２を生成する。乗算部４６は、ワイドダイナミックレンジ補正部３６から出力される階調補正値Ｃ１をこのしきい値ε２に乗算することにより、ワイドダイナミックレンジ補正部３６における階調の補正に対応するように、パラメータ生成部４５で生成したしきい値ε２を階調補正値Ｃ１で補正してしきい値ε３を出力する。

スキントン部４３は、この乗算部４６から出力されるしきい値ε３によるパラメータに対応するように、ＳＫ処理においてローパスフィルタの特性を可変する肌色補正用パラメータを出力する。

すなわちスキントン部４３において、肌色エリア検出部４７は、図２０について上述したと同様にして肌色の画素を検出して肌色判定フラグＦ１を出力する。なおここで肌色エリア検出部４７は、画像データＤ５を構成する赤色色データＲ、青色色データＢからそれぞれ緑色色データＧを減算して差分信号Ｒ−Ｇ、Ｂ−Ｇを生成し、図４に示すように、色差信号Ｃｒ、Ｃｂに代えてこの差分信号Ｒ−Ｇ、Ｂ−Ｇを判定して肌色の検出エリアに属する画素を検出する。

パラメータ生成部４８は、注目画素を中心とした水平方向及び垂直方向の所定範囲で、注目画素毎に肌色判定フラグＦ１の数をカウントして肌色量を検出する。パラメータ生成部４８は、図５に示すように、この肌色量が増大するに従って値が増大するように、しきい値ε１を生成して出力する。

より具体的に、この実施例では、この所定範囲が、注目画素を中心にした７×７画素の範囲に設定される。パラメータ生成部４８は、肌色判定フラグＦ１の数による肌色量を、この所定領域の画素数４９で割り算して割り算値αを求める。パラメータ生成部４８は、この割り算値αに事前に設定された定数Ｋを乗算してしきい値ε１（Ｋ×α）を求める。

パラメータ合成部４９は、ノイズ検出部４４から出力されるしきい値ε３と、スキントン部４３で生成されたしきい値ε２とを合成し、最終的にεフィルタ４２の特性を制御するパラメータであるしきい値εを計算する。この実施例において、パラメータ合成部４９は、これら２つのしきい値ε１及びε３から値の大きい側のしきい値を選択してしきい値εを出力する。

εフィルタ４２は、パラメータ合成部４９から出力されるしきい値εにより処理対象の画像データＤ５を選択して平滑化処理する。すなわちεフィルタ４２において、メモリ５２は、順次入力される画像データＤ５を一時格納して保持する。また保持した画像データＤ５から注目画素を中心とした水平方向及び垂直方向の所定範囲の画素を同時並列的に出力する。なおここでこの実施例では、この所定範囲が、注目画素を中心とした７×７画素の範囲に設定される。

画素選択フラグ生成部５０は、このメモリ５２から出力される画像データから注目画素の画素値を中心としたしきい値εの範囲に含まれる画像データを検出して判定フラグＦ２を出力する。

ローパスフィルタ（ＬＰＦ）５１は、この判定フラグＦ２に基づいてメモリ５２から出力される画像データから処理対象の画像データを選択して平滑化処理することにより、ＮＲ処理、ＳＫ処理した画像データＤ７を出力する。

（２）実施例１の動作
以上の構成において、この電子スチルカメラ３１では（図２）、固体撮像素子２から出力される撮像結果である撮像信号Ｓ１がアナログディジタル変換回路３でアナログディジタル変換処理されて撮像データＤ２が生成され、この撮像データＤ２が光学補正部４により赤色、緑色、青色の色データによる画像データＤ３に変換される。電子スチルカメラ３１では、この画像データＤ３がホワイトバランス部５によりホワイトバランス調整され、ワイドダイナミックレンジ補正部３６でＷＤＲ処理される。またこのワイドダイナミックレンジ補正部３６から出力される画像データＤ５がスキントンノイズ処理部３８でＳＫ処理、ＮＲ処理された後、ガンマ処理部９でガンマ補正され、記録部１０により記録メディア１１に記録される。

このワイドダイナミックレンジ補正部３６における処理において（図１）、画像データＤ４は、補正値生成部１５で輝度分布が検出され、この輝度分布により分布が集中している輝度レベルで隣接する階調間の輝度レベル差が大きくなるように、またこれとは逆に分布が集中していない輝度レベルで隣接する階調間の輝度レベル差が小さくなるように、階調補正カーブが生成される。画像データＤ４は、この階調補正カーブに基づいて、各画素の階調を補正する階調補正値Ｃ１が生成され、この階調補正値Ｃ１により乗算されて見た目の階調が強調される。

また続くスキントンノイズ処理部３８における処理において、画像データＤ５は、パラメータ生成部４５において、この画像データＤ５のノイズモデルにより画像データＤ５に応じてノイズ抑圧用パラメータε２が生成される。画像データＤ５は、乗算部４６においてこのノイズ抑圧用パラメータε２が階調補正値Ｃ１で補正された後、パラメータ合成部４９を介してεフィルタ４２に出力され、εフィルタ４２の特性が制御される。

従ってこの電子スチルカメラ３１では、ワイドダイナミックレンジ補正部３６における階調の補正に対応するように、パラメータ生成部４５で生成したしきい値ε２を階調補正値Ｃ１で補正してノイズ抑圧処理することができ、階調を補正した後、ノイズモデルに基づいてノイズ抑圧する場合でも、ノイズモデルに従って正しくノイズ抑圧することができる。具体的に、例えば逆光等によるハイコントラスト画像において、低輝度部分をブーストした場合には、低輝度部分でノイズレベルが増大することになるが、この実施例では、この低輝度部分のブーストに対応するように低輝度部分でノイズ抑圧量を増大させてノイズレベルを十分に抑圧することができる。

またさらにこの実施例において、画像データＤ５は、肌色エリア検出部４７において、肌色の画素が検出される。また続くパラメータ生成部４８において、注目画素を中心とした所定範囲における肌色画素量が検出され、この肌色画素量に応じてεフィルタ４２を使用してＳＫ処理する肌色補正用パラメータε１が生成される。

画像データＤ５は、パラメータ合成部４９において、この肌色補正用パラメータε１が、乗算部４６から出力されるノイズ抑圧用パラメータε３と合成されてεフィルタ４２の特性を可変するパラメータεが生成され、このパラメータεによりεフィルタ４２の特性が制御される。

その結果、この電子スチルカメラ３１では、εフィルタ４２によるローパスフィルタを共用してＮＲ処理とＳＫ処理とを実行し、図２０に示す従来構成に比して、構成を簡略化することができる。

すなわち図２０による従来構成では、ＮＲ処理とＳＫ処理とでそれぞれ２次元のローパスフィルタを設けることが必要になり、この２次元のローパスフィルタを構成するために、それぞれメモリを設けることが必要になる。従って、構成が複雑になり、また消費電力が増大することになる。

しかしながらこの実施例では、εフィルタ４２によるローパスフィルタを共用してＮＲ処理とＳＫ処理とを実行することにより、従来に比して構成を簡略化することができ、また消費電力を低減することができる。

図６は、具体的なノイズモデルを示す特性曲線図であり、図７は階調補正値Ｃ１の一例を示す特性曲線図である。また図８は、これら図６及び図７との対比により肌色の部分におけるＳＫ処理のノイズ抑圧量を示す特性曲線図であり、図９は、これら図６〜図８の特性により各パラメータε１、ε２を生成した場合のεフィルタ４２の特性を示す特性曲線図である。この図９の特性曲線によれば、ＷＤＲ処理に対応するようにノイズ抑圧量が変化しており、ノイズモデルに従って正しくノイズ抑圧できることが判る。またノイズの目立つ低輝度部分で肌色のノイズを十分に抑圧できることが判る。

（３）実施例１の効果
以上の構成によれば、画像データの階調を補正する階調補正係数で、ノイズモデルから求められるノイズ抑圧用のパラメータを補正してノイズ抑圧処理を実行することにより、階調を補正した後、ノイズモデルに基づいてノイズ抑圧する場合に、ノイズモデルに従って正しくノイズ抑圧することができる。

またノイズ抑圧用パラメータと肌色補正用パラメータとを合成して特性可変用のパラメータを生成し、この特性可変用のパラメータでローパスフィルタの特性を可変することにより、ＳＫ処理とＮＲ処理とでローパスフィルタを共用化して構成を簡略化し、消費電力を低減することができる。

またこの階調補正値が、輝度値の分布が集中している輝度レベルで隣接する階調間の輝度レベル差が大きくなるように、画像データの階調を補正する補正値であることにより、見た目の画質を向上することができる。

またこのローパスフィルタがεフィルタであることにより、ノイズ抑圧用パラメータをこのεフィルタのしきい値により生成して、階調を補正した後、ノイズモデルに基づいてノイズ抑圧する場合に、ノイズモデルに従って正しくノイズ抑圧することができる。

図１０は、図１との対比により本発明の実施例２の電子スチルカメラに適用されるスキントンノイズ処理部の構成を示すブロック図である。この実施例の電子スチルカメラは、スキントンノイズ処理部３８に代えて、この図１０に示すスキントンノイズ処理部６８が適用される点を除いて、図２の電子スチルカメラ３１と同一に構成される。ここでこのスキントンノイズ処理部６８は、εフィルタ４２に代えてローパスフィルタ７２が適用され、このローパスフィルタ７２に関する構成が異なる点を除いて、図１のスキントンノイズ処理部３８と同一に構成される。

ここでローパスフィルタ７２は、特性の異なる第１及び第２のローパスフィルタ７３、７４と、これらローパスフィルタ７３、７４の出力をブレンド比βによる重み付け係数で重み付け加算する重み付け加算回路７５とにより構成される。なおここで図１１及び図１２に、これら第１及び第２のローパスフィルタ７３、７４のタップ係数を示す。従ってローパスフィルタ７２は、ブレンド比βの可変により特性を可変する。従ってパラメータ生成部４５、４８は、このローパスフィルタ７２の構成に対応して、しきい値ε２、ε１に代えてブレンド比β２、β１によりそれぞれノイズ抑圧用パラメータ、肌色補正用パラメータを生成して出力する。またパラメータ合成部４９は、これらブレンド比β２、β１を合成してブレンド比βを出力する。なおパラメータ生成部４５、４８におけるブレンド比β２、β１の生成方法は、図１について上述したしきい値ε２、ε１の生成方法と同一であり、またパラメータ合成部４９におけるパラメータの合成も、しきい値ε２、ε１の合成と同一である。

この実施例のように、特性の異なる複数のローパスフィルタ出力の重み付け加算によりローパスフィルタを構成するようにしても、実施例１と同様の効果を得ることができる。

図１３は、図２との対比により本発明の実施例３の電子スチルカメラの構成を示すブロック図である。この実施例の電子スチルカメラ８１は、スキントンノイズ処理部３８及び記録部１０の間に代えて、ワイドダイナミックレンジ補正部８６及びスキントンノイズ処理部３８の間に、ガンマ処理部９が設けられる。従ってこの電子スチルカメラ８１では、ワイドダイナミックレンジ補正部８６で非線型に補正された階調がさらにガンマ処理部９で非線型に補正されてスキントンノイズ処理部３８に入力されることになる。

図１４は、図１との対比により、ワイドダイナミックレンジ補正部８６、ガンマ処理部９、スキントンノイズ処理部３８の構成を示すブロック図である。ワイドダイナミックレンジ補正部８６は、補正部８７が設けられ、ガンマ処理部９における階調の補正に対応するようにこの補正部８７で階調補正値Ｃ１を補正して出力する。すなわちガンマ処理部９は、ガンマ補正カーブにより順次入力される画像データＤ５の輝度値に対応する補正値を生成し、この補正値を画像データＤ５に乗算してガンマ特性を補正し、補正部８７は、このガンマ処理部９における補正値を階調補正値Ｃ１に順次乗算して出力する。この実施例では、このガンマ処理部９に関する構成が異なる点を除いて、上述の各実施例と同一に構成される。

この実施例のように、ワイドダイナミックレンジ補正部及びガンマ処理部により階調を補正する場合でも、上述の各実施例と同一の効果を得ることができる。

なお上述の実施例においては、本発明を電子スチルカメラに適用して（１）式のノイズモデルによりノイズを抑圧する場合について述べたが、本発明はこれに限らず、種々のノイズモデルによりノイズを抑圧する場合に広く適用することができる。すなわち図１５〜図１８は、図６〜図９との対比により、一次関数式により表されるノイズモデルによりノイズを抑圧する場合の特性を示す各特性曲線図である。これら図１５〜図１８に示すように、一次関数式により表されるノイズモデルによりノイズを抑圧する場合にあっても、上述の各実施例と同様の効果を得ることができ、また一次関数以外の各種ノイズモデルによりノイズを抑圧する場合にあっても、上述の各実施例と同様の効果を得ることができる。

また上述の実施例においては、値の大きい側を選択してノイズ抑圧用のパラメータと肌色補正用のパラメータとを合成する場合について述べたが、本発明はこれに限らず、例えばこれら２つのパラメータを重み付け加算する場合等、パラメータの合成方法は、必要に応じて種々の演算処理を適用することができる。

また上述の実施例では、色信号の差信号Ｒ−Ｇ、Ｂ−Ｇを判定して肌色の画素を検出する場合について述べたが、本発明はこれに限らず、色差信号を判定して肌色の画素を検出する場合等、種々の色相の判定手法を広く適用することができる。

また上述の実施例においては、ノイズ抑圧処理の前にＷＤＲ処理、又はＷＤＲ処理及びガンマ補正処理する場合について述べたが、本発明はこれに限らず、例えばノイズ抑圧処理の前にガンマ補正処理のみ実行する場合等、種々の非線型の階調補正処理により画像データの階調を補正した後、ノイズ抑圧処理する場合に広く適用することができる。

また上述の実施例においては、赤色、緑色、青色の色データによる画像データを処理する場合について述べたが、本発明はこれに限らず、イエロー、シアン、マゼンタによる補色系の色データによる画像データを処理する場合、輝度信号及び色差信号による画像データを処理する場合等にも広く適用することができる。

また上述の実施例においては、本発明を電子スチルカメラに適用する場合について述べたが、本発明はこれに限らず、ビデオカメラ、モニタ装置、記録再生装置等の各種映像機器に広く適用することができる。

本発明は、例えば電子スチルカメラに適用することができる。

本発明の実施例１の電子スチルカメラに適用されるワイドダイナミックレンジ補正部等の構成を示すブロック図である。 本発明の実施例１の電子スチルカメラの構成を示すブロック図である。 ノイズモデルを示す特性曲線図である。 肌色の検出エリアを示す特性曲線図である。 肌色補正用パラメータの説明に供する特性曲線図である。 ノイズモデルの具体例を示す特性曲線図である。 階調補正係数の具体例を示す特性曲線図である。 ＳＫ処理のノイズ抑圧量を示す特性曲線図である。 図６〜図８の特性によるノイズ抑圧処理の特性を示す特性曲線図である。 本発明の実施例２の電子スチルカメラに適用されるワイドダイナミックレンジ補正部等の構成を示すブロック図である。 図１０の第１のローパスフィルタの係数を示す図表である。 図１０の第２のローパスフィルタの係数を示す図表である。 本発明の実施例３の電子スチルカメラの構成を示すブロック図である。 図１３の電子スチルカメラに適用されるワイドダイナミックレンジ補正部等の構成を示すブロック図である。 一次関数式によるノイズモデルの具体例を示す特性曲線図である。 階調補正係数の具体例を示す特性曲線図である。 ＳＫ処理のノイズ抑圧量を示す特性曲線図である。 図１５〜図１７の特性によるノイズ抑圧処理の特性を示す特性曲線図である。 従来の電子スチルカメラを示すブロック図である。 図１の電子スチルカメラにおけるワイドダイナミックレンジ補正部等の構成を示すブロック図である。 階調補正値の説明に供する特性曲線図である。 ＳＫ処理の説明に供する特性曲線図である。 肌色の検出エリアを示す特性曲線図である。 肌色補正用パラメータの説明に供する特性曲線図である。 ノイズモデルの説明に供する特性曲線図である。 εフィルタの説明に供する図表である。

符号の説明

１、３１……電子スチルカメラ、２……固体撮像素子、３……アナログディジタル変換回路、６、３６、８６……ワイドダイナミックレンジ補正部、７……スキントン処理部、８……ノイズ抑圧部、９……ガンマ処理部、１５……補正値生成部、１６、４６……乗算部、１７、２０、４５、４８……パラメータ生成部、１７、４７……肌色エリア検出部、３８、６８……スキントンノイズ処理部、１９、２３、５１、７２、７３、７４……ローパスフィルタ、２１、４２……εフィルタ、７５……重み付け加算部、８７……補正部

Claims (5)

1. 入力画像データに応じた階調補正値を生成して前記入力画像データに乗算し、前記入力画像データの階調を補正した階調補正画像データを出力する階調補正部と、
   前記入力画像データのノイズモデルに基づいて、前記階調補正画像データのノイズを抑圧して出力画像データを出力するノイズ抑圧部とを備え、
   前記ノイズ抑圧部は、
   前記ノイズモデルにより前記階調補正画像データに応じてノイズ抑圧用パラメータを生成するパラメータ生成部と、
   前記ノイズ抑圧用パラメータに前記階調補正値を乗算して前記ノイズ抑圧用パラメータを補正するパラメータ補正部と、
   前記パラメータ補正部で補正した前記ノイズ抑圧用パラメータに応じて特性を可変して、前記階調補正画像データのノイズを抑圧するローパスフィルタと、
   前記階調補正画像データの色相を判定して肌色の画素を検出する肌色検出部と、
   前記肌色検出部の検出結果に基づいて、前記入力画像データの肌色の部分でノイズ抑圧量が増大するように前記ローパスフィルタの特性を可変する肌色補正用パラメータを生成する肌色補正用パラメータ生成部と、
   前記パラメータ補正部で補正した前記ノイズ抑圧用パラメータと、前記肌色補正用パラメータとの中から選択して前記ローパスフィルタの特性可変用のパラメータを生成し、前記特性可変用のパラメータを前記ローパスフィルタに出力するパラメータ合成部とを備える
   ことを特徴とする画像処理装置。
2. 前記階調補正部は、
   前記入力画像データの輝度値の分布を計測し、分布が集中している輝度レベルで隣接する階調間の輝度レベル差が大きくなるように前記階調補正値を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記ローパスフィルタが、
   前記パラメータ補正部で補正した前記ノイズ抑圧用パラメータに応じてしきい値を可変するεフィルタである
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記ローパスフィルタは、
   前記階調補正画像データを入力する特性の異なる第１及び第２のローパスフィルタと、
   前記第１及び第２のローパスフィルタの出力データを重み付け係数を用いて重み付け加算する重み付け加算部を有し、
   前記パラメータ補正部で補正した前記ノイズ抑圧用パラメータに応じて前記重み付け係数を可変して特性を可変する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 入力画像データに応じた階調補正値を生成して前記入力画像データに乗算し、前記入力画像データの階調を補正した階調補正画像データを出力する階調補正ステップと、
   前記入力画像データのノイズモデルに基づいて、前記階調補正画像データのノイズを抑圧して出力画像データを出力するノイズ抑圧ステップとを備え、
   前記ノイズ抑圧ステップは、
   前記ノイズモデルにより前記階調補正画像データに応じてノイズ抑圧用パラメータを生成するパラメータ生成ステップと、
   前記ノイズ抑圧用パラメータに前記階調補正値を乗算して前記ノイズ抑圧用パラメータを補正するパラメータ補正ステップと、
   前記パラメータ補正ステップで補正した前記ノイズ抑圧用パラメータに応じて特性を可変して、前記階調補正画像データのノイズを抑圧する平滑化処理ステップと
   前記階調補正画像データの色相を判定して肌色の画素を検出する肌色検出ステップと、
   前記肌色検出ステップの検出結果に基づいて、前記入力画像データの肌色の部分でノイズ抑圧量が増大するように前記ローパスフィルタの特性を可変する肌色補正用パラメータを生成する肌色補正用パラメータ生成ステップと、
   前記パラメータ補正ステップで補正した前記ノイズ抑圧用パラメータと、前記肌色補正用パラメータとの中から選択して前記平滑化処理ステップの特性可変用のパラメータを生成するパラメータ生成ステップとを備える
   ことを特徴とする画像処理方法。
   

Images