JP4717885B2 - 撮像装置 - Google Patents

Description

本発明は、階調変換処理を行う撮像装置及び画像処理装置に係り、特に画像信号全体で均質なノイズ感を与えるようノイズ低減処理を制御する撮像装置及び画像処理装置に関する。

現在のデジタルスチルカメラやビデオカメラなどでは、デジタル信号処理の桁落ちによる画質劣化を防止するため、最終的な出力信号の階調幅（通常８ｂｉｔ）に対して入力および処理系における画像信号の階調幅（１０〜１２ｂｉｔ程度）をより広く設定している。この場合、出力系の階調幅に合致するよう階調変換を行う必要があり、一般的には標準的なシーンに対する固定的な階調特性により変換されている。
しかし、人の視覚機能のように主観的に好ましい階調特性を持った画像信号を生成する場合、画像信号内の領域ごとに異なる階調変換（以下、スペースバリアントな階調変換とする）を行う必要がある。
例えば特許第３４６５２２６号公報には、テクスチャ情報に基づき画像信号を領域に分割し、各領域に対して適応的に階調変換を行う手法が開示されている。
さらに、画像信号に対するノイズ低減も一般に行われており、例えば、特開２００４−８８１４９号公報には、画像信号内のノイズ量を領域ごとに推定することでノイズ低減処理を行う手法が開示されている。
特許第３４６５２２６号公報 特開２００４−８８１４９号公報

上記特許第３４６５２２６号公報に示される方法では、スペースバリアントな階調変換を行うため、明暗比の大きいシーンでも十分な改善効果が得られる。しかし、領域ごとにノイズ量の変動が異なるため、画像信号全体でのノイズ感のバランスが崩れるという課題がある。
また、特開２００４−８８１４９号公報に示される方法では、撮像素子及び撮影条件に基づいたノイズ量のモデル化を行い、画像信号内で信号値レベルに応じてノイズ量を適切に推定することで、高精度なノイズ低減処理が可能である。しかし、スペースバリアントな階調変換が行われる場合、同一の信号値レベルであっても、領域ごとにノイズ量の変動が異なるため、正確にノイズ量を推定できないという課題がある。
また、スペースバリアントな階調変換処理を行う場合、入力時の画像信号において同程度のノイズ量を含む領域であっても、階調変換に伴うノイズ量の変動が異なる（例えば、１以下のゲインが乗算されるとノイズが減る）ため、画像信号全体でみると違和感が生じてしまう場合がある。

本発明は、階調変換処理を行う場合でも、階調変換処理とノイズ低減処理の調和をとって、画像信号全体で均質なノイズ感を与えることのできる撮像装置及び画像処理装置並びに画像処理プログラムを提供する。

本発明の第１の態様は、撮像素子からの画像信号に対し領域毎に階調変換処理を行う撮像装置であって、前記撮像素子からの画像信号をもとに、第一の信号変換処理を行う第一の信号処理手段と、前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を前記第一の信号変換処理により得た画像信号をもとに算出する補正係数算出手段と、撮像素子からの画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減処理により得た画像信号をもとに前記領域補正係数を用いて前記領域毎の階調変換処理を行う第二の信号処理手段とを具備する撮像装置である。

このような構成によれば、第一の信号変換処理手段にて、撮像素子からの画像信号に対して第一の信号変換処理が行われ、補正係数算出手段にて、第一の信号変換処理後の画像信号に基づいて、領域毎の階調変換処理に適用される領域補正係数、換言すると、スペースバリアントな階調変換処理に関する補正係数が算出される。次に、ノイズ低減処理手段にて、撮像素子からの画像信号に対し、上記領域補正係数を用いたノイズ低減処理が施され、続いて、第二の信号処理手段にて、ノイズ低減処理後の画像信号に対して、上記領域補正係数を用いた領域毎の階調変換処理が行われる。

このように、所定の信号処理がなされた画像信号に対してスペースバリアントな階調変換処理に関する補正係数を算出し、この補正係数を用いてノイズ低減処理、階調変換処理を撮像素子からの画像信号に対して行うので、スペースバリアントな階調変換処理がされる場合に強調される領域間でのノイズ感の差異に対する違和感を緩和することが可能となる。更に、ノイズ低減処理を撮像素子からの画像信号に対して行うため、高精度なノイズ低減処理が可能となる。

なお、本態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、本態様に対応する実施形態は、第１の実施形態であり、例えば、本態様の構成要素である第一、第二の信号処理手段には、いずれも図１に示される信号処理部１０５が該当する。このうち、第二の信号処理手段については、より具体的には、図２に示される補正係数乗算部１２６が該当する。算出手段には、例えば、図１に示される補正係数算出部１０６が該当する。ノイズ低減手段には、例えば、図１に示されるノイズ低減部１０９が該当する。

この態様の好ましい適用例は、例えば、図１に示されるように、撮像素子（レンズ系１００、ＣＣＤ１０１等）からの画像信号に対し、信号処理部１０５にて所定の信号処理を行い、補正係数算出部１０６にてスペースバリアントな階調変換処理に関する補正係数を算出する。次に、撮像素子からの画像信号に対し、ノイズ低減部１０９にて上記補正係数を用いてノイズ低減処理を施し、ノイズ低減後の画像信号に対し、信号処理部１０５が備える補正係数乗算部１２６（図２参照）にて階調処理変換処理を行う撮像装置である。

本発明の第２の態様は、撮像素子からの画像信号に対し領域毎に階調変換処理を行う撮像装置であって、前記撮像素子からの画像信号をもとに第一の信号変換処理を行う第一の信号処理手段と、前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を前記第一の信号変換処理により得た画像信号をもとに算出する補正係数算出手段と、前記第一の信号変換処理により得た画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減処理により得た画像信号をもとに前記領域補正係数を用いて前記領域毎の階調変換処理を行う第二の信号処理手段とを具備する撮像装置である。

このような構成によれば、第一の信号変換処理手段にて、撮像素子からの画像信号に対して第一の信号変換処理が行われ、補正係数算出手段にて、第一の信号変換処理後の画像信号に基づいて、領域毎の階調変換処理に適用される領域補正係数、換言すると、スペースバリアントな階調変換処理に関する補正係数が算出される。次に、ノイズ低減処理手段にて、第一の信号変換処理後の画像信号に対し、上記領域補正係数を用いたノイズ低減処理が施され、続いて、第二の信号処理手段にて、ノイズ低減処理後の画像信号に対して、上記領域補正係数を用いた領域毎の階調変換処理が行われる。

このように、所定の信号処理がなされた画像信号に対してスペースバリアントな階調変換処理に関する補正係数を算出し、この補正係数を用いて、所定の信号処理がなされた画像信号に対してノイズ低減処理、階調変換処理を行うので、スペースバリアントな階調変換処理がされる場合に強調される領域間でのノイズ感の差異に対する違和感を緩和することが可能となる。更に、処理全体が順列で行われるため、従来の信号処理系との親和性が高く、多様な機器に適用することができるという利点を有する。

なお、本態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、本態様に対応する実施形態は、図１８にその全体構成が示された第２の実施形態であり、本態様の構成要素である第一の信号処理手段には、例えば、図１８に示される信号処理部２００が該当する。また、算出手段には、例えば、補正係数算出部１０６が該当する。ノイズ低減手段には、例えば、ノイズ低減部２０９が該当する。第二の信号処理手段には、例えば、補正係数乗算部２０１が該当する。

この態様の好ましい適用例は、例えば、図１８に示されるように、撮像素子からの画像信号に対し、信号処理部２００にて所定の信号処理を行い、補正係数算出部１０６にてスペースバリアントな階調変換処理に関する補正係数を算出する。次に、所定の信号処理がなされた画像信号に対して、ノイズ低減部２０９にて上記補正係数を用いてノイズ低減処理を施し、ノイズ低減後の画像信号に対して、補正係数乗算部２０１にて階調変換処理を行う撮像装置である。

上記撮像装置において、記載の前記補正係数算出手段は、前記第一の信号変換処理により得られた画像信号から前記領域に対応する画素の画素値を抽出する抽出手段を有し、該抽出手段で抽出した前記領域に対応する画素の画素値に基づいて前記領域補正係数を算出することとしてもよい。

このような構成によれば、抽出手段にて、所定の画像処理が施された画像信号から領域に対応する画素の画素値が抽出される。そして、抽出手段により抽出された領域に対応する画素の画素値に基づいて、領域補正係数が算出される。この場合において、抽出手段は、第一の信号変換処理により得られた画像信号から注目画素及び注目画素を包含する局所領域を抽出し、この局所領域ごとに補正係数を算出するとよい。これにより、局所領域のサイズを変えることが可能となる。この結果、精度と処理速度の調整が可能となり、処理の自由度が向上するという効果を得ることができる。

上記撮像装置において、前記補正係数算出手段は、前記抽出手段で抽出した前記領域に対応する画像信号から当該領域についてのヒストグラムを算出するヒストグラム算出手段を有し、該ヒストグラムに基づいて前記領域補正係数を算出することとしてもよい。

このような構成によれば、補正係数算出手段のヒストグラム算出手段にて、抽出手段により抽出された領域に対応する画像信号から領域についてのヒストグラムが算出される。そして、補正係数算出手段では、このヒストグラムに基づいて領域補正係数が算出される。このように、ヒストグラムに基づいて階調変換に関する補正係数が算出されるので、領域毎に最適な階調変換が可能となり、高品位な画像信号を得ることが可能となる。

上記撮像装置において、前記第一の信号処理手段は、前記画像信号生成手段で生成した画像信号に対して縮小率を設定する縮小率設定手段と、前記縮小率に基づき縮小画像信号を生成する縮小画像生成手段とを有し、前記縮小画像信号をもとに信号変換処理を行うことで前記第一の信号変換処理を行い、前記補正係数算出手段は、前記第一の信号変換処理により得た画像信号をもとに、修正前の領域補正係数を算出した後、前記縮小率に基づいて前記修正前の領域補正係数を前記撮像素子からの画像信号に対応するように修正して前記領域補正係数を算出することとしてもよい。

このような構成によれば、縮小率設定手段により任意の縮小率が設定され、縮小画像生成手段にて、設定された縮小率に基づいて縮小画像が作成される。そして、補正係数算出手段は、第一の信号変換処理が施された縮小画像信号をもとに、修正前の領域補正係数を算出し、更に、この修正前の領域係数を撮像素子からの画像信号（換言すると、原画像信号）に対応するように拡張修正して、撮像素子からの画像信号に対応する領域補正係数を算出する。

このように、原画像信号から縮小画像信号を作成し、この縮小画像信号を用いて、修正前の補正係数を算出するので、処理の高速化を図ることができる。また、縮小率を設定する縮小率設定手段を備えることから、任意の縮小率を設定することが可能となるため、画質と処理時間との調整が可能となり、処理の自由度を向上させることができる。

上記撮像装置において、前記ノイズ低減手段は、前記撮像素子からの画像信号に関してノイズ量を推定するノイズ量推定手段と、前記ノイズ量及び前記領域補正係数に基づき平滑化処理を行う平滑化手段とを有し、当該平滑化処理によって前記ノイズ低減処理を行うこととしてもよい。

このような構成によれば、ノイズ推定手段にて、撮像素子からの画像信号に対するノイズ量が推定され、平滑化手段により、該ノイズ量及び上記領域補正係数に基づく平滑化処理が該画像信号に施されることにより、ノイズ低減処理が行われる。
このように、ノイズ低減手段においては、推定されたノイズ量を領域補正係数に基づき補正するので、階調変換により領域ごとに強調されたノイズをバランスよく低減させることができる。この場合において、ノイズ量推定手段が、上記抽出手段によって抽出される領域毎にノイズ量を推定するようにすることで、精度のよいノイズ低減処理を行うことが可能となる。

上記撮像装置において、前記ノイズ低減手段は、前記第一の信号変換処理により得た画像信号に関してノイズ量を推定するノイズ量推定手段と、前記ノイズ量及び前記領域補正係数に基づき平滑化処理を行う平滑化手段とを有し、当該平滑化処理によって前記ノイズ低減処理を行うこととしてもよい。

このような構成によれば、ノイズ推定手段にて、第一の信号変換処理により得られた画像信号に関してノイズ量が推定され、平滑化手段により、該ノイズ量及び上記領域補正係数に基づく平滑化処理が該第一の信号変換処理により得られた画像信号に施されることにより、ノイズ低減処理が行われる。
このように、ノイズ低減手段においては、推定されたノイズ量を領域補正係数に基づき補正するので、階調変換により領域ごとに強調されたノイズをバランスよく低減させることができる。この場合において、ノイズ量推定手段が、上記抽出手段によって抽出される領域毎にノイズ量を推定するようにすることで、精度のよいノイズ低減処理を行うことが可能となる。

上記撮像装置において、前記撮像素子、ＩＳＯ感度、色信号、前記領域補正係数の少なくともいずれか１つの変化に対するノイズ量を推定するための基準ノイズモデルを記憶したノイズモデル記憶手段を備え、前記ノイズ量推定手段は、前記基準ノイズモデルを用いてノイズ量を推定することとしてもよい。

このような構成によれば、撮像素子、ＩＳＯ感度、色信号、及び補正係数の少なくともいずれか１つの変化に対応するノイズ量を推定するための基準ノイズモデルを用いて、ノイズ量が推定されるので、撮像素子、ＩＳＯ感度、色信号、及び補正係数等に対応した高精度なノイズ量の推定を行うことが可能となる。

上記撮像装置において、前記基準ノイズモデルは、処理対象の画像信号の信号値レベル及び前記領域補正係数を独立変数として関数化したものでもよい。

このように、基準ノイズモデルとして、処理対象の画像信号の信号値レベル及び領域補正係数を独立変数として関数化したものを用いることにより、信号値レベル及び領域補正係数に基づく高精度なノイズ量の推定を行うことが可能となる。

上記撮像装置において、前記基準ノイズモデルは、処理対象の画像信号の信号値レベル及び前記領域補正係数を独立変数として、線形近似、対数近似、及び多項式近似の少なくとも１つを用いて関数化したものでもよい。

このように、基準ノイズモデルとして、処理対象の画像信号の信号値レベル及び領域補正係数を、線形近似、対数近似、及び多項式近似の少なくとも１つを用いることで関数化したものを用いることにより、ノイズモデルの精度を向上でき、高品位な画像信号を得ることが可能となる。また、関数化することにより、システムの低コスト化を図ることができる。

前記第一の信号処理手段は、前記第一の信号変換処理とともに、ホワイトバランス処理、補間処理、彩度強調処理、エッジ強調処理のうちの少なくともいずれか１つを行うこととしてもよい。

このような構成によれば、第一の信号処理手段により、第一の信号変換処理の他にも、ホワイトバランス処理、補間処理、彩度強調処理、エッジ強調処理のうちの少なくともいずれか１つが行われるので、撮像素子からの画像信号をより好ましい状態に調整することが可能となる。

上記撮像装置において、前記第一の信号処理手段は、前記第一の信号変換処理とともにエッジ強調処理を行うエッジ強調処理手段を有し、該エッジ強調処理手段は、処理対象の画像信号からエッジ強調係数を算出するエッジ強調係数算出手段と、前記エッジ強調係数に基づき前記処理対象の画像信号に対してエッジ強調を行うエッジ強調手段とを有することとしてもよい。

このような構成によれば、第一の信号処理手段は、第一の信号変換処理の他、エッジ強調処理を行うエッジ強調処理手段を備えている。このエッジ強調処理手段においては、エッジ強調係数算出手段にて、処理対象の画像信号からエッジ強調係数が算出され、エッジ強調手段にてエッジ強調係数に基づくエッジ強調が、処理対象の画像信号に対して行われる。
このように、画像信号からエッジ強調係数を算出し、このエッジ強調係数に基づいてエッジ強調処理を行うので、エッジ部と平坦部でエッジ強調効果の調整を行うことができ、高品位な画像信号を得ることができる。

上記撮像装置において、前記エッジ強調処理手段は、前記エッジ強調係数からエッジ補正係数を算出するエッジ補正係数算出手段を更に有し、前記ノイズ低減手段は、前記領域補正係数と前記エッジ補正係数とを用いてノイズ低減処理を行うこととしてもよい。

このような構成によれば、エッジ補正係数算出手段にて、上記エッジ強調係数算出手段により算出されたエッジ強調係数からエッジ補正係数が算出され、このエッジ補正係数と上記領域補正係数とを用いたノイズ低減処理がノイズ低減手段にて行われる。このように、領域補正係数に基づくノイズ低減処理を実施することで、階調変換による局所領域ごとのノイズ感のバランスを改善することができる。
更に、上記エッジ強調手段が、上記エッジ補正係数に基づくエッジ強調処理を行うようにすることで、エッジ部と平坦部でエッジ強調効果の調整を行うことができ、更に高品位な画像信号を得ることが可能となる。

上記撮像装置において、前記第二の信号処理手段は、前記領域補正係数を前記ノイズ低減処理により得た画像信号に乗算することで前記領域毎の階調変換処理を行うこととしてもよい。

このような構成によれば、第二の信号処理手段は、ノイズ低減処理によって得られた画像信号に、領域補正係数を乗算することにより、領域毎の階調変換処理を行う。このように、乗算処理により階調変換が行われるため、処理の高速化を図ることが可能となる。

本発明の第３の態様は、所定の画像処理が施された画像信号に対し領域毎に階調変換処理を行う画像処理装置において、前記所定の画像処理が施された画像信号から前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を算出する補正係数算出手段と、前記所定の画像処理が施された画像信号をもとに前記領域補正係数を用いて前記領域毎の階調変換処理を行う変換手段と、前記階調変換処理により得た画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うノイズ低減手段とを具備する画像処理装置である。

このような構成によれば、補正係数算出手段にて、所定の画像処理が画像信号に対してスペースバリアントな階調変換処理に関する補正係数が算出され、この補正係数を用いて階調変換処理、ノイズ低減処理が変換手段及びノイズ低減手段にてそれぞれ行われる。
これにより、スペースバリアントな階調変換処理がされる場合に強調される領域間でのノイズ感の差異に対する違和感を緩和することが可能となる。また、撮像装置とは独立した形態で処理を行うことができるため、多様な画像信号に対して適用することが可能となる。

なお、本態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、本態様に対応する実施形態は、図２５にその全体構成が示された第３の実施形態であり、本態様の構成要素である補正係数算出手段には、例えば、補正係数算出部１０６が該当する。変換手段には、例えば、信号処理部１０５が該当する。ノイズ低減手段には、例えば、ノイズ低減部２０９が該当する。

この態様の好ましい適用例は、例えば、図２５に示されるように、所定の画像処理が施された画像信号に対して、補正係数算出部１０６にてスペースバリアントな階調変換処理に関する補正係数を算出し、上記補正係数を用いて信号処理部１０５にて階調変換処理を行い、次に階調変換処理後の画像信号に対し、ノイズ低減部２０９にて上記補正係数を用いてノイズ低減処理を行う画像処理装置である。

上記画像処理装置において、前記補正係数算出手段は、前記所定の画像処理が施された画像信号から前記領域に対応する画像信号を抽出する抽出手段を有し、該抽出手段で抽出した前記領域に対応する画像信号に基づいて前記領域補正係数を算出することとしてもよい。

このような構成によれば、抽出手段にて、所定の画像処理が施された画像信号から領域に対応する画素の画素値が抽出される。そして、抽出手段により抽出された領域に対応する画像信号に基づいて、例えば、該領域に対応する画素の画素値に基づいて、領域補正係数が算出される。この場合において、抽出手段は、第一の信号変換処理により得られた画像信号から注目画素及び注目画素を包含する局所領域を抽出し、この局所領域ごとに補正係数を算出するとよい。
これにより、局所領域のサイズを変えることが可能となる。この結果、精度と処理速度の調整が可能となり、処理の自由度が向上するという効果を得ることができる。

上記画像処理装置において、前記補正係数算出手段は、前記抽出手段で抽出した前記領域に対応する画像信号から当該領域についてのヒストグラムを算出するヒストグラム算出手段を有し、該ヒストグラムに基づいて前記領域補正係数を算出することとしてもよい。

このような構成によれば、補正係数算出手段のヒストグラム算出手段にて、抽出手段により抽出された領域に対応する画像信号から領域についてのヒストグラムが算出される。そして、補正係数算出手段では、このヒストグラムに基づいて領域補正係数が算出される。このように、ヒストグラムに基づいて階調変換に関する補正係数が算出されるので、領域毎に最適な階調変換が可能となり、高品位な画像信号を得ることが可能となる。

上記画像処理装置において、前記所定の画像処理が施された画像信号に対して縮小率を設定する縮小率設定手段と、前記縮小率に基づき縮小画像信号を生成する縮小画像生成手段とを有し、前記補正係数算出手段は、前記縮小画像信号をもとに修正前の領域補正係数を算出した後、前記縮小率に基づいて前記修正前の領域補正係数を前記所定の画像処理が施された画像信号に対応するように修正して前記領域補正係数を算出することとしてもよい。

このような構成によれば、縮小率設定手段により任意の縮小率が設定され、縮小画像生成手段にて、設定された縮小率に基づいて縮小画像が作成される。そして、補正係数算出手段は、この縮小画像信号をもとに、修正前の領域補正係数を算出し、更に、この修正前の領域係数を縮小前の所定の画像処理が施された画像信号に対応するように拡張修正して、領域補正係数を算出する。
このように、所定の画像処理が施された画像信号から縮小画像信号を作成し、この縮小画像信号を用いて、修正前の補正係数を算出するので、処理の高速化を図ることができる。また、縮小率を設定する縮小率設定手段を備えることから、任意の縮小率を設定することが可能となるため、画質と処理時間との調整が可能となり、処理の自由度を向上させることができる。

上記画像処理装置において、前記ノイズ低減手段は、前記階調変換処理により得た画像信号に関してノイズ量を推定するノイズ量推定手段と、前記ノイズ量及び前記領域補正係数に基づき平滑化処理を行う平滑化手段とを有し、当該平滑化処理によって前記ノイズ低減処理を行うこととしてもよい。

このような構成によれば、ノイズ推定手段にて、階調変換処理により得られた画像信号に関してノイズ量が推定され、平滑化手段により、該ノイズ量及び上記領域補正係数に基づく平滑化処理が該階調変換処理により得られた画像信号に施されることにより、ノイズ低減処理が行われる。
このように、ノイズ低減手段においては、推定されたノイズ量を領域補正係数に基づき補正するので、階調変換により領域ごとに強調されたノイズをバランスよく低減させることができる。この場合において、ノイズ量推定手段が、上記抽出手段によって抽出される領域毎にノイズ量を推定するようにすることで、精度のよいノイズ低減処理を行うことが可能となる。

上記画像処理装置において、前記撮像素子、ＩＳＯ感度、色信号、前記領域補正係数の少なくともいずれか１つの変化に対するノイズ量を推定するための基準ノイズモデルを記憶したノイズモデル記憶手段を備え、前記ノイズ量推定手段は、前記基準ノイズモデルを用いてノイズ量を推定することとしてもよい。

このような構成によれば、撮像素子、ＩＳＯ感度、色信号、及び補正係数の少なくともいずれか１つの変化に対応するノイズ量を推定するための基準ノイズモデルを用いて、ノイズ量が推定されるので、撮像素子、ＩＳＯ感度、色信号、及び補正係数等に対応した高精度なノイズ量の推定を行うことが可能となる。

上記画像処理装置において、前記基準ノイズモデルは、処理対象の画像信号の信号値レベル及び前記領域補正係数を独立変数として、線形近似、対数近似、多項式近似の少なくとも１つを用いることで関数化したものでもよい。

このように、基準ノイズモデルとして、処理対象の画像信号の信号値レベル及び領域補正係数を、線形近似、対数近似、及び多項式近似の少なくとも１つを用いることで関数化したものを用いることにより、ノイズモデルの精度を向上でき、高品位な画像信号を得ることが可能となる。また、関数化することにより、システムの低コスト化を図ることができる。

上記画像処理装置において、前記基準ノイズモデルは、処理対象の画像信号の信号値レベル及び前記領域補正係数を独立変数として関数化したものでもよい。

このように、基準ノイズモデルとして、処理対象の画像信号の信号値レベル及び領域補正係数を独立変数として関数化したものを用いることにより、信号値レベル及び領域補正係数に基づく高精度なノイズ量の推定を行うことが可能となる。

上記画像処理装置において、前記変換手段は、前記領域毎の階調変換処理とともにエッジ強調処理を行うエッジ強調処理手段を有し、該エッジ強調処理手段は、前記所定の画像処理が施された画像信号からエッジ強調係数を算出するエッジ強調係数算出手段と、前記エッジ強調係数に基づき前記所定の画像処理が施された画像信号に対してエッジ強調を行うエッジ強調手段とを具備することとしてもよい。

このような構成によれば、変換手段は、領域毎の階調変換処理の他、エッジ強調処理を行うエッジ強調処理手段を備えている。このエッジ強調処理手段においては、エッジ強調係数算出手段にて、所定の画像処理が施された画像信号からエッジ強調係数が算出され、エッジ強調手段にてエッジ強調係数に基づくエッジ強調が、所定の画像処理が施された画像信号に対して行われる。
このように、所定の画像処理が施された画像信号からエッジ強調係数を算出し、このエッジ強調係数に基づいてエッジ強調処理を行うので、エッジ部と平坦部でエッジ強調効果の調整を行うことができ、高品位な画像信号を得ることができる。

上記画像処理装置において、前記エッジ強調処理部は、前記エッジ強調係数からエッジ補正係数を算出するエッジ補正係数算出部を更に有し、前記ノイズ低減手段は、前記領域補正係数と前記エッジ補正係数とを用いてノイズ低減処理を行うこととしてもよい。

このような構成によれば、エッジ補正係数算出手段にて、上記エッジ強調係数算出手段により算出されたエッジ強調係数からエッジ補正係数が算出され、このエッジ補正係数と上記領域補正係数とを用いたノイズ低減処理がノイズ低減手段にて行われる。このように、領域補正係数に基づくノイズ低減処理を実施することで、階調変換による局所領域ごとのノイズ感のバランスを改善することができる。
更に、上記エッジ強調手段が、上記エッジ補正係数に基づくエッジ強調処理を行うようにすることで、エッジ部と平坦部でエッジ強調効果の調整を行うことができ、更に高品位な画像信号を得ることが可能となる。

上記画像処理装置において、前記変換手段は、前記領域補正係数を前記所定の画像処理が施された画像信号に乗算することで前記領域毎の階調変換処理を行うこととしてもよい。

このような構成によれば、変換手段は、所定の画像処理が施された画像信号に、領域補正係数を乗算することにより、領域毎の階調変換処理を行う。このように、乗算処理により階調変換が行われるため、処理の高速化を図ることが可能となる。

本発明の第４の態様は、撮像素子からの画像信号に対し領域毎に階調変換処理を行う画像処理プログラムであって、前記撮像素子からの画像信号をもとに、第一の信号変換処理を行うステップと、前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を前記第一の信号変換処理により得た画像信号をもとに算出するステップと、撮像素子からの画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うステップと、前記ノイズ低減処理により得た画像信号をもとに、前記領域補正係数を用いて前記領域毎の階調変換処理を行うステップとをコンピュータに実行させるための画像処理プログラムである。

本発明の第５の態様は、撮像素子からの画像信号に対し領域毎に階調変換処理を行う画像処理プログラムであって、前記撮像素子からの画像信号に対して第一の信号変換処理を行うステップと、前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を前記第一の信号変換処理により得た画像信号をもとに算出するステップと、前記第一の信号変換処理により得た画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うステップと、前記ノイズ低減処理により得た画像信号をもとに前記領域補正係数を用いて前記領域毎の階調変換処理を行うステップとをコンピュータに実行させるための画像処理プログラムである。

本発明の第６の態様は、所定の画像処理が施された画像信号に対し領域毎に階調変換処理を行う画像処理プログラムであって、前記所定の画像処理が施された画像信号から前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を算出するステップと、前記所定の画像処理が施された画像信号をもとに前記領域補正係数を用いて前記領域毎の階調変換処理を行うステップと、前記階調変換処理により得た画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うステップとをコンピュータに実行させるための画像処理プログラムである。

上記画像処理プログラムにおいて、前記第一の信号変換処理は、前記第一の信号変換処理とともにエッジ強調処理を行うエッジ強調処理手段を有し、該エッジ強調処理手段は、処理対象の画像信号からエッジ強調係数を算出するエッジ強調係数算出手段と、前記エッジ強調係数に基づき前記処理対象の画像信号に対してエッジ強調を行うエッジ強調手段とを有していてもよい。

上記画像処理プログラムにおいて、前記エッジ強調処理手段は、前記エッジ強調係数からエッジ補正係数を算出するエッジ補正係数算出手段を更に有し、前記ノイズ低減手段は、前記領域補正係数と前記エッジ補正係数とを用いてノイズ低減処理を行うこととしてもよい。

本発明の第７の態様は、階調変換処理を行う画像処理装置であって、前記階調変換処理に適用する補正係数を、画像信号をもとに算出する算出手段と、前記画像信号をもとに前記補正係数を用いてノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減処理された画像信号をもとに前記補正係数を用いて前記階調変換処理を行う変換手段とを具備する画像処理装置である。

このような構成によれば、所定の画像処理が施された画像信号に対して階調変換処理に関する補正係数を算出し、この補正係数を用いてノイズ低減処理、階調変換処理を行うので、画素毎に強調されるノイズ感の差異に対する違和感を緩和することができる。

なお、本態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、本態様に対応する実施形態は、図１，図１８，図３２，図３７にその全体構成がそれぞれ示された第１，第２，第４または第５の実施形態であり、本態様の構成要素である算出手段には、例えば、図１または図１８に示される補正係数算出部１０６，或いは、図３２または図３７に示される補正係数算出部５０１が該当する。ノイズ低減手段には、例えば、ノイズ低減部２０９が該当する。変換手段には、例えば、信号処理部１０５，２００，５００，または５０４、並びに、補正係数乗算部１２６，または，２０１が該当する。

この態様の好ましい適用例は、例えば、図１に示されるように、所定の画像処理が施された画像信号に対し図１に示される補正係数算出部１０６にて画素毎、または所定領域毎に階調変換処理に関する補正係数を算出し、次に画像信号に対し、ノイズ低減部１０９にて上記補正係数を用いてノイズ低減処理を行い、ノイズ低減処理後の画像信号に対し、上記補正係数を用いて信号処理部１０５、補正係数乗算部１２６（図２参照）にて階調変換処理を行う画像処理装置である。

本発明の第８の態様は、階調変換処理を行う画像処理装置であって、前記階調変換処理に適用する補正係数を、画像信号をもとに算出する算出手段と、前記画像信号をもとに前記補正係数を用いて前記階調変換処理を行う変換手段と、前記変換手段により変換された画像信号に対し、前記補正係数を用いてノイズ低減処理を行うノイズ低減手段とを具備する画像処理装置である。

このような構成によれば、所定の画像処理が施された画像信号に対して階調変換処理に関する補正係数を算出し、上記補正係数を用いてノイズ低減処理、階調変換処理を行うので、画素毎に強調されるノイズ感の差異に対する違和感を緩和することができる。

なお、本態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、本態様に対応する実施形態は、図２５，図４１にその全体構成がそれぞれ示された第３または第６の実施形態であり、本態様の構成要素である算出手段には、例えば、図２５に示される補正係数算出部１０６，或いは、図４１に示される補正係数算出部５０１が該当する。変換手段には、例えば、信号処理部１０５，または５００が該当する。ノイズ低減手段には、例えば、ノイズ低減部２０９が該当する。

この態様の好ましい適用例は、例えば、図２５に示されるように、所定の画像処理が施された画像信号に対し、補正係数算出部１０６にて画素毎、または所定領域毎に階調変換処理に関する補正係数を算出し、この補正係数を用いて信号処理部１０５にて階調変換処理を行い、次に、階調変換処理後の画像信号に対し、ノイズ低減部２０９にて、上記補正係数を用いてノイズ低減処理を行う画像処理装置である。

上記画像処理装置において、前記ノイズ低減手段は、前記画像信号に関してノイズ量を推定するノイズ量推定手段と、前記ノイズ量および前記補正係数に基づき平滑化処理を行う平滑化手段とを備えていてもよい。

このような構成によれば、画像信号に対してノイズ量を推定し、ノイズ量と補正係数に基づきノイズ低減処理を行う。このように、例えば、領域毎にノイズ量を推定することで、精度のよいノイズ低減処理を行うことができる。また、推定されたノイズ量を補正係数に基づき補正するため階調変換により画素毎に強調されたノイズをバランスよくノイズ低減することができる。

上記画像処理装置において、前記ノイズ量推定手段は、撮像素子、ＩＳＯ感度、色信号、および補正係数に対応する一つ以上の基準ノイズモデルを記録する記録手段を備えていてもよい。

このような構成によれば、撮像素子、ＩＳＯ感度、色信号、補正係数に対応するノイズモデルに基づきノイズ量の推定を行うので、撮像素子、ＩＳＯ感度、色信号、補正係数に対応した高精度なノイズ量の推定ができる。

上記画像処理装置において、前記変換手段は、前記画像信号からエッジ強調係数を算出するエッジ強調係数算出手段と、前記エッジ強調係数からエッジ補正係数を算出するエッジ補正係数算出手段と、前記エッジ強調係数に基づき前記画像信号に対してエッジ強調を行うエッジ強調手段とを備えていてもよい。

このような構成によれば、画像信号からエッジ強調係数、エッジ補正係数を算出し、エッジ強調係数に基づいてエッジ強調処理を行うので、エッジ部と平坦部でエッジ強調効果の調整を行うことができ、高品位な画像信号を得ることができる。

上記画像処理装置において、前記ノイズ低減手段は、前記補正係数と前記エッジ補正係数とに基づいてノイズ低減処理を行うこととしてもよい。

このような構成によれば、補正係数とエッジ補正係数とに基づいてノイズ低減処理を行うので、階調変換による画素毎のノイズ感のバランスを改善することができるとともに、強調されたエッジ部と平坦部でノイズ低減効果の調整を行うことができる。

本発明の第９の態様は、階調変換処理を行う画像処理方法であって、前記階調変換処理に適用する補正係数を、画像信号をもとに算出し、前記画像信号をもとに前記補正係数を用いてノイズ低減処理を行い、前記ノイズ低減処理された画像信号をもとに前記補正係数を用いて前記階調変換処理を行う画像処理方法である。

本発明の第１０の態様は、階調変換処理を行う画像処理方法であって、前記階調変換処理に適用する補正係数を、画像信号をもとに算出し、前記画像信号をもとに前記補正係数を用いて前記階調変換処理を行い、変換された画像信号に対し、前記補正係数を用いてノイズ低減処理を行う画像処理方法である。

本発明によれば、階調変換処理を行う場合でも、階調変換処理とノイズ低減処理の調和をとって、画像信号全体で均質なノイズ感を与えることができるという効果を奏する。
また、上述した各態様に係る画像処理装置は、画像データを処理する機能を備える装置であり、例えば、デジタルスチルカメラなどの撮像装置に適用されて好適なものである。

本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。 図１に示した信号処理部の概略構成を示すブロック図である。 図２に示したエッジ強調処理部の概略構成を示すブロック図である。 エッジ補正係数算出を説明するための説明図であり、エッジ成分とエッジ補正係数との関係の一例を示したグラフである。 図１に示した補正係数算出部の概略構成を示すブロック図である。 図１に示したノイズ推定部の概略構成を示すブロック図である。 注目画素及び注目領域に関する説明図である。 注目画素及び注目領域に関する説明図である。 ノイズ量の推定を説明するための説明図である。 ノイズ量の推定を説明するための説明図である。 ノイズ量の推定を説明するための説明図である。 図１に示したノイズ低減部の概略構成を示すブロック図である。 本発明の第１の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。 本発明の第１の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。 図１４に示したＳｔｅｐ１１におけるノイズ低減の際のノイズ量の推定処理の処理手順を示したフローチャートである。 図１５に示したＳｔｅｐ２０におけるノイズ量の推定処理の処理手順を示すフローチャートである。 図１３及び図１４に示したＳｔｅｐ３及びＳｔｅｐ１３におけるエッジ強調に関する処理手順を示すフローチャートである。 本発明の第２の実施形態に係る撮像装置の概略構成を示したブロック図である。 図１８に示した信号処理部の概略構成を示すブロック図である。 図１９に示したエッジ強調処理部の概略構成を示すブロック図である。 図１８に示したノイズ推定部の概略構成を示すブロック図である。 図１８に示したノイズ低減部の概略構成を示すブロック図である。 本発明の第２の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。 本発明の第２の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。 本発明の第３の実施形態に係る撮像装置の概略構成を示したブロック図である。 図２５に示した信号処理部の概略構成を示すブロック図である。 図２５に示した補正係数算出部の概略構成を示すブロック図である。 図２５に示したノイズ推定部の概略構成を示すブロック図である。 図２５に示したノイズ低減部の概略構成を示すブロック図である。 本発明の第３の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。 本発明の第３の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。 本発明の第４の実施形態に係る撮像装置の概略構成を示すブロック図である。 図３２に示した信号処理部の概略構成を示すブロック図である。 図３２に示した補正係数算出部の概略構成を示すブロック図である。 本発明の第４の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。 本発明の第４の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。 本発明の第５の実施形態に係る撮像装置の概略構成を示すブロック図である。 図３７に示した信号処理部の概略構成を示すブロック図である。 本発明の第５の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。 本発明の第５の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。 本発明の第６の実施形態に係る撮像装置の概略構成を示すブロック図である。 本発明の第６の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。 本発明の第６の実施形態に係る撮像装置により実現される信号処理の手順を示したフローチャートである。

符号の説明

１０４ 縮小画像作成部
１０５、２００ 信号処理部
１０６ 補正係数算出部
１０７ 補正係数マップ用バッファ
１０８、２０８ ノイズ推定部
１０９、２０９ ノイズ低減部
１２０ ＷＢ部
１２１ 補正処理部
１２２ 彩度調整部
１２３ 階調変換部
１２４ Ｙ／Ｃ分離部
１２５ エッジ強調処理部
１２６、２０１ 補正係数乗算部
１３２ フィルタ用ＲＯＭ
１３３ フィルタ処理部
１３４ エッジ補正係数算出用ＲＯＭ
１３５ エッジ補正係数算出部
１３７ エッジ強調部

以下、本発明に係る撮像装置の実施形態について、図面を参照して説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る撮像装置の一構成例を示したブロック図である。図１において、レンズ系１００、ＣＣＤ１０１は、この順番で光軸に沿って配置されている。ＣＣＤ１０１は、Ａ／Ｄ変換器１０２に接続されている。Ａ／Ｄ変換器１０２は、バッファ１０３に接続されている。バッファ１０３は、縮小画像生成部１０４、ノイズ推定部１０８及びノイズ低減部１０９に接続されている。縮小率設定部１５８は、縮小画像生成部１０４に接続されている。縮小画像生成部１０４は、信号処理部１０５に接続されている。信号処理部１０５は、補正係数算出部１０６、ノイズ低減部１０９、及び圧縮部１１０に接続されている。補正係数算出部１０６は、補正係数マップ用バッファ１０７に接続されている。補正係数マップ用バッファ１０７は、信号処理部１０５及びノイズ推定部１０８に接続されている。ノイズ推定部１０８は、ノイズ低減部１０９に接続されている。ノイズ低減部１０９は、信号処理部１０５に接続されている。さらに、圧縮部１１０は、メモリーカードなどの出力部１１１に接続されている。

次に、上記構成からなる撮像装置の作用について簡単に説明する。
まず、図示しない外部Ｉ／Ｆを介してＩＳＯ感度などの撮影条件が設定された後、ユーザにより図示しないシャッタボタンが押されると、レンズ系１００により結像された被写体像は、ＣＣＤ１０１により光学被写体から電気信号に変換され、アナログ信号として出力される。なお、本実施形態においてＣＣＤ１０１は、Ｂａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。上記アナログ信号は、Ａ／Ｄ変換器１０２にてデジタル信号へ変換されて、バッファ１０３へ転送される。なお、本実施形態例においてＡ／Ｄ変換器１０２は、１２ｂｉｔ階調でデジタル信号へ変換するものと想定する。

バッファ１０３内の画像信号（以下、Ａ／Ｄ変換器１０２から転送されてきた画像信号を「原画像信号」という。）は、始めに縮小画像生成部１０４へ転送される。縮小画像生成部１０４は、補正係数算出処理の高速化を目的として、補正係数算出用に縮小率設定部１５８で設定された縮小率に基づき、画像信号から縮小画像信号を作成する。画像縮小手法としては、例えば、公知のダウンサンプリング手法が一例として挙げられる。なお、縮小率を大きく、あるいは画像信号と等倍に設定することにより、補正係数算出精度を重視することも可能である。このようにして作成された縮小画像信号は、信号処理部１０５へ転送される。

信号処理部１０５は、縮小画像生成部１０４からの縮小画像信号を読み出し、ＷＢ調整、補間処理、彩度強調処理、階調変換処理、エッジ強調処理などを行うことにより、画像信号を生成する。
具体的には、信号処理部１０５は、入力された画像信号に対して、ＷＢ調整処理を行った後、補間処理により三板状態の画像信号を生成し、更に、彩度強調処理、階調変換処理を行う。続いて、下記の（１）式に基づきＹ／Ｃ分離処理を行い、変換された輝度信号Ｙからエッジ成分を算出し、このエッジ成分に基づいてエッジ強調処理を行い、エッジ強調処理後の画像信号を補正係数算出部１０６へ転送する。

Ｙ＝０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ （１）
Ｃｒ＝０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ

続いて、信号処理部１０５は、縮小画像に対して算出した上記エッジ成分から、エッジ強調係数を算出し、このエッジ強調係数からエッジ補正係数を算出する。このエッジ補正係数は、原画像信号上の画素に対するものであり、後段のノイズ低減処理の際に利用されるものである。なお、詳細については後述する。

補正係数算出部１０６は、注目画素を中心とする所定サイズの矩形領域、例えば本実施形態では、１６×１６画素単位の局所領域を抽出する。補正係数算出部１０６は、抽出した局所領域のヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各注目画素にかかる補正係数を求める。続いて、補正係数算出部１０６は、縮小画像信号の縮小率に基づき、縮小画像上の画素と対応する原画像信号上の画素に対する補正係数（以下、この補正係数を「領域補正係数」という。）を算出し、補正係数マップ用バッファ１０７へ記録する。これにより、補正係数マップ用バッファ１０７には、原画像信号上の画素に対応する領域補正係数が記録されることとなる。この領域補正係数は、以降のノイズ低減処理、信号処理（補正係数乗算処理）等において利用される。

次に、ノイズ推定部１０８は、バッファ１０３より原画像信号を取得し、この原画像信号から注目画素を中心とする所定サイズの矩形領域、例えば本実施形態では、６×６画素単位の局所領域を抽出する。続いて、上記補正係数マップ用バッファ１０７から領域補正係数を取得し、この領域補正係数及び撮影時に外部Ｉ／Ｆにより設定されたＩＳＯ感度に基づいて、先ほど抽出した局所領域における注目画素のノイズ量を推定し、これをノイズ低減部１０９へ転送する。
ノイズ低減部１０９は、バッファ１０３より原画像信号を取得し、上述した信号処理部１０５において算出されたエッジ補正係数及びノイズ推定部１０８により推定されたノイズ量に基づいて、この原画像信号の注目画素に対してノイズ低減処理を行い、ノイズ低減処理後の画像信号を信号処理部１０５へ転送する。

信号処理部１０５は、ノイズ低減部１０９からノイズ低減処理後の画像信号を取得すると、この画像信号に対して、ＷＢ調整、補間処理、彩度強調処理、階調変換処理、Ｙ／Ｃ分離処理、エッジ強調処理などを行う。更に、信号処理部１０５は、処理後の画像信号に対して補正係数マップ用バッファ１０７から取得した領域補正係数に基づいて補正を行う。このとき、補正後の画像信号が規定のレベルを超える場合は、クリッピング処理により、レベルが規定範囲内に収まるように更に補正する。そして、信号処理部１０５は、全画素に対する補正処理が終了すると、最終的な画像信号を圧縮部１１０へ転送する。

圧縮部１１０は、以下の（２）式に基づき、信号処理後の画像信号をＲＧＢ信号に変換した後、公知の圧縮処理などを行い、出力部１１１へ転送する。
Ｒ＝Ｙ＋１．４０２００Ｃｒ
Ｇ＝Ｙ−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ （２）
Ｂ＝Ｙ＋１．７７２００Ｃｂ
出力部１１１は、メモリーカードなどへ画像信号を記録保存する。

以下、上述した撮像装置の作用について、更に詳しく説明する。
図２は、本実施形態に係る信号処理部１０５の一構成例を示すブロック図である。図２に示すように、信号処理部１０５は、ＷＢ部１２０、補間処理部１２１、彩度強調部１２２、階調変換部１２３、Ｙ／Ｃ分離部１２４、エッジ強調処理部１２５、及び補正係数乗算部１２６を備えて構成されている。
ＷＢ部１２０は、補間処理部１２１及びエッジ強調処理部１２５に接続されている。補間処理部１２１は、彩度強調部１２２に接続されている。彩度強調部１２２は、階調変換部１２３に接続されている。階調変換部１２３は、Ｙ／Ｃ分離部１２４に接続されている。Ｙ／Ｃ分離部１２４は、エッジ強調処理部１２５及び補正係数乗算部１２６に接続されている。エッジ強調処理部１２５は補正係数乗算部１２６及びノイズ低減部１０９に接続されている。補正係数マップ用バッファ１０７は補正係数乗算部１２６に接続されている。補正係数乗算部１２６は、補正係数算出部１０６、及び圧縮部１１０に接続されている。

このような構成において、縮小画像生成部１０４又はノイズ低減部１０９から転送された画像信号は、信号処理部１０５内のＷＢ部１２０へ入力される。ＷＢ部１２０は、撮影情報に基づき、各色信号に対して所定のＷＢ係数を乗算することでＷＢ調整を行う。ＷＢ調整後の画像信号は、補間処理部１２１及びエッジ強調処理部１２５に転送される。補間処理部１２１は、ＷＢ調整後の画像信号に対して補間処理を行う。補間処理後の画像信号は、彩度強調部１２２へ転送される。彩度強調部１２２は、補間処理部１２１からの各色信号に対して、マトリックス乗算処理を行い彩度強調を行う。彩度強調処理後の信号は、階調変換部１２３へ転送される。階調変換部１２３は、各色信号レベルに応じて、予め設定された変換曲線に基づき、階調変換を行う。このとき、階調幅を超える場合はクリッピング処理を行い、範囲内に収まるよう調整を行う。階調変換処理後の画像信号は、Ｙ／Ｃ分離部１２４へ転送される。Ｙ／Ｃ分離部１２４は、上述の（１）式に基づいて各色信号を輝度信号Ｙと色差信号Ｃとに分離する。分離後の輝度信号Ｙは、エッジ強調処理部１２５へ、色差信号Ｃは、補正係数乗算部１２６へそれぞれ転送される。

エッジ強調処理部１２５は、ＷＢ部１２０からの色信号に対してフィルタ処理を行い、エッジ成分を抽出し、このエッジ成分を、Ｙ／Ｃ分離部１２４から供給された補間後の輝度信号Ｙに対して加算することでエッジ強調処理を行う。エッジ強調された輝度信号Ｙは、補正係数乗算部１２６へ転送される。
補正係数乗算部１２６は、信号処理部１０５に入力された画像信号がノイズ低減部１０９からの信号であった場合は、各画素に対応する領域補正係数を補正係数マップ用バッファ１０７から取得し、取得した領域補正係数を輝度信号Ｙ及び色差信号Ｃに対して乗算する処理を行い、処理後の信号を圧縮部１１０へ転送する。一方、信号処理部１０５に入力された画像信号が縮小画像生成部１０４からの信号であった場合は、補正係数乗算部１２６は、上述のような領域補正係数の乗算処理は行わず、補正係数算出部１０６へ当該信号をそのまま出力する。

図３は、図２に示したエッジ強調処理部１２５の一構成例を示すブロック図である。この図に示されるように、エッジ強調処理部１２５は、輝度信号算出部１３０、バッファ１３１、フィルタ用ＲＯＭ１３２、フィルタ処理部１３３、エッジ補正係数算出用ＲＯＭ１３４、エッジ補正係数算出部１３５、エッジ補正係数マップ用バッファ１３６、及びエッジ強調部１３７を備えて構成されている。

エッジ強調処理部１２５において、輝度信号算出部１３０は、バッファ１３１に接続されている。フィルタ用ＲＯＭ１３２及びバッファ１３１は、フィルタ処理部１３３に接続されている。フィルタ処理部１３３は、エッジ補正係数算出部１３５及びエッジ強調部１３７に接続されている。また、エッジ強調部１３７は、補正係数乗算部１２６に接続されている。エッジ補正係数算出用ＲＯＭ１３４は、エッジ補正係数算出部１３５に接続されている。エッジ補正係数算出部１３５は、エッジ補正係数マップ用バッファ１３６に接続されている。エッジ補正係数マップ用バッファ１３６は、ノイズ低減部１０９に接続されている。

このような構成からなるエッジ強調処理部１２５において、ＷＢ部１２０からＷＢ調整された画像信号が輝度信号算出部１３０に転送される。輝度信号算出部１３０は、ＷＢ調整された画像信号を画素単位で読み出し、上述の（１）式に従い輝度信号Ｙを算出し、これをバッファ１３１に転送する。バッファ１３１は、輝度信号算出部１３０からの輝度信号を一時保持する。
フィルタ処理部１３３は、フィルタＲＯＭ１３２から公知のエッジ成分抽出−フィルタ処理に要するフィルタ係数を読み出す。ここで、例えば、５×５画素サイズのフィルタであった場合は、５×５画素単位でバッファ１３１より局所領域を読み出し、この局所領域に関するエッジ成分を、上記フィルタＲＯＭ１３２から読み出したフィルタ係数を用いて求め、求めたエッジ成分をエッジ補正係数算出部１３５及びエッジ強調部１３７へ転送する。

エッジ強調部１３７は、Ｙ／Ｃ分離部１２４において（１）式に従い変換された輝度信号Ｙから所定サイズの局所領域を抽出し、輝度信号Ｙに対してフィルタ処理部１３３からのエッジ成分を加算し、エッジ強調処理を行う。一方、エッジ補正係数算出部１３５は、エッジ補正係数用ＲＯＭ１３４からエッジを補正する関数またはテーブルを読み出す。
ここで、エッジ補正係数用ＲＯＭ１３４には、例えば、図４に示されるような入力エッジ成分とエッジ補正係数を関係付ける関数またはテーブルが記憶されている。
いま、変換曲線をｆ（）、注目画素Ｐｘ，ｙの入力エッジ成分をＥｘ，ｙ，注目画素Ｐｘ，ｙのエッジ補正係数をＣｅｄｇｅ：ｘ，ｙとすると、エッジ補正係数Ｃｅｄｇｅ：ｘ，ｙは、以下の（３）式で与えられる。

Ｃｅｄｇｅ：ｘ，ｙ＝ｆ（Ｅｘ，ｙ） （３）

エッジ補正係数算出部１３５は、エッジ補正係数用ＲＯＭ１３４から読み出した関数またはテーブルの値に基づいて縮小画像信号に対するエッジ補正係数を算出し、この縮小画像信号に対するエッジ補正係数を縮小画像信号の縮小率に基づいて補間することにより、原画像信号に対するエッジ補正係数を算出し、算出したエッジ補正係数をエッジ補正係数マップ用バッファ１３６へ転送する。これにより、エッジ補正係数マップ用バッファ１３６には、原画像信号に対するエッジ補正係数、換言すると、各画素を注目画素としたときの各画素に対するエッジ補正係数Ｃｅｄｇｅが記録され、後段のノイズ低減処理の際に利用される。
なお、上記補間の手法としては、例えば、ニアレストネイバー補間、バイリニア補間、バイキュービック補間等が一例として挙げられる。

図５は、図１に示した補正係数算出処理部１０６の一構成例を示すブロック図である。この図に示されるように、補正係数算出処理部１０６は、バッファ１４０、抽出部１４１、ヒストグラム算出部１４２、累積正規化部１４３、及び補正係数算出部１４４を備えて構成されている。

信号処理部１０５は、補正係数算出部１０６のバッファ１４０に接続されている。バッファ１４０は、抽出部１４１に接続されている。抽出部１４１は、ヒストグラム算出部１４２に接続されている。ヒストグラム算出部１４２は、累積正規化部１４３に接続されている。累積正規化部１４３は、補正係数算出部１４４に接続されている。補正係数算出部１４４は、補正係数マップ用バッファ１０７に接続されている。
このような構成を備える補正係数算出処理部１０６において、信号処理部１０５から転送された画像信号は、バッファ１４０を経由して抽出部１４１に供給される。抽出部１４１は、この画像信号（輝度信号Ｙ）から局所領域の信号を抽出し、ヒストグラム算出部１４２へ転送する。ヒストグラム算出部１４２は、局所領域毎にヒストグラムを作成し、累積正規化部１４３へ転送する。
累積正規化部１４３は、ヒストグラムを累積することで累積ヒストグラムを作成し、これを階調幅にあわせて正規化することで階調変換曲線を生成し、補正係数算出部１４４へ転送する。ここで、本実施形態では、画像信号の階調幅を１２ｂｉｔとしているため、上記階調変換曲線は、１２ｂｉｔ入力１２ｂｉｔ出力になる。
補正係数算出部１４４は、累積正規化部からの階調変換曲線に基づく領域の信号レベルに対する階調変換処理により発生する領域補正係数を算出する。
いま、階調変換曲線をｔ（）、入力信号レベルをＡＶｃ、階調変換処理により発生する補正係数をｇ´とすると、補正係数ｇ´は、以下の（４）式で与えられる。

ｇ´＝ｔ（ＡＶｃ）／ＡＶｃ （４）

ここで、上記補正係数ｇ´は、縮小画像信号に対するものである。補正係数算出部１４４は、縮小画像信号の縮小率及び補正係数に対応する画素の空間的位置座標に基づいて、上記（４）式及び公知の補間処理を用いて、原画像信号上の画素に対応する領域補正係数ｇを算出する。算出された領域補正係数ｇは、補正係数マップ用バッファ１０７へ転送され、後段の処理の際に利用される。なお、上記補間処理方法としては、例えば、ニアレストネイバー補間、バイリニア補間、バイキュービック補間等が一例として挙げられる。

図６は、ノイズ推定部１０８の一構成例を示すブロック図である。この図に示されるように、ノイズ推定部１０８は、抽出部１４５、平均算出部１４６、ゲイン算出部１４７、標準値付与部１４８、パラメータ選択部１４９、パラメータ用ＲＯＭ１５０、補間部１５１、及び補正部１５２を備えて構成されている。

バッファ１０３は、抽出部１４５に接続されている。抽出部１４５は、平均算出部１４６に接続されている。平均算出部１４６は、パラメータ選択部１４９に接続されている。補正係数マップ用バッファ１０７は、ゲイン算出部１４７に接続されている。ゲイン算出部１４７、標準値付与部１４８、及びパラメータ用ＲＯＭ１５０は、パラメータ選択部１４９に接続されている。パラメータ選択部１４９は、補間部１５１に接続されている。補間部１５１は、補正部１５２に接続されている。補正部１５２は、ノイズ低減部１０９に接続されている。
このような構成を備えるノイズ推定部１０８において、抽出部１４５は、バッファ１０３から図７に示される注目画素Ｐｘ，ｙを中心とした局所領域（Ｐｉｊ（ｉ＝ｘ−１，ｘ，ｘ＋１，ｊ＝ｙ−１，ｙ，ｙ＋１））を抽出し、平均値算出部１４６へ転送する。また、抽出部１４５は、単板状態の色信号については、図８に示すように、色信号ごとに局所領域を形成した後、平均値算出部１４６へ転送する。そして、以降、この色信号毎に、ノイズ量の推定、ノイズ低減処理が実施される。

平均算出部１４６は、下記の（５）式を用いて局所領域（Ｐｉｊ（ｉ＝ｘ−１，ｘ，ｘ＋１，ｊ＝ｙ−１，ｙ，ｙ＋１））の平均値ＡＶｘ，ｙを算出し、この平均値ＡＶｘ，ｙをパラメータ選択部１４９へ転送する。
ＡＶｘ，ｙ＝ΣＰｉｊ／９ （５）

ゲイン算出部１４７は、補正係数マップ用バッファ１０７から注目画素に対応する領域補正係数ｇを読み出し、パラメータ選択部１４９へ転送する。パラメータ選択部１４９は、平均算出部１４６からの局所領域の平均値ＡＶｘ，ｙ、及びゲイン算出部１４７からの領域補正係数ｇに基づき、ノイズ量を推定する。図９乃至図１１は、ノイズ量の推定に関する説明図である。

図９は、信号レベルをＬとした場合のノイズ量Ｎをプロットしたもので、図９を２次関数でモデル化すると以下の（６）式が得られる。
Ｎ＝αＬ^２＋βＬ＋γ （６）
上記式（６）において、α、β、γは、それぞれ定数項である。

ノイズ量Ｎは、信号レベル（色信号）の変化だけでなく、撮像素子やＩＳＯ感度や階調変換処理などにおいて画素値に乗算される領域補正係数の変化によっても変化する。α、β、γは、これらの撮像素子、ＩＳＯ感度、領域補正係数に応じて定まる値である。なお、本発明における「ＩＳＯ感度」は、銀塩カメラに用いるフィルムの感度をいうのではなく、本実施形態のようなデジタルカメラの場合、撮像素子で得られる電気信号を増幅する際の増幅の程度をフィルムの感度に相当させたものを表すものである。図９は、一例として、領域補正係数が１．０、２．０、３．０の場合（この場合、撮像素子やＩＳＯ感度は一定としている）のノイズ量Ｎをプロットしたものである。撮像素子、ＩＳＯ感度をα、β、γに反映させる場合には、標準値付与部１４８が撮像素子やＩＳＯ感度の情報をパラメータ選択部１４９に与える。そして、パラメータ選択部１４９は、領域補正係数ｇ、撮像素子、ＩＳＯ感度に応じたα、β、γを定めてノイズ量を推定する。このとき、領域補正係数ｇ、撮像素子、ＩＳＯ感度に応じたα、β、γは、以下の（７）式に示すように、実測値に基づいて定式化された関数として定めることができる。

Ｎ＝α_（ｇ）Ｌ^２＋β_（ｇ）Ｌ＋γ_（ｇ） （７）
上記（７）式において、α_（ｇ）、β_（ｇ）、γ_（ｇ）は、領域補正係数ｇを変数として実測値から定式化した関数である。ただし、ノイズ量の分布は、処理系の組み合わせにより傾向が異なる。そのため、ここでは、２次の多項式によりモデル化したが、ノイズ量分布傾向にあわせて、以下の（８）式のような１次関数、または（９）式のようなＬｏｇ関数によるモデル化も可能である。（８）、（９）式は、上記（７）式と容易に置換可能であるため、説明は省略する。

Ｎ＝α_（ｇ）Ｌ＋β_（ｇ） （８）
Ｎ＝α_（ｇ）ｌｏｇＬ （９）

ところで、上記（７）式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図１０に示すようなモデルの簡略化を行うとよい。図１０においては、領域補正係数について所定の間隔おきに、基準ノイズモデルを設定しておく。ここでは、領域補正係数ｇ＝１．０、２．０、３．０における基準ノイズモデルを示している。

本実施形態では、最大のノイズ量を与えるモデル（図１０の例では、ｇ＝３．０のノイズモデル）を基準ノイズモデルとし、これを所定数の折れ線で近似したものを予め記録しておく。折れ線の変曲点は、信号レベルＬとノイズ量Ｎからなる座標データ（Ｌｎ，Ｎｎ）で表す。ここで、ｎは変曲点の数を示す。また、上記基準ノイズモデルから他のノイズモデル（すなわち、ｇ＝３．０以外のｇに対応するノイズモデル）を導出するための係数ｋｇも予め記録しておく。基準ノイズモデルから他のノイズモデルを導出するには、上記係数ｋｇを乗算することで行われる。

図１１は、図１０に示す簡易化されたノイズモデルからノイズ量を算出する方法を示した図である。ここでは、例えば、与えられた信号レベルｌ、補正係数ｇに対応するノイズ量Ｎを求めることを想定する（この場合、撮像素子、ＩＳＯ感度は一定としている。）。まず、信号レベルｌが基準ノイズモデルのどの区間に属するかを探索する。ここでは、（Ｌｎ，Ｎｎ）と（Ｌｎ＋１，Ｎｎ＋１）との間の区間に属するとする。そして、基準ノイズモデルにおける基準ノイズ量Ｎ_ｌを下記の（１０）式を用いて、線形補間にて求める。更に、ｇに対して数値的に最も近い領域補正係数のノイズモデルに対応する係数ｋｇを選択し、（１１）式に示されるように、この基準ノイズ量Ｎ_ｌに係数ｋｇを乗算することで、ノイズ量Ｎを求める。

パラメータ選択部１４９は、平均算出部１４６からの注目画素Ｐｘ，ｙに対する局所領域の平均値ＡＶｘ，ｙから信号レベルｌを設定し、ゲイン算出部１４７で読み出した領域補正係数によって注目画素Ｐｘ，ｙに対する領域補正係数ｇを設定する。
続いて、パラメータ選択部１４９は、信号レベルが属する区間の座標データ（Ｌｎ，Ｎｎ）と（Ｌｎ＋１，Ｎｎ＋１）とをパラメータ用ＲＯＭ１５０から探索し、これを補間部１５１へ転送する。さらに、係数ｋｇをパラメータ用ＲＯＭ１５０から探索し、これを補正部１５２へ転送する。

補間部１５１は、パラメータ選択部１４９からの信号レベルおよび区間の座標データ（Ｌｎ，Ｎｎ）と（Ｌｎ＋１，Ｎｎ＋１）から上記（１０）式に基づき基準ノイズモデルにおける基準ノイズ量Ｎ_ｌを算出し、補正部１５２へ転送する。
補正部１５２は、パラメータ選択部１４９からの係数ｋｇおよび補間部１５１からの基準ノイズ量Ｎ_ｌから（１１）式に基づきノイズ量Ｎを算出し、注目画素Ｐｘ，ｙのノイズ量Ｎｘ，ｙとする。各画素を注目画素として推定されたノイズ量Ｎｘ，ｙおよび平均値ＡＶｘ，ｙはノイズ低減部１０９へ転送される。

図１２は、ノイズ低減部１０９の一構成例を示すブロック図である。図１２に示すように、ノイズ低減部１０９は、抽出部１５３、切換部１５４、範囲設定部１５５、第１スムージング部１５６、及び第２スムージング部１５７を備えて構成されている。
バッファ１０３は、抽出部１５３に接続している。抽出部１５３は切換部１５４に接続している。ノイズ推定部１０８及びエッジ補正係数マップ用バッファ１３６は、範囲設定部１５５に接続されている。切換部１５４及び範囲設定部１５５は、第１スムージング部１５６、並びに第２スムージング部１５７に接続されている。第１スムージング部１５６及び第２スムージング部１５７は、信号処理部１０５に接続されている。
このような構成を備えるノイズ低減部１０９において、ノイズ推定部１０８から局所領域の平均値ＡＶｘ，ｙおよびノイズ量Ｎｘ，ｙが範囲設定部１５５へ転送される。範囲設定部１５５は、上記（３）式にて算出したエッジ補正係数Ｃｅｄｇｅをエッジ補正係数マップ用バッファ１３６より取得し、このエッジ補正係数Ｃｅｄｇｅ及びノイズ推定部１０８からの局所領域の平均値ＡＶｘ，ｙ並びにノイズ量Ｎｘ，ｙに基づいて、ノイズ量に関する許容範囲として、上限Ｕｐおよび下限Ｌｏｗを以下の（１２）式を用いて設定し、この許容範囲の上限Ｕｐ及び下限Ｌｏｗを切換部１５４へ転送する。

Ｕｐ＝ＡＶｘ，ｙ＋（Ｎｘ，ｙ／２）＊Ｃｅｄｇｅ：ｘ，ｙ
Ｌｏｗ＝ＡＶｘ，ｙ−（Ｎｘ，ｙ／２）＊Ｃｅｄｇｅ：ｘ，ｙ （１２）

更に、範囲設定部１５５は、平均値ＡＶｘ，ｙおよびノイズ量Ｎｘ，ｙを第１スムージング部１５６および第２スムージング部１５７へ転送する。切換部１５４は抽出部１５３からの注目画素Ｐｘ，ｙを読み出し、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」、「ノイズ範囲を上回っている」、「ノイズ範囲を下回っている」の三通りである。切換部１５４は、「ノイズ範囲に属している」場合は、第１スムージング部１５６へ、それ以外は第２スムージング部１５７へ注目画素Ｐｘ，ｙの画素値ＰＶｘ，ｙを転送する。

第１スムージング部１５６は、以下の（１３）式を用いて、切換部１５４からの注目画素Ｐｘ，ｙの画素値ＰＶｘ，ｙに範囲設定部１５５からの平均値ＡＶｘ，ｙを代入する処理を行う。

ＰＶｘ，ｙ＝ＡＶｘ，ｙ （１３）

上記（１３）式でのノイズ低減処理がなされた注目画素Ｐ’ｘ，ｙおよびノイズ量Ｎｘ，ｙは、信号処理部１０５へ転送される。第２スムージング部１５７は、範囲設定部１５５からの平均値ＡＶｘ，ｙ及びノイズ量Ｎｘ，ｙを用いて、切換部１５４からの注目画素Ｐｘ，ｙを補正する処理を行う。まず、「ノイズ範囲を上回っている」場合は、以下の（１４）式のように補正する。

ＰＶｘ，ｙ＝ＡＶｘ，ｙ−Ｎｘ，ｙ／２ （１４）

また、「ノイズ範囲を下回っている」場合は、以下の（１５）式のように補正する。
ＰＶｘ，ｙ＝ＡＶｘ，ｙ＋Ｎｘ，ｙ／２ （１５）

上記（１４）式または（１５）式のノイズ低減処理がなされた注目画素Ｐｘ，ｙの画素値ＰＶｘ，ｙおよびノイズ量Ｎｘ，ｙは、信号処理部１０５へ転送され、上述した図２において説明した信号処理が行われて、処理後の画像信号が圧縮部１１０を経由して出力部１１１へ供給されることにより、記録媒体に記録される。

以上、説明してきたように、本実施形態に係る撮像装置によれば、信号処理部１０５において、撮像素子からの画像信号に対して所定の画像信号処理（第一の信号変換処理）が行われ、補正係数算出部１０６にて、画像処理後の画像信号に基づいて、領域毎の階調変換処理に適用される領域補正係数、換言すると、スペースバリアントな階調変換処理に関する補正係数が算出される。そして、ノイズ低減処理部にて、原画像信号に対し、上記領域補正係数を用いたノイズ低減処理が施され、このノイズ低減処理後の画像信号が信号処理部１０５に再度転送されることにより、更に、領域補正係数を用いた領域毎の階調変換処理が施されることとなる。

このように、所定の信号処理がなされた画像信号に対してスペースバリアントな階調変換処理に関する補正係数を算出し、この補正係数を用いてノイズ低減処理、階調変換処理を撮像素子からの画像信号（原画像信号）に対して行うので、スペースバリアントな階調変換処理がされる場合に強調される領域間でのノイズ感の差異に対する違和感を緩和することが可能となる。更に、ノイズ低減処理を撮像素子からの画像信号に対して行うため、高精度なノイズ低減処理が可能となる。

なお、上記実施形態では、ＣＣＤ１０１はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定したが、このような構成に限定される必要はない。例えば、色差線順次型補色フィルタや二板、三板ＣＣＤにも適用可能である。
また、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１からの信号を未処理のままのＲａｗデータとして、外部Ｉ／Ｆから入力されたＩＳＯ感度などの撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。以下、信号処理のソフトウェア処理について、図１３及び図１４を参照して説明する。

図１３及び図１４は、本発明の第１の実施形態に係る撮像装置にて実行される信号処理のソフトウェア処理に関する処理手順を示したフローチャートである。
図１３のＳｔｅｐ１にて、画像信号と、ＩＳＯ感度などの撮影情報を含むヘッダ情報とを読み出す。Ｓｔｅｐ２にて、補正係数算出用の縮小画像を作成する。Ｓｔｅｐ３にて、ＷＢ調整、色補間、彩度強調、階調変換、エッジ強調等の信号処理、エッジ強調処理に伴うエッジ補正係数の算出を行う。Ｓｔｅｐ４にて、１６×１６画素単位の局所領域を抽出し、Ｓｔｅｐ５にて、ヒストグラム作成処理を行う。Ｓｔｅｐ６にて、Ｓｔｅｐ５にて作成されたヒストグラムを累積し、正規化処理を行う。Ｓｔｅｐ７にて、累積ヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づき各画素に対する補正係数を算出する。Ｓｔｅｐ８にて、算出した補正係数に対するクリッピング処理を行い、さらにＳｔｅｐ９にて、縮小画像に対する補正係数を元に、原信号の対応する画素に対する領域補正係数を算出し記録することにより補正係数マップを作成する。

Ｓｔｅｐ１０にて、全領域の抽出が完了したかを判断し、完了している場合は図１４のＳｔｅｐ１１へ、完了していない場合はＳｔｅｐ４へ移行する。図１４のＳｔｅｐ１１にて、領域補正係数、エッジ補正係数、ＩＳＯ感度に基づいてノイズ低減処理を行う。Ｓｔｅｐ１２にて、ＷＢ調整、色補間、彩度強調、階調変換処理を行う。Ｓｔｅｐ１３にて、エッジ強調処理を行う。Ｓｔｅｐ１４にて、画像信号に領域補正係数を乗算する。Ｓｔｅｐ１５にて、公知の信号圧縮技術を用いて信号圧縮を行い、Ｓｔｅｐ１６にて、処理後の信号を出力し、本処理を終了する。

図１５は、上記Ｓｔｅｐ１１におけるノイズ低減の際のノイズ量の推定処理の処理手順を示したフローチャートである。
Ｓｔｅｐ１８にて、バッファから画像信号が入力される。Ｓｔｅｐ１９にて、図７に示されるような注目画素および３×３画素サイズの局所領域を抽出する。Ｓｔｅｐ２０にて、別途説明するように注目画素に対するノイズ量を算出する。Ｓｔｅｐ２１にて、注目画素に上記（１２）式に示される許容範囲を設定する。Ｓｔｅｐ２２にて、許容範囲内に属するか否かを判断し、属する場合はＳｔｅｐ２３へ、属さない場合はＳｔｅｐ２４へ分岐する。Ｓｔｅｐ２３にて、上記（１３）式に示される処理を行う。Ｓｔｅｐ２４にて、上記（１４）式及び（１５）式に示される処理を行う。Ｓｔｅｐ２５にて、全領域の抽出が完了したかを判断し、完了していない場合はＳｔｅｐ１９へ、完了した場合はＳｔｅｐ２６へ分岐する。Ｓｔｅｐ２６にて、ノイズ低減処理後の信号を信号処理部へ出力する。

図１６は、上記Ｓｔｅｐ２０におけるノイズ量の推定処理の処理手順を示すフローチャートである。
Ｓｔｅｐ２８にて、上記（５）式に示される局所領域の平均値を算出する。Ｓｔｅｐ２９にて、読み込まれたヘッダ情報からＩＳＯ感度などの情報を設定する。もしヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。Ｓｔｅｐ３０にて、補正係数マップ用バッファから領域補正係数を取得する。Ｓｔｅｐ３１にて、基準ノイズモデルの座標データおよび領域補正係数を読み出す。Ｓｔｅｐ３２にて、上記（１０）式に示される補間処理にて基準ノイズ量を求める。Ｓｔｅｐ３３にて、（１１）式に示される補正処理にてノイズ量を求める。Ｓｔｅｐ３４にて、算出されたノイズ量を出力し、当該処理を終了する。なお、上述のＳｔｅｐ３１乃至Ｓｔｅｐ３４では、（６）式乃至（９）式を用いることにより、ノイズ量を算出してもよい。

図１７は、上記Ｓｔｅｐ３、Ｓｔｅｐ１３におけるエッジ強調に関する処理手順を示すフローチャートである。
Ｓｔｅｐ３６にて、画像信号が入力される。Ｓｔｅｐ３７にて、画像信号から局所領域を抽出する。Ｓｔｅｐ３８にて、フィルタ処理によりエッジ成分を抽出する。Ｓｔｅｐ３９にて、エッジ成分に基づきエッジ補正係数を算出する。Ｓｔｅｐ４０にて、エッジ成分に基づきエッジ強調処理を行う。Ｓｔｅｐ４１にて全領域の抽出が完了したかを判断し、完了していない場合はＳｔｅｐ３７へ、完了した場合はＳｔｅｐ４２へ移行する。Ｓｔｅｐ４２にて、エッジ強調処理済みの画像信号を出力する。

〔第２の実施形態〕
次に、本発明の第２の実施形態に係る撮像装置について図を参照して説明する。
図１８は、本発明の第２の実施形態に係る撮像装置の概略構成を示すブロック図である。
第２の実施形態は、上述した第１の実施形態と構成を略同じくするが、信号処理部１０５に代わって信号処理部２００を、ノイズ推定部１０８に代わってノイズ推定部２０８を、ノイズ低減部１０９に代わってノイズ低減部２０９を備える点、並びに補正係数乗算部２０１を更に備える点が異なる。
以下、本実施形態に係る画像処理装置について、第１の実施形態と共通する点については説明を省略し、主に異なる点について説明する。なお、第１の実施形態と同一の構成には、同一の名称と番号を割り当てている。

図１８において、縮小率設定部１５８は、縮小画像生成部１０４に接続されている。信号処理部２００は、補正係数算出部１０６、ノイズ推定部２０８、及びノイズ低減部２０９に接続されている。補正係数算出部１０６は、補正係数マップ用バッファ１０７に接続されている。補正係数マップ用バッファ１０７は、ノイズ推定部２０８、補正係数乗算部２０１に接続されている。ノイズ推定部２０８は、ノイズ低減部２０９に接続されている。ノイズ低減部２０９は、補正係数乗算部２０１に接続されている。補正係数乗算部２０１は、圧縮部１１０に接続されている。さらに、圧縮部１１０は出力部１１１に接続されている。

次に、本実施形態に係る撮像装置の作用について簡単に説明する。
まず、図示しない外部Ｉ／Ｆを介してＩＳＯ感度などの撮影条件が設定された後、ユーザにより図示しないシャッタボタンが押されると、レンズ系１００により結像された被写体像は、ＣＣＤ１０１により光学被写体から電気信号に変換され、アナログ信号として出力される。なお、本実施形態においてＣＣＤ１０１はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。上記アナログ信号はＡ／Ｄ変換器１０２にてデジタル信号へ変換されてバッファ１０３へ転送される。なお、本実施形態例においてＡ／Ｄ変換器１０２は１２ｂｉｔ階調でデジタル信号へ変換するものと想定する。

バッファ１０３内の画像信号は、始めに縮小画像生成部１０４へ転送される。縮小画像生成部１０４では、補正係数算出処理の高速化を目的として、補正係数算出用に縮小率設定部１５８で設定された縮小率に基づき画像信号から縮小画像信号を作成する。画像縮小手法は公知のダウンサンプリング手法を用いる。また、縮小率を大きく、あるいは画像信号と等倍に設定することにより、補正係数算出精度を重視することも可能である。縮小画像信号は、信号処理部２００へ転送される。

信号処理部２００は、縮小画像生成部１０４からの縮小画像信号に対して、ＷＢ調整、補間処理、彩度強調処理、階調変換処理、エッジ強調処理などを施し、補正係数算出部１０６へ転送する。

補正係数算出部１０６は、注目画素を中心とする所定サイズの矩形領域、例えば本実施形態では、１６×１６画素単位の局所領域を抽出する。更に、補正係数算出部１０６は、抽出した局所領域のヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各注目画素にかかる補正係数を求める。更に、補正係数算出部１０６は、縮小画像の縮小率に基づき、縮小画像上の画素と対応する原画像信号上の画素に対する補正係数（領域補正係数）を算出し、補正係数マップ用バッファ１０７へ転送する。これにより、補正係数マップ用バッファ１０７には、原画像信号に対応する領域補正係数が記録されることとなる。この領域補正係数は、以降のノイズ低減処理、信号処理（補正係数乗算処理）において利用される。

次に信号処理部２００は、バッファ１０３から直接的に原画像信号を読み出し、この原画像信号に対してＷＢ調整、補間処理、彩度強調処理、階調変換処理、エッジ強調処理などを施すと、処理後の原画像信号をノイズ推定部２０８及びノイズ低減部２０９へ転送する。また、信号処理部２００は、上述の第１の実施形態に係る信号処理部１０５と同様に、内部にエッジ強調処理部１２５（図２参照）を備えており、このエッジ強調処理部１２５により算出された画像信号に対するエッジ補正係数算出を行い、これを保持する。なお、このエッジ補正係数は、後述のノイズ低減部２０９におけるノイズ低減処理の際に利用される。

ノイズ推定部２０８は、信号処理部２００より入力された処理後の原画像信号から注目画素を中心とする所定サイズの矩形領域、例えば本実施形態では３×３画素単位の局所領域を抽出する。続いて、ノイズ推定部２０８は、抽出した局所領域、補正係数マップ用バッファ１０７から取得した領域補正係数および撮影時に外部Ｉ／Ｆにより設定されたＩＳＯ感度に基づき、注目画素のノイズ量を推定し、これをノイズ低減部２０９へ転送する。
ノイズ低減部２０９は、信号処理部２００から入力された画像信号から注目画素を抽出し、ノイズ推定部２０８により推定されたノイズ量及び前述の信号処理部２００におけるエッジ強調処理の際に算出されたエッジ補正係数に基づき、ノイズ低減処理を行い、ノイズ低減処理後の画像信号を補正係数乗算部２０１へ転送する。

補正係数乗算部２０１は、ノイズ低減部２０９からの画像信号に対して、補正係数マップ用バッファ１０７から取得した領域補正係数を乗算することにより、補正処理を行う。規定のレベルを超える場合は、クリッピング処理によりレベルが規定範囲内に収まるよう補正する。補正係数乗算部２０１は、全画素に対する補正処理が終了すると、このときの画像信号を最終的な画像信号として圧縮部１１０へ転送する。圧縮部１１０は、上述した（２）式に基づいて、信号処理後の画像信号をＲＧＢ信号に変換した後、公知の圧縮処理などを行い、出力部１１１へ転送する。出力部１１１は、メモリーカードなどへ信号を記録保存する。

図１９は、信号処理部２００の一構成例を示すブロック図である。この図に示すように、信号処理部２００は、ＷＢ部１２０、補間処理部１２１、彩度強調部１２２、階調変換部１２３、Ｙ／Ｃ分離部１２４、及びエッジ強調処理部１２５を備えて構成されている。
縮小画像作成部１０４及びバッファ１０３は、ＷＢ部１２０に接続されている。ＷＢ部１２０は、補間処理部１２１及びエッジ強調処理部１２５に接続されている。補間処理部１２１は、彩度強調部１２２に接続されている。彩度強調部１２２は、階調変換部１２３に接続されている。階調変換部１２３は、Ｙ／Ｃ分離部１２４に接続されている。Ｙ／Ｃ分離部１２４は、エッジ強調処理部１２５に接続されている。エッジ強調処理部１２５及びＹ／Ｃ分離部１２４は、補正係数算出部１０６、ノイズ推定部２０８、及びノイズ低減部２０９に接続されている。

ＷＢ部１２０は、撮影情報に基づき、各色信号に対し所定のＷＢ係数を乗算することでＷＢ調整を行う。ＷＢ調整後の画像信号は、補間処理部１２１及びエッジ強調処理部１２５に転送される。補間処理部１２１は、ＷＢ調整後の画像信号に対して補間処理を行う。補間処理後の画像信号は、彩度強調処理部１２２へ転送される。彩度強調処理部１２２は、補間処理部１２１からの各色信号に対しマトリックス乗算処理を行い、彩度強調を行う。彩度強調処理後の信号は、階調変換部１２３へ転送される。階調変換部１２３は、各色信号レベルに応じて予め設定された変換曲線に基づき、階調変換を行う。階調幅を超える場合は、クリッピング処理を行い、範囲内に収まるよう調整を行う。

階調変換処理後の信号は、Ｙ／Ｃ分離部１２４へ転送される。Ｙ／Ｃ分離部１２４は、上述の（１）式に基づいて、各色信号を輝度信号Ｙと色差信号Ｃとに分離する。輝度信号Ｙは、エッジ強調処理部１２５に転送される。エッジ強調処理部１２５は、ＷＢ部１２０からの色信号に対してフィルタ処理を行うことにより、エッジ成分を抽出し、補間後の輝度信号Ｙに対して加算することで、エッジ強調処理を行う。また、エッジ強調処理部１２５は、画像信号がバッファ１０３から信号処理部２００へ転送された原画像信号である場合は、エッジ成分からエッジ補正係数を算出し、後段のノイズ低減処理において利用する。
エッジ強調処理後の輝度信号Ｙは、Ｙ／Ｃ分離部１２４で分離された色差信号Ｃと共に、縮小画像信号の場合は、補正係数算出部１０６に転送され、原画像信号である場合はノイズ推定部２０８及びノイズ低減部２０９へ転送される。

図２０は、エッジ強調処理部１２５の一構成例を示すブロック図である。この図に示すように、本実施形態に係るエッジ強調処理部１２５は、基本的に第１の実施形態に係るエッジ強調処理部と構成が略同一であるが、エッジ強調部１３７の接続先が異なる。すなわち、上述の第１の実施形態においては、エッジ強調部１３７は、補正係数乗算部１２６にのみ接続されていたが（図３参照）、本実施形態では、エッジ強調部１３７は、補正係数算出部１０６、ノイズ推定部２０８、及びノイズ低減部２０９に接続されている。なお、各部の作用については、第１の実施形態と同様であるため、説明を省略する。

図２１は、ノイズ推定部２０８の一構成例を示すブロック図である。この図に示すように、ノイズ推定部２０８は、抽出部２４５、平均算出部２４６、ゲイン算出部２４７、標準値付与部２４８、パラメータ選択部２４９、パラメータ用ＲＯＭ２５０、補間部２５１、及び補正部２５２を備えて構成されている。
信号処理部２００は、抽出部２４５に接続されている。抽出部２４５は、平均算出部２４６に接続されている。平均算出部２４６は、パラメータ選択部２４９に接続されている。補正係数マップ用バッファ１０７は、ゲイン算出部２４７に接続されている。ゲイン算出部２４７、標準値付与部２４８、及びパラメータ用ＲＯＭ２５０は、パラメータ選択部２４９に接続されている。パラメータ選択部２４９は、補間部２５１に接続されている。補間部２５１は、補正部２５２に接続されている。補正部２５２は、ノイズ低減部２０９に接続されている。本実施形態に係るノイズ推定部２０８においては、ノイズ量の推定に関して、第１の実施形態において色信号に対してノイズ量を推定したのと同様の手法により、輝度信号Ｙ、色差信号Ｃに対してノイズ量の推定を行う。以下、詳細に説明する。

まず、抽出部２４５は、信号処理部２００から入力された画像信号に対して、局所領域の信号を抽出し、これを平均算出部２４６へ転送する。平均算出部２４６は、抽出部２４５から入力された局所領域の信号からノイズ低減処理を行うための局所領域平均値を算出して、パラメータ選択部２４９へ転送する。ゲイン算出部２４７は、補正係数マップ用バッファ１０７から注目画素に対応する領域補正係数を読み出し、パラメータ選択部２４９へ転送する。パラメータ選択部２４９は、平均算出部２４６からの局所領域の平均値、並びに、ゲイン算出部２４７からの領域補正係数に基づいて、ノイズ量を推定する。ここでの輝度信号Ｙ及び色差信号Ｃに対するノイズ量のモデルの定式化、モデルの簡略化、ノイズ量算出手法は、上述の第１の実施形態と同様であるため説明を省略する。推定されたノイズ量および平均値は、ノイズ低減部２０９へ転送される。

図２２は、ノイズ低減部２０９の一構成例を示すブロック図である。この図に示すように、ノイズ低減部２０９は、抽出部２５３、切換部２５４、範囲設定部２５５、第１スムージング部２５６、及び第２スムージング部２５７を備えて構成されている。
信号処理部２００は、抽出部２５３に接続されている。抽出部２５３は、切換部２５４に接続されている。また、ノイズ推定部２０８及びエッジ補正係数マップ用バッファ１３６は、範囲設定部２５５に接続されている。切換部２５４及び範囲設定部２５５は、第１スムージング部２５６及び第２スムージング部２５７に接続されている。第１スムージング部２５６及び第２スムージング部２５７は、補正係数乗算部２０１に接続されている。

本実施形態に係るノイズ低減部２０９においては、ノイズ量の低減手法に関して、第１の実施形態において、色信号に対してノイズ低減を行ったのと同様の手法により、輝度信号Ｙ、色差信号Ｃに対してノイズ低減を行う。輝度信号Ｙ及び色差信号Ｃに対するノイズ量に関する許容範囲の設定手法、ノイズ低減手法は、第１の実施形態と同様であるため説明を省略する。ノイズ低減処理がなされた画像信号は、信号処理部補正係数乗算部２０１へ転送される。

以上、説明してきたように、本実施形態に係る撮像装置によれば、信号処理部２００にて、撮像素子からの画像信号（つまり、原画像信号）に対して、縮小、ＷＢ調整等の所定の画像処理が行われ、補正係数算出部１０６にて、該画像処理後の画像信号に基づいて、領域毎の階調変換処理に適用される領域補正係数、換言すると、スペースバリアントな階調変換処理に関する補正係数が算出される。次に、ノイズ低減処理部２０９にて、信号処理部２００により処理された原画像信号に対して領域補正係数を用いたノイズ低減処理が施され、続いて、補正係数乗算部２０１にて、ノイズ低減処理後の画像信号に対して、上記領域補正係数を用いた領域毎の階調変換処理が行われる。

このように、所定の信号処理がなされた画像信号に対してスペースバリアントな階調変換処理に関する補正係数である領域補正係数を算出し、この領域補正係数を用いて、所定の信号処理がなされた画像信号に対してノイズ低減処理、階調変換処理を行うので、スペースバリアントな階調変換処理がされる場合に強調される領域間でのノイズ感の差異に対する違和感を緩和することが可能となる。また、処理全体が順列で行われるため、従来の信号処理系との親和性が高く、多様な機器に適用することができるという効果を有する。

なお、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１（図１８参照）からの信号を未処理のままのＲａｗデータとして、外部Ｉ／Ｆから入力されたＩＳＯ感度など撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図２３は、信号処理のソフトウェア処理に関する手順を示したフローチャートである。なお、図１３及び図１４に示す第１の実施形態における信号処理のフローと同一の処理に関しては、同一のＳｔｅｐ数を割り当てている。

図２３のＳｔｅｐ１にて、画像信号と、ＩＳＯ感度などの撮影情報とを含むヘッダ情報を読み出す。Ｓｔｅｐ２にて、補正係数算出用の縮小画像を作成する。Ｓｔｅｐ３にて、ＷＢ調整、色補間、彩度強調、階調変換、エッジ強調といった信号処理を行う。Ｓｔｅｐ４にて、１６×１６画素単位の局所領域を抽出し、Ｓｔｅｐ５にて、ヒストグラム作成処理を行う。Ｓｔｅｐ６にて、Ｓｔｅｐ５にて作成されたヒストグラムを累積し、正規化処理を行う。Ｓｔｅｐ７にて、累積ヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づき各画素に対する補正係数を算出する。Ｓｔｅｐ８にて、算出した補正係数に対するクリッピング処理を行い、さらにＳｔｅｐ９にて、縮小画像に対する補正係数を元に、原信号の対応する画素に対する領域補正係数を算出し、補正係数マップ用バッファへ記録する。

Ｓｔｅｐ１０にて、全領域の抽出が完了したかを判断し、完了している場合は図２４のＳｔｅｐ５０へ、完了していない場合はＳｔｅｐ４へ移行する。図２４のＳｔｅｐ５０にて、ＷＢ調整、色補間、彩度強調、階調変換を行う。Ｓｔｅｐ５１にて、エッジ補正係数の算出、エッジ強調処理を行う。Ｓｔｅｐ５２にて、領域補正係数、エッジ補正係数、ＩＳＯ感度に基づいてノイズ低減処理を行う。Ｓｔｅｐ５３にて、画像信号に対して領域補正係数を乗算する。Ｓｔｅｐ１５にて、公知の信号圧縮技術を用いて信号圧縮を行い、Ｓｔｅｐ１６にて、処理後の画像信号を出力し、本処理を終了する。なお、Ｓｔｅｐ５２におけるノイズ低減、ノイズ量推定、Ｓｔｅｐ５１におけるエッジ強調処理の手順は、第１の実施形態におけるフローと同様である。

〔第３の実施形態〕
次に、本発明の第３の実施形態に係る撮像装置について図を参照して説明する。
図２５は、本発明の第３の実施形態に係る撮像装置の概略構成を示すブロック図である。
以下、本実施形態に係る撮像装置について、第１の実施形態と共通する点については説明を省略し、主に異なる点について説明する。なお、第１の実施形態と同一の構成には、同一の名称と番号を割り当てている。

図２５において、信号処理部１０５は、縮小画像生成部１０４、ノイズ推定部２０８、及びノイズ低減部２０９に接続されている。縮小率設定部１５８は、縮小画像生成部１０４に接続されている。縮小画像生成部１０４は、補正係数算出部１０６に接続されている。補正係数算出部１０６は、補正係数マップ用バッファ１０７に接続されている。補正係数マップ用バッファ１０７は、信号処理部１０５及びノイズ推定部２０８に接続されている。ノイズ推定部２０８は、ノイズ低減部２０９に接続されている。ノイズ低減部２０９は、圧縮部１１０に接続されている。さらに、圧縮部１１０は、出力部１１１に接続されている。

上記構成からなる撮像装置において、図示しない外部Ｉ／Ｆを介してＩＳＯ感度などの撮影条件が設定された後、ユーザにより図示しないシャッタボタンが押されると、レンズ系１００により結像された被写体像は、ＣＣＤ１０１により光学被写体から電気信号に変換され、アナログ信号として出力される。なお、本実施形態においてＣＣＤ１０１はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。上記アナログ信号は、Ａ／Ｄ変換器１０２にてデジタル信号へ変換されて、バッファ１０３へ転送される。なお、本実施形態例においてＡ／Ｄ変換器１０２は、１２ｂｉｔ階調でデジタル信号へ変換するものと想定する。バッファ内の画像信号は、信号処理部１０５へ転送される。

信号処理部１０５は、バッファ１０３からの画像信号を読み出し、ＷＢ調整、補間処理、彩度強調処理、階調変換処理、エッジ強調処理などが行われた画像信号を生成し、縮小画像生成部１０４へ転送する。なお、未だ処理対象の画像信号に対して補正係数を求めていない段階では、エッジ強調処理後の画像信号に対して補正係数乗算部１２６での処理は行わず、縮小画像生成部１０４へ転送される。また、信号処理部１０５は、エッジ強調処理の際に抽出したエッジ成分よりエッジ補正係数を算出する。このエッジ補正係数は、後段のノイズ低減部２０９におけるノイズ低減処理にて利用される。

縮小画像生成部１０４は、補正係数算出処理の高速化を目的として、補正係数算出用に縮小率設定部１５８により設定された縮小率に基づき、所定の画像処理が施された画像信号から縮小画像信号を作成する。この画像縮小手法としては、例えば、公知のダウンサンプリング手法が一例として挙げられる。また、縮小率を大きく、あるいは画像信号と等倍に設定することにより、補正係数算出精度を重視することも可能である。縮小画像信号は、補正係数算出部１０６へ転送される。

補正係数算出部１０６は、注目画素を中心とする所定サイズの矩形領域、例えば本実施形態では、１６×１６画素単位の局所領域を抽出する。更に、補正係数算出部１０６は、抽出した局所領域のヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各注目画素にかかる補正係数を求める。続いて、補正係数算出部１０６は、縮小画像生成部１０４から取得した縮小率に基づき、縮小画像上の画素と対応する原画像信号上の画素に対する補正係数（領域補正係数）を算出し、補正係数マップ用バッファ１０７へ転送する。これにより、補正係数マップ用バッファ１０７には、原画像信号に関する領域補正係数が記録される。この領域補正係数は、以降の信号処理（補正係数乗算処理）、ノイズ低減処理において利用される。

続いて、信号処理部１０５は、補正係数マップ用バッファ１０７から領域補正係数を取得し、取得した領域補正係数をエッジ強調処理後の画像信号に対して乗算することにより、スペースバリアントな階調変換を処理後の画像信号に施す。このとき、規定のレベルを超える場合は、クリッピング処理によりレベルが規定範囲内に収まるよう補正する。そして、信号処理部１０５は、全画素に対する補正処理が終了すると、処理後の画像信号をノイズ推定部２０８及びノイズ低減部２０９へ転送する。

ノイズ推定部２０８は、信号処理部１０５より入力された処理後の画像信号から注目画素を中心とする所定サイズの矩形領域、例えば本実施形態では５×５画素単位の局所領域を抽出する。続いて、補正係数マップ用バッファ１０７から取得した領域補正係数及び撮影時に外部Ｉ／Ｆにより設定されたＩＳＯ感度に基づき、抽出した局所領域における注目画素のノイズ量を推定し、これをノイズ低減部２０９へ転送する。

ノイズ低減部２０９は、信号処理部１０５から入力された画像信号から注目画素を抽出、この抽出した注目画素に関して、ノイズ推定部２０８からのノイズ量および前述のエッジ強調処理の際に算出されたエッジ補正係数に基づき、ノイズ低減処理を行う。ノイズ低減処理後の画像信号は、圧縮部１１０に転送される。
圧縮部１１０は、上述の（２）式に基づいて、信号処理後の画像信号をＲＧＢ信号に変換した後、公知の圧縮処理などを行い、出力部１１１へ転送する。出力部１１１は、メモリーカードなどへ信号を記録保存する。

図２６は、信号処理部１０５の構成の一例を示すブロック図である。この図に示されるように、本実施形態に係る信号処理部１０５は、基本的に第１の実施形態における信号処理部の構成と同様であるが、バッファ１０３のみがＷＢ部１２０に接続されている点、更に、補正係数乗算部１２６が、縮小画像生成部１０４、ノイズ推定部２０８、及びノイズ低減部２０９に接続されている点において異なる。なお、各部の作用については同様であるため説明を省略する。

図２７は、補正係数算出部１０６の構成の一例を示すブロック図である。この図に示すように、本実施形態に係る補正係数算出部１０６は、基本的に第１の実施形態における補正係数算出部１０６と同様であるが、縮小画像生成部１０４が、バッファ１４０に接続されている点において異なる。なお、各部の作用については同様であるため説明を省略する。

図２８は、ノイズ推定部２０８の構成の一例を示すブロック図である。この図に示すように、本実施形態に係るノイズ推定部２０８は、基本的に第２の実施形態におけるノイズ推定部２０８と略同様であるが、信号処理部１０５が抽出部１４５に接続されている点において異なる。なお、各部の作用については、上述の第２の実施形態に係る構成要素と同様であるため説明を省略する。

図２９は、ノイズ低減部２０９の構成の一例を示すブロック図である。この図に示すように、本実施形態に係るノイズ低減部２０９は、基本的に第２の実施形態におけるノイズ低減部２０９と同様であるが、信号処理部１０５が抽出部２５３に接続され、第１スムージング部２５６及び第２スムージング部２５７が、圧縮部１１０に接続されている点において異なる。なお、各部の作用については、上述の第２の実施形態に係る各構成要素と同様であるため説明を省略する。

以上説明してきたように、本実施形態に係る撮像装置によれば、上述した第１乃至第２の実施形態に係る撮像装置と異なり、補正係数算出部１０６の手前に縮小画像生成部１０４を配置している。これにより、信号処理部１０５においては、原画像信号に対してのみＷＢ調整、エッジ強調等の各種処理が行われることとなり、その一方で、補正係数算出部１０６において、縮小画像信号に基づくスペースバリアントな階調変換処理に関する補正係数、並びに、この補正係数に対応する原画像信号上の領域補正係数が算出されることとなる。すなわち、縮小画像生成部１０４、補正係数算出部１０６、補正係数マップ用バッファ１０７、ノイズ推定部２０８、及びノイズ低減部２０９を、他の構成要素とは別個のブロックとして独立して設けることにより、既存の多様な装置に対して適用しやすいという利点を有している。なお、スペースバリアントな階調変換処理がされる場合に強調される領域間でのノイズ感の差異に対する違和感を緩和することが可能となるという利点を有している点については、上述の第１乃至第２の実施形態に係る撮像装置と同様である。

なお、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１（図２５参照）からの信号を未処理のままのＲａｗデータとして、外部ＩＦから入力されたＩＳＯ感度などの撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図３０及び図３１は、信号処理のソフトウェア処理に関する処理手順を示したフローチャートである。なお、図１３及び図１４に示す第１の実施形態における信号処理の手順と同一の処理については、同一のＳｔｅｐ数を割り当てている。

図３０のＳｔｅｐ１にて、画像信号と、ＩＳＯ感度などの撮影情報を含むヘッダ情報とを読み出す。Ｓｔｅｐ５４にて、ＷＢ調整、色補間、彩度強調、階調変換処理を行う。Ｓｔｅｐ５５にて、エッジ補正係数の算出、エッジ強調処理を行う。Ｓｔｅｐ５６にて、補正係数算出用の縮小画像を作成する。Ｓｔｅｐ４にて、１６×１６画素単位の局所領域を抽出し、Ｓｔｅｐ５にて、ヒストグラム作成処理を行う。Ｓｔｅｐ６にて、Ｓｔｅｐ５にて作成されたヒストグラムを累積し、正規化処理を行う。Ｓｔｅｐ７にて、累積ヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づき各画素に対する補正係数を算出する。

Ｓｔｅｐ８にて、算出した補正係数に対するクリッピング処理を行い、さらに、Ｓｔｅｐ９にて、縮小画像に対する補正係数に基づいて原信号の対応する画素に対する領域補正係数を算出し、記録する。Ｓｔｅｐ１０にて、全領域の抽出が完了したかを判断し、完了している場合は図３１のＳｔｅｐ５７へ、完了していない場合はＳｔｅｐ４へ移行する。図３１のＳｔｅｐ５７にて、画像信号に対して領域補正係数を乗算する。Ｓｔｅｐ５８にて、領域補正係数、エッジ補正係数、ＩＳＯ感度に基づいてノイズ低減処理を行う。Ｓｔｅｐ１５にて、公知の信号圧縮技術を用いて信号圧縮を行い、Ｓｔｅｐ１６にて、処理後の信号を出力し、本処理を終了する。

なお、Ｓｔｅｐ５８におけるノイズ低減、ノイズ量推定、Ｓｔｅｐ５５におけるエッジ強調フローは第１の実施形態におけるフローと同様である。

〔第４の実施形態〕
次に、本発明の第４の実施形態に係る撮像装置について図を参照して説明する。
図３２は、本発明の第４の実施形態に係る撮像装置の概略構成を示すブロック図である。
第４の実施形態は、上述した第１の実施形態と構成を略同じくするが、信号処理部１０５に代わって信号処理部５００を、補正係数算出部１０６に代わって補正係数算出部５０１を備える点、並びに、縮小率設定部１５８および縮小画像生成部１０４が削除された点で異なる。

以下、本実施形態に係る撮像装置について、第１の実施形態と共通する点については説明を省略し、主に異なる点について説明する。なお、第１の実施形態と同一の構成には、同一の名称と番号を割り当てている。
図３２において、レンズ系１００，ＣＣＤ１０１を介して撮影された信号は、Ａ／Ｄ変換器１０２にてデジタル信号へ変換される。Ａ／Ｄ変換器１０２からの信号はバッファ１０３を介して信号処理部５００、ノイズ推定部１０８、ノイズ低減部１０９へ転送される。
信号処理部５００は、補正係数算出部５０１、圧縮部１１０に接続している。補正係数算出部５０１は、補正係数マップ用バッファ１０７に接続している。
補正係数マップ用バッファ１０７は、信号処理部５００、ノイズ推定部１０８に接続している。ノイズ推定部１０８はノイズ低減部１０９に接続している。ノイズ低減部１０９は信号処理部５００に接続している。圧縮部１１０は、出力部１１１に接続している。

次に、本実施形態に係る撮像装置の作用について簡単に説明する。
まず、図示しない外部Ｉ／Ｆを介してＩＳＯ感度などの撮影条件が設定された後、ユーザにより図示しないシャッタボタンが押されると、レンズ系１００により結像された被写体像は、ＣＣＤ１０１により光学被写体から電気信号に変換され、アナログ信号として出力される。このアナログ信号はＡ／Ｄ変換器１０２にてデジタル信号へ変換されてバッファ１０３へ転送される。バッファ１０３内の画像信号は信号処理部５００へ転送される。信号処理部５００に入力された画像信号は、ＷＢ調整処理後、補間処理により三板状態の画像信号とされ、彩度強調処理が行われた後、補正係数算出部５０１へ転送される。補正係数算出部５０１では、転送された画像信号中の注目画素、または局所領域の特徴量に基づき階調変換曲線が設定され、この階調変換曲線に基づいて階調変換処理が行われる。この階調変換処理において、注目画素に係る補正係数が求められ、この補正係数マップ用バッファ１０７に記録され、以降のノイズ低減処理、信号処理(例えば、補正係数乗算処理)において利用される。

なお、本実施形態においては、特徴量として注目画素の信号レベルを用いているが、これに限定されるものでは無い。

ノイズ推定部１０８は、バッファ１０３から入力された画像信号から注目画素を中心とする所定サイズの矩形領域、例えば本実施形態では６×６画素単位の局所領域を抽出する。続いて、ノイズ推定部１０８は、抽出した局所領域、補正係数マップ用バッファ１０７から取得した領域補正係数、および撮影時に外部Ｉ／Ｆにより設定されたＩＳＯ感度に基づき、注目画素のノイズ量を推定し、これをノイズ低減部１０９へ転送する。

ノイズ低減部１０９は、バッファ１０３から入力された画像信号から注目画素を抽出し、この注目画素に対して、ノイズ推定部１０８により推定されたノイズ量に基づき、ノイズ低減処理を行い、ノイズ低減処理後の画像信号およびそのノイズ量を信号処理部５００へ転送する。

信号処理部５００は、ノイズ低減部１０９から画像信号を受け付けると、この画像信号に対して、ＷＢ調整、補間処理、彩度強調処理、Ｙ／Ｃ分離処理、エッジ強調処理などを行う。そして、信号処理部５００は、処理後の画像信号に対して、補正係数マップ用バッファ１０７から取得した補正係数を用いて補正を行う。なお、信号処理部５００は、規定のレベルを超える場合は、クリッピング処理によりレベルが規定範囲内に収まるよう補正する。そして、全画素に対する補正処理が終了すると、信号処理部５００は、当該画像信号を最終的な画像信号として圧縮部１１０へ転送する。圧縮部１１０は、信号処理後の画像信号に対して公知の圧縮処理などを行い、出力部１１１へ転送する。出力部１１１は、メモリーカードなどに当該画像信号を記録保存する。

図３３は、信号処理部５００の一構成例を示すブロック図である。この図に示すように、信号処理部５００は、ＷＢ部１２０、補間処理部１２１、彩度強調部１２２、Ｙ／Ｃ分離部１２４、エッジ強調処理部１２５、及び補正係数乗算部１２６を備えて構成されている。
バッファ１０３、またはノイズ低減部１０９から転送された画像信号はＷＢ部１２０へ入力される。ＷＢ部１２０は補間処理部１２１、エッジ強調処理部１２５に接続している。補間処理部１２１は彩度強調部１２２に接続している。彩度強調部１２２はＹ／Ｃ分離部１２４に接続している。Ｙ／Ｃ分離部１２４はエッジ強調処理部１２５、補正係数乗算部１２６に接続している。エッジ強調処理部１２５は補正係数乗算部１２６に接続されている。補正係数マップ用バッファ１０７は補正係数乗算部１２６に接続されている。補正係数乗算部１２６は、補正係数算出部５０１、及び圧縮部１１０に接続している。

ＷＢ部１２０では撮影情報に基づき、各色信号に対し所定のＷＢ係数を乗算することでＷＢ調整を行う。ＷＢ調整後の画像信号は、補間処理部１２１、エッジ強調処理部１２５に転送される。補間処理部１２１は、ＷＢ調整後の画像信号に対して補間処理を行う。補間処理後の画像信号は、彩度強調部１２２へ転送される。彩度強調部１２２は、補間処理部１２１からの各色信号に対しマトリックス乗算処理を行うことで彩度強調を行う。彩度強調処理後の信号は、Ｙ／Ｃ分離部１２４へ転送される。Ｙ／Ｃ分離部１２４は、上述の（１）式に基づき各色信号を輝度信号Ｙ、色差信号Ｃに分離し、輝度信号Ｙをエッジ強調処理部１２５に、色差信号Ｃを補正係数乗算部１２６に転送する。

エッジ強調処理部１２５は、ＷＢ部１２０からの色信号に対してフィルタ処理を行い、エッジ成分を抽出し、補間後の輝度信号Ｙに対して加算することでエッジ強調処理を行う。エッジ強調された輝度信号Ｙは、補正係数乗算部１２６へ転送される。
ここで、信号処理部５００に入力された画像信号がノイズ低減部１０９からの信号である場合、補正係数乗算部１２６は、エッジ強調処理部１２５からの輝度信号Ｙ及びＹ／Ｃ分離部１２４からの色差信号Ｃの各画素に対応する補正係数を補正係数マップ用バッファ１０７より取得し、輝度信号Ｙ、色差信号Ｃに対して補正係数の乗算処理を行い、処理後の信号を圧縮部１１０へ転送する。

一方、補正係数乗算部１２６は、信号処理部５００に入力された画像信号がバッファ１０３からの信号である場合は、上記補正係数の乗算は行わず、補正係数算出部５０１へ輝度信号Ｙ及び色差信号Ｃをそのまま出力する。

図３４は、補正係数算出部５０１の一構成例を示すブロック図である。この図に示すように、本実施形態に係る補正係数算出部５０１は、バッファ１４０、階調変換曲線設定部５０２、階調変換曲線記録部５０３、及び補正係数算出部１４４を備えている。

信号処理部５００は、バッファ１４０に接続している。バッファ１４０及び階調変換曲線記録部５０３は、階調変換曲線設定部５０２に接続している。階調変換曲線設定部５０２は、補正係数算出部１４４に接続している。補正係数算出部１４４は、補正係数マップ用バッファ１０７に接続している。

信号処理部５００は、当該画像信号を、バッファ１４０を介して階調変換曲線設定部５０２へ転送する。階調変換曲線設定部５０２は、画像信号中の画素毎に信号レベルに基づいて、階調変換曲線記録部５０３に予め記録されている階調変換曲線の中から最適な曲線を選択する。本実施形態では、画像信号の階調幅を１２ｂｉｔとしているため、上記階調変換曲線は１２ｂｉｔ入力１２ｂｉｔ出力となる。上記階調変換曲線、信号レベルは補正係数算出部１４４へ転送される。
ここで、画素毎の信号レベルとして、注目画素を中心とする所定サイズの局所領域内での画素の平均信号レベルを用いる構成も可能である。また、階調変換曲線に関連付けされる特徴量として他の特徴量（ヒストグラム等）を算出し、信号レベルの代わりに階調変換曲線と関連付ける構成も可能である。
補正係数算出部１４４は、階調変換曲線と信号レベルに基づき階調変換における補正係数を算出する。

いま、階調変換曲線をt()、入力信号レベルをＡＶｃ、階調変換処理により発生する補正係数をｇとすると、補正係数は上述の(４)式で与えられる。この補正係数は、補正係数マップ用バッファ１０７へ転送され、後段の処理の際に利用される。
なお、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１（図３２参照）からの信号を未処理のままのＲａｗデータとして、外部Ｉ／Ｆから入力されたＩＳＯ感度など撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図３５及び図３６は、信号処理のソフトウェア処理に関する手順を示したフローチャートである。なお、図１３及び図１４に示す第１の実施形態における信号処理のフローと同一の処理に関しては、同一のＳｔｅｐ数を割り当てている。
図３５のＳｔｅｐ１にて、画像信号と、ＩＳＯ感度などの撮影情報とを含むヘッダ情報を読み込む。Ｓｔｅｐ６０にて、ＷＢ調整、色補間、彩度強調等の信号処理を行う。Ｓｔｅｐ６１にて、注目画素、または局所領域を抽出し、Ｓｔｅｐ６２にて、注目画素の画素値、または局所領域内平均画素値に基づき階調変換曲線を設定し、変換曲線に基づき各画素に対する補正係数を算出する。Ｓｔｅｐ８にて、算出した補正係数に対するクリッピング処理を行う。Ｓｔｅｐ９にて、補正係数を記録する。Ｓｔｅｐ６４にて、全画素、または全領域の抽出が完了したかを判断し、完了している場合は図３６のＳｔｅｐ１１へ、完了していない場合はＳｔｅｐ６１へ移行する。

図３６のＳｔｅｐ１１にて、補正係数、ＩＳＯ感度に基づいてノイズ低減処理を行う。Ｓｔｅｐ６５にて、ＷＢ調整、色補間、彩度強調等を行う。Ｓｔｅｐ１３にて、エッジ強調処理を行う。Ｓｔｅｐ１４にて、画像信号に補正係数を乗算する。Ｓｔｅｐ１５にて、公知の信号圧縮技術を用いて信号圧縮を行い、Ｓｔｅｐ１６にて、処理後の信号を出力し、本処理を終了する。

〔第５の実施形態〕
次に、本発明の第５の実施形態に係る撮像装置について図を参照して説明する。
図３７は、本発明の第５の実施形態に係る撮像装置の概略構成を示すブロック図である。
第５の実施形態は、上述した第２の実施形態と構成を略同じくするが、信号処理部２００に代わって信号処理部５０４を、補正係数算出部１０６に代わって補正係数算出部５０１を備える点、並びに、縮小率設定部１５８および縮小画像生成部１０４を備えていない点で異なる。

以下、本実施形態に係る撮像装置について、第２の実施形態と共通する点については説明を省略し、主に異なる点について説明する。なお、第２の実施形態と同一の構成には、同一の名称と番号を割り当てている。
図３７において、レンズ系１００，ＣＣＤ１０１を介して撮影された信号は、Ａ／Ｄ変換器１０２にてデジタル信号へ変換される。Ａ／Ｄ変換器１０２からの信号はバッファ１０３を介して信号処理部５０４へ転送される。
信号処理部５０４は、補正係数算出部５０１、ノイズ推定部２０８、ノイズ低減部２０９に接続している。補正係数算出部５０１は、補正係数マップ用バッファ１０７に接続している。

次に、本実施形態に係る撮像装置の作用について簡単に説明する。
まず、図示しない外部Ｉ／Ｆを介してＩＳＯ感度などの撮影条件が設定された後、ユーザにより図示しないシャッタボタンが押されると、レンズ系１００により結像された被写体像は、ＣＣＤ１０１により光学被写体から電気信号に変換され、アナログ信号として出力される。このアナログ信号はＡ／Ｄ変換器１０２にてデジタル信号へ変換されてバッファ１０３へ転送される。バッファ１０３内の画像信号は信号処理部５０４へ転送される。

信号処理部５０４は、入力された画像信号に対して、ＷＢ調整処理、補間処理、彩度強調処理、エッジ強調処理等を実行し、処理後の画像信号を補正係数算出部５０１へ転送する。また、信号処理部５０４は、エッジ強調処理時において、画像信号に対するエッジ補正係数を算出する。このエッジ補正係数は、後段のノイズ低減処理の際に利用される。

補正係数算出部５０１は、補正係数を算出し、補正係数マップ用バッファ１０７に記録する。なお、補正係数算出部５０１は、上述した第４の実施形態に係る補正係数算出部５０１と同一の機能を有しており、補正係数算出に関する詳細な説明は省略する。この補正係数は、以降のノイズ低減処理、信号処理（例えば、補正係数乗算処理）において利用される。

ノイズ推定部２０８は、信号処理部５０４より転送された画像信号中の注目画素を中心とする所定サイズの矩形領域、例えば本例では３×３画素単位の局所領域を抽出する。また、ノイズ推定部２０８は、抽出した局所領域、補正係数マップ用バッファ１０７から取得した補正係数、および撮影時に外部Ｉ／Ｆにより設定されたＩＳＯ感度に基づき注目画素のノイズ量を推定し、これをノイズ低減部２０９へ転送する。

ノイズ低減部２０９は、信号処理部５０４から転送された画像信号より抽出した注目画素に関して、ノイズ推定部２０８からのノイズ量、および前述のエッジ強調処理の際に算出したエッジ補正係数に基づきノイズ低減処理を行う。ノイズ低減処理後の画像信号は補正係数乗算部２０１へ転送される。
補正係数乗算部２０１は、ノイズ低減部２０９からの画像信号に対して、補正係数マップ用バッファ１０７から補正係数を取得し、それを用いて補正処理を行う。補正係数乗算部２０１は、全画素に対する補正処理が終了すると、処理後の画像信号を最終的な画像信号として圧縮部１１０へ転送する。

図３８は、信号処理部５０４の一構成例を示すブロック図である。この図に示すように、信号処理部５０４は、ＷＢ部１２０、補間処理部１２１、彩度強調部１２２、Ｙ／Ｃ分離部１２４、エッジ強調処理部１２５を備えて構成されている。
バッファ１０３は、ＷＢ部１２０に接続している。ＷＢ部１２０は補間処理部１２１、エッジ強調処理部１２５に接続している。補間処理部１２１は彩度強調部１２２に接続している。彩度強調部１２２はＹ／Ｃ分離部１２４に接続している。Ｙ／Ｃ分離部１２４はエッジ強調処理部１２５に接続している。エッジ強調処理部１２５は補正係数算出部５０１、ノイズ推定部２０８、ノイズ低減部２０９に接続している。

ＷＢ部１２０は、撮影情報に基づき、各色信号に対し所定のＷＢ係数を乗算することでＷＢ調整を行う。ＷＢ調整後の画像信号は、補間処理部１２１、エッジ強調処理部１２５に転送される。補間処理部１２１は、ＷＢ調整後の画像信号に対して補間処理を行う。補間処理後の画像信号は、彩度強調部１２２へ転送される。彩度強調部１２２は、補間処理部１２１からの各色信号に対しマトリックス乗算処理を行い、彩度強調を行う。彩度強調処理後の信号は、Ｙ／Ｃ分離部１２４へ転送される。Ｙ／Ｃ分離部１２４は、上述の（１）式に基づいて、各色信号を輝度信号Ｙ、色差信号Ｃに分離する。輝度信号Ｙ及び色差信号Ｃは、エッジ強調処理部１２５に転送される。

エッジ強調処理部１２５は、ＷＢ部１２０からの色信号に対してフィルタ処理を行うことによりエッジ成分を抽出し、補間処理後の輝度信号Ｙに対して加算することでエッジ強調処理を行う。また、エッジ強調処理部１２５は、画像信号がバッファ１０３から信号処理部５０４へ転送された原画像信号である場合、エッジ成分からエッジ補正係数を算出し、後段のノイズ低減処理において利用する。
エッジ強調処理後の輝度信号Ｙは、Ｙ／Ｃ分離部１２４で分離された色差信号Ｃと共に、補正係数算出部５０１、ノイズ推定部２０８、ノイズ低減部２０９へ転送される。

なお、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１（図３７参照）からの信号を未処理のままのＲａｗデータとして、外部Ｉ／Ｆから入力されたＩＳＯ感度など撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図３９及び図４０は、信号処理のソフトウェア処理に関する手順を示したフローチャートである。なお、図２３及び図２４に示す第２の実施形態における信号処理のフローと同一の処理に関しては、同一のＳｔｅｐ数を割り当てている。

図３９のＳｔｅｐ１にて、画像信号と、ＩＳＯ感度などの撮影情報とを含むヘッダ情報を読み込む。Ｓｔｅｐ６６にて、ＷＢ調整、色補間、彩度強調等の信号処理を行う。Ｓｔｅｐ６７にて、エッジ補正係数の算出、エッジ強調処理を行う。Ｓｔｅｐ６１にて、注目画素、または局所領域を抽出し、Ｓｔｅｐ６２にて、注目画素の画素値、または局所領域内平均画素値に基づき階調変換曲線を設定し、変換曲線に基づき各画素に対する補正係数を算出する。Ｓｔｅｐ８にて、算出した補正係数に対するクリッピング処理を行う。Ｓｔｅｐ６３にて、補正係数を記録する。Ｓｔｅｐ６４にて、全画素、または全領域の抽出が完了したかを判断し、完了している場合は図４０のＳｔｅｐ５２へ、完了していない場合はＳｔｅｐ６１へ移行する。

図４０のＳｔｅｐ５２にて、補正係数、エッジ補正係数、ＩＳＯ感度に基づいてノイズ低減処理を行う。Ｓｔｅｐ５３にて、画像信号に対して補正係数を乗算する。Ｓｔｅｐ１５にて、公知の信号圧縮技術を用いて信号圧縮を行い、Ｓｔｅｐ１６にて、処理後の画像信号を出力し、本処理を終了する。
なお、Ｓｔｅｐ５２におけるノイズ低減処理、Ｓｔｅｐ６７におけるエッジ強調処理は第２の実施形態における処理内容と同様である。

〔第６の実施形態〕
次に、本発明の第６の実施形態に係る撮像装置について図を参照して説明する。
図４１は、本発明の第６の実施形態に係る撮像装置の概略構成を示すブロック図である。
第６の実施形態は、上述した第３の実施形態と構成を略同じくするが、信号処理部１０５に代わって信号処理部５００を、補正係数算出部１０６に代わって補正係数算出部５０１を備える点、並びに、縮小率設定部１５８および縮小画像生成部１０４を備えていない点で異なる。

以下、本実施形態に係る撮像装置について、第３の実施形態と共通する点については説明を省略し、主に異なる点について説明する。なお、第３の実施形態と同一の構成には、同一の名称と番号を割り当てている。
図４１において、レンズ系１００，ＣＣＤ１０１を介して撮影された信号は、Ａ／Ｄ変換器１０２にてデジタル信号へ変換される。Ａ／Ｄ変換器１０２からの信号はバッファ１０３を介して信号処理部５００へ転送される。信号処理部５００は、ノイズ推定部２０８、ノイズ低減部２０９、補正係数算出部５０１に接続している。

補正係数算出部５０１は補正係数マップ用バッファ１０７に接続している。補正係数マップ用バッファ１０７は信号処理部５００、ノイズ推定部２０８に接続している。
ノイズ推定部２０８は、ノイズ低減部２０９に接続している。ノイズ低減部２０９は圧縮部１１０に接続している。さらに、圧縮部１１０は、メモリーカードなどの出力部１１１に接続している。

次に、本実施形態に係る撮像装置の作用について簡単に説明する。
まず、図示しない外部Ｉ／Ｆを介してＩＳＯ感度などの撮影条件が設定された後、ユーザにより図示しないシャッタボタンが押されると、レンズ系１００により結像された被写体像は、ＣＣＤ１０１により光学被写体から電気信号に変換され、アナログ信号として出力される。このアナログ信号はＡ／Ｄ変換器１０２にてデジタル信号へ変換されてバッファ１０３へ転送される。信号処理部５００は、バッファ１０３から画像信号を読み込み、ＷＢ調整処理、補間処理、彩度強調処理、エッジ強調処理等を行い、処理後の画像信号を補正係数算出部５０１へ転送する。また、信号処理部５００は、エッジ強調処理時において、画像信号に対するエッジ補正係数を算出する。このエッジ補正係数は、後段のノイズ低減処理の際に利用される。

補正係数算出部５０１は、転送された画像信号における補正係数を算出し、補正係数マップ用バッファ１０７へ記録する。なお、補正係数算出部５０１による補正係数の算出手法については、上述した第４の実施形態に係る補正係数算出部５０１と同様である。この補正係数は以降の信号処理(例えば、補正係数乗算処理)、ノイズ低減処理において利用される。

信号処理部５００は、エッジ強調処理後の画像信号に対して、補正係数マップ用バッファ１０７から取得した補正係数を乗算し、全画素に対して補正処理を行う。補正処理後の信号は、ノイズ推定部２０８、ノイズ低減部２０９へ転送される。
ノイズ推定部２０８は、信号処理部５００からの画像信号において、注目画素を中心とする所定サイズの矩形領域，例えば本例では５×５画素単位の局所領域を抽出する。また、ノイズ推定部２０８は、抽出した局所領域、補正係数マップ用バッファ１０７から取得した補正係数、および撮影時に外部Ｉ／Ｆによって設定されたＩＳＯ感度に基づき、注目画素のノイズ量を推定し、これをノイズ低減部２０９へ転送する。

ノイズ低減部２０９は、信号処理部５００からの画像信号から抽出した注目画素に関して、ノイズ推定部２０８からのノイズ量および前述のエッジ強調処理の際に算出されたエッジ補正係数に基づき、ノイズ低減処理を行う。ノイズ低減処理後の画像信号は、圧縮部１１０に転送されて圧縮され、圧縮後の画像信号が出力部１１１にてメモリーカードなどに記録される。

なお、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１（図４１参照）からの信号を未処理のままのＲａｗデータとして、外部Ｉ／Ｆから入力されたＩＳＯ感度など撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図４２及び図４３は、信号処理のソフトウェア処理に関する手順を示したフローチャートである。なお、図３０及び図３１に示した第３の実施形態における信号処理のフローと同一の処理に関しては、同一のＳｔｅｐ数を割り当てている。

図４２のＳｔｅｐ１にて、画像信号と、ＩＳＯ感度などの撮影情報とを含むヘッダ情報を読み込む。Ｓｔｅｐ６６にて、ＷＢ調整、色補間、彩度強調等の信号処理を行う。Ｓｔｅｐ６７にて、エッジ補正係数の算出、エッジ強調処理を行う。Ｓｔｅｐ６１にて、注目画素、または局所領域を抽出し、Ｓｔｅｐ６２にて、注目画素の画素値、または局所領域内平均画素値に基づき階調変換曲線を設定し、変換曲線に基づき各画素に対する補正係数を算出する。Ｓｔｅｐ８にて、算出した補正係数に対するクリッピング処理を行う。Ｓｔｅｐ６３にて、補正係数を記録する。Ｓｔｅｐ１０にて、全画素、または全領域の抽出が完了したかを判断し、完了している場合は図４３のＳｔｅｐ５３へ、完了していない場合はＳｔｅｐ６１へ移行する。

図４３のＳｔｅｐ５３にて、画像信号に対して補正係数を乗算する。Ｓｔｅｐ５２にて、補正係数、エッジ補正係数、ＩＳＯ感度に基づいてノイズ低減処理を行う。
Ｓｔｅｐ１５にて、公知の信号圧縮技術を用いて信号圧縮を行い、Ｓｔｅｐ１６にて、処理後の信号を出力し、本処理を終了する。
なお、Ｓｔｅｐ５２におけるノイズ低減処理及びノイズ量推定処理、Ｓｔｅｐ６７におけるエッジ強調処理は上述の第３の実施形態における処理手順と同様である。

Claims (38)

1. 画像の領域毎に階調変換処理を行う撮像装置であって、
   撮像素子からの画像信号をもとに、第一の信号変換処理を行う第一の信号処理手段と、
   前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を、前記第一の信号変換処理により得た画像信号をもとに算出する補正係数算出手段と、
   前記撮像素子からの画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うノイズ低減手段と、
   前記ノイズ低減処理により得た画像信号をもとに前記領域補正係数を用いて前記領域毎の階調変換処理を行う第二の信号処理手段と
   を具備する撮像装置。
2. 画像の領域毎に階調変換処理を行う撮像装置であって、
   撮像素子からの画像信号をもとに、第一の信号変換処理を行う第一の信号処理手段と、
   前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を、前記第一の信号変換処理により得た画像信号をもとに算出する補正係数算出手段と、
   前記第一の信号変換処理により得た画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うノイズ低減手段と、
   前記ノイズ低減処理により得た画像信号をもとに前記領域補正係数を用いて前記領域毎の階調変換処理を行う第二の信号処理手段と
   を具備する撮像装置。
3. 前記補正係数算出手段は、
   前記第一の信号変換処理により得られた画像信号から前記領域に対応する画素の画素値を抽出する抽出手段を有し、該抽出手段で抽出した前記領域に対応する画素の画素値に基づいて前記領域補正係数を算出する請求項１又は請求項２に記載の撮像装置。
4. 前記補正係数算出手段は、前記抽出手段で抽出した前記領域に対応する画像信号から当該領域についてのヒストグラムを算出するヒストグラム算出手段を有し、該ヒストグラムに基づいて前記領域補正係数を算出する請求項３に記載の撮像装置。
5. 前記第一の信号処理手段は、前記撮像素子からの画像信号に対して縮小率を設定する縮小率設定手段と、前記縮小率に基づき縮小画像信号を生成する縮小画像生成手段とを有し、前記縮小画像信号をもとに信号変換処理を行うことで前記第一の信号変換処理を行い、
   前記補正係数算出手段は、前記第一の信号変換処理により得た画像信号をもとに、修正前の領域補正係数を算出した後、前記縮小率に基づいて前記修正前の領域補正係数を前記撮像素子からの画像信号に対応するように修正して前記領域補正係数を算出する請求項１から請求項４のいずれかに記載の撮像装置。
6. 前記ノイズ低減手段は、前記撮像素子からの画像信号に関してノイズ量を推定するノイズ量推定手段と、前記ノイズ量及び前記領域補正係数に基づき平滑化処理を行う平滑化手段とを有し、当該平滑化処理によって前記ノイズ低減処理を行う請求項１に記載の撮像装置。
7. 前記ノイズ低減手段は、前記第一の信号変換処理により得た画像信号に関してノイズ量を推定するノイズ量推定手段と、前記ノイズ量及び前記領域補正係数に基づき平滑化処理を行う平滑化手段とを有し、当該平滑化処理によって前記ノイズ低減処理を行う請求項２に記載の撮像装置。
8. 前記撮像素子、ＩＳＯ感度、色信号、前記領域補正係数の少なくともいずれか１つの変化に対するノイズ量を推定するための基準ノイズモデルを記憶したノイズモデル記憶手段を備え、
   前記ノイズ量推定手段は、前記基準ノイズモデルを用いてノイズ量を推定する請求項６又は請求項７に記載の撮像装置。
9. 前記基準ノイズモデルは、処理対象の画像信号の信号値レベル及び前記領域補正係数を独立変数として関数化したものである請求項８に記載の撮像装置。
10. 前記基準ノイズモデルは、処理対象の画像信号の信号値レベル及び前記領域補正係数を独立変数として、線形近似、対数近似、及び多項式近似の少なくとも１つを用いて関数化したものである請求項８に記載の撮像装置。
11. 前記第一の信号処理手段は、前記第一の信号変換処理とともに、ホワイトバランス処理、補間処理、彩度強調処理、エッジ強調処理のうちの少なくともいずれか１つを行う請求項１から請求項１０のいずれかに記載の撮像装置。
12. 前記第一の信号処理手段は、前記第一の信号変換処理とともにエッジ強調処理を行うエッジ強調処理手段を有し、該エッジ強調処理手段は、処理対象の画像信号からエッジ強調係数を算出するエッジ強調係数算出手段と、前記エッジ強調係数に基づき前記処理対象の画像信号に対してエッジ強調を行うエッジ強調手段とを有する請求項１から請求項１１のいずれかに記載の撮像装置。
13. 前記エッジ強調処理手段は、前記エッジ強調係数からエッジ補正係数を算出するエッジ補正係数算出手段を更に有し、
    前記ノイズ低減手段は、前記領域補正係数と前記エッジ補正係数とを用いてノイズ低減処理を行う請求項１２に記載の撮像装置。
14. 前記第二の信号処理手段は、前記領域補正係数を前記ノイズ低減処理により得た画像信号に乗算することで前記領域毎の階調変換処理を行う請求項１から請求項１３のいずれかに記載の撮像装置。
15. 画像の領域毎に階調変換処理を行う画像処理装置において、
    前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を、画像信号をもとに算出する補正係数算出手段と、
    前記画像信号をもとに前記領域補正係数を用いて前記領域毎の階調変換処理を行う変換手段と、
    前記階調変換処理により得た画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うノイズ低減手段と
    を具備する画像処理装置。
16. 前記補正係数算出手段は、
    前記画像信号から前記領域に対応する画像信号を抽出する抽出手段を有し、該抽出手段で抽出した前記領域に対応する画像信号に基づいて前記領域補正係数を算出する請求項１５に記載の画像処理装置。
17. 前記補正係数算出手段は、前記抽出手段で抽出した前記領域に対応する画像信号から当該領域についてのヒストグラムを算出するヒストグラム算出手段を有し、該ヒストグラムに基づいて前記領域補正係数を算出する請求項１６に記載の画像処理装置。
18. 前記画像信号に対して縮小率を設定する縮小率設定手段と、前記縮小率に基づき縮小画像信号を生成する縮小画像生成手段とを有し、
    前記補正係数算出手段は、前記縮小画像信号をもとに修正前の領域補正係数を算出した後、前記縮小率に基づいて前記修正前の領域補正係数を前記画像信号に対応するように修正して前記領域補正係数を算出する請求項１５から請求項１７のいずれかに記載の画像処理装置。
19. 前記ノイズ低減手段は、
    前記階調変換処理により得た画像信号に関してノイズ量を推定するノイズ量推定手段と、前記ノイズ量及び前記領域補正係数に基づき平滑化処理を行う平滑化手段とを有し、当該平滑化処理によって前記ノイズ低減処理を行う請求項１５から請求項１８のいずれかに記載の画像処理装置。
20. 前記撮像素子、ＩＳＯ感度、色信号、前記領域補正係数の少なくともいずれか１つの変化に対するノイズ量を推定するための基準ノイズモデルを記憶したノイズモデル記憶手段を備え、
    前記ノイズ量推定手段は、前記基準ノイズモデルを用いてノイズ量を推定することを特徴とする請求項１５から請求項１９のいずれかに記載の画像処理装置。
21. 前記基準ノイズモデルは、処理対象の画像信号の信号値レベル及び前記領域補正係数を独立変数として、線形近似、対数近似、多項式近似の少なくとも１つを用いることで関数化したものである請求項２０に記載の画像処理装置。
22. 前記基準ノイズモデルは、処理対象の画像信号の信号値レベル及び前記領域補正係数を独立変数として関数化したものである請求項２０に記載の画像処理装置。
23. 前記変換手段は、前記領域毎の階調変換処理とともにエッジ強調処理を行うエッジ強調処理手段を有し、該エッジ強調処理手段は、前記画像信号からエッジ強調係数を算出するエッジ強調係数算出手段と、前記エッジ強調係数に基づき前記画像信号に対してエッジ強調を行うエッジ強調手段とを具備する請求項１５から請求項２２のいずれかに記載の画像処理装置。
24. 前記エッジ強調処理手段は、前記エッジ強調係数からエッジ補正係数を算出するエッジ補正係数算出手段を更に有し、
    前記ノイズ低減手段は、前記領域補正係数と前記エッジ補正係数とを用いてノイズ低減処理を行うことを特徴とする請求項２３に記載の画像処理装置。
25. 前記変換手段は、前記領域補正係数を前記画像信号に乗算することで前記領域毎の階調変換処理を行う請求項１５から請求項２４のいずれかに記載の画像処理装置。
26. 画像の領域毎に階調変換処理を行う画像処理プログラムであって、
    撮像素子からの画像信号をもとに、第一の信号変換処理を行うステップと、
    前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を、前記第一の信号変換処理により得た画像信号をもとに算出するステップと、
    撮像素子からの画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うステップと、
    前記ノイズ低減処理により得た画像信号をもとに、前記領域補正係数を用いて前記領域毎の階調変換処理を行うステップと
    をコンピュータに実行させるための画像処理プログラム。
27. 画像の領域毎に階調変換処理を行う画像処理プログラムであって、
    撮像素子からの画像信号に対して第一の信号変換処理を行うステップと、
    前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を、前記第一の信号変換処理により得た画像信号をもとに算出するステップと、
    前記第一の信号変換処理により得た画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うステップと、
    前記ノイズ低減処理により得た画像信号をもとに前記領域補正係数を用いて前記領域毎の階調変換処理を行うステップと
    をコンピュータに実行させるための画像処理プログラム。
28. 画像の領域毎に階調変換処理を行う画像処理プログラムであって、
    前記領域毎の階調変換処理に適用する前記領域毎の補正係数である領域補正係数を、画像信号をもとに算出するステップと、
    前記画像信号をもとに前記領域補正係数を用いて前記領域毎の階調変換処理を行うステップと、
    前記階調変換処理により得た画像信号をもとに前記領域補正係数を用いてノイズ低減処理を行うステップと
    をコンピュータに実行させるための画像処理プログラム。
29. 前記第一の信号変換処理は、エッジ強調処理を行うエッジ強調処理を含み、
    前記エッジ強調処理は、
    処理対象の画像信号からエッジ強調係数を算出するステップと、
    前記エッジ強調係数に基づき前記処理対象の画像信号に対してエッジ強調を行うステップと
    を有する請求項２６又は請求項２７に記載の画像処理プログラム。
30. 前記エッジ強調処理は、
    前記エッジ強調係数からエッジ補正係数を算出するステップを更に有し、
    前記ノイズ低減処理では、前記領域補正係数と前記エッジ補正係数とを用いてノイズ低減処理が行われる請求項２９に記載の画像処理プログラム。
31. 階調変換処理を行う画像処理装置であって、
    前記階調変換処理に適用する補正係数を、画像信号をもとに算出する算出手段と、
    前記画像信号をもとに前記補正係数を用いてノイズ低減処理を行うノイズ低減手段と、
    前記ノイズ低減処理された画像信号をもとに前記補正係数を用いて前記階調変換処理を行う変換手段と
    を具備する画像処理装置。
32. 階調変換処理を行う画像処理装置であって、
    前記階調変換処理に適用する補正係数を、画像信号をもとに算出する算出手段と、
    前記画像信号をもとに前記補正係数を用いて前記階調変換処理を行う変換手段と、
    前記変換手段により変換された画像信号に対し、前記補正係数を用いてノイズ低減処理を行うノイズ低減手段と、
    を具備する画像処理装置。
33. 前記ノイズ低減手段は、
    前記画像信号に関してノイズ量を推定するノイズ量推定手段と、
    前記ノイズ量および前記補正係数に基づき平滑化処理を行う平滑化手段と
    を具備する請求項３１または請求項３２に記載の画像処理装置。
34. 前記ノイズ量推定手段は、撮像素子、ＩＳＯ感度、色信号、および補正係数に対応する一つ以上の基準ノイズモデルを記録する記録手段を具備する請求項３３に記載の画像処理装置。
35. 前記変換手段は、
    前記画像信号からエッジ強調係数を算出するエッジ強調係数算出手段と、
    前記エッジ強調係数からエッジ補正係数を算出するエッジ補正係数算出手段と、
    前記エッジ強調係数に基づき前記画像信号に対してエッジ強調を行うエッジ強調手段と
    を具備する請求項３１から請求項３４のいずれかに記載の画像処理装置。
36. 前記ノイズ低減手段は、前記補正係数と前記エッジ補正係数とに基づいてノイズ低減処理を行う請求項３５に記載の画像処理装置。
37. 階調変換処理を行う画像処理方法であって、
    前記階調変換処理に適用する補正係数を、画像信号をもとに算出し、
    前記画像信号をもとに前記補正係数を用いてノイズ低減処理を行い、
    前記ノイズ低減処理された画像信号をもとに前記補正係数を用いて前記階調変換処理を行う画像処理方法。
38. 階調変換処理を行う画像処理方法であって、
    前記階調変換処理に適用する補正係数を、画像信号をもとに算出し、
    前記画像信号をもとに前記補正係数を用いて前記階調変換処理を行い、
    変換された画像信号に対し、前記補正係数を用いてノイズ低減処理を行う画像処理方法。

Images