JP4937852B2 - 画像処理装置、画像処理プログラム及び撮像装置 - Google Patents

Description

本発明は、画像信号のノイズ（即ち変動成分）の低減に関わるもので、特に、画像を複数の成分に分離して処理する画像処理装置及び画像処理プログラム、並びにその画像処理装置を用いた撮像装置に関する。

特許文献１では、画像に含まれるノイズ量を推定し、推定したノイズ量に応じて、フィルタリングの周波数特性を制御して、画像に含まれるノイズを低減している。輝度ノイズ量をＮ、濃度値に変換した信号レベルをＤとした場合に、Ｎ＝ａｂ^ｃＤで関数化して、ノイズ量を推定している。ここで、ａ，ｂ，ｃは定数項であり、静的に与えられる。
特開２００１−１５７０５７号公報

上記特許文献１では、ノイズ量に基づいてフィルタリングの周波数特性を制御するが、このフィルタリングは、画像上の平坦部分もエッジ部分も区別することなく同等に処理する。このため、信号レベルからノイズ量が大と推定された領域にあるエッジ部は劣化することになる。即ち、原信号とノイズを区別した処理に対応することができず、原信号の保存性が悪いという課題がある。さらに、各色信号間に発生する色ノイズに関しては対応できない課題がある。

このように、従来の方法では、画像に含まれるノイズ量を推定し、ノイズ量に応じた周波数特性によりフィルタリングしていたため、ノイズ量が多いと推定された領域に存在するエッジは平滑化されてしまい、画質の劣化を招いていた。

本発明は、上記の点に鑑みてなされたもので、画質を劣化させることなく、画像に含まれるノイズ（変動成分）を低減可能な画像処理装置、画像処理プログラム、及び撮像装置を提供することを目的とする。

本発明の画像処理装置の一態様は、
原画像信号を、原画像信号にBilateral Filterを施した結果である第１成分と、上記原画像信号に対する上記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
上記複数の成分のうち、上記第１成分のエッジ情報を得るエッジ情報取得手段と、
上記複数の成分のうち、少なくとも上記第２成分の変動成分を低減する変動成分低減手段と、
上記エッジ情報取得手段によって得られた上記エッジ情報報に基づき、上記変動成分低減手段のパラメータを取得するパラメータ取得手段と、
上記第１成分と、上記変動成分低減手段により変動成分が低減された、上記第１成分以外の成分とを合成する成分合成手段と、
を具備することを特徴とする。

また、本発明の撮像装置の一態様は、
光学像を画像信号に変換する撮像手段と、
上記画像信号を、原画像信号にBilateral Filterを施した結果である第１成分と、上記画像信号に対する上記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
上記複数の成分のうち、上記第１成分のエッジ情報を得るエッジ情報取得手段と、
上記複数の成分のうち、少なくとも上記第２成分の変動成分を低減する変動成分低減手段と、
上記エッジ情報取得手段によって得られた上記エッジ情報報に基づき、上記変動成分低減手段のパラメータを取得するパラメータ取得手段と、
上記第１成分と、上記変動成分低減手段により変動成分が低減された、上記第１成分以外の成分とを合成する成分合成手段と、
を具備することを特徴とする。

また、本発明の画像処理プログラムの一態様は、
コンピュータを、
原画像信号を、原画像信号にBilateral Filterを施した結果である第１成分と、上記原画像信号に対する上記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段、
上記複数の成分のうち、上記第１成分のエッジ情報を得るエッジ情報取得手段、
上記複数の成分のうち、少なくとも上記第２成分の変動成分を低減する変動成分低減手段、
上記エッジ情報取得手段によって得られた上記エッジ情報報に基づき、上記変動成分低減手段のパラメータを取得するパラメータ取得手段、
上記第１成分と、上記変動成分低減手段により変動成分が低減された、上記第１成分以外の成分とを合成する成分合成手段、
として機能させることを特徴とする。

本発明によれば、画質を劣化させることなく、画像に含まれるノイズ（変動成分）を低減可能な画像処理装置、画像処理プログラム、及び撮像装置を提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置の構成を示す図である。

該撮像装置において、レンズ１０を通して、固体撮像素子１２で電気信号に変換された画像信号は、撮像信号処理部１４に入力され、そこでＣＤＳ（Correlated Double Sampling）／差動サンプリング、アナログゲインの調整、等が行われる。その後、Ａ／Ｄ変換部１６でデジタル信号に変換され、デジタル信号処理部１８で所定の階調に変換される。

このデジタル信号処理部１８の出力は、本発明の第１実施形態に係る画像処理装置２０に入力される。該画像処理装置２０は、成分分離部２２、ノイズ低減処理部２４、エッジ情報取得部２６、ノイズ低減処理パラメータ取得部２８、及び成分合成処理部３０を含む。

即ち、成分分離部２２は、デジタル信号処理部１８の出力信号である原画像信号を第１成分と第２成分に分離する。第１成分は、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号の骨格成分（幾何学的画像構造）であり、第２成分は、テクスチャの様な細かい構造成分とノイズを含む、原画像信号に対する第１成分の残差成分である。原画像信号がモノクロ信号であるので、原画像信号から分離される第１、第２成分とも輝度成分となる。

なお、ここでは、説明を簡単にするために、原画像信号を骨格成分である第１成分と残差成分である第２成分との２成分分離の例を示しているが、３成分以上に分離することも可能である。また、成分分離の方法の詳細については後述する。

ノイズ低減処理部２４は、後述する所定の方法でノイズ（変動成分）を低減する。エッジ情報取得部２６とノイズ低減処理パラメータ取得部２８は、第１成分に含まれるエッジ情報に応じて、所定のノイズ低減処理パラメータを取得し、ノイズ低減処理部２４に伝送する。ノイズ低減処理部２４では、成分分離部２２で得られた第２成分を入力信号とし、後述する所定のノイズ低減処理によって得られる、補正第２成分を出力とする。成分合成処理部３０では、前述の第１成分と補正第２成分とを合成し、出力信号を得る。

この画像処理装置２０の出力である成分合成処理部３０の出力信号は、表示部３２に伝送されると共に、圧縮回路３４を介して記録メディア３６に伝送される。

ここで、成分分離の手法としては、後述するように加算型分離の例が挙げられる。成分合成処理部３０では、第１成分と第２成分の混合比を所定の比率で合成する。

上記の処理は、図示しないシステムコントローラの制御に従って、各処理部が動作することにより行われる。

次に、ノイズ低減処理の詳細を説明する。
図２は、上記エッジ情報取得部２６、ノイズ低減処理パラメータ取得部２８、及びノイズ低減処理部２４の詳細構成を示す図である。ノイズ低減処理は、ノイズ低減処理部２４におけるローパスフィルタ処理により行われる。この際、エッジ情報取得部２６及びノイズ低減処理パラメータ取得部２８により得られたエッジ方向に沿ってフィルタリングすることにより、画像の構造を表すエッジ成分を低減させることなく、ノイズ成分のみを効果的に低減する。

エッジ情報取得部２６は、水平エッジ抽出部３８、垂直エッジ抽出部４０、エッジ方向判別部４２、及びエッジ強度算出部４４から構成される。また、ノイズ低減処理パラメータ取得部２８は、フィルタ係数選択部４６及び混合係数生成部４８により構成され、ノイズ低減処理部２４は、方向性フィルタリング処理部５０、等方性フィルタリング処理部５２、及び合成処理部５４から構成されている。

ここで、水平エッジ抽出部３８及び垂直エッジ抽出部４０は、上記成分分離部２２から得られた第１成分に対して、図３（Ａ）及び（Ｂ）に示すフィルタを適用し、それぞれの出力の絶対値を算出して水平方向エッジ成分Ｅｈ及び垂直方向エッジ成分Ｅｖを出力する。図３（Ａ）の出力が水平方向エッジ成分Ｅｈに対応し、図３（Ｂ）の出力が垂直方向エッジ成分Ｅｖに対応する。

エッジ方向判別部４２は、上記水平方向エッジ成分Ｅｈ及び垂直方向エッジ成分Ｅｖを入力として、下記の（１）式に基づいてエッジ方向を表すエッジ方向指標Ｄを算出する。

Ｄ＝Ｅｈ−Ｅｖ （１）
また、エッジ強度算出部４４は、上記水平方向エッジ成分Ｅｈ及び垂直方向エッジ成分Ｅｖを入力として、下記の（２）式に基づいてエッジ強度を表すエッジ強度指標Ｓを算出する。

フィルタ係数選択部４６は、上記エッジ方向判別部４２で算出した上記エッジ方向指標Ｄに基づいて、図４（Ａ）及び（Ｂ）に示すフィルタ係数からフィルタ係数を選択し、方向性フィルタリング処理部５０に出力する。ここで、Ｄ＞０のときは図４（Ａ）に示すフィルタ係数を、そうでないときには図４（Ｂ）に示すフィルタ係数を出力する。

混合係数生成部４８は、上記エッジ強度算出部４４で算出した上記エッジ強度指標Ｓに基づいて、混合係数Ｗを生成する。この混合係数Ｗと上記エッジ強度指標Ｓとの関係を図５に示す。第１成分に含まれるエッジ成分の強度が小さい領域では、エッジ成分が大きくなるにつれて混合係数が大きくなり、エッジ成分の強度が大きい領域では、混合係数は一定の値となる。なお、図５においてαは、調整用パラメータであり、方向性フィルタの強度を調整するための値である。

方向性フィルタリング処理部５０は、上記成分分離部２２から得られた第２成分に対して、フィルタ係数選択部４６から与えられたフィルタ係数によりフィルタ処理を行い、出力Ｏｕを合成処理部５４に出力する。

等方性フィルタリング処理部５２は、上記成分分離部２２から得られた第２成分に対して、図６に示したフィルタ係数によりフィルタ処理を行い、出力Ｏｉを合成処理部５４に出力する。

合成処理部５４は、方向性フィルタリング処理部５０の出力Ｏｕと等方性フィルタリング処理部５２の出力Ｏｉとを、下記の（３）式に従って合成して、補正第２成分である出力Ｏを得る。

Ｏ＝ＷＯｕ＋（１−Ｗ）Ｏｉ （３）
このように、エッジ成分の強度に応じて、エッジ方向に沿ってフィルタ処理することで、エッジ成分を保存しつつノイズ（変動成分）を低減した信号が得られる。

次に、成分分離と合成の詳細について説明する。
図７は、成分分離と合成の概念を示す図である。入力画像から、第１成分を抽出するとき、その基準として、平坦成分や構造要素が保持される処理を用いる。例えば、線形フィルタによる低域分離、メジアンフィルタ、モホロジフィルタによる適応的平滑化を行う。また、後述する有界変動関数による分離を利用する。

図７中の波形図ａは、１次元で表した画像の原信号成分を示しており、ノイズを含んでいる。

図７中の波形図ｂは、成分分離部２２によって得られた骨格成分である第１成分を示している。成分分離の方法の詳細については後述する。図７中の波形図ｃは、成分分離部２２によって得られた残差成分としてのテクスチャ成分である第２成分を示している。ここでは、簡単の為に、原信号に対する、第１、第２成分の残差は０としている。

図７中の波形図ｄは、第２成分に対して、上述のフィルタ処理を行った結果である。

成分合成処理部３０では、第１成分とノイズ低減処理部２４で補正した第２成分とを所定の比率で合成する。図７中の波形図ｅは、これに対応するもので、波形図ｄの信号と波形図ｂの信号とを１：１で合成した結果を示している。なお、合成時の混合比は、任意に設定することができる。

カラー画像信号の場合、上述のフィルタ処理を第２成分の色成分毎に行う。

なお、本発明においては、成分分離の手法は、本第１実施形態のような方法に限定されることはなく、後述するように、様々な分離方法の何れも適用することができる。

次に、画像の成分分離とノイズ低減の詳細を説明する。
ここでは、加算型分離を例に説明する。

加算型分離では、画像信号Ｉが、以下の（４）式のように、第１成分Ｕと第２成分Ｖとの和として表される。

Ｉ＝Ｕ＋Ｖ （４）
以下では、有界変動関数とノルムを用いた分離方法を説明する。
第１成分Ｕが骨格成分、第２成分Ｖは残差である。これらの分離を行うために、以下の（５）式のようなＡ^２ＢＣ変分モデル（Aujol-Aubert-Blanc-Feraud-Chambolle model）を用いる。なお、このＡ^２ＢＣ変分モデルの詳細については、Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher, Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection, International Journal of Computer Vision, Volume 67 , Issue 1 (April 2006) Pages: 111 - 136 Year of Publication: 2006に開示されている。

ここで、最適解として求められる、第１成分Ｕの性質としては、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間ＢＶ（Bounded Variation Function Space）とモデル化され、ｕのエネルギーは以下の（６）式のＴＶ（Total Variation）ノルムＪ（ｕ）で定義される。

一方、上記式（４）中のテクスチャ成分ｖの関数空間は、振動関数空間Ｇとモデル化される。振動関数空間Ｇは、振動母関数ｇ_１，ｇ_２によって以下の（７）式のように表現された関数の空間であり、そのエネルギーは以下の（８）式のＧノルムとして定義される。

画像Ｉの分離問題は、エネルギー汎関数（上記（５）式）を最小化する変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。なお、カラー画像の分離は、各原色成分を独立に処理することで行う。

入力信号として、原画像信号にガウス性雑音が加わった場合を想定する。本分離方法の特徴として、テクスチャ成分である第２成分Ｖは雑音の影響を受けているが、骨格画像である第１成分Ｕは雑音の影響をほとんど受けず、エッジを鈍らせることなく幾何学的画像構造が抽出されている。

そこで、骨格画像である第１成分Ｕから画像に含まれるエッジ情報を抽出し、得られたエッジ情報に応じて、テクスチャ成分である第２成分Ｖに雑音除去法を適用した後に、画像を復元する。骨格画像である第１成分Ｕから得られたエッジ情報は、ノイズの影響を受けていないため、画像の幾何学的構造を表すエッジを鈍らせることなく、画像平坦部のノイズ（変動成分）を効果的に低減することができる。

この他に、加算型分離方法の例としては、以下のような方法がある。
例１：第１成分Ｕを原画像信号Ｉに対する直交基底展開の低次の成分とし、第２成分Ｖを原画像信号Ｉに対する第１成分Ｕの残差とする方法
例２：第１成分Ｕを原画像信号Ｉにメジアンフィルタ処理した結果とし、第２成分Ｖを原画像信号Ｉに対する第１成分Ｕの残差とする方法
例３：第１成分Ｕを原画像信号Ｉに多値モホロジフィルタを掛けた結果とし、第２成分Ｖを原画像信号Ｉに対する第１成分Ｕの残差とする方法
例４：第１成分Ｕを原画像信号Ｉに縮小処理を施し、さらに拡大処理を施した結果とし、第２成分Ｖを原画像信号Ｉに対する第１成分Ｕの残差とする方法
例５：第１成分Ｕを原画像信号ＩにBilateral Filterを施した結果とし、第２成分Ｖを原画像信号Ｉに対する第１成分Ｕの残差とする方法
このような方法としても、上述のノイズ低減手法と同様に、第１成分Ｕのエッジ情報によって、第２成分Ｖのノイズ低減処理を行う方法が適用できる。

以上のように、本第１実施形態によれば、成分分離により得られた、緩やかに変動する成分とエッジ成分を含む第１成分から抽出されたエッジ情報に基づいて、ノイズ低減処理が行われるため、エッジ成分が保存された、高画質なノイズ低減処理を提供することができる。

従って、画質を劣化させることなく、画像に含まれるノイズ（変動成分）を低減可能な画像処理装置及び撮像装置を提供することができる。

［第２実施形態］
図８は、本発明の第２実施形態に係る撮像装置の構成を示す図である。

本実施形態は、フルカラーに対応したものであり、よって、固体撮像素子１２は、フルカラー対応の固体撮像素子である。また、本発明の第２実施形態に係る画像処理装置２０は、成分分離部２２、第１成分色分離部５６、第２成分色分離部５８、Ｒ信号ノイズ低減処理部６０Ｒ、Ｇ信号ノイズ低減処理部６０Ｇ、Ｂ信号ノイズ低減処理部６０Ｂ、及び第２成分色合成部６２より構成される。

ここで、第１成分色分離部５６は、第１成分ＵをＲ，Ｇ，Ｂの三色の信号に分離する。第２成分色分離部５８は、第２成分ＶをＲ，Ｇ，Ｂの三色の信号に分離する。

Ｒ，Ｇ，Ｂのそれぞれの信号に対応して、Ｒ信号ノイズ低減処理部６０Ｒ、Ｇ信号ノイズ低減処理部６０Ｇ、Ｂ信号ノイズ低減処理部６０Ｂが設けられている。これらは、上記第１実施形態のエッジ情報取得部２６、ノイズ低減処理パラメータ取得部２８、ノイズ低減処理部２４からなる構成の部分と同じものである（図８では、図面の簡略化のため、代表してＲ信号ノイズ低減処理部６０Ｒのみ図示している）。即ち、例えばＲ信号ノイズ低減処理部６０Ｒは、第１成分ＵのＲ信号からエッジ情報を取得し、それに基づいたノイズ低減パラメータによって、第２成分ＶのＲ信号に対してノイズ低減処理を行う。

第２成分色合成部６２は、これらＲ，Ｇ，Ｂ信号ノイズ低減処理部６０Ｒ，６０Ｇ，６０Ｂによってノイズ低減処理が施された、Ｒ，Ｇ，Ｂ各色の第２成分Ｖを合成して、補正第２成分として成分合成処理部３０に出力する。

各色信号に対応したノイズ低減処理部６０，６２，６４は、上述のノイズ低減処理を各色成分独立で行う。

その他は、上記第１実施形態で説明した通りである。

なお、フルカラー対応の固体撮像素子１２に関しては、単板方式、複数板方式の何れでも良い。

以上のように、本第２実施形態によれば、成分分離により得られた、緩やかに変動する成分とエッジ成分を含む第１成分から抽出された各色信号のエッジ情報に基づいて、色信号毎にノイズ低減処理が行われるため、色信号毎にエッジ成分が保存された、高画質なノイズ低減処理を提供することができる。

［第３実施形態］
図９は、本発明の第３実施形態に係る撮像装置の構成を示す図である。

本実施形態は、フルカラーに対応したものであり、よって、固体撮像素子１２は、フルカラー対応の固体撮像素子である。また、本発明の第３実施形態に係る画像処理装置２０は、第１成分輝度生成部６４、第２成分輝度色差生成部６６、Ｙ信号ノイズ低減処理部６０Ｙ、Ｃｂ信号ノイズ低減処理部６０Ｃｂ、Ｃｒ信号ノイズ低減処理部６０Ｃｒ、及び第２成分色合成部６２より構成される。

ここで、第１成分輝度生成部６４は、第１成分ＵからＹ信号を生成する。第２成分輝度色差生成部６６は、第２成分ＶをＹ，Ｃｂ，Ｃｒの三色の信号に分離する。

第２成分Ｖから生成したＹ，Ｃｂ，Ｃｒのそれぞれの信号に対応して、Ｙ信号ノイズ低減処理部６０Ｙ、Ｃｂ信号ノイズ低減処理部６０Ｃｂ、Ｃｒ信号ノイズ低減処理部６０Ｃｒが設けられている。これらは、上述の第１実施形態のエッジ情報取得部２６、ノイズ低減処理パラメータ取得部２８、ノイズ低減処理部２４からなる構成の部分と同じものである（図９では、図面の簡略化のため、代表してＹ信号ノイズ低減処理部６０Ｙのみ図示している）。

本第３実施形態では、第１成分Ｕに含まれるエッジ情報を、第１成分ＵのＹ信号から抽出して、Ｙ，Ｃｂ，Ｃｒ各色成分のノイズ低減処理に用いることに特徴がある。例えば、Ｃｂ信号ノイズ低減処理部６０Ｃｂは、第１成分ＵのＹ信号からエッジ情報を取得し、それに基づいたノイズ低減パラメータによって、第２成分ＶのＣｂ信号に対してノイズ低減処理を行う。これは、視覚の特性上、輝度成分に含まれる幾何学的構造の方が、色差成分に含まれる幾何学的構造よりも、画質に及ぼす影響が大きいためである。なお、Ｙ信号のエッジ情報のみが取得できれば良いので、図９に示すようにエッジ情報取得部２６を各色信号毎に設けることなく、一つにすることもできる。

第２成分色合成部６２は、これらＹ，Ｃｂ，Ｃｒ信号ノイズ低減処理部６０Ｙ，６０Ｃｂ，６０Ｃｒによってノイズ低減処理が施された、Ｙ，Ｃｂ，Ｃｒ各色の第２成分Ｖを合成して、補正第２成分として成分合成処理部３０に出力する。

第１成分輝度生成部６４、第２成分輝度色差生成部６６は、カラーの原画像信号Ｉを輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒへ以下の（９）式に従って変換する。

その他は、上記第１実施形態で説明した通りである。

本実施形態においては、上述のように、Ａ／Ｄ変換直後の信号から輝度信号を得るために、全色チャンネルを用いる他、その代替として、輝度信号を最も反映しているＧチャンネルを補間した信号を用いても良い。また、色差信号Ｃｂ，Ｃｒの代替として、Ｒ−Ｇ、Ｂ−Ｇ信号を用いても良い。

なお、フルカラー対応の固体撮像素子１２に関しては、単板方式、複数板方式の何れでも良い。

以上のように、本第３実施形態によれば、視覚の特性上画質に及ぼす影響が大きい輝度成分に含まれるエッジ情報に基づいて、ノイズ低減処理が行われるため、高画質なノイズ低減処理を提供することができる。

［第４実施形態］
図１０は、本発明の第４実施形態に係る撮像装置の構成を示す図である。

本第４実施形態では、上述の第１実施形態の構成に加えて、第２成分エッジ情報取得部６８を設けたことを特徴とする。この第２成分エッジ情報取得部６８の構成は、図１１に示すように、上述した第１実施形態のエッジ情報取得部２６の構成と同じである。

また、本実施形態においては、図１１に示すように、ノイズ低減処理パラメータ取得部２８に、エッジ強度判定部７０とエッジ方向選択部７２とが付加されている。

ここで、エッジ強度判定部７０は、エッジ情報取得部２６から出力されたエッジ強度指標Ｓ（以下、エッジ強度指標Ｓ１と記す）と第２成分エッジ情報取得部６８から出力されたエッジ強度指標Ｓ（以下、エッジ強度指標Ｓ２と記す）とを比較し、大きい方の値を強度指標として、混合係数生成部４８へ出力する。また、エッジ強度判定部７０は、エッジ強度指標Ｓ１とエッジ強度指標Ｓ２の比較の結果、大きい方の値に対応する成分示す情報を選択信号として、エッジ方向選択部７２へ出力する。そして、エッジ方向選択部７２は、この選択信号に従って、エッジ情報取得部２６からのエッジ強度指標Ｓ１と第２成分エッジ情報取得部６８からのエッジ強度指標Ｓ２とを選択的にフィルタ係数選択部４６に出力する。この結果、第１成分、第２成分それぞれから抽出したエッジ情報のうち、エッジ強度が強い方のエッジ情報が、ノイズ低減処理パラメータの生成に用いられることになる。

上述の第１実施形態に示した有界変動関数と振動関数に分離する方法では、第１成分Ｕとして画像の骨格を表す骨格成分と、第２成分Ｖとして画像に含まれるテクスチャを表すテクスチャ成分とに分離される。これに対して、本４実施形態では、第２成分Ｖに含まれるテクスチャ成分に起因するエッジ情報も考慮してノイズ低減処理パラメータを生成するので、より高精度なノイズ低減処理が行われる。

［第５実施形態］
図１２は、本発明の第５実施形態に係る撮像装置の構成を示す図である。

本実施形態では、上述の第１実施形態の構成に加えて、本発明の第５実施形態に係る画像処理装置２０にノイズ／テクスチャ判別部７４を設けたことを特徴とする。即ち、該ノイズ／テクスチャ判別部７４により、第２成分に含まれるテクスチャとノイズを判別し、ノイズが支配的である領域に対して、ノイズ低減処理を強くかけることにより、高精度なノイズ低減処理を実現するものである。

図１３に示すように、ノイズ／テクスチャ判別部７４は、自己相関算出部７６、相関値評価部７８、領域分割部８０とから構成される。また、本実施形態においては、ノイズ低減処理パラメータ取得部２８は、指標判定部８２と混合係数生成部４８とから構成している。

ここで、領域分割部８０は、エッジ強度算出部４４から与えられたエッジ強度分布に基づいて、画像を複数の領域に分割する。自己相関算出部７６は、この領域分割部８０から与えられた分割領域毎に、第２成分Ｖの自己相関関数を算出する。相関値評価部７８は、これら各分割領域毎に求められた自己相関関数に対して、ピーク検出処理を行い、対象とする分割領域内に含まれている周期的な信号の量を指標Ｐとして出力する。

この指標Ｐは、ノイズ低減処理パラメータ取得部２８の指標判定部８２に与えられる。指標判定部８２は、エッジ情報取得部２６から得られるエッジ強度を表すエッジ強度指標Ｓと上記ノイズ／テクスチャ判別部７４から得られる周期的な信号の量を表す指標Ｐとを比較し、大きい方の値を新たなエッジ強度を表すエッジ強度指標Ｓとして混合係数生成部４８に出力する。混合係数生成部４８では、上述の第１実施形態と同様に、エッジ強度指標Ｓに基づいて、混合係数Ｗを生成する。

この混合係数Ｗは、ノイズ低減処理部２４の合成処理部５４に与えられる。合成処理部５４は、成分分離部２２で分離された第２成分ＶをＯｕとして、等方性フィルタリング処理部５２の出力Ｏｉを、上記（３）式に従って合成して出力Ｏを得え、それを補正第２成分として成分合成処理部３０に出力する。

その他は、上記第１実施形態で説明した通りである。

上述の第１実施形態に示した有界変動関数と振動関数に分離する方法では、第１成分Ｕとして画像の骨格を表す骨格成分と、第２成分Ｖとして画像に含まれるテクスチャを表すテクスチャ成分とに分離される。これに対して、本第５実施形態では、第１成分Ｕからエッジ情報を抽出すると共に、第２成分Ｖからテクスチャ情報を抽出して、両者の情報に応じてノイズ低減処理量を制御しているので、画像に含まれるエッジとテクスチャを保存しつつ、画像に含まれるノイズ（変動成分）を効果的に低減することができる。

［第６実施形態］
図１４は、本発明の第６実施形態に係る撮像装置に用いる本発明の第６実施形態に係る画像処理装置２０の構成を示す図である。

本実施形態では、ノイズ低減処理パラメータ取得部２８がフィルタ係数算出部８４によって構成され、ノイズ低減処理部２４がフィルタリング処理部８６によって構成されている。

即ち、本実施形態は、方向性フィルタを形成するフィルタ係数が、フィルタ係数算出部８４において、直接算出されることが特徴となっている。方向性フィルタの算出には、エッジ情報取得部２６から得られた第１成分Ｕのエッジ情報が用いられる。

方向性フィルタは、図１５に示すように、エッジに方向に沿って平滑化を行ってノイズ（変動成分）を低減する。図１５に示すフィルタ係数の分布は、エッジを示す線に沿った位置にある画素に対する重み係数が大きくなっており、画素の位置がエッジから離れるにつれて、対応する画素に対する重み係数が小さくなっている。

フィルタ係数算出部８４によって算出されたフィルタ係数は、ノイズ低減処理部２４のフィルタリング処理部８６に与えられる。フィルタリング処理部８６は、上記成分分離部２２から得られた第２成分Ｖに対して、フィルタ係数算出部８４から与えられたフィルタ係数によりフィルタ処理を行い、出力Ｏｕを補正第２成分として成分合成処理部３０に出力する。

その他は、上記第１実施形態で説明した通りである。

なお、本実施形態におけるエッジ情報取得部２６及びフィルタ係数算出部８４の構成方法の例としては、井上光平，浦浜喜一：非等方バイラテラルフィルタによるエッジ保存縞模様強調．電子情報通信学会．信学技法，ｖｏｌ１０３，Ｎ２０６，８９−９４（２００３．７）．に示される非等方バイラテラルフィルタにおける重み係数の算出部分が挙げられる。

以上のように、本第６実施形態によれば、フィルタ係数を直接算出するので、構成が簡単になる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記第２又は第３実施形態を他の実施形態に適用しても良い。

また、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。

図１６は、上記第１実施形態に係る画像処理装置２０の動作をコンピュータに行わせるための本発明の第１実施形態に係る画像処理プログラムのフローチャートを示す図である。図中、参考のため原画像信号Ｉを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。

まず、原画像信号Ｉを第１成分Ｕと第２成分Ｖに分離する（ステップＳ１０）。

次に、第１成分Ｕよりエッジ情報を取得する（ステップＳ１２）。即ち、第１成分Ｕより水平方向エッジ成分Ｅｈ及び垂直方向エッジ成分Ｅｖを抽出し、それらエッジ成分を用いて、エッジ情報としてのエッジ方向を表すエッジ方向指標Ｄ及びエッジ強度を表すエッジ強度指標Ｓを算出する。

そして、その取得したエッジ情報を用いてノイズ低減処理パラメータを取得する（ステップＳ１４）。即ち、上記算出したエッジ方向指標Ｄに基づいてフィルタ係数を算出し、また、上記算出したエッジ強度指標Ｓに基づいて混合係数Ｗを算出する。

その後、その取得したノイズ低減処理パラメータを用いて第２成分Ｖに対してノイズ低減処理を行う（ステップＳ１６）。即ち、上記算出したフィルタ係数により第２成分Ｖに対してフィルタ処理を行う共に、所定のフィルタ係数により第２成分Ｖにフィルタ処理を行い、両フィルタ処理結果を上記算出した混合係数Ｗに基づいて混合することで、補正第２成分を得る。

そして、第１成分Ｕと補正第２成分を合成し、原画像信号Ｉに対してノイズ（変動成分）が低減された合成成分Ｉを得る。

なお、特に説明はしないが、上記第２乃至第６実施形態に関しても、同様にソフトウェアによって実現できることは言うまでもない。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 原画像信号を、骨格成分である第１成分と、上記原画像信号に対する上記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
上記複数の成分のうち、上記第１成分のエッジ情報を得るエッジ情報取得手段と、
上記複数の成分のうち、少なくとも上記第２成分の変動成分を低減する変動成分低減手段と、
上記エッジ情報取得手段によって得られた上記エッジ情報報に基づき、上記変動成分低減手段のパラメータを取得するパラメータ取得手段と、
上記第１成分と、上記変動成分低減手段により変動成分が低減された、上記第１成分以外の成分とを合成する成分合成手段と、
を具備することを特徴とする画像処理装置。

（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１乃至第６実施形態が対応する。それらの実施形態において、成分分離部２２が上記成分分離手段に、エッジ情報取得部２６が上記エッジ情報取得手段に、ノイズ低減処理部２４が上記変動成分低減手段に、ノイズ低減処理パラメータ取得部２８が上記パラメータ取得手段に、成分合成処理部３０が上記成分合成手段に、それぞれ対応する。

（作用効果）
この（１）に記載の画像処理装置によれば、成分分離により得られた、緩やかに変動する成分とエッジ成分を含む第１成分から抽出されたエッジ情報に基づいて、ノイズ低減処理が行われるため、エッジ成分が保存された、高画質なノイズ低減処理を提供する。よって、画質を劣化させることなく、画像に含まれるノイズ（変動成分）を低減可能な画像処理装置を提供することができる。

（２） 上記変動成分低減手段は、フィルタリング手段を含み、
上記パラメータ取得手段は、上記第１成分のエッジ情報に基づき、上記フィルタリング手段の係数を変更することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１乃至第６実施形態が対応する。それらの実施形態において、方向性フィルタリング処理部５０、等方性フィルタリング処理部５２、フィルタリング処理部８６が上記フィルタリング手段に対応する。

（作用効果）
この（２）に記載の画像処理装置によれば、エッジ成分の強度に応じて、エッジ成分を保存しつつノイズ（変動成分）を低減した信号が得られる。

（３） 上記フィルタリング手段は、方向性フィルタリング手段を含み、上記第１成分のエッジ情報に基づき、エッジ方向に沿った方向に平滑化することを特徴とする（２）に記載の画像処理装置。

（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１乃至第６実施形態が対応する。それらの実施形態において、方向性フィルタリング処理部５０が上記方向性フィルタリング手段に対応する。

（作用効果）
この（３）に記載の画像処理装置によれば、エッジ成分の強度に応じて、エッジ方向に沿ってフィルタ処理され、エッジ成分を保存しつつノイズ（変動成分）を低減した信号が得られる。

（４） 上記エッジ情報取得手段は、少なくとも上記第２成分のエッジ情報を得る第２エッジ情報取得手段を更に含み、
上記パラメータ取得手段は、上記第１成分のエッジ情報と第２成分のエッジ情報とに基づき、上記変動成分低減手段のパラメータを取得することを特徴とする（１）乃至（３）の何れかに記載の画像処理装置。

（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第４及び第５実施形態が対応する。それらの実施形態において、第２成分エッジ情報取得部６８、ノイズ／テクスチャ判別部７４が上記第２エッジ情報取得手段に対応する。

（作用効果）
この（４）に記載の画像処理装置によれば、第２成分に含まれるテクスチャ成分に起因するエッジ情報も考慮してノイズ低減処理パラメータを生成することによって、より高精度なノイズ低減処理が行われる。

（５） 上記成分合成手段は、上記エッジ情報取得手段で取得した上記第１成分のエッジ情報と上記第２エッジ情報取得手段で取得した上記第２成分のエッジ情報とに基づいて定まる混合係数を用いて合成を行うことを特徴とする（４）に記載の画像処理装置。

（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第４及び第５実施形態が対応する。

（作用効果）
この（５）に記載の画像処理装置によれば、ノイズ低減処理パラメータと同様に、第１成分のエッジ情報と第２成分のエッジ情報とを考慮して混合係数を生成することによって、第１成分と変動成分が低減された他の成分とを最適に合成できる。

（６） 上記成分合成手段は、上記エッジ情報取得手段で取得した上記第１成分のエッジ情報に基づいて定まる混合係数を用いて合成を行うことを特徴とする（１）乃至（４）の何れかに記載の画像処理装置。

（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。

（作用効果）
この（６）に記載の画像処理装置によれば、ノイズの影響を受けていない第１成分の強度に応じて、第１成分と変動成分が低減された他の成分とを合成できる。

（７） 上記エッジ情報取得手段は、少なくとも上記第２成分のエッジ情報を得る第２エッジ情報取得手段を更に含み、
上記成分合成手段は、上記エッジ情報取得手段で取得した上記第１成分のエッジ情報と上記第２エッジ情報取得手段で取得した上記第２成分のエッジ情報とに基づいて定まる混合係数を用いて合成を行うことを特徴とする（１）乃至（３）の何れかに記載の画像処理装置。

（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第４及び第５実施形態が対応する。それらの実施形態において、第２成分エッジ情報取得部６８、ノイズ／テクスチャ判別部７４が上記第２エッジ情報取得手段に対応する。

（作用効果）
この（７）に記載の画像処理装置によれば、第２成分に含まれるテクスチャ成分に起因するエッジ情報も考慮して、第１成分と変動成分が低減された他の成分とを合成することで、最適な合成が行える。

（８） 上記原画像信号は、複数の色信号から構成され、
上記エッジ情報取得手段は、上記第１成分の各色信号のエッジ情報を取得し、
上記変動成分低減手段は、少なくとも上記第２成分の各色信号の変動成分低減を行い、
上記パラメータ取得手段は、上記各色信号のエッジ情報に基づき、少なくとも上記第２成分の各色信号に対応する上記変動成分低減手段のパラメータを取得することを特徴とする（１）乃至（４）の何れかに記載の画像処理装置。

（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。

（作用効果）
この（８）に記載の画像処理装置によれば、成分分離により得られた、緩やかに変動する成分とエッジ成分を含む第１成分から抽出された各色信号のエッジ情報に基づいて、色信号毎にノイズ低減処理が行われるため、色信号毎にエッジ成分が保存された、高画質なノイズ低減処理を提供することができる。

（９） 上記原画像信号は、複数の色信号から構成され、
上記エッジ情報取得手段は、上記第１成分の各色信号から輝度信号を生成する輝度信号生成手段を備え、上記輝度信号のエッジ情報を取得し、
上記パラメータ取得手段は、上記輝度信号のエッジ情報を用いて、少なくとも上記第２成分の各色信号に対応する上記変動成分低減手段のパラメータを取得することを特徴とする（１）乃至（４）の何れかに記載の画像処理装置。

（対応する実施形態）
この（９）に記載の画像処理装置に関する実施形態は、第３実施形態が対応する。その実施形態において、第１成分輝度生成部６４が上記輝度信号生成手段に対応する。

（作用効果）
この（９）に記載の画像処理装置によれば、視覚の特性上画質に及ぼす影響が大きい輝度成分に含まれるエッジ情報に基づいて、ノイズ低減処理が行われるため、高画質なノイズ低減処理を提供することができる。

（１０） 上記原画像信号は、モノクロ信号であり、
上記エッジ情報取得手段は、上記第１成分のエッジ情報を、上記第１成分の輝度レベル情報に基づいて取得し、
上記パラメータ取得手段は、上記第１成分の輝度レベル情報で取得した輝度情報に基づきパラメータを取得し、
上記変動成分低減手段は、上記第２成分の輝度レベルに対して、変動成分低減を行うことを特徴とする（１）乃至（４）の何れかに記載の画像処理装置。

（対応する実施形態）
この（１０）に記載の画像処理装置に関する実施形態は、第１、第４、第５及び第６実施形態が対応する。

（作用効果）
この（１０）に記載の画像処理装置によれば、視覚の特性上画質に及ぼす影響が大きい輝度情報に基づいて、ノイズ低減処理が行われるため、高画質なノイズ低減処理を提供することができる。

（１１） 上記成分分離手段は、上記原画像信号を上記第１成分と上記第２成分に加算型分離することを特徴とする（１）乃至（１０）の何れかに記載の画像処理装置。

（対応する実施形態）
この（１１）に記載の画像処理装置に関する実施形態は、第１乃至第６実施形態が対応する。

（作用効果）
この（１１）に記載の画像処理装置によれば、分離及び合成が容易に行える。

（１２） 光学像を画像信号に変換する撮像手段と、
上記画像信号を、骨格成分である第１成分と、上記画像信号に対する上記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
上記複数の成分のうち、上記第１成分のエッジ情報を得るエッジ情報取得手段と、
上記複数の成分のうち、少なくとも上記第２成分の変動成分を低減する変動成分低減手段と、
上記エッジ情報取得手段によって得られた上記エッジ情報報に基づき、上記変動成分低減手段のパラメータを取得するパラメータ取得手段と、
上記第１成分と、上記変動成分低減手段により変動成分が低減された、上記第１成分以外の成分とを合成する成分合成手段と、
を具備することを特徴とする撮像装置。

（対応する実施形態）
この（１２）に記載の撮像装置に関する実施形態は、第１乃至第６実施形態が対応する。それらの実施形態において、レンズ１０、固体撮像素子１２、撮像信号処理部１４、Ａ／Ｄ変換部１６、デジタル信号処理部１８が上記撮像手段に、成分分離部２２が上記成分分離手段に、エッジ情報取得部２６が上記エッジ情報取得手段に、ノイズ低減処理部２４が上記変動成分低減手段に、ノイズ低減処理パラメータ取得部２８が上記パラメータ取得手段に、成分合成処理部３０が上記成分合成手段に、それぞれ対応する。

（作用効果）
この（１２）に記載の撮像装置によれば、成分分離により得られた、緩やかに変動する成分とエッジ成分を含む第１成分から抽出されたエッジ情報に基づいて、ノイズ低減処理が行われるため、エッジ成分が保存された、高画質なノイズ低減処理を提供する。よって、画質を劣化させることなく、画像に含まれるノイズ（変動成分）を低減可能な撮像装置を提供することができる。

（１３） コンピュータを、
原画像信号を、骨格成分である第１成分と、上記原画像信号に対する上記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段、
上記複数の成分のうち、上記第１成分のエッジ情報を得るエッジ情報取得手段、
上記複数の成分のうち、少なくとも上記第２成分の変動成分を低減する変動成分低減手段、
上記エッジ情報取得手段によって得られた上記エッジ情報報に基づき、上記変動成分低減手段のパラメータを取得するパラメータ取得手段、
上記第１成分と、上記変動成分低減手段により変動成分が低減された、上記第１成分以外の成分とを合成する成分合成手段、
として機能させることを特徴とする画像処理プログラム。

（対応する実施形態）
この（１３）に記載の画像処理プログラムに関する実施形態は、第１乃至第６実施形態が対応する。

（作用効果）
この（１３）に記載の画像処理プログラムによれば、成分分離により得られた、緩やかに変動する成分とエッジ成分を含む第１成分から抽出されたエッジ情報に基づいて、ノイズ低減処理が行われるため、エッジ成分が保存された、高画質なノイズ低減処理を提供する。よって、画質を劣化させることなく、画像に含まれるノイズ（変動成分）を低減可能な画像処理装置をコンピュータによって実現する画像処理プログラム提供することができる。

図１は、本発明の第１実施形態に係る撮像装置の構成を示す図である。 図２は、第１実施形態に係る撮像装置に用いる本発明の第１実施形態に係る画像処理装置の構成を示す図である。 図３は、水平エッジ抽出部及び垂直エッジ抽出部が用いるフィルタを説明するための図である。 図４は、フィルタ係数選択部が出力するフィルタ係数を説明するための図である。 図５は、混合係数Ｗとエッジ強度指標Ｓとの関係を示す図である。 図６は、等方性フィルタリング処理部が使用するフィルタ係数を説明するための図である。 図７は、成分分離と合成の概念を説明するための図である。 図８は、本発明の第２実施形態に係る撮像装置の構成を示す図である。 図９は、本発明の第３実施形態に係る撮像装置の構成を示す図である。 図１０は、本発明の第４実施形態に係る撮像装置の構成を示す図である。 図１１は、第４実施形態に係る撮像装置に用いる本発明の第４実施形態に係る画像処理装置の構成を示す図である。 図１２は、本発明の第５実施形態に係る撮像装置の構成を示す図である。 図１３は、第５実施形態に係る撮像装置に用いる本発明の第５実施形態に係る画像処理装置の構成を示す図である。 図１４は、本発明の第６実施形態に係る撮像装置に用いる本発明の第６実施形態に係る画像処理装置の構成を示す図である。 図１５は、方向性フィルタを説明するための図である。 図１６は、第１実施形態に係る画像処理装置の動作をコンピュータに行わせるための本発明の第１実施形態に係る画像処理プログラムのフローチャートを示す図である。

符号の説明

１０…レンズ、 １２…固体撮像素子、 １４…撮像信号処理部、 １６…Ａ／Ｄ変換部、 １８…デジタル信号処理部、 ２０…画像処理装置、 ２２…成分分離部、 ２４…ノイズ低減処理部、 ２６…エッジ情報取得部、 ２８…ノイズ低減処理パラメータ取得部、 ３０…成分合成処理部、 ３２…表示部、 ３４…圧縮回路、 ３６…記録メディア、 ３８…水平エッジ抽出部、 ４０…垂直エッジ抽出部、 ４２…エッジ方向判別部、 ４４…エッジ強度算出部、 ４６…フィルタ係数選択部、 ４８…混合係数生成部、 ５０…方向性フィルタリング処理部、 ５２…等方性フィルタリング処理部、 ５４…合成処理部、 ５６…第１成分色分離部、 ５８…第２成分色分離部、 ６０Ｒ…Ｒ信号ノイズ低減処理部、 ６０Ｇ…Ｇ信号ノイズ低減処理部、 ６０Ｂ…Ｂ信号ノイズ低減処理部、 ６０Ｙ…Ｙ信号ノイズ低減処理部、 ６０Ｃｒ…Ｃｒ信号ノイズ低減処理部、 ６０Ｃｂ…Ｃｂ信号ノイズ低減処理部、 ６２…第２成分色合成部、 ６４…第１成分輝度生成部、 ６６…第２成分輝度色差生成部、 ６８…第２成分エッジ情報取得部、 ７０…エッジ強度判定部、 ７２…エッジ方向選択部、 ７４…ノイズ／テクスチャ判別部、 ７６…自己相関算出部、 ７８…相関値評価部、 ８０…領域分割部、 ８２…指標判定部、 ８４…フィルタ係数算出部、 ８６…フィルタリング処理部。

Claims (12)

1. 原画像信号を、原画像信号にBilateral Filterを施した結果である第１成分と、上記原画像信号に対する上記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
   上記複数の成分のうち、上記第１成分のエッジ情報を得るエッジ情報取得手段と、
   上記複数の成分のうち、少なくとも上記第２成分の変動成分を低減する変動成分低減手段と、
   上記エッジ情報取得手段によって得られた上記エッジ情報報に基づき、上記変動成分低減手段のパラメータを取得するパラメータ取得手段と、
   上記第１成分と、上記変動成分低減手段により変動成分が低減された、上記第１成分以外の成分とを合成する成分合成手段と、
   を具備することを特徴とする画像処理装置。
2. 上記変動成分低減手段は、フィルタリング手段を含み、
   上記パラメータ取得手段は、上記第１成分のエッジ情報に基づき、上記フィルタリング手段の係数を変更することを特徴とする請求項１に記載の画像処理装置。
3. 上記フィルタリング手段は、方向性フィルタリング手段を含み、上記第１成分のエッジ情報に基づき、エッジ方向に沿った方向に平滑化することを特徴とする請求項２に記載の画像処理装置。
4. 上記エッジ情報取得手段は、少なくとも上記第２成分のエッジ情報を得る第２エッジ情報取得手段を更に含み、
   上記パラメータ取得手段は、上記第１成分のエッジ情報と第２成分のエッジ情報とに基づき、上記変動成分低減手段のパラメータを取得することを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
5. 上記成分合成手段は、上記エッジ情報取得手段で取得した上記第１成分のエッジ情報と上記第２エッジ情報取得手段で取得した上記第２成分のエッジ情報とに基づいて定まる混合係数を用いて合成を行うことを特徴とする請求項４に記載の画像処理装置。
6. 上記成分合成手段は、上記エッジ情報取得手段で取得した上記第１成分のエッジ情報に基づいて定まる混合係数を用いて合成を行うことを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
7. 上記エッジ情報取得手段は、少なくとも上記第２成分のエッジ情報を得る第２エッジ情報取得手段を更に含み、
   上記成分合成手段は、上記エッジ情報取得手段で取得した上記第１成分のエッジ情報と上記第２エッジ情報取得手段で取得した上記第２成分のエッジ情報とに基づいて定まる混合係数を用いて合成を行うことを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
8. 上記原画像信号は、複数の色信号から構成され、
   上記エッジ情報取得手段は、上記第１成分の各色信号のエッジ情報を取得し、
   上記変動成分低減手段は、少なくとも上記第２成分の各色信号の変動成分低減を行い、
   上記パラメータ取得手段は、上記各色信号のエッジ情報に基づき、少なくとも上記第２成分の各色信号に対応する上記変動成分低減手段のパラメータを取得することを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
9. 上記原画像信号は、複数の色信号から構成され、
   上記エッジ情報取得手段は、上記第１成分の各色信号から輝度信号を生成する輝度信号生成手段を備え、上記輝度信号のエッジ情報を取得し、
   上記パラメータ取得手段は、上記輝度信号のエッジ情報を用いて、少なくとも上記第２成分の各色信号に対応する上記変動成分低減手段のパラメータを取得することを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
10. 上記原画像信号は、モノクロ信号であり、
    上記エッジ情報取得手段は、上記第１成分のエッジ情報を、上記第１成分の輝度レベル情報に基づいて取得し、
    上記パラメータ取得手段は、上記第１成分の輝度レベル情報で取得した輝度情報に基づきパラメータを取得し、
    上記変動成分低減手段は、上記第２成分の輝度レベルに対して、変動成分低減を行うことを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
11. 光学像を画像信号に変換する撮像手段と、
    上記画像信号を、原画像信号にBilateral Filterを施した結果である第１成分と、上記画像信号に対する上記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
    上記複数の成分のうち、上記第１成分のエッジ情報を得るエッジ情報取得手段と、
    上記複数の成分のうち、少なくとも上記第２成分の変動成分を低減する変動成分低減手段と、
    上記エッジ情報取得手段によって得られた上記エッジ情報報に基づき、上記変動成分低減手段のパラメータを取得するパラメータ取得手段と、
    上記第１成分と、上記変動成分低減手段により変動成分が低減された、上記第１成分以外の成分とを合成する成分合成手段と、
    を具備することを特徴とする撮像装置。
12. コンピュータを、
    原画像信号を、原画像信号にBilateral Filterを施した結果である第１成分と、上記原画像信号に対する上記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段、
    上記複数の成分のうち、上記第１成分のエッジ情報を得るエッジ情報取得手段、
    上記複数の成分のうち、少なくとも上記第２成分の変動成分を低減する変動成分低減手段、
    上記エッジ情報取得手段によって得られた上記エッジ情報報に基づき、上記変動成分低減手段のパラメータを取得するパラメータ取得手段、
    上記第１成分と、上記変動成分低減手段により変動成分が低減された、上記第１成分以外の成分とを合成する成分合成手段、
    として機能させることを特徴とする画像処理プログラム。

Images