JP5289288B2 - ノイズ除去装置及びノイズ除去方法 - Google Patents

Description

この発明は、画像入力系あるいは画像伝送系で混入するノイズを除去するノイズ除去装置及びノイズ除去方法に関するものである。

例えば、ＣＣＤなどの撮像素子を備えているディジタルカメラやイメージスキャナなどの画像入力装置や、画像入力装置により入力された画像を表示又は印刷するディスプレイやカラープリンタなどの画像出力装置では、画像入力系あるいは画像伝送系で混入するノイズを除去する画像処理を装置内で行うのが一般的である。
ここでは、画像入出力装置であるディジタルカメラが、混入したノイズを除去する一般的な方法について説明する。

ノイズを除去する最も平易で一般的な方法は、ノイズ除去の処理対象である画素（以下、「注目画素」と称する）を中心に含む複数の周辺画素からなる画素ウィンドウを用意し、その画素ウィンドウ内の各周辺画素の信号レベル値と注目画素の信号レベル値とを重み付けして畳み込み演算することによって、ローパスフィルタをかける方法である。
しかしながら、この方法を実施する場合、ノイズ以外の画像に存在している有意なエッジに対しても、一律にローパスフィルタをかけることになるため、画像の解像度が低下することがある。

また、注目画素を中心とする画素ウィンドウを用意して、ＰｒｅｗｉｔｔやＳｏｂｅｌなどのオペレータを適用することでエッジを検出し、処理対象画素が画像中の有意なエッジであると判断される場合には、ローパスフィルタの強度を弱めてフィルタ処理を実施する。あるいは、周辺に存在するエッジを構成する画素を避ける方向性をローパスフィルタに持たせてフィルタ処理を実施することで、画像の解像度低下を抑えながらノイズを除去する方法が提案されている。
しかしながら、画像入出力装置において、上記の方法でノイズを除去する場合、孤立点のような高周波ノイズを低減することは可能であるが、中低周波ノイズを低減するためには、非常に大きな画素サイズの画素ウィンドウを用意して、ローパスフィルタをかける必要がある。

そこで、以下の特許文献１には、入力画像を段階的に縮小し、各段階の入力画像に対してフィルタ処理を行うことで、非常に大きな画素ウィンドウを用意することなく、周波数成分毎のノイズを低減する方法が開示されている。
しかしながら、この方法では、段階的な縮小画像を生成する画像生成処理と、複数の縮小画像に対するフィルタ処理とを行う必要があるため、実時間処理が困難である。
困難な実時間処理を達成するためには、段階的な縮小画像を生成する画像生成処理と、縮小画像数分のフィルタ処理と並列に行える電子回路を備える必要があり、回路規模が増大することになる。

国際公開第０６／１０６９１９号（段落番号［０００８］）

従来のノイズ除去方法は以上のように構成されているので、段階的な縮小画像を生成する画像生成処理と、縮小画像数分のフィルタ処理と並列に行える電子回路を備えれば、非常に大きな画素ウィンドウを用意することなく、実時間処理で、周波数成分毎のノイズを低減することができるが、回路規模が増大してしまうなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、回路規模の増大を招くことなく、実時間処理で、中低周波のノイズを除去することができるノイズ除去装置及びノイズ除去方法を得ることを目的とする。

この発明に係るノイズ除去装置は、相互に画素ウィンドウのサイズが異なる複数の画素ウィンドウの全ての中心である処理対象画素と各参照画素との信号レベル差を算出し、その信号レベル差から複数の画素ウィンドウ毎に処理対象画素と各参照画素との間の第１の相関度を算出する第１の相関度算出手段と、処理対象画素と各参照画素との距離を算出し、その距離から処理対象画素と各参照画素との間の第２の相関度を複数の画素ウィンドウ毎に算出する第２の相関度算出手段と、第１の相関度と第２の相関度とから各参照画素のフィルタ係数を算出するフィルタ係数算出手段と、第１の相関度と第２の相関度とから第３の相関度を複数の画素ウィンドウ毎に計算し出力する第３の相関度算出手段と、第３の相関度を複数の画素ウィンドウ毎に記憶する相関度記憶手段と、処理対象画素の信号レベル、各参照画素の信号レベル、フィルタ係数算出手段により算出された各参照画素のフィルタ係数及び相関度記憶手段に記憶された第３の相関度を用いて、処理対象画素に重畳されているノイズが除去されたフィルタ処理結果を複数の画素ウィンドウ毎に算出するフィルタ処理手段と、フィルタ処理結果を選択して出力するフィルタ処理結果選択手段とを設け、連続して処理する２つの画素のうち先に処理する処理対象画素を第１の処理対象画素とし、続いて処理する処理対象画素を第２の処理対象画素とすると、相関度記憶手段は、記憶している第１の処理対象画素の第３の相関度を複数の画素ウィンドウ毎に出力し、フィルタ処理結果選択手段は、相関度記憶手段から出力された第１の処理対象画素の第３の相関度と第３の相関度算出手段から出力された第２の処理対象画素の第３の相関度との変化量が最小となる画素ウィンドウのフィルタ処理結果を選択して出力するようにしたものである。

この発明によれば、相互に画素ウィンドウのサイズが異なる複数の画素ウィンドウの全ての中心である処理対象画素と各参照画素との信号レベル差を算出し、その信号レベル差から複数の画素ウィンドウ毎に処理対象画素と各参照画素との間の第１の相関度を算出する第１の相関度算出手段と、処理対象画素と各参照画素との距離を算出し、その距離から処理対象画素と各参照画素との間の第２の相関度を複数の画素ウィンドウ毎に算出する第２の相関度算出手段と、第１の相関度と第２の相関度とから各参照画素のフィルタ係数を算出するフィルタ係数算出手段と、第１の相関度と第２の相関度とから第３の相関度を複数の画素ウィンドウ毎に計算し出力する第３の相関度算出手段と、第３の相関度を複数の画素ウィンドウ毎に記憶する相関度記憶手段と、処理対象画素の信号レベル、各参照画素の信号レベル、フィルタ係数算出手段により算出された各参照画素のフィルタ係数及び相関度記憶手段に記憶された第３の相関度を用いて、処理対象画素に重畳されているノイズが除去されたフィルタ処理結果を複数の画素ウィンドウ毎に算出するフィルタ処理手段と、フィルタ処理結果を選択して出力するフィルタ処理結果選択手段とを設け、連続して処理する２つの画素のうち先に処理する処理対象画素を第１の処理対象画素とし、続いて処理する処理対象画素を第２の処理対象画素とすると、相関度記憶手段は、記憶している第１の処理対象画素の第３の相関度を複数の画素ウィンドウ毎に出力し、フィルタ処理結果選択手段は、相関度記憶手段から出力された第１の処理対象画素の第３の相関度と第３の相関度算出手段から出力された第２の処理対象画素の第３の相関度との変化量が最小となる画素ウィンドウのフィルタ処理結果を選択して出力するように構成したので、回路規模の増大を招くことなく、実時間処理で、中低周波のノイズを除去することができる効果がある。

この発明の実施の形態１によるノイズ除去装置を示す構成図である。 この発明の実施の形態１によるノイズ除去装置の処理内容（ノイズ除去方法）を示すフローチャートである。 ５×５画素からなる画素ウィンドウを示す説明図である。 信号レベル差ΔＰ_ｘｙに対する相関度特性が記録されているルックアップテーブルの一例を示す説明図である。 距離Ｄ_ｘｙに対する相関度特性が記録されているルックアップテーブルの一例を示す説明図である。 相関度γ_ｘｙに対するフィルタ係数特性が記録されているルックアップテーブルの一例を示す説明図である。 この発明の実施の形態２によるノイズ除去装置を示す構成図である。 ３×３画素、５×５画素、７×７画素からなる画素ウィンドウを示す説明図である。 この発明の実施の形態３によるノイズ除去装置を示す構成図である。 この発明の実施の形態４によるノイズ除去装置が使用する画素ウィンドウの一例を示す説明図である。 この発明の実施の形態４によるノイズ除去装置が使用する画素ウィンドウの変形例を示す説明図である。 相関度保持部７により記憶されている相関度Γ_１１，Γ_１２，Γ_１３，Γ_２１，Γ_２２を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１によるノイズ除去装置を示す構成図である。
図１において、信号レベル差算出部１は２次元画像を構成している複数の画素の画素値（信号レベル）を示す２次元画像データを入力すると、Ｍ×Ｎ画素（例えば、５×５画素）からなる画素ウィンドウを２次元画像上に形成し、その画素ウィンドウの中心に存在している処理対象画素（例えば、図３に示すように、画素ウィンドウが５×５画素から構成されている場合、処理対象画素はＰ_２２）と、その処理対象画素Ｐ_２２の周辺に存在している画素ウィンドウ内の各参照画素Ｐ_ｘｙ（５×５画素からなる画素ウィンドウであれば、０≦ｘ≦４、０≦ｙ≦４）との信号レベル差ΔＰ_ｘｙを算出する処理を実施する。

相関度α算出部２は例えば信号レベル差ΔＰ_ｘｙに対する相関度特性が記録されている図４のルックアップテーブルを参照することにより、信号レベル差算出部１により算出された処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙとの信号レベル差ΔＰ_ｘｙから、処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙ間の相関度α_ｘｙを算出する処理を実施する。
なお、信号レベル差算出部１及び相関度α算出部２から第１の相関度算出手段が構成されている。

画素間距離算出部３は画素ウィンドウ内の処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙとの距離Ｄ_ｘｙを算出する処理を実施する。
相関度β算出部４は例えば距離Ｄ_ｘｙに対する相関度特性が記録されている図５のルックアップテーブルを参照することにより、画素間距離算出部３により算出された距離Ｄ_ｘｙから、処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙ間の相関度β_ｘｙを算出する処理を実施する。
なお、画素間距離算出部３及び相関度β算出部４から第２の相関度算出手段が構成されている。

フィルタ係数算出部５は相関度α算出部２により算出された相関度α_ｘｙと相関度β算出部４により算出された相関度β_ｘｙから、各参照画素Ｐ_ｘｙにおける相関度γ_ｘｙを算出し（あるいは、相関度Γ算出部６により算出された相関度γ_ｘｙを取得する）、例えば、相関度γ_ｘｙに対するフィルタ係数特性が記録されている図６のルックアップテーブルを参照することにより、各参照画素Ｐ_ｘｙにおける相関度γ_ｘｙから各参照画素Ｐ_ｘｙのフィルタ係数ｆ_ｘｙを算出する処理を実施する。なお、フィルタ係数算出部５はフィルタ係数算出手段を構成している。

相関度Γ算出部６は相関度α算出部２により算出された相関度α_ｘｙと相関度β算出部４により算出された相関度β_ｘｙから、各参照画素Ｐ_ｘｙにおける相関度γ_ｘｙを算出し（あるいは、フィルタ係数算出部５により算出された相関度γ_ｘｙを取得する）、その相関度γ_ｘｙと相関度保持部７により記憶されている処理対象画素Ｐ_２２の相関度Γ_−１（相関度Γ算出部６により前回算出された処理対象画素Ｐ_２２の相関度Γ_−１）から、処理対象画素Ｐ_２２の相関度Γを算出する処理を実施する。なお、相関度Γ算出部６は第３の相関度算出手段を構成している。
相関度保持部７はメモリなどの記録媒体等から構成されており、相関度Γ算出部６により今回算出された処理対象画素Ｐ_２２の相関度Γを記憶する一方、相関度Γ算出部６により前回算出されて既に記憶している処理対象画素Ｐ_２２の相関度Γ_−１を出力する処理を実施する。なお、相関度保持部７は相関度記憶手段を構成している。

フィルタ処理部８は処理対象画素Ｐ_２２及び各参照画素Ｐ_ｘｙの信号レベル、フィルタ係数算出部５により算出された各参照画素Ｐ_ｘｙのフィルタ係数ｆ_ｘｙ及び相関度保持部７から出力された処理対象画素Ｐ_２２の相関度Γ_−１を用いて、処理対象画素Ｐ_２２に重畳されているノイズを除去するフィルタ処理を実施し、ノイズ除去後の処理対象画素Ｐ_２２’を出力する。なお、フィルタ処理部８はフィルタ処理手段を構成している。

図１では、ノイズ除去装置の構成要素である信号レベル差算出部１、相関度α算出部２、画素間距離算出部３、相関度β算出部４、フィルタ係数算出部５、相関度Γ算出部６、相関度保持部７及びフィルタ処理部８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン）で構成されているものを想定しているが、ノイズ除去装置がコンピュータで構成される場合、信号レベル差算出部１、相関度α算出部２、画素間距離算出部３、相関度β算出部４、フィルタ係数算出部５、相関度Γ算出部６、相関度保持部７及びフィルタ処理部８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１によるノイズ除去装置の処理内容（ノイズ除去方法）を示すフローチャートである。

次に動作について説明する。
信号レベル差算出部１は、２次元画像を構成している複数の画素の画素値（信号レベル）を示す２次元画像データを入力すると、Ｍ×Ｎ画素の画素ウィンドウを２次元画像上に形成する。
ここでは、説明の便宜上、図３に示すような５×５画素からなる画素ウィンドウを２次元画像上に形成するものとする。
図３の例では、画素ウィンドウの中心に存在している画素Ｐ_２２が処理対象画素であり、処理対象画素Ｐ_２２の周辺に存在している画素ウィンドウ内の画素Ｐ_ｘｙ（０≦ｘ≦４、０≦ｙ≦４）が参照画素である。ただし、この例では、処理対象画素Ｐ_２２は、参照画素Ｐ_ｘｙにも該当する。

なお、画素ウィンドウは、例えば、最初に２次元画像の左上に形成されて、後述するフィルタ処理が実施される。
その後、画素ウィンドウは、水平右方向にずらされながら、フィルタ処理が繰り返され、１ライン分のフィルタ処理が完了すると、垂直下方向にずらされて、全ラインのフィルタ処理が完了するまで、同様のフィルタ処理が繰り返される。

信号レベル差算出部１は、画素ウィンドウを２次元画像上に形成すると、下記の式（１）に示すように、画素ウィンドウ内の処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙとの信号レベル差ΔＰ_ｘｙを算出する（図２のステップＳＴ１）。
ΔＰ_ｘｙ＝｜Ｐ_２２−Ｐ_ｘｙ｜ （１）
ただし、式（１）において、Ｐ_２２は処理対象画素の信号レベル（画素値）を示し、Ｐ_ｘｙは参照画素の信号レベル（画素値）を示しているものとする。
また、｜Ｘ｜はＸの絶対値を示す数学記号である。

相関度α算出部２は、信号レベル差算出部１が処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙとの信号レベル差ΔＰ_ｘｙを算出すると、例えば、信号レベル差ΔＰ_ｘｙに対する相関度特性が記録されている図４のルックアップテーブルを参照することにより、その信号レベル差ΔＰ_ｘｙから、処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙ間の相関度α_ｘｙを算出する（ステップＳＴ２）。
ただし、図４では、信号レベル差ΔＰ_ｘｙの値が０〜２５５の範囲である例を示しており、信号レベル差ΔＰ_ｘｙの値が大きくなると、相関度α_ｘｙが急激に低下する相関度特性が記録されている。
なお、信号レベル差ΔＰ_ｘｙ＝０のとき、相関度α_ｘｙが最大の“１”になり、信号レベル差ΔＰ_ｘｙ＝２５５のとき、相関度α_ｘｙが最小の“０”になる。
このように、信号レベル差ΔＰ_ｘｙの値が大きくなると、相関度α_ｘｙが急激に低下するように設定することで、微妙な階調差の信号も、ローパスフィルタで消してしまわないように解像度を調整することが可能になる。

画素間距離算出部３は、２次元画像データを入力すると、画素ウィンドウ内の処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙとの距離Ｄ_ｘｙを算出する（ステップＳＴ３）。
例えば、２次元画像における隣り合う画素間の距離が“１”であるとすると、処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙとの距離Ｄ_ｘｙは下記のようになる。
・Ｄ_１２，Ｄ_２１，Ｄ_２３，Ｄ_３２ → １
・Ｄ_１１，Ｄ_１３，Ｄ_３１，Ｄ_３３ → （１^２＋１^２）^１／２＝√２
・Ｄ_０２，Ｄ_２０，Ｄ_２４，Ｄ_４２ → ２
・Ｄ_０１，Ｄ_０３，Ｄ_４１，Ｄ_４３ → （１^２＋２^２）^１／２＝√５
・Ｄ_１０，Ｄ_１４，Ｄ_３０，Ｄ_３４ → （２^２＋１^２）^１／２＝√５
・Ｄ_００，Ｄ_０４，Ｄ_４０，Ｄ_４４ → （２^２＋２^２）^１／２＝２√２

相関度β算出部４は、画素間距離算出部３が処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙとの距離Ｄ_ｘｙを算出すると、例えば、距離Ｄ_ｘｙに対する相関度特性が記録されている図５のルックアップテーブルを参照することにより、その距離Ｄ_ｘｙから、処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙ間の相関度β_ｘｙを算出する（ステップＳＴ４）。
ただし、図５では、距離Ｄ_ｘｙの値が０〜３の範囲である例を示しており、距離Ｄ_ｘｙの値が大きくなると、相関度β_ｘｙが徐々に低下する相関度特性が記録されている。
このように、距離Ｄ_ｘｙの値が大きくなると、相関度β_ｘｙが徐々に低下することで、図３の画素ウィンドウのサイズを大きくする場合と同様に、より低周波のノイズを除去することが可能になる。

フィルタ係数算出部５は、相関度α算出部２が相関度α_ｘｙを算出し、相関度β算出部４が相関度β_ｘｙを算出すると、例えば、下記の式（２）に示すような相関度α_ｘｙと相関度β_ｘｙの重み加算を行うことで、各参照画素Ｐ_ｘｙにおける相関度γ_ｘｙを算出する。
γ_ｘｙ＝Ａ×α_ｘｙ＋Ｂ×β_ｘｙ （２）
Ａ＋Ｂ＝１
ただし、Ａ，Ｂは相関度α_ｘｙ，β_ｘｙに対する加重係数（０≦Ａ≦１、０≦Ｂ≦１）である。

フィルタ係数算出部５は、各参照画素Ｐ_ｘｙにおける相関度γ_ｘｙを算出すると、例えば、相関度γ_ｘｙに対するフィルタ係数特性が記録されている図６のルックアップテーブルを参照することにより、各参照画素Ｐ_ｘｙにおける相関度γ_ｘｙから各参照画素Ｐ_ｘｙのフィルタ係数ｆ_ｘｙを算出する（ステップＳＴ５）。
ただし、図６では、相関度γ_ｘｙの値が０〜１の範囲である例を示しており、相関度γ_ｘｙの値が大きくなると、フィルタ係数ｆ_ｘｙが徐々に低下するフィルタ係数特性が記録されている。
なお、相関度γ_ｘｙ＝０のとき、フィルタ係数ｆ_ｘｙが最大の“２５５”になり、相関度γ_ｘｙ＝１のとき、フィルタ係数ｆ_ｘｙが最小の“０”になる。
このように、相関度γ_ｘｙの値に応じて、フィルタ係数ｆ_ｘｙを設定することで、ノイズの周波数特性が変化しても対処することが可能になる。
フィルタ係数ｆ_ｘｙは、画素ウィンドウ内の全画素Ｐ_ｘｙについて算出される。

相関度Γ算出部６は、相関度α算出部２が相関度α_ｘｙを算出し、相関度β算出部４が相関度β_ｘｙを算出すると、フィルタ係数算出部５と同様にして、各参照画素Ｐ_ｘｙにおける相関度γ_ｘｙを算出する。あるいは、フィルタ係数算出部５により算出された相関度γ_ｘｙを取得する。
相関度Γ算出部６は、各参照画素Ｐ_ｘｙにおける相関度γ_ｘｙを算出すると、例えば、下記の式（３）に示すように、各参照画素Ｐ_ｘｙにおける相関度γ_ｘｙを統合し、統合後の相関度γ_ｘｙと相関度保持部７により記憶されている処理対象画素Ｐ_２２の相関度Γ_−１（相関度Γ算出部６により前回算出された処理対象画素Ｐ_２２の相関度Γ_−１）から、処理対象画素Ｐ_２２の相関度Γを算出する（ステップＳＴ６）。

Ｃ＋Ｅ＝１
ただし、式（３）において、Ｃ，Ｅは統合後の相関度γ_ｘｙと前画素処理時に算出された相関度Γ_−１に対する加重係数である（０≦Ｃ≦１、０≦Ｅ≦１）。

相関度Γ算出部６は、上記のようにして、処理対象画素Ｐ_２２の相関度Γを算出すると、次画素処理時において、その相関度ΓをΓ_−１として参照するために、その相関度Γを相関度保持部７に格納する。
相関度保持部７は、相関度Γ算出部６により今回算出された処理対象画素Ｐ_２２の相関度Γを記憶する一方、相関度Γ算出部６により前回算出されて既に記憶している処理対象画素Ｐ_２２の相関度Γ_−１をフィルタ処理部８に出力する。

フィルタ処理部８は、フィルタ係数算出部５が各参照画素Ｐ_ｘｙのフィルタ係数ｆ_ｘｙを算出すると、例えば、下記の式（４）に示すように、処理対象画素Ｐ_２２及び各参照画素Ｐ_ｘｙの信号レベル、各参照画素Ｐ_ｘｙのフィルタ係数ｆ_ｘｙ及び相関度保持部７から出力されたＰ_２２の相関度Γ_−１を用いて、処理対象画素Ｐ_２２に重畳されているノイズを除去するフィルタ処理を実施し、ノイズ除去後の処理対象画素Ｐ_２２’を出力する（ステップＳＴ７）。

ここで、式（４）の第１項（相関度Γ_−１がかかっている項）は、処理対象画素Ｐ_２２以外の画素Ｐ_ｘｙのフィルタ出力値を表しており、第２項（（１−Γ_−１）がかかっている項）は、処理対象画素Ｐ_２２のフィルタ出力値を表している。
したがって、式（４）では、前画素処理時に算出された相関度Γ_−１が大きい場合（周辺画素の平滑性が高い場合）、処理対象画素Ｐ_２２以外の画素Ｐ_ｘｙのフィルタ出力値を出力する比重が大きくなり、強いローパスフィルタがかかる。
一方、前画素処理時に算出された相関度Γ_−１が小さい場合（高周波成分が多い領域の場合）、処理対象画素Ｐ_２２のフィルタ出力値を出力する比重が大きくなる。

以上で明らかなように、この実施の形態１によれば、画素ウィンドウの中心に存在している処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙとの信号レベル差ΔＰ_ｘｙから処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙ間の相関度α_ｘｙを算出する相関度α算出部２と、処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙとの距離Ｄ_ｘｙから処理対象画素Ｐ_２２と各参照画素Ｐ_ｘｙ間の相関度β_ｘｙを算出する相関度β算出部４と、相関度α算出部２により算出された相関度α_ｘｙと相関度β算出部４により算出された相関度β_ｘｙから各参照画素Ｐ_ｘｙのフィルタ係数ｆ_ｘｙを算出するフィルタ係数算出部５と、相関度α算出部２により算出された相関度α_ｘｙと相関度β算出部４により算出された相関度β_ｘｙから処理対象画素Ｐ_２２の相関度Γを算出する相関度Γ算出部６と、相関度Γ算出部６により今回算出された処理対象画素Ｐ_２２の相関度Γを記憶する一方、相関度Γ算出部６により前回算出されて既に記憶している処理対象画素Ｐ_２２の相関度Γ_−１を出力する相関度保持部７とを設け、フィルタ処理部８が処理対象画素Ｐ_２２及び各参照画素Ｐ_ｘｙの信号レベル、フィルタ係数算出部５により算出された各参照画素Ｐ_ｘｙのフィルタ係数ｆ_ｘｙ及び相関度保持部７から出力された処理対象画素Ｐ_２２の相関度Γ_−１を用いて、処理対象画素Ｐ_２２に重畳されているノイズを除去するフィルタ処理を実施するように構成したので、回路規模の増大を招くことなく、実時間処理で、中低周波のノイズを除去することができる効果を奏する。

即ち、画素間の相関度を用いて、フィルタ係数ｆ_ｘｙを動的に算出するとともに、相関度Γを時定数として、次画素のフィルタ処理に伝搬させるようにしているので、大きいサイズの画素ウィンドウを使用する場合と同様の効果が得られるようになり、その結果、低解像度の画像を順次生成することなく、解像度の低下を抑えつつ、中低周波のノイズを効果的に低減することが可能になる。

例えば、図４に示すように、信号レベル差ΔＰ_ｘｙの値が大きくなると、相関度α_ｘｙが急激に低下するように設定することで、微妙な階調差の信号も、ローパスフィルタで消してしまわないように解像度を調整することが可能になる。
また、図５に示すように、距離Ｄ_ｘｙの値が大きくなると、相関度β_ｘｙが徐々に低下するように設定することで、図３の画素ウィンドウのサイズを大きくする場合と同様に、より低周波のノイズを除去することが可能になる。
また、式（２）における加重係数Ａ，Ｂを調整することで、相関度α_ｘｙ，β_ｘｙの特性を変更することなく、解像度とノイズ低減特性の調整を行うことが可能になる。
さらに、相関度γ_ｘｙに対するフィルタ係数特性（図６）を調整することで、ノイズの周波数特性が変化しても対処することが可能になる。

なお、この実施の形態１では、５×５画素からなる画素ウィンドウを２次元画像上に形成するものについて示したが、これは一例に過ぎず、除去したいノイズの周波数特性に応じて、画素ウィンドウの水平方向及び垂直方向のサイズを任意に決定し、当該画素ウィンドウを２次元画像上に形成するようにしてもよい。

この実施の形態１では、フィルタ係数算出部５及び相関度Γ算出部６が相関度γ_ｘｙを算出する際、相関度α_ｘｙと相関度β_ｘｙの重み付け加算演算を行うものを示したが、これに限るものではなく、例えば、より相関値の高い数値を相関度γ_ｘｙに設定するなど、処理によって得られる画像の必要な特性によって演算するようにしてもよい。

この実施の形態１では、フィルタ処理部８が処理対象画素Ｐ_２２のフィルタ出力値Ｐ’_２２を算出する際、式（４）のように、処理対象画素Ｐ_２２と参照画素Ｐ_ｘｙの重み付け演算を行うものを示したが、これに限るものではない。
例えば、より低周波のノイズを低減する必要がある場合などでは、領域の特徴を伝える相関度Γの伝搬だけでなく、前画素処理時のフィルタ出力値Ｐ’_２１と現在の処理対象画素Ｐ_２２のフィルタ出力値Ｐ’_２２を、相関度Γと相関度Γ_−１の差に応じて重み付け加算して、直接的に前画素処理時のフィルタ出力値Ｐ’_２１をフィードバックするＩＩＲの構成としてもよい。
この場合、相関度Γと相関度Γ_−１の差が大きい場合は、前画素と現在の処理対象画素Ｐ_２２の相関性が低いと判断して、前画素処理時のフィルタ出力値Ｐ’_２１の重みを小さくする制御を行う。

また、この実施の形態１では、相関度Γ算出部６が処理対象画素Ｐ_２２の相関度Γを算出する際、式（３）を用いて算出するものについて示したが、これに限るものではなく、例えば、式（３）の第１項で、画素ウィンドウ内の相関度γ_ｘｙの平均値を算出する代わりに、代表値として相関度γ_ｘｙの中央値を使用するようにしてもよい。
この場合、画素ウィンドウ内に存在する高周波ノイズ画素（相関度γ_ｘｙが他の画素と著しく異なる画素）の影響が排除されるため、高周波ノイズに影響されない高精度の相関度Γを算出することができる。

実施の形態２．
図７はこの発明の実施の形態２によるノイズ除去装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
ただし、この実施の形態２では、相互に画素サイズが異なる複数の画素ウィンドウが用意されているものについて説明するため、図７のノイズ除去装置では、複数の画素ウィンドウ毎に、信号レベル差算出部１、相関度α算出部２、画素間距離算出部３、相関度β算出部４、フィルタ係数算出部５、相関度Γ算出部６、相関度保持部７及びフィルタ処理部８が、各々の処理を実施するものとする。

最小相関度特定部１１は例えば３個の画素ウィンドウ（３×３画素からなる画素ウィンドウ、５×５画素からなる画素ウィンドウ、７×７画素からなる画素ウィンドウ）毎に、相関度Γ算出部６により今回算出された相関度Γ３（３×３画素の画素ウィンドウに係る相関度），Γ５（５×５画素の画素ウィンドウに係る相関度），Γ７（７×７画素の画素ウィンドウに係る相関度）と、前回算出されて相関度保持部７により記憶されている相関度Γ_−１との変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜を求め、今回算出された相関度Γ３，Γ５，Γ７の中で、その変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜が最小になるときの相関度を特定する処理を実施する。

フィルタ処理結果選択部１２は最小相関度特定部１１により特定された最小の相関度の算出に用いられた画素ウィンドウに対応するフィルタ出力値（フィルタ処理結果）の選択をフィルタ処理部８に指示する処理を実施する。
なお、最小相関度特定部１１及びフィルタ処理結果選択部１２からフィルタ処理結果選択手段が構成されている。

次に動作について説明する。
信号レベル差算出部１は、２次元画像を構成している複数の画素の画素値（信号レベル）を示す２次元画像データを入力すると、３×３画素の画素ウィンドウ（図８（ａ）を参照）、５×５画素の画素ウィンドウ（図８（ｂ）を参照）及び７×７画素の画素ウィンドウ（図８（ｃ）を参照）を２次元画像上に形成する。
図８の例では、画素Ｐ_３３が処理対象画素であり、処理対象画素Ｐ_３３以外の画素Ｐ_ｘｙ（０≦ｘ≦６、０≦ｙ≦６）が参照画素である。ただし、この例では、処理対象画素Ｐ_３３は、参照画素Ｐ_ｘｙにも該当する。

信号レベル差算出部１は、３個の画素ウィンドウを２次元画像上に形成すると、３個の画素ウィンドウ毎に、画素ウィンドウ内の処理対象画素Ｐ_３３と各参照画素Ｐ_ｘｙとの信号レベル差ΔＰ_ｘｙを算出する。ただし、信号レベル差ΔＰ_ｘｙの算出方法は、上記実施の形態１と同様である。
この実施の形態２では、３×３画素の画素ウィンドウに係る信号レベル差をΔＰ３_ｘｙで表し、５×５画素の画素ウィンドウに係る信号レベル差をΔＰ５_ｘｙで表し、７×７画素の画素ウィンドウに係る信号レベル差をΔＰ７_ｘｙで表すものとする。

相関度α算出部２は、信号レベル差算出部１が３個の画素ウィンドウ毎に、信号レベル差ΔＰ３_ｘｙ，ΔＰ５_ｘｙ，ΔＰ７_ｘｙを算出すると、上記実施の形態１と同様にして、３個の画素ウィンドウ毎に、その信号レベル差ΔＰ３_ｘｙ，ΔＰ５_ｘｙ，ΔＰ７_ｘｙから、処理対象画素Ｐ_３３と各参照画素Ｐ_ｘｙ間の相関度α_ｘｙを算出する。
この実施の形態２では、３×３画素の画素ウィンドウに係る相関度をα３_ｘｙで表し、５×５画素の画素ウィンドウに係る相関度をα５_ｘｙで表し、７×７画素の画素ウィンドウに係る相関度をα７_ｘｙで表すものとする。

画素間距離算出部３は、２次元画像データを入力すると、上記実施の形態１と同様にして、３個の画素ウィンドウ毎に、処理対象画素Ｐ_３３と各参照画素Ｐ_ｘｙとの距離Ｄ_ｘｙを算出する。
この実施の形態２では、３×３画素の画素ウィンドウに係る距離をＤ３_ｘｙで表し、５×５画素の画素ウィンドウに係る距離をＤ５_ｘｙで表し、７×７画素の画素ウィンドウに係る距離をＤ７_ｘｙで表すものとする。

相関度β算出部４は、画素間距離算出部３が３個の画素ウィンドウ毎に、距離Ｄ３_ｘｙ，距離Ｄ５_ｘｙ，距離Ｄ７_ｘｙを算出すると、上記実施の形態１と同様にして、３個の画素ウィンドウ毎に、その距離Ｄ３_ｘｙ，距離Ｄ５_ｘｙ，距離Ｄ７_ｘｙから、処理対象画素Ｐ_３３と各参照画素Ｐ_ｘｙ間の相関度β_ｘｙを算出する。
この実施の形態２では、３×３画素の画素ウィンドウに係る相関度をβ３_ｘｙで表し、５×５画素の画素ウィンドウに係る相関度をβ５_ｘｙで表し、７×７画素の画素ウィンドウに係る相関度をβ７_ｘｙで表すものとする。

フィルタ係数算出部５は、相関度α算出部２が相関度α３_ｘｙ，α５_ｘｙ，α７_ｘｙを算出し、相関度β算出部４が相関度β３_ｘｙ，β５_ｘｙ，β７_ｘｙを算出すると、上記実施の形態１と同様にして、３個の画素ウィンドウ毎に、各参照画素Ｐ_ｘｙにおける相関度γ_ｘｙを算出する。
この実施の形態２では、３×３画素の画素ウィンドウに係る相関度をγ３_ｘｙで表し、５×５画素の画素ウィンドウに係る相関度をγ５_ｘｙで表し、７×７画素の画素ウィンドウに係る相関度をγ７_ｘｙで表すものとする。

また、フィルタ係数算出部５は、各参照画素Ｐ_ｘｙにおける相関度γ３_ｘｙ，γ５_ｘｙ，γ７_ｘｙを算出すると、上記実施の形態１と同様にして、３個の画素ウィンドウ毎に、各参照画素Ｐ_ｘｙにおけるγ３_ｘｙ，γ５_ｘｙ，γ７_ｘｙから、各参照画素Ｐ_ｘｙのフィルタ係数ｆ_ｘｙを算出する。
この実施の形態２では、３×３画素の画素ウィンドウに係るフィルタ係数をｆ３_ｘｙで表し、５×５画素の画素ウィンドウに係るフィルタ係数をｆ５_ｘｙで表し、７×７画素の画素ウィンドウに係るフィルタ係数をｆ７_ｘｙで表すものとする。

相関度Γ算出部６は、相関度α算出部２が相関度α３_ｘｙ，α５_ｘｙ，α７_ｘｙを算出し、相関度β算出部４が相関度β３_ｘｙ，β５_ｘｙ，β７_ｘｙを算出すると、上記実施の形態１と同様にして、３個の画素ウィンドウ毎に、各参照画素Ｐ_ｘｙにおける相関度γ３_ｘｙ，γ５_ｘｙ，γ７_ｘｙを算出する。
また、相関度Γ算出部６は、各参照画素Ｐ_ｘｙにおける相関度γ３_ｘｙ，γ５_ｘｙ，γ７_ｘｙを算出すると、上記実施の形態１と同様にして、３個の画素ウィンドウ毎に、処理対象画素Ｐ_３３の相関度Γを算出する。
この実施の形態２では、３×３画素の画素ウィンドウに係る相関度をΓ３で表し、５×５画素の画素ウィンドウに係る相関度をΓ５で表し、７×７画素の画素ウィンドウに係る相関度をΓ７で表すものとする。

フィルタ処理部８は、フィルタ係数算出部５が各参照画素Ｐ_ｘｙのフィルタ係数ｆ３_ｘｙ，ｆ５_ｘｙ，ｆ７_ｘｙを算出すると、上記実施の形態１と同様にして、３個の画素ウィンドウ毎に、処理対象画素Ｐ_３３に重畳されているノイズを除去するフィルタ処理を実施して、ノイズ除去後の処理対象画素Ｐ_３３’の信号レベルを示すフィルタ出力値を算出する。
この実施の形態２では、３×３画素の画素ウィンドウに係るフィルタ出力値をＰ３’_３３で表し、５×５画素の画素ウィンドウに係るフィルタ出力値をＰ５’_３３で表し、７×７画素の画素ウィンドウに係るフィルタ出力値をＰ７’_３３で表すものとする。

最小相関度特定部１１は、処理対象画素Ｐ_３３の相関度Γ３，Γ５，Γ７と前画素処理時の相関度Γ_−１の変化量は、現在の処理対象画素Ｐ_３３に適用可能なフィルタ出力値と関連性があるので、３個の画素ウィンドウ毎に、相関度Γ算出部６が処理対象画素Ｐ_３３の相関度Γ３，Γ５，Γ７を算出すると、その相関度Γ３，Γ５，Γ７と、相関度保持部７により記憶されている相関度Γ_−１との変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜を算出する。
例えば、前画素の処理時点から現在の処理対象画素に移動したときに、新たに被写体のエッジが画素ウィンドウに含まれるようになると、処理対象画素Ｐ_３３の相関度Γが、前画素処理時の相関度Γ_−１と大きく異なる値になる。即ち、最も画素サイズが大きい７×７画素の画素ウィンドウに係る処理対象画素Ｐ_３３の相関度Γ７が、前画素処理時の相関度Γ_−１から大きく変動することになる。
したがって、仮に、７×７画素の画素ウィンドウに係るフィルタ出力値Ｐ７’_３３をローパスフィルタの出力値に適用すると、被写体のエッジがぼける可能性がある。

最小相関度特定部１１は、変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜を算出すると、その変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜を相互に比較して、最小の変化量を特定する。
そして、最小相関度特定部１１は、処理対象画素Ｐ_３３の相関度Γ３，Γ５，Γ７の中で、最小の変化量に係る相関度を特定する。

フィルタ処理結果選択部１２は、最小相関度特定部１１が最小の相関度を特定すると、最小の相関度の算出に用いられた画素ウィンドウに対応するフィルタ出力値の選択をフィルタ処理部８に指示する。
これにより、例えば、変化量｜Γ３−Γ_−１｜が最小であれば、フィルタ処理部８から３×３画素の画素ウィンドウに係るフィルタ出力値Ｐ３’_３３が選択されて出力され、変化量｜Γ５−Γ_−１｜が最小であれば、フィルタ処理部８から５×５画素の画素ウィンドウに係るフィルタ出力値Ｐ５’_３３が選択されて出力される。
また、変化量｜Γ７−Γ_−１｜が最小であれば、フィルタ処理部８から７×７画素の画素ウィンドウに係るフィルタ出力値Ｐ７’_３３が選択されて出力される。

以上で明らかなように、この実施の形態２によれば、相関度Γ算出部６により今回算出された相関度Γ３，Γ５，Γ７の中で、前回算出されて相関度保持部７により記憶されている相関度Γ_−１との変化量が最小の相関度を特定し、最小の相関度の算出に用いられた画素ウィンドウに対応するフィルタ処理部８のフィルタ出力値を選択して出力するように構成したので、被写体中の有意なエッジのぼけを招くことなく、中低周波のノイズを除去することができる効果を奏する。

なお、この実施の形態２では、複数の画素ウィンドウの画素サイズとして、３×３画素の画素サイズ、５×５画素の画素サイズ、７×７画素の画素サイズの例を示したが、これに限るものではなく、例えば、除去したいノイズの周波数特性に応じて、画素ウィンドウの画素サイズを任意に決定するようにすればよい。

実施の形態３．
図９はこの発明の実施の形態３によるノイズ除去装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
ただし、この実施の形態３では、相互に画素サイズが異なる複数の画素ウィンドウが用意されているものについて説明するため、上記実施の形態２と同様に、図９のノイズ除去装置では、複数の画素ウィンドウ毎に、信号レベル差算出部１、相関度α算出部２、画素間距離算出部３、相関度β算出部４、フィルタ係数算出部５、相関度Γ算出部６、相関度保持部７及びフィルタ処理部８が、各々の処理を実施するものとする。

変化量算出部２１は例えば３個の画素ウィンドウ（３×３画素からなる画素ウィンドウ、５×５画素からなる画素ウィンドウ、７×７画素からなる画素ウィンドウ）毎に、相関度Γ算出部６により今回算出された相関度Γ３，Γ５，Γ７と、前回算出されて相関度保持部７により記憶されている相関度Γ_−１との変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜を算出する処理を実施する。
重み付け加算部２２は変化量算出部２１により算出された変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜に応じて、フィルタ処理部８における画素ウィンドウ毎のフィルタ出力値Ｐ３’_３３，Ｐ５’_３３，Ｐ７’_３３を重み付け加算して出力する処理を実施する。
なお、変化量算出部２１及び重み付け加算部２２から重み付け加算手段が構成されている。

次に動作について説明する。
上記実施の形態２では、最小相関度特定部１１が、相関度Γ算出部６により今回算出された相関度Γ３，Γ５，Γ７の中で、前回算出されて相関度保持部７により記憶されている相関度Γ_−１との変化量が最小の相関度を特定すると、フィルタ処理結果選択部１２が、最小相関度特定部１１により特定された最小の相関度の算出に用いられた画素ウィンドウに対応するフィルタ出力値の選択をフィルタ処理部８に指示するものについて示したが、今回算出された相関度Γ３，Γ５，Γ７と、前回算出されて相関度保持部７により記憶されている相関度Γ_−１との変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜を算出し、その変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜に応じて、フィルタ処理部８における画素ウィンドウ毎のフィルタ出力値Ｐ３’_３３，Ｐ５’_３３，Ｐ７’_３３を重み付け加算して出力するようにしてもよい。

以下、この実施の形態３の処理内容を具体的に説明する。
変化量算出部２１は、例えば、３個の画素ウィンドウ毎に、相関度Γ算出部６により今回算出された相関度Γ３，Γ５，Γ７と、前回算出されて相関度保持部７により記憶されている相関度Γ_−１との変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜を算出する。

重み付け加算部２２は、変化量算出部２１が変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜を算出すると、その変化量｜Γ３−Γ_−１｜，｜Γ５−Γ_−１｜，｜Γ７−Γ_−１｜から、加重係数Ｇ，Ｈ，Ｋを算出する。
Ｇ＋Ｈ＋Ｋ＝１
ただし、加重係数Ｇは変化量｜Γ３−Γ_−１｜が大きいほど小さな値になる係数であり（０≦Ｇ≦１）、加重係数Ｈは変化量｜Γ５−Γ_−１｜が大きいほど小さな値になる係数である（０≦Ｈ≦１）。
また、加重係数Ｋは変化量｜Γ７−Γ_−１｜が大きいほど小さな値になる係数である（０≦Ｋ≦１）。

重み付け加算部２２は、加重係数Ｇ，Ｈ，Ｋを算出すると、例えば、下記の式（５）に示すように、その加重係数Ｇ，Ｈ，Ｋを用いて、フィルタ処理部８における画素ウィンドウ毎のフィルタ出力値Ｐ３’_３３，Ｐ５’_３３，Ｐ７’_３３を重み付け加算し、重み付け加算後のフィルタ出力値Ｐ’_３３を出力する。
Ｐ’_３３＝Ｇ×Ｐ３’_３３＋Ｈ×Ｐ５’_３３＋Ｋ×Ｐ７’_３３ （５）

このように、フィルタ処理部８における画素ウィンドウ毎のフィルタ出力値Ｐ３’_３３，Ｐ５’_３３，Ｐ７’_３３を重み付け加算して出力することで、上記実施の形態２のように、１つのフィルタ出力値を選択して出力する場合よりも、隣接画素間での処理時における画素ウィンドウサイズの相違や、それに伴うフィルタ出力値の急激な変化が起こり難くなる。そのため、画素ウィンドウサイズの切り替えに伴う画質の変化が起こらず、全体としてまとまりのある画像が得られ易くなる効果を奏する。

実施の形態４．
上記実施の形態１〜３では、相関度α算出部２、相関度β算出部４及びフィルタ処理部８が各々の処理を実施する際、画素ウィンドウ内の画素のうち、処理対象画素Ｐ_２２（または、処理対象画素Ｐ_３３）に隣接する画素（例えば、画素Ｐ_２１，Ｐ_２３など）も参照画素Ｐ_ｘｙに含めているものを示したが、図１０に示すように、画素ウィンドウ内の画素のうち、処理対象画素Ｐ_２２に隣接している画素（例えば、画素Ｐ_２１，Ｐ_２３など）を除く画素を参照画素Ｐ_ｘｙとして取り扱うようにしてもよい。
このように、参照画素Ｐ_ｘｙから処理対象画素Ｐ_２２に隣接している画素を除くことにより、処理対象画素Ｐ_２２にローパスフィルタをかけたときに、高周波のノイズが中低周波のノイズに変移する状況の発生を防止することができる効果を奏する。

ここで、図１１はこの発明の実施の形態４によるノイズ除去装置が使用する画素ウィンドウの変形例を示す説明図である。
図１１の画素ウィンドウでは、処理対象画素が参照画素Ｐ_２２と参照画素Ｐ_２４の間に位置している画素（黒く塗りつぶされている画素）であり、この処理対象画素は、参照画素に含まれていない。
このように、処理対象画素が参照画素に含まれていない場合、処理対象画素が孤立点ノイズ（処理対象画素の周辺に存在している画素との関連性がいずれも低く、孤立している画素）であっても、処理対象画素が孤立点として残留してしまう状況の発生を防止することができる効果を奏する。
なお、このような画素ウィンドウを使用するに際しては、輝度と比較して、解像度の低下が知覚され難い色信号に対して、適用することがより効果的である。

この実施の形態４では、参照画素Ｐ_ｘｙとして取り扱う画素が、１画素おきの画素であるものについて示したが、これは一例に過ぎず、２画素や３画素おきの画素であってもよく、所望する出力画像特性に応じて変更可能である。
この場合、画素間隔をあけるほど、隣接画素の処理時に共通して参照する画素が減るため、中低周波のノイズを人間が知覚し難い高周波に変移させることが可能となる。

実施の形態５．
上記実施の形態１〜４では、相関度保持部７が相関度Γ算出部６により前回算出された相関度Γ_−１（前画素処理時の相関度Γ_２１）を記憶するものについて示したが、図１２に示すように、相関度保持部７が前画素処理時の相関度Γ_２１のほかに、処理対象画素Ｐ_２２を含むラインより１ライン前の各画素Ｐ_１１，Ｐ_１２，Ｐ_１３の相関度Γ_１１，Γ_１２，Γ_１３を記憶するようにしてもよい。
この場合、相関度Γ算出部６は、前画素処理時の相関度Γ_２１と１ライン前の各画素Ｐ_１１，Ｐ_１２，Ｐ_１３の相関度Γ_１１，Γ_１２，Γ_１３との平均値Γ_ａｖｅ（＝（Γ_２１＋Γ_１１＋Γ_１２＋Γ_１３）／４）を求め、その平均値Γ_ａｖｅを処理対象画素Ｐ_２２の相関度Γ_−１としてフィルタ処理部８に出力するようにする。
これにより、領域の特徴量である相関度を、左方向だけでなく、４方向（左方向、左上方向、上方向、右上方向）について参照することが可能になり、時定数制御に伴う方向性を緩和することが可能になる。
そのため、上記実施の形態１〜４よりも、フィルタ処理後の画像に処理固有のムラや周波数分布の偏りを低減することができる。

この実施の形態５では、前画素処理時の相関度Γ_２１と１ライン前の各画素Ｐ_１１，Ｐ_１２，Ｐ_１３の相関度Γ_１１，Γ_１２，Γ_１３との平均値Γ_ａｖｅを処理対象画素Ｐ_２２の相関度Γ_−１としてフィルタ処理部８に出力するものについて示したが、これに限るものではなく、例えば、前画素処理時の相関度Γ_２１と１ライン前の各画素Ｐ_１１，Ｐ_１２，Ｐ_１３の相関度Γ_１１，Γ_１２，Γ_１３とを重み付け加算し、その重み付け加算値を処理対象画素Ｐ_２２の相関度Γ_−１としてフィルタ処理部８に出力するようにしてもよく、同様の効果を奏することができる。

上記実施の形態１〜５では、全ての画素に画素値が存在する単一の画像に適用するものについて示したが、これに限るものではなく、例えば、ディジタルカメラのイメージセンサから得られるベイヤー配列の画像に適用して、その画像内の同色画素を対象に処理を行うようにしてもよい。

また、上記実施の形態１〜５では、ディジタルカメラにより入力された画像に重畳されているノイズを除去するものについて示したが、これに限るものではなく、例えば、イメージスキャナなどの画像入力装置により入力された画像や、プリンタやディスプレイ等の画像出力装置から出力された画像に重畳されているノイズを除去するようにしてもよい。

１ 信号レベル差算出部（第１の相関度算出手段）、２ 相関度α算出部（第１の相関度算出手段）、３ 画素間距離算出部（第２の相関度算出手段）、４ 相関度β算出部（第２の相関度算出手段）、５ フィルタ係数算出部（フィルタ係数算出手段）、６ 相関度Γ算出部（第３の相関度算出手段）、７ 相関度保持部（相関度記憶手段）、８ フィルタ処理部（フィルタ処理手段）、１１ 最小相関度特定部（フィルタ処理結果選択手段）、１２ フィルタ処理結果選択部（フィルタ処理結果選択手段）、２１ 変化量算出部（重み付け加算手段）、２２ 重み付け加算部（重み付け加算手段）。

Claims (6)

1. ２次元画像を構成している複数の画素のうち、相互に画素ウィンドウのサイズが異なる複数の画素ウィンドウの全ての中心である処理対象画素と、上記複数の画素ウィンドウの中に存在しており、かつ上記処理対象画素の周辺に存在している各参照画素との信号レベル差を算出し、上記信号レベル差から上記複数の画素ウィンドウ毎に上記処理対象画素と上記各参照画素との間の第１の相関度を算出する第１の相関度算出手段と、
   上記処理対象画素と上記各参照画素との距離を算出し、上記距離から上記処理対象画素と上記各参照画素との間の第２の相関度を上記複数の画素ウィンドウ毎に算出する第２の相関度算出手段と、
   上記第１の相関度と上記第２の相関度とから上記各参照画素のフィルタ係数を算出するフィルタ係数算出手段と、
   上記第１の相関度と上記第２の相関度とから第３の相関度を上記複数の画素ウィンドウ毎に計算し出力する第３の相関度算出手段と、
   上記第３の相関度を上記複数の画素ウィンドウ毎に記憶する相関度記憶手段と、
   上記処理対象画素の信号レベル、上記各参照画素の信号レベル、上記各参照画素のフィルタ係数及び上記相関度記憶手段に記憶された第３の相関度を用いて、上記処理対象画素に重畳されているノイズが除去されたフィルタ処理結果を上記複数の画素ウィンドウ毎に算出するフィルタ処理手段と、
   上記フィルタ処理結果を選択して出力するフィルタ処理結果選択手段とを備え、
   上記２次元画像内の連続して処理する２つの画素のうち先に処理する上記処理対象画素を第１の処理対象画素とし、続いて処理する上記処理対象画素を第２の処理対象画素とすると、上記相関度記憶手段は、記憶している上記第１の処理対象画素の第３の相関度を上記複数の画素ウィンドウ毎に出力し、
   上記フィルタ処理結果選択手段は、上記相関度記憶手段から出力された上記第１の処理対象画素の第３の相関度と上記第３の相関度算出手段から出力された上記第２の処理対象画素の第３の相関度との変化量が最小となる上記画素ウィンドウの上記フィルタ処理結果を選択して出力するノイズ除去装置。
2. 相互に画素サイズが異なる複数の画素ウィンドウが用意されている場合、複数の画素ウィンドウ毎に、第１から第３の相関度算出手段が相関度の算出処理を実施するとともに、フィルタ係数算出手段がフィルタ係数の算出処理を実施して、フィルタ処理手段がフィルタ処理を実施し、
   複数の画素ウィンドウ毎に、上記第３の相関度算出手段により今回算出された相関度と前回算出されて相関度記憶手段により記憶されている相関度との変化量を算出し、上記変化量に応じて、上記フィルタ処理手段における画素ウィンドウ毎のフィルタ処理結果を重み付け加算して出力する重み付け加算手段を設けたことを特徴とする請求項１記載のノイズ除去装置。
3. 第１及び第２の相関度算出手段とフィルタ処理手段は、画素ウィンドウ内の画素のうち、処理対象画素に隣接している画素を除く画素を参照画素として取り扱うことを特徴とする請求項１または請求項２に記載のノイズ除去装置。
4. 相関度記憶手段は、第３の相関度算出手段により前回算出された相関度のほかに、処理対象画素を含むラインより１ライン前の各画素の相関度を記憶して、前回算出された相関度と１ライン前の各画素の相関度との平均値を求め、上記平均値を上記処理対象画素の相関度としてフィルタ処理手段に出力することを特徴とする請求項１から請求項３のうちのいずれか１項記載のノイズ除去装置。
5. 相関度記憶手段は、第３の相関度算出手段により前回算出された相関度のほかに、処理対象画素を含むラインより１ライン前の各画素の相関度を記憶して、前回算出された相関度と１ライン前の各画素の相関度とを重み付け加算し、その重み付け加算値を上記処理対象画素の相関度としてフィルタ処理手段に出力することを特徴とする請求項１から請求項３のうちのいずれか１項記載のノイズ除去装置。
6. ２次元画像を構成している複数の画素のうち、相互に画素ウィンドウのサイズが異なる複数の画素ウィンドウの全ての中心である処理対象画素と、上記複数の画素ウィンドウの中に存在しており、かつ上記処理対象画素の周辺に存在している各参照画素との信号レベル差を算出し、上記信号レベル差から上記複数の画素ウィンドウ毎に上記処理対象画素と上記各参照画素との間の第１の相関度を算出する第１の相関度算出処理ステップと、
   上記処理対象画素と上記各参照画素との距離を算出し、上記距離から上記処理対象画素と上記各参照画素との間の第２の相関度を上記複数の画素ウィンドウ毎に算出する第２の相関度算出処理ステップと、
   上記第１の相関度と上記第２の相関度とから上記各参照画素のフィルタ係数を算出するフィルタ係数算出処理ステップと、
   上記第１の相関度と上記第２の相関度とから第３の相関度を上記複数の画素ウィンドウ毎に計算し出力する第３の相関度算出処理ステップと、
   上記第３の相関度を上記複数の画素ウィンドウ毎に記憶する一方、上記第３の相関度算出処理ステップにて算出されて既に記憶している処理対象画素の相関度を出力する相関度記憶処理ステップと、
   上記処理対象画素の信号レベル、上記各参照画素の信号レベル、上記各参照画素のフィルタ係数及び上記相関度記憶処理ステップから出力された第３の相関度を用いて、上記処理対象画素に重畳されているノイズが除去されたフィルタ処理結果を上記複数の画素ウィンドウ毎に算出するフィルタ処理ステップと、
   上記フィルタ処理結果を選択して出力するフィルタ処理結果選択処理ステップとを備え、
   上記２次元画像内の連続して処理する２つの画素のうち先に処理する上記処理対象画素を第１の処理対象画素とし、続いて処理する上記処理対象画素を第２の処理対象画素とすると、上記相関度記憶処理ステップは、記憶している上記第１の処理対象画素の第３の相関度を上記複数の画素ウィンドウ毎に出力し、
   上記フィルタ処理結果選択処理ステップは、上記相関度記憶処理ステップにより記憶されている上記第１の処理対象画素の第３の相関度と上記第３の相関度算出処理ステップにより算出された上記第２の処理対象画素の第３の相関度との変化量が最小となる上記画素ウィンドウの上記フィルタ処理結果を選択して出力するノイズ除去方法。

Images