JP6222481B2 - 画像処理方法、画像処理システム、画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理方法、画像処理システム、画像処理装置および画像処理プログラムに関する。

画像処理技術の中でも、画像に含まれるノイズを低減する技術は、撮像した画像をより鮮明に再現するために、欠かせない技術である。ノイズを低減する技術としては、例えば、非特許文献１に開示された全変分（Ｔｏｔａｌ―Ｖａｒｉａｔｉｏｎ、 Ｔ−Ｖ）ノルム正則化によるノイズ除去法がある。以下、簡単のため、Ｔ−Ｖ法と称す。

図１９に従来のＴ−Ｖ法を用いた画像処理方法を示す。

図２０は従来のＴ−Ｖ法を用いた画像処理方法を説明するためのフローチャートである。

入力画像Fは骨格成分・残差成分分離部１０１に供給される。

骨格成分・残差成分分離部１０１では、供給された画像Fを、強エッジと平坦領域から構成される骨格成分U_T-Vとテクスチャとノイズから構成される残差成分V_T-Vに分離する。つまり、入力画像Fは以下の式（１）のように骨格成分U_T-Vと残差成分V_T-Vの和で表される。

骨格成分U_T-Vは、以下の式（２）で表されるU_T-Vの全変分ノルムJ(U_T-V)を最小化することで得られる。

なお、式中のxは骨格成分U_T-Vの水平方向画素位置、yは骨格成分U_T-Vの垂直方向画素位置を示す。

この最小化問題はChambolleのProjection法を反復して解ける。あるいは、ChambolleのProjection法の代替法として、Ｔ−Ｖノルムの劣勾配を用いた劣勾配法を用いることができる。

kを反復回数、

をk回目の反復の時の骨格成分、βを対象画像のノイズの標準偏差に基づいて設定する値とし、初期値として、k=0、

を設定する（ステップS１）。

以下の式（３）で表すように、劣勾配法を用いて、k+1回目の反復の時の骨格成分

を計算する（ステップS2）。

反復の停止条件について述べる。入力画像の高さをM、幅をN、k回目の反復の時の残差成分

のm行n列要素を

とすると、予め推定した対象画像のノイズの標準偏差σ_noiseを用いて、

となったときに反復を停止する（ステップS3）ことが考えられる。式（４）はつまり、残差成分

がノイズであるという仮定に基づく。あるいは、閾値εを用いて、

となったときに反復を停止する（ステップS3）ことが考えられる。式（５）はつまり、k回目の反復の結果

とk+1回目の反復

を比較し、変動量が十分小さいと判断したときに解が収束したとみなしている。

また、反復回数kが最大の反復回数k_maxに到達したときにも反復を停止する（ステップS4）。反復回数がk未満であり、

が収束していないとき、k=k+1として劣勾配法を続行する（ステップS5）。

こうして得られた骨格成分U_T-Vと残差成分V_T-Vのうち、骨格成分U_T-Vを以下の式（６）のようにノイズ除去画像Zとして出力する（ステップS6）。

図２１は、骨格成分・残差成分分離部１０１で分離された残差成分のノイズ成分を減衰させ、骨格成分に合成する処理を有する、図１９のＴ−Ｖ法を用いた画像処理方法を拡張した画像処理方法である。

図２２は、図２１で示す画像処理方法を説明するためのフローチャートである。

骨格成分・残差成分分離部１０１で分離された残差成分V_T-Vをノイズ抑制部１０２に供給し、以下の式（７）のように残差成分V_T-Vにノイズ成分を減衰させる関数ｆを作用させる（ステップS7）。骨格成分U_T-Vと、ノイズ成分が減衰された残差成分（すなわちテクスチャ成分）f(V_T-V)を合成し、ノイズが低減された画像Zとして出力する（ステップS6）。なお、ステップS1からステップS5は図１９のＴ−Ｖ法を用いた画像処理方法と同様であるため、説明を省略する。

関数fとしては、図２３（ａ）で示される軟判定閾値処理、図２３（ｂ）で示される硬判定閾値処理、図２３（ｃ）で示されるｆａｃｔｏｒ処理などがあるが、これらに限定されるものではない。関数ｆの入力値をx、出力値をf(x)、閾値をτとすると、図２３（ａ）で示される軟判定閾値処理は、以下の式（８）で表される。

なお、式中のsign関数は正負符号を出力する関数である。

また、図２３（ｂ）で示される硬判定閾値処理は以下の式（９）で表される。

また、γを適当な係数とすると、図２３（ｃ）で示されるｆａｃｔｏｒ処理は以下の式（１０）で表される。

また、軟判定閾値処理または硬判定閾値処理と、ｆａｃｏｔｏｒ処理を式（１１）のように組み合わせることも可能である。

式（１１）中では軟判定閾値処理を用いて関数を構成したが、当然ながら硬判定閾値処理を用いて同様の関数を構成することも可能である。

L. Rudin, S. Osher, E. Fatemi, "Nonlinear Total Variation based noise removal algorithms," Physica D vol.60, 1992, pp.259-268.

しかしながら、非特許文献１の技術は、上述のChambolleのProjection法を、解が収束するまで繰り返し適用する反復型の処理であるため、計算コストが高くなるという課題がある。

また、T−V法は、高周波ノイズは除去できるものの、ノイズ粒子の分布密度のムラにより発生し、高周波ノイズと比べて比較的広い範囲に広がる低周波ノイズに対応できない課題がある。低周波ノイズは数ピクセルから数十ピクセルといった広範な領域におけるノイズ粒子の分布密度ムラによるものであり、このような低周波ノイズに対するT−Vノルムは小さくなるため平坦領域（ノイズがない）とみなされる。すなわち、T―V法では原理的に低周波ノイズには対応することができない。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は様々な周波数帯のノイズを効果的かつ高速に除去できる画像処理方法、及び画像処理装置を提供することにある。

本発明は、入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する画像処理方法である。

本発明は、入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段とを有する画像処理装置である。

本発明によれば、様々な周波数帯のノイズを効果的かつ高速に除去できる。

第１の実施の形態の画像処理方法の説明図である。 第１の実施の形態の画像処理方法の手順例を説明するフローチャートである。 図３（a）はノイズを含んだ原画像である。図３（ｂ）は図３（ａ）をＷａｖｅｌｅｔ Ｓｈｒｉｎｋａｇｅ法でノイズ除去した結果の画像である。 第１の実施の形態から派生する画像処理方法の説明図である。 第１の実施の形態から派生する画像処理方法の手順例を説明するフローチャートである。 第１の実施の形態の画像処理装置の構成例を示すブロック図である。 第１の実施の形態から派生する画像処理装置の構成例を示すブロック図である。 第２の実施の形態の画像処理方法の説明図である。 第２の実施の形態の画像処理方法の手順例を説明するフローチャートである。 第２の実施の形態の画像処理装置の構成例を示すブロック図である。 第３の実施の形態の画像処理方法の説明図である。 第３の実施の形態の画像処理方法の手順例を説明するフローチャートである。 第３の実施の形態の画像処理装置の構成例を示すブロック図である。 第３の実施の形態から派生する画像処理方法の説明図である。 第４の実施の形態の画像処理方法の説明図である。 図１６（a）は原画像である。図１６（ｂ）は図１６（a）の原画像に対し、ウェーブレット変換を適用した結果である。図１６（ｃ）は図１６（a）の原画像に対し、ウェーブレット変換を再帰的に３回適用した結果である。 第４の実施の形態の画像処理方法の手順例を説明するフローチャートである。 第４の実施の形態の画像処理装置の構成例を示すブロック図である。 既存の画像処理方法の説明図である。 既存の画像処理方法の手順例を説明するフローチャートである。 既存の画像処理方法の説明図である。 既存の画像処理方法の手順例を説明するフローチャートである。 図２３（ａ）は軟判定閾値処理の入出力応答である。図２３（ｂ）は硬判定閾値処理の入出力応答である。図２３（ｃ）はｆａｃｔｏｒ処理の入出力応答である。

＜第１の実施の形態＞
本発明の第１の実施の形態を説明する。

図１は、本発明の第１の実施の形態である画像処理方法を説明するための機能ブロック図である。

本発明の第１の実施の形態である画像処理方法は、入力画像中のエッジ成分を保存する軽量なノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１とを備えたことを特徴とする。

なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ−Ｖ法で説明するが、これに限定されるものではない。

図２は、第１の実施の形態の画像処理方法を説明するためのフローチャートである。

以下、処理の流れについて説明する。

入力画像Fは、初期ノイズ除去画像生成部１０３に供給される。

初期ノイズ除去画像生成部１０３では、入力画像Fに対してエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像U_initを生成する（ステップＳ８）。ノイズとテクスチャから構成される初期残差成分をV_initとすると、以下の式（１２）が成り立つ。

生成された初期ノイズ除去画像U_initは骨格成分・残差成分分離部１０１に供給される。また、分離された初期残差成分V_initは反復制御部１０４に供給される。

ステップＳ８における、エッジ成分を保存する軽量なノイズ除去方法について説明する。軽量なノイズ除去方法はＷａｖｅｌｅｔ Ｓｈｒｉｎｋａｇｅ（ＷＳ）法やＢｉｌｔａｔｅｒａｌ Ｆｉｌｔｅｒ（ＢＦ）などが適用できる。これらの手法は、エッジ保存性が高く、Ｔ−Ｖ法と比較して低計算コストの画像ノイズ除去方法である。

ＷＳ法は、画像を２次元ウェーブレット変換し、ウェーブレット変換係数の高周波成分を０方向に減衰させた後に２次元ウェーブレット逆変換し、画像を再構成することで、ノイズを低減した画像を得る。ウェーブレット変換係数をw、Ｓｈｒｉｎｋａｇｅ処理後のウェーブレット変換係数をw’、減衰量をλとすると、減衰処理は、例えば、以下の式（１３）や式（１４）で表される。

なお、式（１３）中のsign関数は正負符号を出力する関数である。

通常の画像において、絶対値の小さなウェーブレット変換係数はほぼノイズ成分であるため、適切な減衰量λを設定してウェーブレット変換係数を減衰させることで、画像に含まれるノイズ成分を低減できる。また、エッジ成分を表すとされる絶対値の大きなウェーブレット変換係数は残るため、結果的に入力画像中のエッジは保存される。

ＢＦは、重み付き平滑化フィルタの派生型であり、フィルタ係数を決定する以下の２つの指標により、エッジを保存するノイズ除去法を実現する。

１つめの指標は、ノイズ除去対象画素とその周辺画素の空間的距離である。対象画素に空間的に近接する画素は、対象画素と相関が高いとみなして、フィルタ係数の重みを大きくする。逆に、空間的に離れた画素は、対象画素と相関が低いとみなして、フィルタ係数の重みを小さくする。

２つめの指標は、ノイズ除去対象画素とその周辺画素の画素値の差である。画素値の差が小さいほど、対象画素との相関が高いとして、フィルタ係数の重みを大きくする。逆に、画素値の差が大きな画素は、対象画素との相関が低いとして、フィルタ係数の重みを小さくする。

特に２つめの指標により、画素値がほぼ一様な領域、つまり平坦領域では一般的な重み付き平滑化フィルタのように働くため、ノイズを除去することができ、画素値の差の大きな領域、つまりエッジを含む領域では、対象画素以外のフィルタ係数の重みが小さくなるため、エッジが保存される。

ＷＳ法やＢＦの計算コストはＴ−Ｖ法と比較して小さい。しかし、ＷＳ法は、処理後の画像に視覚的アーティファクトが発生することがある。例を図３に示す。図３（ａ）はノイズを含む画像、図３（ｂ）はＷＳ法でノイズを除去した画像である。図３（ｂ）の全体に元の画像に存在しない不自然な劣化が見られる。また、ＢＦは原理上、ごま塩ノイズといわれる孤立ノイズが除去できない。しかし、本実施の形態におけるＷＳ法とＢＦは、あくまで初期ノイズ除去画像を生成するために用いられ、本発明の後段の処理によってＷＳ法で発生するアーティファクトやＢＦ法で除去できない孤立ノイズは除去されるため、問題とならない。また、従来のＷＳ法では、アーティファクトの発生を軽減するための厳密な減衰量設定が必要であったが、本発明においては、ＷＳ法で発生するアーティファクトを後段の処理によって除去できるため、ＷＳ法の減衰量設定を簡略化することが可能である。

反復制御部１０４は、初期ノイズ除去画像生成部１０３から供給される初期残差成分V_initに基づいて、Ｔ−Ｖ法の反復回数を制御する。

まず、初期ノイズ除去画像生成部１０３から供給される初期残差成分V_initから標準偏差σ_initを以下のように計算する（ステップＳ９）。ステップＳ９では、初期残差成分V_initのm行n列要素を

とすると、標準偏差σ_initは以下の式（１５）で表されるものとして計算する。

従来のＴ−Ｖ法では式（３）で示されるパラメータβや固定値の最大反復回数k_maxが用いられるが、本実施の形態では、予め推定したノイズの標準偏差σ_noiseと、ステップＳ９で計算した標準偏差σ_initから、各パラメータを補正する（ステップＳ１０）。

例えば、予め推定したノイズの標準偏差σ_noiseと、ステップＳ９で計算した標準偏差σ_initから計算される、以下の式（１６）で示されるパラメータβ’を用いる。

すなわち、式（１６）において、σ_initがσ_noiseに近い場合には、Ｔ−Ｖ法の収束解の近傍にあることを意味しており、収束速度を向上させることが可能となる。具体的には、１回の反復において探索する領域を狭めることで収束速度を向上させる。

さらに、最大反復回数k’_maxを、従来の最大反復回数k_maxと、予め定める最小反復回数k_minと、予め推定したノイズの標準偏差σ_noiseと、初期残差成分V_initの標準偏差σ_initとを用いて、以下の式（１７）のように定める（ステップＳ１０）。

なお、max関数は２つの入力値から大きい方を出力する関数、min関数は２つの入力値から小さい方を出力する関数、round関数は整数値への丸め関数を示す。式（１７）より、予め推定したノイズの標準偏差σ_noiseとV_initの標準偏差σ_initとが近い値であるときは、良い初期解が得られたとみなしてＴ−Ｖ法の反復回数を削減する。逆に、予め推定したノイズの標準偏差σ_noiseとV_initの標準偏差σ_initとが近い値でないときは、良い初期解が得られなかったとみなしてＴ−Ｖ法の反復回数をk_maxに近い値に保つ。

骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像U_initを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、以下の式（１８）のように強エッジと平坦領域で構成される骨格成分U_T-Vとテクスチャとノイズで構成される残差成分V_T-Vに分離する。

本実施の形態の骨格成分・残差成分分離部１０１での処理では、ステップS1における初期値設定において、従来法と異なり、

と設定する。さらに、ステップS3の反復停止判定において、従来法の式（４）ではなく、以下の式（１９）を反復停止条件として用いる。

式（１９）より、従来のＴ−Ｖ法の反復停止条件と同様に、σ_noiseに基づいてＴ−Ｖ法の反復を制御することができ、V_initの標準偏差σ_initがσ_noiseに近い場合には探索する領域を狭めることで少ない反復回数でＴ−Ｖ法の解が収束するため、処理の高速化が実現できる。また、ステップS4の反復停止判定において、従来法のk_maxでなく、ステップS10で設定したk’_maxを用いる。なお、ステップＳ２、Ｓ５における処理は従来法と同様であるため、説明を省略する。

骨格成分U_T-Vをノイズが除去された画像とみなして、以下の式（２０）のようにノイズ除去画像Zを得る（ステップS6）。

また、当然ながら、本実施の形態では、図２１のように、ノイズ成分を減衰させた残差成分V_T-Vと、骨格成分U_T-Vを合成して、ノイズ除去画像Zを出力する構成も可能である。発明の画像処理方法では、図４のような構成となり、図５のようなフローチャートで表される。骨格成分・残差成分分離部１０１で分離された残差成分V_T-Vをノイズ抑制部１０２に供給し、以下の式（２１）のように、V_T-Vにノイズ成分を減衰させる関数ｆを作用させ（ステップS7）、さらに、ノイズ成分が減衰された残差成分f(V_T-V)と、骨格成分・残差成分分離部１０１から供給される骨格成分U_T-Vを合成し、ノイズ除去画像Zとして出力する（ステップS6）。

次に、第１の実施の形態の画像処理方法を適用した具体的な画像処理装置について説明する。図６は、第１の実施の形態の画像処理装置の構成例を示す図である。

画像処理装置１０００は、入力画像１に対してノイズ除去を施し出力画像２を出力する装置である。

画像処理装置１０００は、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０とを備える。

初期ノイズ除去画像生成部３は、入力画像１が与えられると、ステップＳ８で説明したエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像を生成する。

初期残差成分保存メモリ４は、初期ノイズ除去画像生成部３で入力画像１から分離された初期残差成分を保存する。

初期残差成分の標準偏差計算部５は、初期残差成分保存メモリ４を参照して、ステップＳ９で説明した手順で初期残差成分の標準偏差を計算する。

初期残差成分の標準偏差保存メモリ６は、初期残差成分の標準偏差計算部５で計算された初期残差成分の標準偏差を保存する。

劣勾配法のパラメータ計算部７は、初期残差成分の標準偏差保存メモリ６を参照して、ステップＳ１０で説明した手順で、劣勾配法のパラメータβ’と、劣勾配法の最大反復回数パラメータk’_maxを計算する。

劣勾配法のパラメータ保存メモリ８は、劣勾配法のパラメータ計算部７で計算された劣勾配法のパラメータを保存する。

劣勾配法の反復制御部９は、初期残差成分保存メモリ４と、劣勾配法のパラメータ保存メモリ８を参照して、ステップＳ３とステップＳ４で説明した手順で骨格成分・残差成分分離部１０における劣勾配法の反復を制御する。

骨格成分・残差成分分離部１０は、劣勾配法の反復制御部９の制御を受けて、ステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５で説明した手順で、初期ノイズ除去画像生成部３から供給される初期ノイズ除去画像を初期解として劣勾配法を実行し、初期ノイズ除去画像を骨格成分と残差成分に分離し、骨格成分を出力画像２とする。

なお、図６に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。

さらに、画像処理装置１０００は、コンピュータで実現可能であり、画像処理装置を構成する各構成要素、すなわち、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０は、コンピュータの中央処理装置（ＣＰＵ）に上述した機能を実現させるためのプログラムとして実現可能である。

画像処理装置を構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、第１の実施の形態に限らず、その他の実施の形態でも同様である。

また、画像処理装置１０００は、図７に示す画像処理装置１００１のように、ノイズ成分を減衰させた残差成分と、骨格成分を合成して、出力画像１を生成する構成も可能である。

画像処理装置１００１は、画像処理装置１０００と同様に、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、を備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。

画像処理装置１００１は、画像処理装置１０００と異なり、ノイズ抑制部１１と、合成部１２と、を備える。

ノイズ抑制部１１では、骨格成分・残差成分分離部１０から供給される残差成分から、ステップＳ７の手順で、ノイズ成分を抑圧する。

合成部１２では、骨格成分・残差成分分離部１０から供給される骨格成分と、ノイズ抑制部１１から供給されるノイズ成分が減衰された残差成分（すなわちテクスチャ成分）を合成して出力画像２を生成する。

図７に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。

第１の実施の形態によれば、エッジ成分を保存する軽量なノイズ除去方法を用いて初期ノイズ除去画像を生成してT−V法の初期解とし、さらに入力画像から分離された残差成分に基づいてＴ−Ｖ法の反復回数を制御することで、解が収束するまでに必要なChambolleのProjection法の反復回数を削減し、結果として計算時間が短縮される。

＜第２の実施の形態＞
本発明の第２の実施の形態を説明する。

図８は、本発明の第２の実施の形態である画像処理方法を説明するための機能ブロック図である。

本発明の第２の実施の形態である画像処理方法は、入力画像中のエッジ成分を保存する軽量なノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部１０１を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１と、前記初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分、及び、前記Ｔ−Ｖ法に基づいて骨格成分と残差成分に分離する骨格成分・残差成分分離部において初期ノイズ除去画像から分離された残差成分のノイズを、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分の標準偏差に基づいて抑制するノイズ抑制部２０１を備えたことを特徴とする。

なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ−Ｖ法で説明するが、これに限定されるものではない。

図９は、本発明の第２の実施の形態の画像処理方法を説明するためのフローチャートである。

以下、処理の流れについて説明する。

入力画像Fは、初期ノイズ除去画像生成部１０３に供給される。

初期ノイズ除去画像生成部１０３では、入力画像Fに対してエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像U_initを生成する（ステップＳ８）。さらに、入力画像Fからテクスチャとノイズで構成される初期残差成分V_initを分離する。エッジ成分を保存する軽量なノイズ除去方法については第１の実施の形態と同様であるため、説明を省略する。生成された初期ノイズ除去画像U_initは骨格成分・残差成分分離部１０１に供給される。第２の実施の形態では第１の実施の形態と異なり、分離された初期残差成分V_initは、反復制御部１０４だけでなく、ノイズ抑制部２０１にも供給される。

反復制御部１０４は、初期ノイズ除去画像生成部１０３から供給された初期残差成分V_initに基づき、Ｔ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。第２の実施の形態では第１の実施の形態と異なり、ステップＳ９で計算される初期残差成分V_initの標準偏差σ_initはノイズ抑制部２０１に供給される。

骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像U_initを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、強エッジと平坦領域で構成される骨格成分U_T-Vと、テクスチャとノイズで構成される残差成分V_T-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。残差成分V_T-Vはノイズ抑制部２０１に供給される。

ノイズ抑制部２０１は、反復制御部１０４から供給された残差成分V_initの標準偏差σ_initに基づき、初期ノイズ除去画像生成部１０３から供給された残差成分V_initと骨格成分・残差成分分離部１０１から供給された残差成分V_T-Vにノイズ成分を減衰させる関数ｆを作用させ、ノイズ成分が減衰された残差成分f(V_init, V_T-V)を生成する（ステップＳ１１）。

ステップＳ１１において、関数ｆは、式（１１）を基本式として、これを拡張して構成する。例えば、閾値τ₁とτ₂、係数γ₁とγ₂を用いて、軟判定閾値処理とｆａｃｔｏｒ処理の組み合わせを、以下の式（２２）のように、残差成分V_initとV_T-Vにそれぞれ適用することで関数ｆを構成できる。

ここで、τ₁とτ₂は、予め推定した対象画像のノイズの標準偏差σ_noiseと反復制御部１０４から供給された初期残差成分の標準偏差σ_initを用いて、

として設定される。a₁とa₂は係数である。

また、γ₁＝０とすると、第１の実施の形態の図２で示したような、骨格成分・残差成分分離部１０１で分離された残差成分V_T-Vからのみノイズ成分を減衰させることも可能である。この場合にも、反復制御部１０４から供給された初期残差成分V_initの標準偏差σ_initに基づき、ノイズ成分の減衰量が設定される点が第１の実施の形態とは異なる。

当然であるが、軟判定閾値処理とｆａｃｔｏｒ処理の順番を逆にしてもよいし、硬判定閾値処理を組み合わせてもよい。同様の効果を持つ処理であれば、関数ｆは式（２２）に限定されるものではない。

最終的に、以下の式（２４）のように、骨格成分・残差成分分離部１０１から供給される骨格成分U_T-Vと、ノイズ抑制部２０１から供給されるノイズ成分が減衰された残差成分（すなわちテクスチャ成分）f(V_init, V_T-V)を合成して、ノイズ除去画像Zを得る（ステップＳ６）。

上述した動作に基づいて、発明の画像処理方法はノイズ除去画像を生成する。

次に、第２の実施の形態の画像処理方法を適用した画像処理装置について説明する。図１０は、第２の実施の形態の画像処理装置の構成例を示す図である。

画像処理装置１００２は、入力画像１に対してノイズ除去を施し出力画像２を出力する装置である。

画像処理装置１００２は、図７に示す画像処理装置１００１のように、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、合成部１２と、を備える。これらの処理は画像処理装置１００１と同様であるため、説明を省略する。

画像処理装置１００２は、画像処理装置１００１と異なる処理を実行するノイズ抑制部１３を備える。

ノイズ抑制部１３では、初期残差成分の標準偏差保存メモリ６を参照して得られる初期残差成分の標準偏差に基づき、初期残差成分保存メモリ４を参照して得られる初期残差成分と、骨格成分・残差成分分離部１０から供給される残差成分と、から、ステップＳ１１の手順でノイズ成分を抑圧する。

図１０に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。

第２の実施の形態によれば、初期ノイズ除去画像生成時に分離した残差成分に基づいて、Ｔ−Ｖ法で分離した残差成分だけでなく、初期ノイズ除去画像生成時に分離した初期残差成分からもノイズ成分を減衰させて骨格成分に合成することで、エッジやテクスチャをより維持したまま、高速にノイズを除去できる。

＜第３の実施の形態＞
本発明の第３の実施の形態を説明する。

第３の実施の形態では、第１の実施の形態の画像処理方法のエッジ保存性を高めた画像処理方法を示す。

第１の実施の形態や第２の実施の形態においても、エッジやテクスチャを保った高速なノイズ除去が実現できるが、画像によってはＴ−Ｖ法でノイズが過度に抑圧され、解像度感が低下する場合がある。そこで、第３の実施の形態では、高速にノイズを除去するとともに、ノイズの過抑圧を防止できる画像処理方法について説明する。

図１１は、本発明の第３の実施の形態である画像処理方法を説明するための機能ブロック図である。

本発明の第３の実施の形態である画像処理方法は、ＷＳ法に基づいて初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１と、初期ノイズ除去画像生成部１０３において、初期ノイズ除去画像を生成する過程で計算されるウェーブレット変換係数とノイズ減衰量に基づいて、骨格成分・残差成分分離部１０１で生成される骨格成分を制約するための空間を生成する制約空間生成部３０４と、骨格成分・残差成分分離部１０１において生成された骨格成分のウェーブレット変換係数を制約空間生成部３０４において生成される制約空間に射影する射影部３０６を備えたことを特徴とする。

なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ−Ｖ法で説明するが、これに限定されるものではない。

図１２は、第１の実施の形態の画像処理方法を説明するためのフローチャートである。

以下、処理の流れについて説明する。

入力画像は、初期ノイズ除去画像生成部１０３に供給される。

初期ノイズ除去画像生成部１０３では、ＷＳ法を用いて初期ノイズ除去画像生成する。

まず、ウェーブレット変換部３０１では、供給された入力画像をウェーブレット変換し（ステップＳ１２）、ウェーブレット変換係数をＳｈｒｉｎｋａｇｅ部３０２と制約空間生成部３０４に供給する。

Ｓｈｒｉｎｋａｇｅ部３０２では、ウェーブレット変換部３０１から供給されたウェーブレット変換係数に対してＳｈｒｉｎｋａｇｅを行う（ステップＳ１３）。例えば、Ｓｈｒｉｎｋａｇｅの一形態として、式（１３）や式（１４）の処理を適用できる。さらに、Ｓｈｒｉｎｋａｇｅが適用されたウェーブレット変換係数をウェーブレット逆変換部３０３に供給し、Ｓｈｒｉｎｋａｇｅの減衰量λを制約空間生成部３０４に供給する。

ウェーブレット逆変換部３０３では、Ｓｈｒｉｎｋａｇｅ部３０２から供給されたウェーブレット変換係数をウェーブレット逆変換し（ステップＳ１４）、初期ノイズ除去画像U_initと残差成分V_initを得る。得られた初期ノイズ除去画像U_initを骨格成分・残差成分分離部１０１に、残差成分V_initを反復制御部１０４に供給する。

制約空間生成部３０４では、ウェーブレット変換部３０１から供給されたウェーブレット変換部係数と、Ｓｈｒｉｎｋａｇｅ部３０２から供給された減衰量λを用いて、制約空間Sを生成する（ステップＳ１５）。

入力画像の高さをM、幅をN、画像における垂直方向の座標位置をm、水平方向の座標位置をn、ウェーブレット変換係数をwとすると、制約空間Sは以下の式（２５）で表される。

なお、式中ＷＴ（・）はウェーブレット変換、ｃは係数を表す。式（２５）は、制約空間Sをウェーブレット変換すると、そのウェーブレット変換係数は、入力画像のウェーブレット変換係数の±c×λの範囲内にあることを示す。

生成された制約空間Sは射影部３０６に供給される。

反復制御部１０４は、ウェーブレット逆変換部３０３から供給されるノイズ成分V_initに基づいて、Ｔ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。

骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像U_initを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分U_T-Vとテクスチャとノイズで構成される残差成分V_T-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。得られた骨格成分U_T-Vをウェーブレット変換部３０５に供給する。

ウェーブレット変換部３０５では、骨格成分・残差成分分離部１０１から供給された骨格成分U_T-Vをウェーブレット変換し（ステップＳ１６）、ウェーブレット変換係数を射影部３０６に供給する。

射影部３０６では、制約空間生成部３０４から供給された制約空間Sとウェーブレット変換部３０５から供給されたウェーブレット変換係数を用いて、以下の式（２６）で表す射影処理を行う（ステップＳ１７）。

なお、tはウェーブレット変換部３０５から出力された、骨格成分U_T-Vにウェーブレット変換を適用して得られたウェーブレット変換係数であり、t’は制約空間Sへの射影処理で出力されるウェーブレット変換係数である。

つまり、第３の実施の形態において、出力画像Zのウェーブレット変換係数は、入力画像Fのウェーブレット変換係数w_m,nの±c×λの範囲内で変動するように制約される。これにより、ノイズが過抑圧されることを防ぐことができる。

さらに、射影部３０６は、式（２６）の射影処理適用後のウェーブレット変換係数をウェーブレット逆変換部３０７に供給する。

ウェーブレット逆変換部３０７では、射影部３０６から供給されたウェーブレット変換係数をウェーブレット逆変換し（ステップＳ１８）、ノイズを除去した出力画像を得る。

上述した動作に基づいて、本発明の画像処理方法はノイズ除去画像を生成する。

次に、第３の実施の形態の画像処理方法を適用した具体的な画像処理装置について説明する。図１３は、第３の実施の形態の画像処理装置の構成例を示す図である。

画像処理装置１００３は、入力画像１に対して画像処理を施し出力画像２を出力する装置である。

画像処理装置１００３は、図７に示す画像処理装置１０００のように、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、制約空間生成部１４と、制約保存メモリ１５と、制約処理部１６とを備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。

初期ノイズ除去画像生成部３は、ステップＳ１２、Ｓ１３、Ｓ１４の手順で、ＷＳ法を用いた初期ノイズ除去画像生成を実行し、初期ノイズ除去画像生成の過程で得られるウェーブレット変換係数と減衰量を、制約空間生成部１４に供給する。

制約空間生成部１４では、初期ノイズ除去画像生成部３から供給されるウェーブレット変換係数と減衰量から、ステップＳ１５の手順で制約空間を生成する。

制約処理部１６では、骨格成分・残差成分分離部１０から供給される骨格成分と、制約空間生成部１４から供給される制約空間と、から、ステップＳ１６、Ｓ１７、Ｓ１８の手順で、骨格成分の変動範囲を制約する。

図１３に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。

第３の実施の形態によれば、Ｔ−Ｖ法が過度にノイズを抑圧したことで解像度感が低下する問題を解決し、エッジやテクスチャをより維持したまま、高速にノイズを除去できる。

なお、第３の実施の形態を第２の実施の形態と組み合わせることで、図１４のように、よりエッジとテクスチャを維持する画像処理方法を実現することも可能である。処理の説明は省略する。

＜第４の実施の形態＞
本発明の第４の実施の形態を説明する。

図１５は、本発明の第４の実施の形態である画像処理方法を説明するための機能ブロック図である。

第４の実施の形態では、第１の実施の形態の画像処理方法の低周波ノイズ除去性能を高めた画像処理方法を示す。

図１５の構成では、３階層の多重解像度ウェーブレット変換を行う場合の処理の流れを示しているが、３階層以外でも容易に拡張が可能である。図１６に多重解像度ウェーブレット変換の例を示す。図１６（ａ）が原画像、図１６（ｂ）が１段のウェーブレット変換、図１６（ｃ）が３階層のウェーブレット変換を示す。図１６（ｂ）において、Ｌは低周波側、Ｈは高周波側を示し、ＬとＨの組み合わせでサブバンドを表現する。例えば、ＬＨは、水平方向が低周波側、垂直方向が高周波側であることを示す。図１６（ｂ）におけるＬＬ成分に対して再帰的にウェーブレット変換を適用することで、図１６（ｃ）のような多重解像度ウェーブレット変換が実現される。以後、多重解像度ウェーブレット変換において、第ｋ階層のＬＬ成分を、ＬＬ_ｋと表記する。第ｋ階層のＬＨ、ＨＬ、ＨＨ成分も同様に表記する。

多重解像度ウェーブレット変換のＬＬ成分は、ウェーブレット変換係数であるものの、原画像の縮小画像としての側面も持つ。例えば、３階層の多重解像度ウェーブレット変換を実行した時の、３階層目のＬＬ成分は、原画像を水平・垂直両方向に1/8した、原画像の1/64の解像度をもつ縮小画像である。Ｔ−Ｖ法は画像領域におけるノイズ除去処理であるため、ＬＬ成分のウェーブレット変換係数に対して実行可能である。深い階層のＬＬ成分は、原画像の低周波成分で構成されると考えられるため、深い階層においてデノイズ処理を実行することで、低周波ノイズを除去することができる。

図１７は、第４の実施の形態の画像処理方法を説明するためのフローチャートである。

以下、処理の流れについて説明する。

入力画像Ｆはウェーブレット変換部４０１に供給される。

ウェーブレット変換部４０１では、供給された入力画像Ｆをウェーブレット変換し、ウェーブレット変換係数のＬＬ_１成分をウェーブレット変換４０２に供給する。この時点におけるＬＬ_１成分は、原画像に対して1/4の解像度をもつ縮小画像である。さらに、ＬＨ_１、ＨＬ_１、ＨＨ_１成分をＳｈｒｉｎｋａｇｅ部４１０に供給する。

ウェーブレット変換部４０２では、ウェーブレット変換部４０１から供給された第１階層のＬＬ_１成分をウェーブレット変換し、得られたウェーブレット変換係数のＬＬ_２成分をウェーブレット変換４０３に供給する。この時点におけるＬＬ_２成分は、原画像に対して1/16の解像度をもつ縮小画像である。さらに、ＬＨ_２、ＨＬ_２、ＨＨ_２成分をＳｈｒｉｎｋａｇｅ部４０７に供給する。

ウェーブレット変換部４０３では、ウェーブレット変換部４０２から供給された第２階層のＬＬ_２成分をウェーブレット変換し、得られたウェーブレット変換係数ＬＬ_３、ＬＨ_３、ＨＬ_３、ＨＨ_３をＳｈｒｉｎｋａｇｅ部４０４に供給する。

この時点で、３階層の多重解像度ウェーブレット変換が実現される（ステップＳ１９）。続いて、最も低解像度な階層からノイズ除去処理を実行する（ステップＳ２０）。

Ｓｈｒｉｎｋａｇｅ部４０４では、ウェーブレット変換４０３から供給されたウェーブレット変換係数に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数を逆ウェーブレット変換部４０５に供給する。

ウェーブレット逆変換部４０５では、Ｓｈｒｉｎｋａｇｅ部４０４から供給されたウェーブレット変換係数を逆ウェーブレット変換し、原画像に対して1/16の解像度をもつ初期ノイズ除去画像U_3,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４０７に供給する。また、入力画像Ｆから分離された初期残差成分V_3,initを反復制御部４０６に供給する。

反復制御部４０６では、ウェーブレット逆変換部４０５から供給されるノイズ成分V_3,initに基づいて、骨格成分・残差成分分離部４０７におけるＴ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。

骨格成分・残差成分分離部４０７では、逆ウェーブレット変換部４０５から供給された初期ノイズ除去画像U_3,initを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分U_3,T-Vとテクスチャとノイズで構成される残差成分V_3,T-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。未処理の上位階層がある（ステップＳ２２）ため、得られた骨格成分U_3,T-Vをウェーブレット変換係数のＬＬ’_２成分とみなして逆ウェーブレット変換４０８に供給する。

第３階層での処理が完了したので、続いて第２階層での処理を開始する（ステップＳ２３）。

Ｓｈｒｉｎｋａｇｅ部４０８では、ウェーブレット変換部４０２から供給されたウェーブレット変換係数のＬＨ_２、ＨＬ_２、ＨＨ_２成分に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数のＬＨ’_２、ＨＬ’_２、ＨＨ’_２成分を逆ウェーブレット変換部４０９に供給する。

ウェーブレット逆変換部４０９では、Ｓｈｒｉｎｋａｇｅ部４０８から供給されたウェーブレット変換係数のＬＨ’_２、ＨＬ’_２、ＨＨ’_２成分と、Ｔ−Ｖ法４０６から供給されるウェーブレット変換係数のＬＬ’_２成分を用いてウェーブレット逆変換し、原画像に対して1/4の解像度をもつ初期ノイズ除去画像U_2,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４１１に供給する。また、入力画像Ｆから分離された初期残差成分V_2,initを反復制御部４１０に供給する。

反復制御部４１０では、ウェーブレット逆変換部４０９から供給されるノイズ成分V_2,initに基づいて、骨格成分・残差成分分離部４１１におけるＴ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。

骨格成分・残差成分分離部４１１では、ウェーブレット逆変換部４０９から供給された初期ノイズ除去画像U_2,initを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分U_2,T-Vとテクスチャとノイズで構成される残差成分V_2,T-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。未処理の上位階層がある（ステップＳ２２）ため、得られた骨格成分U_2,T-Vをウェーブレット変換係数のＬＬ’₁成分とみなしてウェーブレット逆変換４１３に供給する。

第２階層での処理が完了したので、続いて第１階層での処理を開始する（ステップＳ２３）。

Ｓｈｒｉｎｋａｇｅ部４１２では、ウェーブレット変換部４０１から供給されたウェーブレット変換係数のＬＨ_１、ＨＬ_１、ＨＨ_１成分に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数のＬＨ’_１、ＨＬ’_１、ＨＨ’_１成分をウェーブレット逆変換部４１３に供給する。

ウェーブレット逆変換部４１３では、Ｓｈｒｉｎｋａｇｅ部４１２から供給されたウェーブレット変換係数のＬＨ’_１、ＨＬ’_１、ＨＨ’_１成分と、骨格成分・残差成分分離部４１１から供給されるウェーブレット変換係数のＬＬ’_１成分を用いて逆ウェーブレット変換し、原画像と同じ解像度をもつ初期ノイズ除去画像U_1,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４１５に供給する。また、入力画像Ｆから分離された初期残差成分V_1,initを反復制御部４１４に供給する。

反復制御部４１４では、ウェーブレット逆変換部４１３から供給されるノイズ成分V_1,initに基づいて、骨格成分・残差成分分離部４１５におけるＴ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。

骨格成分・残差成分分離部４１５では、ウェーブレット逆変換部４１３から供給された原画像と同じ解像度をもつ初期ノイズ除去画像U_1,initを初期解としてＴ−Ｖ法を適用し、骨格成分U_1,T-Vとテクスチャ成分V_1,T-Vを得る。

第１階層での処理が完了したので、得られた骨格成分U_1,T-Vをノイズ除去画像Zとして出力する（ステップＳ６）。

上述した動作に基づいて、発明の画像処理方法はノイズ除去画像を生成する。

次に、第４の実施の形態の画像処理方法を適用した画像処理装置について説明する。図１８は、第４の実施の形態の画像処理装置の構成例を示す図である。

画像処理装置１００４は、入力画像１に対して画像処理を施し出力画像２を出力する装置である。

画像処理装置１００４は、図７に示す画像処理装置１０００のように、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、を備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。

多重解像度ウェーブレット変換部１７では、ステップＳ１９の手順で入力画像１に対して多重解像度ウェーブレット変換を適用する。

高周波成分保存メモリ１８では、多重解像度ウェーブレット変換部１７から供給される、ウェーブレット変換係数の高周波成分を保存する。

初期ノイズ除去画像生成部３では、多重解像度ウェーブレット変換部１７、または、出力画像制御部１９から供給される処理対象の階層のウェーブレット変換係数の低周波成分と、高周波成分保存メモリ１８を参照して取得する処理対象の階層のウェーブレット変換係数の高周波成分とから、ステップＳ２１の手順で初期ノイズ除去画像を生成する。

出力画像制御部１９では、処理対象の階層の解像度が入力画像１の解像度と一致したときは、骨格成分・残差成分分離部１０から供給される骨格成分を出力画像２とする。処理対象の階層の解像度が入力画像１の解像度より低い時は、ステップＳ２２、Ｓ２３の手順で、骨格成分・残差成分分離部１０から供給される骨格成分を１階層解像度の高いウェーブレット変換係数の低周波成分とみなして、初期ノイズ除去画像生成部３に供給する。

なお、図１８に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。

第４の実施の形態によれば、各階層で初期ノイズ除去画像を求めて、各階層のＴ−Ｖ法の初期解とすることで、各階層のＴ−Ｖ法で解が収束するまでに必要なChambolleのProjection法の反復回数を削減し、高周波ノイズだけでなく低周波ノイズも高速に除去できる。

なお、第４の実施の形態と第２の実施の形態を組み合わせた画像処理方法や、第４の実施の形態と第３の実施の形態を組み合わせた画像処理方法を構成することは容易に可能である。これらの処理の説明は省略する。

尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する
画像処理方法。

（付記２）
前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する付記１に記載の画像処理方法。

（付記３）
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
付記１に記載の画像処理方法。

（付記４）
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記２又は付記３に記載の画像処理方法。

（付記５）
入力画像から、複数の解像度の異なる画像を生成し、
異なる画像毎に、付記１から付記４のいずれかに記載の画像処理方法を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
画像処理方法。

（付記６）
入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、
予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、
前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段と
を有する画像処理装置。

（付記７）
前記骨格成分・残差成分分離手段は、
前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する付記６に記載の画像処理装置。

（付記８）
前記骨格成分・残差成分分離手段は、
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
付記６に記載の画像処理装置。

（付記９）
前記骨格成分・残差成分分離手段は、
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記７又は付記８に記載の画像処理装置。

（付記１０）
入力画像から、複数の解像度の異なる画像を生成する手段を有し、
前記初期ノイズ除去画像生成手段、前記骨格成分・残差成分分離手段及び前記制御手段を、各解像度の画像に対応して設け、
前記初期ノイズ除去画像生成手段は、対応する解像度よりも一つ解像度の低いに基づいて生成された出力画像を、初期ノイズ除去画像の生成に用いる
付記６から付記９のいずれかに記載の画像処理装置。

（付記１１）
入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成する処理と、
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御する処理と、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する処理と
をコンピュータに実行させるプログラム。

（付記１２）
前記残差成分からエッジ成分とテクスチャ成分を抽出する処理と、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する処理と
をコンピュータに実行させる付記１１に記載のプログラム。

（付記１３）
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出する処理と、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する処理と
をコンピュータに実行させる付記１１に記載のプログラム。

（付記１４）
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記１２又は付記１３に記載のプログラム。

（付記１５）
入力画像から、複数の解像度の異なる画像を生成する処理を有し、
異なる画像毎に、付記１１から付記１４のいずれかに記載の処理を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
プログラム。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

本出願は、２０１２年４月２７日に出願された日本出願特願２０１２−１０２０１９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 入力画像
２ 出力画像
３ 初期ノイズ除去画像生成部
４ 初期残差成分保存メモリ
５ 標準偏差計算部
６ 標準偏差保存メモリ
７ パラメータ計算部
８ パラメータ保存メモリ
９ 反復制御部
１０ 骨格成分・残差成分分離部
１１ ノイズ抑制部
１２ 合成部
１３ ノイズ抑制部
１４ 制約空間生成部
１５ 制約保存メモリ
１６ 制約処理部
１９ 出力画像制御部
１０１ 骨格成分・残差成分分離部
１０２ ノイズ抑制部
１０３ 初期ノイズ除去画像生成部
１０４ 反復制御部
２０１ ノイズ抑制部
３０１ ウェーブレット変換部
３０２ Ｓｈｒｉｎｋａｇｅ部
３０３ ウェーブレット逆変換部
３０４ 制約空間生成部
３０５ ウェーブレット変換部
３０６ 射影部
３０７ ウェーブレット逆変換部
４０１ ウェーブレット変換部
４０２ ウェーブレット変換部
４０３ ウェーブレット変換部
４１２ Ｓｈｒｉｎｋａｇｅ部
４０４ Ｓｈｒｉｎｋａｇｅ部
４０５ ウェーブレット逆変換部
４０６ 反復制御部
４０７ 骨格成分・残差成分分離部
４０８ Ｓｈｒｉｎｋａｇｅ部
４０９ ウェーブレット逆変換部
４１０ 反復制御部
４１１ 骨格成分・残差成分分離部
４１３ ウェーブレット逆変換部
４１４ 反復制御部
４１５ 骨格成分・残差成分分離部
１０００ 画像処理装置

Claims (10)

1. 入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、
   前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、
   前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、
   前記残差成分のノイズを減衰し、
   前記骨格成分と前記ノイズを減衰させた残差成分とを合成し、出力画像として生成する
   画像処理方法。
2. 前記初期残差成分の標準偏差に基づいて、繰り返し演算を制御する
   請求項１に記載の画像処理方法。
3. 前記初期残差成分の標準偏差、前記初期残差成分及び前記残差成分を用いて、ノイズを減衰した残差成分を生成する
   請求項２に記載の画像処理方法。
4. 前記入力画像をウェーブレット変換した際のウェーブレット変換係数と、ノイズの減衰量とに基づいて、制約空間を生成し、
   前記制約空間により、前記骨格成分の変動範囲を制約する
   請求項１から請求項３のいずれかに記載の画像処理方法。
5. 入力画像から、複数の解像度の異なる画像を生成し、
   異なる画像毎に、請求項１から請求項４のいずれかに記載の画像処理方法を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
   画像処理方法。
6. 入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、
   予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、
   前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段と、
   前記残差成分のノイズを減衰するノイズ抑圧手段と、
   前記骨格成分と前記ノイズを減衰させた残差成分とを合成し、出力画像を生成する合成手段と
   を有する画像処理装置。
7. 前記制御手段は、前記初期残差成分の標準偏差に基づいて、繰り返し演算を制御する
   請求項６に記載の画像処理装置。
8. 前記ノイズ抑圧手段は、前記初期残差成分の標準偏差、前記初期残差成分及び前記残差成分を用いて、ノイズを減衰した残差成分を生成する
   請求項７に記載の画像処理装置。
9. 前記入力画像をウェーブレット変換した際のウェーブレット変換係数と、ノイズの減衰量とに基づいて、制約空間を生成する制約空間生成手段と、
   前記制約空間により、前記骨格成分の変動範囲を制約する制約処理手段と
   を有する請求項６から請求項８のいずれかに記載の画像処理装置。
10. 入力画像から、複数の解像度の異なる画像を生成する手段を有し、
    前記初期ノイズ除去画像生成手段、前記骨格成分・残差成分分離手段及び前記制御手段を、各解像度の画像に対応して設け、
    前記初期ノイズ除去画像生成手段は、対応する解像度よりも一つ解像度の低いに基づいて生成された出力画像を、初期ノイズ除去画像の生成に用いる
    請求項６から請求項９のいずれかに記載の画像処理装置。

Images