JPWO2008093835A1 - 画像処理方法 - Google Patents

Abstract

原画像に含まれるノイズ成分を除去する画像処理方法は、原画像に対して一義的に決まるノイズゆらぎ指標値を使用して、原画像を平滑化し、原画像と平滑化された画像との差分信号に基づいて、ノイズ成分を抽出し、抽出されたノイズ成分の大きさをノイズゆらぎ指標値と再度比較することによって、抽出されたノイズ成分からノイズ成分としての確からしさの低い成分を除外して、実ノイズ成分を抽出し、抽出された実ノイズ成分に基づき、原画像のノイズ除去を行なう。

Description

本発明は、画像に含まれるノイズを除去する画像処理方法に関する。

従来からノイズ除去を行なう平滑化技術として、ノイズのゆらぎ幅と画素間差分値を比較して、エッジ構造を避けて適応的に平滑化する、いわゆるedge-preserving smoothing filterと呼ばれるノイズ除去フィルタが存在する。例えば、非特許文献１のεフィルタや非特許文献２のσフィルタ、更にはより高性能な非特許文献３のバイラテラル・フィルタや非特許文献４のトライラテラル・フィルタといったようなものがある。

H. Harashima et al., "ε-Separating Nonlinear Digital Filter and Its Application", 電子情報通信学会論文誌1982年4月号 Vol.J65-A No.4, pp.297-304. J. S. Lee, "Digital Image Smoothing and the Sigma Fileter," Computer Vision, Graphics, and Image Processing Vol.24, pp.255-269, 1983. C. Tomasi et al., "Bilateral Filtering for Gray and Color Images," Proceedings of the 1998 IEEE international Conference on Computer Vision, Bombay, India. Prasun Choudhury et al., "The Trilateral Filter for High Contrast Images and Meshes," Eurographics Symposium on Rendering 2003, pp.1-11.

しかしながら、これらの何れのedge-preserving smoothing filterもステップ状の、あるいは平面度の大きい部分の接するエッジ構造保存性は高いが、急峻なエッジ構造が複雑に入り組んで立体的な遠近感を生み出している部分のエッジ構造や、テキスチャのような激しくエッジ構造が変動するような部分でのエッジ構造の保存性は保証されておらず、平滑化によってこれらのエッジ構造の成分が失われて平面的で立体感を失った平滑化画像になりやすいという問題があった。

本発明の第１の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、ノイズゆらぎ指標値を使用して、原画像を平滑化し、原画像と平滑化された画像との差分信号に基づいて、ノイズ成分を抽出し、抽出されたノイズ成分をノイズゆらぎ指標値と比較することによって、抽出されたノイズ成分からノイズ成分としての確からしさの低い成分を除外して、実ノイズ成分を抽出し、抽出された実ノイズ成分に基づき、原画像のノイズ除去を行なう。
本発明の第２の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、ノイズゆらぎ指標値を原画像信号の空間的な変動幅と比較することによって、原画像を平滑化領域内の信号分布に応じて適応的に平滑化し、原画像と適応的に平滑化された画像との差分信号に基づいて、ノイズ成分を抽出し、抽出されたノイズ成分をノイズゆらぎ指標値と比較することによって、該ノイズ成分の階調的な変動幅を統計的に再検証し、検証結果に基づき、抽出されたノイズ成分からノイズ成分としての確からしさの低い成分を除外して実ノイズ成分を抽出し、抽出された実ノイズ成分に基づき、原画像のノイズ除去を行なう。
本発明の第３の態様によると、第１または２の態様の画像処理方法において、ノイズゆらぎ指標値は、原画像に対して一義的に決まるのが好ましい。
本発明の第４の態様によると、第１から３のいずれかの態様の画像処理方法において、抽出されたノイズ成分の大きさが、ノイズゆらぎ指標値に比べて大きければ大きいほど、ノイズ成分としての確からしさの低い成分の混入確率が高いと推定するのが好ましい。
本発明の第５の態様によると、第４の態様の画像処理方法において、ノイズ成分としての確からしさの低い成分の混入割合を、抽出されたノイズ成分とノイズゆらぎ指標値との比を引数としたガウス分布確率で統計的に推定するのが好ましい。
本発明の第６の態様によると、第４の態様の画像処理方法において、抽出したノイズ成分にガウス分布確率を掛けて減衰させることにより、ノイズ成分としての確からしさの低い成分を除外するのが好ましい。
本発明の第７の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、所定のノイズモデルを用いて原画像を平滑化し、
原画像と平滑化された画像との差分信号に基づいてノイズ成分を抽出し、抽出されたノイズ成分の中に混入した偽のノイズ成分の量を、所定のノイズモデルと連動する共通のノイズモデルを用いて推定し、推定された量の偽のノイズ成分をノイズ成分から除外して実ノイズ成分を抽出し、抽出された実ノイズ成分に基づき、原画像のノイズ除去を行なう。
本発明の第８の態様によると、第７の態様の画像処理方法において、ノイズ成分の抽出に用いる所定のノイズモデルと偽のノイズ成分の量の推定に用いるノイズモデルとは同じゆらぎ指標値を共有するのが好ましい。
本発明の第９の態様によると、第８の態様の画像処理方法において、ノイズ成分の中に混入した偽のノイズ成分の量を、ノイズ成分の値がゆらぎ指標値に対して大きいか否かを判断することによって推定するのが好ましい。
本発明の第１０の態様によると、第７から９のいずれかの態様の画像処理方法において、所定のノイズモデルは、ゆらぎ指標値を基準幅としてノイズが分布するガウス分布モデルであるのが好ましい。
本発明の第１１の態様によると、第７から９のいずれかの態様の画像処理方法において、所定のノイズモデルは、ゆらぎ指標値を境としてノイズが分布する閾値分布モデルであるのが好ましい。
本発明の第１２の態様によると、第１から１１のいずれかの態様の画像処理方法において、原画像は、多重解像度表現で帯域制限されたサブバンド画像であるのが好ましい。
本発明の第１３の態様によると、第１から１１のいずれかの態様の画像処理方法において、原画像は、実空間で表現された原画像そのものであるのが好ましい。
本発明の第１４の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、各帯域制限画像に対してノイズ除去処理を行なって、各帯域制限画像のノイズ成分を抽出し、抽出された各帯域制限画像のノイズ成分を統合して、原画像と同じ解像度を持つノイズ成分に統合し、統合されたノイズ成分自身の大きさに基づいて、該ノイズ成分の中に含まれる偽のノイズ成分の量を推定し、推定結果に基づき、統合されたノイズ成分から偽のノイズ成分を除外して実ノイズ成分を抽出し、抽出された実ノイズ成分に基づき、原画像のノイズ除去を行なう。
本発明の第１５の態様によると、第１４の態様の画像処理方法において、統合されたノイズ成分の大きさが、原画像に対して一義的に決まるノイズゆらぎ指標値に比べて大きければ大きいほど、偽のノイズ成分が含まれている確率が高いと推定するのが好ましい。
本発明の第１６の態様によると、第１５の態様の画像処理方法において、偽のノイズ成分の混入割合を、統合されたノイズ成分とノイズゆらぎ指標値との比を引数としたガウス分布確率で統計的に推定するのが好ましい。
本発明の第１７の態様によると、第１５の態様の画像処理方法において、統合されたノイズ成分にガウス分布確率を掛けて減衰させることにより、偽のノイズ成分を除外するのが好ましい。
本発明の第１７の態様によると、第１４の態様の画像処理方法において、複数の帯域制限画像は、逐次的に低い解像度を持つ高周波サブバンド画像と低周波サブバンド画像のセットであり、両帯域制限画像の各々の解像度で抽出されたノイズ成分を統合して、統合されたノイズ成分を作成するのが好ましい。
本発明の第１９の態様によると、第１４の態様の画像処理方法において、更に各帯域制限画像で抽出されたノイズ成分に対しても、各々のノイズ成分自身の大きさに基づいて、各々のノイズ成分の中に含まれる偽のノイズ成分の量を推定し、推定結果に基づき、各々のノイズ成分から偽のノイズ成分を除外して、各帯域制限画像の実ノイズ成分を抽出し、これらの抽出された実ノイズ成分を統合することによって、ノイズ成分の統合前と統合後に２重に偽のノイズ成分を除外する検証を行なうのが好ましい。
本発明の第２０の態様によると、第４、８、１６のいずれかの態様の画像処理方法において、偽のノイズ成分の混入割合を、ノイズ成分とノイズゆらぎ指標値を６倍した値との比を引数としたガウス分布確率で推定するのが好ましい。
本発明の第２１の態様によると、第１または２の態様の画像処理方法において、原画像の平滑化は、着目画素と周辺画素との画素間差分値に応じて加重係数が変化する加重平均フィルタを用いるのが好ましい。
本発明の第２２の態様によると、第１または２の態様の画像処理方法において、原画像の平滑化は、原画像に対してエッジ抽出を行い、エッジ成分の中に含まれるノイズ成分の信号を分離して、分離された信号を原画像から減算する処理を経るのが好ましい。
本発明の第２３の態様によると、第１から２２のいずれかの態様の画像処理方法において、原画像は、輝度面と色差面の各々であるのが好ましい。
本発明の第２４の態様によると、第１から６、８から１１、１５から１７、２０から２２のいずれかの態様の画像処理方法において、原画像を均等ノイズ空間、ないしは均等色・均等ノイズ空間に変換することによって、ノイズゆらぎ指標値を原画像の明るさレベルに関係なく一定の指標を用いるのが好ましい。
本発明の第２５の態様によると、画像処理プログラムは、第１から２４のいずれかの態様の画像処理方法をコンピュータまたは画像処理装置に実行させる。
本発明の第２６の態様によると、画像処理装置は、第２５の態様の画像処理プログラムを搭載する。
本発明の第２７の態様によると、電子カメラは、第２５の態様の画像処理プログラムを搭載する。

edge-preserving smoothing filterなどでは判別し切れなかったエッジ成分を適切に除外した質感再現性の高いノイズ除去を行なうことができる。

本発明の実施の形態である画像処理装置を示す図である。 パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。 第１の実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。 信号とノイズの関係を示す図である。 第１の実施の形態のノイズ精錬を説明するイメージ図である。 第２の実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。 第６の実施の形態のノイズ除去処理の流れ図を示す図である。 デジタルカメラ１００の構成を示す図である。 パーソナルコンピュータの構成を示す図である。

−第１の実施の形態−
図１は、本発明の実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１により実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。

パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。図９は、パーソナルコンピュータ１の構成を示す図である。パーソナルコンピュータ１は、ＣＰＵ１１、メモリ１２、およびその周辺回路１３などから構成され、ＣＰＵ１１がインストールされたプログラムを実行する。

プログラムがインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。

以下、パーソナルコンピュータ１が実行する画像処理について説明する。図２は、パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。ステップＳ１では、画像データを入力する。ステップＳ２では、均等色・均等ノイズ空間に変換する。ステップＳ３では、ノイズ除去処理をする。ステップＳ４では、色空間を逆変換する。ステップＳ５では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。

１．色空間変換
ステップＳ１で画像データ（以下、単に画像と言う）を入力すると、ステップＳ２において、入力画像をまず色空間変換し、ノイズ除去処理を行なうのに適した画像処理空間へ投影し直す。この画像処理空間として、例えば、国際公開第2006/064913号パンフレット（本願と同一発明者）に記載の均等色・均等ノイズ空間を用いる。通常、入力画像はsRGBといった標準色空間で表されていることが多い。従って、ここでは色補正処理やガンマ補正処理がなされたsRGB画像を例に説明する。

１−１．逆ガンマ補正
sRGB規定のガンマ特性、ないしは各カメラメーカーが固有の絵作りに使用したガンマ特性の階調変換処理を外し、元の線形階調に戻す。次式は、sRGB画像を、逆ガンマ補正し元の線形階調に戻す式を示している。メーカー固有のガンマ特性が不明の場合は、γ^-1としてsRGB規定のガンマ特性の逆変換で代用してもよい。

１−２．RGB色空間からXYZ色空間への変換
次に、線形階調に戻されたRGB色空間をXYZ色空間へ変換する。これはRGB原刺激の分光特性で決まる3x3行列変換により実施する。例えば、線形階調に変換したsRGB入力画像に対しては、以下のような規格通りの変換を行う。

１−３．XYZ色空間から均等色・均等ノイズ色空間（L^a^b^）への変換
次に、次式により、XYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ変換する。ここで定義するL^a^b^空間は、従来のいわゆる均等色空間L*a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にL^a^b^と名付けたものである。

ここで、通常、均等色・均等ノイズ化する階調特性として

を用いる。しかし、CIE規定のL*a*b*が持つ1/3乗ガンマ特性に対して正のオフセット値を加えて均等ノイズ化した下記のような変形式を用いてもよい。

上記X0,Y0,Z0は照明光によって定まる値であり、例えば、標準光D65下で2度視野の場合、X0=95.045、Y0=100.00、Z0=108.892のような値をとる。εの値は、センサーによっても異なるが、低感度設定のときはほぼ0に近い値を、高感度設定のときは0.05程度の値をとる。

２．画像の多重解像度表現
次に、ステップＳ３のノイズ除去処理について説明する。図３は、本実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。すなわち、上記のように均等色・均等ノイズ色空間に変換した輝度成分L^、色差成分a^、b^の各々の原画像を多重解像度表現して、それぞれ独立にノイズ除去を行なう。原画像を順次ウェーブレット変換のAnalysis過程によって低解像度画像に分解していき、サブバンド画像が生成されるAnalysis過程をまとめて次式のように表す。

ただし、S(x,y)はL^, a^, b^の各面に対してサブバンド画像Vij(x,y)を生成する。

なお、ウェーブレット変換とは、画像（画像データ）を周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。ハイパス成分からなるデータを高周波サブバンドと言い、ローパス成分からなるデータを低周波サブバンドと言い、LLを低周波サブバンド、LH, HL, HHを高周波サブバンドと言う。また、低周波サブバンドを低周波画像、高周波サブバンドを高周波画像と言ってもよい。さらに、各サブバンドを周波数帯域制限画像と言ってもよい。低周波サブバンドは、原画像の周波数帯域を低周波側に帯域制限した画像であり、高周波サブバンドは、原画像の周波数帯域を高周波側に帯域制限した画像である。

通常の多重解像度変換は、低周波サブバンドLL成分を順次分解した高周波サブバンドを残していくだけであるが、本実施の形態ではノイズ成分のサブバンド周波数帯域間での抽出漏れがないように、低周波側サブバンドLLと高周波サブバンドLH, HL, HHの両方を残していく多重解像度表現を用いている。

ウェーブレット変換としては、例えば以下のような5/3フィルタを用いる。
＜ウェーブレット変換：Analysis/Decompositionプロセス＞
ハイパス成分：d[n]=x[2n+1]-(x[2n+2]+x[2n])/2
ローパス成分：s[n]=x[2n]+(d[n]+d[n-1])/4
=(-x[2n-2]+2x[2n-1]+6x[2n]+2x[2n+1]-x[2n+2])/8
上記定義の1次元ウェーブレット変換を、横方向と縦方向に独立に2次元分離型フィルタ処理を行うことによって、ウェーブレット分解する。係数sをL面に集め、係数dをH面に集める。
＜逆ウェーブレット変換：Synthesis/Reconstructionプロセス＞
x[2n]=s[n]-(d[n]+d[n-1])/4
x[2n+1]=d[n]+(x[2n+2]+x[2n])/2

ただし、図３に示すように、ウェーブレット変換時のxの値には画像を表す信号を入力し、生成されたウェーブレット変換係数s,dに含まれるノイズ成分を抽出し、抽出されたノイズ成分を逆ウェーブレット時のs,dに代入してノイズ画像xを生成してゆく用い方をする。

上記多重解像度表現は5段のウェーブレット変換を用いているが、入力する原画像のサイズに応じて増減させてよい。また、多重解像度表現法として、上述のような（双）直交ウェーブレット変換に限らず、ラプラシアン・ピラミッド表現やステアラーブル・ピラミッド表現等を用いてもよい。

３．仮想ノイズ除去によるノイズ抽出処理
３−１．ノイズ除去フィルタによるノイズ抽出処理
３−１−１．ノイズ除去処理
まず、各解像度において仮想的なノイズ除去を行う。仮想的なノイズ除去とは、原画像から最終的にノイズ除去を行う前に行う仮の（一時的と言ってもよい）ノイズ除去である。仮想的なノイズ除去は、各解像度の各サブバンドにおいて、任意のノイズ除去フィルタを用いて行うが、ここでは一般に知られるedge-preserving smoothing filterの中でも高性能なバイラテラル・フィルタと、それを改良した、例えば、国際公開第2006/068025号パンフレット（本願と同一発明者）に記載の改良Bilateral Filterの場合の式を以下に示す。画像信号V(x,y)は、図２のステップＳ２の非線形階調変換を通じて、明るさに対してノイズを均等化する空間に移行しているので、明るさによらない一定のノイズ指標値と比較するように設定すればよく、そのとき最もこのノイズ除去フィルタは高性能に簡略に動作させることができる。
一般Bilateral Filter

改良Bilateral Filter

ここで、簡略のためサブバンド特定記号i,jは省略している。閾値σ_thは各サブバンド毎に期待されるノイズゆらぎ幅（ノイズゆらぎ指標値）に合わせて設定し、エッジとノイズを区別しながらノイズ成分を抽出する。σ_thの値はISO感度が高くなるに従い大きな値を設定する。例えば、ISO6400で256階調に対して10程度の値を設定したりする。したがって、均等ノイズ化された全階調域で+-10程度のノイズゆらぎがあり、最も明るい飽和レベルでもS/Nは256/10である。

一般に、原画像に対するσ_thの値が決まれば多重解像度変換後の各サブバンド面に対するσ_thの値は、ウェーブレット変換の定義式から誤差伝播の法則に従い自動的に算出することができる。従って、それらが各サブバンド面の最適なノイズゆらぎ指標値を与える。例えば、5/3フィルタの場合以下のように設定すればよい。

ただし、実際は２次元フィルタなので、これら１次元フィルタの合成積となる。

閾値rthの値は、ノイズ除去フィルタの範囲が解像度階層間で重なり合うように0.5〜3.0画素程度にとればよく、積分範囲もrthの2倍ないしは3倍程度にとれば十分係数値は小さな値に落ちている。一般に、他のノイズ除去フィルタであっても多重解像度表現されたサブバンド画像では3x3〜9x9程度の範囲の画素信号を参照するようなフィルタで十分なノイズ除去効果が得られる。

なお、Bilateral Filterは、着目画素と周辺画素との画素間差分値に応じて加重係数が変化する加重平均フィルタの一種である。また、改良型Bilateral Filterは、通常のBilateral Filterと違って加重係数がphotometric項とgeometric項に分離できない非分離加重型Bilateral Filterを用いている。言い換えれば、２つの引数の積で表される値を１つの指数とする１つの指数関数であらされる加重係数のフィルタを使用している。これら２つのBilateral Filterは、共に画素間差分値に対して、ゆらぎ指標値を基準幅として信号がゆらぐノイズモデルに基づいて画素構造に含まれるエッジ信号とノイズ信号を分離していると言える。

３−１−２．ノイズ抽出処理
各サブバンドにおいて、次式のようなノイズ抽出処理を行う。

この抽出ノイズ成分の中には、平滑化で混入した特異エッジ成分が含まれている可能性が高い。なぜなら、V(x,y)が積分範囲より広い範囲にわたって平面ないしは傾斜面であることが仮定されているならば（図４（ａ）（ｂ））、そこから抽出されたゆらぎ成分もガウス分布していると考えられるが、その保証がない激しくエッジが変動する個所では（図４（ｃ））ガウス分布から外れる特異なエッジ成分を含んでしまう可能性がある。図４は、このような信号とノイズの関係を示す図である。

例えば、そのモデルとして、微小なノイズと急峻なエッジとその近辺の立体感を生み出しているノイズよりも多少大きいけれども急峻エッジよりも遙かに小さな中間エッジの3種類の信号が重なり合っている部分について考察してみると（図４（ｃ））、一様平面や一様傾斜面ではうまく平滑化対象から除外されていた中間エッジ画素に対して、多量の急峻エッジの撹乱作用により、相対的に中間エッジの平滑化重みが増大して、中間エッジ成分もノイズ成分の中に混入してしまうようなモデルが例えば挙げられる。こうした結果、ノイズ成分の中に、例えば強いノイズ信号の特異エッジとして現れたり、ノイズ成分の度数分布がガウス分布から変形したりするような結果を生む。特異エッジ成分とは、微小なノイズよりも多少大きいけれども急峻エッジよりも遙かに小さな中間エッジの信号である。

このような状況は、実画像の中では、例えば、コントラストの低いタイル壁の建物を背景に電柱や電線や信号機が入り乱れて写っているような写真を想像すればよい。このような場合、タイル壁が中間エッジに該当してその模様が薄くなったり、電線や電柱等の急峻エッジの一部が中間エッジとして欠けてしまって立体感を失い、建物の中に電線や電柱が埋め込まれたような平面的な平滑化結果になる恐れが高い。

３−２．逐次ノイズ抽出
ノイズ成分を各サブバンド面のノイズ除去フィルタリングだけで漏れなく抽出するのは難しい。そこで、本実施の形態では、多重解像度分解による周波数帯域間で間隙を生じないように、他の解像度で抽出したノイズを参照しながら逐次的にノイズを抽出する。ただし、この部分は省略してもよいが、正確なノイズ抽出を可能とするために以下に示す。

逐次的なノイズ除去の方法としてはAnalysis時とSynthesis時に行なう2通りの方法があるが、第１の実施形態では、完全なノイズ成分の抽出のための仮想的なノイズ統合を行い、各階層で生成される統合ノイズ成分をLLサブバンド面から減算して、LL面からノイズ成分を抽出しやすい状態にした後、上記ノイズ除去フィルタリングを行なう。すなわち、本実施の形態では、逐次的なノイズ除去をSynthesis時に行う方法を採用する。

例えば、実空間面の画像信号S0(LL0)を2回ウェーブレット変換して生成した1/4解像度の画像信号S2(LL2,LH2,HL2,HH2)での処理を例に説明する。まず、1/4解像度の下の階層である1/8解像度の階層で統合された統合ノイズ成分(N2)を、サブバンドLL2から減算して、LL2からノイズ成分を抽出しやすい状態LL2'にする(処理(2-0))。その後、各サブバンド(LL2',HL2,LH2,HH2)に対して上記ノイズ除去フィルタリングを行なう(処理(2-1))。

そして、ノイズ除去フィルタリングを行う前の画像信号S2'(サブバンドLL2',HL2,LH2,HH2)からノイズ除去フィルタリングを行った画像信号S2"(サブバンドLL2",HL2',LH2',HH2')を減算してノイズ成分n2を抽出する(処理(2-2))。その後、抽出したノイズ成分n2のLL面のノイズ成分と下層で統合されてきたノイズ成分(N2)とを加算し(処理(2-3))、加算したLL面のノイズ成分と抽出した他のLH,HL,HH面のノイズ成分を使用して逆ウェーブレット変換によりノイズ統合を行い、統合されたノイズ成分(N1)を生成する(処理(2-4))。このような処理を、各階層において行い、仮想的ノイズ統合を行う。すなわち、仮想的ノイズ統合は次式で表される。

図３より明らかであるが、図３で行なっている処理をより具体的に書けば、

を行なった後に、３−１−１及び３−１−２の処理を行なう処理を繰り返すことを意味している。M=5のときは何もノイズ抽出行われていないノイズ成分を統合してくるので、N5(x,y)=0となる。

４．ノイズ信号の統計的検証
（ノイズ自身によるノイズ精錬）
ノイズ抽出時の平滑化フィルタでは、(x,y)空間方向に関しては画素間差分を取りながらその信号ゆらぎ幅を検証しつつ、ノイズ成分を抽出してきたが、その結果如何なるノイズ成分が抽出されるかは何の保証もない。先ほど述べたように画像構造の状況によっては特異成分が含まれてしまう。また、その含まれ方もノイズ除去フィルタの性能具合によって異なってくる。

そこで、本来ノイズ除去フィルタが抽出ないしは平滑化対象としているノイズ成分がランダムノイズであることを思い返せば、その抽出されたノイズ成分の振る舞いも階調z方向に関してポアッソン分布に起因したガウス分布特性を持っていなければ、ノイズ除去フィルタ側で何かの間違いを犯していると考えるのが妥当である。

すなわち、ノイズ抽出結果をノイズらしい振る舞いをしているか以下の式により統計的に検証することによって、誤って混入した特異エッジ成分を除外し、本来あるべきランダム・ノイズの状態に近づけることができる(処理(1-6),(2-6),(3-6),(4-6),(5-6))。言い換えると、ノイズ抽出に用いたノイズ除去フィルタの仮定したノイズモデルと共通のノイズモデルをもう一度その抽出結果に対して当てはめて検証してみて、その抽出結果が合理的であるか否かを判断する。そして、合理的でなければそのモデル自身に近づくように抽出結果を修正するのである。これは、ノイズゆらぎモデル幅との値の大きさの比較のみによって達され得るので、きわめて高速で簡便に大きな効果を得ることができる手法である。ノイズ成分の純度を高める処理を行なうのでノイズ精錬とも呼ぶことができる。

上記式は、ノイズの値（階調）が大きければ大きいほど減衰させることを意味する。exp項は、抽出したノイズ成分とノイズゆらぎ指標値との比を引数としたガウス分布確率であり、ノイズ成分としての確からしさの低い成分の混入割合を、このガウス分布確率で統計的に推定している。すなわち、ノイズ成分の値が大きければ大きいほど、ノイズ成分としての確からしさの低い成分（偽のノイズ成分）の混入割合が高いと推定し、ノイズ成分を減衰させそのノイズ成分を除外するようにしている。

通常σ_nthijの値は、ノイズ除去フィルタで用いたノイズゆらぎ指標値σ_thijの３〜５倍程度に設定するとよい。ノイズ除去フィルタに用いるσ_thijは、ノイズゆらぎ幅が正規分布の中でとり得る確率の１σ幅に設定するのが普通で、その誤差関数の残りの確率で±１σよりはみ出してノイズがゆらぐ可能性がある。すなわち、１００−６８．３＝３１．７％の確率ではみ出す可能性がある。しかし、±３σや±５σを超えてゆらぐことは、ほぼ統計的に１００％の確率で存在せず、もしそのようなノイズ信号を検知したならば、１００％の確率で混在した実在エッジ成分であると推定することができる。すなわち、偽のノイズ成分が混在していると推定できる。

なお、更に安全を見込んでσ_nthij＝６σ_thijとするのが実際にはよい。このとき、誤差関数の残りの確率は〜３×１０^−７となるので、抽出したノイズ成分をノイズ成分でないと見なす誤りは３００万画素に１画素の確率にまで減り、実用上なんの問題も起こさずに純粋な改善のみが見込める。

ガウス分布確率であるexp項は、ノイズゆらぎ指標値の所定倍に比べてノイズ成分の値が大きければ大きいほど小さな値を示すので、ノイズ成分にガウス分布確率を掛けることにより、ノイズ成分の値が大きければ大きいほど、そのノイズ成分を減衰させて除外することができる。すなわち、抽出したノイズ成分に上記ガウス分布確率を掛けてノイズ成分を減衰させることにより、ノイズ成分としての確からしさの低い成分すなわち特異エッジ成分を除外している。

exp項は、ノイズの確からしさを検証する検証手段とも言え、exp項すなわちガウス分布確率は、ノイズの信頼度を表していると言える。本実施の形態では、ガウス分布確率をもつノイズモデルをエッジとノイズの判別関数とした空間フィルタを使用して抽出したノイズをさらに上記式の空間フィルタと連動した幅をもつ共通ノイズモデルのexp項で検証し、ノイズらしくない信号（偽のノイズ）を減衰させ、真のノイズ成分（実ノイズ成分）を抽出する。なお、空間フィルタを使用して抽出したノイズ成分n_ijの中に含まれる真のノイズ成分n'_ijを推定することは、それ以外のエッジ成分の量を推定していることと等価である。すなわち、(1-exp項)は、エッジ成分すなわち上記特異エッジ混入確率を示し、(1-exp項)使用して真のノイズ成分以外のエッジ成分（特異エッジ成分）を推定することができる。

図５は、本実施の形態のノイズ精錬を説明するイメージ図である。図５（ａ）は、edge-preserving smoothing filterでのノイズ抽出処理をイメージする図である。ｘ方向およびｙ方向の２方向の空間において、信号の差を検証してノイズ抽出処理をしている。図５（ｂ）は、図５（ａ）のedge-preserving smoothing filterで抽出したノイズ信号値の分布を示す。

Ａ、Ｂ部分は、エッジとノイズの分離が不得手なエッジ構造部分で抽出された成分で、主にエッジ成分であり、前述した特異エッジ成分である。Ｃ部分は、エッジとノイズの分離が得意なエッジ構造部分や平坦面上で抽出さた成分で、主にノイズ成分である。

図５（ｃ）は、edge-preserving smoothing filterでノイズ抽出処理をし、さらに、上述したノイズ精錬を行うことをイメージする図である。ｘ方向およびｙ方向の２方向の空間において信号の差を検証してノイズ抽出処理をし、さらに、同じノイズモデルを用いてｚ（階調）方向にノイズらしさを検証している。図５（ｄ）は、図５（ｃ）のedge-preserving smoothing filterで抽出し、さらにノイズ精錬を行ったノイズ信号値の分布を示す。図５（ｄ）の分布は、ノイズらしい正規分布を示している。本実施の形態では、画像空間のｘｙ２方向、および、階調ｚ方向の合計３方向について共通のノイズモデルを用いてノイズの検証を行っている。

なお、Bilateral Filterは、σフィルタやεフィルタと異なり、geometric項ないしはgeometric引数によって更に画像構造の空間的な相関距離、波及距離の視点を追加的に考慮してノイズ成分を抽出しているので、通常のedge-preserving smoothing filterでは少なくとも３次元的検証を共通のノイズモデルを用いて行い、Bilateral Filterに限っては追加的なガウス分布モデルを用いて５次元的検証を行っているとも言える。

こうして、抽出ノイズ成分の状態を見るだけで自発的にエッジとノイズの分離精度を上げることが可能となる。また、この非線形変換処理は一画素につき一度行なうだけの非常に単純な処理であるので、簡略性を保持したまま、ノイズ抽出性能を上げることができる。

したがって、ノイズ自身によるノイズ精錬処理により、edge-preserving smoothing filterが本質的に抱える入り組んだ画像構造部でエッジ部を誤って平滑化して平面的になりやすいという問題に普遍的に対処が可能となる。この結果、輝度成分のノイズ除去においては立体感や鮮鋭感を保持したノイズ除去を実現し、色差成分のノイズ除去においては色再現性の高いノイズ除去を実現し、総合して質感の高い高精細なノイズ除去を可能とする。

また、低ISO感度でも有効に鮮鋭感やカラフルさの点で同様に有効性を示すが、高感度では更に平滑化フィルタのσ_thの値を上げるに伴い、edge-preserving smoothing filterの不得手なエッジ部での機能低下が著しくなり、誤って平滑化する確率は高まるので、ノイズ除去の最も必要とする感度域でぺったり感のなさという点で非常に有効に機能する。

なお、平滑化フィルタに用いるσ_thijの値は、グレースケールの標準ステップチャートを撮影して各明るさレベルに対して標準偏差を求めることによって、実空間面でのノイズゆらぎ指標値σ_thが一義的に決まる。均等ノイズ化された空間では、その値は明るさによらず一つの値に定まり、また、多重解像度変換式によって一義的に各サブバンド面でのノイズゆらぎ指標値σ_thijが誤差伝播則を用いて評価することによって求まる。

５．実ノイズ統合
各サブバンドで漏れなくノイズ成分が抽出された後、きれいに精錬されたノイズ成分を今度は、実画像へのダメージが最も少なくノイズ除去効果の高い周波数バンド間ウェイトをつけて統合する(処理(1-7)(2-7)(3-7)(4-7)(5-7))。ホワイトノイズが仮定される場合は、解像度階層間では全て1:1の重みで、主に低周波サブバンドLLと高周波サブバンドHH, HL, LHの間で重みづけを行なう。

これは、原画像の性質に応じて最適な重みが異なる。輝度面の場合は、高周波情報が多いので高周波サブバンドに大きい重みを、色差面の場合は、低周波情報が多いので低周波サブバンドにやや大きめの重みをつける。すなわち、ノイズ除去と画像構造保存の両立性の高い周波数空間へ原画像の性質に合わせて、ノイズ抽出の周波数投影空間を変えていることに等しい。なお、1/32解像度の階層におけるNw5（図３）は何もノイズ抽出行われていないノイズ成分を統合してくるので、Nw5(x,y)=0となる。

６．実際のノイズ除去処理
統合されたノイズ成分Nw0を実際に原画像S0(LL0)から減算処理することによって、ノイズ除去を実行する(処理(0-8))。ノイズ除去の見栄えを考慮して、自由度を高めるためにノイズ除去率λを導入(処理(0-9))して行なう。

λの値は、色差面処理ではほぼ1.0に近い値を、輝度面処理ではシャープネスの好みに合わせて何割かのノイズを残すのが好ましい。

以上により、図２のステップＳ３のノイズ除去処理が終了する。なお、ステップＳ３のノイズ除去処理は、輝度成分L^、色差成分a^、b^それぞれについて行なわれる。

７．逆色空間変換
次に、図２のステップＳ４において、ノイズ除去された画像について画像処理空間から出力色空間へ変換する。出力色空間が入力色空間と同じ場合は、「１．色空間変換」の式を逆にたどる逆変換を行なえばよい。画像処理空間はデバイス・インディペンデントな空間なので任意の標準色空間に移行することができる。入力色空間と出力色空間が異なる場合は、その出力色空間の規定に従って変換を行なう。

８．画像出力
ステップＳ５では、以上のようにしてノイズ除去された画像データを出力する。

−第２の実施の形態−
第２の実施の形態では、多重解像度を用いた場合に第１の実施形態とは異なる視点から、エッジとノイズの分離性能を向上するための手法を示す。第１の実施形態における各サブバンド面に対するノイズ精錬処理と完全に独立して構成することができるので、組み合わせて用いれば二重の効果を得ることができる。したがって、ここでは第１の実施形態に追加した形での実施形態を示す。

第２の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、「１．色空間変換」、「２．画像の多重解像度表現」、「３．仮想ノイズ除去によるノイズ抽出処理」、「４．ノイズ信号の統計的検証」、「５．実ノイズ統合」は、第１の実施の形態と同じであるので、第１の実施の形態を参照することとしその説明を省略する。

図６は、本実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図であり、第１の実施の形態の図３に対応する。図３と同じ処理には同じ処理符号（*-*)を付す。

６．統合後のノイズ信号の統計的再検証（ノイズ自身によるノイズ再精錬）
第１の実施の形態の図２のステップ３の各サブバンド面のノイズ成分に対して行なったのと同じ原理に基づき、次式により統合後のノイズ成分に対してもノイズらしい振る舞いをしているか統計的に再検証を行ってノイズの再精錬を行い(処理(0-10))、誤って混入している可能性のあるエッジ成分を除外してノイズ成分の純度を高める。

多重解像度変換を用いたノイズ除去処理においては、各サブバンド面におけるノイズ除去フィルタのノイズ抽出間違いをこの統合後の最終段で再度検証することの意味合いには、各サブバンド面のノイズ抽出間違いを再度検証すること以外にもう１つの意味合いがある。すなわち、「３−２．逐次ノイズ抽出」でも述べたように、完全系をなすハイパス側の高周波サブバンドだけでは、ノイズ除去フィルタとの組み合わせ時における周波数間隙帯効果の影響を受けてノイズ抽出漏れを生じやすいのを防ぐため、やや冗長に低周波数サブバンドも重複して用いてノイズ成分を抽出し、それら全てのノイズ成分を統合してきていることを考慮に入れなければならない。

すなわち、高周波サブバンドと低周波サブバンドの重複する周波数部分では、同じノイズ成分を重複して二度抽出している可能性もある。同様のことが誤ってノイズ成分の中に抽出してしまったエッジ成分についても当てはまり、これらを排除して純粋に完全系のノイズがなすガウス分布特性に近づける必要がある。したがって、ここでのノイズ精錬は第１の実施の形態の各サブバンド面で行なってそれらの効果を束ねた効果と同程度、あるいはそれ以上の劇的な有効性をもって作用することが実験的に確認されている。

なお、閾値σ_nthの値は、「３−１−１．ノイズ除去処理」の中で述べた実空間の原画像に対するノイズゆらぎ指標値σ_thに対して、「４．ノイズ信号の統計的検証」の中で述べた各サブバンド面における閾値σ_nthijとその面のノイズゆらぎ指標値σ_thijと同じ関係に設定すればよい。したがって、最も安全にはσ_nth＝６σ_thと置くとよい。言い換えると、ここでもノイズ除去フィルタと共通のノイズモデルでノイズ精錬を行っている。

７．実際のノイズ除去処理
第１の実施の形態の「６．実際のノイズ除去処理」と同様の処理を行なう。

なお、上記本実施の形態の「６．統合後のノイズ信号の統計的再検証」は、新たな別処理として設けなくても、本「７．実際のノイズ除去処理」の中でノイズ除去率λを関数化することによって同様の日的が果たせる。すなわち、第１の実施の形態の数式１５を以下のように書き改めればよい。

８．逆色空間変換
第１の実施の形態の「７．逆色空間変換」と同様の処理を行う。

なお、第２の実施の形態において、各解像度での精錬処理(処理(1-6),(2-6),(3-6),(4-6),(5-6))を省略し、最後の精錬処理(処理(0-10))のみとしてもよい。

−第３の実施の形態−
第１、第２の実施形態では、高画質性能を求めた場合の例を示したが、第３の実施形態では徹底的に簡略化を進めた場合の例を示す。ただし、もちろん第１、第２の実施形態と同様のノイズ精錬処理を行なってもよい。異なるのはedge-preserving smoothing filterとしてより簡略で高速なσフィルタを用いることと、そのノイズ除去性能に合わせて、ノイズ精錬処理も同質レベルに合わせた簡略化を行なうことにある。すなわち、ノイズ除去フィルタのエッジとノイズを分離する判別関数のノイズモデルをガウスモデル型から閾値モデル型に変更したのに伴い、共通のノイズモデルを使用するノイズ精錬のためのエッジとノイズの判別関数も閾値モデル型に変更するのである。

第３の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第３の実施の形態の画像処理のフローチャートも、流れとしては図２と同様であるので、その説明を省略する。以下、第１の実施の形態の処理と異なる点を中心に説明をする。

１．色空間変換
第１の実施の形態と同様である。
２．画像の多重解像度表現
第１の実施の形態と同様である。

３．仮想ノイズ除去によるノイズ抽出処理
３−１．ノイズ除去フィルタによるノイズ抽出処理
３−１−１．ノイズ除去処理
第１の実施の形態の高性能なバイラテラル・フィルタとは異なり、以下の簡略で高速なσフィルタを用いる。

積分範囲Dは第１の実施の形態と同程度に設定すればよい。

３−２．逐次ノイズ抽出
第１の実施の形態と同様である。

４．ノイズ信号の統計的検証
上述の仮想ノイズ除去処理における空間フィルター処理においても閾値判断をしているので、本実施の形態では、以下の検証、すなわちノイズ精錬処理においても以下の通り閾値判断を採用する。ここでの閾値は、σフィルタの閾値に連動した値を設定する。第１の実施の形態と同様な考えに基づき、σ_nthijの値はσフィルタの閾値σ_thijの３倍程度に設定するとよい。

「５．実ノイズ統合」「６．実際のノイズ除去処理」「７．逆色空間変換」「８．画像出力」は、第１の実施の形態と同様である。

以上のように、第３の実施の形態では、非線形変換は一切用いずに全て閾値処理で済ましてしまう簡略化を図っている。例えば、ハードウェアで実現するような場合は、非線形変換のためのルックアップテーブルを持つ必要がなくなる。このように、ノイズ除去フィルタの(x,y)方向からのノイズ抽出推定精度（ノイズ除去フィルタの特性）に合わせて、ｚ方向のノイズ精錬のための推定精度を変更して、簡略化の図り方の指針を示している。

また、σフィルタ自身に(x,y)空間方向の非線形性がないために、平滑化画像は階調潰れを起こしやすいが、階調z方向に簡易ながらも検証処理を施すことにより、階調再現性が効果的に改善する。

尚、第１〜第３の実施形態では、「２．画像の多重解像度表現」「３．仮想ノイズ除去によるノイズ抽出処理」に説明した逐次的なノイズ成分の抽出を、一旦多重解像度変換後にノイズ除去フィルタによる平滑化と抽出ノイズ成分を順次統合して、上層の平滑化前に統合ノイズで先に減算処理をする、Synthsis逐次処理の例を示したが、その逆のAnalysis逐次処理でノイズ成分を抽出してもよい。

すなわち、最初に一段目の多重解像度変換を行い、その面に対してノイズ除去フィルタによる平滑化を行なってノイズ成分を抽出する。次に、抽出ノイズ成分でLL面の減算処理を行なってから次の段の多重解像度変換を行なっていくという具合に逆向きの場合の逐次処理も存在する。なお、この場合のフローチャートは図３を変更することにより自明なので省略する。

−第４の実施の形態−
従来技術の課題には、高度に発展したedge-preserving smoothing filterが抱える残された課題としてエッジ成分の混入問題を指摘し、その解決策を上述の実施の形態では示してきた。しかし、これらの解決策の効果は、もっとエッジとノイズの分離精度が悪いが簡略で高速性が重視されるノイズ除去フィルタにも当てはめることができる。

例えば、固定のエッジ検出フィルタでエッジ成分を抽出し、その中に含まれるノイズ成分を非線形変換で抽出し、原信号から減算することによって平滑化されたノイズ除去画像を得る手法が、特開2002-74356号公報に示されている。また、その発展系が本願発明者の国際公開第2006/106919号パンフレットの中に示されている。ここでは、その発展系での例を示す。

第４の実施の形態では、第１の実施の形態あるいは第２の実施の形態に対応したノイズ精錬を行なうときの第１の実施の形態あるいは第２の実施の形態に対する変更すべき個所だけを示す。変更すべきは何れも各サブバンド面に対するノイズ除去フィルタのところだけである。その他は第１の実施の形態あるいは第２の実施の形態と同様であるのでその説明を省略する。すなわち、第３の実施の形態で用いるノイズ除去フィルタのエッジとノイズを分離する判別関数はガウスモデル型で、このゆらぎ幅を共有する同じガウス分布ノイズモデルを用いてノイズ精錬を行うことに相当する。

第４の実施の形態では、ノイズ成分へのエッジ成分の混入度合いが第１の実施の形態あるいは第２の実施の形態で扱ってきたノイズ除去フィルタに比べ概略、相対的に多いと位置づけられるようなノイズ除去フィルタの場合であっても、簡易なノイズ精錬処理によりそのノイズ除去性能を大きく救済することができる。その結果、画質到達点においてはかなわないがその救済率は第１の実施の形態あるいは第２の実施の形態場合よりも大きいといえる。

３−１−１．ノイズ除去処理
第４の実施の形態における輝度面に対する仮想ノイズ除去処理の場合は次式による。

色差面に対する仮想ノイズ除去処理の場合は次式による。

ここで用いるゆらぎ指標値σ_thは第１の実施の形態あるいは第２の実施の形態と同じ定義のものを用いる。従って、ノイズ精錬で用いるゆらぎ指標値は第１の実施の形態と同様にここで定義した値と連動する。

ただし、上記輝度面および色差面のノイズ除去処理の式において、それぞれ最上段の式のみであってもよい。なお、ノイズ精錬の処理は、第１の実施の形態あるいは第２の実施の形態と同じ処理となる。

−第５の実施の形態−
第５の実施の形態では、第４の実施の形態で述べた考えを第３の実施の形態に適用した場合の実施の形態である。以下では、第４の実施の形態と同様に、第３の実施の形態に対応したノイズ精錬を行なうときの第３の実施の形態に対する変更箇所だけを示す。変更すべきは何れも各サブバンド面に対するノイズ除去フィルタのところだけである。その他は第３の実施の形態と同様であるのでその説明を省略する。

３−１−１．ノイズ除去処理
第５の実施の形態における輝度面に対する仮想ノイズ除去処理の場合は次式による。

色差面に対する仮想ノイズ除去処理の場合は次式による。

ただし、上記輝度面および色差面のノイズ除去処理の式において、それぞれ最上段の式のみであってもよい。なお、ノイズ精錬の処理は、第３の実施の形態と同じ処理となる。ただし、第５の実施の形態においては、ノイズ精錬の処理は、第１の実施の形態あるいは第２の実施の形態と同じ処理であってもよいが、ノイズゆらぎ指標値はノイズ除去フィルタで定義したものと共有する。

−第６の実施の形態−
今日用いられているノイズ除去処理としては、第１〜第５の実施の形態に示したように多重解像度技術を用いる以外に、実空間面のまま巨大なサイズのノイズ除去フィルタを掛けることもしばしばであるので、この場合の対応例を以下に示す。

第６の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第６の実施の形態の画像処理のフローチャートも、流れとしては図２と同様であるので、その説明を省略する。以下、第１の実施の形態の処理と異なる点を中心に説明をする。図７は、第６の実施の形態のノイズ除去処理の流れ図を示す図である。

１．色空間変換
第１の実施の形態と同様である。

２．仮想ノイズ除去によるノイズ抽出処理
実空間面はS(x,y)で表されているので、第１の実施の形態のサブバンド面V(x,y)に対する処理をVからSに置き換えるだけでよい。ただし、積分範囲は大きくとる必要が出てくる。

２−１．ノイズ除去処理
ノイズ除去フィルタとして、σフィルタやεフィルタ等、平滑化面S'を作るノイズ除去処理の方法は何を用いても構わないが、第１の実施の形態と同じく最も高性能な改良型バイラテラル・フィルタの例を示す(処理(0-1))。

本当にきれいなノイズ除去効果を得るにはrthの値を50程度にとってフィルタリング範囲を101x 101画素程度にするのがよいが、ここでは説明の簡略化のためrth=12にとって25x25の範囲で積分を行なうものとする。ただし、σフィルタやεフィルタの場合は、空間的な因子には無頓着なのでrthに相当するパラメータは存在せず、単に積分範囲を設定するだけである。

２−２．ノイズ抽出処理
次式のノイズ抽出処理を行う(処理(0-2))。

３．ノイズ信号の統計的検証
（ノイズ自身によるノイズ精錬）
ノイズ抽出結果について、第１の実施の形態と同様に、ノイズらしい振る舞いをしているか以下の式により統計的に検証し、ノイズの精錬を行う(処理(0-6))。

ここで、σ_Nthの値は、第１の実施の形態と同様に、実空間面でのノイズゆらぎ指標値σ_thの３〜５倍、あるいは６倍の値に設定するとよい。すなわち、ここでもノイズ除去フィルタと共通のノイズモデルを用いている。

４．実際のノイズ除去処理
ノイズの精錬を行ったノイズ成分N'を原画像Sから減算処理することによって、ノイズ除去を実行する(処理(0-8))。ノイズ除去の見栄えを考慮して、自由度を高めるためにノイズ除去率λを導入(処理(0-9))して行なう。

これらの処理を輝度面と色差面の各々について行なう。

５．逆色空間変換
第１の実施の形態の「７．逆色空間変換」と同様である。
６．画像出力
第１の実施の形態の「８．画像出力」と同様である。

実空間で巨大なノイズ除去フィルタを掛けて努力したにもかかわらず平面的になりやすい弊害を、本実施の形態では、極めて単純に一画素につき一度の非線形変換をノイズ除去フィルタと共通のノイズモデルに基づいて通すだけで、階調再現性が改善する。すなわち、特異エッジ成分がノイズとして除去されてしまい平面的になりやすいという問題を、多重解像度技術を用いない実空間での極めて初歩的な処理でも改善することができる。一般に、実空間処理は最適な周波数空間への投影がなされていないので、より一層平坦化しやすく、その改善が求められているが、本実施の形態の処理によりその改善がなされる。

以上のようにして、上記第１〜第６の実施の形態では、立体感や鮮鋭感といった質感再現性の高い高品質なノイズ除去技術を提供することができる。

以上のようにして、上記第１〜第６の実施の形態では、edge-preserving smoothing filterによって抽出されたノイズ成分が、本来あるべきランダムノイズ成分としての特徴を備えているか否かを、検証してその状態に近づけることによって、edge-preserving smoothing filterが判別し切れなかったエッジ成分を適切に除外した立体感や鮮鋭感といった質感再現性の高いノイズ除去を行なうことができる。

すなわち、空間的な視点からエッジとノイズを区別するだけでなく、階調的な視点からもエッジとノイズを区別することによって、任意の画像構造に対してエッジ成分を排した正確なノイズ成分を抽出することが可能となる。そして、輝度成分のノイズ除去においては立体感や鮮鋭感を保持したノイズ除去を実現し、色差成分のノイズ除去においては色再現性の高いノイズ除去を実現し、総合して質感の高い高精細なノイズ除去を可能とする。

また、この階調的な視点からノイズを精錬する処理は、ノイズ除去フィルタで抽出されたノイズ成分に対して共通のノイズモデルの非線形変換を１つ通過させるだけの非常に簡略な処理であるので、わずかな機能追加のみで従来のノイズ除去技術を容易に改善することができる。

（変形例）
なお、上記第１〜第６の実施の形態で説明した画像処理空間は最良の色空間を例示しただけであって、従来からの色空間でノイズ除去を行なっても何ら本発明の意義が薄れるものではない。例えば、最新の均等色空間であるCIECAM02などを用いてもよい。

上記実施の形態では、パーソナルコンピュータ１で実現される画像処理装置の例で説明をした。しかし、上記で説明したパーソナルコンピュータ１によるノイズ除去処理を、デジタルカメラ（電子カメラ）内で行うようにしてもよい。図８は、このデジタルカメラ１００の構成を示す図である。デジタルカメラ１００は、撮影レンズ１０２、ＣＣＤなどからなる撮像素子１０３、ＣＰＵおよび周辺回路からなる制御装置１０４、メモリ１０５などから構成される。

撮像素子１０３は、被写体１０１を撮影レンズ１０２を介して撮影（撮像）し、撮影した画像データを制御装置１０４へ出力する。ここでの処理が、第１の実施の形態で説明した図２のステップＳ１の画像データ入力に相当する。制御装置１０４は、撮像素子１０３で撮影された画像データに対して、上記で説明した各実施の形態や変形例のノイズ除去処理を行い、適切にノイズ除去された画像データを適宜メモリ１０５に格納する。制御装置１０４はＲＯＭ（不図示）などに格納された所定のプログラムを実行することにより、上記説明したノイズ除去処理を行う。

このようにして、デジタルカメラ１００内部でも、質感再現性の高いノイズ除去が可能となり、適切にノイズ除去された画像データをメモリ１０５に格納し、また、着脱可能なメモリカードなどの記録媒体に記録することができる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００７年第０２４０６５号（２００７年２月２日出願）

Claims (27)

1. 原画像に含まれるノイズ成分を除去する画像処理方法であって、
   ノイズゆらぎ指標値を使用して、前記原画像を平滑化し、
   前記原画像と前記平滑化された画像との差分信号に基づいて、ノイズ成分を抽出し、
   前記抽出されたノイズ成分を前記ノイズゆらぎ指標値と比較することによって、前記抽出されたノイズ成分からノイズ成分としての確からしさの低い成分を除外して、実ノイズ成分を抽出し、
   前記抽出された実ノイズ成分に基づき、前記原画像のノイズ除去を行なう画像処理方法。
2. 原画像に含まれるノイズ成分を除去する画像処理方法であって、
   ノイズゆらぎ指標値を原画像信号の空間的な変動幅と比較することによって、原画像を平滑化領域内の信号分布に応じて適応的に平滑化し、
   前記原画像と前記適応的に平滑化された画像との差分信号に基づいて、ノイズ成分を抽出し、
   前記抽出されたノイズ成分を前記ノイズゆらぎ指標値と比較することによって、該ノイズ成分の階調的な変動幅を統計的に再検証し、
   前記検証結果に基づき、前記抽出されたノイズ成分からノイズ成分としての確からしさの低い成分を除外して実ノイズ成分を抽出し、
   前記抽出された実ノイズ成分に基づき、原画像のノイズ除去を行なう画像処理方法。
3. 請求項１または２に記載の画像処理方法において、
   前記ノイズゆらぎ指標値は、原画像に対して一義的に決まる画像処理方法。
4. 請求項１から３のいずれかに記載の画像処理方法において、
   前記抽出されたノイズ成分の大きさが、前記ノイズゆらぎ指標値に比べて大きければ大きいほど、ノイズ成分としての確からしさの低い成分の混入確率が高いと推定する画像処理方法。
5. 請求項４に記載の画像処理方法において、
   前記ノイズ成分としての確からしさの低い成分の混入割合を、前記抽出されたノイズ成分と前記ノイズゆらぎ指標値との比を引数としたガウス分布確率で統計的に推定する画像処理方法。
6. 請求項４に記載の画像処理方法において、
   前記抽出したノイズ成分に前記ガウス分布確率を掛けて減衰させることにより、ノイズ成分としての確からしさの低い成分を除外する画像処理方法。
7. 原画像に含まれるノイズ成分を除去する画像処理方法であって、
   所定のノイズモデルを用いて原画像を平滑化し、
   前記原画像と前記平滑化された画像との差分信号に基づいてノイズ成分を抽出し、
   前記抽出されたノイズ成分の中に混入した偽のノイズ成分の量を、前記所定のノイズモデルと連動する共通のノイズモデルを用いて推定し、
   前記推定された量の偽のノイズ成分を前記ノイズ成分から除外して実ノイズ成分を抽出し、
   前記抽出された実ノイズ成分に基づき、前記原画像のノイズ除去を行なう画像処理方法。
8. 請求項７に記載の画像処理方法において、
   前記ノイズ成分の抽出に用いる所定のノイズモデルと前記偽のノイズ成分の量の推定に用いるノイズモデルとは同じゆらぎ指標値を共有する画像処理方法。
9. 請求項８に記載の画像処理方法において、
   前記ノイズ成分の中に混入した偽のノイズ成分の量を、前記ノイズ成分の値が前記ゆらぎ指標値に対して大きいか否かを判断することによって推定する画像処理方法。
10. 請求項７から９のいずれかに記載の画像処理方法において、
    前記所定のノイズモデルは、ゆらぎ指標値を基準幅としてノイズが分布するガウス分布モデルである画像処理方法。
11. 請求項７から９のいずれかに記載の画像処理方法において、
    前記所定のノイズモデルは、ゆらぎ指標値を境としてノイズが分布する閾値分布モデルである画像処理方法。
12. 請求項１から１１のいずれかに記載の画像処理方法において、
    前記原画像は、多重解像度表現で帯域制限されたサブバンド画像である画像処理方法。
13. 請求項１から１１のいずれかに記載の画像処理方法において、
    前記原画像は、実空間で表現された原画像そのものである画像処理方法。
14. 原画像に含まれるノイズ成分を除去する画像処理方法であって、
    前記原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、
    前記各帯域制限画像に対してノイズ除去処理を行なって、各帯域制限画像のノイズ成分を抽出し、
    前記抽出された各帯域制限画像のノイズ成分を統合して、前記原画像と同じ解像度を持つノイズ成分に統合し、
    前記統合されたノイズ成分自身の大きさに基づいて、該ノイズ成分の中に含まれる偽のノイズ成分の量を推定し、
    前記推定結果に基づき、前記統合されたノイズ成分から前記偽のノイズ成分を除外して実ノイズ成分を抽出し、
    前記抽出された実ノイズ成分に基づき、原画像のノイズ除去を行なう画像処理方法。
15. 請求項１４に記載の画像処理方法において、
    前記統合されたノイズ成分の大きさが、原画像に対して一義的に決まるノイズゆらぎ指標値に比べて大きければ大きいほど、偽のノイズ成分が含まれている確率が高いと推定する画像処理方法。
16. 請求項１５に記載の画像処理方法において、
    前記偽のノイズ成分の混入割合を、前記統合されたノイズ成分と前記ノイズゆらぎ指標値との比を引数としたガウス分布確率で統計的に推定する画像処理方法。
17. 請求項１５に記載の画像処理方法において、
    前記統合されたノイズ成分に前記ガウス分布確率を掛けて減衰させることにより、偽のノイズ成分を除外する画像処理方法。
18. 請求項１４に記載の画像処理方法において、
    前記複数の帯域制限画像は、逐次的に低い解像度を持つ高周波サブバンド画像と低周波サブバンド画像のセットであり、両帯域制限画像の各々の解像度で抽出されたノイズ成分を統合して、前記統合されたノイズ成分を作成する画像処理方法。
19. 請求項１４に記載の画像処理方法において、更に
    前記各帯域制限画像で抽出されたノイズ成分に対しても、各々のノイズ成分自身の大きさに基づいて、各々のノイズ成分の中に含まれる偽のノイズ成分の量を推定し、
    前記推定結果に基づき、各々のノイズ成分から偽のノイズ成分を除外して、各帯域制限画像の実ノイズ成分を抽出し、
    これらの抽出された実ノイズ成分を統合することによって、ノイズ成分の統合前と統合後に２重に偽のノイズ成分を除外する検証を行なう画像処理方法。
20. 請求項４、８、１６５のいずれかに記載の画像処理方法において、
    前記偽のノイズ成分の混入割合を、ノイズ成分とノイズゆらぎ指標値を６倍した値との比を引数としたガウス分布確率で推定する画像処理方法。
21. 請求項１または２に記載の画像処理方法において、
    前記原画像の平滑化は、着目画素と周辺画素との画素間差分値に応じて加重係数が変化する加重平均フィルタを用いる画像処理方法。
22. 請求項１または２に記載の画像処理方法において、
    前記原画像の平滑化は、原画像に対してエッジ抽出を行い、エッジ成分の中に含まれるノイズ成分の信号を分離して、分離された信号を原画像から減算する処理を経る画像処理方法。
23. 請求項１から２２のいずれかに記載の画像処理方法において、
    前記原画像は、輝度面と色差面の各々である画像処理方法。
24. 請求項１から６、８から１１、１５から１７、２０から２２のいずれかに記載の画像処理方法において、
    前記原画像を均等ノイズ空間、ないしは均等色・均等ノイズ空間に変換することによって、前記ノイズゆらぎ指標値を原画像の明るさレベルに関係なく一定の指標を用いる画像処理方法。
25. 請求項１から２４のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラム。
26. 請求項２５に記載の画像処理プログラムを搭載する画像処理装置。
27. 請求項２５に記載の画像処理プログラムを搭載する電子カメラ。

Images