JP4535125B2

JP4535125B2 - 画像処理方法

Info

Publication number: JP4535125B2
Application number: JP2007511166A
Authority: JP
Inventors: 健一石賀
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2005-03-31
Filing date: 2006-03-31
Publication date: 2010-09-01
Anticipated expiration: 2026-03-31
Also published as: EP1865460B1; EP1865460A4; WO2006106919A1; US20080199100A1; DE602006021728D1; JPWO2006106919A1; EP1865460A1; US8059910B2

Description

本発明は、画像に含まれるノイズを除去する画像処理方法に関する。

従来、１チャンネル帯域表現である実空間画像のまま簡略にノイズ除去する方法が知られている（特許文献１）。この方法は、固定のフィルタ係数からなるハイパスフィルタ処理でエッジ成分も含まれる高周波成分信号を取り出し、その中に含まれるノイズ成分を非線形変換処理で推定するという方法である。この方法は、σフィルタのような、高精細だがフィルタ係数が画像構造に依存して変化するような重い処理の適応的フィルタリングを行なっていない。しかし、この種の方法は、簡略性の観点からハイパスフィルタサイズをあまり大きくするのが難しく、長周期ノイズに対応しにくい課題があった。

他方、多チャンネル帯域画像である多重解像度表現を用いてノイズ除去する方法が知られている。最も簡略に実現する手法が、多重解像度変換を行なって生成されたハイパスサブバンド画像に対して微小揺らぎ成分を零に落とすコアリング手法を用いる方法である。コアリングを閾値処理ではなく緩やかな特性を持たせた非線形コアリングする手法が特許文献２に示されている。

上記特許文献１でも、実空間処理で行なった手法を多重解像度応用した場合の例が示されているが、基本的にハイパスサブバンドの非線形コアリング処理に相当する。すなわち、実空間処理で敢えてハイパス成分を生成していた操作が多重解像度変換時のハイパスサブバンド画像生成に代替されるため、ハイパスサブバンドをコアリングする処理の変形例にすぎない。

しかしながら、多重解像度画像におけるハイパスサブバンドのコアリング処理は、サブバンド係数自身の値のみにしか基づかないノイズ除去処理なので、高精細なノイズ除去処理ができなく画質的にはずいぶんと不十分であった。それに対して、特許文献３や特許文献４では、ハイパスサブバンドの係数自身だけではなく周辺のサブバンド係数にも基づいてサブバンド係数を修正するノイズ除去処理を行なうことにより、画質的な向上を図っている。

特開２００２−７４３５６号公報米国特許第５４６７４０４号明細書米国特許第５４６１６５５号明細書米国特許第５５２６４４６号明細書

しかしながら、特許文献３や特許文献４では、何れも統計解析が必要であったり、ニューラルネットワークのような複雑な処理であったりして、簡略性と高画質性とのバランスが図られていないという問題があった。

請求項１の発明は、画像に含まれるノイズを除去する画像処理方法に適用され、画像を取得し、取得した画像から高周波成分を抽出し、抽出した高周波成分から非線形変換によりノイズ成分を抽出し、抽出したノイズ成分を画像から減算し、ノイズ成分を減算した画像から、再度高周波成分を抽出し、再度抽出した高周波成分から非線形変換により補正成分を抽出し、抽出した補正成分をノイズ成分を減算した画像に加算する。
請求項２の発明は、請求項１に記載の画像処理方法において、画像は、輝度成分と色差成分からなり、ノイズを減算した画像に補正成分を加算する処理は、輝度成分の画像に対してのみ行う。
請求項３の発明は、請求項１に記載の画像処理方法において、補正成分が加算された画像に対して、さらに、高周波成分を抽出し、抽出した高周波成分から非線形変換によりノイズ成分を抽出し、抽出したノイズ成分を画像から減算し、ノイズ成分を減算した画像に対し再度高周波成分を抽出し、抽出した高周波成分から非線形変換により補正成分を抽出し、ノイズ成分を減算した画像に抽出した補正成分を加算する処理を、少なくとも１回繰り返す。
請求項４の発明は、画像処理プログラムに適用され、請求項１から３のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラムである。
請求項５の発明は、画像処理装置に適用され、請求項１から３のいずれかに記載の画像処理方法を実行する制御装置とするものである。

本発明は、以上説明したように構成しているので、高速処理やハード化を容易とし、自然なノイズ除去効果が得ることができる。

本発明の一実施の形態である画像処理装置を示す図である。５段のウェーブレット変換によるサブバンド分割の様子を示す図である。ウェーブレット変換の各段で生成されるデータLL0〜データLL5の関係を示す図である。パーソナルコンピュータ１が処理する色空間変換処理の流れを示す図である。ラプラシアンフィルタを示す図である。非線形変換に使用する関数形を示すグラフである。パーソナルコンピュータ１が処理する第１の実施の形態のノイズ除去処理の流れを示す図である。パーソナルコンピュータ１が処理する輝度面処理の流れを示す図である。パーソナルコンピュータ１が処理する逆色空間変換処理の流れを示す図である。パーソナルコンピュータ１が処理する第２の実施の形態のノイズ除去処理の流れを示す図である。第２の実施の形態のノイズ除去の様子を示す図である。パーソナルコンピュータ１が処理する第４の実施の形態の色差面拡張処理の流れを示す図である。拡張処理によるノイズ除去の様子を示す図である。パーソナルコンピュータ１が処理する第４の実施の形態の輝度面拡張処理の流れを示す図である。パーソナルコンピュータ１が処理する第３の実施の形態のノイズ除去処理の流れを示す図である。

（第１の実施の形態）
図１は、本発明の一実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１により実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。

パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。パーソナルコンピュータ１は、ＣＰＵ（不図示）およびその周辺回路（不図示）から構成され、ＣＰＵがインストールされたプログラムを実行する。

プログラムがインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。

本実施の形態のパーソナルコンピュータ１は、線形RGB画像データを入力し、所定の色空間変換をし、色空間変換した画像データに対し、各ウェーブレット空間でノイズを除去しながら順次ウェーブレット変換を行う。そして、逆ウェーブレット変換を行い、最終的に複数周波数帯のノイズが除去されたノイズ除去画像データを得る。このノイズ除去画像データを逆色空間変換をしてノイズ除去された線形RGB画像データを得る。このようにして、Edge-preserving smoothingを実現するノイズ除去を行う。

＜ウェーブレット変換＞
まず、ウェーブレット変換（多重解像度変換）について説明する。ウェーブレット変換とは、画像データを周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。本実施の形態では、5/3フィルタを用いて5段のウェーブレット変換をする。5/3フィルタは、ローパス成分をタップ数５（１次元５画素）のフィルタで生成し、ハイパス成分をタップ数３（１次元３画素）のフィルタで生成する。

ハイパス成分およびローパス成分の生成式は、次式で示される。次式は、それぞれの帯域通過フィルタである。ここで、nは画素位置を示し、x[]はウェーブレット変換を行う対象画像の画素値を示す。例えば、横方向に100画素ある場合は、nは0〜49である。下記式によりハイパス成分あるいはローパス成分を抽出すると、それぞれ、現在の画素数100の半分の50画素分のハイパス成分およびローパス成分のデータが抽出される。これを、横方向および縦方向に処理を行う。
ハイパス成分：d[n]=x[2n+1]-(x[2n+2]+x[2n])/2 ...(1)
ローパス成分：s[n]=x[2n]+(d[n]+d[n-1])/4 ...(2)

以上の式を使用して、次のように、順次５段のウェーブレット変換をする。すなわち、帯域通過フィルタ処理を繰り返し行って、多チャンネル帯域画像が多重解像度表現されたサブバンド画像の集合体に変換するウェーブレット変換を行う。本実施の形態では、後述するように、各段で生成されるLL成分のデータを使用してノイズ信号の抽出を行う。なお、LLを低周波サブバンド、LH, HL, HHを高周波サブバンドと言う。また、低周波サブバンドを低周波帯域画像、高周波サブバンドを高周波帯域画像とも言う。さらに、各サブバンドを周波数帯域制限画像とも言う。低周波サブバンドは、原画像の周波数帯域を低周波側に帯域制限した画像であり、高周波サブバンドは、原画像の周波数帯域を高周波側に帯域制限した画像である。

第１段ウェーブレット変換：LL0(実空間) → LL1, LH1, HL1, HH1
第２段ウェーブレット変換：LL1 → LL2, LH2, HL2, HH2
第３段ウェーブレット変換：LL2 → LL3, LH3, HL3, HH3
第４段ウェーブレット変換：LL3 → LL4, LH4, HL4, HH4
第５段ウェーブレット変換：LL4 → LL5, LH5, HL5, HH5

図２は、５段のウェーブレット変換によるサブバンド分割の様子を示す図である。例えば、第１段のウェーブレット変換では、実空間の画像データに対し、まず横方向にすべての行についてハイパス成分およびローパス成分のデータを抽出する。その結果、横方向に半分の画素数のハイパス成分およびローパス成分のデータが抽出される。それを、例えば実空間の画像データがあったメモリ領域右側にハイパス成分、左側にローパス成分を格納する。

次に、メモリ領域右側に格納されたハイパス成分および左側に格納されたローパス成分のデータに対して、それぞれ縦方向にすべての列について、同様の上記式により、ハイパス成分およびローパス成分のデータを抽出する。その結果、メモリ領域右側のハイパス成分および左側のローパス成分のそれぞれから、さらにハイパス成分およびローパス成分のデータが抽出される。それらを、それぞれのデータがあったメモリ領域下側にハイパス成分、上側にローパス成分を格納する。

その結果、横方向にハイパス成分として抽出されたデータから縦方向にハイパス成分として抽出されたデータをHHと表し、横方向にハイパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータをHLと表し、横方向にローパス成分として抽出されたデータから縦方向にハイパス成分として抽出されたデータをLHと表し、横方向にローパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータをLLと表す。

次に、第２段のウェーブレット変換では、第１段のウェーブレット変換で横方向にローパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータLLに対し、同様にハイパス成分及びローパス成分の抽出を行う。これを５段繰り返した結果が、図２の図である。

図３は、ウェーブレット変換の各段で生成されるデータLL0〜データLL5の関係を示す図である。次に、第１の実施の形態の具体的な処理について説明する。

[1]色空間変換
図４は、パーソナルコンピュータ１が処理する色空間変換処理の流れを示す図である。ステップＳ１では、線形RGB画像データを入力する。ステップＳ２では、線形RGB画像データを均等ノイズ空間Y^Cb^Cr^に変換する。ステップＳ３では、均等ノイズ空間に変換されたY^Cb^Cr^画像データを取得する。

ステップＳ１で入力される線形RGB画像データは、線形階調で表されたRGB表色系データである。RGB表色系データは、例えばベイア配列の色フィルタを備えたCCDなどの撮像素子で撮像され、各種の補間処理がなされ、画素ごとにR成分,G成分,B成分の色情報を有するデータである。線形階調のデータとは、光強度に対して線形な階調のデータであり、受光量に正比例した色情報の値を持つデータである。すなわち、暗黒状態でも発生するオフセット性の黒レベル補正は行われているものとする。ガンマ補正が掛かっているようなデータは事前に線形階調へ戻しておくものとする。このような画像データは、デジタルカメラ２やその他の撮像装置で撮像される。

ステップＳ２では、入力された線形RGB画像データを、ノイズが階調に対して均等化される均等ノイズ空間に変換する。これにより、ノイズ除去の行いやすい状態にする。ショットノイズとセンサー・回路系の暗時ノイズを含むノイズを均等化するには、次式により、R,G,B線形階調にオフセット信号を加えて平方根階調特性に変換すればよい。すなわち、平方根特性の非線形階調変換を行う。オフセット信号はεとする。

εの値は、センサーによっても異なるが、ISO100程度のときはほぼ0に近い値を、ISO6400程度のときは0.05程度の正の値をとる。なお、ショットノイズと暗時ノイズを含む場合において、平方根階調変換する前に暗時ノイズ量に応じたオフセット信号を加えることにより均等ノイズ空間が実現できることが特願2004-200890号（本願発明者と同一発明者による出願）において示されている。

更に、このR',G',B'から、次式により、輝度・色差信号Y^,Cb^,Cr^を生成する。なお、輝度・色差信号Y^,Cb^,Cr^は、均等ノイズ空間に変換されたR',G',B'から次式により生成したものである。ここで、記号ハット(^)は均等ノイズ化された空間であることを示すために付けている。
Y^=(R'+2G'+B')/4 ...(6)
Cr^=R'-G' ...(7)
Cb^=B'-G' ...(8)

輝度・色差信号Y^,Cb^,Cr^も、元のR',G',B'のノイズが階調に対して均等化されているので、同様に階調に対して均等なノイズ特性を持つ。なお、均等ノイズ空間変換前のR,G,Bから生成する輝度・色差信号は、単にY,Cb,Crと表記される。

なお、ここで示した均等ノイズ空間への変換に限らず、さらによい画像処理空間である均等色・均等ノイズ空間へ変換するとさらに良い。均等色・均等ノイズ空間の実現方法は、特願2004-365881号（本願発明者と同一の発明者による出願）に示されている。

そして、均等ノイズ空間のY^Cr^Cb^各面について独立にウェーブレット変換とノイズ除去を行う。各面では、順次のウェーブレット変換をし、各段で生成されるLL成分のデータを使用してノイズ信号の抽出を行い、ノイズ除去を行う。

[2]色差面ノイズ除去処理
次に、均等ノイズ空間で表された色差信号に対して適応的ノイズ除去を行い、ランダムノイズに伴って現れるあらゆる周波数成分を含んだ色ノイズ（色斑ノイズ）を色構造を破壊せずに除去する方法を説明する。

ここでまず、１つのウェーブレット・サブバンド空間での基本処理の説明を行ってから各ウェーブレット・サブバンド空間でのノイズ除去を総合したノイズ除去の説明を行う。Cr^面、Cb^面各々個別に処理を行うが、それぞれ共通処理であり、また後の輝度面処理とも共通部分があるので、信号面の強度をI(x,y)で表し、一般化する。なお、本実施の形態では、基本的には、信号、データ、成分などの用語は同意として扱う。また、面とは、これらの信号やデータや成分の集合を言う。例えば、色差面とは、色差データや色差信号や色差成分の集まりをいい、輝度面とは輝度データや輝度信号や輝度成分の集まりを言う。また、Cr^面、Cb^面とは、色差データや色差信号や色差成分（Cr^、Cb^）の集まりをいい、Y^面とは輝度データや輝度信号や輝度成分（Y^）の集まりを言う。

＜基本処理＞
１．ラプラシアンでエッジ・ノイズ信号抽出
初期信号面あるいはウェーブレット変換で生成されたLL成分面の状態をI₀、ラプラシアンを∇²、nxn範囲の平滑化処理を<>_nxnで表すと、ラプラシアンで抽出した高周波成分ΔIは以下のように書ける。
ΔI(x,y)=∇²I₀(x,y)=I₀(x,y)-<I₀(x,y)>_nxn ...(9)

n=3の場合、通例用いられる最も単純なラプラシアンフィルタは、図５（ａ）に示す通りであり、実際の演算はこれを用いて行う。このラプラシアンフィルタ（ハイパスフィルタ、高周波通過フィルタ）は、相補的関係にあるローパスフィルタ（低周波通過フィルタ）を用いて説明すると、図５（ｂ）に示す原信号面から図５（ｃ）に示す3x3平滑化フィルタ処理後の面を引いた処理と等価である。こうして抽出される高周波成分信号ΔIにはエッジ成分信号とノイズ成分信号が混在した状態になっている。

２．非線形変換してノイズ信号抽出
上記高周波成分信号ΔIに対し、ランダムノイズ成分信号が固有に備えたガウス分布特性の情報を利用して、以下のような非線形変換を行いノイズ信号ΔI_noiseを抽出する。

ここに、定数σ_thは上記均等ノイズ空間で測定した一様画像領域の標準偏差値の定数倍にとるとよい。すなわち、高周波成分ΔIの零近傍でσ_thの幅でゆらぐ成分がノイズを表しており、σ_thの幅を超えて大きな値を示すものはノイズの性質からしてノイズとしては確からしくなく、エッジ部で拾った信号であろうと推定し、ノイズから切り捨てるのである。

図６は、この処理を説明するグラフであり、特に、式(10)の非線形変換特性を示すグラフである。式(10)のガウス型の指数関数演算の値は、ΔIを引数としたLUT(Lookup Table)で保有していれば、演算を高速に行うことができる。式(10)による非線形変換は、高周波成分ΔIに対して、この高周波成分ΔIを所定の閾値σ_thと比べた値を引数とするガウシアン加重係数を掛け、高周波成分ΔIに含まれるノイズ成分以外を減衰させる減衰処理である。

３．ノイズ信号を原信号から減算してノイズ除去
抽出したノイズ信号ΔI_noiseを、次式に示すように、原信号から減算処理することによりノイズ除去画像データI'を得る。
I'(x,y)=I₀(x,y)-ΔI_noise(x,y) ...(11)

このようにして、ノイズとして抽出された高周波成分は減衰されずそのままの値に近い値で元の信号から減算され、ノイズとして抽出されなかった高周波成分、すなわちエッジ成分はほぼ完全に減衰された値で減算される。その結果、ノイズは除去されエッジは保持される。

＜各ウェーブレット・サブバンド空間でのノイズ除去を総合したノイズ除去＞
上記基本処理は、１つのウェーブレット・サブバンド空間におけるノイズ除去処理の説明であった。本実施の形態では、上記の基本処理をウェーブレット変換を行いながら各ウェーブレット・サブバンド空間において行い、次に逆ウェーブレット変換を行って、各ウェーブレット・サブバンド空間でのノイズ除去を総合してノイズ除去された画像を得る。すなわち、ウェーブレット変換により複数の周波数帯のノイズ信号を考慮することにより自然なノイズ除去を行う。

初期信号面の状態をI₀、各ウェーブレット・サブバンド空間で抽出するノイズ信号ΔI_noiseとすると、ノイズ除去画像データI'は、模式的に次式の通り示すことができる。次式は、原信号から、各ウェーブレット・サブバンド空間で抽出したノイズ成分を減算していることを示している。

図７は、パーソナルコンピュータ１が処理する色差面でのノイズ除去処理の流れを示す図である。色差面Cr^、色差面Cb^とも共通の処理である。ステップＳ７１からステップＳ７４は、実空間でのノイズ除去処理である。ステップＳ７１では、実空間のデータLL0を取得する。ステップＳ７２では、実解像度でのノイズ信号を抽出する。ステップＳ７３では、実空間のデータLL0からノイズ信号を減算処理し、ステップＳ７４で、ノイズ除去されたLL0'を取得する。

ステップＳ７２およびステップＳ７３の処理は、上記基本処理で説明した「１．ラプラシアンでエッジ・ノイズ信号抽出」、「２．非線形変換してノイズ信号抽出」、「３．ノイズ信号を原信号から減算してノイズ除去」の処理に相当する。

ステップＳ７５では、データLL0'に対してウェーブレット変換をし、データLL1, LH1, HL1, HH1を得る。ステップＳ７６からステップＳ７９は、データLL1に対するノイズ除去処理である。ステップＳ７７およびステップＳ７８の処理は、ステップＳ７２およびステップＳ７３と同様に上記基本処理の「１．ラプラシアンでエッジ・ノイズ信号抽出」、「２．非線形変換してノイズ信号抽出」、「３．ノイズ信号を原信号から減算してノイズ除去」の処理に相当する。ただし、ステップＳ７７は、１／２解像度でのノイズ信号を抽出することになる。ステップＳ７８では、データLL1からノイズ信号を減算処理し、ステップＳ７9で、ノイズ除去されたLL1'を取得する。

このような処理を、ウェーブレット変換をしながら順次繰り返し、ステップＳ８０で、第５段のウェーブレット変換で得たデータLL5のノイズ除去されたデータLL5'を取得する。

次に、ステップＳ８１で、データLL5'に対して逆ウェーブレット変換を行ない、ステップＳ８２で、データLL4"を得る。この逆ウェーブレット変換を順次行ない、ステップＳ８４で、最終的にノイズ除去されたデータLL0"を得る。

以上のステップＳ７１からステップＳ８３の処理をまとめると以下の通りである。
１）実空間のノイズ除去：実空間に対し、基本処理を行う。
２）ウェーブレット変換：LL0' → LL1, LH1, HL1, HH1
３）LL1成分のノイズ除去：LL1サブバンドに対し、基本処理を行う。
４）ウェーブレット変換：LL1' → LL2, LH2, HL2, HH2
５）LL2成分のノイズ除去：LL2サブバンドに対し、基本処理を行う。
６）ウェーブレット変換：LL2' → LL3, LH3, HL3, HH3
７）LL3成分のノイズ除去：LL3サブバンドに対し、基本処理を行う。
８）ウェーブレット変換：LL3' → LL4, LH4, HL4, HH4
９）LL4成分のノイズ除去：LL4サブバンドに対し、基本処理を行う。
１０）ウェーブレット変換：LL4' → LL5, LH5, HL5, HH5
１１）LL5成分のノイズ除去：LL5サブバンドに対し、基本処理を行う。
１２）逆ウェーブレット変換：LL5', LH5, HL5, HH5 → LL4"
１３）逆ウェーブレット変換：LL4", LH4, HL4, HH4 → LL3"
１４）逆ウェーブレット変換：LL3", LH3, HL3, HH3 → LL2"
１５）逆ウェーブレット変換：LL2", LH2, HL2, HH2 → LL1"
１６）逆ウェーブレット変換：LL1", LH1, HL1, HH1 → LL0"(実空間)
なお、図３に示すように、何れの基本処理も3x3のラプラシアンフィルタを使用する。

このようにして、ノイズ除去された色差面Cr^、色差面Cb^を取得する。

[3]輝度面ノイズ除去処理
次に、輝度面ノイズ除去処理について説明する。均等ノイズ空間で表された輝度信号に対して適応的ノイズ除去を行い、ランダムノイズに伴って現れるあらゆる周波数成分を含んだザラツキノイズを画像のエッジやテキスチャ構造を破壊せずに除去する。

まず最初に、色差面のときと同様に、輝度面の各ウェーブレット・サブバンド空間に対して行う「基本処理」を定義するところから始める。輝度面の「基本処理」に相当する最初の処理は色差面の「基本処理」と同じことを行う。しかしながら、輝度面は色差面に比べ人間の目に対して非常に敏感であり、繊細な扱いを必要とする。色差面と同様にノイズ信号成分の減算処理だけでは、白く浮いて画像全体のコントラストがやや落ちたような輝度面ができ上がりやすい。これは、「３．ノイズ信号を原信号から減算してノイズ除去」の処理において、エッジ成分の一部が減算されてしまう場合があることによる。これを補正するために、ノイズ除去画像データを出発点とした逆の補正処理も追加して１つの基本処理とする。

＜基本処理＞
前述の色差面と同様に、輝度面の１つのウェーブレット空間での処理を基本処理として説明する。まず、前述した色差面の基本処理の「１．ラプラシアンでエッジ・ノイズ信号抽出」、「２．非線形変換してノイズ信号抽出」、「３．ノイズ信号を原信号から減算してノイズ除去」を行う。これらを過程１、２、３とも言う。

４．ノイズ除去画像データからラプラシアンで高周波信号抽出
ノイズ除去画像データをI'、ラプラシアンを∇²、nxn範囲の平滑化処理を<>_nxnで表すと、ノイズ除去画像データI'からラプラシアンで抽出した高周波成分ΔI'は以下のように書ける。この処理で再度ノイズとエッジが抽出されることになると思われるが、実際にはノイズは上記過程１〜３で減算されてほとんど残っていないと考えられる。従って、一度消されたノイズ成分を抽出してもほとんど有意な値として抽出されることがない。ゆえに、大部分が過程１で抽出したエッジノイズ成分のうちのエッジ成分に相当する量からなっている。なお、ラプラシアンは「１．ラプラシアンでエッジ・ノイズ信号抽出」と同じ定義のものを用いる。
ΔI'(x,y)=∇²I'(x,y)=I'(x,y)-<I'(x,y)>_nxn ...(13)

５．非線形変換して高周波補正信号抽出
上記高周波成分信号ΔI'に対し、ランダムノイズ成分信号が固有に備えたガウス分布特性の情報を利用して、式(10)と同様に、以下のような非線形変換を行い高周波補正信号ΔI'_noiseを抽出する。この高周波補正信号ΔI'_noiseは、前述した「２．非線形変換してノイズ信号抽出」と同様の過程を経ることによって過程３で誤って減算してしまったエッジ成分の一部と同レベルの量のエッジ信号を抽出するものである。すなわち、抽出した高周波補正信号ΔI'_noiseには、過程２の中でわずかに含まれてしまったエッジ信号と同程度の量に相当するエッジ信号が含まれている。

６．高周波補正信号をノイズ除去画像信号に加算してノイズ除去画像補正
抽出した高周波補正信号ΔI'_noiseをノイズ除去画像信号I'に加算処理する。この処理では、ノイズ信号自体は減算処理されてほとんど消滅しているので、加算されても元の状態には戻らずノイズ除去された状態が維持される。一方、前述の処理でわずかに減算されてしまったエッジ信号に対応する信号が抽出され加算されるので、エッジ部が正確に補正されたノイズ除去画像データI"を得る。
I"(x,y)=I'(x,y)+ΔI'_noise(x,y) ...(15)

輝度成分の基本処理は元画像I(x,y)から正確にノイズ成分だけを除去した画像I"(x,y)を得る手続からなる。これはとりもなおさず元画像I(x,y)からノイズ成分I(x,y)-I"(x,y)=ΔI_noise(x,y)-ΔI'_noise(x,y)を抽出し、減算することによってノイズ除去画像I"(x,y)を得ているとも解釈できる。

＜各ウェーブレット空間での基本処理を総合したノイズ除去＞
上記基本処理は、１つのウェーブレット空間における基本処理の説明であった。本実施の形態では、上記の基本処理をウェーブレット変換を行いながら各ウェーブレット・サブバンド空間において行い、次に逆ウェーブレット変換を行って、各ウェーブレット・サブバンド空間でのノイズ除去を総合してノイズ除去された画像を得る。すなわち、ウェーブレット変換により複数の周波数帯のノイズ信号を考慮することにより自然なノイズ除去を行う。

こうして、あらゆる周波数のザラツキノイズが抑えられた自然なノイズ除去を達成しつつも、画像構造を保持してコントラストも変化させないノイズ除去が可能となる。

図８は、パーソナルコンピュータ１が処理する輝度面Y^のノイズ除去処理の流れを示す図である。ステップＳ７１からステップＳ７４は、色差面の処理と同じである。ステップＳ１７２では、ノイズ除去画像LL0'から補正信号を抽出する。ステップＳ１７３では、ノイズ除去画像LL0'に補正信号を加算処理し、ステップＳ１７４で、補正されたノイズ除去画像LL0"を取得する。

ステップＳ１７２およびステップＳ１７３の処理は、上記補正基本処理で説明した「４．ノイズ除去画像データからラプラシアンで高周波信号抽出」、「５．非線形変換して高周波補正信号抽出」、「６．高周波補正信号をノイズ除去画像信号に加算してノイズ除去画像補正」の処理に相当する。

ステップＳ１７５では、データLL0"に対してウェーブレット変換をし、データLL1, LH1, HL1, HH1を得る。次に、低周波サブバンドLL1に対して、ステップＳ７２からステップＳ７４およびステップＳ１７２からステップＳ１７４の処理を同様に行う。以下、ウェーブレット変換をしながらこれらの処理を順次繰り返し、ステップＳ１８０で、第５段のウェーブレット変換で得たデータLL5に対するノイズ除去され補正されたデータLL5"を取得する。

次に、ステップＳ１８１で、データLL5"に対して逆ウェーブレット変換を行ない、ステップＳ１８２で、データLL4⁽³⁾を得る。この逆ウェーブレット変換を順次行ない、ステップＳ１８３で、最終的に補正されたノイズ除去画像データLL0⁽³⁾を得る。

以上のステップＳ１７１からステップＳ１８３の処理をまとめると以下の通りである。
１）実空間のノイズ除去：実空間に対し、基本処理を行う。
２）ウェーブレット変換：LL0" → LL1, LH1, HL1, HH1
３）LL1成分のノイズ除去：LL1サブバンドに対し、基本処理を行う。
４）ウェーブレット変換：LL1" → LL2, LH2, HL2, HH2
５）LL2成分のノイズ除去：LL2サブバンドに対し、基本処理を行う。
６）ウェーブレット変換：LL2" → LL3, LH3, HL3, HH3
７）LL3成分のノイズ除去：LL3サブバンドに対し、基本処理を行う。
８）ウェーブレット変換：LL3" → LL4, LH4, HL4, HH4
９）LL4成分のノイズ除去：LL4サブバンドに対し、基本処理を行う。
１０）ウェーブレット変換：LL4" → LL5, LH5, HL5, HH5
１１）LL5成分のノイズ除去：LL5サブバンドに対し、基本処理を行う。
１２）逆ウェーブレット変換：LL5", LH5, HL5, HH5 → LL4⁽³⁾
１３）逆ウェーブレット変換：LL4⁽³⁾, LH4, HL4, HH4 → LL3⁽³⁾
１４）逆ウェーブレット変換：LL3⁽³⁾, LH3, HL3, HH3 → LL2⁽³⁾
１５）逆ウェーブレット変換：LL2⁽³⁾, LH2, HL2, HH2 → LL1⁽³⁾
１６）逆ウェーブレット変換：LL1⁽³⁾, LH1, HL1, HH1 → LL0⁽³⁾(実空間)
なお、何れの基本処理も3x3のラプラシアンを使用する。

このようにして、補正処理がなされたノイズ除去画像LL0⁽³⁾、すなわち、ノイズが除去され補正処理がなされた輝度面Y^を取得する。ノイズ除去画像LL0⁽³⁾は、上記式(16)のI'(x,y)に相当する。

なお、輝度面Y^のノイズ除去処理の流れは、図７の色差面の処理と同等なフローとして考えてもよい。すなわち、色差面では、ノイズ信号ΔI_noise(x,y)を抽出して原信号から減算処理I(x,y)-ΔI_noise(x,y)することによってノイズ除去画像I'(x,y)を得ていた。この場合を、輝度面では、ノイズ信号ΔI_noise(x,y)-ΔI'_noise(x,y)を抽出して、原信号から減算処理I(x,y)-{ΔI_noise(x,y)-ΔI'_noise(x,y)}することによってノイズ除去画像I"(x,y)を得ていると考えればよい。

輝度面では、上記の通り、基本処理の中で、3x3のラプラシアンフィルタリング処理をした結果を用いて非線形補正処理をした後、さらに同じサイズの3x3のラプラシアンフィルタリング処理をした結果を用いて非線形補正処理をしている。すなわち、3x3のフィルタサイズが２回分かかっている。このことは、結果として5x5のサイズの範囲から高精度にノイズ抽出処理をしているのと等価である。このように、色差面と輝度面とでは、ノイズ抽出を行うフィルタのサイズが異なると言うことができ、参照する周辺画素の範囲が異なる。言い換えれば、輝度面のノイズ除去処理の周辺画素の信号を参照する手順や方法と色差面のノイズ除去処理の周辺画素の信号を参照する手順や方法とが異なる。このように、輝度面と色差面の視感度特性に応じたノイズ除去（ノイズ抽出）処理を導入することによって高精細なedge-preserving smoothing処理を実現している。

[4]逆色空間変換
図９は、パーソナルコンピュータ１が処理する逆色空間変換処理の流れを示す図である。ステップＳ９１では、図７のステップＳ８３で得られたノイズ除去されたCb^Cr^を取得し、図８のステップＳ１８３で得られたノイズ除去されたY^を取得する。ステップＳ９２では、Y^Cb^Cr^を均等ノイズ空間のR',G',B'に戻し、更に元の線形階調のR,G,Bに戻す。逆色空間変換は、上記で説明した色空間変換の式を逆にたどるような処理をすればよい。ステップＳ９３では、ノイズ除去されたRGB画像データを取得し、必要に応じて出力する。

以上のように構成された第１の実施の形態の画像処理装置は、次のような効果を奏する。
（１）長周期ノイズにも対応が容易な多チャンネル帯域表現の多重解像解像度画像において、高品質で簡便なノイズ除去処理を行なうことができる。
（２）多重解像度表現されたサブバンド画像に対して、簡略でノイズ推定能力の高い演算処理を初めて導入したので、短周期から長周期に渡るあらゆるノイズ成分を簡略で高品質にノイズ除去することが可能となり、ソフトウェア処理では高速化、ハードウェア処理では回路規模の低減を図ることが可能となった。
（３）ノイズ抽出処理において非線形変換処理をランダムノイズの起源に対応したガウス関数を導入したことにより、正確なエッジとノイズの分離が可能となった。
（４）簡略なノイズ抽出処理を、輝度成分に対しては色差成分と同等の処理をほぼ２回繰り返すだけで済むような簡略な方式を導入するだけで、高精細なedge-preserving smoothingを実現する。
（５）異なる複数の周波数帯の複数の周波数成分のノイズに対応することによって、ランダムノイズに対して自然なノイズ除去効果を従来よりもより簡略・高速に達成することができる。
（６）ウェーブレット変換の各段において、同じサイズの固定フィルタを使用してフィルタリングを行うことにより、サイズの異なるフィルタでフィルタリングを行っていることと等価の効果を得ることができる。１段解像度が下がるごとに辺方向のサイズが半分となるので、小さなサイズのフィルタを１つ使用するだけで、小さなサイズから大きなサイズの複数のフィルタを使用しているのと同じ効果を得る。従って、処理量が少なくて済み、処理の単純化および高速化が図れる。
（７）色差面の場合を例にとると、ラプラシアンフィルタを実画像の4/3倍の画素数分だけ掛けるだけで済む。また、非線形LUT変換も実画像の4/3倍の画素数分だけ通して、減算処理を行うだけの極めて単純な処理で済む。このような少ない単純な処理で、色斑ノイズフリーでザラツキが自然に抑えられた、非常に画像構造温存性の高いノイズ除去効果が得られる。これはハードウェア実装に非常に適した方式であるといえる。
（８）均等ノイズ空間に変換してからノイズ信号を抽出しているので、簡単な構成でノイズを正確に抽出することができる。すなわち、均等ノイズ空間変換後において、原信号と平滑化信号との差分で構成される高周波信号のみの抽出だけで、それを制御する別のエッジ検出部を伴わずにノイズ成分信号を正確に抽出することができる。その結果、ノイズ除去効果を従来よりもより簡略・高速にかつ正確に達成することができる。
（９）LL成分に対する固定フィルタ処理による演算結果に対してLUTによる非線形変換を通してノイズ信号を抽出し、抽出したノイズ信号をLL成分から減算し、このような処理を限られた段数のウェーブレット空間のそれぞれで行うだけなので、非常に簡略でハードウェア化も容易で、かつ優れたノイズ除去効果が得られる。
（１０）輝度成分については、ノイズ除去後の画像データに対して、同様の処理をして再度高周波成分を抽出し、補正信号を抽出する。この再度同様の過程を経て抽出された補正信号には、ノイズ成分はほとんど含まれず、非線形変換による減衰処理を通してもわずかに残ってしまった本来減算されてはいけないエッジ成分に等しい量のエッジ成分が再度抽出される。これを補正信号としてノイズ除去後の画像データに加算しているので、ノイズ除去状態は維持されながら減算してしまったエッジ成分が補正される。これにより、色差面に比べ人間の目が非常に敏感に感じる輝度面を繊細に扱うことができる。その結果、ランダムノイズに伴って現れるあらゆる周波数成分を含んだザラツキノイズを画像のエッジやテキスチャ構造を破壊せずに除去することができる。
（１１）非線形変換をLUTを使用して行うので、簡単な構成で高速に処理を行うことができる。なお、更に簡略化してテーブル参照すら取り払ってしまいたい場合は、非線形変換を閾値処理に置き換えてもよい。このような処理をしても、それなりの画質効果は得られる。具体的には、次の条件式により行う。すなわち、閾値処理とは、ΔIを所定の閾値σ_thと比較して、閾値σ_th以下であればΔIをそのまま採用し、閾値σ_thより大きければゼロとして採用しないとする処理である。

なお、上記した多重解像度変換はウェーブレット変換以外であってもよい。例えば、ＤＣＴピラミッド、ラプラシアン・ピラミッド、ステアラブル・ピラミッドなどであってもよい。

（第２の実施の形態）
ノイズ除去、中でも特に輝度成分に関しては強めに行うべきか弱めに行うべきか評価の分かれるところである。すなわち、強く行えば滑らかになるが鮮鋭感が失われ、弱く行えばその逆である。第１の実施の形態で、強めのノイズ除去を行おうとしたとき、非線変換の閾値を上げればその目的に近づくことができる。しかし、画像構造を破壊する危険性があるので、その閾値は一様画像で調べたノイズ特性の標準偏差で決まる値に固定しておくのがよい。

第２の実施の形態は、このような方法の代わりに使える方法を示す。第１の実施の形態では、LL成分のデータにのみ基本処理を行ったが、第２の実施の形態では、各段のウェーブレット変換のハイパス成分HH, HL, LHに対しても基本処理を施す。このようにノイズ抽出処理は実画像データやそれから解像度を落とした低周波成分のみならず、高周波成分に含まれるノイズ信号に対しても適用する。

第２の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。基本的には、各段のウェーブレット変換のハイパス成分HH, HL, LHに対しても基本処理を施し、逆ウェーブレット変換のときには、このような基本処理を施したハイパス成分のデータを使用することを除けば、第１の実施の形態の処理と同様である。

図１０は、パーソナルコンピュータ１が処理する第２の実施の形態のノイズ除去処理の流れを示す図である。図１１は、第２の実施の形態のノイズ除去の様子を示す図である。各処理の詳細は、第１の実施の形態の説明を参照することとし、図１０の第２の実施の形態の処理の概要をまとめると以下の通りである。なお、輝度・色差成分の両方について処理しても良いし、輝度の鮮鋭感を残したいのであれば色差成分のみ処理してもよい。

１）実空間のノイズ除去：実空間に対し、基本処理を行う。
２）ウェーブレット変換：LL0' → LL1, LH1, HL1, HH1
３）1/2解像度でのノイズ除去：LL1, LH1, HL1, HH1サブバンドに対し、基本処理を行う。
４）ウェーブレット変換：LL1' → LL2, LH2, HL2, HH2
５）1/4解像度でのノイズ除去： LL2, LH2, HL2, HH2サブバンドに対し、基本処理を行う。
６）ウェーブレット変換：LL2' → LL3, LH3, HL3, HH3
７）1/8解像度でのノイズ除去：LL3, LH3, HL3, HH3サブバンドに対し、基本処理を行う。
８）ウェーブレット変換：LL3' → LL4, LH4, HL4, HH4
９）1/16解像度でのノイズ除去： LL4, LH4, HL4, HH4サブバンドに対し、基本処理を行う。
１０）ウェーブレット変換：LL4' → LL5, LH5, HL5, HH5
１１）1/32解像度でのノイズ除去：LL5, LH5, HL5, HH5サブバンドに対し、基本処理を行う。
１２）逆ウェーブレット変換：LL5', LH5', HL5', HH5' → LL4"
１３）逆ウェーブレット変換：LL4", LH4', HL4', HH4' → LL3"
１４）逆ウェーブレット変換：LL3", LH3', HL3', HH3' → LL2"
１５）逆ウェーブレット変換：LL2", LH2', HL2', HH2' → LL1"
１６）逆ウェーブレット変換：LL1", LH1', HL1', HH1' → LL0"(実空間)

また、輝度成分に対して、第１の実施の形態と同様にノイズ除去処理を行う場合は、各段のウェーブレット変換のハイパス成分HH, HL, LHに対しても第１の実施の形態で説明した輝度面の基本処理を施し、逆ウェーブレット変換のときには、このような基本処理を施したハイパス成分及びローパス成分のノイズ除去データを使用する。

ここで、第１の実施の形態の式(12)に対応する第２の実施の形態の式を模式的に表してみると以下のようになる。

以上のように構成された第２の実施の形態の画像処理装置は、第１の実施の形態で述べた効果に加えて次のような効果を奏する。
（１）従来の高性能なedge-preserving smoothingとして知られるBilateral Filterに匹敵するような画質効果を、空間方向の非線形変換係数によるフィルタリングやビットシフトで扱えない割り算処理を伴わずに、遥かに簡略な処理で達成することができる。
（２）また、従来技術のσフィルタとwavelet変換を組み合わせた処理よりもノイズの非線形確率モデルを正確に取り込みつつ、かつビットシフトで扱えない割り算処理は伴わずに済む。また、高周波成分を抽出するフィルタは基本的に１つだけでよく、ハード化しやすい。

（第３の実施の形態）
第１の実施の形態は低周波サブバンド側のみ、第２の実施の形態は低周波と高周波の両サブバンドに対してノイズ除去をした。しかし、第３の実施の形態は、逆に高周波サブバンドのみに対してノイズ除去を行う。すなわち、ウェーブレット分解した高周波サブバンド(HL,LH,HH)に対して輝度面と色差面の基本処理を行う方式である。

すなわち、高周波サブバンド（ハイパスサブバンド）に対してももう一度ハイパスフィルタをかけてノイズ抽出をする方式を採用する。これにより、高周波サブバンドに含まれるノイズ推定精度が上がって、従来の高周波サブバンドのコアリングよりも格段にノイズ除去性能を上げるとともに、固定フィルタ利用による簡略性も維持し、ほぼ第１の実施の形態と同等の効果を得ることができる。

第３の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。

図１５は、パーソナルコンピュータ１が処理する第３の実施の形態のノイズ除去処理の流れを示す図である。各高周波サブバンドでのノイズ除去処理は第１の実施の形態の基本処理と同様であるので、第１の実施の形態の説明を参照することとする。図１５の第３の実施の形態の処理の概要をまとめると以下の通りである。なお、輝度面に対しては第１の実施の形態の輝度面に対する基本処理を行い、色差面に対しては第１の実施の形態の色差面に対する基本処理を行う。

輝度面と色差面の各々のノイズ除去処理の流れは区別なく説明できるので、以下まとめて説明を行う。
１）実空間：実空間に対しノイズ除去処理を行わない。
２）ウェーブレット変換：LL0 → LL1, LH1, HL1, HH1
３）1/2解像度でのノイズ除去：LH1, HL1, HH1サブバンドに対し、基本処理を行う。
４）ウェーブレット変換：LL1 → LL2, LH2, HL2, HH2
５）1/4解像度でのノイズ除去： LH2, HL2, HH2サブバンドに対し、基本処理を行う。
６）ウェーブレット変換：LL2 → LL3, LH3, HL3, HH3
７）1/8解像度でのノイズ除去：LH3, HL3, HH3サブバンドに対し、基本処理を行う。
８）ウェーブレット変換：LL3 → LL4, LH4, HL4, HH4
９）1/16解像度でのノイズ除去： LH4, HL4, HH4サブバンドに対し、基本処理を行う。
１０）ウェーブレット変換：LL4 → LL5, LH5, HL5, HH5
１１）1/32解像度でのノイズ除去： LH5, HL5, HH5サブバンドに対し、基本処理を行う。
１２）逆ウェーブレット変換：LL5, LH5', HL5', HH5' → LL4'
１３）逆ウェーブレット変換：LL4', LH4', HL4', HH4' → LL3'
１４）逆ウェーブレット変換：LL3', LH3', HL3', HH3' → LL2'
１５）逆ウェーブレット変換：LL2', LH2', HL2', HH2' → LL1'
１６）逆ウェーブレット変換：LL1', LH1', HL1', HH1' → LL0'(実空間)

ここで、第１の実施の形態の式(12)や第２の実施の形態の式(18)に対応する第３の実施の形態の式を模式的に表してみると以下のようになる。

（第４の実施の形態）
第４の実施の形態のパーソナルコンピュータ１は、線形RGB画像データを入力し、所定の色空間変換をし、色空間変換した画像データから複数のバンドフィルタで複数のバンドのノイズを抽出し、抽出したノイズを色空間変換した原画像データから減算処理をしてノイズ除去画像データを得、このノイズ除去画像データを逆色空間変換をしてノイズ除去された線形RGB画像データを得る。このようにして、Edge-preserving smoothingを実現するノイズ除去を行う。

第４の実施の形態は、第１の実施の形態に比べて処理量は多くなるが、自由度が大きく、高性能な設計ができるポテンシャルを持っている。第２の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。

[1]色空間変換
第１の実施の形態と同様である。

[2]色差面ノイズ除去処理
次に、均等ノイズ空間で表された色差信号に対して適応的ノイズ除去を行い、ランダムノイズに伴って現れるあらゆる周波数成分を含んだ色ノイズ（色斑ノイズ）を色構造を破壊せずに除去する。

第４の実施の形態の処理は、初期信号面I₀に対して、第１の実施の形態で説明した基本処理を、フィルタサイズを変えながら行うものである。そして、各フィルタサイズでの「３．ノイズ信号を原信号から減算してノイズ除去の処理」をまとめて行うものである（図１２参照）。従って、基本処理の説明は第１の実施の形態の基本処理を参照することとし、以下、この基本処理を複数のフィルタサイズで行う拡張処理について説明する。

＜拡張処理＞
本実施の形態では、上記基本処理を複数の周波数成分に対して処理し、複数の周波数帯のノイズ信号を考慮することにより自然なノイズ除去を行う。すなわち、基本処理を複数周波数帯について同時に考慮し、複数の性質の異なるノイズ信号の零近傍に振れる値の期待値をとることによって実現する。

これは、実際に観測されたノイズ信号が、低周波から高周波までのあらゆる周波数帯からなるノイズ成分の、周波数に関する確立密度分布の期待値で表されていることを、逆にたどる原理を利用している。期待値をとるのは単純加算で十分な効果を発揮する。例えば3x3, 9x9, 27x27, 81x81の各範囲で抽出した高周波成分を考えた場合、4バンドのノイズ成分を原画像データから減算処理すればよい。

抽出した各バンドのノイズ信号ΔI_noiseを、次式に示すように、原信号から減算処理することによりノイズ除去画像データI'を得る。次式は、原信号から、抽出した各バンドのノイズ成分を減算していることを示している。

各バンドのラプラシアンは、3x3, 9x9, 27x27, 81x81の各異なるサイズの固定係数からなるガウスぼかしフィルタで平滑化した結果を原画像データから引いたもので定義するとよい。フィルタサイズは、辺方向のサイズが順次3倍ずつ大きくなっている。各平滑化範囲は正方形にとってもよいし、円形にとってもよい。

また、ランダムなノイズ成分は縦横対称な形にとらなくても複数の周波数帯が相互に影響を及ぼしあう。従って、ハードウェア構成上、数ライン分のラインメモリしか許されない場合は以下のようにとってもかなり自然なノイズ除去効果は得られる。例えば、3ラインの場合、次式による。

実験によれば、数百万から一千万画素レベルの画像データに対して最大サイズを81x81程度に取っておけば、ISO6400のような超高感度で多量の色斑ノイズが発生しやすいような状況でも、ほぼ完全に色斑ノイズが消滅したノイズ除去画像データが得られ、しかも色構造破壊がない。

図１２は、パーソナルコンピュータ１が処理する上記色差面拡張処理の流れを示す図である。ステップＳ１０では、ステップＳ２で変換された均等ノイズ空間画像データY^Cb^Cr^のうち色差面Cb^を取得する。ステップＳ１１で、3x3のラプラシアンフィルタ処理を行い、ステップＳ１２で、3x3帯域の高周波成分を取得する。ステップＳ１１およびステップＳ１２は、第１の実施の形態の基本処理で説明した「１．ラプラシアンでエッジ・ノイズ信号抽出の処理」に相当する。

次に、ステップＳ１３で、非線形変換をし、ステップＳ１４で、3x3帯域のノイズ信号を取得する。ステップＳ１３およびステップＳ１４は、第１の実施の形態の基本処理で説明した「２．非線形変換してノイズ信号抽出の処理」に相当する。

上記3x3帯域のノイズ信号の取得と同様に、9x9帯域のノイズ信号をステップＳ１５からステップＳ１８の処理により取得し、27x27帯域のノイズ信号をステップＳ１９からステップＳ２２の処理により取得し、81x81帯域のノイズ信号をステップＳ２３からステップＳ２６の処理により取得する。

ステップＳ２７では、抽出した各3x3帯域のノイズ信号、9x9帯域のノイズ信号、27x27帯域のノイズ信号、81x81帯域のノイズ信号を原信号から減算処理をする。ステップＳ２８では、ステップＳ２７の減算処理の結果ノイズが除去された色差面Cb^を取得する。ステップＳ２７の処理は、各帯域での第１の実施の形態の基本処理で説明した「３．ノイズ信号を原信号から減算してノイズ除去の処理」をまとめた処理に相当する。

なお、色差面Cr^面についても同様に行い、ノイズ除去された色差面Cr^を取得する。

図１３は、上記拡張処理によるノイズ除去の様子を示す図である。図１３（ａ）は、フィルタ処理をしない様子、および原信号I₀を示す。図１３（ｂ）は、3x3の平滑化フィルタ（ガウス（ぼかし）フィルタ）を使用し、バンド１（3x3）のノイズ信号を抽出した様子を示す。図１３（ｃ）は、9x9の平滑化フィルタ（ガウス（ぼかし）フィルタ）を使用し、バンド２（9x9）のノイズ信号を抽出した様子を示す。図１３（ｄ）は、27x27の平滑化フィルタ（ガウス（ぼかし）フィルタ）を使用し、バンド３（27x27）のノイズ信号を抽出した様子を示す。図１３（ｅ）は、81x81の平滑化フィルタ（ガウス（ぼかし）フィルタ）を使用し、バンド４（81x81）のノイズ信号を抽出した様子を示す。

図１３（ｆ）は、図１３（ｂ）から図１３（ｅ）の抽出したノイズ信号をすべて加算処理した信号を示す。図１３（ｇ）は、図１３（ａ）の原信号から図１３（ｆ）の信号を減算処理した結果のノイズ除去信号I'を示す。図４のステップＳ２７では、すべてのノイズ信号を減算する処理として示されているが、図１３（ｆ）のようにすべてを加算してからその値を減算することと等価である。

輝度面の「基本処理」に相当する最初の処理は、第１の実施の形態と同様に、色差面の処理と同じことを行う。しかしながら、輝度面は色差面に比べ人間の目に対して非常に敏感であり、繊細な扱いを必要とする。色差面と同様にノイズ信号成分の減算処理だけでは、白く浮いて画像全体のコントラストがやや落ちたような輝度面ができ上がりやすい。これは、「３．ノイズ信号を原信号から減算してノイズ除去」の処理において、エッジ成分の一部が減算されてしまう場合があることによる。これを補正するために、本実施の形態でも、過程３を経た画像を暫定ノイズ除去画像データとし、更に逆の補正処理を行って実ノイズ除去画像を得る。

第４の実施の形態の処理は、色差面の処理と同様にして得た輝度面の暫定ノイズ除去画像データI'に対して、第１の実施の形態で説明した輝度面における基本処理の追加部分を、フィルタサイズを変えながら行うものである。そして、各フィルタサイズでの「６．高周波補正信号をノイズ除去画像信号に加算してノイズ除去画像補正」の処理をまとめて行うものである（図１４参照）。従って、基本処理の説明は第１の実施の形態の輝度面の基本処理を参照することとし、以下、この基本処理を複数のフィルタサイズで行う拡張処理について説明する。

＜拡張処理＞
本実施の形態では、上記輝度面の基本処理を複数の周波数成分に対して処理し、複数の周波数帯のノイズ信号を考慮することにより自然なノイズ除去を行う。すなわち、基本処理を複数周波数帯について同時に考慮し、複数の性質の異なるノイズ信号の零近傍に振れる値の期待値をとることによって実現する。期待値をとるのは単純加算で十分な効果を発揮する。例えば3x3, 9x9, 27x27, 81x81の各範囲で抽出した高周波成分を考えた場合、4バンドのノイズ成分を原画像データから減算処理すればよい。

抽出した各バンドのノイズ信号ΔI_noiseを、次式(22)に示すように、原信号から減算処理することによりノイズ除去画像データI'を得る。次に、抽出した各バンドの高周波補正信号ΔI'_noiseを、次式(23)に示すように、ノイズ除去画像データI'に加算処理することにより補正されたノイズ除去画像データI"を得る。

図１４は、パーソナルコンピュータ１が処理する上記輝度面拡張処理の流れを示す図である。ステップＳ３０では、ステップＳ２で変換された均等ノイズ空間Y^Cb^Cr^のうち輝度面Y^を取得する。ステップＳ３１からステップＳ４７は、図１２の色差面におけるステップＳ１１からステップＳ２７と同様の処理である。

ステップＳ５０では、ステップＳ４７の減算処理の結果ノイズが除去された仮輝度面Y^（ノイズ除去画像データI'）を取得する。次に、取得された仮輝度面Y^に対しステップＳ５１からステップＳ６６の処理が実行される。これらステップＳ５１からステップＳ６６の処理は、ステップＳ３１からステップＳ４６、すなわち、図１２の色差面におけるステップＳ１１からステップＳ２６と同様の処理である。

ステップＳ５１からステップＳ６６の処理の結果、各バンドの高周波補正信号ΔI'_noiseを取得することができる。ステップＳ６７では、各バンドの高周波補正信号ΔI'_noiseをノイズ除去された仮輝度面Y^（画像データI'）に加算処理する。ステップＳ６８では、ステップＳ６７の加算処理の結果、ステップＳ４７で除去しすぎたエッジ成分等が補正された輝度面Y^を取得する。ステップＳ６７の処理は、各バンドでの第１の実施の形態の輝度面の基本処理で説明した「６．高周波補正信号をノイズ除去画像信号に加算してノイズ除去画像補正」の処理をまとめた処理に相当する。

[4]逆色空間変換
第１の実施の形態の図９の処理と同様であるので説明を省略する。

以上のように構成された第４の実施の形態の画像処理装置は、ウェーブレット変換による効果を除き第１の実施の形態と同様な効果を奏する。さらに、次のような効果を奏する。異なる複数の周波数帯の複数の周波数成分のノイズに、複数のサイズのフィルタにより対応することによって、ランダムノイズに対して自然なノイズ除去効果を従来よりもより正確に達成することができる。

（１）なお、上記実施の形態では、パーソナルコンピュータ１で処理を行う例を示したが、必ずしもこの内容に限定する必要はない。カメラなどの撮像装置の中で処理を行う場合であってもよい。また、他の装置であってもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。

（２）上記実施の形態では、輝度面に対して高周波補正信号を抽出してノイズ除去画像を補正する例を示した。しかし、色差面に対しても同様な補正処理を行うようにしてもよい。例えば、前述した式(11)(15)に合わせて記載すると次のように記載することができる。ここではノイズ除去画像データをI⁽¹⁾、補正されたノイズ除去画像データをI⁽²⁾として表している。色差面のノイズ除去は、減算処理の状態で止まった方が好ましいので、更に補正されたノイズ除去画像データをI⁽³⁾とする。
I⁽¹⁾(x,y)=I(x,y)-ΔI_noise(x,y) ...(24)
I⁽²⁾(x,y)=I⁽¹⁾(x,y)+ΔI⁽¹⁾ _noise(x,y) ...(25)
I⁽³⁾(x,y)=I⁽²⁾(x,y)-ΔI⁽²⁾ _noise(x,y) ...(26)

（３）上記実施の形態では、輝度面に対する補正処理は１回の例を示した。しかし、処理を以下のように２回繰り返してもよい。ここではノイズ除去画像データをI⁽¹⁾、補正されたノイズ除去画像データをI⁽²⁾として表している。その後さらに繰り返し行われたノイズ除去画像データをI⁽³⁾、補正されたノイズ除去画像データをI⁽⁴⁾として表している。また、さらに２回以上繰り返してもよい。色差面に対して補正処理をする場合にも、同様に繰り返して処理をしてもよい。
I⁽¹⁾(x,y)=I(x,y)-ΔI_noise(x,y) ...(27)
I⁽²⁾(x,y)=I⁽¹⁾(x,y)+ΔI⁽¹⁾ _noise(x,y) ...(28)
I⁽³⁾(x,y)=I⁽²⁾(x,y)-ΔI⁽²⁾ _noise(x,y) ...(29)
I⁽⁴⁾(x,y)=I⁽³⁾(x,y)+ΔI⁽³⁾ _noise(x,y) ...(30)

（４）上記実施の形態では、均等ノイズ空間への変換式を示したが、必ずしもこの内容に限定する必要はない。他の変換によって均等ノイズ空間が実現されるものであってもよい。例えば、信号の平方根に比例するショットノイズなどが、信号に対して一定の値となるような空間へ変換する変換方法であれば、解析的な式でなくても実測データから決定したルックアップテーブルによる変換方法でもよい。

（５）上記実施の形態では、非線形変換の変換式を示したが、必ずしもこの内容に限定する必要はない。他のパラメータ等を有する他の変換式であってもよい。すなわち、ノイズ成分がエッジ成分などから分離できるようなものであればどのようなものでもよい。

（６）上記第４の実施の形態では、3x3、9x9、27x27、81x81のサイズのフィルタを使用する例を示したが、必ずしもこの内容に限定する必要はない。他のサイズであってもよい。また、4種類に限定する必要もなく、これよりも多い種類あるいは少ない種類であってもよい。

（７）上記第１〜第３の実施の形態では、５段のウェーブレット変換の例を示したが、必ずしもこの内容に限定する必要はない。他のサイズであってもよい。また、５段以上であっても、５段以下であってもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００５年第１０１５４５号（２００５年３月３１日出願）

Claims

画像に含まれるノイズを除去する画像処理方法であって、
画像を取得し、
前記取得した画像から高周波成分を抽出し、
前記抽出した高周波成分から非線形変換により前記ノイズ成分を抽出し、
前記抽出したノイズ成分を前記画像から減算し、
前記ノイズ成分を減算した画像から、再度高周波成分を抽出し、
前記再度抽出した高周波成分から前記非線形変換により前記補正成分を抽出し、
前記抽出した補正成分を前記ノイズ成分を減算した画像に加算する。
請求項１に記載の画像処理方法において、
前記画像は、輝度成分と色差成分からなり、
前記ノイズを減算した画像に前記補正成分を加算する処理は、前記輝度成分の画像に対してのみ行う。
請求項１に記載の画像処理方法において、
前記補正成分が加算された画像に対して、さらに、高周波成分を抽出し、抽出した高周波成分から非線形変換によりノイズ成分を抽出し、前記抽出したノイズ成分を前記画像から減算し、前記ノイズ成分を減算した画像に対し再度高周波成分を抽出し、抽出した高周波成分から非線形変換により補正成分を抽出し、前記ノイズ成分を減算した画像に前記抽出した補正成分を加算する処理を、少なくとも１回繰り返す。
請求項１から３のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラム。
画像処理装置であって、
請求項１から３のいずれかに記載の画像処理方法を実行する制御装置を有する。