JP5541339B2

JP5541339B2 - 画像処理方法、画像処理プログラム、および画像処理装置

Info

Publication number: JP5541339B2
Application number: JP2012233155A
Authority: JP
Inventors: 健一石賀
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-03-31
Filing date: 2012-10-22
Publication date: 2014-07-09
Anticipated expiration: 2027-03-30
Also published as: EP2003877A4; JP5163489B2; WO2007114363A1; EP2003877B1; US8238683B2; JPWO2007114363A1; JP2013030191A; EP2003877A1; US20090046943A1

Description

本発明は、画像のノイズ除去やエッジ強調を行う画像処理方法、画像処理プログラム、および画像処理装置に関する。

従来、原画像を可逆な多重解像度画像に変換して、その変換係数を操作して再構築することによってノイズ除去画像を得る方法が知られている。その代表的な例として、例えば、特許文献１では、多重解像度変換された高周波サブバンドの係数を空間フィルタリングしてノイズ除去した後に、逆変換してノイズ除去画像を得る方法を開示している。それとは対照的な例として、特許文献２では、多重解像度変換の途中で一時的に生成される低周波サブバンド側の縮小画像に対して逐次的にノイズ除去を行う方法が示されている。

上述したような多重解像度変換された変換係数面でそのままノイズ除去する方法とは異なり、もっとノイズ成分の取り扱いを容易にするため、直交ウェーブレットを用いて多重解像度変換されたLH,HL,HHの高周波サブバンド変換係数に含まれているノイズ成分を抽出して、ノイズ成分のみを逆ウェーブレット変換で統合して、原画像から減算することによりノイズ除去する方法が特許文献３に示されている。その最後の減算処理前に統合されたノイズ成分に対して実空間の画像構造に依存した定数倍因子を掛けることにより、ノイズ除去の程度を容易に変更することが可能となっている。

また、同様のことを、ノイズ成分だけにとどまらず、エッジ成分も多重解像度変換されたサブバンド係数から抽出して統合し、最後に実空間面で画像構造に依存した定数倍因子を掛けてから加算してエッジ強調を行う例も示している。

米国特許第5,526,446号明細書米国特許第6,937,772号明細書米国特許第6,754,398号明細書

しかしながら、特許文献１〜３の何れの方法も、多重解像度変換された1つのサブバンド面に対して１種類のノイズ除去処理しか行なわないため、そのサブバンド面に潜む全てのノイズ成分を正確に抽出することと、そのサブバンド画の有効な画像構造情報を消失しないように保持し続けることの両立が難しいという問題があった。すなわち、画像構造を破壊しない程度の適度なノイズ除去を行なおうとすれば、どこかのサブバンド面で必ず残留ノイズ成分が存在するという状況が発生し、他方でノイズ成分を全て除去しようとすれば画像構造が破壊されてしまうという状況が発生する。このように、サブバンド単位で個別に発生する残留ノイズ成分の正確な抽出には、特許文献３のような画像全体の最終的なノイズ除去率という概念を導入しても対応しきれない問題があった。

一方、上述の問題とは全く異なる別の課題として、特許文献３は多重解像度を用いたノイズ処理やエッジ強調処理におけるノイズ成分やエッジ成分の取り扱いの容易性の問題にも取り組んでいる。しかし、統合されたノイズ成分やエッジ成分が多重解像度の完全系を構成する高周波サブバンドで抽出されたものに限られるため、ノイズ成分やエッジ成分の周波数特性を調整するための自由度が少ないという課題もあった。

本発明の第１の態様によると、画像に対してエッジ強調を行う画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々にバンドパスフィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分画像と高周波エッジ成分画像を生成するエッジ成分生成手順と、生成した低周波エッジ成分画像と高周波エッジ成分画像の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調するエッジ成分変調手順と、変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ１つの低周波エッジ成分画像に統合するとともに、エッジ成分生成手順で既に生成されている次に高い解像度の低周波エッジ成分画像と結合して新たな１つの低周波エッジ成分画像に統合し、原画像と同じ解像度を持つ１つのエッジ成分画像になるまで逐次的に統合を繰り返すエッジ成分統合手順と、統合されたエッジ成分画像に基づいて、原画像のエッジ強調を行うエッジ強調手順とを有する。
本発明の第２の態様によると、画像に対してエッジ強調を行う画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々にバンドパスフィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分画像と高周波エッジ成分画像を生成するエッジ成分生成手順と、生成した低周波エッジ成分画像と高周波エッジ成分画像の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調するエッジ成分変調手順と、変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ１つの低周波エッジ成分画像に統合するとともに、エッジ成分生成手順で既に生成されている次に高い解像度の低周波エッジ成分画像と結合して新たな１つの低周波エッジ成分画像に統合するエッジ成分統合手順と、統合されたエッジ成分画像に基づいて、原画像のエッジ強調を行うエッジ強調手順とを有する。
本発明の第３の態様によると、第１または第２の態様の画像処理方法において、低周波画像と高周波画像は、１）直交ウェーブレット変換における低周波成分と高周波成分、２）ラプラシアン・ピラミッド表現におけるガウシアン成分とラプラシアン成分、３）方向ウェーブレット変換における低周波成分と各方向毎の高周波成分、の何れかに対応するのが好ましい。
本発明の第４の態様によると、第３の態様の画像処理方法において、２次元直交ウェーブレット変換を行って多重解像度画像を生成する場合、低周波画像はLLサブバンドに、高周波画像はLH、HL、HHサブバンドに各々対応するのが好ましい。
本発明の第５の態様によると、画像処理プログラムは、第１から４のいずれかの態様の画像処理方法をコンピュータまたは画像処理装置に実行させる。
本発明の第６の態様によると、画像処理装置は、画像に対してエッジ強調を行う画像処理装置であって、複数の画素からなる原画像を入力する画像入力手段と、入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手段と、低周波画像と高周波画像の各々にバンドパスフィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分画像と高周波エッジ成分画像を生成するエッジ成分生成手段と、生成した低周波エッジ成分画像と高周波エッジ成分画像の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調するエッジ成分変調手段と、変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ１つの低周波エッジ成分画像に統合するとともに、エッジ成分生成手段で既に生成されている次に高い解像度の低周波エッジ成分画像と結合して新たな１つの低周波エッジ成分画像に統合し、原画像と同じ解像度を持つ１つのエッジ成分画像になるまで逐次的に統合を繰り返すエッジ成分統合手段と、統合されたエッジ成分画像に基づいて、原画像のエッジ強調を行うエッジ強調手段とを有する。
本発明の第７の態様によると、画像処理装置は、画像に対してエッジ強調を行う画像処理装置であって、複数の画素からなる原画像を入力する画像入力手段と、入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手段と、低周波画像と高周波画像の各々にバンドパスフィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分画像と高周波エッジ成分画像を生成するエッジ成分生成手段と、生成した低周波エッジ成分画像と高周波エッジ成分画像の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調するエッジ成分変調手段と、変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ１つの低周波エッジ成分画像に統合するとともに、エッジ成分生成手段で既に生成されている次に高い解像度の低周波エッジ成分画像と結合して新たな１つの低周波エッジ成分画像に統合するエッジ成分統合手段と、統合されたエッジ成分画像に基づいて、原画像のエッジ強調を行うエッジ強調手段とを有する。

本発明は、ノイズ抽出のためのノイズ除去は画像構造非破壊性保持の条件に拘束されることなく、必要な強度だけ自由にノイズ除去が行えるようになり、正確なノイズ抽出が可能となるとともに画像構造の非破壊性も維持することができる。

本発明の一実施の形態である画像処理装置を示す図である。パーソナルコンピュータ１が処理する色空間変換処理の流れを示す図である。第１の実施の形態における、輝度成分の処理の流れ図を示す図である。第１の実施の形態における、色差成分の処理の流れ図を示す図である。５段のウェーブレット変換によるサブバンド分割の様子を示す図である。通例用いられる最も単純なラプラシアンフィルタを示す図である。輝度成分のノイズ成分の低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の加重係数を示す図である。色差成分のノイズ成分の低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の加重係数を示す図である。強度パラメータ(Intensity)σth、rth、周波数特性変更パラメータ(graininess)k0、ノイズ除去の強度に関するパラメータ(sharpness)λの設定画面を示す図である。第２の実施の形態における、輝度成分の処理の流れ図を示す図である。第２の実施の形態における、色差成分の処理の流れ図を示す図である。多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。輝度成分のエッジ成分の低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の加重係数を示す図である。各種多重解像度表現における、低周波サブバンドと高周波サブバンドの対応関係の模式図を示す図である。多重解像度表現した高周波サブバンドと低周波サブバンドのカバーする周波数帯域の模式図である。図３から実空間の画像信号に対する所定のノイズ除去処理を省いた輝度成分の処理の流れ図を示す図である。図１０から実空間の画像信号に対する所定のノイズ除去処理を省いた輝度成分の処理の流れ図を示す図である。図１２から実空間の画像信号に対する所定のエッジ成分抽出処理を省いた多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。パーソナルコンピュータの構成を示す図である。輝度成分（輝度信号）のノイズ除去処理の流れを表す第１の実施の形態の変形例を示す図である。

（基本的考え）
まず初めに、実施の形態に述べるアルゴリズムを採る必要性が生じた背景や理由、及びそれに対処する方法の基本的考えについて説明する。

多重解像度表現を利用した従来技術は、既に述べたように大きく分けて2種類に分類される。多重解像度表現法には、直交ウェーブレット変換やラプラシアン・ピラミッド表現、さらにはステアラブル・ウェーブレット変換やDCTピラミッド表現といった各種の表現方法が存在する。しかし、何れも相互対応関係は公知文献等により明らかであるので、簡単のため直交ウェーブレット変換を例にとって説明する。

1つ目の種類は、直交ウェーブレット変換された高周波側サブバンド(LH,HL,HH)に対してノイズ除去を加えていく方式である。2つ目の種類は、直交ウェーブレット変換された低周波サブバンド(LL)に対して逐次的にノイズ除去を加えていく方式である。

カラー画像のノイズ除去は、通常、輝度面と色差面に分けて各々にノイズ除去を行い、輝度面に対するノイズ除去はザラツキノイズを抑制し、色差面に対するノイズ除去は色斑ノイズを抑制する役割を果たす。

実験的にこれらの2種類のアルゴリズムを輝度・色差表現されたカラー画像に対して適用してみた結果、次のようなことが判明した。色差成分に対するノイズ除去は、高周波サブバンドに対してノイズ除去を加えて行く方式よりもむしろ低周波サブバンドに対して逐次的にノイズ除去を加えていく方式のほうが、色斑ノイズ除去効果と色構造保存の両立の観点で好ましいことが判明した。すなわち、色差成分の高周波側サブバンドに対するノイズ除去は、色境界滲みを引き起こしやすい欠点がある。他方の低周波側サブバンドに対するノイズ除去は色境界滲みを起こしにくい性質がある。

一方、輝度成分に対するノイズ除去は、低周波成分に対して逐次的にノイズ除去を加えていく方式よりも高周波サブバンドに対してノイズ除去を加えていく方式のほうが明らかに優れるということが判明した。すなわち、輝度成分の低周波サブバンドに対する逐次的なノイズ除去は、階調性を失い2値化されたようなぺったりとした画像が出来やすい欠点がある。他方の高周波サブバンドに対するノイズ除去は階調性を失わず、テキスチャ等の画像構造をよく保存する性質がある。

このような輝度と色差成分の間の特徴の違いは、恐らく、輝度面と色差面が有する画像構造の周波数的特徴の違いが起因していて、そのノイズ成分を分離するのに最適な周波数空間が異なっていることから生じていると考えられる。

そこで、輝度成分に対しては従来の高周波サブバンドに対するノイズ除去を行い、色差成分に対しては従来の低周波サブバンドに対する逐次的なノイズ除去を行う方式を採用した。しかし、その結果、各々のノイズ除去フィルタとして如何に優れたedge-preserving smoothing filterを用いても、輝度成分には平坦部で筋状やチェックパターン状のノイズ成分が残存し、色差成分には突出点状の色ノイズが、とりわけ色境界部付近で多く残存するという問題があるということが判明した。

図１５は、多重解像度表現した高周波サブバンドと低周波サブバンドのカバーする周波数帯域の模式図である。図１５を見ながら、上述の問題をまず輝度成分に関して考察してみる。原画像は、最低解像度の低周波サブバンドと各解像度の高周波サブバンドで表現するだけで完全に再構築できるため、高周波サブバンドのみをノイズ除去するだけで全周波数帯域のノイズ成分を表面的にはカバーしているように見える。しかし、異なる解像度の高周波成分に順次に遷移していった場合に、異なる解像度の階層間で重なり合う周波数帯域の強度が小さい部分は、ノイズ成分としては十分に抽出しきれない恐れがあることが大きな原因と考えられる。

一方の色差成分に関しても同様に、低周波サブバンドのみをノイズ除去するだけでこちらも全周波数帯域のノイズ成分を表面的にはカバーしているように見える。しかし、突出点状のノイズは、原画像を低周波成分と高周波成分に分解していく中で、主に高周波成分側の信号として認知されるため、高周波成分側に流れたノイズ成分が残存し続けることが要因と考えられる。

ここで述べた逆のことが、輝度成分と色差成分のノイズを抽出するのに適した周波数空間の違いが生じる要因になっていることが推察できるであろう。すなわち、実験的に得られた知見から、単チャンネルで扱う実空間面や多チャンネルで扱う多重解像度表現における低周波側サブバンドの平滑化フィルタリング処理は、階調性を失ってフィルタリング範囲内の平均的値に階調を揃える方向に働くという事実が一般的に判明した。

その事実を踏まえて考えると、輝度成分には画像構造の大部分のエッジ成分が投影され、ノイズ成分も多くは高周波サブバンド側に流入しやすい。そのような状況のなかで低周波サブバンド側で無理にノイズ成分を抽出しようとしてもうまく行かず、階調性を失ってしまう弊害が出やすい。

一方の色差成分には、広範囲領域で緩やかな振る舞いをする大局的な色情報を表す画像成分が投影されやすく、激しく変動する色テキスチャは一般的に少ないと考えられているのが普通である。したがって、ノイズ成分も低周波側で分離しやすいという輝度成分とは逆の対応関係が成り立つ。ただし、ノイズ成分のゆらぎ情報は高周波サブバンドにも流入しやすいという一般的事実と、色テキスチャの多い画像にも対処するためには、高周波サブバンド側でもノイズ成分を分離することも考えなければならない。

したがって、これらの問題に対処するため、本実施形態では、高周波サブバンドと低周波サブバンドの両方のサブバンドからノイズ成分を抽出することにより、上記ノイズ除去に用いたサブバンドとは共役なサブバンドからノイズの取りこぼし成分を拾い上げる対策を講じる。この共役なサブバンドは、輝度成分の場合は低周波サブバンドに相当し、色差成分の場合は高周波サブバンドに相当する。

ところが、上述したように共役なサブバンド成分に対してノイズ除去を行うと画像構造破壊の影響が大きいという実験事実があるため、単純な方法では導入できない。そこで、ノイズ成分の抽出と実際のノイズ除去を切り離して考え、実際のノイズ除去における共役なサブバンドの役割は基本的には補足的に扱うことによって画像構造の破壊を防ぐ。

すなわち、実際のノイズ除去において、輝度成分は高周波側サブバンドを主要バンドとし低周波側サブバンドを補足バンドと位置づけたノイズ除去を行い、色差成分は低周波側サブバンドを主要バンドとし高周波側サブバンドを補足バンドと位置づけたノイズ除去を行う。ただし、色差成分の場合は、ノイズ除去フィルタが高性能であれば主要バンドと補足バンドの役割の区別は輝度成分ほど強める必要はなく、同等レベル程度に扱ってもよいというのが、実験的に得られた知見である。これは、恐らく先程述べた輝度面と色差面の画像構造の特徴の違いと帯域間のノイズ成分の流入特性を組み合わせた総合的特性の違いが、輝度面と色差面のそれぞれのノイズ除去に最適な周波数投影空間の存在を示す表れだと思われる。

しかしながら、補足バンドにおけるノイズ除去の程度を弱い目にすると、先程から述べている残留ノイズ成分を補足バンド自身からうまく抽出しきれないという問題に今度は直面することになる。しかし、このようなサブバンド間の役割分担は実際のノイズ除去において適用すればよいことであって、本発明においてはノイズ抽出とノイズ除去の概念を分離して扱う方式を導入するので、ノイズ抽出のためだけに扱うのであれば、正確なノイズ抽出が可能になるレベルまで仮想的にサブバンド画像をいくら破壊しても構わないという新たな考え方を導入することができる。すなわち、ノイズ抽出のための仮想的なノイズ除去と実際のノイズ除去処理を行うためのノイズ除去という２種類のノイズ除去の概念を導入する。

こうして、残留ノイズである輝度の筋状ノイズは低周波画像の中で画像構造と明確に区別して抽出しやすくなる環境が整い、色差の突出点状ノイズは高周波画像の中で画像構造と明確に区別して抽出しやすくなる環境が整ったことになる。

仮想的なノイズ除去を利用してさらに正確なノイズ抽出を可能とするために、低周波画像と高周波画像の各々のサブバンド面から独立にノイズ成分を抽出するのではなく、異なる解像度レベル間で相互に依存させて抽出する方式を採用する。すなわち、本実施の形態では、解像度レベルの異なる上層ないしは下層のサブバンド画像を、仮想的に画像構造を壊してでもノイズフリーになるほど強力にノイズ除去し、さらにその結果を現時点で対象となる解像度レベルのサブバンドに対して反映させ、逐次的に解像度レベルを変えながらノイズ抽出してゆく方式を採用する。

逐次的に解像度レベルを変えながらノイズ抽出してゆく方式は、低周波側サブバンドのみについては、従来技術の米国特許第6,937,772号明細書、ないしは特開2000-224421号公報で導入された技術である。しかし、高周波側サブバンドを主体としたノイズ除去や、低周波側と高周波側の両方を用いる新たな状況下で有効に作用させるために、その方法について以下の実施の形態において説明する。

ここで具体的に逐次的ノイズ除去の効果について述べておくと、高周波バンドと低周波バンドの両成分を用いるとき、主に補足バンドにおけるノイズ抽出能力向上に一役を担う。すなわち、輝度成分の場合は、低周波側の補足バンドに含まれる縦横筋やチェックパターン状のノイズを漏れなく抽出することに役立ち、色差成分の場合は、高周波側の補足バンドに含まれる突出点状のノイズを漏れなく抽出することに役立つ。

輝度成分において残留ノイズ成分の特徴が縦横筋やチェックパターン状になるのは、ある意味において処理の冗長性(overcompleteness)の少ない直交ウェーブレット変換を2次元分離型フィルタとして用いていることも間接的に関与している。このような特定の方向性をなくす試みとして多重解像度変換に多数の方向に関して高周波バンドを生成していくステアラブル・ウェーブレットを用いるといった方法等が存在する。

しかし、方向性を増やした分だけ処理すべきノイズ除去面が増え、保持すべきメモリも増えるという処理の飛躍的な増大面から見て導入がはばかられる。これに代替する技術として、ある意味で逐次的ノイズ除去が簡略性を維持した有効な解決の糸口を与え、低周波サブバンドと高周波サブバンドを同時に考慮した逐次方式が更にその有効性を高める。

ただし、本実施の形態で示すその効果は、直交ウェーブレット変換に留まらず、ラプラシアン・ピラミッド表現やステアラブル・ウェーブレット変換等を用いた多重解像度表現におけるノイズ除去においても、それぞれが弱点とする多重解像度変換フィルタ特性の機能をカバーする意味において、有効に機能する技術である。

仮想的ノイズ除去を解像度レベル間で逐次的に反映させていく順序として、解像度を低いほうに分解しながら行う方式と、解像度を高いほうに統合しながら行う方式の2種類が考えられる。本実施の形態では、前者を「Analysis逐次」と命名し、後者を「Synthesis逐次」と命名する。

「Analysis」は、画像データを解像度の低い多重解像度のデータに分解していくことに相当し、「Synthesis」は、分解された多重解像度のデータを元の高い解像度のデータに統合（合成）していくことに相当する。ウェーブレット変換で言えば、「Analysis」はウェーブレット変換に相当し、「Synthesis」は逆ウェーブレット変換に相当する。以下、「Analysis逐次」の方式を第１の実施の形態で説明し、「Synthesis逐次」の方式を第２の実施の形態で説明する。

（第１の実施の形態）
図１は、本発明の実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１により実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。

パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。図１９は、パーソナルコンピュータ１の構成を示す図である。パーソナルコンピュータ１は、ＣＰＵ１１、メモリ１２、およびその周辺回路１３などから構成され、ＣＰＵ１１がインストールされたプログラムを実行する。

プログラムがインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。

以下、パーソナルコンピュータ１が実行する画像処理について説明する。図２は、パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。ステップＳ１では、線形RGB画像データを入力する。ステップＳ２では、均等色・均等ノイズ空間に変換する。ステップＳ３では、ノイズ除去処理をする。ステップＳ４では、色空間を逆変換する。ステップＳ５では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。

[1]色空間変換
ステップＳ１では、光強度に線形な階調のRGBカラー画像データを入力する。ステップＳ２では、ノイズを階調に対して均等化する均等ノイズ空間に変換して、ノイズ除去の行いやすい状態にする。ここでは、更に発展させた均等色性と均等ノイズ性を同時に実現する均等色・均等ノイズ空間に変換し、ノイズ除去効果と色再現性保持の両立を図る。

この均等色・均等ノイズ空間の画像処理空間は、本出願の発明者と同一発明者の特願2004-365881号に記載されているので、詳細は特願2004-365881号を参照することとし、以下、sRGB入力画像データを一例に挙げて説明する。ただし、sRGB画像のようなガンマ補正がなされた画像は、ガンマ補正を解いて線形階調に戻した状態にしてから始める。

まず、線形階調RGB値をXYZ値に変換する。すなわち、XYZ表色系空間に変換する。これはRGB原刺激の分光特性で決まる3x3行列変換により実施する。例えば、sRGB入力画像に対しては、以下のような規格通りの変換を行う。
X=0.4124*R+0.3576*G+0.1805*B ...(1)
Y=0.2126*R+0.7152*G+0.0722*B ...(2)
Z=0.0193*R+0.1192*G+0.9505*B ...(3)

次に、次式により、XYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ変換する。ここで定義するL^a^b^空間は、従来のいわゆる均等色空間L*a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にL^a^b^と名付けたものである。
L^=100*f(Y/Y0) ...(4)
a^=500*[f(X/X0)-f(Y/Y0)] ...(5)
b^=200*[f(Y/Y0)-f(Z/Z0)] ...(6)

ここに、X0,Y0,Z0は照明光によって定まる値であり、例えば、標準光D65下で2度視野の場合、X0=95.045、Y0=100.00、Z0=108.892のような値をとる。また、非線形階調変換関数f(t)は以下の式で定義する。この関数f(t)の特性により均等ノイズ化を実現する。ただし、変数tはｔ=(Y/Y0),t=(X/X0),t=(Z/Z0)であり、0≦(Y/Y0)≦1,0≦(X/X0)≦1,0≦(Z/Z0)≦1となるようにXYZ値の階調数の最大値で規格化された値をとる。

なお、原点と飽和点を規格化する必要がある場合は、以下の式を用いる。

εは線形階調の信号に対して加えるオフセット信号で、εの値は、センサーによっても異なるが、低感度設定のときはほぼ0に近い値を、高感度設定のときは0.05程度の値をとる。

[2]ノイズ除去
次に、ステップＳ３のノイズ除去処理について説明する。図３は、輝度成分（輝度信号）の処理の流れ図を示す図であり、図４は、色差成分（色差信号）の処理の流れ図を示す図である。ただし、図４は、後述するように、図３の輝度成分の処理の流れ図と異なるところを抽出して図示している。

[2-1]多重解像度変換について
図３、図４は、５段のウェーブレット変換を用いて多重解像度変換した図に相当するが、入力する原画像のサイズに応じて増減させてよい。通常は、この程度の段数を採れば問題とするノイズ成分の周波数帯域をほぼ網羅することができる。

[2-1-1]ウェーブレット変換：Analysis/Decompositionプロセス
ウェーブレット変換とは、画像データを周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。本実施の形態では、5/3フィルタを用いて上述のように5段のウェーブレット変換をする。5/3フィルタは、ローパス成分をタップ数５（１次元５画素）のフィルタで生成し、ハイパス成分をタップ数３（１次元３画素）のフィルタで生成する。

ハイパス成分およびローパス成分の生成式は、次式で示される。ここで、nは画素位置を示し、x[]はウェーブレット変換を行う対象画像の画素値を示す。例えば、横方向に100画素ある場合は、nは0〜49である。下記式によりハイパス成分あるいはローパス成分を抽出すると、それぞれ、現在の画素数100の半分の50画素分のハイパス成分およびローパス成分のデータが抽出される。
ハイパス成分：d[n]=x[2n+1]-(x[2n+2]+x[2n])/2 ...(9)
ローパス成分：s[n]=x[2n]+(d[n]+d[n-1])/4 ...(10)

上記定義の1次元ウェーブレット変換を、横方向と縦方向に独立に2次元分離型フィルタ処理を行うことによって、ウェーブレット分解する。係数sをL面に集め、係数dをH面に集める。入力画像と同じ実空間面もLL0面として、ウェーブレット変換係数の低周波サブバンドLL1,LL2,LL3,LL4,LL5と同様に、低周波サブバンド側の最高解像度面として扱う。

より具体的には、以上の式を使用して、次のように、順次５段のウェーブレット変換をする。本実施の形態では、後述するように、各段で生成されるLL成分のデータやLH,HL,HH成分のデータを使用して逐次的にノイズ信号の抽出を行いながらウェーブレット変換を行っていく。なお、LLを低周波サブバンド、LH, HL, HHを高周波サブバンドと言う。また、低周波サブバンドを低周波画像、高周波サブバンドを高周波画像と言ってもよい。さらに、各サブバンドを周波数帯域制限画像と言ってもよい。低周波サブバンドは、原画像の周波数帯域を低周波側に帯域制限した画像であり、高周波サブバンドは、原画像の周波数帯域を高周波側に帯域制限した画像である。
第１段ウェーブレット変換：LL0(実空間) → LL1, LH1, HL1, HH1
第２段ウェーブレット変換：LL1 →LL2, LH2, HL2, HH2
第３段ウェーブレット変換：LL2 →LL3, LH3, HL3, HH3
第４段ウェーブレット変換：LL3 →LL4, LH4, HL4, HH4
第５段ウェーブレット変換：LL4 →LL5, LH5, HL5, HH5

図５は、５段のウェーブレット変換によるサブバンド分割の様子を示す図である。例えば、第１段のウェーブレット変換では、実空間の画像データに対し、まず横方向にすべての行についてハイパス成分およびローパス成分のデータを抽出する。その結果、横方向に半分の画素数のハイパス成分およびローパス成分のデータが抽出される。それを、例えば実空間の画像データがあったメモリ領域右側にハイパス成分、左側にローパス成分を格納する。

次に、メモリ領域右側に格納されたハイパス成分および左側に格納されたローパス成分のデータに対して、それぞれ縦方向にすべての列について、同様の上記式により、ハイパス成分およびローパス成分のデータを抽出する。その結果、メモリ領域右側のハイパス成分および左側のローパス成分のそれぞれから、さらにハイパス成分およびローパス成分のデータが抽出される。それらを、それぞれのデータがあったメモリ領域下側にハイパス成分、上側にローパス成分を格納する。

その結果、横方向にハイパス成分として抽出されたデータから縦方向にハイパス成分として抽出されたデータをHHと表し、横方向にハイパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータをHLと表し、横方向にローパス成分として抽出されたデータから縦方向にハイパス成分として抽出されたデータをLHと表し、横方向にローパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータをLLと表す。ただし、縦方向と横方向は独立であるので、抽出の順序を入れ替えても等価である。

次に、第２段のウェーブレット変換では、第１段のウェーブレット変換で横方向にローパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータLLに対し、同様にハイパス成分及びローパス成分の抽出を行う。これを５段繰り返した結果が、図５の図である。

[2-1-2]逆ウェーブレット変換：Synthesis/Reconstructionプロセス
逆ウェーブレット変換（多重解像度逆変換）は、次式を使用して行う。
x[2n]=s[n]-(d[n]+d[n-1])/4 ...(11)
x[2n+1]=d[n]+(x[2n+2]+x[2n])/2 ...(12)
ただし、図３に示すように、ウェーブレット変換時のxの値には画像を表す信号を入力し、生成されたウェーブレット変換係数s,dに含まれるノイズ成分を抽出し、抽出されたノイズ成分を逆ウェーブレット時のs,dに代入してノイズ画像xを生成してゆく用い方をする。

[2-2]ノイズ除去処理について
各サブバンド面に対するノイズ除去処理は、任意のノイズ除去フィルタを用いてよい。edge-preserving smoothing filterの代表例として、例えば文献「Jong-Sen Lee, "Digital Image Smoothing and the Sigma Filter," Computer Vision, Graphics and Image Processing 24(1983) pp.255-269」のようなσフィルタや、文献「C. Tomasi et al., "Bilateral Filtering for Gray and Color Images," Proceedings of the 1998 IEEE international Conference on Computer Vision, Bombay, India.」のようなBilateral Filterがある。

しかし、ここではより高性能な改良型Bilateral Filter（より詳細は、本出願の発明者と同一発明者の特願2004-367263号を参照）と、もっと簡略で高速なノイズ除去フィルタ（より詳細は、本出願の発明者と同一発明者の特願2005-101545号を参照、Laplacianノイズ抽出法と呼ぶことにする）の2種類を例示する。これらの何れのノイズ除去フィルタを用いてもよい。

入力サブバンド画像面の原信号をV(ベクトルr)で表し、ノイズ除去された画像面の信号をV'(ベクトルr)ないしはV"(ベクトルr)で表すことにする。なお、以下の数式内の矢印つきr（ベクトルrと言う）および矢印つきr'（ベクトルr'と言う）は、ベクトルを示し、２次元座標位置を示す。

[2-2-1]改良型Bilateral Filter

空間方向に関する閾値rthは、ノイズ除去フィルタの範囲をその２倍程度にとっているので、多重解像度の異なる階層間で重なり合うように0.5〜3.0画素程度の範囲にとるとよい。また、撮像感度によって変えるようにしてもよい。階調方向に関する閾値σthは撮像感度が高くなるほど大きく設定し、また適用するサブバンド毎によっても最適値を変える。

従来のBilateral Filterは、フィルタの加重係数が画素値差分(V'-V)のみを引数としたphotometric項の加重係数w_photo[V'-V]と空間的な距離(r'-r)のみを引数としたgeometric項の加重係数w_geometric[r'-r]の積で表されるので、加重係数がphotometric項とgeometric項に分離できる分離加重型Bilateral Filterと呼べる。しかし、この改良型Bilateral Filterは、加重係数がphotometric項とgeometric項に分離できない非分離加重型Bilateral Filterを用いている。言い換えれば、２つの引数の積で表される値を１つの指数とする１つの指数関数であらされる加重係数のフィルタを使用している。

[2-2-2]Laplacianノイズ抽出法
色差成分の場合は、以下の式によりノイズを抽出する。

輝度成分の場合は、以下の式によりノイズを抽出する。

ここで、f(x)は、以下の式に示す通りである。∇2は、ラプラシアンフィルタ（ハイパスフィルタ）である。図６は、通例用いられる最も単純なラプラシアンフィルタを示す図である。

なお、階調方向に関する閾値σthは、上述の改良型Bilateral Filterと同様な考え方で設定を行えばよい。輝度と色差成分の間でも、もちろんそれぞれに適した個別の値を設定する。

なお、上記改良型Bilateral Filterやラプラシアンフィルタは、局所的な範囲に含まれる信号値の関数である。すなわち、上記では、低周波サブバンドと高周波サブバンドの各々の局所的な信号値の観察に基づいて、それぞれのノイズが抽出される。

[2-3]輝度成分(L^)のノイズ除去
次に、図３を参照して、輝度成分(L^)のノイズ除去について、詳細に説明する。前述したように、「Analysis逐次」によるノイズ抽出を行う。なお、以下の各処理(x-x)は、図３において(x-x)と記載して対応付ける。

[2-3-1]多重解像度変換と逐次ノイズ抽出
[2-3-1-1]実空間最高解像度における処理
処理(0-1)では、実空間の画像信号S0(LL0)に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号S0'(LL0)を作る。処理(0-2)では、LL0サブバンドのノイズ成分をn0(LL0)=S0(LL0)-S0'(LL0)により抽出する。処理(0-3)では、ノイズ信号n0(LL0)を等倍強度のまま（あるいはα(0)倍してもよい）画像信号S0(LL0)に対して減算処理を行って、S0(LL0)のノイズ除去を行う。ただし、0＜α(0)≦1、通常はα(0)=1。処理(0-4)では、処理(0-3)でノイズ除去されたLL0面の画像信号をウェーブレット変換して、1/2解像度の画像信号S1(LL1,LH1,HL1,HH1)を生成する。

[2-3-1-2]1/2解像度における処理
処理(1-1)では、画像信号S1(LL1,LH1,HL1,HH1)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号S1'(LL1,LH1,HL1,HH1)を作る。処理(1-2)では、各サブバンドのノイズ成分を、n1(LL1)=S1(LL1)-S1'(LL1)、n1(LH1)=S1(LH1)-S1'(LH1)、n1(HL1)=S1(HL1)-S1'(HL1)、n1(HH1)=S1(HH1)-S1'(HH1)により抽出する。処理(1-3)では、ノイズ信号n1(LL1)を、等倍強度のまま（あるいはα(1)倍してもよい）画像信号S1(LL1)に対して減算処理を行って、S1(LL1)のノイズ除去を行う。ただし、0＜α(1)≦1、通常はα(1)=1。処理(1-4)では、処理(1-3)でノイズ除去されたLL1面の画像信号をウェーブレット変換して、1/4解像度の画像信号S2(LL2,LH2,HL2,HH2)を生成する。

[2-3-1-3]1/4解像度における処理
上記[2-3-1-2]1/2解像度における処理と同様である。

[2-3-1-4]1/8解像度における処理
上記[2-3-1-2]1/2解像度における処理と同様である。

[2-3-1-5]1/16解像度における処理
処理(4-1)では、画像信号S4(LL4,LH4,HL4,HH4)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行って、ノイズ除去画像信号S4'(LL4,LH4,HL4,HH4)を作る。処理(4-2)では、各サブバンドのノイズ成分を、n4(LL4)=S4(LL4)-S4'(LL4)、n4(LH4)=S4(LH4)-S4'(LH4)、n4(HL4)=S4(HL4)-S4'(HL4)、n4(HH4)=S4(HH4)-S4'(HH4)により抽出する。処理(4-3)では、ノイズ信号n4(LL4)を、等倍強度のまま（あるいはα(4)倍してもよい）画像信号S4(LL4)に対して減算処理を行って、S4(LL4)のノイズ除去を行う。ただし、0＜α(4)≦1、通常はα(4)=1。処理(4-4)では、処理(4-3)でノイズ除去されたLL4面の画像信号をウェーブレット変換して、1/32解像度の画像信号S5(LL5,LH5,HL5,HH5)を生成する。

[2-3-1-6]1/32最低解像度における処理
処理(5-1)では、画像信号S5(LL5,LH5,HL5,HH5)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号S5'(LL5,LH5,HL5,HH5)を作る。処理(5-2)では、各サブバンドのノイズ成分をn5(LL5)=S5(LL5)-S5'(LL5)、n5(LH5)=S5(LH5)-S5'(LH5)、n5(HL5)=S5(HL5)-S5'(HL5)、n5(HH5)=S1(HH5)-S5'(HH5)により抽出する。

ここで注目すべき点は、従来技術と異なり逐次的にノイズ除去された低周波サブバンドLLから生成される低解像度側の高周波サブバンドLH,HL,HHのノイズ成分も、一旦高解像度側でノイズ除去された状態から精度よく抽出している点である。すなわち、上層の低周波サブバンドのノイズ除去結果が下層の低周波サブバンドのみならず高周波サブバンドのノイズ抽出にも影響を及ぼしている。こうして多重解像度表現において、低周波サブバンドも高周波サブバンドも両方とも残留ノイズの少ない両成分からのノイズ成分が抽出可能になる。

[2-3-2]ノイズ成分の周波数特性変更
次に、抽出されたノイズ成分を実際のノイズ除去を行うためのノイズ成分に修正する。この修正は、抽出されたノイズ成分から実際のノイズ除去を行うためのノイズ成分をさらに再抽出していることになる。これは、輝度成分の画像構造非破壊性を保持するための手法であり、且つノイズ除去効果の見栄えを容易に変えるための可変パラメータの役割を果たす。すなわち、低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の間の重みを変えてノイズ成分の周波数特性を変える。このパラメータは、ソフトウェア処理等のグラフィック・ユーザー・インターフェースにおいて、ノイズ除去の粒状性変更パラメータとして提供できる。言い換えれば、低周波サブバンドのノイズ成分と高周波サブバンドのノイズ成分に異なる加重係数を掛けて（下記の例ではLLサブバンドに対するk0とその他のサブバンドに対する1）、ノイズ成分の周波数帯域間の重みを変調している。

これらは、次式に示す通り行われ、図３では、処理(0-5)、処理(1-5)、処理(2-5)、処理(3-5)、処理(4-5)、処理(5-5)に対応する。
n0'(LL0)= k0(0)*n0(LL0) ...(18)
n1'(LL1)= k0(1)*n1(LL1) ...(19)
n2'(LL2)= k0(2)*n2(LL2) ...(20)
n3'(LL3)= k0(3)*n3(LL3) ...(21)
n4'(LL4)= k0(4)*n4(LL4) ...(22)
n5'(LL5)= k0(5)*n5(LL5) ...(23)

ここで、次のようにする。
n1'(LL1)とn1(LH1,HL1,HH1)をそのまま束ねてn1'(LL1,LH1,HL1,HH1)と表す。
n2'(LL2)とn2(LH2,HL2,HH2)をそのまま束ねてn2'(LL2,LH2,HL2,HH2)と表す。
n3'(LL3)とn3(LH3,HL3,HH3)をそのまま束ねてn3'(LL3,LH3,HL3,HH3)と表す。
n4'(LL4)とn4(LH4,HL4,HH4)をそのまま束ねてn4'(LL4,LH4,HL4,HH4)と表す。
n5'(LL5)とn5(LH5,HL5,HH5)をそのまま束ねてn5'(LL5,LH5,HL5,HH5)と表す。

通常は、k0=k0(0)=k0(1)=k0(2)=k0(3)=k0(4)=k0(5)に設定し、0≦k0≦1の範囲で可変とする。残留ノイズ成分の発生予防と適度な粒状性を残すことによるテキスチャ画像構造を保存するにはk0=0.5のような中間値近辺の値を採るとよく、粒状性維持による画像構造保存に重点を置く場合にはk0=0.2といった値を採ればよいし、画像全面に広がるサーっとした高周波背景ノイズ抑制に重点を置く場合にはk0=0.8といった値をとればよい。

高周波サブバンドのノイズ信号に対しては、通常等倍のまま出力する。言い換えれば、高周波サブバンドに対する重みの方が低周波サブバンドに対する重みよりも大きく設定される。ただし、場合によっては加重係数を掛けても良い。図７は、低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の加重係数を示す図である。

以上のように、ノイズ成分を抽出するためのノイズ除去と画像構造非破壊性の保持が要求される実際のノイズ除去のためのノイズ除去の２種類のノイズ除去概念を導入し、ノイズ抽出のためのノイズ除去は画像構造非破壊性保持の条件に拘束されることなく、必要な強度だけ自由にノイズ除去が行えるようになった。すなわち、ノイズ成分を抽出するためのノイズ除去の方を、実際のノイズ除去のためのノイズ除去より自由に強くすることができる。これにより、各サブバンド毎に正確なノイズ抽出が可能となるとともに画像構造の非破壊性も維持することができる。

また、高周波サブバンドと低周波サブバンドのうち、補足サブバンドに対する加重係数を導入するだけで、統合されたノイズ成分の周波数特性を容易に変更できる。これにより、高精細なノイズ除去を維持したままノイズ除去効果の見栄えを簡易に変更できる環境が提供できる。また、最も処理時間のかかるノイズ抽出のためのノイズ除去処理を再度行う必要がないので、高速にその見栄え変更の結果を提示することができる。

[2-3-3]ノイズ成分の統合
こうして修正されたノイズ成分を、最低解像度側から順次逆ウェーブレット変換を行いながら、ノイズ成分の統合を行う。

[2-3-3-1]1/32最低解像度における処理
処理(5-7)では、バンド間で加重処理の施された単層のノイズ信号n5'(LL5,LH5,HL5,HH5)を逆ウェーブレット変換することにより、LL4サブバンド面に対応するノイズ信号N5(LL4)を生成する。

[2-3-3-2]1/16解像度における処理
処理(4-6)では、LL4面自身から抽出して加重処理の施されたノイズ信号n4'(LL4)とN5(LL4)を、次式の加算処理により結合する。
n4"(LL4)=n4'(LL4)+N5(LL4) ...(24)
n4"(LL4)とn4'(LH4,HL4,HH4)をそのまま束ねてn4"(LL4,LH4,HL4,HH4)と表す。
これにより、LL4面のノイズ成分は、図３からも分かるように、２層のノイズ成分が統合されたことになる。ただし、LH4,HL4,HH4のノイズ成分は単層である。(4-7)では、2層のノイズ成分が統合されたノイズ信号n4"(LL4,LH4,HL4,HH4)を逆ウェーブレット変換することにより、LL3サブバンド面に対応するノイズ信号N4(LL3)を生成する。

[2-3-3-3]1/8解像度における処理
上記「[2-3-3-2]1/16解像度における処理」と同様である。

[2-3-3-4]1/4解像度における処理
上記「[2-3-3-2]1/16解像度における処理」と同様である。

[2-3-3-5]1/2解像度における処理
処理(1-6)では、LL1面自身から抽出して加重処理の施されたノイズ信号n1'(LL1)とN2(LL1)を次式の加算処理により結合する。
n1"(LL1)=n1'(LL1)+N2(LL1) ...(25)
n1"(LL1)とn1'(LH1,HL1,HH1)をそのまま束ねてn1"(LL1,LH1,HL1,HH1)と表す。
処理(1-7)では、2層のノイズ成分が統合されたノイズ信号n1"(LL1,LH1,HL1,HH1)を逆ウェーブレット変換することにより、LL0サブバンド面に対応するノイズ信号N1(LL0)を生成する。

[2-3-3-6]実空間最高解像度における処理
処理(0-6)では、LL0面自身から抽出して加重処理の施されたノイズ信号n0'(LL0)とN1(LL0)を次式の加算処理により結合する。
n0"(LL0)=n0'(LL0)+N1(LL0) ...(26)

ここで、注目すべき点は、低周波サブバンドのノイズ成分が、従来技術とは違って、低解像度側の低周波と高周波の両サブバンドから統合されてきたノイズ成分と同時に着目解像度の低周波サブバンド自身から抽出したノイズ成分の2層構造を利用してノイズ合成が行われている点である。これにより、残留ノイズ成分のない正確なノイズ成分の合成が容易になるとともに、画像構造の非破壊性が高く、かつ容易に見栄えの変えられるノイズ特性の合成が可能となっている。

2層構造のノイズ成分を結合する加算時に、更に異なる解像度の階層間でノイズ成分の強度を変えて周波数特性をもっと自由自在に変更できるようにしてもよい。このときは、下式のような処理になる。
n4"(LL4)=n4'(LL4)+β(5)*N5(LL4) ...(27)
n3"(LL3)=n3'(LL3)+β(4)*N4(LL3) ...(28)
n2"(LL2)=n2'(LL2)+β(3)*N3(LL2) ...(29)
n1"(LL1)=n1'(LL1)+β(2)*N2(LL1) ...(30)
n0"(LL0)=n0'(LL0)+β(1)*N1(LL0) ...(31)
ただし、0＜β(1)≦1、0＜β(2)≦1、0＜β(3)≦1、0＜β(4)≦1、0＜β(5)≦1。このようなパラメータを使うような状況は、例えばランダムノイズがあらゆる周波数で均等なホワイトノイズと仮定できないような場合に生じるかもしれない。

[2-3-4]実際のノイズ除去処理
実空間と同じ解像度を持つ状態にまで１つに統合されたノイズ成分に対し、画像全体のノイズ除去の程度が可変設定できるようにノイズ除去率という加重係数パラメータλを掛けてから、ノイズ除去を実行する。すなわち、
S0NR(LL0)=S0(LL0)-λ*n0"(LL0) ...(32)
ただし、0≦λ≦1。

[2-4]色差成分(a^)のノイズ除去
輝度成分(L^)と同様に、「Analysis逐次」によるノイズ抽出を行う。輝度成分のノイズ除去と異なるところは、上記「[2-3-2]ノイズ成分の周波数特性変更」の処理における周波数特性を変更する際の加重係数を掛けるサブバンドの対象が異なること、すなわち重みづけ処理が異なることと、「[2-3-4]実際のノイズ除去処理」におけるノイズ除去率のパラメータ設定の仕方が異なるだけである。以下、この異なる点について記載する。なお、図４は、図３と異なる「ノイズ成分の周波数特性変更」の処理の部分のみを抽出した図である。

[2-4-1]ノイズ成分の周波数特性変更
色差成分の実際のノイズ除去における突出点ノイズ除去効果とカラフルネス維持の両立を図るための加重係数パラメータを、次式の通り、高周波サブバンド(LH,HL,HH)のノイズ成分に対して掛ける。これは色差成分においては低周波サブバンドが主要バンドで、高周波サブバンドが補足バンドに対応するためである。

n1'(LH1)= k1(1)*n1(LH1) ...(33)
n1'(HL1)= k1(1)*n1(HL1) ...(34)
n1'(HH1)= k2(1)*n1(HH1) ...(35)

n2'(LH2)= k1(2)*n2(LH2) ...(36)
n2'(HL2)= k1(2)*n2(HL2) ...(37)
n2'(HH2)= k2(2)*n2(HH2) ...(38)

n3'(LH3)= k1(3)*n3(LH3) ...(39)
n3'(HL3)= k1(3)*n3(HL3) ...(40)
n3'(HH3)= k2(3)*n3(HH3) ...(41)

n4'(LH4)= k1(4)*n4(LH4) ...(42)
n4'(HL4)= k1(4)*n4(HL4) ...(43)
n4'(HH4)= k2(4)*n4(HH4) ...(44)

n5'(LH5)= k1(5)*n5(LH5) ...(45)
n5'(HL5)= k1(5)*n5(HL5) ...(46)
n5'(HH5)= k2(5)*n5(HH5) ...(47)

ここで、
n1(LL1)とn1'(LH1,HL1,HH1)をそのまま束ねてn1'(LL1,LH1,HL1,HH1)と表す。
n2(LL2)とn2'(LH2,HL2,HH2)をそのまま束ねてn2'(LL2,LH2,HL2,HH2)と表す。
n3(LL3)とn3'(LH3,HL3,HH3)をそのまま束ねてn3'(LL3,LH3,HL3,HH3)と表す。
n4(LL4)とn4'(LH4,HL4,HH4)をそのまま束ねてn4'(LL4,LH4,HL4,HH4)と表す。
n5(LL5)とn5'(LH5,HL5,HH5)をそのまま束ねてn5'(LL5,LH5,HL5,HH5)と表す。

通常はk1= k1(1)=k1(2)=k1(3)=k1(3)=k1(5)、k2= k2(1)=k2(2)=k2(3)=k2(4)=k2(5)に設定し、0≦k1,k2≦1の範囲で可変で、k1=0.9、k2=0.8といった値をとる。通常使用では0.8〜1.0の値でよい。また、LHサブバンドとHLサブバンドに対しては共通のk1を設定したが、別々に設定してもよい。図８は、低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の加重係数を示す図である。低周波サブバンド(LL)の加重係数は1であり、そのままの値を使用する。言い換えれば、低周波サブバンドに対する重みを高周波サブバンドの重みよりも大きく設定する。ただし、k1=0.9、k2=0.8と1に近い値であるので、同程度であるともいえる。

[2-4-2]実際のノイズ除去処理
輝度成分(L^)の「[2-3-4]実際のノイズ除去処理」と同様である。ただし、色差成分に関するノイズ除去率は、通常λ=1.0でよい。

このように、多チャンネル表現の特性を有効に活用することによって、輝度と色差に分離されたそれぞれの面における画像構造とノイズの性質の違いに応じて、ノイズ成分が抽出しやすい最適な周波数空間に射影してノイズ抽出処理を行うので、画像構造の破壊が少なく残留ノイズも少ない高精細なカラー画像のノイズ除去が、容易に実現することができる。

[2-5]色差成分(b^)のノイズ除去
「[2-4]色差成分(a^)のノイズ除去」と同様である。

上記において、ソフトウェア等でユーザーが容易に可変できる主なノイズ除去パラメータとして以下のような3つの性質の異なる機能がある。
１）ノイズ成分を抽出するときの強度パラメータ(Intensity)：σth（フィルタによってはrthも合わせて）
２）ノイズの粒状性に関する周波数特性変更パラメータ(graininess)：k0
３）ノイズ除去の強度に関するパラメータ(sharpness)：λ

図９は、上記強度パラメータ(Intensity)σth、rth、周波数特性変更パラメータ(graininess)k0、ノイズ除去の強度に関するパラメータ(sharpness)λの設定画面を示す図である。各項目はスライドバーで示され、各スライドバー中のカーソルを任意の位置に設定することにより各項目を任意の値に設定することができる。

具体的には、パーソナルコンピュータ１のモニタ（不図示）に図９の設定画面が表示され、ユーザーはキーボード（不図示）やマウス（不図示）を使用してスライドバー中のカーソルを任意の位置に設定する。これにより、ユーザーは簡易に上記パラメータを設定することができる。例えば、周波数特性変更パラメータ(graininess)k0を上記のように変更することにより、高精細性を保ったまま容易にノイズ除去効果の見栄えを変更できる。また、k0とλの変更に対しては高速に動作が追随する。

[3]逆色空間変換、画像データ出力
図２に戻ると、ステップＳ４では、上記のステップＳ３においてノイズ除去処理が終わった画像データについて、上記ステップＳ２の「[1]色空間変換」の逆変換を行ってRGB画像に戻す。ステップＳ５では、RGB画像に戻った画像データを出力する。

以上のように、第1の実施の形態では、ノイズ抽出とノイズ除去を分離して２種類のノイズ除去に相当する処理を行い、更に上層の低周波サブバンドのノイズ除去結果が下層の低周波サブバンドのみならず高周波サブバンドのノイズ抽出にも影響を与えるようにした。すなわち、多重解像度変換画像の高周波サブバンドと低周波サブバンドの両方から、しかも相互に影響を及ぼし合いながら逐次的にノイズ抽出を行うので、扱う周波数帯域の合成の自由度が広がり、ノイズ抽出に最適な周波数空間でノイズ抽出を行うことが可能となり、抽出しきれない残留ノイズの問題がなくなりつつも、画像構造を破壊しない高精細なノイズ除去を可能とする。

すなわち、デジタル写真のような一般画像において、残留ノイズ問題を適切に対処しつつ画像構造非破壊性の高い、高精細なノイズ除去処理(Edge-preserving smoothing)を実現している。

なお、本実施の形態では、実空間の画像信号S0(LL0)に対して所定のノイズ除去処理を行う例を示した（図３）。しかし、実空間の画像信号S0(LL0)に対する処理は非常に重たい処理となる。一方、本実施の形態では、画像信号S1(LL1,LH1,HL1,HH1)以下の解像度における処理だけでも十分に高精細なノイズ除去処理が可能となる。従って、実空間の画像信号S0(LL0)に対する所定のノイズ除去処理を省いてもよい。図１６は、図３から実空間の画像信号S0(LL0)に対する所定のノイズ除去処理を省いた輝度成分（輝度信号）の処理の流れ図を示す図である。色差成分の処理についても同様である。これにより、処理を軽くしながら高精細なノイズ除去処理が可能となる。

（第２の実施の形態）
第１の実施の形態では、画像データを解像度の低いほうに分解しながら、逐次的にノイズの抽出を行っていく「Analysis逐次」の方式を説明した。第２の実施の形態では、多重解像度のデータに分解された画像データを、解像度の高いほうに統合しながら逐次的にノイズの抽出を行う「Synthesis逐次」の方式について説明する。

第２の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理のフローチャートも、流れとしては図２と同様であるので、その説明を省略する。以下、第１の実施の形態の処理と異なる点を中心に説明をする。

[1]色空間変換
[2]ノイズ除去
[2-1]多重解像度変換について
[2-1-1]ウェーブレット変換：Analysis/Decompositionプロセス
[2-1-2]逆ウェーブレット変換：Synthesis/Reconstructionプロセス
[2-2]ノイズ除去処理について
[2-2-1]改良型Bilateral Filter
[2-2-2]Laplacianノイズ抽出法
以上は、第１の実施の形態と同様であるので、説明を省略する。

[2-3]輝度成分(L^)のノイズ除去
図１０は、輝度成分の処理の流れ図を示す図であり、図１１は、色差成分の処理の流れ図を示す図である。ただし、図１１は、後述するように、図１０の輝度成分の処理の流れ図と異なるところを抽出して図示している。なお、以下の各処理(xx)および処理(xx-x)は、図１０において(xx)および(xx-x)と記載して対応付ける。

[2-3-1]多重解像度変換
[2-3-1-1]実空間最高解像度における処理
処理(10)では、実空間面の画像信号S0(LL0)をウェーブレット変換して、1/2解像度の画像信号S1(LL1,LH1,HL1,HH1)を生成する。

[2-3-1-2]1/2解像度における処理
処理(11)では、LL1面の画像信号S1(LL1)をウェーブレット変換して、1/4解像度の画像信号S2(LL2,LH2,HL2,HH2)を生成する。

[2-3-1-3]1/4解像度における処理
処理(12)では、LL2面の画像信号S2(LL2)をウェーブレット変換して、1/8解像度の画像信号S3(LL3,LH3,HL3,HH3)を生成する。

[2-3-1-4]1/8解像度における処理
処理(13)では、LL3面の画像信号S3(LL3)をウェーブレット変換して、1/16解像度の画像信号S4(LL4,LH4,HL4,HH4)を生成する。

[2-3-1-5]1/16解像度における処理
処理(14)では、LL4面の画像信号S4(LL4)をウェーブレット変換して、1/32解像度の画像信号S5(LL5,LH5,HL5,HH5)を生成する。

[2-3-2]逐次ノイズ抽出
[2-3-2-1]1/32最低解像度における処理
処理(15-1)では、画像信号S5(LL5,LH5,HL5,HH5)の各々に対してノイズ除去を行ってノイズ除去画像信号S5'(LL5,LH5,HL5,HH5)を作る。処理(15-2)では、各サブバンドのノイズ信号を、n5(LL5)=S5(LL5)-S5'(LL5)、n5(LH5)=S5(LH5)-S5'(LH5)、n5(HL5)=S5(HL5)-S5'(HL5)、n5(HH5)=S5(HH5)-S5'(HH5)により抽出する。処理(15-4)では、ノイズ信号n5(LL5,LH5,HL5,HH5)を逆ウェーブレット変換(Synthesis)することにより、LL4サブバンド面に対応するノイズ抽出用のノイズ信号N5(LL4)を生成する。

[2-3-2-2]1/16解像度における処理
処理(14-0)では、ノイズ信号N5(LL4)を等倍強度のまま（あるいはα(5)倍してもよい）画像信号S4(LL4)に対して減算処理を行って、画像信号S4'(LL4)を得る。ただし、0＜α(5)≦1、通常はα(5)=1。なお、S4'(LL4)とS4(LH4,HL4,HH4)をそのまま束ねてS4'(LL4,LH4,HL4,HH4)と表す。

処理(14-1)では、画像信号S4'(LL4,LH4,HL4,HH4)の各々に対してノイズ除去を行ってノイズ除去画像信号S4"(LL4,LH4,HL4,HH4)を作る。図１０では、S4"(LL4",LH4',HL4',HH4')と記載しているが、上記S4"(LL4,LH4,HL4,HH4)のことである。処理(14-2)では、各サブバンドのノイズ信号をn4(LL4)=S4'(LL4)-S4"(LL4)、n4(LH4)=S4'(LH4)-S4"(LH4)、n4(HL4)=S4'(HL4)-S4"(HL4)、n4(HH4)=S4'(HH4)-S4"(HH4)により抽出する。

処理(14-3)では、LL4面のノイズ除去処理により抽出したノイズ信号n4(LL4)と下層からノイズ抽出用に統合したノイズ信号N5(LL4)を次式の加算処理により結合する。
n4'(LL4)=n4(LL4)+N5(LL4) ...(48)
n4'(LL4)とn4(LH4,HL4,HH4)をそのまま束ねてn4'(LL4,LH4,HL4,HH4)と表す。
処理(14-4)では、ノイズ信号n4'(LL4,LH4,HL4,HH4)を逆ウェーブレット変換することにより、LL3サブバンド面に対応するノイズ信号N4(LL3)を生成する。

[2-3-2-3]1/8解像度における処理
上記[2-3-2-2]1/16解像度における処理と同様である。

[2-3-2-4]1/4解像度における処理
上記[2-3-2-2]1/16解像度における処理と同様である。

[2-3-2-5]1/2解像度における処理
処理(11-0)では、ノイズ信号N2(LL1)を等倍強度のまま（あるいはα(2)倍してもよい）画像信号S1(LL1)に対して減算処理を行って、画像信号S1'(LL1)を得る。ただし、0＜α(2)≦1、通常はα(2)=1。なお、S1'(LL1)とS1(LH1,HL1,HH1)をそのまま束ねてS1'(LL1,LH1,HL1,HH1)と表す。

処理(11-1)では、画像信号S1'(LL1,LH1,HL1,HH1)の各々に対してノイズ除去を行ってノイズ除去画像信号S1"(LL1,LH1,HL1,HH1)を作る。図１０では、S1"(LL1",LH1',HL1',HH1')と記載しているが、上記S1"(LL1,LH1,HL1,HH1)のことである。処理(11-2)では、各サブバンドのノイズ信号をn1(LL1)=S1'(LL1)-S1"(LL1)、n1(LH1)=S1'(LH1)-S1"(LH1)、n1(HL1)=S1'(HL1)-S1"(HL1)、n1(HH1)=S1'(HH1)-S1"(HH1)により抽出する。

処理(11-3)では、LL1面のノイズ除去処理により抽出したノイズ信号n1(LL1)と下層からノイズ抽出用に統合したノイズ信号N2(LL1)を次式の加算処理により結合する。
n1'(LL1)=n1(LL1)+N2(LL1) ...(49)
n1'(LL1)とn1(LH1,HL1,HH1)をそのまま束ねてn1'(LL1,LH1,HL1,HH1)と表す。
処理(11-4)では、ノイズ信号n1'(LL1,LH1,HL1,HH1)を逆ウェーブレット変換することにより、LL0サブバンド面に対応するノイズ信号N1(LL0)を生成する。

[2-3-2-6]実空間最高解像度における処理
処理(10-0)では、ノイズ信号N1(LL0)を等倍強度のまま（あるいはα(1)倍してもよい）画像信号S0(LL0)に対して減算処理を行って、画像信号S0'(LL0)を得る。ただし、0＜α(1)≦1、通常はα(1)=1。処理(10-1)では、画像信号S0'(LL0)に対してノイズ除去を行ってノイズ除去画像信号S0"(LL0)を作る。処理(10-2)では、ノイズ信号をn0(LL0)=S0'(LL0)-S0"(LL0)により抽出する。

ここで注目すべき点は、従来技術の低解像度側低周波サブバンドのノイズ除去の効果を高解像度側低周波サブバンドのノイズ抽出に反映させているだけではなく、低解像度側高周波サブバンドのノイズ除去効果も一緒に反映させている点である。すなわち、下層の低周波サブバンドと高周波サブバンドのノイズ除去結果が同時に上層の低周波サブバンドのノイズ抽出にも影響を及ぼしている。こうして多重解像度表現における低周波サブバンド側から抽出すべき正確なノイズ成分の抽出が可能となり、残留ノイズの少ないノイズ成分が抽出可能になる。

輝度成分に対して、このような「Synthesis逐次」を用いるときは特に、高周波サブバンド側のノイズ除去効果が低周波側サブバンドに潜む筋状やチェックパターン状の残留ノイズ成分をうまく引っ張り出す効果が期待できる。

[2-3-3]ノイズ成分の周波数特性変更
次に、抽出されたノイズ成分を実際のノイズ除去を行うためのノイズ成分に修正する。すなわち、低周波サブバンド（LL）と高周波サブバンド（LH,HL,HH）の間の重みを変えてノイズ成分の周波数特性を変える。第１の実施の形態と話は同様で、パラメータ設定も同様である。

これらは、次式に示す通り行われ、図１０では、処理(10-5)、処理(11-5)、処理(12-5)、処理(13-5)、処理(14-5)、処理(15-5)に対応する。
n0"(LL0)= k0(0)*n0(LL0) ...(50)
n1"(LL1)= k0(1)*n1(LL1) ...(51)
n2"(LL2)= k0(2)*n2(LL2) ...(52)
n3"(LL3)= k0(3)*n3(LL3) ...(53)
n4"(LL4)= k0(4)*n4(LL4) ...(54)
n5"(LL5)= k0(5)*n5(LL5) ...(55)

ここで、
n1"(LL1)とn1(LH1,HL1,HH1)をそのまま束ねてn1"(LL1,LH1,HL1,HH1)と表す。
n2"(LL2)とn2(LH2,HL2,HH2)をそのまま束ねてn2"(LL2,LH2,HL2,HH2)と表す。
n3"(LL3)とn3(LH3,HL3,HH3)をそのまま束ねてn3"(LL3,LH3,HL3,HH3)と表す。
n4"(LL4)とn4(LH4,HL4,HH4)をそのまま束ねてn4"(LL4,LH4,HL4,HH4)と表す。
n5"(LL5)とn5(LH5,HL5,HH5)をそのまま束ねてn5"(LL5,LH5,HL5,HH5)と表す。

[2-3-4]ノイズ成分の統合
こうして修正されたノイズ成分を最低解像度側から順次逆ウェーブレット変換を行いながら、実際にノイズ除去に使うためのノイズ成分の統合を行う。

[2-3-4-1]1/32最低解像度における処理
処理(15-7)では、バンド間で加重処理の施された単層のノイズ信号n5"(LL5,LH5,HL5,HH5)を逆ウェーブレット変換することにより、LL4サブバンド面に対応する実際のノイズ除去用のノイズ信号N5'(LL4)を生成する。

[2-3-4-2]1/16解像度における処理
処理(14-6)では、LL4面自身から抽出して加重処理の施されたノイズ信号n4"(LL4)と下層から実際のノイズ除去用に統合したノイズ信号N5'(LL4)を、次式の加算処理により結合する。
n4"'(LL4)=n4"(LL4)+N5'(LL4) ...(56)
n4"'(LL4)とn4"(LH4,HL4,HH4)をそのまま束ねてn4"'(LL4,LH4,HL4,HH4)と表す。
これにより、LL4面のノイズ成分は、図１０からも分かるように、２層のノイズ成分が統合されたことになる。ただし、LH4,HL4,HH4のノイズ成分は単層である。処理(14-7)では、2層のノイズ成分が統合されたノイズ信号n4"'(LL4,LH4,HL4,HH4)を逆ウェーブレット変換することにより、LL3サブバンド面に対応するノイズ信号N4'(LL3)を生成する。

[2-3-4-3]1/8解像度における処理
上記[2-3-4-2]1/16解像度における処理と同様である。

[2-3-4-4]1/4解像度における処理
上記[2-3-4-2]1/16解像度における処理と同様である。

[2-3-4-5]1/2解像度における処理
処理(11-6)では、LL1面自身から抽出して加重処理の施されたノイズ信号n1"(LL1)と下層から実際のノイズ除去用に統合したN2'(LL1)を、次式の加算処理により結合する。
n1"'(LL1)=n1"(LL1)+N2'(LL1) ...(57)
n1"'(LL1)とn1"(LH1,HL1,HH1)をそのまま束ねてn1"'(LL1,LH1,HL1,HH1)と表す。
処理(11-7)では、2層のノイズ成分が統合されたノイズ信号n1"'(LL1,LH1,HL1,HH1)を逆ウェーブレット変換することにより、LL0サブバンド面に対応するノイズ信号N1'(LL0)を生成する。

[2-3-4-6]実空間最高解像度における処理
処理(10-6)では、LL0面自身から抽出して加重処理の施されたノイズ信号n0"(LL0)と下層から実際のノイズ除去用に統合したN1'(LL0)を、次式の加算処理により結合する。
n0"'(LL0)=n0"(LL0)+N1'(LL0) ...(58)

第１の実施の形態と同様に、ここでも、2層構造のノイズ成分を結合する加算時に、更に異なる解像度の階層間でノイズ成分の強度を変えて周波数特性をもっと自由自在に変更できるようにしてもよい。このときは、同様に下式のような処理になる。
n4"'(LL4)=n4"(LL4)+β(5)*N5'(LL4) ...(59)
n3"'(LL3)=n3"(LL3)+β(4)*N4'(LL3) ...(60)
n2"'(LL2)=n2"(LL2)+β(3)*N3'(LL2) ...(61)
n1"'(LL1)=n1"(LL1)+β(2)*N2'(LL1) ...(62)
n0"'(LL0)=n0"(LL0)+β(1)*N1'(LL0) ...(63)
ただし、0＜β(1)≦1、0＜β(2)≦1、0＜β(3)≦1、0＜β(4)≦1、0＜β(5)≦1。

ここで、注目すべき点は、ノイズ抽出用と実際のノイズ除去用の2種類のノイズ成分を、2系統のノイズ統合手段を用意してそれぞれ別々に統合していっている点である。これによりそれぞれの用途に適したノイズ成分の強度特性変更や周波数特性変更の最適化処理が容易となる。

更に第１の実施の形態と同様に、これらのノイズ統合処理において、低周波サブバンドのノイズ成分が、従来技術とは違って、低解像度側の低周波と高周波の両サブバンドから統合されてきたノイズ成分と同時に、着目解像度の低周波サブバンド自身から抽出したノイズ成分の、2層構造を利用してノイズ合成を行っている。これによって、ノイズの周波数特性変更を容易にし、かつ2系統の用途のそれぞれに適したノイズ成分を調合することを可能としている。

[2-3-5]実際のノイズ除去処理
第１の実施の形態の「[2-3-4]実際のノイズ除去処理」と同様である。

[2-4]色差成分(a^)のノイズ除去
第１の実施の形態の「[2-4]色差成分(a^)のノイズ除去」と同様である。ただし、使っている式の定義が少しずれるので、以下の通りそれを書き直すのみである。

[2-4-1]ノイズ成分の周波数特性変更
n1"(LH1)= k1(1)*n1(LH1) ...(64)
n1"(HL1)= k1(1)*n1(HL1) ...(65)
n1"(HH1)= k2(1)*n1(HH1) ...(66)

n2"(LH2)= k1(2)*n2(LH2) ...(67)
n2"(HL2)= k1(2)*n2(HL2) ...(68)
n2"(HH2)= k2(2)*n2(HH2) ...(69)

n3"(LH3)= k1(3)*n3(LH3) ...(70)
n3"(HL3)= k1(3)*n3(HL3) ...(71)
n3"(HH3)= k2(3)*n3(HH3) ...(72)

n4"(LH4)= k1(4)*n4(LH4) ...(73)
n4"(HL4)= k1(4)*n4(HL4) ...(74)
n4"(HH4)= k2(4)*n4(HH4) ...(75)

n5"(LH5)= k1(5)*n5(LH5) ...(76)
n5"(HL5)= k1(5)*n5(HL5) ...(77)
n5"(HH5)= k2(5)*n5(HH5) ...(78)

ここで、
n1(LL1)とn1"(LH1,HL1,HH1)をそのまま束ねてn1"(LL1,LH1,HL1,HH1)と表す。
n2(LL2)とn2"(LH2,HL2,HH2)をそのまま束ねてn2"(LL2,LH2,HL2,HH2)と表す。
n3(LL3)とn3"(LH3,HL3,HH3)をそのまま束ねてn3"(LL3,LH3,HL3,HH3)と表す。
n4(LL4)とn4"(LH4,HL4,HH4)をそのまま束ねてn4"(LL4,LH4,HL4,HH4)と表す。
n5(LL5)とn5"(LH5,HL5,HH5)をそのまま束ねてn5"(LL5,LH5,HL5,HH5)と表す。

以上のように、第２の実施の形態では、ノイズ抽出とノイズ除去を分離して２種類のノイズ除去に相当する処理を行い、かつ下層の低周波サブバンドのノイズ除去結果のみならず下層の高周波サブバンドのノイズ除去結果も上層の低周波サブバンドのノイズ抽出にも影響を与えるようにした。すなわち、第１の実施の形態と同様に、多重解像度変換画像の高周波サブバンドと低周波サブバンドの両方から、しかも相互に影響を及ぼし合いながら逐次的にノイズ抽出を行うので、扱う周波数帯域の合成の自由度が広がり、ノイズ抽出に最適な周波数空間でノイズ抽出を行うことが可能となり、抽出しきれない残留ノイズの問題がなくなりつつも、画像構造を破壊しない高精細なノイズ除去を可能とする。

ここで、第１の実施の形態と第２の実施の形態の違いについて少し触れておく。パラメータの設定を変えることによって「Analysis逐次」と「Synthesis逐次」の方式はほぼ同等のノイズ除去効果とノイズ残留問題対策効果を得ることが出来ることが実験的に確認されている。しかし、敢えてその違いを述べてみるなら処理の順序からいって、「Analysis逐次」方式は後段に低解像度側がくるので、別の解像度に対して確実に影響を及ぼす低解像度側の長周期成分のノイズ抽出漏れ防止効果が高いのに対し、「Synthesis逐次」方式は反対に後段に高解像度側がくるので、高解像度側のノイズ抽出漏れ防止効果が高く、チェックパターン等のナイキスト周波数のしつこいノイズ抽出に強いといえる。

なお、本実施の形態では、実空間の画像信号S0(LL0)に対して所定のノイズ除去処理を行う例を示した（図１０）。しかし、実空間の画像信号S0(LL0)に対する処理は非常に重たい処理となる。一方、本実施の形態では、画像信号S1(LL1,LH1,HL1,HH1)以下の解像度における処理だけでも十分に高精細なノイズ除去処理が可能となる。従って、実空間の画像信号S0(LL0)に対する所定のノイズ除去処理を省いてもよい。図１７は、図１０から実空間の画像信号S0(LL0)に対する所定のノイズ除去処理を省いた輝度成分（輝度信号）の処理の流れ図を示す図である。色差成分の処理についても同様である。これにより、処理を軽くしながら高精細なノイズ除去処理が可能となる。

（第３の実施の形態）
第１の実施の形態や第２の実施の形態では、ノイズ除去処理の例について説明をした。第３の実施の形態では、このノイズ除去処理をエッジ強調処理に置き換えた、多重解像度における周波数特性の変更が容易なエッジ強調処理の例について説明する。

第３の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、その説明を省略する。図１２は、多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。変更の要点は、ノイズ除去で行っていた逐次処理のフィードバック・ルーチンが不要となり、ノイズ成分抽出処理がエッジ成分抽出処理に置き換わるだけである。エッジ成分抽出処理は例えば、各サブバンド面のアンシャープ・マスク処理やバンドパス・フィルタリング処理等によって行う。

これらの処理は、第１の実施の形態や第２の実施の形態のノイズ成分を抽出するために変換した多重解像度画像を用いて同時に行ってもよいし、第１の実施の形態や第２の実施の形態のようなノイズ除去処理が済んだ画像に対して改めて処理を行なってもよい。また、エッジ強調だけの目的ならば単独で用いてもよい。ただし、基本的には輝度面に対してだけ行なう。

本実施の形態では、説明の簡略化のためエッジ強調を単独で行う場合の説明をするが、高画質化の観点からは、本来ノイズ除去とエッジ強調を同時に行い、エッジ抽出成分にノイズ成分が含まれないように第１の実施の形態や第２の実施の形態でノイズフリーになるまで仮想的に強力にノイズ除去されたサブバンド面からエッジ成分を抽出して統合し、実際のノイズ除去が済んだ画像に加算処理を行うのが良い。従って、例えば、第２の実施の形態に追加した場合を例に取ると、図１０の右側の再構築処理では、１）仮想的ノイズ除去のためのノイズ成分統合、２）実際のノイズ除去のためのノイズ成分統合、３）実際のエッジ強調のためのエッジ成分統合の３系統の処理が走ることになる。

こうして、多重解像度変換を用いたノイズ除去処理において、ノイズ成分の周波数特性や強度が容易に変更できてノイズ除去効果の見栄えの変化を容易に確認できたのと同様に、多重解像度変換を用いたエッジ強調処理において、エッジ成分の周波数特性や強度が高い自由度で容易に変更できてエッジ強調効果の見栄えの変化を容易に確認することが可能なシステムを提供することが可能となる。

抽出したエッジ成分について、低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の間の重みを変えてエッジ成分の周波数特性を変える。図１３は、低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の加重係数を示す図である。ただし、LH,HL間で同じk1を用いなくてもよい。ここで言う低周波サブバンドは低周波エッジ成分画像、高周波サブバンドは高周波エッジ成分画像である。

このように、エッジ成分の周波数帯域間で重みが変調された低周波エッジ成分画像と高周波エッジ成分画像は、逆ウェーブレット変換に使用される。逆ウェーブレット変換は、図１２に示す通り、各解像度において重みが変調された低周波エッジ成分画像と高周波エッジ成分画像を使用しながら、原画像と同じ解像度を持つ１つのエッジ成分画像になるまで逐次、逆ウェーブレット変換（統合）を繰り返す。そして、最終的に統合されたエッジ成分に基づいて、原画像のエッジ強調を行う。

第１の実施の形態や第２の実施の形態と同様に、多重解像度変換画像の高周波サブバンドおよび低周波サブバンドの両方からエッジ抽出を行い、サブバンド間の加重係数を導入して統合するので、エッジ成分の周波数帯域の間隙がなく、かつ、周波数特性を容易に変更でき、エッジ強調の見栄えを簡易に変更できる環境も提供できる。

なお、本実施の形態では、実空間の画像信号S0(LL0)に対して所定のエッジ成分抽出処理を行う例を示した（図１０）。しかし、実空間の画像信号S0(LL0)に対する処理は非常に重たい処理となる。一方、本実施の形態では、画像信号S1(LL1,LH1,HL1,HH1)以下の解像度における処理だけでも十分に高精細なエッジ強調処理が可能となる。従って、実空間の画像信号S0(LL0)に対する所定のエッジ成分抽出処理を省いてもよい。図１８は、図１２から実空間の画像信号S0(LL0)に対する所定のエッジ成分抽出処理を省いた多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。これにより、処理を軽くしながら効果的なエッジ強調処理が可能となる。

（変形例）
なお、上記第１の実施の形態から第３の実施の形態では、多重解像度変換としてウェーブレット変換の例を示した。多重解像度変換としてウェーブレット変換の代わりに、ラプラシアン・ピラミッドを用いてもよい。ウェーブレット変換の低周波サブバンド(LL)には、ラプラシアン・ピラミッドを生成する途中で生成されるガウシアン・ピラミッドの各々が対応し、ウェーブレット変換の高周波サブバンド（LH,HL,HH）にはラプラシアン・ピラミッドの各々が対応する。注意すべき点は、ウェーブレット変換では低周波サブバンドとそれに対応する高周波サブバンドが同じ解像度であったところが、ラプラシアン・ピラミッドでは、低周波サブバンドのガウシアン・バンドに対して、それに対応する高周波サブバンドのラプラシアンバンドの解像度がガウシアン・バンドに対して１つ高い解像度を持っている点のみ異なっていることである。

ラプラシアン・ピラミッドに関しては、文献「P. H. Burt and E. H. Adelson, "The Laplacian Pyramid as a Compact Image Code," IEEE Transactions on Communications, Vol.31, No.4, pp.532-540, 1983.」を参照。

また、多重解像度変換としてラプラシアン・ピラミッド表現の代わりにステアラブル・ピラミッド（ステアラブルウェーブレット変換、方向ウェーブレット変換）表現を用いてもよい。ステアラブル・ピラミッドにおいても低周波サブバンドはラプラシアン・ピラミッドのガウシアン・バンドがそのまま対応し、高周波サブバンドにはラプラシアン・ピラミッドでは等方的ハイパス成分が一種類のみラプラシアン・バンドとして生成されていたものが、複数方向の異方的ハイパス成分によるラプラシアン・バンドが複数個存在して対応することになるだけである。

ステアラブル・フィルタについては、文献「W. T. Freeman and E. H. Adelson, "The Design and Use of Steerable Filters." IEEE Transactions on Pattern and Machine Intelligence, Vol.13, No.9, pp.891-906, Septempber 1991.」を参照。

図１４は、直交ウェーブレット変換、ラプラシアン・ピラミッド、ステアラブル・ピラミッドの各種多重解像度表現における、低周波サブバンドと高周波サブバンドの対応関係の模式図を示す図である。

上記第１の実施の形態では、輝度成分および色差成分ともに、「Analysis逐次」方式によるノイズ除去の例を説明し、上記第２の実施の形態では、輝度成分および色差成分ともに、「Synthesis逐次」方式によるノイズ除去の例を説明した。しかし、輝度成分に対しては「Analysis逐次」を、色差成分に対しては「Synthesis逐次」を用いたノイズ除去を行うようにしてもよい。また、輝度成分に対しては「Synthesis逐次」を、色差成分に対しては「Analysis逐次」を用いたノイズ除去を行うようにしてもよい。

上記第１の実施の形態では、ウェーブレット変換した各帯域において、各帯域制限画像に基づいて仮想的にノイズ除去処理を行い、仮想的にノイズ除去処理を行った帯域制限画像に基づいてノイズ成分を抽出し、抽出したノイズ成分を逆ウェーブレット変換により統合し、統合したノイズ成分を実空間の画像から減算することにより実際のノイズ除去画像を生成していた。しかし、各帯域において、各帯域制限画像に基づいて仮想的にノイズ除去処理を行い、仮想的にノイズ除去処理を行った帯域制限画像に基づいてノイズ成分を抽出し、抽出したノイズ成分を使用して実際のノイズ除去処理画像を生成し、生成したノイズ除去画像を逆ウェーブレット変換により統合し、統合したノイズ除去画像を実際のノイズ除去画像として出力するようにしてもよい。

図２０は、このような輝度成分（輝度信号）のノイズ除去処理の流れ図を示す図である。図２０は、第１の実施の形態の図３と対応する。1/2解像度における例で説明をすると、処理(1-5)でノイズ成分を抽出するところまでは、第１の実施の形態と同様である。その後、処理(1-8)により、画像信号S1(LL1,LH1,HL1,HH1)の各々に対して、抽出したノイズ成分n1に帯域間ウェイトk0:1:1:1が加えられたノイズ成分n1'を減算して実際のノイズ除去画像信号S1"(LL1",LH1",HL1",HH1")を生成する。このとき、抽出したノイズ成分n1'には、画像全体のノイズ除去の程度が可変設定できるようにノイズ除去率という加重係数パラメータλを掛けてから、ノイズ除去を実行する。この加重係数パラメータλは、第１の実施の形態の最終的な実空間でのノイズ除去処理で使用した加重係数パラメータλと同様なものである。

また、下層の解像度から統合されてきたS2'"(LL1)に係数β(2)が乗算されているので、処理(1-9)では、LL1"に係数(1-β(2))を乗算する。そして、処理(1-10)において次の演算を行う。
S1"((1-β(2))×LL1",LH1",HL1",HH1")＋S2'"(β(2)×LL1)
そして、処理(1-10)の結果に対して逆ウェーブレット変換を行い、一段上層の解像度の信号、この場合実空間解像度のS1'"(LL0)を生成する。このような処理を、最下層の解像度から順次行い、最終的に実空間解像度レベルまで実際にノイズ除去済帯域制限画像がすべて統合されたノイズ除去画像S0NRを出力する。

このように、最初に説明したようにウェーブレット変換した各帯域において抽出したノイズ成分を逆ウェーブレット変換により統合し、統合したノイズ成分を実空間の画像から減算することにより実際のノイズ除去画像を生成しても、ここで説明したように各帯域において実際のノイズ除去処理画像を生成し、生成したノイズ除去画像を逆ウェーブレット変換により統合して実際のノイズ除去画像を生成するようにしても同様な結果のものが得られる。

なお、上記では第１の実施の形態の変形例で説明したが、第２の実施の形態や第３の実施の形態においても、同様な変形を行うことができる。

上記実施の形態では、パーソナルコンピュータ１で処理を行う例を示したが、必ずしもこの内容に限定する必要はない。カメラなどの撮像装置の中で処理を行う場合であってもよい。また、他の装置であってもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。

上記実施の形態、例えばSynthesis逐次では、２系統のノイズ成分統合を行う過程で仮想ノイズ除去と実ノイズ除去の２種類のノイズ除去概念導入の説明を行ったが、必ずしもこれに限るものではない。例えば、従来技術の特許文献５や９に示されているように、ノイズ除去されたサブバンド画像を統合して再構築して行く方式では、２種類のノイズ除去されたサブバンド画像を用意して２系統で統合して行けばよい。

上記実施の形態では、ノイズ除去処理の例として、改良型Bilateral FilterとLaplacianノイズ抽出法の例を示したが、他の種類のノイズ除去フィルタであってもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００６年第０９６９８６号（２００６年３月３１日出願）

１パーソナルコンピュータ、２カメラ、３記録媒体、４コンピュータ、５電気通信回線、１１ＣＰＵ、１２メモリ、１３周辺回路

Claims

画像に対してエッジ強調を行う画像処理方法であって、
複数の画素からなる原画像を入力する画像入力手順と、
前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、
前記低周波画像と高周波画像の各々にバンドパスフィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分画像と高周波エッジ成分画像を生成するエッジ成分生成手順と、
前記生成した低周波エッジ成分画像と高周波エッジ成分画像の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調するエッジ成分変調手順と、
前記変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ１つの低周波エッジ成分画像に統合するとともに、前記エッジ成分生成手順で既に生成されている次に高い解像度の低周波エッジ成分画像と結合して新たな１つの低周波エッジ成分画像に統合し、原画像と同じ解像度を持つ１つのエッジ成分画像になるまで逐次的に統合を繰り返すエッジ成分統合手順と、
前記統合されたエッジ成分画像に基づいて、原画像のエッジ強調を行うエッジ強調手順とを有する画像処理方法。
画像に対してエッジ強調を行う画像処理方法であって、
複数の画素からなる原画像を入力する画像入力手順と、
前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、
前記低周波画像と高周波画像の各々にバンドパスフィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分画像と高周波エッジ成分画像を生成するエッジ成分生成手順と、
前記生成した低周波エッジ成分画像と高周波エッジ成分画像の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調するエッジ成分変調手順と、
前記変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ１つの低周波エッジ成分画像に統合するとともに、前記エッジ成分生成手順で既に生成されている次に高い解像度の低周波エッジ成分画像と結合して新たな１つの低周波エッジ成分画像に統合するエッジ成分統合手順と、
前記統合されたエッジ成分画像に基づいて、原画像のエッジ強調を行うエッジ強調手順とを有する画像処理方法。
請求項１または２に記載の画像処理方法において、
前記低周波画像と高周波画像は、
１）直交ウェーブレット変換における低周波成分と高周波成分、
２）ラプラシアン・ピラミッド表現におけるガウシアン成分とラプラシアン成分、
３）方向ウェーブレット変換における低周波成分と各方向毎の高周波成分、
の何れかに対応する画像処理方法。
請求項３に記載の画像処理方法において、
２次元直交ウェーブレット変換を行って多重解像度画像を生成する場合、前記低周波画像はLLサブバンドに、前記高周波画像はLH、HL、HHサブバンドに各々対応する画像処理方法。
請求項１から４のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラム。
画像に対してエッジ強調を行う画像処理装置であって、
複数の画素からなる原画像を入力する画像入力手段と、
前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手段と、
前記低周波画像と高周波画像の各々にバンドパスフィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分画像と高周波エッジ成分画像を生成するエッジ成分生成手段と、
前記生成した低周波エッジ成分画像と高周波エッジ成分画像の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調するエッジ成分変調手段と、
前記変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ１つの低周波エッジ成分画像に統合するとともに、前記エッジ成分生成手段で既に生成されている次に高い解像度の低周波エッジ成分画像と結合して新たな１つの低周波エッジ成分画像に統合し、原画像と同じ解像度を持つ１つのエッジ成分画像になるまで逐次的に統合を繰り返すエッジ成分統合手段と、
前記統合されたエッジ成分画像に基づいて、原画像のエッジ強調を行うエッジ強調手段とを有する画像処理装置。
画像に対してエッジ強調を行う画像処理装置であって、
複数の画素からなる原画像を入力する画像入力手段と、
前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手段と、
前記低周波画像と高周波画像の各々にバンドパスフィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分画像と高周波エッジ成分画像を生成するエッジ成分生成手段と、
前記生成した低周波エッジ成分画像と高周波エッジ成分画像の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調するエッジ成分変調手段と、
前記変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ１つの低周波エッジ成分画像に統合するとともに、前記エッジ成分生成手段で既に生成されている次に高い解像度の低周波エッジ成分画像と結合して新たな１つの低周波エッジ成分画像に統合するエッジ成分統合手段と、
前記統合されたエッジ成分画像に基づいて、原画像のエッジ強調を行うエッジ強調手段とを有する画像処理装置。