WO2007114363A1

WO2007114363A1 - 画像処理方法

Info

Publication number: WO2007114363A1
Application number: PCT/JP2007/057186
Authority: WO
Inventors: Kenichi Ishiga
Original assignee: Nikon Corporation
Priority date: 2006-03-31
Filing date: 2007-03-30
Publication date: 2007-10-11
Also published as: EP2003877B1; JP5163489B2; JP2013030191A; US8238683B2; US20090046943A1; JPWO2007114363A1; EP2003877A4; JP5541339B2; EP2003877A1

Abstract

　画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成する多重解像度画像生成手順と、帯域制限画像の各々に含まれるノイズ成分を抽出する第１のノイズ抽出手順と、第１のノイズ抽出手順で抽出された各帯域制限画像のノイズ成分に基づいて、各帯域制限画像から原画像に反映させるノイズ成分を再抽出する第２のノイズ抽出手順と、第２のノイズ抽出手順で再抽出された各帯域制限画像のノイズ成分を統合するノイズ統合手順と、統合されたノイズ成分に基づいて、原画像からノイズが除去された画像を得る画像取得手順とを有する。

Description

明細書

画像処理方法

技術分野

[0001] 本発明は、画像のノイズ除去やエッジ強調を行う画像処理方法に関する。

背景技術

[0002] 従来、原画像を可逆な多重解像度画像に変換して、その変換係数を操作して再構築することによってノイズ除去画像を得る方法が知られて、る。その代表的な例として、例えば、特許文献 1では、多重解像度変換された高周波サブバンドの係数を空間フィルタリングしてノイズ除去した後に、逆変換してノイズ除去画像を得る方法を開示している。それとは対照的な例として、特許文献 2では、多重解像度変換の途中で一時的に生成される低周波サブバンド側の縮小画像に対して逐次的にノイズ除去を行う方法が示されている。

[0003] 上述したような多重解像度変換された変換係数面でそのままノイズ除去する方法とは異なり、もっとノイズ成分の取り扱いを容易にするため、直交ウェーブレットを用いて多重解像度変換された LH,HL,HHの高周波サブバンド変換係数に含まれているノィズ成分を抽出して、ノイズ成分のみを逆ゥヱーブレット変換で統合して、原画像から減算することによりノイズ除去する方法が特許文献 3に示されている。その最後の減算処理前に統合されたノイズ成分に対して実空間の画像構造に依存した定数倍因子を掛けることにより、ノイズ除去の程度を容易に変更することが可能となっている。

[0004] また、同様のことを、ノイズ成分だけにとどまらず、エッジ成分も多重解像度変換されたサブバンド係数力抽出して統合し、最後に実空間面で画像構造に依存した定数倍因子を掛けて力加算してエッジ強調を行う例も示している。

[0005] 特許文献 1：米国特許第 5,526,446号明細書

特許文献 2：米国特許第 6,937,772号明細書

特許文献 3 :米国特許第 6,754,398号明細書

発明の開示

発明が解決しょうとする課題 [0006] しカゝしながら、特許文献 1〜3の何れの方法も、多重解像度変換された 1つのサブバンド面に対して 1種類のノイズ除去処理し力、行なわないため、そのサブバンド面に潜む全てのノイズ成分を正確に抽出することと、そのサブバンド画の有効な画像構造情報を消失しな、ように保持し続けることの両立が難、と、う問題があった。すなわち、画像構造を破壊しない程度の適度なノイズ除去を行なおうとすれば、どこかのサブバンド面で必ず残留ノイズ成分が存在すると 1ヽぅ状況が発生し、他方でノイズ成分を全て除去しょうとすれば画像構造が破壊されてしまうという状況が発生する。このように、サブバンド単位で個別に発生する残留ノイズ成分の正確な抽出には、特許文献 3のような画像全体の最終的なノイズ除去率とヽぅ概念を導入しても対応しきれな!/ヽ問題があった。

[0007] 一方、上述の問題とは全く異なる別の課題として、特許文献 3は多重解像度を用いたノイズ処理やエッジ強調処理におけるノイズ成分やエッジ成分の取り扱いの容易性の問題にも取り組んでいる。しかし、統合されたノイズ成分やエッジ成分が多重解像度の完全系を構成する高周波サブバンドで抽出されたものに限られるため、ノイズ成分やエッジ成分の周波数特性を調整するための自由度が少ないという課題もあつた。

課題を解決するための手段

[0008] 本発明の第 1の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成する多重解像度画像生成手順と、帯域制限画像の各々に対し仮想的なノイズ除去処理を行なう第 1 のノイズ除去手順と、第 1のノイズ除去手順で仮想的にノイズが除去された各帯域制限画像に基づいて、各帯域制限画像に対し実際のノイズ除去処理を行なう第 2のノィズ除去手順と、第 2のノイズ除去手順で実際にノイズが除去された各帯域制限画像に基づいて、原画像カゝらノイズが除去された画像を得る画像取得手順とを有し、第 1 のノイズ除去手順の仮想的なノイズ除去処理と第 2のノイズ除去手順の実際のノイズ除去処理を、帯域制限画像の周波数帯域に応じて異ならせる。

本発明の第 2の態様によると、第 1の態様の画像処理方法において、第 1のノイズ除去手順の仮想的なノイズ除去処理は、第 2のノイズ除去手順の実際のノイズ除去処理に比べて強ゾィズ除去を行なうのが好ま U、。

本発明の第 3の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成する多重解像度画像生成手順と、帯域制限画像の各々に含まれるノイズ成分を抽出する第 1のノイズ抽出手順と、第 1のノイズ抽出手順で抽出された各帯域制限画像のノイズ成分に基づいて、各帯域制限画像から原画像に反映させるノイズ成分を再抽出する第 2のノィズ抽出手順と、第 2のノイズ抽出手順で再抽出された各帯域制限画像のノイズ成分を統合するノイズ統合手順と、統合されたノイズ成分に基づいて、原画像からノイズが除去された画像を得る画像取得手順とを有する。

本発明の第 4の態様によると、第 3の態様の画像処理方法において、第 2のノイズ抽出手順は、各帯域制限画像が属する周波数帯域に応じた再抽出を行なうのが好ましい。

本発明の第 5の態様によると、第 4の態様の画像処理方法において、多重解像度画像生成手順は、逐次的に低い解像度を持つ低周波画像と高周波画像を生成し、第 2のノイズ抽出手順は、第 1のノイズ抽出手順で抽出されたノイズ成分を低周波画像と高周波画像の間で重みづけを行なうことによって、原画像に反映させるノイズ成分の再抽出を行なうのが好ましい。

本発明の第 6の態様によると、第 4の態様の画像処理方法において、第 2のノイズ抽出手順は、第 1のノイズ抽出手順で抽出されたノイズ成分を異なる解像度を持つ帯域制限画像の間で重みづけを行なうことによって、原画像に反映させるノイズ成分の再抽出を行なうのが好まし、。

本発明の第 7の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成する多重解像度画像生成手順と、 1つの帯域制限画像に含まれるノイズ成分を抽出し、抽出したノィズ成分に基づいて更に他の帯域制限画像に含まれるノイズ成分を逐次的に抽出するノイズ抽出手順と、抽出された各帯域制限画像のノイズ成分に基づいて原画像に含まれるノイズを除去するノイズ除去手順とを有し、ノイズ抽出手順で得られた 1つの帯域制限画像のノイズ成分を、ノイズ抽出手順で他の帯域制限画像に反映させるときの信号強度と、ノイズ除去手順で原画像に反映させるときの信号強度とを異ならせる。

本発明の第 8の態様によると、第 7の態様の画像処理方法において、ノイズ抽出手順は、 1つの帯域制限画像に含まれるノイズ成分を抽出し、該ノイズ成分に基づいて更に解像度の異なる他の帯域制限画像に含まれるノイズ成分を逐次的に抽出するのが好ましい。

本発明の第 9の態様によると、第 7の態様の画像処理方法において、多重解像度画像生成手順は、逐次的に低い解像度を持つ低周波画像と高周波画像を生成するのが好ましい。

本発明の第 10の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像をフィルタリングして、少なくとも 2種類の帯域制限画像のセットを生成し、更に帯域制限画像の少なくとも 1種類の帯域制限画像に対しフィルタリングを繰り返すことによって、複数の解像度に渡って少なくとも 2種類の帯域制限画像のセットを逐次的に生成する多重解像度画像生成手順と、少なくとも 2種類の帯域制限画像に含まれるノイズ成分を抽出し、抽出したノイズ成分に基づいて更に別の解像度における少なくとも 1種類の帯域制限画像に含まれるノイズ成分を抽出する処理を逐次的に行って、各解像度の各帯域制限画像に含まれるノイズ成分を抽出するノイズ抽出手順と、抽出された各帯域制限画像のノイズ成分に基づいて、原画像に含まれるノイズを除去するノイズ除去手順とを有し、ノイズ抽出手順で得られた少なくとも 2種類の帯域制限画像のノイズ成分のセットを、ノイズ抽出手順で他の帯域制限画像に反映させるときの帯域間信号強度と、ノイズ除去手順で原画像に反映させるときの帯域間信号強度を異ならせる。本発明の第 11の態様によると、第 7の態様の画像処理方法において、多重解像度画像生成手順は、少なくとも 2種類の帯域制限画像のセットとして、低周波画像と高周波画像の 2種類の画像を生成するのが好ましい。本発明の第 12の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々に含まれるノイズ成分を抽出し、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成し、生成した低周波ノイズ画像と高周波ノイズ画像の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調するノィズ変調手順と、変調の施された低周波ノイズ画像と高周波ノイズ画像を合成して次に高い解像度を持つ 1つのノイズ画像に統合し、原画像と同じ解像度を持つ 1つのノィズ画像信号になるまで逐次的に統合を繰り返すノイズ統合手順と、統合されたノィズ画像信号に基づヽて、原画像に含まれるノイズを除去するノイズ除去手順とを有する。

本発明の第 13の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々に含まれるノイズ成分を抽出し、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、生成した低周波ノイズ画像と高周波ノイズ画像の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調するノイズ変調手順と、変調の施された低周波ノイズ画像と高周波ノィズ画像を合成して次に高い解像度を持つ 1つのノイズ画像に統合するとともに、次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、 1つの新たな低周波ノイズ画像に統合するノイズ統合手順と、ノイズ抽出手順と、ノイズ変調手順と、ノイズ統合手順とを、原画像と同じ解像度を持つ 1つのノイズ画像信号になるまで逐次的に統合を繰り返すノイズ統合繰り返し手順と、統合されたノイズ画像信号に基づヽて、原画像に含まれるノイズを除去するノイズ除去手順とを有する。本発明の第 14の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、生成した低周波ノイズ画像と高周波ノイズ画像の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調するノイズ変調手順と、変調の施された低周波ノイズ画像と高周波ノィズ画像を合成して次に高い解像度を持つ 1つのノイズ画像に統合するノイズ統合手順と、統合されたノイズ画像に基づいて、原画像に含まれるノイズを除去するノイズ除去手順とを有する。

本発明の第 15の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、生成した低周波ノイズ画像と高周波ノイズ画像の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調するノイズ変調手順と、変調の施された低周波ノイズ画像と高周波ノィズ画像を合成して次に高い解像度を持つ 1つのノイズ画像に統合するとともに、次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、 1つの新たな低周波ノイズ画像に統合するノイズ統合手順と、統合されたノイズ画像信号に基づ!/ヽて、原画像に含まれるノイズを除去するノイズ除去手順とを有する。

本発明の第 16の態様によると、第 12から 15のいずれかの態様の画像処理方法において、ノイズ抽出手順は、低周波画像と高周波画像の各々の局所的な信号値の観察に基づいて、各々に対応した低周波ノイズ画像と高周波ノイズ画像を生成するのが好ましい。

本発明の第 17の態様によると、画像に対してエッジ強調を行う画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々にバンドパスフィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分画像と高周波エッジ成分画像を生成するエッジ成分生成手順と、生成した低周波エッジ成分画像と高周波エッジ成分画像の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調するエッジ成分変調手順と、変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ 1つのエッジ成分画像に統合し、原画像と同じ解像度を持つ 1つのェッジ成分画像になるまで逐次的に統合を繰り返すエッジ成分統合手順と、統合されたエッジ成分画像に基づ!/ヽて、原画像のエッジ強調を行うエッジ強調手順とを有する本発明の第 18の態様によると、画像に対してエッジ強調を行う画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々にバンドパスフィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分画像と高周波エッジ成分画像を生成するエッジ成分生成手順と、生成した低周波エッジ成分画像と高周波エッジ成分画像の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調するエッジ成分変調手順と、変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ 1つのエッジ成分画像に統合するエッジ成分統合手順と、統合されたエッジ成分画像に基づヽて、原画像のエッジ強調を行うエッジ強調手順とを有する。本発明の第 19の態様によると、第 5、 9、 11から 18のいずれかの態様の画像処理方法において、低周波画像と高周波画像は、 1)直交ゥヱーブレット変換における低周波成分と高周波成分、 2)ラプラシアン'ピラミッド表現におけるガウシアン成分とラブラシアン成分、 3)方向ウエーブレット変換における低周波成分と各方向毎の高周波成分、

の何れかに対応するのが好ましい。

本発明の第 20の態様によると、第 19の態様の画像処理方法において、 2次元直交ウェーブレット変換を行って多重解像度画像を生成する場合、低周波画像は LLサブバンドに、高周波画像は LH、 HL、 HHサブバンドに各々対応するのが好ましい。本発明の第 21の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力し、入力した原画像を、多重解像度変換により解像度の異なる画像を逐次生成し、ある解像度において、生成した画像を使用してノィズ成分を抽出し、ある解像度において抽出したノイズ成分を、他の解像度におけるノィズ成分の抽出のために使用するとともに、原画像から除去するノイズ成分を逆多重解像度変換により合成するために使用し、ある解像度において抽出したノイズ成分を他の解像度におけるノイズ成分の抽出のために使用するときと、原画像から除去するノイズ成分を逆多重解像度変換により合成するために使用するときとで、重み付けを異ならせる。

本発明の第 22の態様によると、画像処理プログラムは、第 1から 21のいずれかの態様の画像処理方法をコンピュータまたは画像処理装置に実行させる。

本発明の第 23の態様によると、画像処理装置は、第 22の態様の画像処理プロダラムを搭載する。

発明の効果

[0009] 本発明は、以上説明したように構成しているので、ノイズ抽出のためのノイズ除去は画像構造非破壊性保持の条件に拘束されることなぐ必要な強度だけ自由にノイズ除去が行えるようになり、正確なノイズ抽出が可能となるとともに画像構造の非破壊性ち維持することがでさる。

図面の簡単な説明

[0010] [図 1]本発明の一実施の形態である画像処理装置を示す図である。

[図 2]パーソナルコンピュータ 1が処理する色空間変換処理の流れを示す図である。

[図 3]第 1の実施の形態における、輝度成分の処理の流れ図を示す図である。

[図 4]第 1の実施の形態における、色差成分の処理の流れ図を示す図である。

[図 5]5段のウェーブレット変換によるサブバンド分割の様子を示す図である。

[図 6]通例用いられる最も単純なラプラシアンフィルタを示す図である。

[図 7]輝度成分のノイズ成分の低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH )の加重係数を示す図である。

[図 8]色差成分のノイズ成分の低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH )の加重係数を示す図である。

[図 9]強度パラメータ (Intensity) σ th、 rth、周波数特性変更パラメータ (graininess)kO、ノイズ除去の強度に関するパラメータ (sharpness) λの設定画面を示す図である。

[図 10]第 2の実施の形態における、輝度成分の処理の流れ図を示す図である。

[図 11]第 2の実施の形態における、色差成分の処理の流れ図を示す図である。

[図 12]多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。

[図 13]輝度成分のエッジ成分の低周波サブバンド (LL)と高周波サブバンド (LH,HL,H H)の加重係数を示す図である。

[図 14]各種多重解像度表現における、低周波サブバンドと高周波サブバンドの対応関係の模式図を示す図である。

[図 15]多重解像度表現した高周波サブバンドと低周波サブバンドのカバーする周波数帯域の模式図である。

[図 16]図 3から実空間の画像信号に対する所定のノイズ除去処理を省いた輝度成分の処理の流れ図を示す図である。

[図 17]図 10から実空間の画像信号に対する所定のノイズ除去処理を省いた輝度成分の処理の流れ図を示す図である。

[図 18]図 12から実空間の画像信号に対する所定のエッジ成分抽出処理を省いた多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。

[図 19]パーソナルコンピュータの構成を示す図である。

[図 20]輝度成分 (輝度信号)のノイズ除去処理の流れを表す第 1の実施の形態の変形例を示す図である。

発明を実施するための最良の形態

[0011] (基本的考え）

まず初めに、実施の形態に述べるアルゴリズムを採る必要性が生じた背景や理由、及びそれに対処する方法の基本的考えについて説明する。

[0012] 多重解像度表現を利用した従来技術は、既に述べたように大きく分けて 2種類に分類される。多重解像度表現法には、直交ウェーブレット変換やラプラシアン'ピラミッド表現、さらにはステアラブル'ウェーブレット変換や DCTピラミッド表現といった各種の表現方法が存在する。しかし、何れも相互対応関係は公知文献等により明らかであるので、簡単のため直交ウェーブレット変換を例にとって説明する。

[0013] 1つ目の種類は、直交ウェーブレット変換された高周波側サブバンド (LH,HL,HH)に対してノイズ除去をカ卩えていく方式である。 2つ目の種類は、直交ウェーブレット変換された低周波サブバンド (LL)に対して逐次的にノイズ除去をカ卩えていく方式である。

[0014] カラー画像のノイズ除去は、通常、輝度面と色差面に分けて各々にノイズ除去を行い、輝度面に対するノイズ除去はザラツキノイズを抑制し、色差面に対するノイズ除去は色斑ノイズを抑制する役割を果たす。

[0015] 実験的にこれらの 2種類のアルゴリズムを輝度'色差表現されたカラー画像に対して適用してみた結果、次のようなことが判明した。色差成分に対するノイズ除去は、高周波サブバンドに対してノイズ除去を加えて行く方式よりもむしろ低周波サブバンドに対して逐次的にノイズ除去をカ卩えていく方式のほうが、色斑ノイズ除去効果と色構造保存の両立の観点で好ましいことが判明した。すなわち、色差成分の高周波側サブバンドに対するノイズ除去は、色境界滲みを引き起こしゃすい欠点がある。他方の低周波側サブバンドに対するノイズ除去は色境界滲みを起こしにくい性質がある。

[0016] 一方、輝度成分に対するノイズ除去は、低周波成分に対して逐次的にノイズ除去を加えていく方式よりも高周波サブバンドに対してノイズ除去をカ卩えていく方式のほうが明らかに優れるということが判明した。すなわち、輝度成分の低周波サブバンドに対する逐次的なノイズ除去は、階調性を失い 2値化されたようなぺったりとした画像が出来やす、欠点がある。他方の高周波サブバンドに対するノイズ除去は階調性を失わず、テキスチャ等の画像構造をよく保存する性質がある。

[0017] このような輝度と色差成分の間の特徴の違いは、恐らぐ輝度面と色差面が有する画像構造の周波数的特徴の違、が起因して！/、て、そのノイズ成分を分離するのに最適な周波数空間が異なって、ることから生じて、ると考えられる。

[0018] そこで、輝度成分に対しては従来の高周波サブバンドに対するノイズ除去を行!、、色差成分に対しては従来の低周波サブバンドに対する逐次的なノイズ除去を行う方式を採用した。しかし、その結果、各々のノイズ除去フィルタとして如何に優れた edge -preserving smoothing filterを用いても、輝度成分には平坦部で筋状やチェックパターン状のノイズ成分が残存し、色差成分には突出点状の色ノイズが、とりわけ色境界部付近で多く残存するという問題があるということが判明した。

[0019] 図 15は、多重解像度表現した高周波サブバンドと低周波サブバンドのカバーする周波数帯域の模式図である。図 15を見ながら、上述の問題をまず輝度成分に関して考察してみる。原画像は、最低解像度の低周波サブバンドと各解像度の高周波サブバンドで表現するだけで完全に再構築できるため、高周波サブバンドのみをノイズ除去するだけで全周波数帯域のノイズ成分を表面的にはカバーしているように見える。しかし、異なる解像度の高周波成分に順次に遷移していった場合に、異なる解像度の階層間で重なり合う周波数帯域の強度が小さい部分は、ノイズ成分としては十分に抽出しきれない恐れがあることが大きな原因と考えられる。

[0020] 一方の色差成分に関しても同様に、低周波サブバンドのみをノイズ除去するだけでこちらも全周波数帯域のノイズ成分を表面的にはカバーしているように見える。しかし、突出点状のノイズは、原画像を低周波成分と高周波成分に分解していく中で、主に高周波成分側の信号として認知されるため、高周波成分側に流れたノイズ成分が残存し続けることが要因と考えられる。

[0021] ここで述べた逆のことが、輝度成分と色差成分のノイズを抽出するのに適した周波数空間の違いが生じる要因になっていることが推察できるであろう。すなわち、実験的に得られた知見から、単チャンネルで扱う実空間面や多チャンネルで扱う多重解像度表現における低周波側サブバンドの平滑ィ匕フィルタリング処理は、階調性を失つてフィルタリング範囲内の平均的値に階調を揃える方向に働くという事実が一般的に半 lj明した。

[0022] その事実を踏まえて考えると、輝度成分には画像構造の大部分のエッジ成分が投影され、ノイズ成分も多くは高周波サブバンド側に流入しやすい。そのような状況のなかで低周波サブバンド側で無理にノイズ成分を抽出しようとしてもうまく行かず、階調性を失ってしまう弊害が出やす、。

[0023] 一方の色差成分には、広範囲領域で緩やかな振る舞いをする大局的な色情報を表す画像成分が投影されやすぐ激しく変動する色テキスチャは一般的に少ないと考えられているのが普通である。したがって、ノイズ成分も低周波側で分離しやすいという輝度成分とは逆の対応関係が成り立つ。ただし、ノイズ成分のゆらぎ情報は高周波サブバンドにも流入しやすヽと、う一般的事実と、色テキスチャの多、画像にも対処するためには、高周波サブバンド側でもノイズ成分を分離することも考えなければならない。

[0024] したがって、これらの問題に対処するため、本実施形態では、高周波サブバンドと低周波サブバンドの両方のサブバンドからノイズ成分を抽出することにより、上記ノィズ除去に用いたサブバンドとは共役なサブバンドからノイズの取りこぼし成分を拾!ヽ上げる対策を講じる。この共役なサブバンドは、輝度成分の場合は低周波サブバンドに相当し、色差成分の場合は高周波サブバンドに相当する。

[0025] ところが、上述したように共役なサブバンド成分に対してノイズ除去を行うと画像構造破壊の影響が大き、と、う実験事実があるため、単純な方法では導入できな、。そこで、ノイズ成分の抽出と実際のノイズ除去を切り離して考え、実際のノイズ除去における共役なサブバンドの役割は基本的には補足的に扱うことによって画像構造の破壊を防ぐ。

[0026] すなわち、実際のノイズ除去において、輝度成分は高周波側サブバンドを主要バンドとし低周波側サブバンドを補足バンドと位置づけたノイズ除去を行ヽ、色差成分は低周波側サブバンドを主要バンドとし高周波側サブバンドを補足バンドと位置づけたノイズ除去を行う。ただし、色差成分の場合は、ノイズ除去フィルタが高性能であれば主要バンドと補足バンドの役割の区別は輝度成分ほど強める必要はなぐ同等レベル程度に扱ってもよいというの力実験的に得られた知見である。これは、恐らく先程述べた輝度面と色差面の画像構造の特徴の違いと帯域間のノイズ成分の流入特性を組み合わせた総合的特性の違!、が、輝度面と色差面のそれぞれのノイズ除去に最適な周波数投影空間の存在を示す表れだと思われる。

[0027] し力しながら、補足バンドにおけるノイズ除去の程度を弱、目にすると、先程から述ベて、る残留ノイズ成分を補足バンド自身力うまく抽出しきれな、と、う問題に今度は直面することになる。しかし、このようなサブバンド間の役割分担は実際のノイズ除去におヽて適用すればょヽことであって、本発明におヽてはノイズ抽出とノイズ除去の概念を分離して扱う方式を導入するので、ノイズ抽出のためだけに扱うのであれば、正確なノイズ抽出が可能になるレベルまで仮想的にサブバンド画像をいくら破壊しても構わないという新たな考え方を導入することができる。すなわち、ノイズ抽出のための仮想的なノイズ除去と実際のノイズ除去処理を行うためのノイズ除去という 2種類のノイズ除去の概念を導入する。

[0028] こうして、残留ノイズである輝度の筋状ノイズは低周波画像の中で画像構造と明確に区別して抽出しやすくなる環境が整い、色差の突出点状ノイズは高周波画像の中で画像構造と明確に区別して抽出しやすくなる環境が整ったことになる。

[0029] 仮想的なノイズ除去を利用してさらに正確なノイズ抽出を可能とするために、低周波画像と高周波画像の各々のサブバンド面カゝら独立にノイズ成分を抽出するのではなぐ異なる解像度レベル間で相互に依存させて抽出する方式を採用する。すなわち、本実施の形態では、解像度レベルの異なる上層ないしは下層のサブバンド画像を、仮想的に画像構造を壊してでもノイズフリーになるほど強力にノイズ除去し、さらにその結果を現時点で対象となる解像度レベルのサブバンドに対して反映させ、逐次的に解像度レベルを変えながらノイズ抽出してゆく方式を採用する。

[0030] 逐次的に解像度レベルを変えながらノイズ抽出してゆく方式は、低周波側サブバンドのみについては、従来技術の米国特許第 6,937,772号明細書、ないしは特開 2000- 224421号公報で導入された技術である。しかし、高周波側サブバンドを主体としたノィズ除去や、低周波側と高周波側の両方を用いる新たな状況下で有効に作用させるために、その方法につ!、て以下の実施の形態にぉ、て説明する。

[0031] ここで具体的に逐次的ノイズ除去の効果について述べておくと、高周波バンドと低周波バンドの両成分を用いるとき、主に補足バンドにおけるノイズ抽出能力向上に一役を担う。すなわち、輝度成分の場合は、低周波側の補足バンドに含まれる縦横筋やチェックパターン状のノイズを漏れなく抽出することに役立ち、色差成分の場合は、高周波側の補足バンドに含まれる突出点状のノイズを漏れなく抽出することに役立つ [0032] 輝度成分にお!、て残留ノイズ成分の特徴が縦横筋やチェックパターン状になるのは、ある意味にぉ、て処理の冗長性 (overcompleteness)の少な、直交ウェーブレット変換を 2次元分離型フィルタとして用いて、ることも間接的に関与して、る。このような特定の方向性をなくす試みとして多重解像度変換に多数の方向に関して高周波バンドを生成して、くステアラブル'ウェーブレットを用いると、つた方法等が存在する。

[0033] しかし、方向性を増やした分だけ処理すべきノイズ除去面が増え、保持すべきメモリも増えるという処理の飛躍的な増大面から見て導入がはば力れる。これに代替する技術として、ある意味で逐次的ノイズ除去が簡略性を維持した有効な解決の糸口を与え、低周波サブバンドと高周波サブバンドを同時に考慮した逐次方式が更にその有効性を高める。

[0034] ただし、本実施の形態で示すその効果は、直交ウェーブレット変換に留まらず、ラブラシアン'ピラミッド表現ゃステアラブル 'ウェーブレツト変換等を用ヽた多重解像度表現におけるノイズ除去にぉ、ても、それぞれが弱点とする多重解像度変換フィルタ特性の機能をカバーする意味において、有効に機能する技術である。

[0035] 仮想的ノイズ除去を解像度レベル間で逐次的に反映させていく順序として、解像度を低、ほうに分解しながら行う方式と、解像度を高、ほうに統合しながら行う方式の 2 種類が考えられる。本実施の形態では、前者を nalysis逐次」と命名し、後者を「Syn thesis逐次」と命名する。

[0036] 「Analysis」は、画像データを解像度の低!、多重解像度のデータに分解してヽくことに相当し、「Synthesis」は、分解された多重解像度のデータを元の高い解像度のデータに統合 (合成）していくことに相当する。ウェーブレット変換で言えば、「Analysis」はウェーブレット変換に相当し、「Synthesis」は逆ウェーブレット変換に相当する。以下、「Analysis逐次」の方式を第 1の実施の形態で説明し、 Synthesis逐次」の方式を第 2の実施の形態で説明する。

[0037] (第 1の実施の形態）

図 1は、本発明の実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ 1により実現される。パーソナルコンピュータ 1は、デジタルカメラ 2、 CD— ROMなどの記録媒体 3、他のコンピュータ 4などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ 1は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ 4は、インターネットやその他の電気通信回線 5を経由して接続される。

[0038] パーソナルコンピュータ 1が画像処理のために実行するプログラムは、図 1の構成と同様に、 CD— ROMなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータ力提供され、パーソナルコンピュータ 1内にインストールされる。図 19は、パーソナルコンピュータ 1の構成を示す図である。パーソナルコンビュータ 1は、 CPU11、メモリ 12、およびその周辺回路 13などから構成され、 CPU11がインストールされたプログラムを実行する。

[0039] プログラム力 Sインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。

[0040] 以下、パーソナルコンピュータ 1が実行する画像処理について説明する。図 2は、パ一ソナルコンピュータ 1が処理する第 1の実施の形態の画像処理のフローチャートを示す図である。ステップ S1では、線形 RGB画像データを入力する。ステップ S2では、均等色'均等ノイズ空間に変換する。ステップ S3では、ノイズ除去処理をする。ステツプ S4では、色空間を逆変換する。ステップ S5では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。

[0041] [1]色空間変換

ステップ S1では、光強度に線形な階調の RGBカラー画像データを入力する。ステツプ S2では、ノイズを階調に対して均等化する均等ノイズ空間に変換して、ノイズ除去の行いやすい状態にする。ここでは、更に発展させた均等色性と均等ノイズ性を同時に実現する均等色 ·均等ノイズ空間に変換し、ノイズ除去効果と色再現性保持の両立を図る。

[0042] この均等色 ·均等ノイズ空間の画像処理空間は、本出願の発明者と同一発明者の特願 2004-365881号に記載されているので、詳細は特願 2004-365881号を参照することとし、以下、 sRGB入力画像データを一例に挙げて説明する。ただし、 sRGB画像のようなガンマ補正がなされた画像は、ガンマ補正を解、て線形階調に戻した状態にして力始める。

[0043] まず、線形階調 RGB値を XYZ値に変換する。すなわち、 XYZ表色系空間に変換する。これは RGB原刺激の分光特性で決まる 3x3行列変換により実施する。例えば、 sR GB入力画像に対しては、以下のような規格通りの変換を行う。

X=0.4124*R+0.3576*G+0.1805*B ...(1)

Y=0.2126*R+0.7152*G+0.0722*B ...(2)

Z=0.0193*R+0.1192*G+0.9505*B ...(3)

[0044] 次に、次式により、 XYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のじ a" 空間へ変換する。ここで定義するじ a" 空間は、従来のいわゆる均等色空間 L*_a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にじ a Tと名付けたものである。

じ =100* Y/Y0) ...(4)

a~=500*[ X/X0)— Y/Y0)] ...(5)

=200*[ Y/Y0)— Z/ZO)] ...(6)

[0045] ここに、 ΧΟ,ΥΟ,ΖΟは照明光によって定まる値であり、例えば、標準光 D65下で 2度視野の場合、 Χ0=95.045、 Υ0=100.00、 Ζ0=108.892のような値をとる。また、非線形階調変換関数 t)は以下の式で定義する。この関数 t)の特性により均等ノイズィ匕を実現する。ただし、変数 tは t=(Y/Y0),t=(X/X0),t=(Z/Z0)であり、 0≤(Y/Y0)≤1,0≤(X/X0) ≤ 1 , 0≤ (Z/Z0)≤ 1となるように XYZ値の階調数の最大値で規格化された値をとる。

[数 1]

I：数 1】

[0046] なお、原点と飽和点を規格ィ匕する必要がある場合は、以下の式を用いる。

[数 2] 【数 2】

εは線形階調の信号に対してカ卩えるオフセット信号で、 εの値は、センサーによつても異なるが、低感度設定のときはほぼ 0に近い値を、高感度設定のときは 0.05程度の値をとる。

[0047] [2]ノイズ除去

次に、ステップ S3のノイズ除去処理について説明する。図 3は、輝度成分 (輝度信号)の処理の流れ図を示す図であり、図 4は、色差成分 (色差信号)の処理の流れ図を示す図である。ただし、図 4は、後述するように、図 3の輝度成分の処理の流れ図と異なるところを抽出して図示して、る。

[0048] [2-1]多重解像度変換について

図 3、図 4は、 5段のウェーブレット変換を用いて多重解像度変換した図に相当する力入力する原画像のサイズに応じて増減させてよい。通常は、この程度の段数を採れば問題とするノイズ成分の周波数帯域をほぼ網羅することができる。

[0049] [2- 1-1]ウェーブレット変換： Analysis/Decompositionプロセス

ウェーブレット変換とは、画像データを周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。本実施の形態では、 5/3フィルタを用いて上述のように 5段のウェーブレット変換をする。 5/3フィルタは、ローパス成分をタップ数 5 (1次元 5画素）のフィルタで生成し、ハイパス成分をタップ数 3 (1次元 3画素）のフィルタで生成する。

[0050] ハイパス成分およびローパス成分の生成式は、次式で示される。ここで、 nは画素位置を示し、 x[]はウェーブレット変換を行う対象画像の画素値を示す。例えば、横方向に 100画素ある場合は、 nは 0〜49である。下記式によりハイパス成分あるいはローバス成分を抽出すると、それぞれ、現在の画素数 100の半分の 50画素分のハイパス成分およびローパス成分のデータが抽出される。

ハイパス成分： d[n]=x[2n+l]- (x[2n+2]+x[2n])/2 ...(9) ローパス成分： s[n]=x[2n]+(d[n]+d[n- 1])/4 ...(10)

[0051] 上記定義の 1次元ウェーブレット変換を、横方向と縦方向に独立に 2次元分離型フィルタ処理を行うことによって、ウェーブレット分解する。係数 sを L面に集め、係数 dを H 面に集める。入力画像と同じ実空間面も LL0面として、ウェーブレット変換係数の低周波サブバンド LL1,LL2,LL3,LL4,LL5と同様に、低周波サブバンド側の最高解像度面として扱う。

[0052] より具体的には、以上の式を使用して、次のように、順次 5段のウェーブレット変換をする。本実施の形態では、後述するように、各段で生成される LL成分のデータや LH, HL,HH成分のデータを使用して逐次的にノイズ信号の抽出を行いながらウェーブレット変換を行っていく。なお、 LLを低周波サブバンド、 LH, HL, HHを高周波サブバンドと言う。また、低周波サブバンドを低周波画像、高周波サブバンドを高周波画像と言ってもよい。さら〖こ、各サブバンドを周波数帯域制限画像と言ってもよい。低周波サブバンドは、原画像の周波数帯域を低周波側に帯域制限した画像であり、高周波サブバンドは、原画像の周波数帯域を高周波側に帯域制限した画像である。

第 1段ウェーブレット変換: LL0 (実空間）→ LL1, LH1, HL1, HH1

2 ク m—ブレソ卜：しし 1→しし 2,し H2, Hし 2, HH2

3 ク m—ブレソ卜：しし 2→しし 3,し H3, Hし 3, HH3

第 4段ウェーブレット変換： LL3→ LL4, LH4, HL4, HH4

5 ク m—ブレソ卜：しし 4→しし 5,し H5, Hし 5, HH5

[0053] 図 5は、 5段のウェーブレット変換によるサブバンド分割の様子を示す図である。例えば、第 1段のウェーブレット変換では、実空間の画像データに対し、まず横方向にすべての行にっ、てハイパス成分およびローパス成分のデータを抽出する。その結果、横方向に半分の画素数のハイパス成分およびローパス成分のデータが抽出される。それを、例えば実空間の画像データがあったメモリ領域右側にハイパス成分、左側にローパス成分を格納する。

[0054] 次に、メモリ領域右側に格納されたハイパス成分および左側に格納されたローパス成分のデータに対して、それぞれ縦方向にすべての列について、同様の上記式により、ハイパス成分およびローパス成分のデータを抽出する。その結果、メモリ領域右側のハイノス成分および左側のローパス成分のそれぞれから、さらにハイパス成分およびローパス成分のデータが抽出される。それらを、それぞれのデータがあったメモリ領域下側にハイパス成分、上側にローパス成分を格納する。

[0055] その結果、横方向にハイパス成分として抽出されたデータ力縦方向にハイパス成分として抽出されたデータを HHと表し、横方向にハイパス成分として抽出されたデータカも縦方向にローパス成分として抽出されたデータを HLと表し、横方向にローパス成分として抽出されたデータ力縦方向にハイパス成分として抽出されたデータを L Hと表し、横方向にローパス成分として抽出されたデータ力縦方向にローパス成分として抽出されたデータを LLと表す。ただし、縦方向と横方向は独立であるので、抽出の順序を入れ替えても等価である。

[0056] 次に、第 2段のウェーブレット変換では、第 1段のウェーブレット変換で横方向に口一パス成分として抽出されたデータ力縦方向にローパス成分として抽出されたデータ LLに対し、同様にハイパス成分及びローパス成分の抽出を行う。これを 5段繰り返した結果が、図 5の図である。

[0057] [2- 1-2]逆ウェーブレット変換： Synthesis/Reconstructionプロセス

逆ウェーブレット変換 (多重解像度逆変換)は、次式を使用して行う。

x[2n]=s[n]-(d[n]+d[n-l])/4 ...(11)

x[2n+l]=d[n]+(x[2n+2]+x[2n])/2 ...(12)

ただし、図 3に示すように、ウェーブレット変換時の Xの値には画像を表す信号を入力し、生成されたウェーブレット変換係数 s,dに含まれるノイズ成分を抽出し、抽出されたノイズ成分を逆ウェーブレット時の s,dに代入してノイズ画像 Xを生成してゆく用い方をする。

[0058] [2-2]ノイズ除去処理について

各サブバンド面に対するノイズ除去処理は、任意のノイズ除去フィルタを用いてょヽ o edge-preserving smoothing filterの代¾例として、例ば文献「Jong— ¾en Lee, "Digi tal image smoothing and the Sigma Filter, Computer Vision, raphics ana image Pr ocessing 24(1983) pp.255- 269」のような σフィルタや、文献「C. Tomasi et al., "Bilate ral Filtering for Gray and Color Images," Proceedings of the 1998 IEEE international Conference on Computer Vision, Bombay, India.」のよつな Bilateral Filter力 Sある。

[0059] しかし、ここではより高性能な改良型 Bilateral Filter (より詳細は、本出願の発明者と同一発明者の特願 2004-367263号を参照）と、もっと簡略で高速なノイズ除去フィルタ (より詳細は、本出願の発明者と同一発明者の特願 2005- 101545号を参照、 Laplaci anノイズ抽出法と呼ぶことにする）の 2種類を例示する。これらの何れのノイズ除去フィルタを用いてもよい。

[0060] 入力サブバンド画像面の原信号を V (ベクトル r)で表し、ノイズ除去された画像面の信号を V' (ベクトル r)ないしは V〃(ベクトル r)で表すことにする。なお、以下の数式内の矢印つき r (ベクトル rと言う）および矢印つき r' (ベクトル r'と言う）は、ベクトルを示し、 2 次元座標位置を示す。

[0061] [2- 2-1]改良型 Bilateral Filter

[数 3]

【数 3】

••(1 3)

[0062] 空間方向に関する閾値 rthは、ノイズ除去フィルタの範囲をその 2倍程度にとっているので、多重解像度の異なる階層間で重なり合うように 0.5〜3.0画素程度の範囲にとるとよい。また、撮像感度によって変えるようにしてもよい。階調方向に関する閾値 a t hは撮像感度が高くなるほど大きく設定し、また適用するサブバンド毎によっても最適値を変える。

[0063] 従来の Bilateral Filterは、フィルタの加重係数が画素値差分 (V'-V)のみを引数とした photometric項の加重係数 w_photo[V'-V]と空間的な距離 (r'-r)のみを引数とした ge ometric項のカ卩重係数 w_geometric[r'-r]の積で表されるので、カ卩重係数力 ^hotometri c項と geometric項に分離できる分離力卩重型 Bilateral Filterと呼べる。し力し、この改良型 Bilateral Filterは、加重係数力 ¾hotometric項と geometric項に分離できな!/、非分離加重型 Bilateral Filterを用いている。言い換えれば、 2つの引数の積で表される値を 1つの指数とする 1つの指数関数であらされる加重係数のフィルタを使用している。

[2- 2- 2]Laplacianノイズ抽出法

色差成分の場合は、以下の式によりノイズを抽出する。

[数 4]

【数 4】

V'(r) = V(r) ~ W(r) · f{V²V(r)) …（ 14) 輝度成分の場合は、以下の式によりノイズを抽出する。

[数 5] 【数 5】

V'(r) = V(r) ~ W(r ' (W(r)) (1 5)

V'{f) + VV(r) ' f{v²V'(r)) (1 6)

ここで、 x)は、以下の式に示す通りである。 V²は、ラプラシアンフィルタ（ノヽィパスフィルタ）である。図 6は、通例用いられる最も単純なラプラシアンフィルタを示す図である。

[数 6]

【数 6】

なお、階調方向に関する閾値 a thは、上述の改良型 Bilateral Filterと同様な考え方で設定を行えばよい。輝度と色差成分の間でも、もちろんそれぞれに適した個別の値を設定する。

なお、上記改良型 Bilateral Filterやラプラシアンフィルタは、局所的な範囲に含まれる信号値の関数である。すなわち、上記では、低周波サブバンドと高周波サブバンドの各々の局所的な信号値の観察に基づいて、それぞれのノイズが抽出される。

[0068] [2-3]輝度成分 (じ)のノイズ除去

次に、図 3を参照して、輝度成分 (じ)のノイズ除去について、詳細に説明する。前述したように、「Analysis逐次」によるノイズ抽出を行う。なお、以下の各処理 (χ-χ)は、図 3 にお、て (X-X)と記載して対応付ける。

[0069] [2-3-1]多重解像度変換と逐次ノイズ抽出

[2-3-1-1]実空間最高解像度における処理

処理 (0-1)では、実空間の画像信号 SO(LLO)に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号 SO'(LLO)を作る。処理 (0-2)では、 LL0サブバンドのノイズ成分を n0(LL0)=S0(LL0)- SO'(LLO)により抽出する。処理 (0-3)では、ノィズ信号 n0(LL0)を等倍強度のまま (あるいは oc (0)倍してもょ、)画像信号 S0(LL0)に対して減算処理を行って、 S0(LL0)のノイズ除去を行う。ただし、 0< α (0)≤1、通常は α (0)=1。処理 (0-4)では、処理 (0-3)でノイズ除去された LL0面の画像信号をウェーブレット変換して、 1/2解像度の画像信号 S1(LL1 ,LH1 ,HL1 ,HH1)を生成する。

[0070] [2-3-1-2] 1/2解像度における処理

処理 (1-1)では、画像信号 S1(LL1 ,LH1 ,HL1 ,HH1)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号 S1 '(LL1 ,LH1 ,HL1 ,HH1)を作る。処理 (1-2)では、各サブバンドのノイズ成分を、 nl(LLl)=Sl(LLl)- S1 '(LL1)、 nl(LH 1)=S1(LH1)— S1 '(LH1)、 nl(HLl)=Sl(HLl)— S1 '(HL1)、 nl(HHl)=Sl(HHl)— Sl '(HHl)により抽出する。処理 (1-3)では、ノイズ信号 nl(LLl)を、等倍強度のまま (あるいは《(1) 倍してもよい)画像信号 Sl(LLl)に対して減算処理を行って、 Sl(LLl)のノイズ除去を行う。ただし、 0< α (1)≤1、通常は α (1)=1。処理 (1_4)では、処理 (1-3)でノイズ除去された LL1面の画像信号をウェーブレット変換して、 1/4解像度の画像信号 S2(LL2,LH2 ,HL2,HH2)を生成する。

[0071] [2-3-1-3] 1/4解像度における処理

上記 [2-3-1-2] 1/2解像度における処理と同様である。

[0072] [2-3-1-4] 1/8解像度における処理上記 [2-3-l-2]l/2解像度における処理と同様である。

[0073] [2-3-1-5]1/16解像度における処理

処理 (4-1)では、画像信号 S4(LL4,LH4,HL4,HH4)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行って、ノイズ除去画像信号 S4'(LL4,LH4,HL4,HH4)を作る。処理 (4- 2)では、各サブバンドのノイズ成分を、 n4(LL4)=S4(LL4)-S4'(LL4)、 n4( LH4)=S4(LH4)— S4'(LH4)、 n4(HL4)=S4(HL4)— S4'(HL4)、 n4(HH4)=S4(HH4)-S4'(HH4 )により抽出する。処理 (4-3)では、ノイズ信号 n4(LL4)を、等倍強度のまま (あるいは α (4)倍してもょヽ）画像信号 S4(LL4)に対して減算処理を行って、 S4(LL4)のノイズ除去を行う。ただし、 0< α (4)≤1、通常は α (4)=1。処理 (4_4)では、処理 (4- 3)でノイズ除去された LL4面の画像信号をウェーブレット変換して、 1/32解像度の画像信号 S5(LL 5,LH5,HL5,HH5)を生成する。

[0074] [2-3-1-6]1/32最低解像度における処理

処理 (5-1)では、画像信号 S5(LL5,LH5,HL5,HH5)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号 S5'(LL5,LH5,HL5,HH5)を作る。処理 (5- 2)では、各サブバンドのノイズ成分を n5(LL5)=S5(LL5)- S5'(LL5)、 n5(LH5 )=S5(LH5)— S5，(LH5)、 n5(HL5)=S5(HL5)— S5 ' (HL5)、 n5(HH5)=S 1 (HH5)— S5 '(HH5)により抽出する。

[0075] ここで注目すべき点は、従来技術と異なり逐次的にノイズ除去された低周波サブバンド LLから生成される低解像度側の高周波サブバンド LH,HL,HHのノイズ成分も、一且高解像度側でノイズ除去された状態から精度よく抽出してヽる点である。すなわち、上層の低周波サブバンドのノイズ除去結果が下層の低周波サブバンドのみならず高周波サブバンドのノイズ抽出にも影響を及ぼしている。こうして多重解像度表現にぉ、て、低周波サブバンドも高周波サブバンドも両方とも残留ノイズの少なヽ両成分力ものノイズ成分が抽出可能になる。

[0076] [2-3-2]ノイズ成分の周波数特性変更

次に、抽出されたノイズ成分を実際のノイズ除去を行うためのノイズ成分に修正する。この修正は、抽出されたノイズ成分カゝら実際のノイズ除去を行うためのノイズ成分をさらに再抽出していることになる。これは、輝度成分の画像構造非破壊性を保持するための手法であり、且つノイズ除去効果の見栄えを容易に変えるための可変パラメ一タの役割を果たす。すなわち、低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH )の間の重みを変えてノイズ成分の周波数特性を変える。このパラメータは、ソフトゥェ

II

ァ処理等のグラフィック.ユーザ一.インターフェースにおいて、ノイズ除去の粒状性変更パラメータとして提供できる。言い換えれば、低周波サブバンドのノイズ成分と高周波サブバンドのノイズ成分に異なる加重係数を掛けて（下記の例では LLサブバンドに対する kOとその他のサブバンドに対する 1)、ノイズ成分の周波数帯域間の重みを変調している。

[0077] これらは、次式に示す通り行われ、図 3では、処理 (0-5)、処理 (1-5)、処理 (2-5)、処理 (3-5)、処理 (4-5)、処理 (5-5)に対応する。

n0，(LL0)= k0(0)*n0(LL0) . ..(18)

kO(l)*nl(LLl) . ..(19)

n2'(LL2)= kO(2)*n2(LL2) . ..(20)

n3'(LL3)= kO(3)*n3(LL3) . ..(21)

n4'(LL4)= kO(4)*n4(LL4) . ..(22)

n5'(LL5)= kO(5)*n5(LL5) . ..(23)

[0078] ここで、次のようにする。

nl'(LLl)と nl(LHl,HLl,HHl)をそのまま束ねて nl'(LLl,LHl,HLl,HHl)と表す。 n2'(LL2)と n2(LH2,HL2,HH2)をそのまま束ねて n2'(LL2,LH2,HL2,HH2)と表す。 n3'(LL3)と n3(LH3,HL3,HH3)をそのまま束ねて n3'(LL3,LH3,HL3,HH3)と表す。 n4'(LL4)と n4(LH4,HL4,HH4)をそのまま束ねて n4'(LL4,LH4,HL4,HH4)と表す。 n5'(LL5)と n5(LH5,HL5,HH5)をそのまま束ねて n5'(LL5,LH5,HL5,HH5)と表す。

[0079] 通常は、 k0=k0(0)=k0(l)=k0(2)=k0(3)=k0(4)=k0(5)に設定し、 0≤k0≤ 1の範囲で可変とする。残留ノイズ成分の発生予防と適度な粒状性を残すことによるテキスチャ画像構造を保存するには k0=0.5のような中間値近辺の値を採るとよぐ粒状性維持による画像構造保存に重点を置く場合には k0=0.2とヽつた値を採ればよ!ヽし、画像全面に広がるサ一つとした高周波背景ノイズ抑制に重点を置く場合には k0=0.8といった値をとればよい。 [0080] 高周波サブバンドのノイズ信号に対しては、通常等倍のまま出力する。言、換えれば、高周波サブバンドに対する重みの方が低周波サブバンドに対する重みよりも大きく設定される。ただし、場合によっては加重係数を掛けても良い。図 7は、低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH)の加重係数を示す図である。

[0081] 以上のように、ノイズ成分を抽出するためのノイズ除去と画像構造非破壊性の保持が要求される実際のノイズ除去のためのノイズ除去の 2種類のノイズ除去概念を導入し、ノイズ抽出のためのノイズ除去は画像構造非破壊性保持の条件〖こ拘束されることなぐ必要な強度だけ自由にノイズ除去が行えるようになった。すなわち、ノイズ成分を抽出するためのノイズ除去の方を、実際のノイズ除去のためのノイズ除去より自由に強くすることができる。これにより、各サブバンド毎に正確なノイズ抽出が可能となるとともに画像構造の非破壊性も維持することができる。

[0082] また、高周波サブバンドと低周波サブバンドのうち、補足サブバンドに対する加重係数を導入するだけで、統合されたノイズ成分の周波数特性を容易に変更できる。これにより、高精細なノイズ除去を維持したままノイズ除去除去効果の見栄えを簡易に変更できる環境が提供できる。また、最も処理時間の力かるノイズ抽出のためのノイズ除去処理を再度行う必要がな、ので、高速にその見栄え変更の結果を提示することができる。

[0083] [2-3-3]ノイズ成分の統合

こうして修正されたノイズ成分を、最低解像度側から順次逆ウェーブレット変換を行いながら、ノイズ成分の統合を行う。

[0084] [2-3-3-1]1/32最低解像度における処理

処理 (5- 7)では、バンド間で加重処理の施された単層のノイズ信号 n5'(LL5,LH5,HL 5,HH5)を逆ウェーブレット変換することにより、 LL4サブバンド面に対応するノイズ信号 N5(LL4)を生成する。

[0085] [2-3-3-2] 1/ 16解像度における処理

処理 (4-6)では、 LL4面自身カゝら抽出して加重処理の施されたノイズ信号 n4'(LL4)と N5(LL4)を、次式の加算処理により結合する。

n4"(LL4)=n4'(LL4)+N5(LL4) ...(24) n4"(LL4)と n4'(LH4,HL4,HH4)をそのまま束ねて n4"(LL4,LH4,HL4,HH4)と表す。これにより、 LL4面のノイズ成分は、図 3からも分力ゝるように、 2層のノイズ成分が統合されたことになる。ただし、 LH4,HL4,HH4のノイズ成分は単層である。（4- 7)では、 2層のノイズ成分が統合されたノイズ信号 n4"(LL4,LH4,HL4,HH4)を逆ウェーブレット変換することにより、 LL3サブバンド面に対応するノイズ信号 N4(LL3)を生成する。

[0086] [2-3-3-3]1/8解像度における処理

上記「[2- 3-3-2]1/16解像度における処理」と同様である。

[0087] [2-3-3-4]1/4解像度における処理

上記「[2- 3-3-2]1/16解像度における処理」と同様である。

[0088] [2-3-3-5]1/2解像度における処理

処理 (1-6)では、 LL1面自身力抽出して加重処理の施されたノイズ信号 nl'(LLl)と N2(LL1)を次式の加算処理により結合する。

ηΓ (しし 1)=η1' (しし 1)+N2(しし 1) ...(25)

nl"(LLl)と nl'(LHl,HLl,HHl)をそのまま束ねて nl"(LLl,LHl,HLl,HHl)と表す。処理 (1-7)では、 2層のノイズ成分が統合されたノイズ信号 nl〃(LLl,LHl,HLl,HHl)を逆ウェーブレット変換することにより、 LL0サブバンド面に対応するノイズ信号 Nl(LLO) を生成する。

[0089] [2-3-3-6]実空間最高解像度における処理

処理 (0-6)では、 LL0面自身から抽出して加重処理の施されたノイズ信号 nO'(LLO)と Nl(LLO)を次式の加算処理により結合する。

n0"(LL0)=n0'(LL0)+Nl(LL0) ...(26)

[0090] ここで、注目すべき点は、低周波サブバンドのノイズ成分力従来技術とは違って、低解像度側の低周波と高周波の両サブバンドから統合されてきたノイズ成分と同時に着目解像度の低周波サブバンド自身カゝら抽出したノイズ成分の 2層構造を利用してノイズ合成が行われている点である。これにより、残留ノイズ成分のない正確なノィズ成分の合成が容易になるとともに、画像構造の非破壊性が高ぐかつ容易に見栄えの変えられるノイズ特性の合成が可能となっている。

[0091] 2層構造のノイズ成分を結合する加算時に、更に異なる解像度の階層間でノイズ成分の強度を変えて周波数特性をもっと自由自在に変更できるようにしてもよい。このときは、下式のような処理になる。

n4"(LL4)=n4'(LL4)+ β (5)*N5(LL4) ...(27)

n3"(LL3)=n3'(LL3)+ β (4)*N4(LL3) ...(28)

n2"(LL2)=n2'(LL2)+ β (3)*N3(LL2) ...(29)

nl"(LLl)=nl'(LLl)+ β (2)*N2(LL1) ...(30)

n0"(LL0)=n0'(LL0)+ β (1)*N1(LL0) ...(31)

ただし、 0< (1)≤1、 0< j8 (2)≤l、 0< j8 (3)≤l、 0< j8 (4)≤l、 0< j8 (5)≤l。このようなパラメータを使うような状況は、例えばランダムノイズがあらゆる周波数で均等なホワイトノイズと仮定できな、ような場合に生じる力もしれな、。

[0092] [2-3-4]実際のノイズ除去処理

実空間と同じ解像度を持つ状態にまで 1つに統合されたノイズ成分に対し、画像全体のノイズ除去の程度が可変設定できるようにノイズ除去率と、う加重係数パラメータ λを掛けてから、ノイズ除去を実行する。すなわち、

S0NR(LL0)=S0(LL0)- λ *n0"(LL0) ...(32)

ただし、 0≤λ≤1。

[0093] [2-4]色差成分 (a")のノイズ除去

輝度成分 (じ)と同様に、「Analy_Si_S逐次」によるノイズ抽出を行う。輝度成分のノイズ除去と異なるところは、上記「[2-3-2]ノイズ成分の周波数特性変更」の処理における周波数特性を変更する際の加重係数を掛けるサブバンドの対象が異なること、すなわち重みづけ処理が異なることと、「[2-3-4]実際のノイズ除去処理」におけるノイズ除去率のパラメータ設定の仕方が異なるだけである。以下、この異なる点について記載する。なお、図 4は、図 3と異なる「ノイズ成分の周波数特性変更」の処理の部分のみを抽出した図である。

[0094] [2-4-1]ノイズ成分の周波数特性変更

色差成分の実際のノイズ除去における突出点ノイズ除去効果とカラフルネス維持の両立を図るための加重係数パラメータを、次式の通り、高周波サブバンド (LH,HL,HH )のノイズ成分に対して掛ける。これは色差成分にぉヽては低周波サブバンドが主要バンドで、高周波サブバンドが補足バンドに対応するためである。

nl^: '(LH1)= kl(l)*nl(LHl) ., ..(33)

nl^: '(HL1)= kl(l)*nl(HLl) ., ..(34)

nl^: '(HH1)= ： k2(l)*nl(HHl) . ...(35)

n2^: '(LH2)= kl(2)*n2(LH2) ., ..(36)

n2^: '(HL2)= kl(2)*n2(HL2) ., ..(37)

n2^: '(HH2)= ： k2(2)*n2(HH2) . ...(38)

n3^: '(LH3)= kl(3)*n3(LH3) ., ..(39)

n3^: '(HL3)= kl(3)*n3(HL3) ., ..(40)

n3^: '(HH3)= k2(3)*n3(HH3) . ...(41)

n4^: '(LH4)= kl(4)*n4(LH4) ., ..(42)

n4^: '(HL4)= kl(4)*n4(HL4) ., ..(43)

n4^: '(HH4)= ： k2(4)*n4(HH4) . ...(44)

n5^: '(LH5)= kl(5)*n5(LH5) ., ..(45)

n5^: '(HL5)= kl(5)*n5(HL5) ., ..(46)

n5^: '(HH5)= ： k2(5)*n5(HH5) . ...(47)

[0096] ここで、

nl(LLl)と nl'(LHl,HLl,HHl)をそのまま束ねて nl'(LLl,LHl,HLl,HHl)と表す。 n2(LL2)と n2'(LH2,HL2,HH2)をそのまま束ねて n2'(LL2,LH2,HL2,HH2)と表す。 n3(LL3)と n3'(LH3,HL3,HH3)をそのまま束ねて n3'(LL3,LH3,HL3,HH3)と表す。 n4(LL4)と n4'(LH4,HL4,HH4)をそのまま束ねて n4'(LL4,LH4,HL4,HH4)と表す。 n5(LL5)と n5'(LH5,HL5,HH5)をそのまま束ねて n5'(LL5,LH5,HL5,HH5)と表す。

[0097] 通常は kl= kl(l)=kl(2)=kl(3)=kl(3)=kl(5)、 k2= k2(l)=k2(2)=k2(3)=k2(4)=k2(5)に設定し、 0≤kl,k2≤lの範囲で可変で、 kl=0.9、 k2=0.8といった値をとる。通常使用では 0.8〜1.0の値でよい。また、 LHサブバンドと HLサブバンドに対しては共通の klを設定したが、別々〖こ設定してもよい。図 8は、低周波サブバンド (LL)と高周波サブバンド (L H,HL,HH)の加重係数を示す図である。低周波サブバンド (LL)の加重係数は 1であり、そのままの値を使用する。言い換えれば、低周波サブバンドに対する重みを高周波サブバンドの重みよりも大きく設定する。ただし、 kl=0.9、 k2=0.8と 1に近い値であるので、同程度であるともいえる。

[0098] [2-4-2]実際のノイズ除去処理

輝度成分 (じ)の「[2-3-4]実際のノイズ除去処理」と同様である。ただし、色差成分に関するノイズ除去率は、通常え =1.0でよい。

[0099] このように、多チャンネル表現の特性を有効に活用することによって、輝度と色差に分離されたそれぞれの面における画像構造とノイズの性質の違いに応じて、ノイズ成分が抽出しやすい最適な周波数空間に射影してノイズ抽出処理を行うので、画像構造の破壊が少なく残留ノイズも少な、高精細なカラー画像のノイズ除去が、容易に実現することができる。

[0100] [2-5]色差成分 0 のノイズ除去

「[2- 4]色差成分 (a)のノイズ除去」と同様である。

[0101] 上記において、ソフトウェア等でユーザーが容易に可変できる主なノイズ除去パラメータとして以下のような 3つの性質の異なる機能がある。

1)ノイズ成分を抽出するときの強度パラメータ (Intensity) : σ th (フィルタによっては rth も合わせて）

2)ノイズの粒状性に関する周波数特性変更パラメータ (graininess)： k0

3)ノイズ除去の強度に関するパラメータ (sharpness)： λ

[0102] 図 9は、上記強度パラメータ (Intensity) σ th、 rth、周波数特性変更パラメータ (graini ness)k0、ノイズ除去の強度に関するパラメータ (sharpness)えの設定画面を示す図である。各項目はスライドバーで示され、各スライドバー中のカーソルを任意の位置に設定することにより各項目を任意の値に設定することができる。

[0103] 具体的には、パーソナルコンピュータ 1のモニタ（不図示）に図 9の設定画面が表示され、ユーザーはキーボード (不図示）やマウス（不図示）を使用してスライドバー中のカーソルを任意の位置に設定する。これにより、ユーザは簡易に上記パラメータを設定することができる。例えば、周波数特性変更パラメータ (graininess)kOを上記のように変更することにより、高精細性を保ったまま容易にノイズ除去効果の見栄えを変更できる。また、 k0と λの変更に対しては高速に動作が追随する。 [0104] [3]逆色空間変換、画像データ出力

図 2に戻ると、ステップ S4では、上記のステップ S3においてノイズ除去処理が終わつた画像データについて、上記ステップ S2の「[1]色空間変換」の逆変換を行って RG B画像に戻す。ステップ S5では、 RGB画像に戻った画像データを出力する。

[0105] 以上のように、第 1の実施の形態では、ノイズ抽出とノイズ除去を分離して 2種類のノィズ除去に相当する処理を行い、更に上層の低周波サブバンドのノイズ除去結果が下層の低周波サブバンドのみならず高周波サブバンドのノイズ抽出にも影響を与えるようにした。すなわち、多重解像度変換画像の高周波サブバンドと低周波サブバンドの両方から、しカゝも相互に影響を及ぼし合いながら逐次的にノイズ抽出を行うので、扱う周波数帯域の合成の自由度が広がり、ノイズ抽出に最適な周波数空間でノイズ抽出を行うことが可能となり、抽出しきれない残留ノイズの問題がなくなりつつも、画像構造を破壊しな、高精細なノイズ除去を可能とする。

[0106] すなわち、デジタル写真のような一般画像にぉ、て、残留ノイズ問題を適切に対処しつつ画像構造非破壊性の高い、高精細なノイズ除去処理 (Edge-preserving smoot hing)を実現してヽる。

[0107] なお、本実施の形態では、実空間の画像信号 SO(LLO)に対して所定のノイズ除去処理を行う例を示した（図 3)。しかし、実空間の画像信号 S0(LL0)に対する処理は非常に重たい処理となる。一方、本実施の形態では、画像信号 S1(LL1,LH1,HL1,HH1)以下の解像度における処理だけでも十分に高精細なノイズ除去処理が可能となる。従つて、実空間の画像信号 S0(LL0)に対する所定のノイズ除去処理を省いてもよい。図 16は、図 3から実空間の画像信号 S0(LL0)に対する所定のノイズ除去処理を省いた輝度成分 (輝度信号)の処理の流れ図を示す図である。色差成分の処理につ!ヽても同様である。これにより、処理を軽くしながら高精細なノイズ除去処理が可能となる。

[0108] (第 2の実施の形態）

第 1の実施の形態では、画像データを解像度の低いほうに分解しながら、逐次的にノイズの抽出を行っていく「Analy_Si_S逐次」の方式を説明した。第 2の実施の形態では、多重解像度のデータに分解された画像データを、解像度の高いほうに統合しながら逐次的にノイズの抽出を行う「Synthesis逐次」の方式について説明する。 [0109] 第 2の実施の形態の画像処理装置の構成は、第 1の実施の形態と同様であるので、図 1を参照し、その説明を省略する。また、パーソナルコンピュータ 1が処理する第 2 の実施の形態の画像処理のフローチャートも、流れとしては図 2と同様であるので、その説明を省略する。以下、第 1の実施の形態の処理と異なる点を中心に説明をする。

[0110] [1]色空間変換

[2]ノイズ除去

[2-1]多重解像度変換にっヽて

[2- 1-1]ウェーブレット変換： Analysis/Decompositionプロセス

[2- 1-2]逆ウェーブレット変換： Synthesis/Reconstructionプロセス

[2-2]ノイズ除去処理につ!ヽて

[2- 2-1]改良型 Bilateral Filter

[2- 2- 2]Laplacianノイズ抽出法

以上は、第 1の実施の形態と同様であるので、説明を省略する。

[0111] [2-3]輝度成分 (じ)のノイズ除去

図 10は、輝度成分の処理の流れ図を示す図であり、図 11は、色差成分の処理の流れ図を示す図である。ただし、図 11は、後述するように、図 10の輝度成分の処理の流れ図と異なるところを抽出して図示している。なお、以下の各処理 (XX)および処理 (xx-x)は、図 10にお!/、て (XX)および (xx-x)と記載して対応付ける。

[0112] [2-3-1]多重解像度変換

[2-3-1-1]実空間最高解像度における処理

処理 (10)では、実空間面の画像信号 S0(LL0)をウェーブレット変換して、 1/2解像度の画像信号 S1(LL1,LH1,HL1,HH1)を生成する。

[0113] [2-3-1-2]1/2解像度における処理

処理 (11)では、 LL1面の画像信号 Sl(LLl)をウェーブレット変換して、 1/4解像度の画像信号 S2(LL2,LH2,HL2,HH2)を生成する。

[0114] [2-3-1-3]1/4解像度における処理

処理 (12)では、 LL2面の画像信号 S2(LL2)をウェーブレット変換して、 1/8解像度の画像信号 S3(LL3,LH3,HL3,HH3)を生成する。 [0115] [2-3-l-4]l/8解像度における処理

処理 (13)では、 LL3面の画像信号 S3(LL3)をウェーブレット変換して、 1/16解像度の画像信号 S4(LL4,LH4,HL4,HH4)を生成する。

[0116] [2-3-1-5]1/16解像度における処理

処理 (14)では、 LL4面の画像信号 S4(LL4)をウェーブレット変換して、 1/32解像度の画像信号 S5(LL5,LH5,HL5,HH5)を生成する。

[0117] [2-3-2]逐次ノイズ抽出

[2-3-2-1]1/32最低解像度における処理

処理 (15-1)では、画像信号 S5(LL5,LH5,HL5,HH5)の各々に対してノイズ除去を行つてノイズ除去画像信号 S5'(LL5,LH5,HL5,HH5)を作る。処理 (15-2)では、各サブバンドのノイズ信号を、 n5(LL5)=S5(LL5)- S5'(LL5)、 n5(LH5)=S5(LH5)- S5'(LH5)、 n5(H L5)=S5(HL5)- S5'(HL5)、 n5(HH5)=S5(HH5)- S5'(HH5)により抽出する。処理 (15- 4)では、ノイズ信号 n5(LL5,LH5,HL5,HH5)を逆ウェーブレット変換 (Synthesis)することにより、 LL4サブバンド面に対応するノイズ抽出用のノイズ信号 N5(LL4)を生成する。

[0118] [2-3-2-211/16解像度における処理

処理 (14-0)では、ノイズ信号 N5(LL4)を等倍強度のまま (あるいは a (5)倍してもょヽ )画像信号 S4(LL4)に対して減算処理を行って、画像信号 S4'(LL4)を得る。ただし、 0 < α (5)≤1、通常は α (5)=1。なお、 S4'(LL4)と S4(LH4,HL4,HH4)をそのまま束ねて S4 ，(LL4,LH4,HL4,HH4)と表す。

[0119] 処理 (14-1)では、画像信号 S4'(LL4,LH4,HL4,HH4)の各々に対してノイズ除去を行つてノイズ除去画像信号 S4"(LL4,LH4,HL4,HH4)を作る。図 10では、 S4"(LL4",LH4' ,HL4',HH4')と記載している力上記 S4"(LL4,LH4,HL4,HH4)のことである。処理 (14- 2)では、各サブバンドのノイズ信号を n4(LL4)=S4'(LL4)-S4"(LL4)、 n4(LH4)=S4'(LH4) — S4"(LH4)、 n4(HL4)=S4'(HL4)-S4"(HL4), n4(HH4)=S4'(HH4)— S4"(HH4)により抽出する。

[0120] 処理 (14-3)では、 LL4面のノイズ除去処理により抽出したノイズ信号 n4(LL4)と下層力ノイズ抽出用に統合したノイズ信号 N5(LL4)を次式の加算処理により結合する。 n4'(LL4)=n4(LL4)+N5(LL4) ...(48) n4'(LL4)と n4(LH4,HL4,HH4)をそのまま束ねて n4'(LL4,LH4,HL4,HH4)と表す。処理 (14-4)では、ノイズ信号 n4'(LL4,LH4,HL4,HH4)を逆ウェーブレット変換することにより、 LL3サブバンド面に対応するノイズ信号 N4(LL3)を生成する。

[0121] [2-3-2-3]1/8解像度における処理

上記 [2- 3-2-2]1/16解像度における処理と同様である。

[0122] [2-3-2-4]1/4解像度における処理

上記 [2- 3-2-2]1/16解像度における処理と同様である。

[0123] [2-3-2-5]1/2解像度における処理

処理 (11-0)では、ノイズ信号 N2(LL1)を等倍強度のまま (あるいは α (2)倍してもよい )画像信号 Sl(LLl)に対して減算処理を行って、画像信号 Sl'(LLl)を得る。ただし、 0

< α (2)≤1、通常は α (2)=1。なお、 Sl'(LLl)と S1(LH1,HL1,HH1)をそのまま束ねて S1 '(LL1,LH1,HL1,HH1)と表す。

[0124] 処理 (11-1)では、画像信号 S1'(LL1,LH1,HL1,HH1)の各々に対してノイズ除去を行つてノイズ除去画像信号 S1"(LL1,LH1,HL1,HH1)を作る。図 10では、 S '(LLl",LHl' ,HL1',HH1')と記載している力上記 S1"(LL1,LH1,HL1,HH1)のことである。処理 (11- 2)では、各サブバンドのノイズ信号を nl(LLl)=Sl'(LLl)- S1"(LL1)、 nl(LHl)=Sl'(LHl) — S1"(LH1)、 nl(HLl)=Sl'(HLl)— S1"(HL1)、 nl(HHl)=Sl'(HHl)— S1"(HH1)により抽出する。

[0125] 処理 (11-3)では、 LL1面のノイズ除去処理により抽出したノイズ信号 nl(LLl)と下層力もノイズ抽出用に統合したノイズ信号 N2(LL1)を次式の加算処理により結合する。 nl'(LLl)=nl(LLl)+N2(LLl) ...(49)

nl'(LLl)と nl(LHl,HLl,HHl)をそのまま束ねて nl'(LLl,LHl,HLl,HHl)と表す。処理 (11-4)では、ノイズ信号 nl'(LLl,LHl,HLl,HHl)を逆ウェーブレット変換することにより、 LL0サブバンド面に対応するノイズ信号 Nl(LLO)を生成する。

[0126] [2-3-2-6]実空間最高解像度における処理

処理 (10-0)では、ノイズ信号 Nl(LLO)を等倍強度のまま (あるいは a (1)倍してもよ!ヽ )画像信号 SO(LLO)に対して減算処理を行って、画像信号 SO'(LLO)を得る。ただし、 0

< α (1)≤1、通常は α (1)=1。処理 (10-1)では、画像信号 SO'(LLO)に対してノイズ除去を行ってノイズ除去画像信号 S0〃(LL0)を作る。処理 (10-2)では、ノイズ信号を nO(LLO) =S0'(LL0)-S0"(LL0)により抽出する。

[0127] ここで注目すべき点は、従来技術の低解像度側低周波サブバンドのノイズ除去の効果を高解像度側低周波サブバンドのノイズ抽出に反映させているだけではなぐ低解像度側高周波サブバンドのノイズ除去効果も一緒に反映させて、る点である。すなわち、下層の低周波サブバンドと高周波サブバンドのノイズ除去結果が同時に上層の低周波サブバンドのノイズ抽出にも影響を及ぼしている。こうして多重解像度表現における低周波サブバンド側力抽出すべき正確なノイズ成分の抽出が可能となり、残留ノイズの少なゾィズ成分が抽出可能になる。

[0128] 輝度成分に対して、このような「Synthesis逐次」を用いるときは特に、高周波サブバンド側のノイズ除去効果が低周波側サブバンドに潜む筋状やチェックパターン状の残留ノイズ成分をうまく引っ張り出す効果が期待できる。

[0129] [2-3-3]ノイズ成分の周波数特性変更

次に、抽出されたノイズ成分を実際のノイズ除去を行うためのノイズ成分に修正する。すなわち、低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH)の間の重みを変えてノイズ成分の周波数特性を変える。第 1の実施の形態と話は同様で、パラメ一タ設定も同様である。

[0130] これらは、次式に示す通り行われ、図 10では、処理 (10-5)、処理 (11-5)、処理 (12-5) 、処理 (13-5)、処理 (14-5)、処理 (15-5)に対応する。

n0"(LL0)= k0(0)*n0(LL0) ...(50)

nl"(LLl)= kO(l)*nl(LLl) ...(51)

n2"(LL2)= kO(2)*n2(LL2) ...(52)

n3"(LL3)= kO(3)*n3(LL3) ...(53)

n4"(LL4)= kO(4)*n4(LL4) ...(54)

n5"(LL5)= kO(5)*n5(LL5) ...(55)

[0131] ここで、

nl"(LLl)と nl(LHl,HLl,HHl)をそのまま束ねて nl"(LLl,LHl,HLl,HHl)と表す。 n2"(LL2)と n2(LH2,HL2,HH2)をそのまま束ねて n2"(LL2,LH2,HL2,HH2)と表す。 n3"(LL3)と n3(LH3,HL3,HH3)をそのまま束ねて n3"(LL3,LH3,HL3,HH3)と表す。 n4"(LL4)と n4(LH4,HL4,HH4)をそのまま束ねて n4"(LL4,LH4,HL4,HH4)と表す。 n5"(LL5)と n5(LH5,HL5,HH5)をそのまま束ねて n5"(LL5,LH5,HL5,HH5)と表す。

[0132] [2-3-4]ノイズ成分の統合

こうして修正されたノイズ成分を最低解像度側カゝら順次逆ウェーブレット変換を行いながら、実際にノイズ除去に使うためのノイズ成分の統合を行う。

[0133] [2-3-4-1]1/32最低解像度における処理

処理 (15-7)では、バンド間で加重処理の施された単層のノイズ信号 n5"(LL5,LH5,H L5,HH5)を逆ウェーブレット変換することにより、 LL4サブバンド面に対応する実際のノイズ除去用のノイズ信号 N5'(LL4)を生成する。

[0134] [2-3-4-2] 1/ 16解像度における処理

処理 (14-6)では、 LL4面自身カゝら抽出して加重処理の施されたノイズ信号 n4〃(LL4) と下層から実際のノイズ除去用に統合したノイズ信号 N5'(LL4)を、次式の加算処理により結合する。

n4'"(LL4)=n4"(LL4)+N5'(LL4) ...(56)

n4"'(LL4)と n4"(LH4,HL4,HH4)をそのまま束ねて n4"'(LL4,LH4,HL4,HH4)と表す。これにより、 LL4面のノイズ成分は、図 10からも分かるように、 2層のノイズ成分が統合されたことになる。ただし、 LH4,HL4,HH4のノイズ成分は単層である。処理 (14-7)では、 2層のノイズ成分が統合されたノイズ信号 n4"'(LL4,LH4,HL4,HH4)を逆ウェーブレツト変換することにより、 LL3サブバンド面に対応するノイズ信号 N4'(LL3)を生成する。

[0135] [2-3-4-3]1/8解像度における処理

上記 [2-3-4-2]1/16解像度における処理と同様である。

[0136] [2-3-4-4]1/4解像度における処理

上記 [2-3-4-2]1/16解像度における処理と同様である。

[0137] [2-3-4-5]1/2解像度における処理

処理 (11-6)では、 LL1面自身力抽出して加重処理の施されたノイズ信号 nl"(LLl) と下層から実際のノイズ除去用に統合した N2'(LL1)を、次式の加算処理により結合する。 nl'"(LLl)=nl"(LLl)+N2'(LLl) ...(57)

nl"'(LLl)と nl"(LHl,HLl,HHl)をそのまま束ねて nr'(LLl,LHl,HLl,HHl)と表す。処理 (11-7)では、 2層のノイズ成分が統合されたノイズ信号 nl〃'(LLl,LHl,HLl,HHl) を逆ウェーブレット変換することにより、 LL0サブバンド面に対応するノイズ信号 N1'(L L0)を生成する。

[0138] [2-3-4-6]実空間最高解像度における処理

処理 (10-6)では、 LL0面自身カゝら抽出して加重処理の施されたノイズ信号 n0〃(LL0) と下層から実際のノイズ除去用に統合した Nl'(LLO)を、次式の加算処理により結合する。

n0'"(LL0)=n0"(LL0)+Nl'(LL0) ...(58)

[0139] 第 1の実施の形態と同様に、ここでも、 2層構造のノイズ成分を結合する加算時に、更に異なる解像度の階層間でノイズ成分の強度を変えて周波数特性をもっと自由自在に変更できるようにしてもよい。このときは、同様に下式のような処理になる。

n4'"(LL4)=n4"(LL4)+ β (5)*N5'(LL4) ...(59)

n3'"(LL3)=n3"(LL3)+ β (4)*N4'(LL3) ...(60)

n2'"(LL2)=n2"(LL2)+ β (3)*N3'(LL2) ...(61)

nl'"(LLl)=nl"(LLl)+ β (2)*N2'(LL1) ...(62)

n0'"(LL0)=n0"(LL0)+ β (1)*N1'(LL0) ...(63)

ただし、 0< (1)≤1、 0< j8 (2)≤l、 0< j8 (3)≤l、 0< j8 (4)≤l、 0< j8 (5)≤l。

[0140] ここで、注目すべき点は、ノイズ抽出用と実際のノイズ除去用の 2種類のノイズ成分を、 2系統のノイズ統合手段を用意してそれぞれ別々に統合していっている点である。これによりそれぞれの用途に適したノイズ成分の強度特性変更や周波数特性変更の最適化処理が容易となる。

[0141] 更に第 1の実施の形態と同様に、これらのノイズ統合処理において、低周波サブバンドのノイズ成分力従来技術とは違って、低解像度側の低周波と高周波の両サブバンドから統合さててきたノイズ成分と同時に、着目解像度の低周波サブバンド自身カゝら抽出したノイズ成分の、 2層構造を利用してノイズ合成を行っている。これによつて、ノイズの周波数特性変更を容易にし、かつ 2系統の用途のそれぞれに適したノィズ成分を調合することを可能として、る。

[0142] [2-3-5]実際のノイズ除去処理

第 1の実施の形態の「[2-3-4]実際のノイズ除去処理」と同様である。

[0143] [2-4]色差成分 (a)のノイズ除去

第 1の実施の形態の「[2-4]色差成分 (a)のノイズ除去」と同様である。ただし、使つて、る式の定義が少しずれるので、以下の通りそれを書き直すのみである。

[0144] [2-4-1]ノイズ成分の周波数特性変更

ηΓ' (LH1)= kl(l)*nl(LHl) ., ..(64)

ηΓ' (HL1)= kl(l)*nl(HLl) ., ..(65)

ηΓ' (ΗΗ1)= k2(l)*nl(HHl) . ...(66)

η2"' (LH2)= kl(2)*n2(LH2) ., ..(67)

η2"' (HL2)= kl(2)*n2(HL2) ., ..(68)

η2"' (ΗΗ2)= k2(2)*n2(HH2) . ...(69)

η3"' (LH3)= kl(3)*n3(LH3) ., ..(70)

η3"' (HL3)= kl(3)*n3(HL3) ., ..(71)

η3"' (HH3)= k2(3)*n3(HH3) . ...(72)

η4"' (LH4)= kl(4)*n4(LH4) ., ..(73)

η4"' (HL4)= kl(4)*n4(HL4) ., ..(74)

η4"' (HH4)= k2(4)*n4(HH4) . ...(75)

η5"' (LH5)= kl(5)*n5(LH5) ., ..(76)

η5"' (HL5)= kl(5)*n5(HL5) ., ..(77)

η5"' (HH5)= k2(5)*n5(HH5) . ...(78)

[0145] ここで、

nl(LLl)と nl"(LHl,HLl,HHl)をそのまま束ねて nl"(LLl,LHl,HLl,HHl)と表す, n2(LL2)と n2"(LH2,HL2,HH2)をそのまま束ねて n2"(LL2,LH2,HL2,HH2)と表す, n3(LL3)と n3"(LH3,HL3,HH3)をそのまま束ねて n3"(LL3,LH3,HL3,HH3)と表す, n4(LL4)と n4"(LH4,HL4,HH4)をそのまま束ねて n4"(LL4,LH4,HL4,HH4)と表す, n5(LL5)と n5"(LH5,HL5,HH5)をそのまま束ねて n5"(LL5,LH5,HL5,HH5)と表す, [0146] [2-5]色差成分 0 のノイズ除去

「[2- 4]色差成分 (a)のノイズ除去」と同様である。

[0147] 以上のように、第 2の実施の形態では、ノイズ抽出とノイズ除去を分離して 2種類のノイズ除去に相当する処理を行い、かつ下層の低周波サブバンドのノイズ除去結果のみならず下層の高周波サブバンドのノイズ除去結果も上層の低周波サブバンドのノイズ抽出にも影響を与えるようにした。すなわち、第 1の実施の形態と同様に、多重解像度変換画像の高周波サブバンドと低周波サブバンドの両方から、し力も相互に影響を及ぼし合いながら逐次的にノイズ抽出を行うので、扱う周波数帯域の合成の自由度が広がり、ノイズ抽出に最適な周波数空間でノイズ抽出を行うことが可能となり、抽出しきれない残留ノイズの問題がなくなりつつも、画像構造を破壊しない高精細なノイズ除去を可能とする。

[0148] すなわち、デジタル写真のような一般画像にぉ、て、残留ノイズ問題を適切に対処しつつ画像構造非破壊性の高い、高精細なノイズ除去処理 (Edge-preserving smoot hing)を実現してヽる。

[0149] ここで、第 1の実施の形態と第 2の実施の形態の違いについて少し触れておく。パラメータの設定を変えることによって「Analysis逐次」と Synthesis逐次」の方式はほぼ同等のノイズ除去効果とノイズ残留問題対策効果を得ることが出来ることが実験的に確認されている。し力し、敢えてその違いを述べてみるなら処理の順序からいって、「An alysis逐次」方式は後段に低解像度側がくるので、別の解像度に対して確実に影響を及ぼす低解像度側の長周期成分のノイズ抽出漏れ防止効果が高いのに対し、「Sy nthesis逐次」方式は反対に後段に高解像度側がくるので、高解像度側のノイズ抽出漏れ防止効果が高ぐチェックパターン等のナイキスト周波数のしっこいノイズ抽出に強いといえる。

[0150] なお、本実施の形態では、実空間の画像信号 SO(LLO)に対して所定のノイズ除去処理を行う例を示した（図 10)。しかし、実空間の画像信号 S0(LL0)に対する処理は非常に重たい処理となる。一方、本実施の形態では、画像信号 S1(LL1,LH1,HL1,HH1) 以下の解像度における処理だけでも十分に高精細なノイズ除去処理が可能となる。従って、実空間の画像信号 S0(LL0)に対する所定のノイズ除去処理を省、てもよ、。図 17は、図 10から実空間の画像信号 SO(LLO)に対する所定のノイズ除去処理を省いた輝度成分 (輝度信号)の処理の流れ図を示す図である。色差成分の処理にっ、ても同様である。これにより、処理を軽くしながら高精細なノイズ除去処理が可能となる

[0151] (第 3の実施の形態）

第 1の実施の形態や第 2の実施の形態では、ノイズ除去処理の例について説明をした。第 3の実施の形態では、このノイズ除去処理をエッジ強調処理に置き換えた、多重解像度における周波数特性の変更が容易なエッジ強調処理の例について説明する。

[0152] 第 3の実施の形態の画像処理装置の構成は、第 1の実施の形態と同様であるので、その説明を省略する。図 12は、多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。変更の要点は、ノイズ除去で行っていた逐次処理のフィードバック 'ルーチンが不要となり、ノイズ成分抽出処理がエッジ成分抽出処理に置き換わるだけである。エッジ成分抽出処理は例えば、各サブバンド面のアンシャープ 'マスク処理やバンドパス.フィルタリング処理等によって行う。

[0153] これらの処理は、第 1の実施の形態や第 2の実施の形態のノイズ成分を抽出するために変換した多重解像度画像を用いて同時に行ってもょ、し、第 1の実施の形態や第 2の実施の形態のようなノイズ除去処理が済んだ画像に対して改めて処理を行なつてもよい。また、エッジ強調だけの目的ならば単独で用いてもよい。ただし、基本的には輝度面に対してだけ行なう。

[0154] 本実施の形態では、説明の簡略ィ匕のためエッジ強調を単独で行う場合の説明をする力高画質ィ匕の観点からは、本来ノイズ除去とエッジ強調を同時に行い、エッジ抽出成分にノイズ成分が含まれないように第 1の実施の形態や第 2の実施の形態でノィズフリーになるまで仮想的に強力にノイズ除去されたサブバンド面力エッジ成分を抽出して統合し、実際のノイズ除去が済んだ画像に加算処理を行うのが良い。従つて、例えば、第 2の実施の形態に追加した場合を例に取ると、図 10の右側の再構築処理では、 1)仮想的ノイズ除去のためのノイズ成分統合、 2)実際のノイズ除去のためのノイズ成分統合、 3)実際のエッジ強調のためのエッジ成分統合の 3系統の処理が走ることになる。

[0155] こうして、多重解像度変換を用いたノイズ除去処理にぉ、て、ノイズ成分の周波数特性や強度が容易に変更できてノイズ除去効果の見栄えの変化を容易に確認できたのと同様に、多重解像度変換を用いたエッジ強調処理において、エッジ成分の周波数特性や強度が高い自由度で容易に変更できてエッジ強調効果の見栄えの変化を容易に確認することが可能なシステムを提供することが可能となる。

[0156] 抽出したエッジ成分について、低周波サブバンド (LL)と高周波サブバンド (LH,HL, HH)の間の重みを変えてエッジ成分の周波数特性を変える。図 13は、低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH)の加重係数を示す図である。ただし、 LH,H L間で同じ klを用いなくてもよい。ここで言う低周波サブバンドは低周波エッジ成分画像、高周波サブバンドは高周波エッジ成分画像である。

[0157] このように、エッジ成分の周波数帯域間で重みが変調された低周波エッジ成分画像と高周波エッジ成分画像は、逆ウェーブレット変換に使用される。逆ウェーブレット変換は、図 12に示す通り、各解像度において重みが変調された低周波エッジ成分画像と高周波エッジ成分画像を使用しながら、原画像と同じ解像度を持つ 1つのエツジ成分画像になるまで逐次、逆ウェーブレット変換 (統合)を繰り返す。そして、最終的に統合されたエッジ成分に基づ、て、原画像のエッジ強調を行う。

[0158] 第 1の実施の形態や第 2の実施の形態と同様に、多重解像度変換画像の高周波サブバンドおよび低周波サブバンドの両方力エッジ抽出を行、、サブバンド間の加重係数を導入して統合するので、エッジ成分の周波数帯域の間隙がなぐかつ、周波数特性を容易に変更でき、エッジ強調の見栄えを簡易に変更できる環境も提供できる。

[0159] なお、本実施の形態では、実空間の画像信号 SO(LLO)に対して所定のエッジ成分抽出処理を行う例を示した（図 10)。しかし、実空間の画像信号 SO(LLO)に対する処理は非常に重たい処理となる。一方、本実施の形態では、画像信号 S1(LL1,LH1,HL Ι,ΗΗΙ)以下の解像度における処理だけでも十分に高精細なエッジ強調処理が可能となる。従って、実空間の画像信号 S0(LL0)に対する所定のエッジ成分抽出処理を省いてもよい。図 18は、図 12から実空間の画像信号 S0(LL0)に対する所定のエッジ成分抽出処理を省いた多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。これにより、処理を軽くしながら効果的なエッジ強調処理が可能となる。

[0160] (変形例）

なお、上記第 1の実施の形態力第 3の実施の形態では、多重解像度変換としてゥエーブレット変換の例を示した。多重解像度変換としてウェーブレット変換の代わりに、ラプラシアン'ピラミッドを用いてもよい。ウェーブレット変換の低周波サブバンド (LL) には、ラプラシアン'ピラミッドを生成する途中で生成されるガウシアン 'ピラミッドの各々が対応し、ウェーブレット変換の高周波サブバンド（LH,HL,HH)にはラプラシアン' ピラミッドの各々が対応する。注意すべき点は、ウェーブレット変換では低周波サブバンドとそれに対応する高周波サブバンドが同じ解像度であったところが、ラプラシアン 'ピラミッドでは、低周波サブバンドのガウシアン 'バンドに対して、それに対応する高周波サブバンドのラプラシアンバンドの解像度がガウシアン 'バンドに対して 1つ高い解像度を持ってヽる点のみ異なってヽることである。

[0161] ラプラシアン ·ピラミッドに関しては、文献「P. H. Burt and E. H. Adelson, "The Lapl acian Pyramid as a Compact Image Code," IEEE Transactions on Communications, Vol.31, No.4, pp.532- 540, 1983.」を参照。

[0162] また、多重解像度変換としてラプラシアン'ピラミッド表現の代わりにステアラブル 'ピラミツド (ステアラブルウェーブレット変換、方向ウェーブレット変換)表現を用いてもよい。ステアラブル 'ピラミッドにおいても低周波サブバンドはラプラシアン'ピラミッドのガウシアン 'バンドがそのまま対応し、高周波サブバンドにはラプラシアン'ピラミッドでは等方的ハイノス成分が一種類のみラプラシアン.バンドとして生成されていたもの力複数方向の異方的ハイパス成分によるラプラシアン'バンドが複数個存在して対応することになるだけである。

[0163] ステアラブル 'フィルタについては、文献「W. T. Freeman and E. H. Adelson, "The

Design and Use of Steerable Filters." IEEE Transactions on Pattern and Macnine Int elligence, Vol.13, No.9, pp.891- 906, Septempber 1991.」を参照。

[0164] 図 14は、直交ウェーブレット変換、ラプラシアン'ピラミッド、ステアラブル.ピラミッドの各種多重解像度表現における、低周波サブバンドと高周波サブバンドの対応関係の模式図を示す図である。

[0165] 上記第 1の実施の形態では、輝度成分および色差成分ともに、「Analy_Si_S逐次」方式によるノイズ除去の例を説明し、上記第 2の実施の形態では、輝度成分および色差成分ともに、「Synthesis逐次」方式によるノイズ除去の例を説明した。しかし、輝度成分に対しては「Analysis逐次」を、色差成分に対しては Synthesis逐次」を用いたノィズ除去を行うようにしてもよい。また、輝度成分に対しては「Synthesis逐次」を、色差成分に対しては「Analysis逐次」を用いたノイズ除去を行うようにしてもよ!、。

[0166] 上記第 1の実施の形態では、ウェーブレット変換した各帯域において、各帯域制限画像に基づヽて仮想的にノイズ除去処理を行ヽ、仮想的にノイズ除去処理を行った帯域制限画像に基づいてノイズ成分を抽出し、抽出したノイズ成分を逆ウェーブレツト変換により統合し、統合したノイズ成分を実空間の画像力減算することにより実際のノイズ除去画像を生成していた。しかし、各帯域において、各帯域制限画像に基づいて仮想的にノイズ除去処理を行い、仮想的にノイズ除去処理を行った帯域制限画像に基づヽてノイズ成分を抽出し、抽出したノイズ成分を使用して実際のノイズ除去処理画像を生成し、生成したノイズ除去画像を逆ウェーブレット変換により統合し、統合したノイズ除去画像を実際のノイズ除去画像として出力するようにしてもょヽ。

[0167] 図 20は、このような輝度成分 (輝度信号)のノイズ除去処理の流れ図を示す図である。図 20は、第 1の実施の形態の図 3と対応する。 1/2解像度における例で説明をすると、処理 (1-5)でノイズ成分を抽出するところまでは、第 1の実施の形態と同様である。その後、処理 (1-8)により、画像信号 S1(LL1,LH1,HL1,HH1)の各々に対して、抽出したノイズ成分 nlに帯域間ウェイト kO: 1:1:1が加えられたノイズ成分 nl 'を減算して実際のノイズ除去画像信号 S '(LLl",LH ',HLr,HHr)を生成する。このとき、抽出したノイズ成分 nl'には、画像全体のノイズ除去の程度が可変設定できるようにノイズ除去率という加重係数パラメータえを掛けてから、ノイズ除去を実行する。この加重係数ノラメータえは、第 1の実施の形態の最終的な実空間でのノイズ除去処理で使用した加重係数パラメータ λと同様なものである。

[0168] また、下層の解像度力も統合されてきた S2'"(LL1)に係数 β (2)が乗算されているので、処理 (1-9)では、 LL1"に係数 (1- 18 (2》を乗算する。そして、処理 (1-10)において次の演算を行う。

Sl"((l- β (2)) X LLl",LHl",HLl",HHl") + S2"^/( β (2) X LL1)

そして、処理 (1-10)の結果に対して逆ウェーブレット変換を行い、一段上層の解像度の信号、この場合実空間解像度の S1'"(LL0)を生成する。このような処理を、最下層の解像度から順次行い、最終的に実空間解像度レベルまで実際にノイズ除去済帯域制限画像がすべて統合されたノイズ除去画像 S0NRを出力する。

[0169] このように、最初に説明したようにウェーブレット変換した各帯域において抽出したノィズ成分を逆ウェーブレット変換により統合し、統合したノイズ成分を実空間の画像から減算することにより実際のノイズ除去画像を生成しても、ここで説明したように各帯域にぉヽて実際のノイズ除去処理画像を生成し、生成したノイズ除去画像を逆ゥエーブレット変換により統合して実際のノイズ除去画像を生成するようにしても同様な結果のものが得られる。

[0170] なお、上記では第 1の実施の形態の変形例で説明したが、第 2の実施の形態や第 3の実施の形態においても、同様な変形を行うことができる。

[0171] 上記実施の形態では、パーソナルコンピュータ 1で処理を行う例を示した力必ずしもこの内容に限定する必要はない。カメラなどの撮像装置の中で処理を行う場合であつてもよい。また、他の装置であってもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。

[0172] 上記実施の形態、例えば Synthesis逐次では、 2系統のノイズ成分統合を行う過程で仮想ノイズ除去と実ノイズ除去の 2種類のノイズ除去概念導入の説明を行ったが、必ずしもこれに限るものではない。例えば、従来技術の特許文献 5や 9に示されているように、ノイズ除去されたサブバンド画像を統合して再構築して行く方式では、 2種類のノイズ除去されたサブバンド画像を用意して 2系統で統合して行けばよい。

[0173] 上記実施の形態では、ノイズ除去処理の例として、改良型 Bilateral Filterと Laplacia nノイズ抽出法の例を示した力他の種類のノイズ除去フィルタであってもよ、。

[0174] 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。日本国特許出願 2006年第 096986号（2006年 3月 31日出願）

Claims

請求の範囲

[1] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記入力した原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成する多重解像度画像生成手順と、

前記帯域制限画像の各々に対し仮想的なノイズ除去処理を行なう第 1のノイズ除去手順と、

前記第 1のノイズ除去手順で仮想的にノイズが除去された各帯域制限画像に基づいて、各帯域制限画像に対し実際のノイズ除去処理を行なう第 2のノイズ除去手順と前記第 2のノイズ除去手順で実際にノイズが除去された各帯域制限画像に基づいて、前記原画像カゝらノイズが除去された画像を得る画像取得手順とを有し、

前記第 1のノイズ除去手順の仮想的なノイズ除去処理と前記第 2のノイズ除去手順の実際のノイズ除去処理を、帯域制限画像の周波数帯域に応じて異ならせる画像処理方法。

[2] 請求項 1に記載の画像処理方法において、

前記第 1のノイズ除去手順の仮想的なノイズ除去処理は、前記第 2のノイズ除去手順の実際のノイズ除去処理に比べて強いノイズ除去を行なう画像処理方法。

[3] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記帯域制限画像の各々に含まれるノイズ成分を抽出する第 1のノイズ抽出手順と前記第 1のノイズ抽出手順で抽出された各帯域制限画像のノイズ成分に基づいて、各帯域制限画像から原画像に反映させるノイズ成分を再抽出する第 2のノイズ抽出手順と、

前記第 2のノイズ抽出手順で再抽出された各帯域制限画像のノイズ成分を統合するノイズ統合手順と、

前記統合されたノイズ成分に基づヽて、原画像カゝらノイズが除去された画像を得る画像取得手順とを有する画像処理方法。

[4] 請求項 3に記載の画像処理方法において、

前記第 2のノイズ抽出手順は、各帯域制限画像が属する周波数帯域に応じた再抽出を行なう画像処理方法。

[5] 請求項 4に記載の画像処理方法において、

前記多重解像度画像生成手順は、逐次的に低い解像度を持つ低周波画像と高周波画像を生成し、

前記第 2のノイズ抽出手順は、前記第 1のノイズ抽出手順で抽出されたノイズ成分を前記低周波画像と高周波画像の間で重みづけを行なうことによって、前記原画像に反映させるノイズ成分の再抽出を行なう画像処理方法。

[6] 請求項 4に記載の画像処理方法において、

前記第 2のノイズ抽出手順は、前記第 1のノイズ抽出手順で抽出されたノイズ成分を異なる解像度を持つ帯域制限画像の間で重みづけを行なうことによって、原画像に反映させるノイズ成分の再抽出を行なう画像処理方法。

[7] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記 1つの帯域制限画像に含まれるノイズ成分を抽出し、抽出したノイズ成分に基づいて更に他の帯域制限画像に含まれるノイズ成分を逐次的に抽出するノイズ抽出手順と、

前記抽出された各帯域制限画像のノイズ成分に基づいて原画像に含まれるノイズを除去するノイズ除去手順とを有し、

前記ノイズ抽出手順で得られた 1つの帯域制限画像のノイズ成分を、前記ノイズ抽出手順で他の帯域制限画像に反映させるときの信号強度と、前記ノイズ除去手順で原画像に反映させるときの信号強度とを異ならせる画像処理方法。 [8] 請求項 7に記載の画像処理方法において、

前記ノイズ抽出手順は、前記 1つの帯域制限画像に含まれるノイズ成分を抽出し、該ノイズ成分に基づいて更に解像度の異なる他の帯域制限画像に含まれるノイズ成分を逐次的に抽出する画像処理方法。

[9] 請求項 7に記載の画像処理方法において、

前記多重解像度画像生成手順は、逐次的に低い解像度を持つ低周波画像と高周波画像を生成する画像処理方法。

[10] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記入力した原画像をフィルタリングして、少なくとも 2種類の帯域制限画像のセットを生成し、更に前記帯域制限画像の少なくとも 1種類の帯域制限画像に対しフィルタリングを繰り返すことによって、複数の解像度に渡って少なくとも 2種類の帯域制限画像のセットを逐次的に生成する多重解像度画像生成手順と、

前記少なくとも 2種類の帯域制限画像に含まれるノイズ成分を抽出し、前記抽出したノイズ成分に基づいて更に別の解像度における少なくとも 1種類の帯域制限画像に含まれるノイズ成分を抽出する処理を逐次的に行って、各解像度の各帯域制限画像に含まれるノイズ成分を抽出するノイズ抽出手順と、

前記抽出された各帯域制限画像のノイズ成分に基づいて、原画像に含まれるノィズを除去するノイズ除去手順とを有し、

前記ノイズ抽出手順で得られた少なくとも 2種類の帯域制限画像のノイズ成分のセットを、前記ノイズ抽出手順で他の帯域制限画像に反映させるときの帯域間信号強度と、前記ノイズ除去手順で原画像に反映させるときの帯域間信号強度を異ならせる画像処理方法。

[11] 請求項 7に記載の画像処理方法において、

前記多重解像度画像生成手順は、少なくとも 2種類の帯域制限画像のセットとして、低周波画像と高周波画像の 2種類の画像を生成する画像処理方法。

[12] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、前記入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順と、

前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出し、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成し、前記生成した低周波ノイズ画像と高周波ノイズ画像の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調するノイズ変調手順と

前記変調の施された低周波ノイズ画像と高周波ノイズ画像を合成して次に高い解像度を持つ 1つのノイズ画像に統合し、前記原画像と同じ解像度を持つ 1つのノイズ画像信号になるまで逐次的に統合を繰り返すノイズ統合手順と、

前記統合されたノイズ画像信号に基づヽて、前記原画像に含まれるノイズを除去するノイズ除去手順とを有する画像処理方法。

画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順と、

前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出し、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、前記生成した低周波ノイズ画像と高周波ノイズ画像の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調するノイズ変調手順と、

前記変調の施された低周波ノイズ画像と高周波ノイズ画像を合成して次に高い解像度を持つ 1つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、 1つの新たな低周波ノイズ画像に統合するノイズ統合手順と、

前記ノイズ抽出手順と、前記ノイズ変調手順と、前記ノイズ統合手順とを、前記原画像と同じ解像度を持つ 1つのノイズ画像信号になるまで逐次的に統合を繰り返すノィズ統合繰り返し手順と、前記統合されたノイズ画像信号に基づヽて、原画像に含まれるノイズを除去するノィズ除去手順とを有する画像処理方法。

[14] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、前記生成した低周波ノイズ画像と高周波ノイズ画像の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調するノイズ変調手順と、

前記変調の施された低周波ノイズ画像と高周波ノイズ画像を合成して次に高い解像度を持つ 1つのノイズ画像に統合するノイズ統合手順と、

前記統合されたノイズ画像に基づヽて、前記原画像に含まれるノイズを除去するノィズ除去手順とを有する画像処理方法。

[15] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記変調の施された低周波ノイズ画像と高周波ノイズ画像を合成して次に高い解像度を持つ 1つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、 1つの新たな低周波ノイズ画像に統合するノイズ統合手順と、前記統合されたノイズ画像信号に基づヽて、原画像に含まれるノイズを除去するノィズ除去手順とを有する画像処理方法。

[16] 請求項 12から 15のいずれかに記載の画像処理方法において、

前記ノイズ抽出手順は、前記低周波画像と高周波画像の各々の局所的な信号値の観察に基づいて、各々に対応した低周波ノイズ画像と高周波ノイズ画像を生成する画像処理方法。

[17] 画像に対してエッジ強調を行う画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記低周波画像と高周波画像の各々にバンドパスフィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分画像と高周波エッジ成分画像を生成するエッジ成分生成手順と、

前記生成した低周波エッジ成分画像と高周波エッジ成分画像の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調するエッジ成分変調手順と

前記変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ 1つのエッジ成分画像に統合し、原画像と同じ解像度を持つ 1 つのエッジ成分画像になるまで逐次的に統合を繰り返すエッジ成分統合手順と、前記統合されたエッジ成分画像に基づ!、て、原画像のエッジ強調を行うエッジ強調手順とを有する画像処理方法。

[18] 画像に対してエッジ強調を行う画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記変調の施された低周波エッジ成分画像と高周波エッジ成分画像を合成して次に高い解像度を持つ 1つのエッジ成分画像に統合するエッジ成分統合手順と、前記統合されたエッジ成分画像に基づ!、て、原画像のエッジ強調を行うエッジ強調手順とを有する画像処理方法。

[19] 請求項 5、 9、 11から 18のいずれかに記載の画像処理方法において、

前記低周波画像と高周波画像は、

1)直交ウエーブレット変換における低周波成分と高周波成分、

2)ラプラシアン'ピラミッド表現におけるガウシアン成分とラプラシアン成分、

3)方向ウエーブレット変換における低周波成分と各方向毎の高周波成分、の何れかに対応する画像処理方法。

[20] 請求項 19に記載の画像処理方法において、

2次元直交ウェーブレット変換を行って多重解像度画像を生成する場合、前記低周波画像は LLサブバンドに、前記高周波画像は LH、 HL、 HHサブバンドに各々対応する画像処理方法。

[21] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力し、

前記入力した原画像を、多重解像度変換により解像度の異なる画像を逐次生成しある解像度にぉヽて、前記生成した画像を使用してノイズ成分を抽出し、前記ある解像度にぉヽて抽出したノイズ成分を、他の解像度におけるノイズ成分の抽出のために使用するとともに、前記原画像から除去するノイズ成分を逆多重解像度変換により合成するために使用し、

前記ある解像度において抽出したノイズ成分を他の解像度におけるノイズ成分の抽出のために使用するときと、前記原画像力除去するノイズ成分を逆多重解像度変換により合成するために使用するときとで、重み付けを異ならせる画像処理方法。

[22] 請求項 1から 21の L、ずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラム。

[23] 請求項 22に記載の画像処理プログラムを搭載する画像処理装置。