WO2007116543A1

WO2007116543A1 - 画像処理方法

Info

Publication number: WO2007116543A1
Application number: PCT/JP2006/319145
Authority: WO
Inventors: Kenichi Ishiga
Original assignee: Nikon Corporation
Priority date: 2006-03-31
Filing date: 2006-09-27
Publication date: 2007-10-18
Also published as: EP2003612A9; US20090040386A1; US8244034B2; EP2003612A4; EP2003612A2

Abstract

　画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々に対してノイズ除去処理を行うノイズ除去処理手順と、ノイズ除去された低周波画像とノイズ除去された高周波画像の双方の結果に基づいて、原画像からノイズが除去された画像を得る画像取得手順とを有する。

Description

明細書

画像処理方法

技術分野

[0001] 本発明は、画像に含まれるノイズを除去する画像処理方法に関する。

背景技術

[0002] 通常、画像に含まれるノイズ信号は高周波成分に含むと考えられ、原画像を低周波成分と高周波成分に分けて、高周波成分の値を士閾値内の範囲はゼロに落とす、いわゆるコアリングと呼ばれる技術が特許文献 1によって示されている。また、それを多重解像度のウェーブレット変換やラプラシアン'ピラミッド表現への応用に発展させた技術が、非特許文献 1〜4、特許文献 2、 3に示されている。

[0003] 非特許文献 1〜3は、ウェーブレット変換係数のハイパス成分を閾値処理ないしは非線形閾値処理によりコアリングする、いわゆるウェーブレット縮退と呼ばれる技術に相当する。特許文献 2、 3は、ラプラシアン'ピラミッド表現されたハイパス成分 (ガウシアンとラプラシアンに分解された中のラプラシアン成分）に対して、閾値近辺をなだらかに扱う非線形閾値処理によるコアリング技術が開示されている。

[0004] 非特許文献 4は、通常の直交ウェーブレット変換よりも幅広い方向特性や回転不変性に対応したステアラブル 'ウェーブレット変換係数のハイパス成分に対して非線形閾値処理を行っている。また、このようなコアリングをアナログ回路で、トランジスタの応答帯域に制約がある中で複数のバンドパス帯域への分割をうまくこなしながら実現する方法を特許文献 4は開示して、る。

[0005] 他方、このような多重解像度変換されたハイパス ·サブバンドに含まれるノイズを、サブバンド係数自身の係数のみによって決めるのではなぐ周辺画素のサブバンド係数との関係を見ながら除去していく方法が、特許文献 5〜9に示されている。

[0006] 特許文献 5では、ステアラブル 'ウェーブレット変換された高周波サブバンドの係数を空間フィルタリングしてノイズ除去した後に、逆変換してノイズ除去画像を得る方法が開示されている。特許文献 6では、ラプラシアン'ピラミッド表現された高周波サブバンドに対してオーダー ·スタティスティックス ·フィルタを掛ける方法が開示されて!ヽる。

[0007] また、特許文献 7では、ラプラシアンピラミッド表現の高周波サブバンド係数に含まれるノイズ信号を、周辺画素との状況を見た局所統計値とサブバンド内で共通の大局統計値に基づいて抽出して減衰させることによってノイズ除去する方法が開示されている。特許文献 8では、 LL成分を順次直交ウェーブレット変換して多重解像度分割されたサブバンドの内、低周波サブバンド LLを除く高周波サブバンドの LH,HL,HHに含まれるノイズ信号を抽出して、それらのノイズ信号を逆ウェーブレット変換して統合する処理が開示されて!ヽる。

[0008] これらとは対照的に、多重解像度変換の途中で一時的に生成される縮小画像、すなわち直交ウェーブレット変換の場合は低周波サブバンド LL成分に対して逐次的にノイズ除去を行う方法が特許文献 9、 10に開示されている。

[0009] 一方、上述のような通常の一般画像を扱う問題とは全く異なる、特定の分布構造のみを扱うガンマ線画像の分野では、一段階の解像度変換を直交ウェーブレット変換を用いて行って、 LL,LH,HL,HHの中でノイズ成分をあまり含まないドミナント 'サブバンドを選択して、それら対してはノイズ除去処理を行い、非ドミナント 'サブバンドは完全にゼロに落とすコアリングを適用して再統合する手法が特許文献 11に開示されている。

[0010] これらのノイズ除去フィルタを用いる系統の概念とは異なる方法として、原画像をラブラシアン'ピラミッドの多重解像度サブバンド画像に分解をして、再統合する際にサブバンドに対して重みを掛けて原画像と異なる周波数特性を持った画像に変換すること〖こよって、ノイズ除去効果を得ようとする試みも非特許文献 5に開示されている。

[0011] ただし、上述した直交ウェーブレット変換とは、 2次元フィルタを一次元分離型フィルタとして直交する 2方向のフィルタリングに表現できる変換を指し、双直交ウェーブレツト変換を含む意味で用いて、る。以下で用いるときもその意味にぉ、て使う。

[0012] また、カラー画像に含まれるノイズを実空間面のままの単チャンネルで処理する従来技術はこれまでに種々提案されてきて、る。通常は輝度面と色差面に分離して扱う。例えば、特許文献 12では、輝度成分に対しては方向性を考慮した適応的平滑ィ匕を、色差成分に対しては等方的平滑ィ匕を行って、輝度成分と色差成分の間で処理を変える開示がある。このように処理の切り分けを必要とするような単純なフィルタを用いるのではなぐ高精細な適応的ノイズ除去フィルタ、例えば edge-preserving filterの代表例の 1つである Bilateral Filterを用いる場合の開示が非特許文献 6にあり、その中では Lab空間の各面に対して適応的フィルタを同じように掛ける開示がなされている。

[0013] 一方、多重解像度表現のような多チャンネルの周波数バンドを用いてノイズ除去を行う場合のカラー画像への応用方法に関する深くまで踏み込んだ研究はほとんどなされて、な、のが事実である。これは多重解像度表現を利用したノイズ除去技術が、主にモノクロ画像を扱う X線撮影や MRI等における医療分野を中心に発展してきたことが理由として挙げられる。そのような状況の中で、多重解像度表現を用いたノイズ除去をデジタルカラー画像に対して応用した従来技術として前述した特許文献 9がある。しかし、これは、 σフィルタによる同じノイズ除去アルゴリズムを、 LCC輝度'色差表現の各面に適用する例を示しているにすぎない。 σフィルタの閾値の設定は輝度成分と色差成分の間で変えてはヽるものの、多重解像度を利用したノイズ除去アルゴリズム自体は同じままである。

[0014] 特許文献 1：米国特許第 4,523,230号明細書

特許文献 2：米国特許第 5,467,404号明細書

特許文献 3 :米国特許第 5,805,721号明細書

特許文献 4 :米国特許第 6,728,381号明細書

特許文献 5：米国特許第 5,526,446号明細書

特許文献 6：米国特許第 5,708,693号明細書

特許文献 7：米国特許第 5,461 ,655号明細書

特許文献 8：米国特許第 6,754,398号明細書

特許文献 9：米国特許第 6,937,772号明細書

特許文献 10：特開 2000-224421号公報

特許文献 11：米国特許第 5,576,548号明細書

特許文献 12：米国特許第 6,618,503号明細書

非特許文献 1 :J. B. Weaver, X. Yansun, D. M. Healy, Jr. and L. D. Cromwell, "Filter ing Noise from Images with Wavelet Transforms", MagneticResonance in Medicine, v ol. 21, no. 2, pp. 288—295， 1991.

非特言午文献 2 : R. A. DeVor and B. J. Lucier, "Fast wavelet techniques fornear- optim al image processing", IEEE Military Communications Conf. Rec.San Diego, Oct. 11 -14, 1992, vol.3, pp.1129- 1135.

非特言午文献 3 : D. L. Donoho, "De- noising by soft-thresholding， IEEE.TransInform. Theory, Vol.41, pp. 613—627， 1995.

特言午文献 4 : A. F. Laine and C. Chang, "De— Noising via Wavelet TransformsUsing Steerable Filters， IEEE International Symposium on Circuits andSystems,Vol.3, 19 95， pp， 1956-1959.

特言午文献 5 : S. Ranganath, "Image Filtering Using MultiresolutionRepresentations" ， IEEE transactions on Pattern and Macnine Intelligence, Vol.13 , No.5, May 1991， p p.426-440.

非特言午文献 6 : C. Tomasi et al" "Bilateral Filtering for Gray and Colorlmages, Proc eedings of the 1998 IEEE international Conference on ComputerVision, Bombay, Indi a.

発明の開示

発明が解決しょうとする課題

[0015] このような状況の中、従来の多重解像度変換された高周波サブバンドをノイズ除去する方式を実際のデジタル画像に適用した場合、突出点状のノイズや筋状構造のノィズが残留する問題があった。

[0016] 一方、従来の低周波サブバンドを逐次的にノイズ除去する方式を適用した場合には、画像がのつぺりと平面的になりやすいという問題があるとともに、突出点状のノィズが残留するという問題もあった。また、比較的ノイズ成分を分離しやすいガンマ線画像は、基本的にエッジとノイズの分離が難しい一般画像と性質が異なるため、単純な適用は難しいという課題があった。更に、原画像を等価表現した多重解像度サブバンド画像を加重統合するだけでは、画像の空間的な局所変化を観察して、な!、ために高精細なノイズ除去効果が得られな、恐れもあった。 [0017] また、カラー画像にぉ、て、多チャンネルの周波数バンドで表された画像に対して、輝度成分と色差成分に同じノイズ除去アルゴリズムを適用しただけでは、今日扱うデジタル写真画像に於ヽては十分に満足の行く高精細な画質を得るのが難ヽとヽう問題が生じ始めていた。例えば、特許文献 2に記載されるような方法では、輝度成分が階調性を失って平面的な画像になりやすいという問題を抱える一方、色差成分には色境界部等で突出点状のノイズが残りやすいといった問題を抱える。

課題を解決するための手段

[0018] 本発明の第 1の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々に対してノイズ除去処理を行うノイズ除去処理手順と、ノイズ除去された低周波画像とノイズ除去された高周波画像の双方の結果に基づ!、て、原画像からノイズが除去された画像を得る画像取得手順とを有する。

本発明の第 2の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順とを有し、多重解像度画像生成手順は、高周波画像に対してノイズ除去処理を行ってノイズ除去された高周波画像を得、ノイズ除去された高周波画像に基づヽて、次に高い解像度の高周波画像と対をなす低周波画像を得、次に高い解像度の高周波画像と対をなす低周波画像に対して、更にノイズ除去処理を行ってノイズ除去された低周波画像を得、ノイズ除去された低周波画像とノイズ除去された高周波画像の双方の結果に基づヽて、原画像からノイズが除去された画像を得る画像取得手順をさらに有する。

本発明の第 3の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順を有し、多重解像度画像生成手順は、低周波画像に対してノイズ除去処理を行ってノイズ除去された低周波画像を得、ノイズ除去された低周波画像に基づ、て、次に低!ヽ解像度の低周波画像と対をなす高周波画像を得、次に低!ヽ解像度の低周波画像と対をなす高周波画像に対して更にノイズ除去処理を行ってノイズ除去された高周波画像を得、ノイズ除去された低周波画像とノイズ除去された高周波画像の双方の結果に基づヽて、原画像カゝらノイズが除去された画像を得る画像取得手順をさらに有する。

本発明の第 4の態様によると、第 1〜3のいずれかの態様の画像処理方法において、画像取得手順は、原画像と同じ解像度を持つ実空間におけるノイズ除去処理を行い、実空間におけるノイズ除去の結果を低周波画像のノイズ除去の結果と同様に扱 V、、原画像力もノイズが除去された画像の画像データを得るのが好ま、。

本発明の第 5の態様によると、多重解像度表現された画像を生成する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順を有し、多重解像度画像生成手順は、高周波画像に対してノイズ除去処理を行ってノイズ除去された高周波画像を得、ノイズ除去された高周波画像に基づいて、次に高い解像度の高周波画像と対をなす低周波画像を得、次に高い解像度の高周波画像と対をなす低周波画像に対して更にノイズ除去処理を行ってノイズ除去された低周波画像を得る。

本発明の第 6の態様によると、多重解像度表現された画像を生成する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順を有し、多重解像度画像生成手順は、 a)

低周波画像の画像データに対してノイズ除去処理を行ってノイズ除去された低周波画像の画像データを得、 b)低周波画像と対をなす高周波画像の画像データに対してノイズ除去処理を行ってノイズ除去された高周波画像の画像データを得、 c) ノイズ除去された低周波画像の画像データとノイズ除去された高周波画像の画像データの双方の結果に基づいて、次に高い解像度の低周波画像の画像データを得、 d )次に高い解像度の低周波画像が原画像と同等以下の解像度になるまで、解像度の最も低、方から高、方へ向力つて順に、 a)力 c)の処理を繰り返す。

本発明の第 7の態様によると、多重解像度表現された画像を生成する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順を有し、多重解像度画像生成手順は、 a)高周波画像の画像データに対してノイズ除去処理を行ってノイズ除去された高周波画像の画像データを得、 b)ノィズ除去された高周波画像の画像データに基づいて、次に高い解像度の高周波画像と対をなす低周波画像の画像データを得、 c)次に高、解像度の高周波画像と対をなす低周波画像の画像データに対してノイズ除去処理を行ってノイズ除去された低周波画像の画像データを得、 d)ノイズ除去された低周波画像が原画像と同等以下の解像度になるまで、解像度の低い方から高い方へ向かって順に、 a)力 c)の処理を繰り返す。

本発明の第 8の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高ヽ解像度の低周波画像と同じ解像度を持つ 1つのノイズ画像に統合するとともに、次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、更に 1つのノィズ画像に統合するノイズ統合手順と、統合されたノイズ画像に基づいて、原画像に含まれるノイズを除去するノイズ除去手順とを有する。本発明の第 9の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高ヽ解像度の低周波画像と同じ解像度を持つ 1つのノイズ画像に統合するとともに、次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、 1つの新たな低周波ノイズ画像に統合するノイズ統合手順と、ノイズ統合手順で生成された新たな低周波ノイズ画像を、ノイズ統合手順の低周波ノイズ画像として代入し、最終的に生成される新たな低周波ノイズ画像が原画像と同じ解像度を持つ 1つのノイズ画像になるまで、逐次的にノイズ統合手順の統合処理を繰り返すノイズ統合繰り返し手順と、ノィズ統合手順とノイズ統合繰り返し手順で統合されたノイズ画像に基づヽて、原画像に含まれるノイズを除去するノイズ除去手順とを有する。

本発明の第 10の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順と、入力した原画像を分解して、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々に含まれるノイズ成分を抽出するノイズ抽出手順と、抽出された低周波画像と抽出された高周波画像の双方のノイズ成分に基づいて、原画像の各画素に含まれるノイズ信号を推定するノイズ推定手順とを有する。

本発明の第 11の態様によると、第 10の態様の画像処理方法において、ノイズ推定手順で推定されたノイズ信号に基づヽて、原画像に含まれるノイズを除去するノイズ除去手順を更に有するのが好まし、。

本発明の第 12の態様によると、第 1〜11のいずれかの態様の画像処理方法において、低周波画像と高周波画像は、 1)直交ウエーブレット変換における低周波成分と高周波成分、 2)ラプラシアン'ピラミッド表現におけるガウシアン成分とラプラシアン成分、 3)方向ウエーブレット変換における低周波成分と各方向毎の高周波成分、の何れかに対応するのが好まし!/、。

本発明の第 13の態様によると、第 12の態様の画像処理方法において、 2次元直交ウェーブレット変換を行って多重解像度画像を生成する場合、低周波画像は LLサブバンドに、高周波画像は LH、 HL、 HHサブバンドに対応するのが好ましい。

本発明の第 14の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力し、入力した原画像を、多重解像度変換を行ない、解像度の異なる低周波画像と高周波画像を逐次生成し、それぞれの解像度において、生成した低周波画像と高周波画像を使用して、低周波画像と高周波画像に対応するノイズ成分を抽出し、それぞれの解像度にぉヽて抽出した低周波画像と高周波画像に対応するノイズ成分を使用して、多重解像度逆変換を行ない、原画像と同じ解像度を持つノイズ成分を生成し、生成した原画像と同じ解像度を持つノイズ成分を使用して、原画像カゝらノイズを除去した画像を生成する。

本発明の第 15の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力し、入力した原画像を、低い解像度を持つ低周波画像と高周波画像に分解し、分解した低！ヽ解像度を持つ低周波画像と高周波画像のノイズ信号を抽出するとともに、分解した低い解像度を持つ低周波画像に対してノィズ除去処理を行い、ノイズ除去処理を行った低い解像度を持つ低周波画像を、さらに低い解像度を持つ低周波画像と高周波画像に分解し、分解したさらに低い解像度を持つ低周波画像と高周波画像のノイズ信号を抽出し、抽出したさらに低い解像度を持つ低周波画像と高周波画像のノイズ信号を使用して、低、解像度を持つ低周波画像に対応するノイズ信号を合成し、合成した低ヽ解像度を持つ低周波画像に対応するノイズ信号と抽出した低い解像度を持つ低周波画像と高周波画像のノイズ信号を使用して、原画像と同じ解像度を持つノイズ信号を合成し、合成した原画像と同じ解像度を持つノイズ信号に基づき、原画像カゝらノイズを除去した画像を得る。

本発明の第 16の態様によると、画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力し、入力した原画像を、低い解像度を持つ低周波画像と高周波画像に分解し、分解した低い解像度を持つ低周波画像を、さらに低い解像度を持つ低周波画像と高周波画像に分解し、分解したさらに低!ヽ解像度を持つ低周波画像と高周波画像のノイズ信号を抽出し、抽出したさらに低い解像度を持つ低周波画像と高周波画像のノイズ信号を使用して、低、解像度を持つ低周波画像に対応するノイズ信号を合成し、合成した低ヽ解像度を持つ低周波画像に対応するノイズ信号と分解した低い解像度を持つ低周波画像を使用して、低い解像度を持つ低周波画像のノイズ信号を抽出するとともに、分解した低い解像度を持つ高周波画像のノイズ信号を抽出し、抽出した低ヽ解像度を持つ低周波画像と高周波画像のノィズ信号と、合成した低！ヽ解像度を持つ低周波画像に対応するノイズ信号とを使用して、原画像と同じ解像度を持つノイズ信号を合成し、合成した原画像と同じ解像度を持つノイズ信号に基づき、原画像カゝらノイズを除去した画像を得る。

本発明の第 17の態様によると、輝度成分と色差成分からなる画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる輝度成分の原画像および複数の画素からなる色差成分の原画像の各々を入力する画像入力手順と輝度成分の原画像を分解して、逐次的に低い解像度を持つ 1つ以上の輝度成分の低周波画像と、逐次的に低！ヽ解像度を持つ 1つ以上の輝度成分の高周波画像を生成し、色差成分の原画像を分解して、逐次的に低ヽ解像度を持つ 1つ以上の色差成分の低周波画像と、逐次的に低い解像度を持つ 1つ以上の色差成分の高周波画像を生成する多重解像度画像生成手順と、輝度成分に関しては、少なくとも輝度成分の高周波画像に含まれるノイズを除去した結果に基づヽて、輝度成分の原画像カゝらノイズが除去された輝度成分の画像を得、色差成分に関しては、少なくとも色差成分の低周波画像に含まれるノイズを除去した結果に基づヽて、色差成分の原画像カゝらノイズが除去された色差成分の画像を得るノイズ除去手順とを有する。

本発明の第 18の態様によると、第 17の態様の画像処理方法において、ノイズ除去手順は、更に輝度成分に関しては、輝度成分の低周波画像に含まれるノイズを除去した結果にも基づヽて、輝度成分の原画像からノイズが除去された輝度成分の画像を得、色差成分に関しては、色差成分の高周波画像に含まれるノイズを除去した結果にも基づヽて、色差成分の原画像からノイズが除去された色差成分の画像を得、低周波画像のノイズ除去の程度と高周波画像のノイズ除去の程度を、輝度成分と色差成分の間で異ならせるのが好ま、。

本発明の第 19の態様によると、第 18の態様の画像処理方法において、ノイズ除去手順は、輝度成分の場合は、高周波画像のノイズ除去の程度を低周波画像のノイズ除去の程度よりも強くし、色差成分の場合は、低周波画像のノイズ除去の程度を高周波画像のノイズ除去の程度よりも強ぐあるいは、同程度にするのが好ましい。

本発明の第 20の態様によると、第 18または 19の態様の画像処理方法において、ノィズ除去手順は、更に輝度成分の原画像に対してもノイズ除去処理を行い、輝度成分の原画像に対するノイズ除去処理の結果を輝度成分の低周波画像に含まれるノィズを除去した結果と同様に扱！ヽ、色差成分の原画像に対してもノイズ除去処理を行 V、、色差成分の原画像に対するノイズ除去処理の結果を色差成分の低周波画像に含まれるノイズを除去した結果と同様に扱うのが好ましい。

本発明の第 21の態様によると、輝度成分と色差成分からなる画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる輝度成分の原画像および複数の画素からなる色差成分の原画像の各々を入力する画像入力手順と輝度成分の原画像を分解して、逐次的に低い解像度を持つ 1つ以上の輝度成分の低周波画像と、逐次的に低！ヽ解像度を持つ 1つ以上の輝度成分の高周波画像を生成し、色差成分の原画像を分解して、逐次的に低ヽ解像度を持つ 1つ以上の色差成分の低周波画像と、逐次的に低い解像度を持つ 1つ以上の色差成分の高周波画像を生成する多重解像度画像生成手順と、輝度成分の低周波画像と高周波画像のそれぞれに含まれるノイズ成分を抽出して、各々に対応する輝度成分の低周波ノイズ画像と高周波ノィズ画像を生成し、生成した輝度成分の低周波ノイズ画像と高周波ノイズ画像に対して重みづけ処理を行ヽ、重みづけ処理を行った輝度成分の低周波ノイズ画像と高周波ノイズ画像を使用して逆多重解像度変換し、輝度成分の原画像と同じ解像度のノィズ信号に変換する輝度成分ノイズ信号変換手順と、色差成分の低周波画像と高周波画像のそれぞれに含まれるノイズ成分を抽出して、各々に対応する色差成分の低周波ノイズ画像と高周波ノイズ画像を生成し、生成した色差成分の低周波ノイズ画像と高周波ノイズ画像に対して重みづけ処理を行ヽ、重みづけ処理を行った色差成分の低周波ノイズ画像と高周波ノイズ画像を使用して逆多重解像度変換し、色差成分の原画像と同じ解像度のノイズ信号に変換する色差成分ノイズ信号変換手順とを有し、輝度成分と色差成分の間で異なる重みづけ処理を行う。

本発明の第 22の態様によると、第 21の態様の画像処理方法において、輝度成分ノイズ信号変換手順は、輝度成分の高周波ノイズ画像の重みを低周波ノイズ画像の重みよりも大きく設定し、色差成分ノイズ信号変換手順は、色差成分の低周波ノイズ画像の重みを高周波ノイズ画像の重みよりも大きぐあるいは、同程度に設定するのが好ましい。

本発明の第 23の態様によると、第 21または 22の態様の画像処理方法において、輝度成分ノイズ信号変換手順は、輝度成分の低周波画像と高周波画像の他に、輝度成分の原画像と同じ解像度を持つ実空間画像に含まれるノイズ成分も抽出して輝度成分の実空間ノイズ画像を生成し、生成した実空間ノイズ画像を低周波ノイズ画像と同様の重みづけを行って輝度成分の原画像と同じ解像度のノイズ信号を得、色差成分ノイズ信号変換手順は、色差成分の低周波画像と高周波画像の他に、色差成分の原画像と同じ解像度を持つ実空間画像に含まれるノイズ成分も抽出して色差成分の実空間ノイズ画像を生成し、生成した実空間ノイズ画像を低周波ノイズ画像と同様の重みづけを行って色差成分の原画像と同じ解像度のノイズ信号を得るのが好ましい。

本発明の第 24の態様によると、輝度成分と色差成分からなる画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる輝度成分の原画像および複数の画素からなる色差成分の原画像の各々を入力する画像入力手順と輝度成分の原画像を、複数の周波数帯域画像に変換し、変換した複数の周波数帯域画像で輝度成分のノイズ信号を抽出する輝度成分ノイズ抽出手順と色差成分の原画像を、複数の周波数帯域画像に変換し、変換した複数の周波数帯域画像で色差成分ノイズ信号を抽出する色差成分ノイズ抽出手順と複数の周波数帯域画像で抽出した輝度成分ノイズ信号を合成し、輝度成分の原画像と同じ周波数帯域内で表される 1つの輝度成分ノイズ信号に変換する輝度成分ノイズ合成手順と複数の周波数帯域画像で抽出した色差成分ノイズ信号を合成し、色差成分の原画像と同じ周波数帯域内で表される 1つの色差成分ノイズ信号に変換する色差成分ノイズ合成手順とを有し、輝度成分ノイズ合成手順と色差成分ノイズ合成手順は、異なる合成処理を行うことによって合成された輝度成分ノイズ信号と合成された色差成分ノイズ信号の周波数特性を異ならせる。

本発明の第 25の態様によると、第 24の態様の画像処理方法において、複数の周波数帯域画像は、少なくとも、 1)原画像の周波数帯域を低周波側に帯域制限した低周波画像と、 2)原画像の周波数帯域を高周波側に帯域制限した高周波画像とを含むのが好ましい。

本発明の第 26の態様によると、第 25の態様の画像処理方法において、輝度成分ノイズ合成手順および色差成分ノイズ合成手順は、それぞれ、複数の周波数帯域のノイズ信号の各々に加重係数を掛けて加重合成を行い、輝度成分ノイズ合成手順は、輝度成分の高周波画像カゝら抽出されたノイズ信号の加重係数を低周波画像力ゝら抽出されたノイズ信号の加重係数よりも大きく設定し、色差成分ノイズ合成手順は、色差成分の低周波画像から抽出されたノイズ信号の加重係数を高周波画像から抽出されたノイズ信号の加重係数よりも大きく設定する、あるいは、同程度に設定するのが好ましい。

本発明の第 27の態様によると、輝度成分と色差成分からなる画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる輝度成分の原画像および複数の画素からなる色差成分の原画像の各々を入力する画像入力手順と輝度成分の原画像をフィルタリングして、少なくとも 1つの輝度成分の帯域制限画像を生成する輝度成分帯域制限画像生成手順と、色差成分の原画像をフィルタリングして、少なくとも 1 つの色差成分の帯域制限画像を生成する色差成分帯域制限画像生成手順と、少なくとも 1つの輝度成分の帯域制限画像を用いて、輝度成分のノイズ信号を抽出する輝度成分ノイズ信号抽出手順と、少なくとも 1つの色差成分の帯域制限画像を用いて、色差成分のノイズ信号を抽出する色差成分ノイズ信号抽出手順と、輝度成分のノィズ信号に基づヽて、輝度成分の原画像からノイズ成分を除去する輝度成分ノイズ除去手順と、色差成分のノイズ信号に基づいて、色差成分の原画像からノイズ成分を除去する色差成分ノイズ除去手順とを有し、輝度成分の帯域制限画像と色差成分の帯域制限画像の周波数帯域を異ならせる、あるいは、輝度成分の帯域制限画像と色差成分の帯域制限画像が同一の帯域幅でも通過周波数強度分布を異ならせるようにフィルタリングのフィルタ特性を輝度成分と色差成分の間で変えることにより、抽出される輝度成分のノイズ信号と抽出される色差成分のノイズ信号の周波数特性を異ならせる。

本発明の第 28の態様によると、第 27の態様の画像処理方法において、少なくとも 1 つの輝度成分の帯域制限画像は高周波帯域画像であり、少なくとも 1つの色差成分の帯域制限画像は低周波帯域画像であるのが好ましい。

本発明の第 29の態様によると、第 27の態様の画像処理方法において、少なくとも 1 つの輝度成分の帯域制限画像については高周波通過フィルタを用い、少なくとも 1 つの色差成分の帯域制限画像については低周波通過フィルタを用いることにより、フィルタリングのフィルタ特性を輝度成分と色差成分の間で変えるのが好ましい。

本発明の第 30の態様によると、第 17から 23のいずれかの態様の画像処理方法において、低周波画像と高周波画像は、 1)直交ウェーブレット変換における低周波成分と高周波成分、 2)ラプラシアン'ピラミッド表現におけるガウシアン成分とラプラシァン成分、 3)方向ウエーブレット変換における低周波成分と各方向毎の高周波成分、の何れかに対応するのが好ましい。

本発明の第 31の態様によると、第 30の態様の画像処理方法において、 2次元直交ウェーブレット変換を行って多重解像度画像を生成する場合、低周波画像は LLサブバンドに、高周波画像は LH、 HL、 HHサブバンドに各々対応するのが好ましい。本発明の第 32の態様によると、輝度成分と色差成分からなる画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる輝度成分の原画像および複数の画素からなる色差成分の原画像の各々を入力し、入力した輝度成分の原画像を、多重解像度変換により解像度の異なる輝度成分低周波画像と輝度成分高周波画像を逐次生成し、入力した色差成分の原画像を、多重解像度変換により解像度の異なる色差成分低周波画像と色差成分高周波画像を逐次生成し、生成した輝度成分低周波画像と輝度成分高周波画像を使用して輝度成分の低周波ノイズ成分と輝度成分の高周波ノイズ成分を抽出し、生成した色差成分低周波画像と色差成分高周波画像を使用して色差成分の低周波ノイズ成分と色差成分の高周波ノイズ成分を抽出し、輝度成分の原画像から除去するノイズを合成するとき、輝度成分の低周波ノイズ成分より輝度成分の高周波ノイズ成分を主に使用し、色差成分の原画像から除去するノイズを合成するとき、色差成分の高周波ノイズ成分より色差成分の低周波ノイズ成分を主に使用する。

本発明の第 33の態様によると、コンピュータ読み込み可能なコンピュータプロダラム製品は、第 1から 32のいずれかの態様の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラムを有する。

本発明の第 34の態様によると、画像処理装置は、第 1から 32のいずれかの態様の画像処理方法を実行する制御装置を有する。

発明の効果

[0019] 本発明は、以上説明したように構成しているので、ノイズ抽出に最適な周波数空間でノイズ抽出を行うことが可能となり、抽出しきれない残留ノイズの問題がなくなり、高精細なノイズ除去を可能とする。

図面の簡単な説明

[0020] [図 1]本発明の一実施の形態である画像処理装置を示す図である。

[図 2]パーソナルコンピュータ 1が処理する色空間変換処理の流れを示す図である。

[図 3]第 1の実施の形態における、輝度成分の処理の流れ図を示す図である。

[図 4]第 1の実施の形態における、色差成分の処理の流れ図を示す図である。

[図 5]5段のウェーブレット変換によるサブバンド分割の様子を示す図である。

[図 6]通例用いられる最も単純なラプラシアンフィルタを示す図である。

[図 7]輝度成分のノイズ成分の低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH

)の加重係数を示す図である。

[図 8]色差成分のノイズ成分の低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH )の加重係数を示す図である。

[図 9]強度パラメータ (Intensity) σ th、 rth、周波数特性変更パラメータ (grainness)kO、ノイズ除去の強度に関するパラメータ (sharpness) λの設定画面を示す図である。

[図 10]第 2の実施の形態における、輝度成分の処理の流れ図を示す図である。

[図 11]第 2の実施の形態における、色差成分の処理の流れ図を示す図である。 [図 12]多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。

[図 13]輝度成分のエッジ成分の低周波サブバンド (LL)と高周波サブバンド (LH,HL,H

H)の加重係数を示す図である。

[図 14]各種多重解像度表現における、低周波サブバンドと高周波サブバンドの対応関係の模式図を示す図である。

[図 15]多重解像度表現した高周波サブバンドと低周波サブバンドのカバーする周波数帯域の模式図である。

[図 16]図 3から実空間の画像信号に対する所定のノイズ除去処理を省略した輝度成分の処理の流れ図を示す図である。

[図 17]図 10から実空間の画像信号に対する所定のノイズ除去処理を省略した輝度成分の処理の流れ図を示す図である。

[図 18]図 12から実空間の画像信号に対する所定のエッジ成分抽出処理を省略した多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。

[図 19]パーソナルコンピュータの構成を示す図である。

発明を実施するための最良の形態

[0021] (基本的考え）

まず初めに、実施の形態に述べるアルゴリズムを採る必要性が生じた背景や理由、及びそれに対処する方法の基本的考えについて説明する。

[0022] 多重解像度表現を利用した従来技術は、既に述べたように大きく分けて 2種類に分類される。多重解像度表現法には、直交ウェーブレット変換やラプラシアン'ピラミッド表現、さらにはステアラブル'ウェーブレット変換や DCTピラミッド表現といった各種の表現方法が存在する。しかし、何れも相互対応関係は公知文献等により明らかであるので、簡単のため直交ウェーブレット変換を例にとって説明する。

[0023] 1つ目の種類は、直交ゥヱーブレット変換された高周波側サブバンド (LH,HL,HH)に対してノイズ除去をカ卩えていく方式である。 2つ目の種類は、直交ウェーブレット変換された低周波サブバンド (LL)に対して逐次的にノイズ除去をカ卩えていく方式である。

[0024] カラー画像のノイズ除去は、通常、輝度面と色差面に分けて各々にノイズ除去を行い、輝度面に対するノイズ除去はザラツキノイズを抑制し、色差面に対するノイズ除去は色斑ノイズを抑制する役割を果たす。

[0025] 実験的にこれらの 2種類のアルゴリズムを輝度'色差表現されたカラー画像に対して適用してみた結果、次のようなことが判明した。色差成分に対するノイズ除去は、高周波サブバンドに対してノイズ除去を加えて行く方式よりもむしろ低周波サブバンドに対して逐次的にノイズ除去をカ卩えていく方式のほうが、色斑ノイズ除去効果と色構造保存の両立の観点で好ましいことが判明した。すなわち、色差成分の高周波側サブバンドに対するノイズ除去は、色境界滲みを引き起こしゃすい欠点がある。他方の低周波側サブバンドに対するノイズ除去は色境界滲みを起こしにくい性質がある。

[0026] 一方、輝度成分に対するノイズ除去は、低周波成分に対して逐次的にノイズ除去を加えていく方式よりも高周波サブバンドに対してノイズ除去をカ卩えていく方式のほうが明らかに優れるということが判明した。すなわち、輝度成分の低周波サブバンドに対する逐次的なノイズ除去は、階調性を失い 2値化されたようなぺったりとした画像が出来やす、欠点がある。他方の高周波サブバンドに対するノイズ除去は階調性を失わず、テキスチャ等の画像構造をよく保存する性質がある。

[0027] このような輝度と色差成分の間の特徴の違いは、恐らぐ輝度面と色差面が有する画像構造の周波数的特徴の違、が起因して！/、て、そのノイズ成分を分離するのに最適な周波数空間が異なって、ることから生じて、ると考えられる。

[0028] そこで、輝度成分に対しては従来の高周波サブバンドに対するノイズ除去を行!、、色差成分に対しては従来の低周波サブバンドに対する逐次的なノイズ除去を行う方式を採用した。しかし、その結果、各々のノイズ除去フィルタとして如何に優れた edge -preserving smoothing filterを用いても、輝度成分には平坦部で筋状やチェックパターン状のノイズ成分が残存し、色差成分には突出点状の色ノイズ力とりわけ色境界部付近で多く残存するという問題があるということが判明した。

[0029] 図 15は、多重解像度表現した高周波サブバンドと低周波サブバンドのカバーする周波数帯域の模式図である。図 15を見ながら、上述の問題をまず輝度成分に関して考察してみる。原画像は、最低解像度の低周波サブバンドと各解像度の高周波サブバンドで表現するだけで完全に再構築できるため、高周波サブバンドのみをノイズ除去するだけで全周波数帯域のノイズ成分を表面的にはカバーしているように見える。しかし、異なる解像度の高周波成分に順次に遷移していった場合に、異なる解像度の階層間で重なり合う周波数帯域の強度が小さい部分は、ノイズ成分としては十分に抽出しきれない恐れがあることが大きな原因と考えられる。

[0030] 一方の色差成分に関しても同様に、低周波サブバンドのみをノイズ除去するだけでこちらも全周波数帯域のノイズ成分を表面的にはカバーしているように見える。しかし、突出点状のノイズは、原画像を低周波成分と高周波成分に分解していく中で、主に高周波成分側の信号として認知されるため、高周波成分側に流れたノイズ成分が残存し続けることが要因と考えられる。

[0031] ここで述べた逆のことが、輝度成分と色差成分のノイズを抽出するのに適した周波数空間の違いが生じる要因になっていることが推察できるであろう。すなわち、実験的に得られた知見から、単チャンネルで扱う実空間面や多チャンネルで扱う多重解像度表現における低周波側サブバンドの平滑ィ匕フィルタリング処理は、階調性を失つてフィルタリング範囲内の平均的値に階調を揃える方向に働くという事実が一般的に半 lj明した。

[0032] その事実を踏まえて考えると、輝度成分には画像構造の大部分のエッジ成分が投影され、ノイズ成分も多くは高周波サブバンド側に流入しやすい。そのような状況のなかで低周波サブバンド側で無理にノイズ成分を抽出しようとしてもうまく行かず、階調性を失ってしまう弊害が出やす、。

[0033] 一方の色差成分には、広範囲領域で緩やかな振る舞いをする大局的な色情報を表す画像成分が投影されやすぐ激しく変動する色テキスチャは一般的に少ないと考えられているのが普通である。したがって、ノイズ成分も低周波側で分離しやすいという輝度成分とは逆の対応関係が成り立つ。ただし、ノイズ成分のゆらぎ情報は高周波サブバンドにも流入しやすヽと、う一般的事実と、色テキスチャの多、画像にも対処するためには、高周波サブバンド側でもノイズ成分を分離することも考えなければならない。

[0034] したがって、これらの問題に対処するため、本実施形態では、高周波サブバンドと低周波サブバンドの両方のサブバンドからノイズ成分を抽出することにより、上記ノィズ除去に用いたサブバンドとは共役なサブバンドからノイズの取りこぼし成分を拾!ヽ上げる対策を講じる。この共役なサブバンドは、輝度成分の場合は低周波サブバンドに相当し、色差成分の場合は高周波サブバンドに相当する。

[0035] ところが、上述したように共役なサブバンド成分に対してノイズ除去を行うと画像構造破壊の影響が大き、と、う実験事実があるため、単純な方法では導入できな、。そこで、ノイズ成分の抽出と実際のノイズ除去を切り離して考え、実際のノイズ除去における共役なサブバンドの役割は基本的には補足的に扱うことによって画像構造の破壊を防ぐ。

[0036] すなわち、実際のノイズ除去において、輝度成分は高周波側サブバンドを主要バンドとし低周波側サブバンドを補足バンドと位置づけたノイズ除去を行ヽ、色差成分は低周波側サブバンドを主要バンドとし高周波側サブバンドを補足バンドと位置づけたノイズ除去を行う。ただし、色差成分の場合は、ノイズ除去フィルタが高性能であれば主要バンドと補足バンドの役割の区別は輝度成分ほど強める必要はなぐ同等レベル程度に扱ってもよいというの力実験的に得られた知見である。これは、恐らく先程述べた輝度面と色差面の画像構造の特徴の違いと帯域間のノイズ成分の流入特性を組み合わせた総合的特性の違!、が、輝度面と色差面のそれぞれのノイズ除去に最適な周波数投影空間の存在を示す表れだと思われる。

[0037] し力しながら、補足バンドにおけるノイズ除去の程度を弱、目にすると、先程から述ベて、る残留ノイズ成分を補足バンド自身力うまく抽出しきれな、と、う問題に今度は直面することになる。しかし、このようなサブバンド間の役割分担は実際のノイズ除去におヽて適用すればょヽことであって、本発明におヽてはノイズ抽出とノイズ除去の概念を分離して扱う方式を導入するので、ノイズ抽出のためだけに扱うのであれば、正確なノイズ抽出が可能になるレベルまで仮想的にサブバンド画像をいくら破壊しても構わないという新たな考え方を導入することができる。すなわち、ノイズ抽出のための仮想的なノイズ除去と実際のノイズ除去処理を行うためのノイズ除去という 2種類のノイズ除去の概念を導入する。

[0038] こうして、残留ノイズである輝度の筋状ノイズは低周波画像の中で画像構造と明確に区別して抽出しやすくなる環境が整い、色差の突出点状ノイズは高周波画像の中で画像構造と明確に区別して抽出しやすくなる環境が整ったことになる。 [0039] 仮想的なノイズ除去を利用してさらに正確なノイズ抽出を可能とするために、低周波画像と高周波画像の各々のサブバンド面カゝら独立にノイズ成分を抽出するのではなぐ異なる解像度レベル間で相互に依存させて抽出する方式を採用する。すなわち、本実施の形態では、解像度レベルの異なる上層ないしは下層のサブバンド画像を、仮想的に画像構造を壊してでもノイズフリーになるほど強力にノイズ除去し、さらにその結果を現時点で対象となる解像度レベルのサブバンドに対して反映させ、逐次的に解像度レベルを変えながらノイズ抽出してゆく方式を採用する。

[0040] 逐次的に解像度レベルを変えながらノイズ抽出してゆく方式は、低周波側サブバンドのみについては、従来技術の米国特許第 6,937,772号明細書、ないしは特開 2000- 224421号公報で導入された技術である。しかし、高周波側サブバンドを主体としたノィズ除去や、低周波側と高周波側の両方を用いる新たな状況下で有効に作用させるために、その方法につ!、て以下の実施の形態にぉ、て説明する。

[0041] ここで具体的に逐次的ノイズ除去の効果について述べておくと、高周波バンドと低周波バンドの両成分を用いるとき、主に補足バンドにおけるノイズ抽出能力向上に一役を担う。すなわち、輝度成分の場合は、低周波側の補足バンドに含まれる縦横筋やチェックパターン状のノイズを漏れなく抽出することに役立ち、色差成分の場合は、高周波側の補足バンドに含まれる突出点状のノイズを漏れなく抽出することに役立つ

[0042] 輝度成分にお!、て残留ノイズ成分の特徴が縦横筋やチェックパターン状になるのは、ある意味にぉ、て処理の冗長性 (overcompleteness)の少な、直交ウェーブレット変換を 2次元分離型フィルタとして用いて、ることも間接的に関与して、る。このような特定の方向性をなくす試みとして多重解像度変換に多数の方向に関して高周波バンドを生成して、くステアラブル'ウェーブレットを用いると、つた方法等が存在する。

[0043] しかし、方向性を増やした分だけ処理すべきノイズ除去面が増え、保持すべきメモリも増えるという処理の飛躍的な増大面から見て導入がはば力れる。これに代替する技術として、ある意味で逐次的ノイズ除去が簡略性を維持した有効な解決の糸口を与え、低周波サブバンドと高周波サブバンドを同時に考慮した逐次方式が更にその有効性を高める。 [0044] ただし、本実施の形態で示すその効果は、直交ウェーブレット変換に留まらず、ラブラシアン'ピラミッド表現ゃステアラブル 'ウェーブレツト変換等を用ヽた多重解像度表現におけるノイズ除去にぉ、ても、それぞれが弱点とする多重解像度変換フィルタ特性の機能をカバーする意味において、有効に機能する技術である。

[0045] 仮想的ノイズ除去を解像度レベル間で逐次的に反映させていく順序として、解像度を低、ほうに分解しながら行う方式と、解像度を高、ほうに統合しながら行う方式の 2 種類が考えられる。本実施の形態では、前者を nalysis逐次」と命名し、後者を「Syn thesis逐次」と命名する。

[0046] 「Analysis」は、画像データを解像度の低!、多重解像度のデータに分解してヽくことに相当し、「Synthesis」は、分解された多重解像度のデータを元の高い解像度のデータに統合 (合成）していくことに相当する。ウェーブレット変換で言えば、「Analysis」はウェーブレット変換に相当し、「Synthesis」は逆ウェーブレット変換に相当する。以下、「Analysis逐次」の方式を第 1の実施の形態で説明し、 Synthesis逐次」の方式を第 2の実施の形態で説明する。

[0047] (第 1の実施の形態）

図 1は、本発明の実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ 1により実現される。パーソナルコンピュータ 1は、デジタルカメラ 2、 CD— ROMなどの記録媒体 3、他のコンピュータ 4などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ 1は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ 4は、インターネットやその他の電気通信回線 5を経由して接続される。

[0048] パーソナルコンピュータ 1が画像処理のために実行するプログラムは、図 1の構成と同様に、 CD— ROMなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータ力提供され、パーソナルコンピュータ 1内にインストールされる。図 19は、パーソナルコンピュータ 1の構成を示す図である。パーソナルコンビュータ 1は、 CPU11、メモリ 12、およびその周辺回路 13などから構成され、 CPU11がインストールされたプログラムを実行する。

[0049] プログラム力 Sインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。

[0050] 以下、パーソナルコンピュータ 1が実行する画像処理について説明する。図 2は、パ一ソナルコンピュータ 1が処理する第 1の実施の形態の画像処理のフローチャートを示す図である。ステップ S1では、線形 RGB画像データを入力する。ステップ S2では、均等色'均等ノイズ空間に変換する。ステップ S3では、ノイズ除去処理をする。ステツプ S4では、色空間を逆変換する。ステップ S5では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。

[0051] [1]色空間変換

ステップ S1では、光強度に線形な階調の RGBカラー画像データを入力する。ステツプ S2では、ノイズを階調に対して均等化する均等ノイズ空間に変換して、ノイズ除去の行いやすい状態にする。ここでは、更に発展させた均等色性と均等ノイズ性を同時に実現する均等色 ·均等ノイズ空間に変換し、ノイズ除去効果と色再現性保持の両立を図る。

[0052] この均等色 ·均等ノイズ空間の画像処理空間は、本出願の発明者と同一発明者の特願 2004-365881号に記載されているので、詳細は特願 2004-365881号を参照することとし、以下、 sRGB入力画像データを一例に挙げて説明する。ただし、 sRGB画像のようなガンマ補正がなされた画像は、ガンマ補正を解、て線形階調に戻した状態にして力始める。

[0053] まず、線形階調 RGB値を XYZ値に変換する。すなわち、 XYZ表色系空間に変換する。これは RGB原刺激の分光特性で決まる 3x3行列変換により実施する。例えば、 sR GB入力画像に対しては、以下のような規格通りの変換を行う。

X=0.4124*R+0.3576*G+0.1805*B ...(1)

Y=0.2126*R+0.7152*G+0.0722*B ...(2)

Z=0.0193*R+0.1192*G+0.9505*B ...(3)

[0054] 次に、次式により、 XYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のじ a" 空間へ変換する。ここで定義するじ a" 空間は、従来のいわゆる均等色空間 L*_a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にじ a Tと名付けたものである。

じ =100* Y/Y0) ...(4)

a~=500*[ X/X0)— Y/Y0)] ...(5)

=200*[ Y/Y0)— Z/ZO)] ...(6)

[0055] ここに、 ΧΟ,ΥΟ,ΖΟは照明光によって定まる値であり、例えば、標準光 D65下で 2度視野の場合、 Χ0=95.045、 Υ0=100.00、 Ζ0=108.892のような値をとる。また、非線形階調変換関数 t)は以下の式で定義する。この関数 t)の特性により均等ノイズィ匕を実現する。ただし、変数 tは t=(Y/Y0),t=(X/X0),t=(Z/Z0)であり、 0≤(Y/Y0)≤1,0≤(X/X0) ≤ 1 , 0≤ (Ζ/Ζ0)≤ 1となるように ΧΥΖ値の階調数の最大値で規格化された値をとる。

[数 1]

【数 1】

[0056] なお、原点と飽和点を規格ィ匕する必要がある場合は、以下の式を用いる _c

[数 2]

【数 2】

εは線形階調の信号に対してカ卩えるオフセット信号で、 εの値は、センサーによつても異なるが、低感度設定のときはほぼ 0に近い値を、高感度設定のときは 0.05程度の値をとる。

[0057] [2]ノイズ除去

次に、ステップ S3のノイズ除去処理について説明する。図 3は、輝度成分 (輝度信号)の処理の流れ図を示す図であり、図 4は、色差成分 (色差信号)の処理の流れ図を示す図である。ただし、図 4は、後述するように、図 3の輝度成分の処理の流れ図と異なるところを抽出して図示して、る。

[0058] [2-1]多重解像度変換について

図 3、図 4は、 5段のウェーブレット変換を用いて多重解像度変換した図に相当する力入力する原画像のサイズに応じて増減させてよい。通常は、この程度の段数を採れば問題とするノイズ成分の周波数帯域をほぼ網羅することができる。

[0059] [2- 1-1]ウェーブレット変換： Analysis/Decompositionプロセス

ウェーブレット変換とは、画像データを周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。本実施の形態では、 5/3フィルタを用いて上述のように 5段のウェーブレット変換をする。 5/3フィルタは、ローパス成分をタップ数 5 (1次元 5画素）のフィルタで生成し、ハイパス成分をタップ数 3 (1次元 3画素）のフィルタで生成する。

[0060] ハイパス成分およびローパス成分の生成式は、次式で示される。ここで、 nは画素位置を示し、 x[]はウェーブレット変換を行う対象画像の画素値を示す。例えば、横方向に 100画素ある場合は、 nは 0〜49である。下記式によりハイパス成分あるいはローバス成分を抽出すると、それぞれ、現在の画素数 100の半分の 50画素分のハイパス成分およびローパス成分のデータが抽出される。

ハイパス成分： d[n]=x[2n+l]- (x[2n+2]+x[2n])/2 ...(9)

ローパス成分： s[n]=x[2n]+(d[n]+d[n- 1])/4 ...(10)

[0061] 上記定義の 1次元ウェーブレット変換を、横方向と縦方向に独立に 2次元分離型フィルタ処理を行うことによって、ウェーブレット分解する。係数 sを L面に集め、係数 dを H 面に集める。入力画像と同じ実空間面も LL0面として、ウェーブレット変換係数の低周波サブバンド LL1,LL2,LL3,LL4,LL5と同様に、低周波サブバンド側の最高解像度面として扱う。

[0062] より具体的には、以上の式を使用して、次のように、順次 5段のウェーブレット変換をする。本実施の形態では、後述するように、各段で生成される LL成分のデータや LH, HL,HH成分のデータを使用して逐次的にノイズ信号の抽出を行いながらウェーブレット変換を行っていく。なお、 LLを低周波サブバンド、 LH,

HL, HHを高周波サブバンドと言う。また、低周波サブバンドを低周波画像、高周波サブバンドを高周波画像と言ってもよい。さらに、各サブバンドを周波数帯域制限画像と言ってもよい。低周波サブバンドは、原画像の周波数帯域を低周波側に帯域制限した画像であり、高周波サブバンドは、原画像の周波数帯域を高周波側に帯域制限した画像である。

第 1段ウェーブレット変換: LL0 (実空間）→ LL1, LH1, HL1, HH1

2 ク m—ブレソ卜：しし 1→しし 2,し H2, Hし 2, HH2

3 ク m—ブレソ卜：しし 2→しし 3,し H3, Hし 3, HH3

第 4段ウェーブレット変換： LL3→ LL4, LH4, HL4, HH4

5 ク m—ブレソ卜：しし 4→しし 5,し H5, Hし 5, HH5

[0063] 図 5は、 5段のウェーブレット変換によるサブバンド分割の様子を示す図である。例えば、第 1段のウェーブレット変換では、実空間の画像データに対し、まず横方向にすべての行にっ、てハイパス成分およびローパス成分のデータを抽出する。その結果、横方向に半分の画素数のハイパス成分およびローパス成分のデータが抽出される。それを、例えば実空間の画像データがあったメモリ領域右側にハイパス成分、左側にローパス成分を格納する。

[0064] 次に、メモリ領域右側に格納されたハイパス成分および左側に格納されたローパス成分のデータに対して、それぞれ縦方向にすべての列について、同様の上記式により、ハイパス成分およびローパス成分のデータを抽出する。その結果、メモリ領域右側のハイノス成分および左側のローパス成分のそれぞれから、さらにハイパス成分およびローパス成分のデータが抽出される。それらを、それぞれのデータがあったメモリ領域下側にハイパス成分、上側にローパス成分を格納する。 [0065] その結果、横方向にハイパス成分として抽出されたデータ力縦方向にハイパス成分として抽出されたデータを HHと表し、横方向にハイパス成分として抽出されたデータカも縦方向にローパス成分として抽出されたデータを HLと表し、横方向にローパス成分として抽出されたデータ力縦方向にハイパス成分として抽出されたデータを L Hと表し、横方向にローパス成分として抽出されたデータ力縦方向にローパス成分として抽出されたデータを LLと表す。ただし、縦方向と横方向は独立であるので、抽出の順序を入れ替えても等価である。

[0066] 次に、第 2段のウェーブレット変換では、第 1段のウェーブレット変換で横方向に口一パス成分として抽出されたデータ力縦方向にローパス成分として抽出されたデータ LLに対し、同様にハイパス成分及びローパス成分の抽出を行う。これを 5段繰り返した結果が、図 5の図である。

[0067] [2- 1-2]逆ウェーブレット変換： Synthesis/Reconstructionプロセス

逆ウェーブレット変換 (多重解像度逆変換)は、次式を使用して行う。

x[2n]=s[n]-(d[n]+d[n-l])/4 ...(11)

x[2n+l]=d[n]+(x[2n+2]+x[2n])/2 ...(12)

ただし、図 3に示すように、ウェーブレット変換時の Xの値には画像を表す信号を入力し、生成されたウェーブレット変換係数 s,dに含まれるノイズ成分を抽出し、抽出されたノイズ成分を逆ウェーブレット時の s,dに代入してノイズ画像 Xを生成してゆく用い方をする。

[0068] [2-2]ノイズ除去処理について

各サブバンド面に対するノイズ除去処理は、任意のノイズ除去フィルタを用いてょヽ o edge-preserving smoothing filterの代¾例として、例ば文献「Jong— ¾en

Lee, Digital Image Smoothing and the Sigma Filter, Computer vision,

Graphics and Image Processing 24(1983) pp.255- 269」のような σフィルタや、文献「C . Tomasi et

al., Bilateral Filtering for ray and し olor Images, Proceedings of

the 1998 IEEE international Conference onf Computer Vision, Bombay, India.」のような Bilateral Filterがある。

[0069] しかし、ここではより高性能な改良型 Bilateral Filter (より詳細は、本出願の発明者と同一発明者の特願 2004-367263号を参照）と、もっと簡略で高速なノイズ除去フィルタ (より詳細は、本出願の発明者と同一発明者の特願 2005- 101545号を参照、 Laplaci anノイズ抽出法と呼ぶことにする）の 2種類を例示する。これらの何れのノイズ除去フィルタを用いてもよい。

[0070] 入力サブバンド画像面の原信号を V (ベクトル r)で表し、ノイズ除去された画像面の信号を V' (ベクトル r)ないしは V〃(ベクトル r)で表すことにする。なお、以下の数式内の矢印つき r (ベクトル rと言う）および矢印つき r' (ベクトル r'と言う）は、ベクトルを示し、 2 次元座標位置を示す。

[0071] [2- 2-1]改良型 Bilateral Filter

[数 3]

【数 3】

(1 3)

[0072] 空間方向に関する閾値 rthは、ノイズ除去フィルタの範囲をその 2倍程度にとっているので、多重解像度の異なる階層間で重なり合うように 0.5〜3.0画素程度の範囲にとるとよい。また、撮像感度によって変えるようにしてもよい。階調方向に関する閾値 a t hは撮像感度が高くなるほど大きく設定し、また適用するサブバンド毎によっても最適値を変える。

[0073] 従来の Bilateral Filterは、フィルタの加重係数が画素値差分 (V'-V)のみを引数とした photometric項の加重係数 w_photo[V'-V]と空間的な距離 (r'-r)のみを引数とした ge ometric項のカ卩重係数 w_geometric[r'-r]の積で表されるので、カ卩重係数力 ^hotometri c項と geometric項に分離できる分離力卩重型 Bilateral Filterと呼べる。し力し、この改良型 Bilateral

Filterは、加重係数力 photometric項と geometric項に分離できない非分離力卩重型 Bila teral Filterを用いている。言い換えれば、 2つの引数の積で表される値を 1つの指数とする 1つの指数関数であらされる加重係数のフィルタを使用して、る。

[0074] [2- 2- 2]Laplacianノイズ抽出法

色差成分の場合は、以下の式によりノイズを抽出する。

[数 4]

【数 4】

V'(r) = V(r) - W(r) · f[W²V(r)) - (1 4)

[0075] 輝度成分の場合は、以下の式によりノイズを抽出する。

[数 5]

【数 5】

V'(r) = V{r) - W(r) · /(W(r)) … _{5 )} V r) = V'{r) + W'(r) · (W'(r)) …（1 6)

[0076] ここで、 x)は、以下の式に示す通りである。 V²は、ラプラシアンフィルタ（ノヽィパスフィルタ）である。図 6は、通例用いられる最も単純なラプラシアンフィルタを示す図である。

[数 6]

【数 6】

なお、階調方向に関する閾値 a thは、上述の改良型 Bilateral Filterと同様な考え方で設定を行えばよい。輝度と色差成分の間でも、もちろんそれぞれに適した個別の値を設定する。

[0077] なお、上記改良型 Bilateral Filterやラプラシアンフィルタは、局所的な範囲に含まれる信号値の関数である。すなわち、上記では、低周波サブバンドと高周波サブバンドの各々の局所的な信号値の観察に基づいて、それぞれのノイズが抽出される。

[0078] [2-3]輝度成分 (じ)のノイズ除去

次に、図 3を参照して、輝度成分 (じ)のノイズ除去について、詳細に説明する。前述したように、「Analysis逐次」によるノイズ抽出を行う。なお、以下の各処理 (χ-χ)は、図 3 にお、て (X-X)と記載して対応付ける。

[0079] [2-3-1]多重解像度変換と逐次ノイズ抽出

[2-3-1-1]実空間最高解像度における処理

処理 (0-1)では、実空間の画像信号 SO(LLO)に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号 SO'(LLO)を作る。処理 (0-2)では、 LL0サブバンドのノイズ成分を n0(LL0)=S0(LL0)- SO'(LLO)により抽出する。処理 (0-3)では、ノィズ信号 n0(LL0)を等倍強度のまま (あるいは oc (0)倍してもょ、)画像信号 S0(LL0)に対して減算処理を行って、 S0(LL0)のノイズ除去を行う。ただし、 0< α (0)≤1、通常は α (0)=1。処理 (0-4)では、処理 (0-3)でノイズ除去された LL0面の画像信号をウェーブレット変換して、 1/2解像度の画像信号 S1(LL1 ,LH1 ,HL1 ,HH1)を生成する。

[0080] [2-3-1-2] 1/2解像度における処理

処理 (1-1)では、画像信号 S1(LL1 ,LH1 ,HL1 ,HH1)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号 S1 '(LL1 ,LH1 ,HL1 ,HH1)を作る。処理 (1-2)では、各サブバンドのノイズ成分を、 nl(LLl)=Sl(LLl)- S1 '(LL1)、 nl(LH 1)=S1(LH1)— S1 '(LH1)、 nl(HLl)=Sl(HLl)— S1 '(HL1)、 nl(HHl)=Sl(HHl)— Sl '(HHl)により抽出する。処理 (1-3)では、ノイズ信号 nl(LLl)を、等倍強度のまま (あるいは《(1) 倍してもよい)画像信号 Sl(LLl)に対して減算処理を行って、 Sl(LLl)のノイズ除去を行う。ただし、 0< α (1)≤1、通常は α (1)=1。処理 (1_4)では、処理 (1-3)でノイズ除去された LL1面の画像信号をウェーブレット変換して、 1/4解像度の画像信号 S2(LL2,LH2 ,HL2,HH2)を生成する。

[0081] [2-3-1-3]1/4解像度における処理

上記 [2-3-1-2]1/2解像度における処理と同様である。

[0082] [2-3-1-4]1/8解像度における処理

上記 [2-3-1-2]1/2解像度における処理と同様である。

[0083] [2-3-1-5]1/16解像度における処理

処理 (4-1)では、画像信号 S4(LL4,LH4,HL4,HH4)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行って、ノイズ除去画像信号 S4'(LL4,LH4,HL4,HH4)を作る。処理 (4- 2)では、各サブバンドのノイズ成分を、 n4(LL4)=S4(LL4)-S4'(LL4)、 n4( LH4)=S4(LH4)— S4'(LH4)、 n4(HL4)=S4(HL4)— S4'(HL4)、 n4(HH4)=S4(HH4)-S4'(HH4 )により抽出する。処理 (4-3)では、ノイズ信号 n4(LL4)を、等倍強度のまま (あるいは α (4)倍してもょヽ）画像信号 S4(LL4)に対して減算処理を行って、 S4(LL4)のノイズ除去を行う。ただし、 0< α (4)≤1、通常は α (4)=1。処理 (4_4)では、処理 (4- 3)でノイズ除去された LL4面の画像信号をウェーブレット変換して、 1/32解像度の画像信号 S5(LL 5,LH5,HL5,HH5)を生成する。

[0084] [2-3-1-6]1/32最低解像度における処理

処理 (5-1)では、画像信号 S5(LL5,LH5,HL5,HH5)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号 S5'(LL5,LH5,HL5,HH5)を作る。処理 (5- 2)では、各サブバンドのノイズ成分を n5(LL5)=S5(LL5)- S5'(LL5)、 n5(LH5 )=S5(LH5)— S5，(LH5)、 n5(HL5)=S5(HL5)— S5 ' (HL5)、 n5(HH5)=S 1 (HH5)— S5 '(HH5)により抽出する。

[0085] ここで注目すべき点は、従来技術と異なり逐次的にノイズ除去された低周波サブバンド LLから生成される低解像度側の高周波サブバンド LH,HL,HHのノイズ成分も、一且高解像度側でノイズ除去された状態から精度よく抽出してヽる点である。すなわち、上層の低周波サブバンドのノイズ除去結果が下層の低周波サブバンドのみならず高周波サブバンドのノイズ抽出にも影響を及ぼしている。こうして多重解像度表現にぉ、て、低周波サブバンドも高周波サブバンドも両方とも残留ノイズの少なヽ両成分力ものノイズ成分が抽出可能になる。 [0086] [2-3-2]ノイズ成分の周波数特性変更

次に、抽出されたノイズ成分を実際のノイズ除去を行うためのノイズ成分に修正する。この修正は、抽出されたノイズ成分カゝら実際のノイズ除去を行うためのノイズ成分を

II

さらに再抽出していることになる。これは、輝度成分の画像構造非破壊性を保持するための手法であり、且つノイズ除去効果の見栄えを容易に変えるための可変パラメ一タの役割を果たす。すなわち、低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH )の間の重みを変えてノイズ成分の周波数特性を変える。このパラメータは、ソフトゥェァ処理等のグラフィック.ユーザ一.インターフェースにおいて、ノイズ除去の粒状性変更パラメータとして提供できる。言い換えれば、低周波サブバンドのノイズ成分と高周波サブバンドのノイズ成分に異なる加重係数を掛けて（下記の例では LLサブバンドに対する kOとその他のサブバンドに対する 1)、ノイズ成分の周波数帯域間の重みを変調している。

[0087] これらは、次式に示す通り行われ、図 3では、処理 (0-5)、処理 (1-5)、処理 (2-5)、処理 (3-5)、処理 (4-5)、処理 (5-5)に対応する。

n0，(LL0)= k0(0)*n0(LL0) . ..(18)

kO(l)*nl(LLl) . ..(19)

n2'(LL2)= kO(2)*n2(LL2) . ..(20)

n3'(LL3)= kO(3)*n3(LL3) . ..(21)

n4'(LL4)= kO(4)*n4(LL4) . ..(22)

n5'(LL5)= kO(5)*n5(LL5) . ..(23)

[0088] ここで、次のようにする。

nl'(LLl)と nl(LHl,HLl,HHl)をそのまま束ねて nl'(LLl,LHl,HLl,HHl)と表す。 n2'(LL2)と n2(LH2,HL2,HH2)をそのまま束ねて n2'(LL2,LH2,HL2,HH2)と表す。 n3'(LL3)と n3(LH3,HL3,HH3)をそのまま束ねて n3'(LL3,LH3,HL3,HH3)と表す。 n4'(LL4)と n4(LH4,HL4,HH4)をそのまま束ねて n4'(LL4,LH4,HL4,HH4)と表す。 n5'(LL5)と n5(LH5,HL5,HH5)をそのまま束ねて n5'(LL5,LH5,HL5,HH5)と表す。

[0089] 通常は、 k0=k0(0)=k0(l)=k0(2)=k0(3)=k0(4)=k0(5)に設定し、 0≤k0≤ 1の範囲で可変とする。残留ノイズ成分の発生予防と適度な粒状性を残すことによるテキスチャ画像構造を保存するには k0=0.5のような中間値近辺の値を採るとよぐ粒状性維持による画像構造保存に重点を置く場合には k0=0.2とヽつた値を採ればよ!ヽし、画像全面に広がるサ一つとした高周波背景ノイズ抑制に重点を置く場合には k0=0.8といった値をとればよい。

[0090] 高周波サブバンドのノイズ信号に対しては、通常等倍のまま出力する。言、換えれば、高周波サブバンドに対する重みの方が低周波サブバンドに対する重みよりも大きく設定される。ただし、場合によっては加重係数を掛けても良い。図 7は、低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH)の加重係数を示す図である。

[0091] 以上のように、ノイズ成分を抽出するためのノイズ除去と画像構造非破壊性の保持が要求される実際のノイズ除去のためのノイズ除去の 2種類のノイズ除去概念を導入し、ノイズ抽出のためのノイズ除去は画像構造非破壊性保持の条件〖こ拘束されることなぐ必要な強度だけ自由にノイズ除去が行えるようになった。すなわち、ノイズ成分を抽出するためのノイズ除去の方を、実際のノイズ除去のためのノイズ除去より自由に強くすることができる。これにより、各サブバンド毎に正確なノイズ抽出が可能となるとともに画像構造の非破壊性も維持することができる。

[0092] また、高周波サブバンドと低周波サブバンドのうち、補足サブバンドに対する加重係数を導入するだけで、統合されたノイズ成分の周波数特性を容易に変更できる。これにより、高精細なノイズ除去を維持したままノイズ除去除去効果の見栄えを簡易に変更できる環境が提供できる。また、最も処理時間の力かるノイズ抽出のためのノイズ除去処理を再度行う必要がな、ので、高速にその見栄え変更の結果を提示することができる。

[0093] [2-3-3]ノイズ成分の統合

こうして修正されたノイズ成分を、最低解像度側から順次逆ウェーブレット変換を行いながら、ノイズ成分の統合を行う。

[0094] [2-3-3-1]1/32最低解像度における処理

処理 (5- 7)では、バンド間で加重処理の施された単層のノイズ信号 n5'(LL5,LH5,HL 5,HH5)を逆ウェーブレット変換することにより、 LL4サブバンド面に対応するノイズ信号 N5(LL4)を生成する。 [0095] [2-3-3-2] 1/ 16解像度における処理

処理 (4-6)では、 LL4面自身カゝら抽出して加重処理の施されたノイズ信号 n4'(LL4)と N5(LL4)を、次式の加算処理により結合する。

n4"(LL4)=n4'(LL4)+N5(LL4) ...(24)

n4"(LL4)と n4'(LH4,HL4,HH4)をそのまま束ねて n4"(LL4,LH4,HL4,HH4)と表す。これにより、 LL4面のノイズ成分は、図 3からも分力ゝるように、 2層のノイズ成分が統合されたことになる。ただし、 LH4,HL4,HH4のノイズ成分は単層である。（4- 7)では、 2層のノイズ成分が統合されたノイズ信号 n4"(LL4,LH4,HL4,HH4)を逆ウェーブレット変換することにより、 LL3サブバンド面に対応するノイズ信号 N4(LL3)を生成する。

[0096] [2-3-3-3]1/8解像度における処理

上記「[2- 3-3-2]1/16解像度における処理」と同様である。

[0097] [2-3-3-4]1/4解像度における処理

上記「[2- 3-3-2]1/16解像度における処理」と同様である。

[0098] [2-3-3-5]1/2解像度における処理

処理 (1-6)では、 LL1面自身力抽出して加重処理の施されたノイズ信号 nl'(LLl)と N2(LL1)を次式の加算処理により結合する。

ηΓ (しし 1)=η1' (しし 1)+N2(しし 1) ...(25)

nl"(LLl)と nl'(LHl,HLl,HHl)をそのまま束ねて nl"(LLl,LHl,HLl,HHl)と表す。処理 (1-7)では、 2層のノイズ成分が統合されたノイズ信号 nl〃(LLl,LHl,HLl,HHl)を逆ウェーブレット変換することにより、 LL0サブバンド面に対応するノイズ信号 Nl(LLO) を生成する。

[0099] [2-3-3-6]実空間最高解像度における処理

処理 (0-6)では、 LL0面自身から抽出して加重処理の施されたノイズ信号 nO'(LLO)と Nl(LLO)を次式の加算処理により結合する。

n0"(LL0)=n0'(LL0)+Nl(LL0) ...(26)

[0100] ここで、注目すべき点は、低周波サブバンドのノイズ成分力従来技術とは違って、低解像度側の低周波と高周波の両サブバンドから統合されてきたノイズ成分と同時に着目解像度の低周波サブバンド自身カゝら抽出したノイズ成分の 2層構造を利用してノイズ合成が行われている点である。これにより、残留ノイズ成分のない正確なノィズ成分の合成が容易になるとともに、画像構造の非破壊性が高ぐかつ容易に見栄えの変えられるノイズ特性の合成が可能となっている。

[0101] 2層構造のノイズ成分を結合する加算時に、更に異なる解像度の階層間でノイズ成分の強度を変えて周波数特性をもっと自由自在に変更できるようにしてもよい。このときは、下式のような処理になる。

n4"(LL4)=n4'(LL4)+ β (5)*N5(LL4) ...(27)

n3"(LL3)=n3'(LL3)+ β (4)*N4(LL3) ...(28)

n2"(LL2)=n2'(LL2)+ β (3)*N3(LL2) ...(29)

nl"(LLl)=nl'(LLl)+ β (2)*N2(LL1) ...(30)

n0"(LL0)=n0'(LL0)+ β (1)*N1(LL0) ...(31)

ただし、 0< (1)≤1、 0< j8 (2)≤l、 0< j8 (3)≤l、 0< j8 (4)≤l、 0< j8 (5)≤l。このようなパラメータを使うような状況は、例えばランダムノイズがあらゆる周波数で均等なホワイトノイズと仮定できな、ような場合に生じる力もしれな、。

[0102] [2-3-4]実際のノイズ除去処理

実空間と同じ解像度を持つ状態にまで 1つに統合されたノイズ成分に対し、画像全体のノイズ除去の程度が可変設定できるようにノイズ除去率と、う加重係数パラメータ λを掛けてから、ノイズ除去を実行する。すなわち、

S0NR(LL0)=S0(LL0)- λ *n0"(LL0) ...(32)

ただし、 0≤λ≤1。

[0103] [2-4]色差成分 (a)のノイズ除去

輝度成分 (じ)と同様に、「Analy_Si_S逐次」によるノイズ抽出を行う。輝度成分のノイズ除去と異なるところは、上記「[2-3-2]ノイズ成分の周波数特性変更」の処理における周波数特性を変更する際の加重係数を掛けるサブバンドの対象が異なること、すなわち重みづけ処理が異なることと、「[2-3-4]実際のノイズ除去処理」におけるノイズ除去率のパラメータ設定の仕方が異なるだけである。以下、この異なる点について記載する。なお、図 4は、図 3と異なる「ノイズ成分の周波数特性変更」の処理の部分のみを抽出した図である。 [0104] [2-4-1]ノイズ成分の周波数特性変更

色差成分の実際のノイズ除去における突出点ノイズ除去効果とカラフルネス維持の両立を図るための加重係数パラメータを、次式の通り、高周波サブバンド (LH,HL,HH )のノイズ成分に対して掛ける。これは色差成分にぉヽては低周波サブバンドが主要バンドで、高周波サブバンドが補足バンドに対応するためである。

nl^: '(LH1)= kl(l)*nl(LHl) ., ..(33)

nl^: '(HL1)= kl(l)*nl(HLl) ., ..(34)

nl^: '(HH1)= ： k2(l)*nl(HHl) . ...(35)

n2^: '(LH2)= kl(2)*n2(LH2) ., ..(36)

n2^: '(HL2)= kl(2)*n2(HL2) ., ..(37)

n2^: '(HH2)= ： k2(2)*n2(HH2) . ...(38)

n3^: '(LH3)= kl(3)*n3(LH3) ., ..(39)

n3^: '(HL3)= kl(3)*n3(HL3) ., ..(40)

n3^: '(HH3)= k2(3)*n3(HH3) . ...(41)

n4^: '(LH4)= kl(4)*n4(LH4) ., ..(42)

n4^: '(HL4)= kl(4)*n4(HL4) ., ..(43)

n4^: '(HH4)= ： k2(4)*n4(HH4) . ...(44)

n5^: '(LH5)= kl(5)*n5(LH5) ., ..(45)

n5^: '(HL5)= kl(5)*n5(HL5) ., ..(46)

n5^: '(HH5)= ： k2(5)*n5(HH5) . ...(47)

[0106] ここで、

nl(LLl)と nl'(LHl,HLl,HHl)をそのまま束ねて nl'(LLl,LHl,HLl,HHl)と表す。 n2(LL2)と n2'(LH2,HL2,HH2)をそのまま束ねて n2'(LL2,LH2,HL2,HH2)と表す。 n3(LL3)と n3'(LH3,HL3,HH3)をそのまま束ねて n3'(LL3,LH3,HL3,HH3)と表す。 n4(LL4)と n4'(LH4,HL4,HH4)をそのまま束ねて n4'(LL4,LH4,HL4,HH4)と表す。 n5(LL5)と n5'(LH5,HL5,HH5)をそのまま束ねて n5'(LL5,LH5,HL5,HH5)と表す。

[0107] 通常は kl= kl(l)=kl(2)=kl(3)=kl(3)=kl(5)、 k2= k2(l)=k2(2)=k2(3)=k2(4)=k2(5)に設定し、 0≤kl,k2≤lの範囲で可変で、 kl=0.9、 k2=0.8といった値をとる。通常使用では 0.8〜1.0の値でよい。また、 LHサブバンドと HLサブバンドに対しては共通の klを設定したが、別々〖こ設定してもよい。図 8は、低周波サブバンド (LL)と高周波サブバンド (L H,HL,HH)の加重係数を示す図である。低周波サブバンド (LL)の加重係数は 1であり、そのままの値を使用する。言い換えれば、低周波サブバンドに対する重みを高周波サブバンドの重みよりも大きく設定する。ただし、 kl=0.9、 k2=0.8と 1に近い値であるので、同程度であるともいえる。

[0108] [2-4-2]実際のノイズ除去処理

輝度成分 (じ)の「[2-3-4]実際のノイズ除去処理」と同様である。ただし、色差成分に関するノイズ除去率は、通常え =1.0でよい。

[0109] このように、多チャンネル表現の特性を有効に活用することによって、輝度と色差に分離されたそれぞれの面における画像構造とノイズの性質の違いに応じて、ノイズ成分が抽出しやすい最適な周波数空間に射影してノイズ抽出処理を行うので、画像構造の破壊が少なく残留ノイズも少な、高精細なカラー画像のノイズ除去が、容易に実現することができる。

[0110] [2-5]色差成分 0 のノイズ除去

「[2- 4]色差成分 (a)のノイズ除去」と同様である。

[0111] 上記において、ソフトウェア等でユーザーが容易に可変できる主なノイズ除去パラメータとして以下のような 3つの性質の異なる機能がある。

1)ノイズ成分を抽出するときの強度パラメータ (Intensity) : σ th (フィルタによっては rth も合わせて）

2)ノイズの粒状性に関する周波数特性変更パラメータ (grainness)： k0

3)ノイズ除去の強度に関するパラメータ (sharpness)： λ

[0112] 図 9は、上記強度パラメータ (Intensity) σ th、 rth、周波数特性変更パラメータ (grainn ess)k0、ノイズ除去の強度に関するパラメータ (sharpness)えの設定画面を示す図である。各項目はスライドバーで示され、各スライドバー中のカーソルを任意の位置に設定することにより各項目を任意の値に設定することができる。

[0113] 具体的には、パーソナルコンピュータ 1のモニタ（不図示）に図 9の設定画面が表示され、ユーザーはキーボード (不図示）やマウス（不図示）を使用してスライドバー中のカーソルを任意の位置に設定する。これにより、ユーザは簡易に上記パラメータを設定することができる。例えば、周波数特性変更パラメータ (grainness)kOを上記のように変更することにより、高精細性を保ったまま容易にノイズ除去効果の見栄えを変更できる。また、 kOとえの変更に対しては高速に動作が追随する。

[0114] [3]逆色空間変換、画像データ出力

図 2に戻ると、ステップ S4では、上記のステップ S3においてノイズ除去処理が終わつた画像データについて、上記ステップ S2の「[1]色空間変換」の逆変換を行って RG B画像に戻す。ステップ S5では、 RGB画像に戻った画像データを出力する。

[0115] 以上のように、第 1の実施の形態では、ノイズ抽出とノイズ除去を分離して 2種類のノィズ除去に相当する処理を行い、更に上層の低周波サブバンドのノイズ除去結果が下層の低周波サブバンドのみならず高周波サブバンドのノイズ抽出にも影響を与えるようにした。すなわち、多重解像度変換画像の高周波サブバンドと低周波サブバンドの両方から、しカゝも相互に影響を及ぼし合いながら逐次的にノイズ抽出を行うので、扱う周波数帯域の合成の自由度が広がり、ノイズ抽出に最適な周波数空間でノイズ抽出を行うことが可能となり、抽出しきれない残留ノイズの問題がなくなりつつも、画像構造を破壊しな、高精細なノイズ除去を可能とする。

[0116] すなわち、デジタル写真のような一般画像において、残留ノイズ問題を適切に対処しつつ画像構造非破壊性の高、、高精細なノイズ除去処理 (Edge-preserving smoothing)を実現して、る。

[0117] なお、本実施の形態では、実空間の画像信号 S0(LL0)に対して所定のノイズ除去処理を行う例を示した（図 3)。しかし、実空間の画像信号 S0(LL0)に対する処理は非常に重たい処理となる。一方、本実施の形態では、画像信号 S1(LL1,LH1,HL1,HH1)以下の解像度における処理だけでも十分に高精細なノイズ除去処理が可能となる。従つて、実空間の画像信号 S0(LL0)に対する所定のノイズ除去処理を省略してもよ、。図 16は、図 3から実空間の画像信号 S0(LL0)に対する所定のノイズ除去処理を省略した輝度成分 (輝度信号)の処理の流れ図を示す図である。色差成分の処理にっ、ても同様である。これにより、処理を軽くしながら高精細なノイズ除去処理が可能となる。 [0118] (第 2の実施の形態）

第 1の実施の形態では、画像データを解像度の低いほうに分解しながら、逐次的にノイズの抽出を行っていく「Analy_Si_S逐次」の方式を説明した。第 2の実施の形態では、多重解像度のデータに分解された画像データを、解像度の高いほうに統合しながら逐次的にノイズの抽出を行う「Synthesis逐次」の方式について説明する。

[0119] 第 2の実施の形態の画像処理装置の構成は、第 1の実施の形態と同様であるので、図 1を参照し、その説明を省略する。また、パーソナルコンピュータ 1が処理する第 2 の実施の形態の画像処理のフローチャートも、流れとしては図 2と同様であるので、その説明を省略する。以下、第 1の実施の形態の処理と異なる点を中心に説明をする。

[0120] [1]色空間変換

[2]ノイズ除去

[2-1]多重解像度変換にっヽて

[2- 1-1]ウェーブレット変換： Analysis/Decompositionプロセス

[2- 1-2]逆ウェーブレット変換： Synthesis/Reconstructionプロセス

[2-2]ノイズ除去処理につ!ヽて

[2- 2-1]改良型 Bilateral Filter

[2- 2- 2]Laplacianノイズ抽出法

以上は、第 1の実施の形態と同様であるので、説明を省略する。

[0121] [2-3]輝度成分 (じ)のノイズ除去

図 10は、輝度成分の処理の流れ図を示す図であり、図 11は、色差成分の処理の流れ図を示す図である。ただし、図 11は、後述するように、図 10の輝度成分の処理の流れ図と異なるところを抽出して図示している。なお、以下の各処理 (XX)および処理 (xx-x)は、図 10にお!/、て (XX)および (xx-x)と記載して対応付ける。

[0122] [2-3-1]多重解像度変換

[2-3-1-1]実空間最高解像度における処理

処理 (10)では、実空間面の画像信号 S0(LL0)をウェーブレット変換して、 1/2解像度の画像信号 S1(LL1,LH1,HL1,HH1)を生成する。

[0123] [2-3-1-2]1/2解像度における処理処理 (11)では、 LL1面の画像信号 Sl(LLl)をウェーブレット変換して、 1/4解像度の画像信号 S2(LL2,LH2,HL2,HH2)を生成する。

[0124] [2-3-1-3]1/4解像度における処理

処理 (12)では、 LL2面の画像信号 S2(LL2)をウェーブレット変換して、 1/8解像度の画像信号 S3(LL3,LH3,HL3,HH3)を生成する。

[0125] [2-3-1-4]1/8解像度における処理

処理 (13)では、 LL3面の画像信号 S3(LL3)をウェーブレット変換して、 1/16解像度の画像信号 S4(LL4,LH4,HL4,HH4)を生成する。

[0126] [2-3-1-5]1/16解像度における処理

処理 (14)では、 LL4面の画像信号 S4(LL4)をウェーブレット変換して、 1/32解像度の画像信号 S5(LL5,LH5,HL5,HH5)を生成する。

[0127] [2-3-2]逐次ノイズ抽出

[2-3-2-1]1/32最低解像度における処理

処理 (15-1)では、画像信号 S5(LL5,LH5,HL5,HH5)の各々に対してノイズ除去を行つてノイズ除去画像信号 S5'(LL5,LH5,HL5,HH5)を作る。処理 (15-2)では、各サブバンドのノイズ信号を、 n5(LL5)=S5(LL5)- S5'(LL5)、 n5(LH5)=S5(LH5)- S5'(LH5)、 n5(H L5)=S5(HL5)- S5'(HL5)、 n5(HH5)=S5(HH5)- S5'(HH5)により抽出する。処理 (15- 4)では、ノイズ信号 n5(LL5,LH5,HL5,HH5)を逆ウェーブレット変換 (Synthesis)することにより、 LL4サブバンド面に対応するノイズ抽出用のノイズ信号 N5(LL4)を生成する。

[0128] [2-3-2-211/16解像度における処理

処理 (14-0)では、ノイズ信号 N5(LL4)を等倍強度のまま (あるいは a (5)倍してもょヽ )画像信号 S4(LL4)に対して減算処理を行って、画像信号 S4'(LL4)を得る。ただし、 0 < α (5)≤1、通常は α (5)=1。なお、 S4'(LL4)と S4(LH4,HL4,HH4)をそのまま束ねて S4 ，(LL4,LH4,HL4,HH4)と表す。

[0129] 処理 (14-1)では、画像信号 S4'(LL4,LH4,HL4,HH4)の各々に対してノイズ除去を行つてノイズ除去画像信号 S4"(LL4,LH4,HL4,HH4)を作る。図 10では、 S4"(LL4",LH4' ,HL4',HH4')と記載している力上記 S4"(LL4,LH4,HL4,HH4)のことである。処理 (14- 2)では、各サブバンドのノイズ信号を n4(LL4)=S4'(LL4)-S4"(LL4)、 n4(LH4)=S4'(LH4) — S4"(LH4)、 n4(HL4)=S4'(HL4)-S4"(HL4), n4(HH4)=S4'(HH4)— S4"(HH4)により抽出する。

[0130] 処理 (14-3)では、 LL4面のノイズ除去処理により抽出したノイズ信号 n4(LL4)と下層力ノイズ抽出用に統合したノイズ信号 N5(LL4)を次式の加算処理により結合する。 n4'(LL4)=n4(LL4)+N5(LL4) ...(48)

n4'(LL4)と n4(LH4,HL4,HH4)をそのまま束ねて n4'(LL4,LH4,HL4,HH4)と表す。処理 (14-4)では、ノイズ信号 n4'(LL4,LH4,HL4,HH4)を逆ウェーブレット変換することにより、 LL3サブバンド面に対応するノイズ信号 N4(LL3)を生成する。

[0131] [2-3-2-3]1/8解像度における処理

上記 [2- 3-2-2]1/16解像度における処理と同様である。

[0132] [2-3-2-4]1/4解像度における処理

上記 [2- 3-2-2]1/16解像度における処理と同様である。

[0133] [2-3-2-5]1/2解像度における処理

処理 (11-0)では、ノイズ信号 N2(LL1)を等倍強度のまま (あるいは α (2)倍してもよい )画像信号 Sl(LLl)に対して減算処理を行って、画像信号 Sl'(LLl)を得る。ただし、 0 < α (2)≤1、通常は α (2)=1。なお、 Sl'(LLl)と S1(LH1,HL1,HH1)をそのまま束ねて S1 '(LL1,LH1,HL1,HH1)と表す。

[0134] 処理 (11-1)では、画像信号 S1'(LL1,LH1,HL1,HH1)の各々に対してノイズ除去を行つてノイズ除去画像信号 S1"(LL1,LH1,HL1,HH1)を作る。図 10では、 S '(LLl",LHl' ,HL1',HH1')と記載している力上記 S1"(LL1,LH1,HL1,HH1)のことである。処理 (11- 2)では、各サブバンドのノイズ信号を nl(LLl)=Sl'(LLl)- S1"(LL1)、 nl(LHl)=Sl'(LHl) — S1"(LH1)、 nl(HLl)=Sl'(HLl)— S1"(HL1)、 nl(HHl)=Sl'(HHl)— S1"(HH1)により抽出する。

[0135] 処理 (11-3)では、 LL1面のノイズ除去処理により抽出したノイズ信号 nl(LLl)と下層力もノイズ抽出用に統合したノイズ信号 N2(LL1)を次式の加算処理により結合する。 nl'(LLl)=nl(LLl)+N2(LLl) ...(49)

nl'(LLl)と nl(LHl,HLl,HHl)をそのまま束ねて nl'(LLl,LHl,HLl,HHl)と表す。処理 (11-4)では、ノイズ信号 nl'(LLl,LHl,HLl,HHl)を逆ウェーブレット変換することにより、 LLOサブバンド面に対応するノイズ信号 Nl(LLO)を生成する。

[0136] [2-3-2-6]実空間最高解像度における処理

処理 (10-0)では、ノイズ信号 Nl(LLO)を等倍強度のまま (あるいは a (1)倍してもよ!ヽ )画像信号 SO(LLO)に対して減算処理を行って、画像信号 SO'(LLO)を得る。ただし、 0 < α (1)≤1、通常は α (1)=1。処理 (10-1)では、画像信号 SO'(LLO)に対してノイズ除去を行ってノイズ除去画像信号 S0〃(LL0)を作る。処理 (10-2)では、ノイズ信号を n0(LL0) =S0'(LL0)-S0"(LL0)により抽出する。

[0137] ここで注目すべき点は、従来技術の低解像度側低周波サブバンドのノイズ除去の効果を高解像度側低周波サブバンドのノイズ抽出に反映させているだけではなぐ低解像度側高周波サブバンドのノイズ除去効果も一緒に反映させて、る点である。すなわち、下層の低周波サブバンドと高周波サブバンドのノイズ除去結果が同時に上層の低周波サブバンドのノイズ抽出にも影響を及ぼしている。こうして多重解像度表現における低周波サブバンド側力抽出すべき正確なノイズ成分の抽出が可能となり、残留ノイズの少なゾィズ成分が抽出可能になる。

[0138] 輝度成分に対して、このような「Synthesis逐次」を用いるときは特に、高周波サブバンド側のノイズ除去効果が低周波側サブバンドに潜む筋状やチェックパターン状の残留ノイズ成分をうまく引っ張り出す効果が期待できる。

[0139] [2-3-3]ノイズ成分の周波数特性変更

次に、抽出されたノイズ成分を実際のノイズ除去を行うためのノイズ成分に修正する。すなわち、低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH)の間の重みを変えてノイズ成分の周波数特性を変える。第 1の実施の形態と話は同様で、パラメ一タ設定も同様である。

[0140] これらは、次式に示す通り行われ、図 10では、処理 (10-5)、処理 (11-5)、処理 (12-5) 、処理 (13-5)、処理 (14-5)、処理 (15-5)に対応する。

n0"(LL0)= k0(0)*n0(LL0) ...(50)

nl"(LLl)= k0(l)*nl(LLl) ...(51)

n2"(LL2)= kO(2)*n2(LL2) ...(52)

n3"(LL3)= kO(3)*n3(LL3) ...(53) n4"(LL4)= kO(4)*n4(LL4) ...(54)

n5"(LL5)= kO(5)*n5(LL5) ...(55)

[0141] ここで、

nl"(LLl)と nl(LHl,HLl,HHl)をそのまま束ねて nl"(LLl,LHl,HLl,HHl)と表す。 n2"(LL2)と n2(LH2,HL2,HH2)をそのまま束ねて n2"(LL2,LH2,HL2,HH2)と表す。 n3"(LL3)と n3(LH3,HL3,HH3)をそのまま束ねて n3"(LL3,LH3,HL3,HH3)と表す。 n4"(LL4)と n4(LH4,HL4,HH4)をそのまま束ねて n4"(LL4,LH4,HL4,HH4)と表す。 n5"(LL5)と n5(LH5,HL5,HH5)をそのまま束ねて n5"(LL5,LH5,HL5,HH5)と表す。

[0142] [2-3-4]ノイズ成分の統合

こうして修正されたノイズ成分を最低解像度側カゝら順次逆ウェーブレット変換を行いながら、実際にノイズ除去に使うためのノイズ成分の統合を行う。

[0143] [2-3-4-1]1/32最低解像度における処理

処理 (15-7)では、バンド間で加重処理の施された単層のノイズ信号 n5"(LL5,LH5,H

L5,HH5)を逆ウェーブレット変換することにより、 LL4サブバンド面に対応する実際のノイズ除去用のノイズ信号 N5'(LL4)を生成する。

[0144] [2-3-4-2] 1/ 16解像度における処理

処理 (14-6)では、 LL4面自身カゝら抽出して加重処理の施されたノイズ信号 n4〃(LL4) と下層から実際のノイズ除去用に統合したノイズ信号 N5'(LL4)を、次式の加算処理により結合する。

n4'"(LL4)=n4"(LL4)+N5'(LL4) ...(56)

n4"'(LL4)と n4"(LH4,HL4,HH4)をそのまま束ねて n4"'(LL4,LH4,HL4,HH4)と表す。これにより、 LL4面のノイズ成分は、図 10からも分かるように、 2層のノイズ成分が統合されたことになる。ただし、 LH4,HL4,HH4のノイズ成分は単層である。処理 (14-7)では、 2層のノイズ成分が統合されたノイズ信号 n4"'(LL4,LH4,HL4,HH4)を逆ウェーブレツト変換することにより、 LL3サブバンド面に対応するノイズ信号 N4'(LL3)を生成する。

[0145] [2-3-4-3]1/8解像度における処理

上記 [2-3-4-2]1/16解像度における処理と同様である。

[0146] [2-3-4-4]1/4解像度における処理上記 [2-3-4-2]l/16解像度における処理と同様である。

[0147] [2-3-4-5]1/2解像度における処理

処理 (11-6)では、 LL1面自身力抽出して加重処理の施されたノイズ信号 nl"(LLl) と下層から実際のノイズ除去用に統合した N2'(LL1)を、次式の加算処理により結合する。

nl'"(LLl)=nl"(LLl)+N2'(LLl) ...(57)

nl"'(LLl)と nl"(LHl,HLl,HHl)をそのまま束ねて nr'(LLl,LHl,HLl,HHl)と表す。処理 (11-7)では、 2層のノイズ成分が統合されたノイズ信号 nl〃'(LLl,LHl,HLl,HHl) を逆ウェーブレット変換することにより、 LL0サブバンド面に対応するノイズ信号 N1'(L L0)を生成する。

[0148] [2-3-4-6]実空間最高解像度における処理

処理 (10-6)では、 LL0面自身カゝら抽出して加重処理の施されたノイズ信号 n0〃(LL0) と下層から実際のノイズ除去用に統合した Nl'(LLO)を、次式の加算処理により結合する。

n0'"(LL0)=n0"(LL0)+Nl'(LL0) ...(58)

[0149] 第 1の実施の形態と同様に、ここでも、 2層構造のノイズ成分を結合する加算時に、更に異なる解像度の階層間でノイズ成分の強度を変えて周波数特性をもっと自由自在に変更できるようにしてもよい。このときは、同様に下式のような処理になる。

n4'"(LL4)=n4"(LL4)+ β (5)*N5'(LL4) ...(59)

n3'"(LL3)=n3"(LL3)+ β (4)*N4'(LL3) ...(60)

n2'"(LL2)=n2"(LL2)+ β (3)*N3'(LL2) ...(61)

nl'"(LLl)=nl"(LLl)+ β (2)*N2'(LL1) ...(62)

n0'"(LL0)=n0"(LL0)+ β (1)*N1'(LL0) ...(63)

ただし、 0< (1)≤1、 0< j8 (2)≤l、 0< j8 (3)≤l、 0< j8 (4)≤l、 0< j8 (5)≤l。

[0150] ここで、注目すべき点は、ノイズ抽出用と実際のノイズ除去用の 2種類のノイズ成分を、 2系統のノイズ統合手段を用意してそれぞれ別々に統合していっている点である。これによりそれぞれの用途に適したノイズ成分の強度特性変更や周波数特性変更の最適化処理が容易となる。 [0151] 更に第 1の実施の形態と同様に、これらのノイズ統合処理において、低周波サブバンドのノイズ成分力従来技術とは違って、低解像度側の低周波と高周波の両サブバンドから統合さててきたノイズ成分と同時に、着目解像度の低周波サブバンド自身カゝら抽出したノイズ成分の、 2層構造を利用してノイズ合成を行っている。これによつて、ノイズの周波数特性変更を容易にし、かつ 2系統の用途のそれぞれに適したノィズ成分を調合することを可能として、る。

[0152] [2-3-5]実際のノイズ除去処理

第 1の実施の形態の「[2-3-4]実際のノイズ除去処理」と同様である。

[0153] [2-4]色差成分 (a)のノイズ除去

第 1の実施の形態の「[2-4]色差成分 (a)のノイズ除去」と同様である。ただし、使つて、る式の定義が少しずれるので、以下の通りそれを書き直すのみである。

[0154] [2-4-1]ノイズ成分の周波数特性変更

ηΓ' (LH1)= kl(l)*nl(LHl) ., ..(64)

ηΓ' (HL1)= kl(l)*nl(HLl) ., ..(65)

ηΓ' (ΗΗ1)= k2(l)*nl(HHl) . ...(66)

η2"' (LH2)= kl(2)*n2(LH2) ., ..(67)

η2"' (HL2)= kl(2)*n2(HL2) ., ..(68)

η2"' (ΗΗ2)= k2(2)*n2(HH2) . ...(69)

η3"' (LH3)= kl(3)*n3(LH3) ., ..(70)

η3"' (HL3)= kl(3)*n3(HL3) ., ..(71)

η3"' (HH3)= k2(3)*n3(HH3) . ...(72)

η4"' (LH4)= kl(4)*n4(LH4) ., ..(73)

η4"' (HL4)= kl(4)*n4(HL4) ., ..(74)

η4"' (HH4)= k2(4)*n4(HH4) . ...(75)

η5"' (LH5)= kl(5)*n5(LH5) ., ..(76)

η5"' (HL5)= kl(5)*n5(HL5) ., ..(77)

η5"' (HH5)= k2(5)*n5(HH5) . ...(78)

[0155] ここで、 nl(LLl)と nl"(LHl,HLl,HHl)をそのまま束ねて nl"(LLl,LHl,HLl,HHl)と表す。 n2(LL2)と n2"(LH2,HL2,HH2)をそのまま束ねて n2"(LL2,LH2,HL2,HH2)と表す。 n3(LL3)と n3"(LH3,HL3,HH3)をそのまま束ねて n3"(LL3,LH3,HL3,HH3)と表す。 n4(LL4)と n4"(LH4,HL4,HH4)をそのまま束ねて n4"(LL4,LH4,HL4,HH4)と表す。 n5(LL5)と n5"(LH5,HL5,HH5)をそのまま束ねて n5"(LL5,LH5,HL5,HH5)と表す。

[0156] [2-5]色差成分 0 のノイズ除去

「[2- 4]色差成分 (a)のノイズ除去」と同様である。

[0157] 以上のように、第 2の実施の形態では、ノイズ抽出とノイズ除去を分離して 2種類のノイズ除去に相当する処理を行い、かつ下層の低周波サブバンドのノイズ除去結果のみならず下層の高周波サブバンドのノイズ除去結果も上層の低周波サブバンドのノイズ抽出にも影響を与えるようにした。すなわち、第 1の実施の形態と同様に、多重解像度変換画像の高周波サブバンドと低周波サブバンドの両方から、し力も相互に影響を及ぼし合いながら逐次的にノイズ抽出を行うので、扱う周波数帯域の合成の自由度が広がり、ノイズ抽出に最適な周波数空間でノイズ抽出を行うことが可能となり、抽出しきれない残留ノイズの問題がなくなりつつも、画像構造を破壊しない高精細なノイズ除去を可能とする。

[0158] すなわち、デジタル写真のような一般画像にぉ、て、残留ノイズ問題を適切に対処しつつ画像構造非破壊性の高、、高精細なノイズ除去処理 (Edge-preserving smoothing)を実現して、る。

[0159] ここで、第 1の実施の形態と第 2の実施の形態の違いについて少し触れておく。パラメータの設定を変えることによって「Analysis逐次」と Synthesis逐次」の方式はほぼ同等のノイズ除去効果とノイズ残留問題対策効果を得ることが出来ることが実験的に確認されている。し力し、敢えてその違いを述べてみるなら処理の順序からいって、「An alysis逐次」方式は後段に低解像度側がくるので、別の解像度に対して確実に影響を及ぼす低解像度側の長周期成分のノイズ抽出漏れ防止効果が高いのに対し、「Sy nthesis逐次」方式は反対に後段に高解像度側がくるので、高解像度側のノイズ抽出漏れ防止効果が高ぐチェックパターン等のナイキスト周波数のしっこいノイズ抽出に強いといえる。 [0160] なお、本実施の形態では、実空間の画像信号 SO(LLO)に対して所定のノイズ除去処理を行う例を示した（図 10)。しかし、実空間の画像信号 SO(LLO)に対する処理は非常に重たい処理となる。一方、本実施の形態では、画像信号 S1(LL1,LH1,HL1,HH1) 以下の解像度における処理だけでも十分に高精細なノイズ除去処理が可能となる。従って、実空間の画像信号 S0(LL0)に対する所定のノイズ除去処理を省略してもよ、。図 17は、図 10から実空間の画像信号 S0(LL0)に対する所定のノイズ除去処理を省略した輝度成分 (輝度信号)の処理の流れ図を示す図である。色差成分の処理についても同様である。これにより、処理を軽くしながら高精細なノイズ除去処理が可能となる。

[0161] (第 3の実施の形態）

第 1の実施の形態や第 2の実施の形態では、ノイズ除去処理の例について説明をした。

第 3の実施の形態では、このノイズ除去処理をエッジ強調処理に置き換えた、多重解像度における周波数特性の変更が容易なエッジ強調処理の例について説明する。

[0162] 第 3の実施の形態の画像処理装置の構成は、第 1の実施の形態と同様であるので、その説明を省略する。図 12は、多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。変更の要点は、ノイズ除去で行っていた逐次処理のフィードバック 'ルーチンが不要となり、ノイズ成分抽出処理がエッジ成分抽出処理に置き換わるだけである。エッジ成分抽出処理は例えば、各サブバンド面のアンシャープ 'マスク処理やバンドパス.フィルタリング処理等によって行う。

[0163] これらの処理は、第 1の実施の形態や第 2の実施の形態のノイズ成分を抽出するために変換した多重解像度画像を用いて同時に行ってもょ、し、第 1の実施の形態や第 2の実施の形態のようなノイズ除去処理が済んだ画像に対して改めて処理を行なつてもよい。また、エッジ強調だけの目的ならば単独で用いてもよい。ただし、基本的には輝度面に対してだけ行なう。

[0164] 本実施の形態では、説明の簡略ィ匕のためエッジ強調を単独で行う場合の説明をする力高画質ィ匕の観点からは、本来ノイズ除去とエッジ強調を同時に行い、エッジ抽出成分にノイズ成分が含まれないように第 1の実施の形態や第 2の実施の形態でノィズフリーになるまで仮想的に強力にノイズ除去されたサブバンド面力エッジ成分を抽出して統合し、実際のノイズ除去が済んだ画像に加算処理を行うのが良い。従つて、例えば、第 2の実施の形態に追加した場合を例に取ると、図 10の右側の再構築処理では、 1)仮想的ノイズ除去のためのノイズ成分統合、 2)実際のノイズ除去のためのノイズ成分統合、 3)実際のエッジ強調のためのエッジ成分統合の 3系統の処理が走ることになる。

[0165] こうして、多重解像度変換を用いたノイズ除去処理にぉ、て、ノイズ成分の周波数特性や強度が容易に変更できてノイズ除去効果の見栄えの変化を容易に確認できたのと同様に、多重解像度変換を用いたエッジ強調処理において、エッジ成分の周波数特性や強度が容易に変更できてエッジ強調効果の見栄えの変化を容易に確認することが可能なシステムを提供することが可能となる。

[0166] 抽出したエッジ成分について、低周波サブバンド (LL)と高周波サブバンド (LH,HL, HH)の間の重みを変えてエッジ成分の周波数特性を変える。図 13は、低周波サブバンド (LL)と高周波サブバンド (LH,HL,HH)の加重係数を示す図である。ただし、 LH,H L間で同じ klを用いなくてもよい。ここで言う低周波サブバンドは低周波エッジ成分画像、高周波サブバンドは高周波エッジ成分画像である。

[0167] このように、エッジ成分の周波数帯域間で重みが変調された低周波エッジ成分画像と高周波エッジ成分画像は、逆ウェーブレット変換に使用される。逆ウェーブレット変換は、図 12に示す通り、各解像度において重みが変調された低周波エッジ成分画像と高周波エッジ成分画像を使用しながら、原画像と同じ解像度を持つ 1つのエツジ成分画像になるまで逐次、逆ウェーブレット変換 (統合)を繰り返す。そして、最終的に統合されたエッジ成分に基づ、て、原画像のエッジ強調を行う。

[0168] 第 1の実施の形態や第 2の実施の形態と同様に、多重解像度変換画像の高周波サブバンドおよび低周波サブバンドの両方力エッジ抽出を行、、サブバンド間の加重係数を導入して統合するので、エッジ成分の周波数帯域の間隔がなぐかつ、周波数特性を容易に変更でき、エッジ強調の見栄えを簡易に変更できる環境も提供できる。

[0169] なお、本実施の形態では、実空間の画像信号 SO(LLO)に対して所定のエッジ成分抽出処理を行う例を示した（図 10)。しかし、実空間の画像信号 SO(LLO)に対する処理は非常に重たい処理となる。一方、本実施の形態では、画像信号 S1(LL1,LH1,HL Ι,ΗΗΙ)以下の解像度における処理だけでも十分に高精細なエッジ強調処理が可能となる。従って、実空間の画像信号 SO(LLO)に対する所定のエッジ成分抽出処理を省略してもよい。図 18は、図 12から実空間の画像信号 SO(LLO)に対する所定のエッジ成分抽出処理を省略した多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。これにより、処理を軽くしながら効果的なエッジ強調処理が可能となる。

[0170] (変形例）

なお、上記第 1の実施の形態力第 3の実施の形態では、多重解像度変換としてゥエーブレット変換の例を示した。多重解像度変換としてウェーブレット変換の代わりに、ラプラシアン'ピラミッドを用いてもよい。ウェーブレット変換の低周波サブバンド (LL) には、ラプラシアン'ピラミッドを生成する途中で生成されるガウシアン 'ピラミッドの各々が対応し、ウェーブレット変換の高周波サブバンド（LH,HL,HH)にはラプラシアン' ピラミッドの各々が対応する。注意すべき点は、ウェーブレット変換では低周波サブバンドとそれに対応する高周波サブバンドが同じ解像度であったところが、ラプラシアン 'ピラミッドでは、低周波サブバンドのガウシアン 'バンドに対して、それに対応する高周波サブバンドのラプラシアンバンドの解像度がガウシアン 'バンドに対して 1つ高い解像度を持ってヽる点のみ異なってヽることである。

[0171] ラプラシアン ·ピラミッドに関しては、文献「P. H. Burt and E. H. Adelson, "The Lapl acian Pyramid

as a Compact Image Code," IEEE Transactions on Communications , Vol.31, No.4, pp.532- 540, 1983.」を参照。

[0172] また、多重解像度変換としてラプラシアン'ピラミッド表現の代わりにステアラブル 'ピラミツド (ステアラブルウェーブレット変換、方向ウェーブレット変換)表現を用いてもよい。ステアラブル 'ピラミッドにおいても低周波サブバンドはラプラシアン'ピラミッドのガウシアン 'バンドがそのまま対応し、高周波サブバンドにはラプラシアン'ピラミッドでは等方的ハイノス成分が一種類のみラプラシアン.バンドとして生成されていたもの力複数方向の異方的ハイパス成分によるラプラシアン'バンドが複数個存在して対応することになるだけである。

[0173] ステアラブル 'フィルタについては、文献「W. T. Freeman and E. H. Adelson, "The Design and Use

of Steerable Filters. IEEE Transactions on Pattern and Macnine

Intelligence, Vol.13, No.9, pp.891— 906, Septempber 1991.」を参照。

[0174] 図 14は、直交ウェーブレット変換、ラプラシアン'ピラミッド、ステアラブル.ピラミッドの各種多重解像度表現における、低周波サブバンドと高周波サブバンドの対応関係の模式図を示す図である。

[0175] 上記第 1の実施の形態では、輝度成分および色差成分ともに、「Analy_Si_S逐次」方式によるノイズ除去の例を説明し、上記第 2の実施の形態では、輝度成分および色差成分ともに、「Synthesis逐次」方式によるノイズ除去の例を説明した。しかし、輝度成分に対しては「Analysis逐次」を、色差成分に対しては Synthesis逐次」を用いたノィズ除去を行うようにしてもよい。また、輝度成分に対しては「Synthesis逐次」を、色差成分に対しては「Analysis逐次」を用いたノイズ除去を行うようにしてもよ!、。

[0176] 上記実施の形態では、パーソナルコンピュータ 1で処理を行う例を示した力必ずしもこの内容に限定する必要はない。カメラなどの撮像装置の中で処理を行う場合であつてもよい。また、他の装置であってもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。

[0177] 上記実施の形態、例えば Synthesis逐次では、 2系統のノイズ成分統合を行う過程で仮想ノイズ除去と実ノイズ除去の 2種類のノイズ除去概念導入の説明を行ったが、必ずしもこれに限るものではない。例えば、従来技術の特許文献 5や 9に示されているように、ノイズ除去されたサブバンド画像を統合して再構築して行く方式では、 2種類のノイズ除去されたサブバンド画像を用意して 2系統で統合して行けばよい。

[0178] 上記実施の形態では、ノイズ除去処理の例として、改良型 Bilateral Filterと Laplacia nノイズ抽出法の例を示した力他の種類のノイズ除去フィルタであってもよ、。

[0179] 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。日本国特許出願 2006年第 096984号（2006年 3月 31日出願）日本国特許出願 2006年第 096985号（2006年 3月 31日出願）

Claims

請求の範囲

[1] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記入力した原画像を分解して、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、

前記低周波画像と前記高周波画像の各々に対してノイズ除去処理を行うノイズ除去処理手順と、

前記ノイズ除去された低周波画像と前記ノイズ除去された高周波画像の双方の結

ヽて、原画像からノイズが除去された画像を得る画像取得手順とを有する。

[2] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順とを有し、

前記多重解像度画像生成手順は、前記高周波画像に対してノイズ除去処理を行つてノイズ除去された高周波画像を得、前記ノイズ除去された高周波画像に基づヽて、次に高い解像度の高周波画像と対をなす低周波画像を得、前記次に高い解像度の高周波画像と対をなす低周波画像に対して、更にノイズ除去処理を行ってノィズ除去された低周波画像を得、

前記ノイズ除去された低周波画像と前記ノイズ除去された高周波画像の双方の結果に基づヽて、前記原画像カゝらノイズが除去された画像を得る画像取得手順をさらに有する。

[3] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順を有し、前記多重解像度画像生成手順は、前記低周波画像に対してノイズ除去処理を行つてノイズ除去された低周波画像を得、前記ノイズ除去された低周波画像に基づヽて、次に低い解像度の低周波画像と対をなす高周波画像を得、前記次に低い解像度の低周波画像と対をなす高周波画像に対して更にノイズ除去処理を行ってノイズ除去された高周波画像を得、

[4] 請求項 1〜3の、ずれかに記載の画像処理方法にお!、て、

前記画像取得手順は、前記原画像と同じ解像度を持つ実空間におけるノイズ除去処理を行！ヽ、前記実空間におけるノイズ除去の結果を前記低周波画像のノイズ除去の結果と同様に扱ヽ、前記原画像からノイズが除去された画像の画像データを得る。

[5] 多重解像度表現された画像を生成する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順を有し、

前記多重解像度画像生成手順は、

前記高周波画像に対してノイズ除去処理を行ってノイズ除去された高周波画像を得、

前記ノイズ除去された高周波画像に基づいて、次に高い解像度の高周波画像と対をなす低周波画像を得、

前記次に高い解像度の高周波画像と対をなす低周波画像に対して更にノイズ除去処理を

行ってノイズ除去された低周波画像を得る。

[6] 多重解像度表現された画像を生成する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記多重解像度画像生成手順は、

a)前記低周波画像の画像データに対してノイズ除去処理を行ってノイズ除去された低周波画像の画像データを得、

b)前記低周波画像と対をなす高周波画像の画像データに対してノイズ除去処理を行ってノイズ除去された高周波画像の画像データを得、

c)前記ノイズ除去された低周波画像の画像データと前記ノイズ除去された高周波画像の画像データの双方の結果に基づいて、次に高い解像度の低周波画像の画像データを得、

d)前記次に高い解像度の低周波画像が原画像と同等以下の解像度になるまで、解像度の最も低、方から高、方へ向力つて順に、 a)力も c)の処理を繰り返す。

[7] 多重解像度表現された画像を生成する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記多重解像度画像生成手順は、

a)前記高周波画像の画像データに対してノイズ除去処理を行ってノイズ除去された高周波画像の画像データを得、

b)前記ノイズ除去された高周波画像の画像データに基づいて、次に高い解像度の高周波画像と対をなす低周波画像の画像データを得、

c)前記次に高い解像度の高周波画像と対をなす低周波画像の画像データに対してノイズ除去処理を行ってノイズ除去された低周波画像の画像データを得、 d)前記ノイズ除去された低周波画像が原画像と同等以下の解像度になるまで、解像度の低い方力高い方へ向力つて順に、 a)から c)の処理を繰り返す。

[8] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、前記入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多重解像度画像生成手順と、

前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、前記低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高、解像度の低周波画像と同じ解像度を持つ 1つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、更に 1つのノイズ画像に統合するノイズ統合手順と、

前記統合されたノイズ画像に基づヽて、原画像に含まれるノイズを除去するノイズ除去手順とを有する。

画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記入力した原画像を分解して、逐次的に低い解像度を持つ 1つ以上の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ 1つ以上の高周波画像を生成する多

重解像度画像生成手順と、

前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、前記低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高、解像度の低周波画像と同じ解像度を持つ 1つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、 1 つの新たな低周波ノイズ画像に統合するノイズ統合手順と、

前記ノイズ統合手順で生成された新たな低周波ノイズ画像を、前記ノイズ統合手順の低周波ノイズ画像として代入し、最終的に生成される新たな低周波ノイズ画像が原画像と同じ解像度を持つ 1つのノイズ画像になるまで、逐次的に前記ノイズ統合手順の統合処理を繰り返すノイズ統合繰り返し手順と、

前記ノイズ統合手順と前記ノイズ統合繰り返し手順で統合されたノイズ画像に基づヽて、前記原画像に含まれるノイズを除去するノイズ除去手順とを有するする。

[10] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力する画像入力手順と、

前記低周波画像と前記高周波画像の各々に含まれるノイズ成分を抽出するノイズ抽出手順と、

前記抽出された低周波画像と前記抽出された高周波画像の双方のノイズ成分に基づヽて、前記原画像の各画素に含まれるノイズ信号を推定するノイズ推定手順とを有する。

[11] 請求項 10に記載の画像処理方法において、

前記ノイズ推定手順で推定されたノイズ信号に基づヽて、原画像に含まれるノイズを除去するノイズ除去手順を更に有する。

[12] 請求項 1〜： L 1の、ずれかに記載の画像処理方法にお!、て、

前記低周波画像と前記高周波画像は、

1)直交ウエーブレット変換における低周波成分と高周波成分、

2)ラプラシアン'ピラミッド表現におけるガウシアン成分とラプラシアン成分、

3)方向ウエーブレット変換における低周波成分と各方向毎の高周波成分、の何れかに対応する。

[13] 請求項 12に記載の画像処理方法において、

2次元直交ウェーブレット変換を行って多重解像度画像を生成する場合、前記低周波画像は LLサブバンドに、前記高周波画像は LH、 HL、 HHサブバンドに対応する。

[14] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力し、

前記入力した原画像を、多重解像度変換を行ない、解像度の異なる低周波画像と高周波画像を逐次生成し、

前記それぞれの解像度において、前記生成した低周波画像と高周波画像を使用して、低周波画像と高周波画像に対応するノイズ成分を抽出し、

前記それぞれの解像度において抽出した低周波画像と高周波画像に対応するノィズ成分を使用して、多重解像度逆変換を行ない、前記原画像と同じ解像度を持つノィズ成分を生成し、

前記生成した原画像と同じ解像度を持つノイズ成分を使用して、前記原画像からノィズを除去した画像を生成する。

[15] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力し、

前記入力した原画像を、低！ヽ解像度を持つ低周波画像と高周波画像に分解し、前記分解した低い解像度を持つ低周波画像と高周波画像のノイズ信号を抽出するとともに、前記分解した低ヽ解像度を持つ低周波画像に対してノイズ除去処理を行い、

前記ノイズ除去処理を行った低、解像度を持つ低周波画像を、さらに低、解像度を持つ低周波画像と高周波画像に分解し、

前記分解したさらに低い解像度を持つ低周波画像と高周波画像のノイズ信号を抽出し、

前記抽出したさらに低い解像度を持つ低周波画像と高周波画像のノイズ信号を使用して、前記低い解像度を持つ低周波画像に対応するノイズ信号を合成し、前記合成した低い解像度を持つ低周波画像に対応するノイズ信号と前記抽出した低い解像度を持つ低周波画像と高周波画像のノイズ信号を使用して、前記原画像と同じ解像度を持つノイズ信号を合成し、

前記合成した前記原画像と同じ解像度を持つノイズ信号に基づき、前記原画像からノイズを除去した画像を得る。

[16] 画像に含まれるノイズを除去する画像処理方法であって、

複数の画素からなる原画像を入力し、

前記入力した原画像を、低！ヽ解像度を持つ低周波画像と高周波画像に分解し、前記分解した低!ヽ解像度を持つ低周波画像を、さらに低!ヽ解像度を持つ低周波画像と高周波画像に分解し、前記分解したさらに低い解像度を持つ低周波画像と高周波画像のノイズ信号を抽出し、

前記抽出したさらに低い解像度を持つ低周波画像と高周波画像のノイズ信号を使用して、前記低い解像度を持つ低周波画像に対応するノイズ信号を合成し、前記合成した低い解像度を持つ低周波画像に対応するノイズ信号と前記分解した低ヽ解像度を持つ低周波画像を使用して、前記低ヽ解像度を持つ低周波画像のノィズ信号を抽出するとともに、前記分解した低い解像度を持つ高周波画像のノイズ信号を抽出し、

前記抽出した低!ヽ解像度を持つ低周波画像と高周波画像のノイズ信号と、前記合成した低い解像度を持つ低周波画像に対応するノイズ信号とを使用して、前記原画像と同じ解像度を持つノイズ信号を合成し、

[17] 輝度成分と色差成分からなる画像に含まれるノイズを除去する画像処理方法であつて、

複数の画素からなる輝度成分の原画像および複数の画素からなる色差成分の原画像の各々を入力する画像入力手順と

前記輝度成分の原画像を分解して、逐次的に低い解像度を持つ 1つ以上の輝度成分の低周波画像と、逐次的に低い解像度を持つ 1つ以上の輝度成分の高周波画像を生成し、前記色差成分の原画像を分解して、逐次的に低い解像度を持つ 1っ以上の色差成分の低周波画像と、逐次的に低い解像度を持つ 1つ以上の色差成分の高周波画像を生成する多重解像度画像生成手順と、

前記輝度成分に関しては、少なくとも前記輝度成分の高周波画像に含まれるノイズを除去した結果に基づヽて、前記輝度成分の原画像カゝらノイズが除去された輝度成分の画像を得、前記色差成分に関しては、少なくとも前記色差成分の低周波画像に含まれるノイズを除去した結果に基づヽて、前記色差成分の原画像カゝらノイズが除去された色差成分の画像を得るノイズ除去手順とを有する。

[18] 請求項 17に記載の画像処理方法において、前記ノイズ除去手順は、更に

前記輝度成分に関しては、前記輝度成分の低周波画像に含まれるノイズを除去した結果

にも基づ、て、前記輝度成分の原画像力ノイズが除去された輝度成分の画像を得前記色差成分に関しては、前記色差成分の高周波画像に含まれるノイズを除去した結果にも基づ、て、前記色差成分の原画像からノイズが除去された色差成分の画像を得、

前記低周波画像のノイズ除去の程度と前記高周波画像のノイズ除去の程度を、前記輝度成分と前記色差成分の間で異ならせる。

[19] 請求項 18に記載の画像処理方法において、

前記ノイズ除去手順は、

前記輝度成分の場合は、前記高周波画像のノイズ除去の程度を前記低周波画像のノイズ除去の程度よりも強くし、

前記色差成分の場合は、前記低周波画像のノイズ除去の程度を前記高周波画像のノイズ除去の程度よりも強ぐあるいは、同程度にする。

[20] 請求項 18または 19に記載の画像処理方法において、

前記ノイズ除去手順は、更に

前記輝度成分の原画像に対してもノイズ除去処理を行!ヽ、前記輝度成分の原画像に対するノイズ除去処理の結果を前記輝度成分の低周波画像に含まれるノイズを除去した結果と同様に扱い、

前記色差成分の原画像に対してもノイズ除去処理を行!ヽ、前記色差成分の原画像に対するノイズ除去処理の結果を前記色差成分の低周波画像に含まれるノイズを除去した結果と同様に扱う。

[21] 輝度成分と色差成分からなる画像に含まれるノイズを除去する画像処理方法であつて、

複数の画素からなる輝度成分の原画像および複数の画素からなる色差成分の原画像の各々を入力する画像入力手順と前記輝度成分の原画像を分解して、逐次的に低い解像度を持つ 1つ以上の輝度成分の低周波画像と、逐次的に低い解像度を持つ 1つ以上の輝度成分の高周波画像を生成し、前記色差成分の原画像を分解して、逐次的に低い解像度を持つ 1っ以上の色差成分の低周波画像と、逐次的に低い解像度を持つ 1つ以上の色差成分の高周波画像を生成する多重解像度画像生成手順と、

前記輝度成分の低周波画像と高周波画像のそれぞれに含まれるノイズ成分を抽出して、各々に対応する輝度成分の低周波ノイズ画像と高周波ノイズ画像を生成し、前記生成した輝度成分の低周波ノイズ画像と高周波ノイズ画像に対して重みづけ処理を行ヽ、前記重みづけ処理を行った輝度成分の低周波ノイズ画像と高周波ノイズ画像を使用して逆多重解像度変換し、前記輝度成分の原画像と同じ解像度のノイズ信号に変換する輝度成分ノイズ信号変換手順と、

前記色差成分の低周波画像と高周波画像のそれぞれに含まれるノイズ成分を抽出して、各々に対応する色差成分の低周波ノイズ画像と高周波ノイズ画像を生成し、前記生成した色差成分の低周波ノイズ画像と高周波ノイズ画像に対して重みづけ処理を行ヽ、前記重みづけ処理を行った色差成分の低周波ノイズ画像と高周波ノイズ画像を使用して逆多重解像度変換し、前記色差成分の原画像と同じ解像度のノイズ信号に変換する色差成分ノイズ信号変換手順とを有し、

前記輝度成分と色差成分の間で異なる重みづけ処理を行う。

[22] 請求項 21に記載の画像処理方法にぉ、て、

前記輝度成分ノイズ信号変換手順は、前記輝度成分の高周波ノイズ画像の重みを前記低周波ノイズ画像の重みよりも大きく設定し、

前記色差成分ノイズ信号変換手順は、前記色差成分の低周波ノイズ画像の重みを前記高周波ノイズ画像の重みよりも大きぐあるいは、同程度に設定する。

[23] 請求項 21または 22に記載の画像処理方法において、

前記輝度成分ノイズ信号変換手順は、前記輝度成分の低周波画像と高周波画像の他に、前記輝度成分の原画像と同じ解像度を持つ実空間画像に含まれるノイズ成分も抽出して輝度成分の実空間ノイズ画像を生成し、前記生成した実空間ノイズ画像を前記低周波ノイズ画像と同様の重みづけを行って前記輝度成分の原画像と同じ解像度のノイズ信号を得、

前記色差成分ノイズ信号変換手順は、前記色差成分の低周波画像と高周波画像の他に、前記色差成分の原画像と同じ解像度を持つ実空間画像に含まれるノイズ成分も抽出して色差成分の実空間ノイズ画像を生成し、前記生成した実空間ノイズ画像を前記低周波ノイズ画像と同様の重みづけを行って前記色差成分の原画像と同じ解像度のノイズ信号を得る。

[24] 輝度成分と色差成分からなる画像に含まれるノイズを除去する画像処理方法であつて、

前記輝度成分の原画像を、複数の周波数帯域画像に変換し、前記変換した複数の周波数帯域画像で輝度成分のノイズ信号を抽出する輝度成分ノイズ抽出手順と前記色差成分の原画像を、複数の周波数帯域画像に変換し、前記変換した複数の周波数帯域画像で色差成分ノイズ信号を抽出する色差成分ノイズ抽出手順と前記複数の周波数帯域画像で抽出した前記輝度成分ノイズ信号を合成し、前記輝度成分の原画像と同じ周波数帯域内で表される 1つの輝度成分ノイズ信号に変換する輝度成分ノイズ合成手順と

前記複数の周波数帯域画像で抽出した前記色差成分ノイズ信号を合成し、前記色差成分の原画像と同じ周波数帯域内で表される 1つの色差成分ノイズ信号に変換する色差成分ノイズ合成手順とを有し、

前記輝度成分ノイズ合成手順と前記色差成分ノイズ合成手順は、異なる合成処理を行うことによって前記合成された輝度成分ノイズ信号と前記合成された色差成分ノィズ信号の周波数特性を異ならせる。

[25] 請求項 24に記載の画像処理方法にぉ、て、

前記複数の周波数帯域画像は、少なくとも

1)原画像の周波数帯域を低周波側に帯域制限した低周波画像と、

2)原画像の周波数帯域を高周波側に帯域制限した高周波画像と

を含む。 [26] 請求項 25に記載の画像処理方法にぉヽて、

前記輝度成分ノイズ合成手順および前記色差成分ノイズ合成手順は、それぞれ、複数の周波数帯域のノイズ信号の各々〖こ加重係数を掛けて加重合成を行、、前記輝度成分ノイズ合成手順は、前記輝度成分の高周波画像から抽出されたノィズ信号の加重係数を低周波画像カゝら抽出されたノイズ信号の加重係数よりも大きく設定し、

前記色差成分ノイズ合成手順は、前記色差成分の低周波画像カゝら抽出されたノィズ信号の加重係数を高周波画像カゝら抽出されたノイズ信号の加重係数よりも大きく設定する、あるいは、同程度に設定する。

[27] 輝度成分と色差成分からなる画像に含まれるノイズを除去する画像処理方法であつて、

前記輝度成分の原画像をフィルタリングして、少なくとも 1つの輝度成分の帯域制限画像を生成する輝度成分帯域制限画像生成手順と、

前記色差成分の原画像をフィルタリングして、少なくとも 1つの色差成分の帯域制限画像を生成する色差成分帯域制限画像生成手順と、

前記少なくとも 1つの輝度成分の帯域制限画像を用いて、輝度成分のノイズ信号を抽出

する輝度成分ノイズ信号抽出手順と、

前記少なくとも 1つの色差成分の帯域制限画像を用いて、色差成分のノイズ信号を抽出する色差成分ノイズ信号抽出手順と、

前記輝度成分のノイズ信号に基づヽて、前記輝度成分の原画像からノイズ成分を除去する輝度成分ノイズ除去手順と、

前記色差成分のノイズ信号に基づ!ヽて、前記色差成分の原画像からノイズ成分を除去する色差成分ノイズ除去手順とを有し、

前記輝度成分の帯域制限画像と前記色差成分の帯域制限画像の周波数帯域を異ならせる、あるいは、前記輝度成分の帯域制限画像と前記色差成分の帯域制限画像が同一の帯域幅でも通過周波数強度分布を異ならせるように前記フィルタリングのフィルタ特性を輝度成分と色差成分の間で変えることにより、前記抽出される輝度成分のノイズ信号と前記抽出される色差成分のノイズ信号の周波数特性を異ならせる。

[28] 請求項 27に記載の画像処理方法にぉ、て、

前記少なくとも 1つの輝度成分の帯域制限画像は高周波帯域画像であり、前記少なくとも 1つの色差成分の帯域制限画像は低周波帯域画像である。

[29] 請求項 27に記載の画像処理方法にぉ、て、

前記少なくとも 1つの輝度成分の帯域制限画像については高周波通過フィルタを用い、前記少なくとも 1つの色差成分の帯域制限画像については低周波通過フィルタを用 Vヽることにより、前記フィルタリングのフィルタ特性を輝度成分と色差成分の間で変える。

[30] 請求項 17から 23のいずれかに記載の画像処理方法において、

前記低周波画像と前記高周波画像は、

3)方向ウエーブレット変換における低周波成分と各方向毎の高周波成分の何れかに対応する。

[31] 請求項 30に記載の画像処理方法において、

2次元直交ウェーブレット変換を行って多重解像度画像を生成する場合、前記低周波画像は LLサブバンドに、前記高周波画像は LH、 HL、 HHサブバンドに各々対応する。

[32] 輝度成分と色差成分からなる画像に含まれるノイズを除去する画像処理方法であつて、

複数の画素からなる輝度成分の原画像および複数の画素からなる色差成分の原画像の各々を入力し、

前記入力した輝度成分の原画像を、多重解像度変換により解像度の異なる輝度成分低周波画像と輝度成分高周波画像を逐次生成し、前記入力した色差成分の原画像を、多重解像度変換により解像度の異なる色差成分低周波画像と色差成分高周波画像を逐次生成し、

前記生成した輝度成分低周波画像と輝度成分高周波画像を使用して輝度成分の低周波ノイズ成分と輝度成分の高周波ノイズ成分を抽出し、

前記生成した色差成分低周波画像と色差成分高周波画像を使用して色差成分の低周波ノイズ成分と色差成分の高周波ノイズ成分を抽出し、

前記輝度成分の原画像から除去するノイズを合成するとき、前記輝度成分の低周波ノイズ成分より前記輝度成分の高周波ノイズ成分を主に使用し、

前記色差成分の原画像から除去するノイズを合成するとき、前記色差成分の高周波ノイズ成分より前記色差成分の低周波ノイズ成分を主に使用する。

コンピュータ読み込み可能なコンピュータプログラム製品であって、

請求項 1から 32のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラムを有する。

画像処理装置であって、

請求項 1から 32のいずれかに記載の画像処理方法を実行する制御装置を有する。