JP5352942B2 - Image processing method, image processing program, and image processing apparatus - Google Patents
Image processing method, image processing program, and image processing apparatus Download PDFInfo
- Publication number
- JP5352942B2 JP5352942B2 JP2006096984A JP2006096984A JP5352942B2 JP 5352942 B2 JP5352942 B2 JP 5352942B2 JP 2006096984 A JP2006096984 A JP 2006096984A JP 2006096984 A JP2006096984 A JP 2006096984A JP 5352942 B2 JP5352942 B2 JP 5352942B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- noise
- frequency
- low
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 164
- 238000003672 processing method Methods 0.000 title claims description 28
- 238000000034 method Methods 0.000 claims abstract description 180
- 238000000605 extraction Methods 0.000 claims description 61
- 230000010354 integration Effects 0.000 claims description 42
- 230000015572 biosynthetic process Effects 0.000 claims description 23
- 238000003786 synthesis reaction Methods 0.000 claims description 23
- 230000002238 attenuated effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 53
- 238000006243 chemical reaction Methods 0.000 abstract description 27
- 238000001914 filtration Methods 0.000 abstract description 11
- 238000009499 grossing Methods 0.000 abstract description 6
- 230000010485 coping Effects 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 22
- 230000000694 effects Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 14
- 230000002146 bilateral effect Effects 0.000 description 12
- 239000000284 extract Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000153 supplemental effect Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 5
- 230000001066 destructive effect Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 239000002356 single layer Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000005251 gamma ray Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Abstract
Description
本発明は、画像に含まれるノイズを除去する画像処理方法に関する。 The present invention relates to an image processing method for removing noise contained in an image.
通常、画像に含まれるノイズ信号は高周波成分に含むと考えられ、原画像を低周波成分と高周波成分に分けて、高周波成分の値を±閾値内の範囲はゼロに落とす、いわゆるコアリングと呼ばれる技術が特許文献１によって示されている。また、それを多重解像度のウェーブレット変換やラプラシアン・ピラミッド表現への応用に発展させた技術が、非特許文献１〜４、特許文献２、３に示されている。
Normally, the noise signal included in the image is considered to be included in the high-frequency component, and the original image is divided into a low-frequency component and a high-frequency component, and the value of the high-frequency component is reduced to zero within the range within ± threshold, so-called coring The technique is shown in US Pat. Further,
非特許文献１〜３は、ウェーブレット変換係数のハイパス成分を閾値処理ないしは非線形閾値処理によりコアリングする、いわゆるウェーブレット縮退と呼ばれる技術に相当する。特許文献２、３は、ラプラシアン・ピラミッド表現されたハイパス成分（ガウシアンとラプラシアンに分解された中のラプラシアン成分）に対して、閾値近辺をなだらかに扱う非線形閾値処理によるコアリング技術が開示されている。
非特許文献４は、通常の直交ウェーブレット変換よりも幅広い方向特性や回転不変性に対応したステアラブル・ウェーブレット変換係数のハイパス成分に対して非線形閾値処理を行っている。また、このようなコアリングをアナログ回路で、トランジスタの応答帯域に制約がある中で複数のバンドパス帯域への分割をうまくこなしながら実現する方法を特許文献４は開示している。
Non-Patent
他方、このような多重解像度変換されたハイパス・サブバンドに含まれるノイズを、サブバンド係数自身の係数のみによって決めるのではなく、周辺画素のサブバンド係数との関係を見ながら除去していく方法が、特許文献５〜９に示されている。
On the other hand, a method of removing the noise included in the high-pass subband subjected to the multi-resolution conversion not by determining only the coefficient of the subband coefficient itself but by observing the relationship with the subband coefficient of the peripheral pixels. Are shown in
特許文献５では、ステアラブル・ウェーブレット変換された高周波サブバンドの係数を空間フィルタリングしてノイズ除去した後に、逆変換してノイズ除去画像を得る方法が開示されている。特許文献６では、ラプラシアン・ピラミッド表現された高周波サブバンドに対してオーダー・スタティスティックス・フィルタを掛ける方法が開示されている。
また、特許文献７では、ラプラシアンピラミッド表現の高周波サブバンド係数に含まれるノイズ信号を、周辺画素との状況を見た局所統計値とサブバンド内で共通の大局統計値に基づいて抽出して減衰させることによってノイズ除去する方法が開示されている。特許文献８では、LL成分を順次直交ウェーブレット変換して多重解像度分割されたサブバンドの内、低周波サブバンドLLを除く高周波サブバンドのLH,HL,HHに含まれるノイズ信号を抽出して、それらのノイズ信号を逆ウェーブレット変換して統合する処理が開示されている。
Further, in
これらとは対照的に、多重解像度変換の途中で一時的に生成される縮小画像、すなわち直交ウェーブレット変換の場合は低周波サブバンドLL成分に対して逐次的にノイズ除去を行う方法が特許文献９、１０に開示されている。
In contrast,
一方、上述のような通常の一般画像を扱う問題とは全く異なる、特定の分布構造のみを扱うガンマ線画像の分野では、一段階の解像度変換を直交ウェーブレット変換を用いて行って、LL,LH,HL,HHの中でノイズ成分をあまり含まないドミナント・サブバンドを選択して、それら対してはノイズ除去処理を行い、非ドミナント・サブバンドは完全にゼロに落とすコアリングを適用して再統合する手法が特許文献１１に開示されている。
On the other hand, in the field of gamma ray images that handle only a specific distribution structure, which is completely different from the problem of handling ordinary general images as described above, one-step resolution conversion is performed using orthogonal wavelet transform, and LL, LH, Select dominant subbands that do not contain much noise component in HL and HH, perform denoising for them, and re-integrate non-dominant subbands by applying coring that drops to zero. A technique to do this is disclosed in
これらのノイズ除去フィルタを用いる系統の概念とは異なる方法として、原画像をラプラシアン・ピラミッドの多重解像度サブバンド画像に分解をして、再統合する際にサブバンドに対して重みを掛けて原画像と異なる周波数特性を持った画像に変換することによって、ノイズ除去効果を得ようとする試みも非特許文献５に開示されている。
As a method different from the concept of the system using these denoising filters, the original image is decomposed into multi-resolution subband images of Laplacian pyramids and weighted to the subbands when re-integrating. Non-Patent
ただし、上述した直交ウェーブレット変換とは、2次元フィルタを一次元分離型フィルタとして直交する2方向のフィルタリングに表現できる変換を指し、双直交ウェーブレット変換を含む意味で用いている。以下で用いるときもその意味において使う。 However, the orthogonal wavelet transform described above refers to a transform that can be represented by two-way filtering that is orthogonal to a two-dimensional filter as a one-dimensional separation filter, and is used in a sense that includes a bi-orthogonal wavelet transform. It is also used in the meaning when used below.
しかしながら、従来の多重解像度変換された高周波サブバンドをノイズ除去する方式を実際のデジタル画像に適用した場合、突出点状のノイズや筋状構造のノイズが残留する問題があった。 However, when the conventional method of removing noise from the multi-resolution converted high-frequency subband is applied to an actual digital image, there is a problem that protruding point noise or streak-like noise remains.
一方、従来の低周波サブバンドを逐次的にノイズ除去する方式を適用した場合には、画像がのっぺりと平面的になりやすいという問題があるとともに、突出点状のノイズが残留するという問題もあった。また、比較的ノイズ成分を分離しやすいガンマ線画像は、基本的にエッジとノイズの分離が難しい一般画像と性質が異なるため、単純な適用は難しいという課題があった。更に、原画像を等価表現した多重解像度サブバンド画像を加重統合するだけでは、画像の空間的な局所変化を観察していないために高精細なノイズ除去効果が得られない恐れもあった。 On the other hand, when the conventional method of removing noise from the low frequency subbands is applied, there is a problem that the image tends to be flat and the protruding point noise remains. It was. In addition, a gamma ray image that is relatively easy to separate noise components is different in nature from a general image in which separation of edges and noise is basically difficult, so that there is a problem that simple application is difficult. Furthermore, there is a possibility that a high-definition noise removal effect cannot be obtained simply by weighted integration of multi-resolution subband images representing equivalent representations of the original image because no spatial local changes in the image are observed.
請求項１の発明は、画像に含まれるノイズを除去する画像処理方法であって、複数の画素からなる原画像を入力する画像入力手順と、 前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、前記低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高い解像度の低周波画像と同じ解像度を持つ１つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、更に１つのノイズ画像に統合するノイズ統合手順と、前記統合されたノイズ画像に基づいて、原画像に含まれるノイズを除去するノイズ除去手順と、を有し、前記原画像が輝度成分からなる場合は、前記高周波ノイズ画像に対して前記低周波ノイズ画像を減衰させて統合することを特徴とする。
請求項２の発明は、画像に含まれるノイズを除去する画像処理方法であって、複数の画素からなる原画像を入力する画像入力手順と、 前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、前記低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高い解像度の低周波画像と同じ解像度を持つ１つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、更に１つのノイズ画像に統合するノイズ統合手順と、前記統合されたノイズ画像に基づいて、原画像に含まれるノイズを除去するノイズ除去手順と、を有し、前記原画像が色差成分からなる場合は、前記低周波ノイズ画像に対して前記高周波ノイズ画像を減衰させて統合することを特徴とする。
請求項３の発明は、画像に含まれるノイズを除去する画像処理方法であって、複数の画素からなる原画像を入力する画像入力手順と、前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、前記低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高い解像度の低周波画像と同じ解像度を持つ１つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、１つの新たな低周波ノイズ画像に統合するノイズ統合手順と、前記ノイズ統合手順で生成された新たな低周波ノイズ画像を、前記ノイズ統合手順の低周波ノイズ画像として代入し、最終的に生成される新たな低周波ノイズ画像が原画像と同じ解像度を持つ１つのノイズ画像になるまで、逐次的に前記ノイズ統合手順の統合処理を繰り返すノイズ統合繰り返し手順と、前記ノイズ統合手順と前記ノイズ統合繰り返し手順で統合されたノイズ画像に基づいて、前記原画像に含まれるノイズを除去するノイズ除去手順と、を有し、前記原画像が輝度成分からなる場合は、前記高周波ノイズ画像に対して前記低周波ノイズ画像を減衰させて統合することを特徴とする。
請求項４の発明は、画像に含まれるノイズを除去する画像処理方法であって、複数の画素からなる原画像を入力する画像入力手順と、前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、前記低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高い解像度の低周波画像と同じ解像度を持つ１つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、１つの新たな低周波ノイズ画像に統合するノイズ統合手順と、前記ノイズ統合手順で生成された新たな低周波ノイズ画像を、前記ノイズ統合手順の低周波ノイズ画像として代入し、最終的に生成される新たな低周波ノイズ画像が原画像と同じ解像度を持つ１つのノイズ画像になるまで、逐次的に前記ノイズ統合手順の統合処理を繰り返すノイズ統合繰り返し手順と、前記ノイズ統合手順と前記ノイズ統合繰り返し手順で統合されたノイズ画像に基づいて、前記原画像に含まれるノイズを除去するノイズ除去手順と、を有し、前記原画像が色差成分からなる場合は、前記低周波ノイズ画像に対して前記高周波ノイズ画像を減衰させて統合することを特徴とする。
請求項５の発明は、画像に含まれるノイズを除去する画像処理方法であって、複数の画素からなる原画像を入力する画像入力手順と、前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、前記低周波画像と前記高周波画像の各々に含まれるノイズ成分を抽出するノイズ抽出手順と、前記抽出された低周波画像と前記抽出された高周波画像の双方のノイズ成分に基づいて、前記原画像の各画素に含まれるノイズ信号を推定するノイズ推定手順とを有し、前記原画像が輝度成分からなる場合は、前記高周波ノイズ画像に対して前記低周波ノイズ画像を減衰させることを特徴とする。
請求項６の発明は、画像に含まれるノイズを除去する画像処理方法であって、複数の画素からなる原画像を入力する画像入力手順と、前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、前記低周波画像と前記高周波画像の各々に含まれるノイズ成分を抽出するノイズ抽出手順と、前記抽出された低周波画像と前記抽出された高周波画像の双方のノイズ成分に基づいて、前記原画像の各画素に含まれるノイズ信号を推定するノイズ推定手順とを有し、前記原画像が色差成分からなる場合は、前記低周波ノイズ画像に対して前記高周波ノイズ画像を減衰させることを特徴とする。
請求項７の発明は、請求項５または６に記載の画像処理方法において、前記ノイズ推定手順で推定されたノイズ信号に基づいて、原画像に含まれるノイズを除去するノイズ除去手順を更に有することを特徴とする。
請求項８の発明は、請求項１〜７に記載の画像処理方法において、前記低周波画像と前記高周波画像は、１）直交ウェーブレット変換における低周波成分と高周波成分、２）ラプラシアン・ピラミッド表現におけるガウシアン成分とラプラシアン成分、３）方向ウェーブレット変換における低周波成分と各方向毎の高周波成分、の何れかに対応することを特徴とする。
請求項９の発明は、請求項８に記載の画像処理方法において、２次元直交ウェーブレット変換を行って多重解像度画像を生成する場合、前記低周波画像はLLサブバンドに、前記高周波画像はLH、HL、HHサブバンドに対応することを特徴とする。
請求項１０の発明は、画像処理プログラムに適用され、請求項１〜９のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させることを特徴とする。
請求項１１の発明は、画像処理装置に適用され、請求項１０に記載の画像処理プログラムを搭載することを特徴とする。
The invention of
The invention of
The invention according to
The invention of
The invention according to
The invention according to
According to a seventh aspect of the present invention, in the image processing method according to the fifth or sixth aspect, the image processing method further includes a noise removal procedure for removing noise included in the original image based on the noise signal estimated by the noise estimation procedure. It is characterized by.
The invention according to claim 8 is the image processing method according to any one of
According to a ninth aspect of the present invention, in the image processing method according to the eighth aspect, when a multi-resolution image is generated by performing a two-dimensional orthogonal wavelet transform, the low-frequency image is in an LL subband, and the high-frequency image is LH, It corresponds to HL and HH subbands .
The invention of
The invention of
本発明は、以上説明したように構成しているので、ノイズ抽出に最適な周波数空間でノイズ抽出を行うことが可能となり、抽出しきれない残留ノイズの問題がなくなり、高精細なノイズ除去を可能とする。 Since the present invention is configured as described above, it is possible to perform noise extraction in a frequency space that is optimal for noise extraction, eliminating the problem of residual noise that cannot be extracted, and enabling high-definition noise removal. And
（基本的考え）
まず初めに、実施の形態に述べるアルゴリズムを採る必要性が生じた背景や理由、及びそれに対処する方法の基本的考えについて説明する。
(Basic idea)
First, the background and reason for the necessity of adopting the algorithm described in the embodiment, and the basic idea of a method for dealing with it will be described.
多重解像度表現を利用した従来技術は、既に述べたように大きく分けて2種類に分類される。多重解像度表現法には、直交ウェーブレット変換やラプラシアン・ピラミッド表現、さらにはステアラブル・ウェーブレット変換やDCTピラミッド表現といった各種の表現方法が存在する。しかし、何れも相互対応関係は公知文献等により明らかであるので、簡単のため直交ウェーブレット変換を例にとって説明する。 Prior art using multi-resolution representation is roughly classified into two types as described above. There are various representation methods such as orthogonal wavelet transform and Laplacian pyramid representation, and steerable wavelet transform and DCT pyramid representation. However, in any case, the mutual correspondence is clear from publicly known documents and the like, and for the sake of simplicity, explanation will be made by taking orthogonal wavelet transform as an example.
1つ目の種類は、直交ウェーブレット変換された高周波側サブバンド(LH,HL,HH)に対してノイズ除去を加えていく方式である。2つ目の種類は、直交ウェーブレット変換された低周波サブバンド(LL)に対して逐次的にノイズ除去を加えていく方式である。 The first type is a method of adding noise removal to high-frequency side subbands (LH, HL, HH) subjected to orthogonal wavelet transform. The second type is a method in which noise removal is sequentially applied to the low-frequency subband (LL) subjected to orthogonal wavelet transform.
カラー画像のノイズ除去は、通常、輝度面と色差面に分けて各々にノイズ除去を行い、輝度面に対するノイズ除去はザラツキノイズを抑制し、色差面に対するノイズ除去は色斑ノイズを抑制する役割を果たす。 Noise removal from a color image is usually performed by dividing the luminance surface and the color difference surface separately, noise removal on the luminance surface suppresses rough noise, and noise removal on the color difference surface plays a role of suppressing color spot noise. Fulfill.
実験的にこれらの2種類のアルゴリズムを輝度・色差表現されたカラー画像に対して適用してみた結果、次のようなことが判明した。色差成分に対するノイズ除去は、高周波サブバンドに対してノイズ除去を加えて行く方式よりもむしろ低周波サブバンドに対して逐次的にノイズ除去を加えていく方式のほうが、色斑ノイズ除去効果と色構造保存の両立の観点で好ましいことが判明した。すなわち、色差成分の高周波側サブバンドに対するノイズ除去は、色境界滲みを引き起こしやすい欠点がある。他方の低周波側サブバンドに対するノイズ除去は色境界滲みを起こしにくい性質がある。 As a result of experimentally applying these two kinds of algorithms to color images expressed with luminance and color differences, the following was found. For noise removal for color difference components, the method of adding noise removal to low-frequency subbands sequentially rather than the method of adding noise removal to high-frequency subbands is more effective in removing color spot noise and color. It was found that it is preferable from the viewpoint of coexistence of structure preservation. In other words, noise removal for the high frequency side subband of the color difference component has a drawback that color boundary bleeding is likely to occur. The noise removal for the other low frequency side sub-band has the property of hardly causing color boundary bleeding.
一方、輝度成分に対するノイズ除去は、低周波成分に対して逐次的にノイズ除去を加えていく方式よりも高周波サブバンドに対してノイズ除去を加えていく方式のほうが明らかに優れるということが判明した。すなわち、輝度成分の低周波サブバンドに対する逐次的なノイズ除去は、階調性を失い2値化されたようなぺったりとした画像が出来やすい欠点がある。他方の高周波サブバンドに対するノイズ除去は階調性を失わず、テキスチャ等の画像構造をよく保存する性質がある。 On the other hand, it was found that the method of removing noise for high frequency subbands is clearly superior to the method of removing noise for luminance components sequentially than the method of removing noise sequentially for low frequency components. . In other words, the sequential noise removal for the low-frequency subbands of the luminance component has a drawback that it is easy to produce a full-blown image that loses gradation and is binarized. The noise removal for the other high-frequency subband has the property of preserving the image structure such as texture without losing the gradation.
このような輝度と色差成分の間の特徴の違いは、恐らく、輝度面と色差面が有する画像構造の周波数的特徴の違いが起因していて、そのノイズ成分を分離するのに最適な周波数空間が異なっていることから生じていると考えられる。 This difference in characteristics between the luminance and chrominance components is probably due to the difference in the frequency characteristics of the image structure of the luminance and chrominance planes, which is the optimal frequency space for separating the noise components. It is thought that this is caused by the difference.
そこで、輝度成分に対しては従来の高周波サブバンドに対するノイズ除去を行い、色差成分に対しては従来の低周波サブバンドに対する逐次的なノイズ除去を行う方式を採用した。しかし、その結果、各々のノイズ除去フィルタとして如何に優れたedge-preserving smoothing filterを用いても、輝度成分には平坦部で筋状やチェックパターン状のノイズ成分が残存し、色差成分には突出点状の色ノイズが、とりわけ色境界部付近で多く残存するという問題があるということが判明した。 Therefore, a method is adopted in which noise is removed from the conventional high-frequency subband for the luminance component and sequential noise removal is applied to the conventional low-frequency subband for the color difference component. However, as a result, no matter how excellent the edge-preserving smoothing filter is used as each noise removal filter, the noise component remains as a streaky or check pattern noise component in the flat portion in the luminance component, and the color difference component is prominent. It has been found that there is a problem that a large amount of dot-like color noise remains particularly near the color boundary portion.
図１５は、多重解像度表現した高周波サブバンドと低周波サブバンドのカバーする周波数帯域の模式図である。図１５を見ながら、上述の問題をまず輝度成分に関して考察してみる。原画像は、最低解像度の低周波サブバンドと各解像度の高周波サブバンドで表現するだけで完全に再構築できるため、高周波サブバンドのみをノイズ除去するだけで全周波数帯域のノイズ成分を表面的にはカバーしているように見える。しかし、異なる解像度の高周波成分に順次に遷移していった場合に、異なる解像度の階層間で重なり合う周波数帯域の強度が小さい部分は、ノイズ成分としては十分に抽出しきれない恐れがあることが大きな原因と考えられる。 FIG. 15 is a schematic diagram of frequency bands covered by a high-frequency subband and a low-frequency subband expressed in multiple resolutions. With reference to FIG. 15, the above problem is first considered with respect to the luminance component. Since the original image can be completely reconstructed simply by representing the lowest resolution low frequency subband and each resolution high frequency subband, the noise components of the entire frequency band can be superficially simply by removing noise from only the high frequency subband. Seems to cover. However, when there is a sequential transition to high-frequency components with different resolutions, there is a risk that portions with low intensity in the frequency bands that overlap between layers with different resolutions may not be fully extracted as noise components. Possible cause.
一方の色差成分に関しても同様に、低周波サブバンドのみをノイズ除去するだけでこちらも全周波数帯域のノイズ成分を表面的にはカバーしているように見える。しかし、突出点状のノイズは、原画像を低周波成分と高周波成分に分解していく中で、主に高周波成分側の信号として認知されるため、高周波成分側に流れたノイズ成分が残存し続けることが要因と考えられる。 Similarly, with respect to one color difference component, it seems that the noise component of the entire frequency band is covered on the surface only by removing noise from only the low frequency subband. However, protruding point noise is mainly recognized as a signal on the high frequency component side as the original image is decomposed into a low frequency component and a high frequency component, so that the noise component that flows on the high frequency component side remains. Continued is considered a factor.
ここで述べた逆のことが、輝度成分と色差成分のノイズを抽出するのに適した周波数空間の違いが生じる要因になっていることが推察できるであろう。すなわち、実験的に得られた知見から、単チャンネルで扱う実空間面や多チャンネルで扱う多重解像度表現における低周波側サブバンドの平滑化フィルタリング処理は、階調性を失ってフィルタリング範囲内の平均的値に階調を揃える方向に働くという事実が一般的に判明した。 It can be inferred that the reverse described here is a factor causing a difference in frequency space suitable for extracting the noise of the luminance component and the color difference component. In other words, from the experimentally obtained knowledge, the smoothing filtering processing of the low frequency side subband in the real space surface handled by a single channel and the multi-resolution representation handled by a multi-channel has lost the gradation and the average within the filtering range. The fact that it works in the direction of aligning the gradation to the target value was generally found.
その事実を踏まえて考えると、輝度成分には画像構造の大部分のエッジ成分が投影され、ノイズ成分も多くは高周波サブバンド側に流入しやすい。そのような状況のなかで低周波サブバンド側で無理にノイズ成分を抽出しようとしてもうまく行かず、階調性を失ってしまう弊害が出やすい。 Considering this fact, most of the edge components of the image structure are projected on the luminance component, and many noise components tend to flow into the high frequency subband side. In such a situation, trying to forcibly extract the noise component on the low frequency sub-band side does not work well, and it is easy to cause an adverse effect of losing the gradation.
一方の色差成分には、広範囲領域で緩やかな振る舞いをする大局的な色情報を表す画像成分が投影されやすく、激しく変動する色テキスチャは一般的に少ないと考えられているのが普通である。したがって、ノイズ成分も低周波側で分離しやすいという輝度成分とは逆の対応関係が成り立つ。ただし、ノイズ成分のゆらぎ情報は高周波サブバンドにも流入しやすいという一般的事実と、色テキスチャの多い画像にも対処するためには、高周波サブバンド側でもノイズ成分を分離することも考えなければならない。 On the other hand, an image component representing global color information that behaves gently in a wide area is easily projected as one color difference component, and it is generally considered that there are generally few color textures that vary drastically. Therefore, a correspondence relationship opposite to the luminance component is established in which the noise component is easily separated on the low frequency side. However, in order to deal with the general fact that noise component fluctuation information easily flows into high-frequency subbands and images with a lot of color texture, it is necessary to consider separating noise components on the high-frequency subband side as well. Don't be.
したがって、これらの問題に対処するため、本実施形態では、高周波サブバンドと低周波サブバンドの両方のサブバンドからノイズ成分を抽出することにより、上記ノイズ除去に用いたサブバンドとは共役なサブバンドからノイズの取りこぼし成分を拾い上げる対策を講じる。この共役なサブバンドは、輝度成分の場合は低周波サブバンドに相当し、色差成分の場合は高周波サブバンドに相当する。 Therefore, in order to deal with these problems, in the present embodiment, by extracting noise components from both the high-frequency subband and the low-frequency subband, the subband used for the noise removal is a conjugate subband. Take measures to pick up noise components from the band. This conjugate subband corresponds to a low-frequency subband in the case of a luminance component, and corresponds to a high-frequency subband in the case of a color difference component.
ところが、上述したように共役なサブバンド成分に対してノイズ除去を行うと画像構造破壊の影響が大きいという実験事実があるため、単純な方法では導入できない。そこで、ノイズ成分の抽出と実際のノイズ除去を切り離して考え、実際のノイズ除去における共役なサブバンドの役割は基本的には補足的に扱うことによって画像構造の破壊を防ぐ。 However, as described above, there is an experimental fact that if the noise removal is performed on the conjugate sub-band component, the influence of the image structure destruction is large, so it cannot be introduced by a simple method. Therefore, the extraction of the noise component and the actual noise removal are considered separately, and the role of the conjugate subband in the actual noise removal is basically handled supplementarily to prevent the image structure from being destroyed.
すなわち、実際のノイズ除去において、輝度成分は高周波側サブバンドを主要バンドとし低周波側サブバンドを補足バンドと位置づけたノイズ除去を行い、色差成分は低周波側サブバンドを主要バンドとし高周波側サブバンドを補足バンドと位置づけたノイズ除去を行う。ただし、色差成分の場合は、ノイズ除去フィルタが高性能であれば主要バンドと補足バンドの役割の区別は輝度成分ほど強める必要はなく、同等レベル程度に扱ってもよいというのが、実験的に得られた知見である。これは、恐らく先程述べた輝度面と色差面の画像構造の特徴の違いと帯域間のノイズ成分の流入特性を組み合わせた総合的特性の違いが、輝度面と色差面のそれぞれのノイズ除去に最適な周波数投影空間の存在を示す表れだと思われる。 In other words, in the actual noise removal, the luminance component is noise removed with the high frequency side subband as the main band and the low frequency side subband as the supplemental band, and the color difference component is the low frequency side subband as the main band and the high frequency side subband. Perform noise removal by positioning the band as a supplemental band. However, in the case of color difference components, if the noise removal filter has high performance, the distinction between the roles of the main band and the supplemental band does not need to be strengthened as much as the luminance component, and may be handled at the same level. This is the knowledge obtained. This is probably because the difference in overall characteristics combining the difference in image structure between the luminance plane and the color difference plane and the inflow characteristics of noise components between the bands described above is optimal for noise removal on the luminance plane and the color difference plane. It seems to be an indication of the existence of a simple frequency projection space.
しかしながら、補足バンドにおけるノイズ除去の程度を弱い目にすると、先程から述べている残留ノイズ成分を補足バンド自身からうまく抽出しきれないという問題に今度は直面することになる。しかし、このようなサブバンド間の役割分担は実際のノイズ除去において適用すればよいことであって、本発明においてはノイズ抽出とノイズ除去の概念を分離して扱う方式を導入するので、ノイズ抽出のためだけに扱うのであれば、正確なノイズ抽出が可能になるレベルまで仮想的にサブバンド画像をいくら破壊しても構わないという新たな考え方を導入することができる。すなわち、ノイズ抽出のための仮想的なノイズ除去と実際のノイズ除去処理を行うためのノイズ除去という２種類のノイズ除去の概念を導入する。 However, if the degree of noise removal in the supplementary band is weak, the problem that the residual noise component described above cannot be successfully extracted from the supplementary band itself will now be faced. However, such division of roles between subbands may be applied in actual noise removal, and the present invention introduces a system that handles the concept of noise extraction and noise removal separately, so noise extraction Therefore, it is possible to introduce a new idea that the subband image can be virtually destroyed to a level that enables accurate noise extraction. That is, two types of noise removal concepts are introduced: virtual noise removal for noise extraction and noise removal for performing actual noise removal processing.
こうして、残留ノイズである輝度の筋状ノイズは低周波画像の中で画像構造と明確に区別して抽出しやすくなる環境が整い、色差の突出点状ノイズは高周波画像の中で画像構造と明確に区別して抽出しやすくなる環境が整ったことになる。 In this way, the luminance streak noise, which is residual noise, is clearly distinguished from the image structure in the low-frequency image so that it can be easily extracted, and the protruding point noise of the color difference is clearly defined as the image structure in the high-frequency image. An environment that makes it easy to distinguish and extract is ready.
仮想的なノイズ除去を利用してさらに正確なノイズ抽出を可能とするために、低周波画像と高周波画像の各々のサブバンド面から独立にノイズ成分を抽出するのではなく、異なる解像度レベル間で相互に依存させて抽出する方式を採用する。すなわち、本実施の形態では、解像度レベルの異なる上層ないしは下層のサブバンド画像を、仮想的に画像構造を壊してでもノイズフリーになるほど強力にノイズ除去し、さらにその結果を現時点で対象となる解像度レベルのサブバンドに対して反映させ、逐次的に解像度レベルを変えながらノイズ抽出してゆく方式を採用する。 In order to enable more accurate noise extraction using virtual noise removal, noise components are not extracted independently from each subband plane of the low-frequency image and high-frequency image, but between different resolution levels. A method of extraction depending on each other is adopted. That is, in the present embodiment, the upper or lower subband images having different resolution levels are powerfully noise-removed so as to be noise-free even if the image structure is virtually broken, and the result is the resolution currently targeted. A method of extracting noise while changing the resolution level sequentially is applied to the subband of the level.
逐次的に解像度レベルを変えながらノイズ抽出してゆく方式は、低周波側サブバンドのみについては、従来技術の米国特許第6,937,772号明細書、ないしは特開2000-224421号公報で導入された技術である。しかし、高周波側サブバンドを主体としたノイズ除去や、低周波側と高周波側の両方を用いる新たな状況下で有効に作用させるために、その方法について以下の実施の形態において説明する。 The method of extracting noise while sequentially changing the resolution level is a technique introduced in US Pat. No. 6,937,772 of the prior art or JP-A-2000-224421 for only the low frequency side subband. is there. However, the method will be described in the following embodiments in order to effectively operate under a new situation in which noise removal mainly using the high frequency side subband and both the low frequency side and the high frequency side are used.
ここで具体的に逐次的ノイズ除去の効果について述べておくと、高周波バンドと低周波バンドの両成分を用いるとき、主に補足バンドにおけるノイズ抽出能力向上に一役を担う。すなわち、輝度成分の場合は、低周波側の補足バンドに含まれる縦横筋やチェックパターン状のノイズを漏れなく抽出することに役立ち、色差成分の場合は、高周波側の補足バンドに含まれる突出点状のノイズを漏れなく抽出することに役立つ。 Here, the effect of the sequential noise removal will be specifically described. When both components of the high frequency band and the low frequency band are used, it mainly plays a role in improving the noise extraction capability in the supplemental band. That is, in the case of the luminance component, it helps to extract the vertical and horizontal streaks and check pattern noise included in the supplemental band on the low frequency side without omission, and in the case of the color difference component, the protruding point included in the supplemental band on the high frequency side. This is useful for extracting noise without leakage.
輝度成分において残留ノイズ成分の特徴が縦横筋やチェックパターン状になるのは、ある意味において処理の冗長性(overcompleteness)の少ない直交ウェーブレット変換を2次元分離型フィルタとして用いていることも間接的に関与している。このような特定の方向性をなくす試みとして多重解像度変換に多数の方向に関して高周波バンドを生成していくステアラブル・ウェーブレットを用いるといった方法等が存在する。 The characteristic of the residual noise component in the luminance component is in the form of vertical and horizontal streaks and check patterns. In a sense, the orthogonal wavelet transform with less processing redundancy is used as a two-dimensional separation filter indirectly. Is involved. As an attempt to eliminate such specific directionality, there is a method of using a steerable wavelet that generates high-frequency bands in many directions for multi-resolution conversion.
しかし、方向性を増やした分だけ処理すべきノイズ除去面が増え、保持すべきメモリも増えるという処理の飛躍的な増大面から見て導入がはばかられる。これに代替する技術として、ある意味で逐次的ノイズ除去が簡略性を維持した有効な解決の糸口を与え、低周波サブバンドと高周波サブバンドを同時に考慮した逐次方式が更にその有効性を高める。 However, the introduction is difficult in view of the dramatic increase in processing, in which the noise removal surface to be processed increases by the amount of increased directionality, and the memory to be held increases. As an alternative technique, in some sense, sequential noise removal provides an effective solution clue that maintains simplicity, and a sequential method that simultaneously considers low-frequency subbands and high-frequency subbands further increases its effectiveness.
ただし、本実施の形態で示すその効果は、直交ウェーブレット変換に留まらず、ラプラシアン・ピラミッド表現やステアラブル・ウェーブレット変換等を用いた多重解像度表現におけるノイズ除去においても、それぞれが弱点とする多重解像度変換フィルタ特性の機能をカバーする意味において、有効に機能する技術である。 However, the effect shown in the present embodiment is not limited to the orthogonal wavelet transform, and multi-resolution transform filters each having a weak point in noise removal in multi-resolution representation using Laplacian pyramid representation, steerable wavelet transform, etc. It is a technology that functions effectively in the sense of covering the functions of the characteristics.
仮想的ノイズ除去を解像度レベル間で逐次的に反映させていく順序として、解像度を低いほうに分解しながら行う方式と、解像度を高いほうに統合しながら行う方式の2種類が考えられる。本実施の形態では、前者を「Analysis逐次」と命名し、後者を「Synthesis逐次」と命名する。 There are two types of order in which virtual noise removal is sequentially reflected between resolution levels: a method in which resolution is decomposed to a lower level and a method in which resolution is integrated to a higher level. In the present embodiment, the former is named “Analysis sequential” and the latter is named “Synthesis sequential”.
「Analysis」は、画像データを解像度の低い多重解像度のデータに分解していくことに相当し、「Synthesis」は、分解された多重解像度のデータを元の高い解像度のデータに統合（合成）していくことに相当する。ウェーブレット変換で言えば、「Analysis」はウェーブレット変換に相当し、「Synthesis」は逆ウェーブレット変換に相当する。以下、「Analysis逐次」の方式を第１の実施の形態で説明し、「Synthesis逐次」の方式を第２の実施の形態で説明する。 “Analysis” is equivalent to decomposing image data into low-resolution multi-resolution data. “Synthesis” integrates (synthesizes) the decomposed multi-resolution data into the original high-resolution data. It is equivalent to going. In terms of wavelet transform, “Analysis” corresponds to wavelet transform, and “Synthesis” corresponds to inverse wavelet transform. Hereinafter, the “Analysis sequential” method will be described in the first embodiment, and the “Synthesis sequential” method will be described in the second embodiment.
（第１の実施の形態）
図１は、本発明の実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１により実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。
(First embodiment)
FIG. 1 is a diagram showing an image processing apparatus according to an embodiment of the present invention. The image processing apparatus is realized by the
パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。パーソナルコンピュータ１は、ＣＰＵ（不図示）およびその周辺回路（不図示）から構成され、ＣＰＵがインストールされたプログラムを実行する。
A program executed by the
以下、パーソナルコンピュータ１が実行する画像処理について説明する。図２は、パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。ステップＳ１では、線形RGB画像データを入力する。ステップＳ２では、均等色・均等ノイズ空間に変換する。ステップＳ３では、ノイズ除去処理をする。ステップＳ４では、色空間を逆変換する。ステップＳ５では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。
Hereinafter, image processing executed by the
[1]色空間変換
ステップＳ１では、光強度に線形な階調のRGBカラー画像データを入力する。ステップＳ２では、ノイズを階調に対して均等化する均等ノイズ空間に変換して、ノイズ除去の行いやすい状態にする。ここでは、更に発展させた均等色性と均等ノイズ性を同時に実現する均等色・均等ノイズ空間に変換し、ノイズ除去効果と色再現性保持の両立を図る。
[1] Color space conversion In step S1, RGB color image data having a linear gradation with respect to the light intensity is input. In step S2, the noise is converted into a uniform noise space that equalizes the gray level so that noise can be easily removed. Here, it is converted into a uniform color / uniform noise space that simultaneously realizes the further developed uniform color property and uniform noise property to achieve both a noise removal effect and color reproducibility retention.
この均等色・均等ノイズ空間の画像処理空間は、本出願の発明者と同一発明者の特願2004-365881号に記載されているので、詳細は特願2004-365881号を参照することとし、以下、sRGB入力画像データを一例に挙げて説明する。ただし、sRGB画像のようなガンマ補正がなされた画像は、ガンマ補正を解いて線形階調に戻した状態にしてから始める。 Since the image processing space of this uniform color / uniform noise space is described in Japanese Patent Application No. 2004-365881 of the same inventor as the inventor of the present application, for details, refer to Japanese Patent Application No. 2004-365881, Hereinafter, sRGB input image data will be described as an example. However, an image that has been subjected to gamma correction, such as an sRGB image, starts after the gamma correction is solved and returned to a linear gradation.
まず、線形階調RGB値をXYZ値に変換する。すなわち、XYZ表色系空間に変換する。これはRGB原刺激の分光特性で決まる3x3行列変換により実施する。例えば、sRGB入力画像に対しては、以下のような規格通りの変換を行う。
X=0.4124*R+0.3576*G+0.1805*B ...(1)
Y=0.2126*R+0.7152*G+0.0722*B ...(2)
Z=0.0193*R+0.1192*G+0.9505*B ...(3)
First, linear gradation RGB values are converted into XYZ values. That is, it converts to the XYZ color system space. This is done by 3x3 matrix transformation determined by the spectral characteristics of RGB original stimulus. For example, the sRGB input image is converted according to the following standard.
X = 0.4124 * R + 0.3576 * G + 0.1805 * B ... (1)
Y = 0.2126 * R + 0.7152 * G + 0.0722 * B ... (2)
Z = 0.0193 * R + 0.1192 * G + 0.9505 * B ... (3)
次に、次式により、XYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ変換する。ここで定義するL^a^b^空間は、従来のいわゆる均等色空間L*a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にL^a^b^と名付けたものである。
L^=100*f(Y/Y0) ...(4)
a^=500*[f(X/X0)-f(Y/Y0)] ...(5)
b^=200*[f(Y/Y0)-f(Z/Z0)] ...(6)
Next, the following equation is used to convert from the XYZ space to the L ^ a ^ b ^ space with non-linear tones that represent the perceptual attributes distributed in a pseudo uniform color. The L ^ a ^ b ^ space defined here is a modified version of the conventional so-called uniform color space L * a * b * in consideration of uniform noise. It is named b ^.
L ^ = 100 * f (Y / Y0) ... (4)
a ^ = 500 * [f (X / X0) -f (Y / Y0)] ... (5)
b ^ = 200 * [f (Y / Y0) -f (Z / Z0)] ... (6)
ここに、X0,Y0,Z0は照明光によって定まる値であり、例えば、標準光D65下で2度視野の場合、X0=95.045、Y0=100.00、Z0=108.892のような値をとる。また、非線形階調変換関数f(t)は以下の式で定義する。この関数f(t)の特性により均等ノイズ化を実現する。ただし、変数tはｔ=(Y/Y0),t=(X/X0),t=(Z/Z0)であり、0≦(Y/Y0)≦1,0≦(X/X0)≦1,0≦(Z/Z0)≦1となるようにXYZ値の階調数の最大値で規格化された値をとる。
なお、原点と飽和点を規格化する必要がある場合は、以下の式を用いる。
[2]ノイズ除去
次に、ステップＳ３のノイズ除去処理について説明する。図３は、輝度成分（輝度信号）の処理の流れ図を示す図であり、図４は、色差成分（色差信号）の処理の流れ図を示す図である。ただし、図４は、後述するように、図３の輝度成分の処理の流れ図と異なるところを抽出して図示している。
[2] Noise Removal Next, the noise removal processing in step S3 will be described. FIG. 3 is a diagram illustrating a flowchart of processing of the luminance component (luminance signal), and FIG. 4 is a diagram illustrating a flowchart of processing of the color difference component (color difference signal). However, FIG. 4 shows an extracted portion different from the flow chart of the luminance component processing of FIG. 3 as will be described later.
[2-1]多重解像度変換について
図３、図４は、５段のウェーブレット変換を用いて多重解像度変換した図に相当するが、入力する原画像のサイズに応じて増減させてよい。通常は、この程度の段数を採れば問題とするノイズ成分の周波数帯域をほぼ網羅することができる。
[2-1] Multi-resolution conversion FIGS. 3 and 4 correspond to diagrams in which multi-resolution conversion is performed using a five-stage wavelet transform, but may be increased or decreased according to the size of an input original image. Normally, if this number of stages is adopted, the frequency band of the noise component in question can be almost covered.
[2-1-1]ウェーブレット変換：Analysis/Decompositionプロセス
ウェーブレット変換とは、画像データを周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。本実施の形態では、5/3フィルタを用いて上述のように5段のウェーブレット変換をする。5/3フィルタは、ローパス成分をタップ数５（１次元５画素）のフィルタで生成し、ハイパス成分をタップ数３（１次元３画素）のフィルタで生成する。
[2-1-1] Wavelet Transform: Analysis / Decomposition Process The wavelet transform converts image data into frequency components, and divides the frequency components of the image into high-pass components and low-pass components. In this embodiment, a 5-stage wavelet transform is performed as described above using a 5/3 filter. The 5/3 filter generates a low-pass component with a filter having 5 taps (one-dimensional five pixels) and a high-pass component with a filter having three taps (one-dimensional three pixels).
ハイパス成分およびローパス成分の生成式は、次式で示される。ここで、nは画素位置を示し、x[]はウェーブレット変換を行う対象画像の画素値を示す。例えば、横方向に100画素ある場合は、nは0〜49である。下記式によりハイパス成分あるいはローパス成分を抽出すると、それぞれ、現在の画素数100の半分の50画素分のハイパス成分およびローパス成分のデータが抽出される。
ハイパス成分：d[n]=x[2n+1]-(x[2n+2]+x[2n])/2 ...(9)
ローパス成分：s[n]=x[2n]+(d[n]+d[n-1])/4 ...(10)
The generation formulas of the high-pass component and the low-pass component are expressed by the following equations. Here, n indicates the pixel position, and x [] indicates the pixel value of the target image to be wavelet transformed. For example, when there are 100 pixels in the horizontal direction, n is 0 to 49. When a high-pass component or a low-pass component is extracted by the following formula, data of a high-pass component and a low-pass component for 50 pixels, which is half the current number of pixels 100, are extracted.
High-pass component: d [n] = x [2n + 1]-(x [2n + 2] + x [2n]) / 2 ... (9)
Low-pass component: s [n] = x [2n] + (d [n] + d [n-1]) / 4 ... (10)
上記定義の1次元ウェーブレット変換を、横方向と縦方向に独立に2次元分離型フィルタ処理を行うことによって、ウェーブレット分解する。係数sをL面に集め、係数dをH面に集める。入力画像と同じ実空間面もLL0面として、ウェーブレット変換係数の低周波サブバンドLL1,LL2,LL3,LL4,LL5と同様に、低周波サブバンド側の最高解像度面として扱う。 The one-dimensional wavelet transform defined above is subjected to wavelet decomposition by performing two-dimensional separation filter processing independently in the horizontal and vertical directions. The coefficient s is collected on the L plane, and the coefficient d is collected on the H plane. The same real space plane as the input image is also treated as the LL0 plane and the highest resolution plane on the low-frequency subband side, similar to the low-frequency subbands LL1, LL2, LL3, LL4, and LL5 of the wavelet transform coefficients.
より具体的には、以上の式を使用して、次のように、順次５段のウェーブレット変換をする。本実施の形態では、後述するように、各段で生成されるLL成分のデータやLH,HL,HH成分のデータを使用して逐次的にノイズ信号の抽出を行いながらウェーブレット変換を行っていく。なお、LLを低周波サブバンド、LH, HL, HHを高周波サブバンドと言う。また、低周波サブバンドを低周波画像、高周波サブバンドを高周波画像と言ってもよい。さらに、各サブバンドを周波数帯域制限画像と言ってもよい。低周波サブバンドは、原画像の周波数帯域を低周波側に帯域制限した画像であり、高周波サブバンドは、原画像の周波数帯域を高周波側に帯域制限した画像である。
第１段ウェーブレット変換：LL0(実空間) → LL1, LH1, HL1, HH1
第２段ウェーブレット変換：LL1 → LL2, LH2, HL2, HH2
第３段ウェーブレット変換：LL2 → LL3, LH3, HL3, HH3
第４段ウェーブレット変換：LL3 → LL4, LH4, HL4, HH4
第５段ウェーブレット変換：LL4 → LL5, LH5, HL5, HH5
More specifically, using the above equations, five-stage wavelet transform is sequentially performed as follows. In this embodiment, as described later, wavelet transform is performed while sequentially extracting noise signals using LL component data and LH, HL, and HH component data generated at each stage. . LL is referred to as a low frequency subband, and LH, HL, and HH are referred to as a high frequency subband. The low frequency subband may be referred to as a low frequency image, and the high frequency subband may be referred to as a high frequency image. Furthermore, each subband may be referred to as a frequency band limited image. The low frequency subband is an image in which the frequency band of the original image is band limited to the low frequency side, and the high frequency subband is an image in which the frequency band of the original image is band limited to the high frequency side.
First stage wavelet transform: LL0 (real space) → LL1, LH1, HL1, HH1
Second stage wavelet transform: LL1 → LL2, LH2, HL2, HH2
Third stage wavelet transform: LL2 → LL3, LH3, HL3, HH3
Fourth stage wavelet transform: LL3 → LL4, LH4, HL4, HH4
5th wavelet transform: LL4 → LL5, LH5, HL5, HH5
図５は、５段のウェーブレット変換によるサブバンド分割の様子を示す図である。例えば、第１段のウェーブレット変換では、実空間の画像データに対し、まず横方向にすべての行についてハイパス成分およびローパス成分のデータを抽出する。その結果、横方向に半分の画素数のハイパス成分およびローパス成分のデータが抽出される。それを、例えば実空間の画像データがあったメモリ領域右側にハイパス成分、左側にローパス成分を格納する。 FIG. 5 is a diagram showing a state of subband division by five-stage wavelet transform. For example, in the first-stage wavelet transform, first, high-pass component data and low-pass component data are extracted for all rows in the horizontal direction from image data in real space. As a result, the data of the high-pass component and the low-pass component having half the number of pixels in the horizontal direction are extracted. For example, the high-pass component is stored on the right side of the memory area where the real space image data was stored, and the low-pass component is stored on the left side.
次に、メモリ領域右側に格納されたハイパス成分および左側に格納されたローパス成分のデータに対して、それぞれ縦方向にすべての列について、同様の上記式により、ハイパス成分およびローパス成分のデータを抽出する。その結果、メモリ領域右側のハイパス成分および左側のローパス成分のそれぞれから、さらにハイパス成分およびローパス成分のデータが抽出される。それらを、それぞれのデータがあったメモリ領域下側にハイパス成分、上側にローパス成分を格納する。 Next, for the high-pass component data stored on the right side of the memory area and the low-pass component data stored on the left side, high-pass component data and low-pass component data are extracted for all columns in the vertical direction using the same formulas above. To do. As a result, data of the high-pass component and the low-pass component are further extracted from the high-pass component on the right side of the memory area and the low-pass component on the left side, respectively. The high-pass component and the low-pass component are stored in the lower side and the upper side of the memory area where the respective data exist.
その結果、横方向にハイパス成分として抽出されたデータから縦方向にハイパス成分として抽出されたデータをHHと表し、横方向にハイパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータをHLと表し、横方向にローパス成分として抽出されたデータから縦方向にハイパス成分として抽出されたデータをLHと表し、横方向にローパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータをLLと表す。ただし、縦方向と横方向は独立であるので、抽出の順序を入れ替えても等価である。 As a result, the data extracted as the high-pass component in the vertical direction from the data extracted as the high-pass component in the horizontal direction is represented as HH, and the data extracted as the low-pass component in the vertical direction from the data extracted as the high-pass component in the horizontal direction Is represented as HL, data extracted as a high-pass component in the vertical direction from data extracted as a low-pass component in the horizontal direction is represented as LH, and is extracted as a low-pass component in the vertical direction from data extracted as the low-pass component in the horizontal direction. This data is represented as LL. However, since the vertical direction and the horizontal direction are independent, it is equivalent even if the order of extraction is changed.
次に、第２段のウェーブレット変換では、第１段のウェーブレット変換で横方向にローパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータLLに対し、同様にハイパス成分及びローパス成分の抽出を行う。これを５段繰り返した結果が、図５の図である。 Next, in the second-stage wavelet transform, the high-pass component and the low-pass component are similarly applied to the data LL extracted as the low-pass component in the vertical direction from the data extracted as the low-pass component in the horizontal direction in the first-stage wavelet transform. Perform extraction. The result of repeating this step five times is shown in FIG.
[2-1-2]逆ウェーブレット変換：Synthesis/Reconstructionプロセス
逆ウェーブレット変換（多重解像度逆変換）は、次式を使用して行う。
x[2n]=s[n]-(d[n]+d[n-1])/4 ...(11)
x[2n+1]=d[n]+(x[2n+2]+x[2n])/2 ...(12)
ただし、図３に示すように、ウェーブレット変換時のxの値には画像を表す信号を入力し、生成されたウェーブレット変換係数s,dに含まれるノイズ成分を抽出し、抽出されたノイズ成分を逆ウェーブレット時のs,dに代入してノイズ画像xを生成してゆく用い方をする。
[2-1-2] Inverse wavelet transform: Synthesis / Reconstruction process The inverse wavelet transform (multi-resolution inverse transform) is performed using the following equation.
x [2n] = s [n]-(d [n] + d [n-1]) / 4 ... (11)
x [2n + 1] = d [n] + (x [2n + 2] + x [2n]) / 2 ... (12)
However, as shown in FIG. 3, a signal representing an image is input to the value of x at the time of wavelet transformation, noise components included in the generated wavelet transformation coefficients s and d are extracted, and the extracted noise components are Substitute for s and d at the time of inverse wavelet to generate and use noise image x.
[2-2]ノイズ除去処理について
各サブバンド面に対するノイズ除去処理は、任意のノイズ除去フィルタを用いてよい。edge-preserving smoothing filterの代表例として、例えば文献「Jong-Sen Lee, "Digital Image Smoothing and the Sigma Filter," Computer Vision, Graphics and Image Processing 24(1983) pp.255-269」のようなσフィルタや、文献「C. Tomasi et al., "Bilateral Filtering for Gray and Color Images," Proceedings of the 1998 IEEE international Conference onf Computer Vision, Bombay, India.」のようなBilateral Filterがある。
[2-2] Noise removal processing The noise removal processing for each subband surface may use an arbitrary noise removal filter. As a typical example of edge-preserving smoothing filter, for example, σ filter such as “Jong-Sen Lee,“ Digital Image Smoothing and the Sigma Filter, ”Computer Vision, Graphics and Image Processing 24 (1983) pp.255-269” And Bilateral Filter such as “C. Tomasi et al.,“ Bilateral Filtering for Gray and Color Images, ”Proceedings of the 1998 IEEE international Conference onf Computer Vision, Bombay, India.”
しかし、ここではより高性能な改良型Bilateral Filter（より詳細は、本出願の発明者と同一発明者の特願2004-367263号を参照）と、もっと簡略で高速なノイズ除去フィルタ（より詳細は、本出願の発明者と同一発明者の特願2005-101545号を参照、Laplacianノイズ抽出法と呼ぶことにする）の2種類を例示する。これらの何れのノイズ除去フィルタを用いてもよい。 However, here, a higher-performance improved Bilateral Filter (for details, see Japanese Patent Application No. 2004-367263 of the same inventor as the present inventor) and a simpler and faster noise removal filter (more details) Two examples of this are referred to as Japanese Patent Application No. 2005-101545 of the same inventor as the inventor of the present application, and referred to as a Laplacian noise extraction method). Any of these noise removal filters may be used.
入力サブバンド画像面の原信号をV(ベクトルr)で表し、ノイズ除去された画像面の信号をV'(ベクトルr)ないしはV"(ベクトルr)で表すことにする。なお、以下の数式内の矢印つきr（ベクトルrと言う）および矢印つきr'（ベクトルr'と言う）は、ベクトルを示し、２次元座標位置を示す。 The original signal of the input subband image plane is represented by V (vector r), and the noise-removed image plane signal is represented by V ′ (vector r) or V ″ (vector r). In the figure, r with an arrow (referred to as a vector r) and r ′ with an arrow (referred to as a vector r ′) indicate a vector and a two-dimensional coordinate position.
[2-2-1]改良型Bilateral Filter
空間方向に関する閾値rthは、ノイズ除去フィルタの範囲をその２倍程度にとっているので、多重解像度の異なる階層間で重なり合うように0.5〜3.0画素程度の範囲にとるとよい。また、撮像感度によって変えるようにしてもよい。階調方向に関する閾値σthは撮像感度が高くなるほど大きく設定し、また適用するサブバンド毎によっても最適値を変える。 The threshold value rth related to the spatial direction has a range of about 0.5 to 3.0 pixels so as to overlap between layers having different multi-resolutions since the range of the noise removal filter is about twice that of the threshold. Moreover, you may make it change with imaging sensitivity. The threshold value σth related to the gradation direction is set to be larger as the imaging sensitivity is higher, and the optimum value is changed depending on the subband to be applied.
従来のBilateral Filterは、フィルタの加重係数が画素値差分(V'-V)のみを引数としたphotometric項の加重係数w_photo[V'-V]と空間的な距離(r'-r)のみを引数としたgeometric項の加重係数w_geometric[r'-r]の積で表されるので、加重係数がphotometric項とgeometric項に分離できる分離加重型Bilateral Filterと呼べる。しかし、この改良型Bilateral Filterは、加重係数がphotometric項とgeometric項に分離できない非分離加重型Bilateral Filterを用いている。言い換えれば、２つの引数の積で表される値を１つの指数とする１つの指数関数であらされる加重係数のフィルタを使用している。 The conventional Bilateral Filter uses only the weighting coefficient w_photo [V'-V] of the photometric term and the spatial distance (r'-r) with the filter weighting coefficient as an argument only for the pixel value difference (V'-V). Since it is represented by the product of the weighting coefficient w_geometric [r'-r] of the geometric term as an argument, it can be called a separation weighted Bilateral Filter in which the weighting coefficient can be separated into a photometric term and a geometric term. However, this improved Bilateral Filter uses a non-separated weighted Bilateral Filter whose weighting factor cannot be separated into a photometric term and a geometric term. In other words, a weighting coefficient filter represented by one exponential function with a value represented by the product of two arguments as one exponent is used.
[2-2-2]Laplacianノイズ抽出法
色差成分の場合は、以下の式によりノイズを抽出する。
輝度成分の場合は、以下の式によりノイズを抽出する。
ここで、f(x)は、以下の式に示す通りである。∇２は、ラプラシアンフィルタ（ハイパスフィルタ）である。図６は、通例用いられる最も単純なラプラシアンフィルタを示す図である。
なお、上記改良型Bilateral Filterやラプラシアンフィルタは、局所的な範囲に含まれる信号値の関数である。すなわち、上記では、低周波サブバンドと高周波サブバンドの各々の局所的な信号値の観察に基づいて、それぞれのノイズが抽出される。 The improved Bilateral Filter and Laplacian filter are functions of signal values included in the local range. That is, in the above, each noise is extracted based on observation of local signal values of the low-frequency subband and the high-frequency subband.
[2-3]輝度成分(L^)のノイズ除去
次に、図３を参照して、輝度成分(L^)のノイズ除去について、詳細に説明する。前述したように、「Analysis逐次」によるノイズ抽出を行う。なお、以下の各処理(x-x)は、図３において(x-x)と記載して対応付ける。
[2-3] Noise Removal of Luminance Component (L ^) Next, noise removal of the luminance component (L ^) will be described in detail with reference to FIG. As described above, noise extraction is performed by “Analysis sequential”. Each processing (xx) below is associated with (xx) in FIG.
[2-3-1]多重解像度変換と逐次ノイズ抽出
[2-3-1-1]実空間最高解像度における処理
処理(0-1)では、実空間の画像信号S0(LL0)に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号S0'(LL0)を作る。処理(0-2)では、LL0サブバンドのノイズ成分をn0(LL0)=S0(LL0)-S0'(LL0)により抽出する。処理(0-3)では、ノイズ信号n0(LL0)を等倍強度のまま（あるいはα(0)倍してもよい）画像信号S0(LL0)に対して減算処理を行って、S0(LL0)のノイズ除去を行う。ただし、0＜α(0)≦1、通常はα(0)=1。処理(0-4)では、処理(0-3)でノイズ除去されたLL0面の画像信号をウェーブレット変換して、1/2解像度の画像信号S1(LL1,LH1,HL1,HH1)を生成する。
[2-3-1] Multi-resolution conversion and sequential noise extraction
[2-3-1-1] Processing at the highest resolution in real space In processing (0-1), noise removal is performed on the real space image signal S0 (LL0) by performing noise removal using the noise removal filter described above. Create signal S0 '(LL0). In the process (0-2), the noise component of the LL0 subband is extracted by n0 (LL0) = S0 (LL0) −S0 ′ (LL0). In the process (0-3), the noise signal n0 (LL0) is subtracted from the image signal S0 (LL0) with the same strength (or may be multiplied by α (0)) to obtain S0 (LL0 ). However, 0 <α (0) ≦ 1, usually α (0) = 1. In process (0-4), wavelet transform is performed on the LL0 plane image signal from which noise has been removed in process (0-3) to generate 1/2 resolution image signal S1 (LL1, LH1, HL1, HH1). .
[2-3-1-2]1/2解像度における処理
処理(1-1)では、画像信号S1(LL1,LH1,HL1,HH1)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号S1'(LL1,LH1,HL1,HH1)を作る。処理(1-2)では、各サブバンドのノイズ成分を、n1(LL1)=S1(LL1)-S1'(LL1)、n1(LH1)=S1(LH1)-S1'(LH1)、n1(HL1)=S1(HL1)-S1'(HL1)、n1(HH1)=S1(HH1)-S1'(HH1)により抽出する。処理(1-3)では、ノイズ信号n1(LL1)を、等倍強度のまま（あるいはα(1)倍してもよい）画像信号S1(LL1)に対して減算処理を行って、S1(LL1)のノイズ除去を行う。ただし、0＜α(1)≦1、通常はα(1)=1。処理(1-4)では、処理(1-3)でノイズ除去されたLL1面の画像信号をウェーブレット変換して、1/4解像度の画像信号S2(LL2,LH2,HL2,HH2)を生成する。
[2-3-1-2] Processing at 1/2 resolution In the processing (1-1), noise removal is performed on each of the image signals S1 (LL1, LH1, HL1, HH1) by the above-described noise removal filter. To generate a noise-removed image signal S1 ′ (LL1, LH1, HL1, HH1). In the process (1-2), the noise component of each subband is changed to n1 (LL1) = S1 (LL1) -S1 '(LL1), n1 (LH1) = S1 (LH1) -S1' (LH1), n1 ( Extract by HL1) = S1 (HL1) -S1 ′ (HL1), n1 (HH1) = S1 (HH1) -S1 ′ (HH1). In the processing (1-3), the noise signal n1 (LL1) is subtracted from the image signal S1 (LL1) with the same strength (or may be multiplied by α (1)), and S1 ( LL1) is removed. However, 0 <α (1) ≦ 1, usually α (1) = 1. In the process (1-4), the image signal of the LL1 surface from which noise has been removed in the process (1-3) is wavelet transformed to generate a 1/4 resolution image signal S2 (LL2, LH2, HL2, HH2). .
[2-3-1-3]1/4解像度における処理
上記[2-3-1-2]1/2解像度における処理と同様である。
[2-3-1-3] Processing at 1/4 Resolution This is the same as the processing at [2-3-1-2] 1/2 resolution.
[2-3-1-4]1/8解像度における処理
上記[2-3-1-2]1/2解像度における処理と同様である。
[2-3-1-4] Processing at 1/8 resolution Same as the processing at [2-3-1-2] 1/2 resolution.
[2-3-1-5]1/16解像度における処理
処理(4-1)では、画像信号S4(LL4,LH4,HL4,HH4)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行って、ノイズ除去画像信号S4'(LL4,LH4,HL4,HH4)を作る。処理(4-2)では、各サブバンドのノイズ成分を、n4(LL4)=S4(LL4)-S4'(LL4)、n4(LH4)=S4(LH4)-S4'(LH4)、n4(HL4)=S4(HL4)-S4'(HL4)、n4(HH4)=S4(HH4)-S4'(HH4)により抽出する。処理(4-3)では、ノイズ信号n4(LL4)を、等倍強度のまま（あるいはα(4)倍してもよい）画像信号S4(LL4)に対して減算処理を行って、S4(LL4)のノイズ除去を行う。ただし、0＜α(4)≦1、通常はα(4)=1。処理(4-4)では、処理(4-3)でノイズ除去されたLL4面の画像信号をウェーブレット変換して、1/32解像度の画像信号S5(LL5,LH5,HL5,HH5)を生成する。
[2-3-1-5] Processing at 1/16 resolution In processing (4-1), each of the image signals S4 (LL4, LH4, HL4, HH4) is subjected to noise removal by the above-described noise removal filter. The noise-removed image signal S4 ′ (LL4, LH4, HL4, HH4) is generated. In the process (4-2), the noise component of each subband is changed to n4 (LL4) = S4 (LL4) -S4 '(LL4), n4 (LH4) = S4 (LH4) -S4' (LH4), n4 ( Extract by HL4) = S4 (HL4) -S4 ′ (HL4), n4 (HH4) = S4 (HH4) -S4 ′ (HH4). In the process (4-3), the noise signal n4 (LL4) is subtracted from the image signal S4 (LL4) with the same strength (or may be multiplied by α (4)), and S4 (LL LL4) noise removal. However, 0 <α (4) ≦ 1, usually α (4) = 1. In the process (4-4), the image signal of the LL4 surface from which noise has been removed in the process (4-3) is wavelet transformed to generate an image signal S5 (LL5, LH5, HL5, HH5) of 1/32 resolution. .
[2-3-1-6]1/32最低解像度における処理
処理(5-1)では、画像信号S5(LL5,LH5,HL5,HH5)の各々に対して、上述のノイズ除去フィルタによりノイズ除去を行ってノイズ除去画像信号S5'(LL5,LH5,HL5,HH5)を作る。処理(5-2)では、各サブバンドのノイズ成分をn5(LL5)=S5(LL5)-S5'(LL5)、n5(LH5)=S5(LH5)-S5'(LH5)、n5(HL5)=S5(HL5)-S5'(HL5)、n5(HH5)=S1(HH5)-S5'(HH5)により抽出する。
[2-3-1-6] Processing at 1/32 minimum resolution In processing (5-1), each of the image signals S5 (LL5, LH5, HL5, HH5) is noise-removed by the above-mentioned noise removal filter. To generate a noise-removed image signal S5 ′ (LL5, LH5, HL5, HH5). In processing (5-2), the noise component of each subband is n5 (LL5) = S5 (LL5) -S5 '(LL5), n5 (LH5) = S5 (LH5) -S5' (LH5), n5 (HL5 ) = S5 (HL5) −S5 ′ (HL5), n5 (HH5) = S1 (HH5) −S5 ′ (HH5).
ここで注目すべき点は、従来技術と異なり逐次的にノイズ除去された低周波サブバンドLLから生成される低解像度側の高周波サブバンドLH,HL,HHのノイズ成分も、一旦高解像度側でノイズ除去された状態から精度よく抽出している点である。すなわち、上層の低周波サブバンドのノイズ除去結果が下層の低周波サブバンドのみならず高周波サブバンドのノイズ抽出にも影響を及ぼしている。こうして多重解像度表現において、低周波サブバンドも高周波サブバンドも両方とも残留ノイズの少ない両成分からのノイズ成分が抽出可能になる。 What should be noted here is that the noise components of the high-frequency subbands LH, HL, and HH on the low-resolution side generated from the low-frequency subband LL that has been noise-removed sequentially are different from those in the conventional technology. The point is that the noise is removed with high accuracy. That is, the noise removal result of the upper low-frequency subband affects not only the lower-frequency low-frequency subband but also the high-frequency subband noise extraction. In this way, in the multi-resolution representation, it is possible to extract noise components from both components with low residual noise in both the low-frequency subband and the high-frequency subband.
[2-3-2]ノイズ成分の周波数特性変更
次に、抽出されたノイズ成分を実際のノイズ除去を行うためのノイズ成分に修正する。この修正は、抽出されたノイズ成分から実際のノイズ除去を行うためのノイズ成分をさらに再抽出していることになる。これは、輝度成分の画像構造非破壊性を保持するための手法であり、且つノイズ除去効果の見栄えを容易に変えるための可変パラメータの役割を果たす。すなわち、低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の間の重みを変えてノイズ成分の周波数特性を変える。このパラメータは、ソフトウェア処理等のグラフィック・ユーザー・インターフェースにおいて、ノイズ除去の粒状性変更パラメータとして提供できる。言い換えれば、低周波サブバンドのノイズ成分と高周波サブバンドのノイズ成分に異なる加重係数を掛けて（下記の例ではLLサブバンドに対するk0とその他のサブバンドに対する1）、ノイズ成分の周波数帯域間の重みを変調している。
[2-3-2] Frequency characteristic change of noise component Next, the extracted noise component is corrected to a noise component for performing actual noise removal. This correction further re-extracts a noise component for performing actual noise removal from the extracted noise component. This is a technique for maintaining the non-destructiveness of the image structure of the luminance component, and also serves as a variable parameter for easily changing the appearance of the noise removal effect. That is, the frequency characteristic of the noise component is changed by changing the weight between the low frequency subband (LL) and the high frequency subband (LH, HL, HH). This parameter can be provided as a graininess change parameter for noise removal in a graphic user interface such as software processing. In other words, the noise component of the low frequency subband and the noise component of the high frequency subband are multiplied by different weighting factors (in the example below, k0 for the LL subband and 1 for the other subbands) and between the frequency bands of the noise components The weight is modulated.
これらは、次式に示す通り行われ、図３では、処理(0-5)、処理(1-5)、処理(2-5)、処理(3-5)、処理(4-5)、処理(5-5)に対応する。
n0'(LL0)= k0(0)*n0(LL0) ...(18)
n1'(LL1)= k0(1)*n1(LL1) ...(19)
n2'(LL2)= k0(2)*n2(LL2) ...(20)
n3'(LL3)= k0(3)*n3(LL3) ...(21)
n4'(LL4)= k0(4)*n4(LL4) ...(22)
n5'(LL5)= k0(5)*n5(LL5) ...(23)
These are performed as shown in the following equation. In FIG. 3, processing (0-5), processing (1-5), processing (2-5), processing (3-5), processing (4-5), Corresponds to processing (5-5).
n0 '(LL0) = k0 (0) * n0 (LL0) ... (18)
n1 '(LL1) = k0 (1) * n1 (LL1) ... (19)
n2 '(LL2) = k0 (2) * n2 (LL2) ... (20)
n3 '(LL3) = k0 (3) * n3 (LL3) ... (21)
n4 '(LL4) = k0 (4) * n4 (LL4) ... (22)
n5 '(LL5) = k0 (5) * n5 (LL5) ... (23)
ここで、次のようにする。
n1'(LL1)とn1(LH1,HL1,HH1)をそのまま束ねてn1'(LL1,LH1,HL1,HH1)と表す。
n2'(LL2)とn2(LH2,HL2,HH2)をそのまま束ねてn2'(LL2,LH2,HL2,HH2)と表す。
n3'(LL3)とn3(LH3,HL3,HH3)をそのまま束ねてn3'(LL3,LH3,HL3,HH3)と表す。
n4'(LL4)とn4(LH4,HL4,HH4)をそのまま束ねてn4'(LL4,LH4,HL4,HH4)と表す。
n5'(LL5)とn5(LH5,HL5,HH5)をそのまま束ねてn5'(LL5,LH5,HL5,HH5)と表す。
Here, it is as follows.
n1 ′ (LL1) and n1 (LH1, HL1, HH1) are bundled as they are and expressed as n1 ′ (LL1, LH1, HL1, HH1).
n2 ′ (LL2) and n2 (LH2, HL2, HH2) are bundled as they are and expressed as n2 ′ (LL2, LH2, HL2, HH2).
n3 ′ (LL3) and n3 (LH3, HL3, HH3) are bundled as they are and expressed as n3 ′ (LL3, LH3, HL3, HH3).
n4 ′ (LL4) and n4 (LH4, HL4, HH4) are bundled as they are and expressed as n4 ′ (LL4, LH4, HL4, HH4).
n5 ′ (LL5) and n5 (LH5, HL5, HH5) are bundled as they are and expressed as n5 ′ (LL5, LH5, HL5, HH5).
通常は、k0=k0(0)=k0(1)=k0(2)=k0(3)=k0(4)=k0(5)に設定し、0≦k0≦1の範囲で可変とする。残留ノイズ成分の発生予防と適度な粒状性を残すことによるテキスチャ画像構造を保存するにはk0=0.5のような中間値近辺の値を採るとよく、粒状性維持による画像構造保存に重点を置く場合にはk0=0.2といった値を採ればよいし、画像全面に広がるサーっとした高周波背景ノイズ抑制に重点を置く場合にはk0=0.8といった値をとればよい。 Normally, k0 = k0 (0) = k0 (1) = k0 (2) = k0 (3) = k0 (4) = k0 (5) is set and variable in the range of 0 ≦ k0 ≦ 1. In order to preserve the texture image structure by preventing the generation of residual noise components and leaving moderate graininess, it is better to take a value near the intermediate value such as k0 = 0.5, with emphasis on image structure preservation by maintaining graininess. In this case, a value such as k0 = 0.2 may be taken, and a value such as k0 = 0.8 may be taken in the case where emphasis is placed on suppressing a high-frequency background noise that spreads over the entire image.
高周波サブバンドのノイズ信号に対しては、通常等倍のまま出力する。言い換えれば、高周波サブバンドに対する重みの方が低周波サブバンドに対する重みよりも大きく設定される。ただし、場合によっては加重係数を掛けても良い。図７は、低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の加重係数を示す図である。 For high-frequency sub-band noise signals, they are normally output at the same magnification. In other words, the weight for the high frequency subband is set larger than the weight for the low frequency subband. However, a weighting factor may be multiplied depending on circumstances. FIG. 7 is a diagram illustrating weighting coefficients of the low frequency subband (LL) and the high frequency subband (LH, HL, HH).
以上のように、ノイズ成分を抽出するためのノイズ除去と画像構造非破壊性の保持が要求される実際のノイズ除去のためのノイズ除去の２種類のノイズ除去概念を導入し、ノイズ抽出のためのノイズ除去は画像構造非破壊性保持の条件に拘束されることなく、必要な強度だけ自由にノイズ除去が行えるようになった。すなわち、ノイズ成分を抽出するためのノイズ除去の方を、実際のノイズ除去のためのノイズ除去より自由に強くすることができる。これにより、各サブバンド毎に正確なノイズ抽出が可能となるとともに画像構造の非破壊性も維持することができる。 As described above, for noise extraction, two types of noise removal concepts, noise removal for extracting noise components and noise removal for actual noise removal that requires maintaining non-destructive image structure, are introduced. The noise removal can be performed freely with the required strength without being restricted by the condition of maintaining the non-destructiveness of the image structure. That is, noise removal for extracting a noise component can be made stronger than noise removal for actual noise removal. Thus, accurate noise extraction can be performed for each subband, and the non-destructiveness of the image structure can be maintained.
また、高周波サブバンドと低周波サブバンドのうち、補足サブバンドに対する加重係数を導入するだけで、統合されたノイズ成分の周波数特性を容易に変更できる。これにより、高精細なノイズ除去を維持したままノイズ除去除去効果の見栄えを簡易に変更できる環境が提供できる。また、最も処理時間のかかるノイズ抽出のためのノイズ除去処理を再度行う必要がないので、高速にその見栄え変更の結果を提示することができる。 Moreover, the frequency characteristics of the integrated noise component can be easily changed by only introducing a weighting coefficient for the supplementary subband out of the high-frequency subband and the low-frequency subband. As a result, it is possible to provide an environment in which the appearance of the noise removal and removal effect can be easily changed while maintaining high-definition noise removal. In addition, since it is not necessary to perform noise removal processing for noise extraction that takes the longest processing time, it is possible to present the result of the appearance change at high speed.
[2-3-3]ノイズ成分の統合
こうして修正されたノイズ成分を、最低解像度側から順次逆ウェーブレット変換を行いながら、ノイズ成分の統合を行う。
[2-3-3] Integration of noise components The noise components thus corrected are integrated while sequentially performing inverse wavelet transform from the lowest resolution side.
[2-3-3-1]1/32最低解像度における処理
処理(5-7)では、バンド間で加重処理の施された単層のノイズ信号n5'(LL5,LH5,HL5,HH5)を逆ウェーブレット変換することにより、LL4サブバンド面に対応するノイズ信号N5(LL4)を生成する。
[2-3-3-1] Processing at 1/32 minimum resolution In processing (5-7), a single-layer noise signal n5 ′ (LL5, LH5, HL5, HH5) weighted between bands is processed. By performing inverse wavelet transform, a noise signal N5 (LL4) corresponding to the LL4 subband surface is generated.
[2-3-3-2]1/16解像度における処理
処理(4-6)では、LL4面自身から抽出して加重処理の施されたノイズ信号n4'(LL4)とN5(LL4)を、次式の加算処理により結合する。
n4"(LL4)=n4'(LL4)+N5(LL4) ...(24)
n4"(LL4)とn4'(LH4,HL4,HH4)をそのまま束ねてn4"(LL4,LH4,HL4,HH4)と表す。
これにより、LL4面のノイズ成分は、図３からも分かるように、２層のノイズ成分が統合されたことになる。ただし、LH4,HL4,HH4のノイズ成分は単層である。(4-7)では、2層のノイズ成分が統合されたノイズ信号n4"(LL4,LH4,HL4,HH4)を逆ウェーブレット変換することにより、LL3サブバンド面に対応するノイズ信号N4(LL3)を生成する。
[2-3-3-2] Processing at 1/16 resolution In processing (4-6), the noise signals n4 ′ (LL4) and N5 (LL4), which are extracted from the LL4 surface itself and subjected to weighting processing, They are combined by the following addition process.
n4 "(LL4) = n4 '(LL4) + N5 (LL4) ... (24)
n4 "(LL4) and n4 '(LH4, HL4, HH4) are bundled as they are and expressed as n4" (LL4, LH4, HL4, HH4).
As a result, as shown in FIG. 3, the noise components of the LL4 surface are integrated with the two layers of noise components. However, the noise component of LH4, HL4, and HH4 is a single layer. In (4-7), the noise signal n4 "(LL4, LH4, HL4, HH4), in which the noise components of the two layers are integrated, is subjected to inverse wavelet transform, so that the noise signal N4 (LL3) corresponding to the LL3 subband surface Is generated.
[2-3-3-3]1/8解像度における処理
上記「[2-3-3-2]1/16解像度における処理」と同様である。
[2-3-3-3] Processing at 1/8 resolution Same as “[2-3-3-2] Processing at 1/16 resolution” above.
[2-3-3-4]1/4解像度における処理
上記「[2-3-3-2]1/16解像度における処理」と同様である。
[2-3-3-4] Processing at 1/4 Resolution Same as “[2-3-3-2] Processing at 1/16 resolution” above.
[2-3-3-5]1/2解像度における処理
処理(1-6)では、LL1面自身から抽出して加重処理の施されたノイズ信号n1'(LL1)とN2(LL1)を次式の加算処理により結合する。
n1"(LL1)=n1'(LL1)+N2(LL1) ...(25)
n1"(LL1)とn1'(LH1,HL1,HH1)をそのまま束ねてn1"(LL1,LH1,HL1,HH1)と表す。
処理(1-7)では、2層のノイズ成分が統合されたノイズ信号n1"(LL1,LH1,HL1,HH1)を逆ウェーブレット変換することにより、LL0サブバンド面に対応するノイズ信号N1(LL0)を生成する。
[2-3-3-5] Processing at 1/2 resolution In processing (1-6), the noise signals n1 '(LL1) and N2 (LL1) that have been extracted from the LL1 surface itself and subjected to weighting processing are Combined by adding expressions.
n1 "(LL1) = n1 '(LL1) + N2 (LL1) ... (25)
n1 "(LL1) and n1 '(LH1, HL1, HH1) are bundled as they are and expressed as n1" (LL1, LH1, HL1, HH1).
In the processing (1-7), the noise signal n1 "(LL1, LH1, HL1, HH1) in which the noise components of the two layers are integrated is subjected to inverse wavelet transform, so that the noise signal N1 (LL0 corresponding to the LL0 subband surface) ) Is generated.
[2-3-3-6]実空間最高解像度における処理
処理(0-6)では、LL0面自身から抽出して加重処理の施されたノイズ信号n0'(LL0)とN1(LL0)を次式の加算処理により結合する。
n0"(LL0)=n0'(LL0)+N1(LL0) ...(26)
[2-3-3-6] Processing at the highest resolution in real space In processing (0-6), the noise signals n0 '(LL0) and N1 (LL0) that have been extracted from the LL0 surface and subjected to weighting are Combined by adding expressions.
n0 "(LL0) = n0 '(LL0) + N1 (LL0) ... (26)
ここで、注目すべき点は、低周波サブバンドのノイズ成分が、従来技術とは違って、低解像度側の低周波と高周波の両サブバンドから統合されてきたノイズ成分と同時に着目解像度の低周波サブバンド自身から抽出したノイズ成分の2層構造を利用してノイズ合成が行われている点である。これにより、残留ノイズ成分のない正確なノイズ成分の合成が容易になるとともに、画像構造の非破壊性が高く、かつ容易に見栄えの変えられるノイズ特性の合成が可能となっている。 Here, it should be noted that the noise component of the low frequency sub-band is different from the conventional technology, and the low-resolution sub-band noise component has a low resolution at the same time as the noise component integrated from both the low-frequency and high-frequency sub-bands. Noise synthesis is performed using a two-layer structure of noise components extracted from the frequency subband itself. As a result, it is possible to easily synthesize an accurate noise component having no residual noise component, and it is possible to synthesize noise characteristics that have a high non-destructive image structure and can be easily changed in appearance.
2層構造のノイズ成分を結合する加算時に、更に異なる解像度の階層間でノイズ成分の強度を変えて周波数特性をもっと自由自在に変更できるようにしてもよい。このときは、下式のような処理になる。
n4"(LL4)=n4'(LL4)+β(5)*N5(LL4) ...(27)
n3"(LL3)=n3'(LL3)+β(4)*N4(LL3) ...(28)
n2"(LL2)=n2'(LL2)+β(3)*N3(LL2) ...(29)
n1"(LL1)=n1'(LL1)+β(2)*N2(LL1) ...(30)
n0"(LL0)=n0'(LL0)+β(1)*N1(LL0) ...(31)
ただし、0＜β(1)≦1、0＜β(2)≦1、0＜β(3)≦1、0＜β(4)≦1、0＜β(5)≦1。このようなパラメータを使うような状況は、例えばランダムノイズがあらゆる周波数で均等なホワイトノイズと仮定できないような場合に生じるかもしれない。
When adding noise components having a two-layer structure, the frequency characteristics may be changed more freely by changing the intensity of the noise components between different resolution layers. At this time, the processing is as shown below.
n4 "(LL4) = n4 '(LL4) + β (5) * N5 (LL4) ... (27)
n3 "(LL3) = n3 '(LL3) + β (4) * N4 (LL3) ... (28)
n2 "(LL2) = n2 '(LL2) + β (3) * N3 (LL2) ... (29)
n1 "(LL1) = n1 '(LL1) + β (2) * N2 (LL1) ... (30)
n0 "(LL0) = n0 '(LL0) + β (1) * N1 (LL0) ... (31)
However, 0 <β (1) ≦ 1, 0 <β (2) ≦ 1, 0 <β (3) ≦ 1, 0 <β (4) ≦ 1, 0 <β (5) ≦ 1. The situation using such parameters may occur, for example, when random noise cannot be assumed to be equal white noise at all frequencies.
[2-3-4]実際のノイズ除去処理
実空間と同じ解像度を持つ状態にまで１つに統合されたノイズ成分に対し、画像全体のノイズ除去の程度が可変設定できるようにノイズ除去率という加重係数パラメータλを掛けてから、ノイズ除去を実行する。すなわち、
S0NR(LL0)=S0(LL0)-λ*n0"(LL0) ...(32)
ただし、0≦λ≦1。
[2-3-4] Actual noise removal processing The noise removal rate is a variable so that the degree of noise removal of the entire image can be variably set for the noise components that are integrated into one with the same resolution as the real space. The noise removal is executed after multiplying the weighting coefficient parameter λ. That is,
S0NR (LL0) = S0 (LL0) -λ * n0 "(LL0) ... (32)
However, 0 ≦ λ ≦ 1.
[2-4]色差成分(a^)のノイズ除去
輝度成分(L^)と同様に、「Analysis逐次」によるノイズ抽出を行う。輝度成分のノイズ除去と異なるところは、上記「[2-3-2]ノイズ成分の周波数特性変更」の処理における周波数特性を変更する際の加重係数を掛けるサブバンドの対象が異なること、すなわち重みづけ処理が異なることと、「[2-3-4]実際のノイズ除去処理」におけるノイズ除去率のパラメータ設定の仕方が異なるだけである。以下、この異なる点について記載する。なお、図４は、図３と異なる「ノイズ成分の周波数特性変更」の処理の部分のみを抽出した図である。
[2-4] Noise removal of color difference component (a ^) Similar to the luminance component (L ^), noise extraction is performed by "Analysis sequential". The difference from the noise removal of the luminance component is that the target of the subband to be multiplied by the weighting coefficient when changing the frequency characteristic in the processing of “[2-3-2] Change of frequency characteristic of noise component” is different, that is, the weight. The only difference is the method of parameter setting for the noise removal rate in “[2-3-4] Actual noise removal processing”. Hereinafter, this different point will be described. FIG. 4 is a diagram in which only the processing part of “change frequency characteristics of noise components” different from FIG. 3 is extracted.
[2-4-1]ノイズ成分の周波数特性変更
色差成分の実際のノイズ除去における突出点ノイズ除去効果とカラフルネス維持の両立を図るための加重係数パラメータを、次式の通り、高周波サブバンド(LH,HL,HH)のノイズ成分に対して掛ける。これは色差成分においては低周波サブバンドが主要バンドで、高周波サブバンドが補足バンドに対応するためである。
[2-4-1] Change frequency characteristics of noise components Weighting coefficient parameters for achieving both noise reduction effect and colorfulness maintenance in the actual noise removal of chrominance components are as follows: LH, HL, HH) is multiplied by the noise component. This is because the low-frequency subband corresponds to the main band and the high-frequency subband corresponds to the supplemental band in the color difference component.
n1'(LH1)= k1(1)*n1(LH1) ...(33)
n1'(HL1)= k1(1)*n1(HL1) ...(34)
n1'(HH1)= k2(1)*n1(HH1) ...(35)
n2'(LH2)= k1(2)*n2(LH2) ...(36)
n2'(HL2)= k1(2)*n2(HL2) ...(37)
n2'(HH2)= k2(2)*n2(HH2) ...(38)
n3'(LH3)= k1(3)*n3(LH3) ...(39)
n3'(HL3)= k1(3)*n3(HL3) ...(40)
n3'(HH3)= k2(3)*n3(HH3) ...(41)
n4'(LH4)= k1(4)*n4(LH4) ...(42)
n4'(HL4)= k1(4)*n4(HL4) ...(43)
n4'(HH4)= k2(4)*n4(HH4) ...(44)
n5'(LH5)= k1(5)*n5(LH5) ...(45)
n5'(HL5)= k1(5)*n5(HL5) ...(46)
n5'(HH5)= k2(5)*n5(HH5) ...(47)
n1 '(LH1) = k1 (1) * n1 (LH1) ... (33)
n1 '(HL1) = k1 (1) * n1 (HL1) ... (34)
n1 '(HH1) = k2 (1) * n1 (HH1) ... (35)
n2 '(LH2) = k1 (2) * n2 (LH2) ... (36)
n2 '(HL2) = k1 (2) * n2 (HL2) ... (37)
n2 '(HH2) = k2 (2) * n2 (HH2) ... (38)
n3 '(LH3) = k1 (3) * n3 (LH3) ... (39)
n3 '(HL3) = k1 (3) * n3 (HL3) ... (40)
n3 '(HH3) = k2 (3) * n3 (HH3) ... (41)
n4 '(LH4) = k1 (4) * n4 (LH4) ... (42)
n4 '(HL4) = k1 (4) * n4 (HL4) ... (43)
n4 '(HH4) = k2 (4) * n4 (HH4) ... (44)
n5 '(LH5) = k1 (5) * n5 (LH5) ... (45)
n5 '(HL5) = k1 (5) * n5 (HL5) ... (46)
n5 '(HH5) = k2 (5) * n5 (HH5) ... (47)
ここで、
n1(LL1)とn1'(LH1,HL1,HH1)をそのまま束ねてn1'(LL1,LH1,HL1,HH1)と表す。
n2(LL2)とn2'(LH2,HL2,HH2)をそのまま束ねてn2'(LL2,LH2,HL2,HH2)と表す。
n3(LL3)とn3'(LH3,HL3,HH3)をそのまま束ねてn3'(LL3,LH3,HL3,HH3)と表す。
n4(LL4)とn4'(LH4,HL4,HH4)をそのまま束ねてn4'(LL4,LH4,HL4,HH4)と表す。
n5(LL5)とn5'(LH5,HL5,HH5)をそのまま束ねてn5'(LL5,LH5,HL5,HH5)と表す。
here,
n1 (LL1) and n1 ′ (LH1, HL1, HH1) are bundled as they are and expressed as n1 ′ (LL1, LH1, HL1, HH1).
n2 (LL2) and n2 ′ (LH2, HL2, HH2) are bundled as they are and expressed as n2 ′ (LL2, LH2, HL2, HH2).
n3 (LL3) and n3 ′ (LH3, HL3, HH3) are bundled as they are and expressed as n3 ′ (LL3, LH3, HL3, HH3).
n4 (LL4) and n4 ′ (LH4, HL4, HH4) are bundled as they are and expressed as n4 ′ (LL4, LH4, HL4, HH4).
n5 (LL5) and n5 ′ (LH5, HL5, HH5) are bundled as they are and expressed as n5 ′ (LL5, LH5, HL5, HH5).
通常はk1= k1(1)=k1(2)=k1(3)=k1(3)=k1(5)、k2= k2(1)=k2(2)=k2(3)=k2(4)=k2(5)に設定し、0≦k1,k2≦1の範囲で可変で、k1=0.9、k2=0.8といった値をとる。通常使用では0.8〜1.0の値でよい。また、LHサブバンドとHLサブバンドに対しては共通のk1を設定したが、別々に設定してもよい。図８は、低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の加重係数を示す図である。低周波サブバンド(LL)の加重係数は1であり、そのままの値を使用する。言い換えれば、低周波サブバンドに対する重みを高周波サブバンドの重みよりも大きく設定する。ただし、k1=0.9、k2=0.8と1に近い値であるので、同程度であるともいえる。 Normally k1 = k1 (1) = k1 (2) = k1 (3) = k1 (3) = k1 (5), k2 = k2 (1) = k2 (2) = k2 (3) = k2 (4) = k2 (5), variable in the range of 0 ≦ k1, k2 ≦ 1, and takes values such as k1 = 0.9 and k2 = 0.8. In normal use, a value of 0.8 to 1.0 is acceptable. Further, although common k1 is set for the LH subband and the HL subband, they may be set separately. FIG. 8 is a diagram showing weighting coefficients of the low frequency subband (LL) and the high frequency subband (LH, HL, HH). The weighting factor of the low frequency subband (LL) is 1, and the value is used as it is. In other words, the weight for the low frequency subband is set larger than the weight for the high frequency subband. However, since k1 = 0.9 and k2 = 0.8, which are close to 1, it can be said that they are similar.
[2-4-2]実際のノイズ除去処理
輝度成分(L^)の「[2-3-4]実際のノイズ除去処理」と同様である。ただし、色差成分に関するノイズ除去率は、通常λ=1.0でよい。
[2-4-2] Actual noise removal processing Same as “[2-3-4] Actual noise removal processing” for luminance component (L ^). However, the noise removal rate related to the color difference component may normally be λ = 1.0.
このように、多チャンネル表現の特性を有効に活用することによって、輝度と色差に分離されたそれぞれの面における画像構造とノイズの性質の違いに応じて、ノイズ成分が抽出しやすい最適な周波数空間に射影してノイズ抽出処理を行うので、画像構造の破壊が少なく残留ノイズも少ない高精細なカラー画像のノイズ除去が、容易に実現することができる。 In this way, by effectively utilizing the characteristics of multi-channel representation, the optimal frequency space where noise components can be easily extracted according to the difference in image structure and noise characteristics on each surface separated into luminance and color difference Since the noise extraction process is performed by projecting onto the image, it is possible to easily realize noise removal of a high-definition color image with little destruction of the image structure and little residual noise.
[2-5]色差成分(b^)のノイズ除去
「[2-4]色差成分(a^)のノイズ除去」と同様である。
[2-5] Noise removal of color difference component (b ^) Same as “[2-4] Noise removal of color difference component (a ^)”.
上記において、ソフトウェア等でユーザーが容易に可変できる主なノイズ除去パラメータとして以下のような3つの性質の異なる機能がある。
１）ノイズ成分を抽出するときの強度パラメータ(Intensity)：σth（フィルタによってはrthも合わせて）
２）ノイズの粒状性に関する周波数特性変更パラメータ(grainness)：k0
３）ノイズ除去の強度に関するパラメータ(sharpness)：λ
In the above, there are the following three different functions as main noise removal parameters that can be easily changed by software or the like.
1) Intensity parameter (Intensity) when extracting noise components: σth (also rth depending on the filter)
2) Frequency characteristic change parameter (grainness) for noise graininess: k0
3) Parameter for noise removal strength (sharpness): λ
図９は、上記強度パラメータ(Intensity)σth、rth、周波数特性変更パラメータ(grainness)k0、ノイズ除去の強度に関するパラメータ(sharpness)λの設定画面を示す図である。各項目はスライドバーで示され、各スライドバー中のカーソルを任意の位置に設定することにより各項目を任意の値に設定することができる。 FIG. 9 is a diagram showing a setting screen for the intensity parameters (Intensity) σth and rth, the frequency characteristic change parameter (grainness) k0, and the noise removal intensity parameter (sharpness) λ. Each item is indicated by a slide bar, and each item can be set to an arbitrary value by setting the cursor in each slide bar to an arbitrary position.
具体的には、パーソナルコンピュータ１のモニタ（不図示）に図９の設定画面が表示され、ユーザーはキーボード（不図示）やマウス（不図示）を使用してスライドバー中のカーソルを任意の位置に設定する。これにより、ユーザは簡易に上記パラメータを設定することができる。例えば、周波数特性変更パラメータ(grainness)k0を上記のように変更することにより、高精細性を保ったまま容易にノイズ除去効果の見栄えを変更できる。また、k0とλの変更に対しては高速に動作が追随する。
Specifically, the setting screen shown in FIG. 9 is displayed on the monitor (not shown) of the
[3]逆色空間変換、画像データ出力
図２に戻ると、ステップＳ４では、上記のステップＳ３においてノイズ除去処理が終わった画像データについて、上記ステップＳ２の「[1]色空間変換」の逆変換を行ってRGB画像に戻す。ステップＳ５では、RGB画像に戻った画像データを出力する。
[3] Inverse color space conversion and image data output Returning to FIG. 2, in step S4, the reverse of “[1] color space conversion” in step S2 is performed on the image data that has undergone the noise removal processing in step S3. Convert to RGB image. In step S5, the image data returned to the RGB image is output.
以上のように、第1の実施の形態では、ノイズ抽出とノイズ除去を分離して２種類のノイズ除去に相当する処理を行い、更に上層の低周波サブバンドのノイズ除去結果が下層の低周波サブバンドのみならず高周波サブバンドのノイズ抽出にも影響を与えるようにした。すなわち、多重解像度変換画像の高周波サブバンドと低周波サブバンドの両方から、しかも相互に影響を及ぼし合いながら逐次的にノイズ抽出を行うので、扱う周波数帯域の合成の自由度が広がり、ノイズ抽出に最適な周波数空間でノイズ抽出を行うことが可能となり、抽出しきれない残留ノイズの問題がなくなりつつも、画像構造を破壊しない高精細なノイズ除去を可能とする。 As described above, in the first embodiment, noise extraction and noise removal are separated and processing corresponding to two types of noise removal is performed, and the noise removal result of the upper low-frequency subband is obtained as the lower-frequency low-frequency. The noise extraction of not only the sub-band but also the high-frequency sub-band is affected. In other words, noise extraction is performed sequentially from both the high-frequency subband and the low-frequency subband of the multi-resolution conversion image, while also affecting each other. Noise extraction can be performed in an optimal frequency space, and the problem of residual noise that cannot be extracted is eliminated, while high-definition noise removal that does not destroy the image structure is possible.
すなわち、デジタル写真のような一般画像において、残留ノイズ問題を適切に対処しつつ画像構造非破壊性の高い、高精細なノイズ除去処理(Edge-preserving smoothing)を実現している。 That is, in a general image such as a digital photograph, high-definition noise removal processing (Edge-preserving smoothing) with high non-destructive image structure is realized while appropriately dealing with the residual noise problem.
（第２の実施の形態）
第１の実施の形態では、画像データを解像度の低いほうに分解しながら、逐次的にノイズの抽出を行っていく「Analysis逐次」の方式を説明した。第２の実施の形態では、多重解像度のデータに分解された画像データを、解像度の高いほうに統合しながら逐次的にノイズの抽出を行う「Synthesis逐次」の方式について説明する。
(Second Embodiment)
In the first embodiment, the “Analysis sequential” method has been described in which image data is decomposed to a lower resolution while noise is extracted sequentially. In the second embodiment, a “Synthesis sequential” method is described in which image data decomposed into multi-resolution data is extracted in a sequential manner while being integrated into a higher resolution.
第２の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理のフローチャートも、流れとしては図２と同様であるので、その説明を省略する。以下、第１の実施の形態の処理と異なる点を中心に説明をする。
Since the configuration of the image processing apparatus of the second embodiment is the same as that of the first embodiment, a description thereof will be omitted with reference to FIG. The flowchart of the image processing according to the second embodiment processed by the
[1]色空間変換
[2]ノイズ除去
[2-1]多重解像度変換について
[2-1-1]ウェーブレット変換：Analysis/Decompositionプロセス
[2-1-2]逆ウェーブレット変換：Synthesis/Reconstructionプロセス
[2-2]ノイズ除去処理について
[2-2-1]改良型Bilateral Filter
[2-2-2]Laplacianノイズ抽出法
以上は、第１の実施の形態と同様であるので、説明を省略する。
[1] Color space conversion
[2] Noise removal
[2-1] About multi-resolution conversion
[2-1-1] Wavelet transform: Analysis / Decomposition process
[2-1-2] Inverse wavelet transform: Synthesis / Reconstruction process
[2-2] Noise removal processing
[2-2-1] Improved Bilateral Filter
[2-2-2] The Laplacian noise extraction method is the same as that in the first embodiment, and a description thereof will be omitted.
[2-3]輝度成分(L^)のノイズ除去
図１０は、輝度成分の処理の流れ図を示す図であり、図１１は、色差成分の処理の流れ図を示す図である。ただし、図１１は、後述するように、図１０の輝度成分の処理の流れ図と異なるところを抽出して図示している。なお、以下の各処理(xx)および処理(xx-x)は、図１０において(xx)および(xx-x)と記載して対応付ける。
[2-3] Noise Removal of Luminance Component (L ^) FIG. 10 is a flowchart showing the processing of the luminance component, and FIG. 11 is a flowchart showing the processing of the color difference component. However, FIG. 11 shows an extracted portion different from the luminance component processing flowchart of FIG. 10 as described later. The following processes (xx) and processes (xx-x) are associated with each other by describing them as (xx) and (xx-x) in FIG.
[2-3-1]多重解像度変換
[2-3-1-1]実空間最高解像度における処理
処理(10)では、実空間面の画像信号S0(LL0)をウェーブレット変換して、1/2解像度の画像信号S1(LL1,LH1,HL1,HH1)を生成する。
[2-3-1] Multi-resolution conversion
[2-3-1-1] Processing at the highest resolution in real space In processing (10), the image signal S0 (LL0) in the real space plane is wavelet transformed to generate a half resolution image signal S1 (LL1, LH1, HL1, HH1) is generated.
[2-3-1-2]1/2解像度における処理
処理(11)では、LL1面の画像信号S1(LL1)をウェーブレット変換して、1/4解像度の画像信号S2(LL2,LH2,HL2,HH2)を生成する。
[2-3-1-2] Processing at 1/2 resolution In the processing (11), the image signal S1 (LL1) of the LL1 surface is wavelet transformed to generate a 1/4 resolution image signal S2 (LL2, LH2, HL2 , HH2).
[2-3-1-3]1/4解像度における処理
処理(12)では、LL2面の画像信号S2(LL2)をウェーブレット変換して、1/8解像度の画像信号S3(LL3,LH3,HL3,HH3)を生成する。
[2-3-1-3] Processing at 1/4 resolution In processing (12), the image signal S2 (LL2) of the LL2 surface is wavelet transformed to obtain an image signal S3 (LL3, LH3, HL3) of 1/8 resolution. , HH3).
[2-3-1-4]1/8解像度における処理
処理(13)では、LL3面の画像信号S3(LL3)をウェーブレット変換して、1/16解像度の画像信号S4(LL4,LH4,HL4,HH4)を生成する。
[2-3-1-4] Processing at 1/8 resolution In the processing (13), the image signal S3 (LL3) of the LL3 plane is wavelet transformed to obtain an image signal S4 (LL4, LH4, HL4) of 1/16 resolution. , HH4).
[2-3-1-5]1/16解像度における処理
処理(14)では、LL4面の画像信号S4(LL4)をウェーブレット変換して、1/32解像度の画像信号S5(LL5,LH5,HL5,HH5)を生成する。
[2-3-1-5] Processing at 1/16 resolution In the processing (14), the image signal S4 (LL4) of the LL4 plane is wavelet transformed to obtain an image signal S5 (LL5, LH5, HL5) of 1/32 resolution. , HH5).
[2-3-2]逐次ノイズ抽出
[2-3-2-1]1/32最低解像度における処理
処理(15-1)では、画像信号S5(LL5,LH5,HL5,HH5)の各々に対してノイズ除去を行ってノイズ除去画像信号S1'(LL5,LH5,HL5,HH5)を作る。処理(15-2)では、各サブバンドのノイズ信号を、n5(LL5)=S5(LL5)-S5'(LL5)、n5(LH5)=S5(LH5)-S5'(LH5)、n5(HL5)=S5(HL5)-S5'(HL5)、n5(HH5)=S1(HH5)-S5'(HH5)により抽出する。処理(15-4)では、ノイズ信号n5(LL5,LH5,HL5,HH5)を逆ウェーブレット変換(Synthesis)することにより、LL4サブバンド面に対応するノイズ抽出用のノイズ信号N5(LL4)を生成する。
[2-3-2] Sequential noise extraction
[2-3-2-1] Processing at 1/32 minimum resolution In processing (15-1), noise removal is performed on each of the image signals S5 (LL5, LH5, HL5, HH5) to obtain a noise-removed image signal. Make S1 '(LL5, LH5, HL5, HH5). In the process (15-2), the noise signal of each subband is converted into n5 (LL5) = S5 (LL5) -S5 '(LL5), n5 (LH5) = S5 (LH5) -S5' (LH5), n5 ( Extract by HL5) = S5 (HL5) -S5 '(HL5), n5 (HH5) = S1 (HH5) -S5' (HH5). In processing (15-4), noise signal n5 (LL4) for noise extraction corresponding to the LL4 subband surface is generated by inverse wavelet transform (Synthesis) of noise signal n5 (LL5, LH5, HL5, HH5) To do.
[2-3-2-2]1/16解像度における処理
処理(14-0)では、ノイズ信号N5(LL4)を等倍強度のまま（あるいはα(5)倍してもよい）画像信号S4(LL4)に対して減算処理を行って、画像信号S4'(LL4)を得る。ただし、0＜α(5)≦1、通常はα(5)=1。なお、S4'(LL4)とS4(LH4,HL4,HH4)をそのまま束ねてS4'(LL4,LH4,HL4,HH4)と表す。
[2-3-2-2] Processing at 1/16 resolution In the processing (14-0), the noise signal N5 (LL4) remains the same strength (or may be multiplied by α (5)) image signal S4 A subtraction process is performed on (LL4) to obtain an image signal S4 ′ (LL4). However, 0 <α (5) ≦ 1, usually α (5) = 1. Note that S4 ′ (LL4) and S4 (LH4, HL4, HH4) are bundled as they are and expressed as S4 ′ (LL4, LH4, HL4, HH4).
処理(14-1)では、画像信号S4'(LL4,LH4,HL4,HH4)の各々に対してノイズ除去を行ってノイズ除去画像信号S4"(LL4,LH4,HL4,HH4)を作る。図１０では、S4"(LL4",LH4',HL4',HH4')と記載しているが、上記S4"(LL4,LH4,HL4,HH4)のことである。処理(14-2)では、各サブバンドのノイズ信号をn4(LL4)=S4'(LL4)-S4"(LL4)、n4(LH4)=S4'(LH4)-S4"(LH4)、n4(HL4)=S4'(HL4)-S4"(HL4)、n4(HH4)=S4'(HH4)-S4"(HH4)により抽出する。 In the process (14-1), noise removal is performed on each of the image signals S4 ′ (LL4, LH4, HL4, HH4) to generate a noise-removed image signal S4 ″ (LL4, LH4, HL4, HH4). 10 is described as S4 "(LL4", LH4 ', HL4', HH4 '), but this is S4 "(LL4, LH4, HL4, HH4). In the processing (14-2), the noise signal of each subband is converted to n4 (LL4) = S4 '(LL4) -S4 "(LL4), n4 (LH4) = S4' (LH4) -S4" (LH4), n4 Extract by (HL4) = S4 ′ (HL4) −S4 ″ (HL4), n4 (HH4) = S4 ′ (HH4) −S4 ″ (HH4).
処理(14-3)では、LL4面のノイズ除去処理により抽出したノイズ信号n4(LL4)と下層からノイズ抽出用に統合したノイズ信号N5(LL4)を次式の加算処理により結合する。
n4'(LL4)=n4(LL4)+N5(LL4) ...(48)
n4'(LL4)とn4(LH4,HL4,HH4)をそのまま束ねてn4'(LL4,LH4,HL4,HH4)と表す。
処理(14-4)では、ノイズ信号n4'(LL4,LH4,HL4,HH4)を逆ウェーブレット変換することにより、LL3サブバンド面に対応するノイズ信号N4(LL3)を生成する。
In the process (14-3), the noise signal n4 (LL4) extracted by the noise removal process on the LL4 surface and the noise signal N5 (LL4) integrated for noise extraction from the lower layer are combined by the addition process of the following equation.
n4 '(LL4) = n4 (LL4) + N5 (LL4) ... (48)
n4 ′ (LL4) and n4 (LH4, HL4, HH4) are bundled as they are and expressed as n4 ′ (LL4, LH4, HL4, HH4).
In the process (14-4), the noise signal n4 ′ (LL4, LH4, HL4, HH4) is subjected to inverse wavelet transform to generate a noise signal N4 (LL3) corresponding to the LL3 subband surface.
[2-3-2-3]1/8解像度における処理
上記[2-3-2-2]1/16解像度における処理と同様である。
[2-3-2-3] Processing at 1/8 resolution The above [2-3-2-2] processing at 1/16 resolution is the same.
[2-3-2-4]1/4解像度における処理
上記[2-3-2-2]1/16解像度における処理と同様である。
[2-3-2-4] Processing at 1/4 resolution The above [2-3-2-2] processing at 1/16 resolution is the same.
[2-3-2-5]1/2解像度における処理
処理(11-0)では、ノイズ信号N2(LL1)を等倍強度のまま（あるいはα(2)倍してもよい）画像信号S1(LL1)に対して減算処理を行って、画像信号S1'(LL1)を得る。ただし、0＜α(2)≦1、通常はα(2)=1。なお、S1'(LL1)とS1(LH1,HL1,HH1)をそのまま束ねてS1'(LL1,LH1,HL1,HH1)と表す。
[2-3-2-5] Processing at 1/2 Resolution In the processing (11-0), the noise signal N2 (LL1) remains the same strength (or may be multiplied by α (2)) image signal S1 A subtraction process is performed on (LL1) to obtain an image signal S1 ′ (LL1). However, 0 <α (2) ≦ 1, usually α (2) = 1. Note that S1 ′ (LL1) and S1 (LH1, HL1, HH1) are bundled as they are and are represented as S1 ′ (LL1, LH1, HL1, HH1).
処理(11-1)では、画像信号S1'(LL1,LH1,HL1,HH1)の各々に対してノイズ除去を行ってノイズ除去画像信号S1"(LL1,LH1,HL1,HH1)を作る。図１０では、S1"(LL1",LH1',HL1',HH1')と記載しているが、上記S1"(LL1,LH1,HL1,HH1)のことである。処理(11-2)では、各サブバンドのノイズ信号をn1(LL1)=S1'(LL1)-S1"(LL1)、n1(LH1)=S1'(LH1)-S1"(LH1)、n1(HL1)=S1'(HL1)-S1"(HL1)、n1(HH1)=S1'(HH1)-S1"(HH1)により抽出する。 In the process (11-1), noise removal is performed on each of the image signals S1 ′ (LL1, LH1, HL1, HH1) to generate a noise-removed image signal S1 ″ (LL1, LH1, HL1, HH1). 10 is described as S1 "(LL1", LH1 ', HL1', HH1 '), but this is S1 "(LL1, LH1, HL1, HH1). In processing (11-2), the noise signal of each subband is n1 (LL1) = S1 '(LL1) -S1 "(LL1), n1 (LH1) = S1' (LH1) -S1" (LH1), n1 Extract by (HL1) = S1 ′ (HL1) −S1 ″ (HL1), n1 (HH1) = S1 ′ (HH1) −S1 ″ (HH1).
処理(11-3)では、LL1面のノイズ除去処理により抽出したノイズ信号n1(LL1)と下層からノイズ抽出用に統合したノイズ信号N2(LL1)を次式の加算処理により結合する。
n1'(LL1)=n1(LL1)+N2(LL1) ...(49)
n1'(LL1)とn1(LH1,HL1,HH1)をそのまま束ねてn1'(LL1,LH1,HL1,HH1)と表す。
処理(11-4)では、ノイズ信号n1'(LL1,LH1,HL1,HH1)を逆ウェーブレット変換することにより、LL0サブバンド面に対応するノイズ信号N1(LL0)を生成する。
In the process (11-3), the noise signal n1 (LL1) extracted by the noise removal process on the LL1 surface and the noise signal N2 (LL1) integrated for noise extraction from the lower layer are combined by the addition process of the following equation.
n1 '(LL1) = n1 (LL1) + N2 (LL1) ... (49)
n1 ′ (LL1) and n1 (LH1, HL1, HH1) are bundled as they are and expressed as n1 ′ (LL1, LH1, HL1, HH1).
In the processing (11-4), the noise signal n1 ′ (LL1, LH1, HL1, HH1) is subjected to inverse wavelet transform to generate the noise signal N1 (LL0) corresponding to the LL0 subband surface.
[2-3-2-6]実空間最高解像度における処理
処理(10-0)では、ノイズ信号N1(LL0)を等倍強度のまま（あるいはα(1)倍してもよい）画像信号S0(LL0)に対して減算処理を行って、画像信号S0'(LL0)を得る。ただし、0＜α(1)≦1、通常はα(1)=1。処理(10-1)では、画像信号S0'(LL0)に対してノイズ除去を行ってノイズ除去画像信号S0"(LL0)を作る。処理(10-2)では、ノイズ信号をn0(LL0)=S0'(LL0)-S0"(LL0)により抽出する。
[2-3-2-6] Processing at the highest resolution in real space In processing (10-0), the noise signal N1 (LL0) remains at the same strength (or may be multiplied by α (1)). A subtraction process is performed on (LL0) to obtain an image signal S0 ′ (LL0). However, 0 <α (1) ≦ 1, usually α (1) = 1. In the process (10-1), noise removal is performed on the image signal S0 ′ (LL0) to generate a noise-removed image signal S0 ″ (LL0). In the process (10-2), the noise signal is converted to n0 (LL0). = S0 '(LL0) -S0 "(LL0) is extracted.
ここで注目すべき点は、従来技術の低解像度側低周波サブバンドのノイズ除去の効果を高解像度側低周波サブバンドのノイズ抽出に反映させているだけではなく、低解像度側高周波サブバンドのノイズ除去効果も一緒に反映させている点である。すなわち、下層の低周波サブバンドと高周波サブバンドのノイズ除去結果が同時に上層の低周波サブバンドのノイズ抽出にも影響を及ぼしている。こうして多重解像度表現における低周波サブバンド側から抽出すべき正確なノイズ成分の抽出が可能となり、残留ノイズの少ないノイズ成分が抽出可能になる。 What should be noted here is that not only the noise removal effect of the low resolution side low frequency subband of the prior art is reflected in the noise extraction of the high resolution side low frequency subband, but also the low resolution side high frequency subband. The noise removal effect is also reflected. That is, the noise removal results of the lower-frequency subband and the lower-frequency subband of the lower layer simultaneously affect the noise extraction of the upper-layer low-frequency subband. In this way, accurate noise components to be extracted from the low-frequency subband side in the multi-resolution representation can be extracted, and noise components with little residual noise can be extracted.
輝度成分に対して、このような「Synthesis逐次」を用いるときは特に、高周波サブバンド側のノイズ除去効果が低周波側サブバンドに潜む筋状やチェックパターン状の残留ノイズ成分をうまく引っ張り出す効果が期待できる。 When using “Synthesis Sequential” for luminance components, the noise removal effect on the high frequency sub-band side effectively pulls out residual noise components such as streaks and check patterns that lie in the low-frequency sub-band side. Can be expected.
[2-3-3]ノイズ成分の周波数特性変更
次に、抽出されたノイズ成分を実際のノイズ除去を行うためのノイズ成分に修正する。すなわち、低周波サブバンド（LL）と高周波サブバンド（LH,HL,HH）の間の重みを変えてノイズ成分の周波数特性を変える。第１の実施の形態と話は同様で、パラメータ設定も同様である。
[2-3-3] Change of frequency characteristics of noise components Next, the extracted noise components are corrected to noise components for performing actual noise removal. That is, the frequency characteristic of the noise component is changed by changing the weight between the low frequency subband (LL) and the high frequency subband (LH, HL, HH). The story is the same as in the first embodiment, and the parameter setting is also the same.
これらは、次式に示す通り行われ、図１０では、処理(10-5)、処理(11-5)、処理(12-5)、処理(13-5)、処理(14-5)、処理(15-5)に対応する。
n0"(LL0)= k0(0)*n0(LL0) ...(50)
n1"(LL1)= k0(1)*n1(LL1) ...(51)
n2"(LL2)= k0(2)*n2(LL2) ...(52)
n3"(LL3)= k0(3)*n3(LL3) ...(53)
n4"(LL4)= k0(4)*n4(LL4) ...(54)
n5"(LL5)= k0(5)*n5(LL5) ...(55)
These are performed as shown in the following equation. In FIG. 10, the processing (10-5), the processing (11-5), the processing (12-5), the processing (13-5), the processing (14-5), Corresponds to processing (15-5).
n0 "(LL0) = k0 (0) * n0 (LL0) ... (50)
n1 "(LL1) = k0 (1) * n1 (LL1) ... (51)
n2 "(LL2) = k0 (2) * n2 (LL2) ... (52)
n3 "(LL3) = k0 (3) * n3 (LL3) ... (53)
n4 "(LL4) = k0 (4) * n4 (LL4) ... (54)
n5 "(LL5) = k0 (5) * n5 (LL5) ... (55)
ここで、
n1"(LL1)とn1(LH1,HL1,HH1)をそのまま束ねてn1"(LL1,LH1,HL1,HH1)と表す。
n2"(LL2)とn2(LH2,HL2,HH2)をそのまま束ねてn2"(LL2,LH2,HL2,HH2)と表す。
n3"(LL3)とn3(LH3,HL3,HH3)をそのまま束ねてn3"(LL3,LH3,HL3,HH3)と表す。
n4"(LL4)とn4(LH4,HL4,HH4)をそのまま束ねてn4"(LL4,LH4,HL4,HH4)と表す。
n5"(LL5)とn5(LH5,HL5,HH5)をそのまま束ねてn5"(LL5,LH5,HL5,HH5)と表す。
here,
n1 "(LL1) and n1 (LH1, HL1, HH1) are bound together and represented as n1" (LL1, LH1, HL1, HH1).
n2 "(LL2) and n2 (LH2, HL2, HH2) are bundled as they are and expressed as n2" (LL2, LH2, HL2, HH2).
n3 "(LL3) and n3 (LH3, HL3, HH3) are bundled as they are and expressed as n3" (LL3, LH3, HL3, HH3).
n4 "(LL4) and n4 (LH4, HL4, HH4) are bundled as they are and expressed as n4" (LL4, LH4, HL4, HH4).
n5 "(LL5) and n5 (LH5, HL5, HH5) are bundled as they are and expressed as n5" (LL5, LH5, HL5, HH5).
[2-3-4]ノイズ成分の統合
こうして修正されたノイズ成分を最低解像度側から順次逆ウェーブレット変換を行いながら、実際にノイズ除去に使うためのノイズ成分の統合を行う。
[2-3-4] Integration of noise components The noise components to be actually used for noise removal are integrated while performing inverse wavelet transform on the corrected noise components sequentially from the lowest resolution side.
[2-3-4-1]1/32最低解像度における処理
処理(15-7)では、バンド間で加重処理の施された単層のノイズ信号n5"(LL5,LH5,HL5,HH5)を逆ウェーブレット変換することにより、LL4サブバンド面に対応する実際のノイズ除去用のノイズ信号N5'(LL4)を生成する。
[2-3-4-1] Processing at 1/32 minimum resolution In processing (15-7), a single-layer noise signal n5 "(LL5, LH5, HL5, HH5) weighted between bands is processed. By performing inverse wavelet transform, an actual noise removal noise signal N5 ′ (LL4) corresponding to the LL4 subband surface is generated.
[2-3-4-2]1/16解像度における処理
処理(14-6)では、LL4面自身から抽出して加重処理の施されたノイズ信号n4"(LL4)と下層から実際のノイズ除去用に統合したノイズ信号N5'(LL4)を、次式の加算処理により結合する。
n4"'(LL4)=n4"(LL4)+N5'(LL4) ...(56)
n4"'(LL4)とn4"(LH4,HL4,HH4)をそのまま束ねてn4"'(LL4,LH4,HL4,HH4)と表す。
これにより、LL4面のノイズ成分は、図１０からも分かるように、２層のノイズ成分が統合されたことになる。ただし、LH4,HL4,HH4のノイズ成分は単層である。処理(14-7)では、2層のノイズ成分が統合されたノイズ信号n4"'(LL4,LH4,HL4,HH4)を逆ウェーブレット変換することにより、LL3サブバンド面に対応するノイズ信号N4'(LL3)を生成する。
[2-3-4-2] Processing at 1/16 resolution In processing (14-6), noise signal n4 "(LL4) extracted from LL4 surface itself and subjected to weighting processing and actual noise removal from the lower layer The noise signals N5 ′ (LL4) integrated for the above are combined by the addition processing of the following equation.
n4 "'(LL4) = n4" (LL4) + N5' (LL4) ... (56)
n4 "'(LL4) and n4" (LH4, HL4, HH4) are bundled as they are and expressed as n4 "' (LL4, LH4, HL4, HH4).
As a result, as shown in FIG. 10, the noise components of the LL4 plane are integrated with the two layers of noise components. However, the noise component of LH4, HL4, and HH4 is a single layer. In the processing (14-7), the noise signal n4 "'(LL4, LH4, HL4, HH4) in which the noise components of the two layers are integrated is subjected to inverse wavelet transform to thereby generate the noise signal N4' corresponding to the LL3 subband surface. (LL3) is generated.
[2-3-4-3]1/8解像度における処理
上記[2-3-4-2]1/16解像度における処理と同様である。
[2-3-4-3] Processing at 1/8 resolution The above [2-3-4-2] processing at 1/16 resolution is the same.
[2-3-4-4]1/4解像度における処理
上記[2-3-4-2]1/16解像度における処理と同様である。
[2-3-4-4] Processing at 1/4 resolution The above [2-3-4-2] processing at 1/16 resolution is the same.
[2-3-4-5]1/2解像度における処理
処理(11-6)では、LL1面自身から抽出して加重処理の施されたノイズ信号n1"(LL1)と下層から実際のノイズ除去用に統合したN2'(LL1)を、次式の加算処理により結合する。
n1"'(LL1)=n1"(LL1)+N2'(LL1) ...(57)
n1"'(LL1)とn1"(LH1,HL1,HH1)をそのまま束ねてn1"'(LL1,LH1,HL1,HH1)と表す。
処理(11-7)では、2層のノイズ成分が統合されたノイズ信号n1"'(LL1,LH1,HL1,HH1)を逆ウェーブレット変換することにより、LL0サブバンド面に対応するノイズ信号N1'(LL0)を生成する。
[2-3-4-5] Processing at 1/2 resolution In processing (11-6), noise signal n1 "(LL1) extracted from the LL1 surface itself and subjected to weighting processing and actual noise removal from the lower layer N2 ′ (LL1) integrated for the purpose is combined by the addition processing of the following equation.
n1 "'(LL1) = n1" (LL1) + N2' (LL1) ... (57)
n1 "'(LL1) and n1" (LH1, HL1, HH1) are bundled as they are and expressed as n1 "' (LL1, LH1, HL1, HH1).
In the processing (11-7), the noise signal n1 "'(LL1, LH1, HL1, HH1) in which the noise components of the two layers are integrated is subjected to inverse wavelet transform to thereby generate the noise signal N1' corresponding to the LL0 subband surface. (LL0) is generated.
[2-3-4-6]実空間最高解像度における処理
処理(10-6)では、LL0面自身から抽出して加重処理の施されたノイズ信号n0"(LL0)と下層から実際のノイズ除去用に統合したN1'(LL0)を、次式の加算処理により結合する。
n0"'(LL0)=n0"(LL0)+N1'(LL0) ...(58)
[2-3-4-6] Processing at the highest resolution in real space In processing (10-6), the noise signal n0 "(LL0) extracted from the LL0 plane itself and subjected to weighting processing and the actual noise removal from the lower layer N1 ′ (LL0) integrated for the above are combined by the addition processing of the following equation.
n0 "'(LL0) = n0" (LL0) + N1' (LL0) ... (58)
第１の実施の形態と同様に、ここでも、2層構造のノイズ成分を結合する加算時に、更に異なる解像度の階層間でノイズ成分の強度を変えて周波数特性をもっと自由自在に変更できるようにしてもよい。このときは、同様に下式のような処理になる。
n4"'(LL4)=n4"(LL4)+β(5)*N5'(LL4) ...(59)
n3"'(LL3)=n3"(LL3)+β(4)*N4'(LL3) ...(60)
n2"'(LL2)=n2"(LL2)+β(3)*N3'(LL2) ...(61)
n1"'(LL1)=n1"(LL1)+β(2)*N2'(LL1) ...(62)
n0"'(LL0)=n0"(LL0)+β(1)*N1'(LL0) ...(63)
ただし、0＜β(1)≦1、0＜β(2)≦1、0＜β(3)≦1、0＜β(4)≦1、0＜β(5)≦1。
Similar to the first embodiment, the frequency characteristic can be changed more freely by changing the intensity of the noise component between layers of different resolutions at the time of addition in which the noise components of the two-layer structure are combined. May be. At this time, the processing is similarly performed by the following equation.
n4 "'(LL4) = n4" (LL4) + β (5) * N5' (LL4) ... (59)
n3 "'(LL3) = n3" (LL3) + β (4) * N4' (LL3) ... (60)
n2 "'(LL2) = n2" (LL2) + β (3) * N3' (LL2) ... (61)
n1 "'(LL1) = n1" (LL1) + β (2) * N2' (LL1) ... (62)
n0 "'(LL0) = n0" (LL0) + β (1) * N1' (LL0) ... (63)
However, 0 <β (1) ≦ 1, 0 <β (2) ≦ 1, 0 <β (3) ≦ 1, 0 <β (4) ≦ 1, 0 <β (5) ≦ 1.
ここで、注目すべき点は、ノイズ抽出用と実際のノイズ除去用の2種類のノイズ成分を、2系統のノイズ統合手段を用意してそれぞれ別々に統合していっている点である。これによりそれぞれの用途に適したノイズ成分の強度特性変更や周波数特性変更の最適化処理が容易となる。 What should be noted here is that two types of noise components for noise extraction and actual noise removal are prepared and integrated separately by using two systems of noise integration means. As a result, the optimization process for changing the intensity characteristic of the noise component and changing the frequency characteristic suitable for each application is facilitated.
更に第１の実施の形態と同様に、これらのノイズ統合処理において、低周波サブバンドのノイズ成分が、従来技術とは違って、低解像度側の低周波と高周波の両サブバンドから統合さててきたノイズ成分と同時に、着目解像度の低周波サブバンド自身から抽出したノイズ成分の、2層構造を利用してノイズ合成を行っている。これによって、ノイズの周波数特性変更を容易にし、かつ2系統の用途のそれぞれに適したノイズ成分を調合することを可能としている。 Further, as in the first embodiment, in these noise integration processes, the noise components of the low frequency subbands are integrated from both the low frequency and high frequency subbands on the low resolution side, unlike the prior art. At the same time, noise synthesis is performed using a two-layer structure of noise components extracted from the low-frequency subband itself of the resolution of interest. This makes it easy to change the frequency characteristics of noise, and makes it possible to prepare noise components suitable for each of the two systems.
[2-3-5]実際のノイズ除去処理
第１の実施の形態の「[2-3-4]実際のノイズ除去処理」と同様である。
[2-3-5] Actual noise removal processing The same as “[2-3-4] Actual noise removal processing” in the first embodiment.
[2-4]色差成分(a^)のノイズ除去
第１の実施の形態の「[2-4]色差成分(a^)のノイズ除去」と同様である。ただし、使っている式の定義が少しずれるので、以下の通りそれを書き直すのみである。
[2-4] Noise removal of color difference component (a ^) This is the same as “[2-4] Noise removal of color difference component (a ^)" in the first embodiment. However, the definition of the expression used is slightly different, so you can just rewrite it as follows.
[2-4-1]ノイズ成分の周波数特性変更
n1"(LH1)= k1(1)*n1(LH1) ...(64)
n1"(HL1)= k1(1)*n1(HL1) ...(65)
n1"(HH1)= k2(1)*n1(HH1) ...(66)
n2"(LH2)= k1(2)*n2(LH2) ...(67)
n2"(HL2)= k1(2)*n2(HL2) ...(68)
n2"(HH2)= k2(2)*n2(HH2) ...(69)
n3"(LH3)= k1(3)*n3(LH3) ...(70)
n3"(HL3)= k1(3)*n3(HL3) ...(71)
n3"(HH3)= k2(3)*n3(HH3) ...(72)
n4"(LH4)= k1(4)*n4(LH4) ...(73)
n4"(HL4)= k1(4)*n4(HL4) ...(74)
n4"(HH4)= k2(4)*n4(HH4) ...(75)
n5"(LH5)= k1(5)*n5(LH5) ...(76)
n5"(HL5)= k1(5)*n5(HL5) ...(77)
n5"(HH5)= k2(5)*n5(HH5) ...(78)
[2-4-1] Change frequency characteristics of noise components
n1 "(LH1) = k1 (1) * n1 (LH1) ... (64)
n1 "(HL1) = k1 (1) * n1 (HL1) ... (65)
n1 "(HH1) = k2 (1) * n1 (HH1) ... (66)
n2 "(LH2) = k1 (2) * n2 (LH2) ... (67)
n2 "(HL2) = k1 (2) * n2 (HL2) ... (68)
n2 "(HH2) = k2 (2) * n2 (HH2) ... (69)
n3 "(LH3) = k1 (3) * n3 (LH3) ... (70)
n3 "(HL3) = k1 (3) * n3 (HL3) ... (71)
n3 "(HH3) = k2 (3) * n3 (HH3) ... (72)
n4 "(LH4) = k1 (4) * n4 (LH4) ... (73)
n4 "(HL4) = k1 (4) * n4 (HL4) ... (74)
n4 "(HH4) = k2 (4) * n4 (HH4) ... (75)
n5 "(LH5) = k1 (5) * n5 (LH5) ... (76)
n5 "(HL5) = k1 (5) * n5 (HL5) ... (77)
n5 "(HH5) = k2 (5) * n5 (HH5) ... (78)
ここで、
n1(LL1)とn1"(LH1,HL1,HH1)をそのまま束ねてn1"(LL1,LH1,HL1,HH1)と表す。
n2(LL2)とn2"(LH2,HL2,HH2)をそのまま束ねてn2"(LL2,LH2,HL2,HH2)と表す。
n3(LL3)とn3"(LH3,HL3,HH3)をそのまま束ねてn3"(LL3,LH3,HL3,HH3)と表す。
n4(LL4)とn4"(LH4,HL4,HH4)をそのまま束ねてn4"(LL4,LH4,HL4,HH4)と表す。
n5(LL5)とn5"(LH5,HL5,HH5)をそのまま束ねてn5"(LL5,LH5,HL5,HH5)と表す。
here,
n1 (LL1) and n1 "(LH1, HL1, HH1) are bundled as they are and expressed as n1" (LL1, LH1, HL1, HH1).
n2 (LL2) and n2 "(LH2, HL2, HH2) are bundled as they are and expressed as n2" (LL2, LH2, HL2, HH2).
n3 (LL3) and n3 "(LH3, HL3, HH3) are bundled as they are and expressed as n3" (LL3, LH3, HL3, HH3).
n4 (LL4) and n4 "(LH4, HL4, HH4) are bundled as they are and expressed as n4" (LL4, LH4, HL4, HH4).
n5 (LL5) and n5 "(LH5, HL5, HH5) are bundled as they are and expressed as n5" (LL5, LH5, HL5, HH5).
[2-5]色差成分(b^)のノイズ除去
「[2-4]色差成分(a^)のノイズ除去」と同様である。
[2-5] Noise removal of color difference component (b ^) Same as “[2-4] Noise removal of color difference component (a ^)”.
以上のように、第２の実施の形態では、ノイズ抽出とノイズ除去を分離して２種類のノイズ除去に相当する処理を行い、かつ下層の低周波サブバンドのノイズ除去結果のみならず下層の高周波サブバンドのノイズ除去結果も上層の低周波サブバンドのノイズ抽出にも影響を与えるようにした。すなわち、第１の実施の形態と同様に、多重解像度変換画像の高周波サブバンドと低周波サブバンドの両方から、しかも相互に影響を及ぼし合いながら逐次的にノイズ抽出を行うので、扱う周波数帯域の合成の自由度が広がり、ノイズ抽出に最適な周波数空間でノイズ抽出を行うことが可能となり、抽出しきれない残留ノイズの問題がなくなりつつも、画像構造を破壊しない高精細なノイズ除去を可能とする。 As described above, in the second embodiment, noise extraction and noise removal are separated and processing corresponding to two types of noise removal is performed, and not only the lower-frequency low-frequency subband noise removal result but also the lower layer. The noise removal result of the high frequency sub-band also affects the noise extraction of the upper low frequency sub-band. That is, as in the first embodiment, noise extraction is performed sequentially from both the high-frequency subband and the low-frequency subband of the multi-resolution conversion image while affecting each other. The degree of freedom of synthesis is widened, and noise extraction can be performed in a frequency space that is optimal for noise extraction, eliminating the problem of residual noise that cannot be extracted, but enabling high-definition noise removal without destroying the image structure. To do.
すなわち、デジタル写真のような一般画像において、残留ノイズ問題を適切に対処しつつ画像構造非破壊性の高い、高精細なノイズ除去処理(Edge-preserving smoothing)を実現している。 That is, in a general image such as a digital photograph, high-definition noise removal processing (Edge-preserving smoothing) with high non-destructive image structure is realized while appropriately dealing with the residual noise problem.
ここで、第１の実施の形態と第２の実施の形態の違いについて少し触れておく。パラメータの設定を変えることによって「Analysis逐次」と「Synthesis逐次」の方式はほぼ同等のノイズ除去効果とノイズ残留問題対策効果を得ることが出来ることが実験的に確認されている。しかし、敢えてその違いを述べてみるなら処理の順序からいって、「Analysis逐次」方式は後段に低解像度側がくるので、別の解像度に対して確実に影響を及ぼす低解像度側の長周期成分のノイズ抽出漏れ防止効果が高いのに対し、「Synthesis逐次」方式は反対に後段に高解像度側がくるので、高解像度側のノイズ抽出漏れ防止効果が高く、チェックパターン等のナイキスト周波数のしつこいノイズ抽出に強いといえる。 Here, the difference between the first embodiment and the second embodiment will be briefly described. It has been experimentally confirmed that by changing the parameter settings, the “Analysis sequential” and “Synthesis sequential” methods can obtain approximately the same noise removal effect and noise residual problem countermeasure effect. However, if we dare to describe the difference, the “Analysis sequential” method comes later in the lower resolution side of the processing order. On the contrary, the "Synthesis sequential" method has a high resolution side in the latter stage, while the noise extraction leakage prevention effect is high, so the high resolution side noise extraction leakage prevention effect is high, and it is used for persistent noise extraction of Nyquist frequencies such as check patterns. It can be said that it is strong.
（第３の実施の形態）
第１の実施の形態や第２の実施の形態では、ノイズ除去処理の例について説明をした。第３の実施の形態では、このノイズ除去処理をエッジ強調処理に置き換えた、多重解像度における周波数特性の変更が容易なエッジ強調処理の例について説明する。
(Third embodiment)
In the first embodiment and the second embodiment, examples of noise removal processing have been described. In the third embodiment, an example of an edge enhancement process in which the noise removal process is replaced with an edge enhancement process and frequency characteristics in multi-resolution can be easily changed will be described.
第３の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、その説明を省略する。図１２は、多重解像度変換を利用したエッジ強調処理の流れ図を示す図である。変更の要点は、ノイズ除去で行っていた逐次処理のフィードバック・ルーチンが不要となり、ノイズ成分抽出処理がエッジ成分抽出処理に置き換わるだけである。エッジ成分抽出処理は例えば、各サブバンド面のアンシャープ・マスク処理やバンドパス・フィルタリング処理等によって行う。 Since the configuration of the image processing apparatus of the third embodiment is the same as that of the first embodiment, description thereof is omitted. FIG. 12 is a flowchart illustrating edge enhancement processing using multi-resolution conversion. The main point of the change is that the feedback routine of the sequential processing that has been performed in the noise removal becomes unnecessary, and the noise component extraction processing is merely replaced with the edge component extraction processing. The edge component extraction processing is performed by, for example, unsharp mask processing or bandpass filtering processing of each subband surface.
これらの処理は、第１の実施の形態や第２の実施の形態のノイズ成分を抽出するために変換した多重解像度画像を用いて同時に行ってもよいし、第１の実施の形態や第２の実施の形態のようなノイズ除去処理が済んだ画像に対して改めて処理を行なってもよい。また、エッジ強調だけの目的ならば単独で用いてもよい。ただし、基本的には輝度面に対してだけ行なう。 These processes may be performed simultaneously using the multi-resolution image converted in order to extract the noise component of the first embodiment or the second embodiment, or the first embodiment or the second embodiment. Processing may be performed again on an image that has undergone noise removal processing as in the embodiment. Alternatively, it may be used alone for the purpose of edge enhancement only. However, this is basically done only for the luminance plane.
本実施の形態では、説明の簡略化のためエッジ強調を単独で行う場合の説明をするが、高画質化の観点からは、本来ノイズ除去とエッジ強調を同時に行い、エッジ抽出成分にノイズ成分が含まれないように第１の実施の形態や第２の実施の形態でノイズフリーになるまで仮想的に強力にノイズ除去されたサブバンド面からエッジ成分を抽出して統合し、実際のノイズ除去が済んだ画像に加算処理を行うのが良い。従って、例えば、第２の実施の形態に追加した場合を例に取ると、図１０の右側の再構築処理では、１）仮想的ノイズ除去のためのノイズ成分統合、２）実際のノイズ除去のためのノイズ成分統合、３）実際のエッジ強調のためのエッジ成分統合の３系統の処理が走ることになる。 In this embodiment, for the sake of simplification of explanation, a case where edge enhancement is performed alone will be described. However, from the viewpoint of improving image quality, noise removal and edge enhancement are originally performed at the same time. The edge components are extracted and integrated from the subband surfaces that are virtually noise-removed until they become noise-free in the first and second embodiments so that they are not included, and actual noise removal is performed. It is preferable to perform addition processing on the finished image. Therefore, for example, taking the case of addition to the second embodiment as an example, the reconstruction processing on the right side of FIG. 10 is performed by 1) integration of noise components for virtual noise removal, and 2) actual noise removal. For this reason, 3 processes of integration of noise components for 3) edge component integration for actual edge enhancement are performed.
こうして、多重解像度変換を用いたノイズ除去処理において、ノイズ成分の周波数特性や強度が容易に変更できてノイズ除去効果の見栄えの変化を容易に確認できたのと同様に、多重解像度変換を用いたエッジ強調処理において、エッジ成分の周波数特性や強度が容易に変更できてエッジ強調効果の見栄えの変化を容易に確認することが可能なシステムを提供することが可能となる。 Thus, in the noise removal processing using multi-resolution conversion, the multi-resolution conversion was used in the same way as the frequency characteristics and intensity of the noise component could be easily changed and the appearance change of the noise removal effect could be easily confirmed. In the edge enhancement process, it is possible to provide a system that can easily change the frequency characteristics and intensity of the edge component and can easily confirm the change in the appearance of the edge enhancement effect.
抽出したエッジ成分について、低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の間の重みを変えてエッジ成分の周波数特性を変える。図１３は、低周波サブバンド(LL)と高周波サブバンド(LH,HL,HH)の加重係数を示す図である。ただし、LH,HL間で同じk1を用いなくてもよい。ここで言う低周波サブバンドは低周波エッジ成分画像、高周波サブバンドは高周波エッジ成分画像である。 For the extracted edge component, the frequency characteristic of the edge component is changed by changing the weight between the low frequency subband (LL) and the high frequency subband (LH, HL, HH). FIG. 13 is a diagram illustrating weighting coefficients of the low frequency subband (LL) and the high frequency subband (LH, HL, HH). However, it is not necessary to use the same k1 between LH and HL. The low frequency subband here is a low frequency edge component image, and the high frequency subband is a high frequency edge component image.
このように、エッジ成分の周波数帯域間で重みが変調された低周波エッジ成分画像と高周波エッジ成分画像は、逆ウェーブレット変換に使用される。逆ウェーブレット変換は、図１２に示す通り、各解像度において重みが変調された低周波エッジ成分画像と高周波エッジ成分画像を使用しながら、原画像と同じ解像度を持つ１つのエッジ成分画像になるまで逐次、逆ウェーブレット変換（統合）を繰り返す。そして、最終的に統合されたエッジ成分に基づいて、原画像のエッジ強調を行う。 As described above, the low-frequency edge component image and the high-frequency edge component image whose weights are modulated between the frequency bands of the edge components are used for the inverse wavelet transform. As shown in FIG. 12, the inverse wavelet transform uses a low-frequency edge component image and a high-frequency edge component image in which weights are modulated at each resolution, and sequentially, until one edge component image having the same resolution as the original image is obtained. Repeat inverse wavelet transform (integration). Then, edge enhancement of the original image is performed based on the finally integrated edge components.
第１の実施の形態や第２の実施の形態と同様に、多重解像度変換画像の高周波サブバンドおよび低周波サブバンドの両方からエッジ抽出を行い、サブバンド間の加重係数を導入して統合するので、エッジ成分の周波数帯域の間隔がなく、かつ、周波数特性を容易に変更でき、エッジ強調の見栄えを簡易に変更できる環境も提供できる。 As in the first and second embodiments, edge extraction is performed from both the high-frequency subband and the low-frequency subband of the multi-resolution conversion image, and weighting coefficients between the subbands are introduced and integrated. Therefore, there can be provided an environment in which there is no interval between the frequency bands of the edge components, the frequency characteristics can be easily changed, and the appearance of edge enhancement can be easily changed.
（変形例）
なお、上記第１の実施の形態から第３の実施の形態では、多重解像度変換としてウェーブレット変換の例を示した。多重解像度変換としてウェーブレット変換の代わりに、ラプラシアン・ピラミッドを用いてもよい。ウェーブレット変換の低周波サブバンド(LL)には、ラプラシアン・ピラミッドを生成する途中で生成されるガウシアン・ピラミッドの各々が対応し、ウェーブレット変換の高周波サブバンド（LH,HL,HH）にはラプラシアン・ピラミッドの各々が対応する。注意すべき点は、ウェーブレット変換では低周波サブバンドとそれに対応する高周波サブバンドが同じ解像度であったところが、ラプラシアン・ピラミッドでは、低周波サブバンドのガウシアン・バンドに対して、それに対応する高周波サブバンドのラプラシアンバンドの解像度がガウシアン・バンドに対して１つ高い解像度を持っている点のみ異なっていることである。
(Modification)
In the first to third embodiments, an example of wavelet transform is shown as multiresolution conversion. A Laplacian pyramid may be used as the multiresolution conversion instead of the wavelet conversion. The low-frequency subband (LL) of the wavelet transform corresponds to each of the Gaussian pyramids generated during the generation of the Laplacian pyramid, and the high-frequency subbands (LH, HL, HH) of the wavelet transform Each pyramid corresponds. Note that in the wavelet transform, the low-frequency subband and the corresponding high-frequency subband have the same resolution, but in the Laplacian pyramid, the low-frequency subband Gaussian band has a corresponding high-frequency subband. The only difference is that the resolution of the Laplacian band of the band has one higher resolution than the Gaussian band.
ラプラシアン・ピラミッドに関しては、文献「P. H. Burt and E. H. Adelson, "The Laplacian Pyramid as a Compact Image Code," IEEE Transactions on Communications, Vol.31, No.4, pp.532-540, 1983.」を参照。 For the Laplacian pyramid, see the document “P. H. Burt and E. H. Adelson,“ The Laplacian Pyramid as a Compact Image Code, ”IEEE Transactions on Communications, Vol. 31, No. 4, pp. 532-540, 1983.”
また、多重解像度変換としてラプラシアン・ピラミッド表現の代わりにステアラブル・ピラミッド（ステアラブルウェーブレット変換、方向ウェーブレット変換）表現を用いてもよい。ステアラブル・ピラミッドにおいても低周波サブバンドはラプラシアン・ピラミッドのガウシアン・バンドがそのまま対応し、高周波サブバンドにはラプラシアン・ピラミッドでは等方的ハイパス成分が一種類のみラプラシアン・バンドとして生成されていたものが、複数方向の異方的ハイパス成分によるラプラシアン・バンドが複数個存在して対応することになるだけである。 Further, instead of the Laplacian pyramid representation, a steerable pyramid (steerable wavelet transform, directional wavelet transform) representation may be used as the multi-resolution conversion. In the steerable pyramid, the low-frequency subband corresponds to the Gaussian band of the Laplacian pyramid as it is, and the high-frequency subband has only one type of isotropic high-pass component generated as a Laplacian band in the Laplacian pyramid. Only a plurality of Laplacian bands due to anisotropic high-pass components in a plurality of directions exist and correspond to each other.
ステアラブル・フィルタについては、文献「W. T. Freeman and E. H. Adelson, "The Design and Use of Steerable Filters." IEEE Transactions on Pattern and Machine Intelligence, Vol.13, No.9, pp.891-906, Septempber 1991.」を参照。 For steerable filters, see WT Freeman and EH Adelson, "The Design and Use of Steerable Filters." IEEE Transactions on Pattern and Machine Intelligence, Vol.13, No.9, pp.891-906, Septempber 1991. See
図１４は、直交ウェーブレット変換、ラプラシアン・ピラミッド、ステアラブル・ピラミッドの各種多重解像度表現における、低周波サブバンドと高周波サブバンドの対応関係の模式図を示す図である。 FIG. 14 is a diagram illustrating a schematic diagram of the correspondence relationship between the low-frequency subband and the high-frequency subband in various multiresolution representations of the orthogonal wavelet transform, the Laplacian pyramid, and the steerable pyramid.
上記第１の実施の形態では、輝度成分および色差成分ともに、「Analysis逐次」方式によるノイズ除去の例を説明し、上記第２の実施の形態では、輝度成分および色差成分ともに、「Synthesis逐次」方式によるノイズ除去の例を説明した。しかし、輝度成分に対しては「Analysis逐次」を、色差成分に対しては「Synthesis逐次」を用いたノイズ除去を行うようにしてもよい。また、輝度成分に対しては「Synthesis逐次」を、色差成分に対しては「Analysis逐次」を用いたノイズ除去を行うようにしてもよい。 In the first embodiment, an example of noise removal by the “Analysis sequential” method is described for both the luminance component and the color difference component, and in the second embodiment, “Synthesis sequential” is performed for both the luminance component and the color difference component. An example of noise removal by the method has been described. However, noise removal may be performed using “Analysis sequential” for the luminance component and “Synthesis sequential” for the color difference component. Alternatively, noise removal may be performed using “Synthesis sequential” for the luminance component and “Analysis sequential” for the color difference component.
上記実施の形態では、パーソナルコンピュータ１で処理を行う例を示したが、必ずしもこの内容に限定する必要はない。カメラなどの撮像装置の中で処理を行う場合であってもよい。また、他の装置であってもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。
In the above embodiment, an example is shown in which processing is performed by the
上記実施の形態、例えばSynthesis逐次では、２系統のノイズ成分統合を行う過程で仮想ノイズ除去と実ノイズ除去の２種類のノイズ除去概念導入の説明を行ったが、必ずしもこれに限るものではない。例えば、従来技術の特許文献５や９に示されているように、ノイズ除去されたサブバンド画像を統合して再構築して行く方式では、２種類のノイズ除去されたサブバンド画像を用意して２系統で統合して行けばよい。
In the above-described embodiment, for example, Synthesis sequential, the introduction of two types of noise removal concepts, virtual noise removal and real noise removal, has been described in the process of integrating two systems of noise components. However, the present invention is not necessarily limited to this. For example, as shown in
上記実施の形態では、ノイズ除去処理の例として、改良型Bilateral FilterとLaplacianノイズ抽出法の例を示したが、他の種類のノイズ除去フィルタであってもよい。 In the above-described embodiment, as an example of the noise removal process, the improved Bilateral Filter and the Laplacian noise extraction method are shown, but other types of noise removal filters may be used.
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
１ パーソナルコンピュータ
２ デジタルカメラ
３ 記録媒体
４ コンピュータ
５ 電気通信回線
1
Claims (11)
複数の画素からなる原画像を入力する画像入力手順と、
前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、
前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、
前記低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高い解像度の低周波画像と同じ解像度を持つ１つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、更に１つのノイズ画像に統合するノイズ統合手順と、
前記統合されたノイズ画像に基づいて、原画像に含まれるノイズを除去するノイズ除去手順と、を有し、
前記原画像が輝度成分からなる場合は、前記高周波ノイズ画像に対して前記低周波ノイズ画像を減衰させて統合することを特徴とする画像処理方法。 An image processing method for removing noise contained in an image,
An image input procedure for inputting an original image composed of a plurality of pixels,
The input original image is decomposed, and a set consisting of a series of a low-frequency image having the lowest resolution and a high-frequency image having a plurality of resolutions that can completely reconstruct the original image, and a series of low-frequency images having a plurality of resolutions. In order to express the frequency space more redundant than equivalently representing the original image using both sets, multiple low-frequency images with successively lower resolutions, and successively lower resolutions in pairs with each other A multi-resolution image generation procedure for generating a plurality of high-frequency images having:
A noise extraction procedure for extracting a noise component included in each of the low-frequency image and the high-frequency image, and generating a low-frequency noise image and a high-frequency noise image corresponding to each,
The low-frequency noise image and the high-frequency noise image that is paired with the low-frequency noise image are combined and integrated into a single noise image having the same resolution as the next higher-resolution low-frequency image. A noise integration procedure for further integration into one noise image by combining with a corresponding low frequency noise image;
On the basis of the integrated noise image has a noise removal procedure that removes noise contained in the original image,
When the original image is composed of a luminance component, the low frequency noise image is attenuated and integrated with the high frequency noise image .
複数の画素からなる原画像を入力する画像入力手順と、
前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、
前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、
前記低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高い解像度の低周波画像と同じ解像度を持つ１つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、更に１つのノイズ画像に統合するノイズ統合手順と、
前記統合されたノイズ画像に基づいて、原画像に含まれるノイズを除去するノイズ除去手順と、を有し、
前記原画像が色差成分からなる場合は、前記低周波ノイズ画像に対して前記高周波ノイズ画像を減衰させて統合することを特徴とする画像処理方法。 An image processing method for removing noise contained in an image,
An image input procedure for inputting an original image composed of a plurality of pixels,
The input original image is decomposed, and a set consisting of a series of a low-frequency image having the lowest resolution and a high-frequency image having a plurality of resolutions that can completely reconstruct the original image, and a series of low-frequency images having a plurality of resolutions. In order to express the frequency space more redundant than equivalently representing the original image using both sets, multiple low-frequency images with successively lower resolutions, and successively lower resolutions in pairs with each other A multi-resolution image generation procedure for generating a plurality of high-frequency images having:
A noise extraction procedure for extracting a noise component included in each of the low-frequency image and the high-frequency image, and generating a low-frequency noise image and a high-frequency noise image corresponding to each,
The low-frequency noise image and the high-frequency noise image that is paired with the low-frequency noise image are combined and integrated into a single noise image having the same resolution as the next higher-resolution low-frequency image. A noise integration procedure for further integration into one noise image by combining with a corresponding low frequency noise image;
On the basis of the integrated noise image has a noise removal procedure that removes noise contained in the original image,
When the original image is composed of color difference components, the high frequency noise image is attenuated and integrated with the low frequency noise image .
複数の画素からなる原画像を入力する画像入力手順と、
前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、
前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、
前記低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高い解像度の低周波画像と同じ解像度を持つ１つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、１つの新たな低周波ノイズ画像に統合するノイズ統合手順と、
前記ノイズ統合手順で生成された新たな低周波ノイズ画像を、前記ノイズ統合手順の低周波ノイズ画像として代入し、最終的に生成される新たな低周波ノイズ画像が原画像と同じ解像度を持つ１つのノイズ画像になるまで、逐次的に前記ノイズ統合手順の統合処理を繰り返すノイズ統合繰り返し手順と、
前記ノイズ統合手順と前記ノイズ統合繰り返し手順で統合されたノイズ画像に基づいて、前記原画像に含まれるノイズを除去するノイズ除去手順と、を有し、
前記原画像が輝度成分からなる場合は、前記高周波ノイズ画像に対して前記低周波ノイズ画像を減衰させて統合することを特徴とする画像処理方法。 An image processing method for removing noise contained in an image,
An image input procedure for inputting an original image composed of a plurality of pixels,
The input original image is decomposed, and a set consisting of a series of a low-frequency image having the lowest resolution and a high-frequency image having a plurality of resolutions that can completely reconstruct the original image, and a series of low-frequency images having a plurality of resolutions. In order to express the frequency space more redundant than equivalently representing the original image using both sets, multiple low-frequency images with successively lower resolutions, and successively lower resolutions in pairs with each other A multi-resolution image generation procedure for generating a plurality of high-frequency images having:
A noise extraction procedure for extracting a noise component included in each of the low-frequency image and the high-frequency image, and generating a low-frequency noise image and a high-frequency noise image corresponding to each,
The low-frequency noise image and the high-frequency noise image that is paired with the low-frequency noise image are combined and integrated into a single noise image having the same resolution as the next higher-resolution low-frequency image. A noise integration procedure to combine into a new low frequency noise image by combining with the corresponding low frequency noise image;
The new low-frequency noise image generated by the noise integration procedure is substituted as the low-frequency noise image of the noise integration procedure, and the new low-frequency noise image finally generated has the same resolution as the original image 1 A noise integration repetition procedure that sequentially repeats the integration processing of the noise integration procedure until two noise images are obtained,
The noise synthesis steps and the noise synthesis repeated based procedures synthesized noise image has a noise removal procedure that removes noise contained in the original image,
When the original image is composed of a luminance component, the low frequency noise image is attenuated and integrated with the high frequency noise image .
複数の画素からなる原画像を入力する画像入力手順と、
前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、それらの各々と対をなして逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、
前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ画像と高周波ノイズ画像を生成するノイズ抽出手順と、
前記低周波ノイズ画像とそれと対をなす高周波ノイズ画像を合成して、次に高い解像度の低周波画像と同じ解像度を持つ１つのノイズ画像に統合するとともに、前記次に高い解像度の低周波画像に対応する低周波ノイズ画像と結合させることにより、１つの新たな低周波ノイズ画像に統合するノイズ統合手順と、
前記ノイズ統合手順で生成された新たな低周波ノイズ画像を、前記ノイズ統合手順の低周波ノイズ画像として代入し、最終的に生成される新たな低周波ノイズ画像が原画像と同じ解像度を持つ１つのノイズ画像になるまで、逐次的に前記ノイズ統合手順の統合処理を繰り返すノイズ統合繰り返し手順と、
前記ノイズ統合手順と前記ノイズ統合繰り返し手順で統合されたノイズ画像に基づいて、前記原画像に含まれるノイズを除去するノイズ除去手順と、を有し、
前記原画像が色差成分からなる場合は、前記低周波ノイズ画像に対して前記高周波ノイズ画像を減衰させて統合することを特徴とする画像処理方法。 An image processing method for removing noise contained in an image,
An image input procedure for inputting an original image composed of a plurality of pixels,
The input original image is decomposed, and a set consisting of a series of a low-frequency image having the lowest resolution and a high-frequency image having a plurality of resolutions that can completely reconstruct the original image, and a series of low-frequency images having a plurality of resolutions. In order to express the frequency space more redundant than equivalently representing the original image using both sets, multiple low-frequency images with successively lower resolutions, and successively lower resolutions in pairs with each other A multi-resolution image generation procedure for generating a plurality of high-frequency images having:
A noise extraction procedure for extracting a noise component included in each of the low-frequency image and the high-frequency image, and generating a low-frequency noise image and a high-frequency noise image corresponding to each,
The low-frequency noise image and the high-frequency noise image that is paired with the low-frequency noise image are combined and integrated into a single noise image having the same resolution as the next higher-resolution low-frequency image. A noise integration procedure to combine into a new low frequency noise image by combining with the corresponding low frequency noise image;
The new low-frequency noise image generated by the noise integration procedure is substituted as the low-frequency noise image of the noise integration procedure, and the new low-frequency noise image finally generated has the same resolution as the original image 1 A noise integration repetition procedure that sequentially repeats the integration processing of the noise integration procedure until two noise images are obtained,
The noise synthesis steps and the noise synthesis repeated based procedures synthesized noise image has a noise removal procedure that removes noise contained in the original image,
When the original image is composed of color difference components, the high frequency noise image is attenuated and integrated with the low frequency noise image .
複数の画素からなる原画像を入力する画像入力手順と、
前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、
前記低周波画像と前記高周波画像の各々に含まれるノイズ成分を抽出するノイズ抽出手順と、
前記抽出された低周波画像と前記抽出された高周波画像の双方のノイズ成分に基づいて、前記原画像の各画素に含まれるノイズ信号を推定するノイズ推定手順とを有し、
前記原画像が輝度成分からなる場合は、前記高周波ノイズ画像に対して前記低周波ノイズ画像を減衰させることを特徴とする画像処理方法。 An image processing method for removing noise contained in an image,
An image input procedure for inputting an original image composed of a plurality of pixels,
The input original image is decomposed, and a set consisting of a series of a low-frequency image having the lowest resolution and a high-frequency image having a plurality of resolutions that can completely reconstruct the original image, and a series of low-frequency images having a plurality of resolutions. Uses both sets to generate multiple low-frequency images with sequentially lower resolution and multiple high-frequency images with sequentially lower resolution to express the frequency space more redundant than equivalently representing the original image. A multi-resolution image generation procedure,
A noise extraction procedure for extracting a noise component contained in each of the low-frequency image and the high-frequency image;
Based on the noise component of both the low-frequency image and the extracted high-frequency image which is the extraction, have a noise estimation procedure for estimating the noise signal contained in each pixel of said original image,
An image processing method , wherein when the original image is composed of a luminance component, the low frequency noise image is attenuated with respect to the high frequency noise image .
複数の画素からなる原画像を入力する画像入力手順と、
前記入力した原画像を分解して、原画像を完全に再構築が可能な最低解像度の低周波画像と複数の解像度の高周波画像の連なりからなるセットと複数の解像度の低周波画像の連なりからなるセットの両者を用いて原画像を等価表現する以上に冗長な周波数空間表現するために、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、
前記低周波画像と前記高周波画像の各々に含まれるノイズ成分を抽出するノイズ抽出手順と、
前記抽出された低周波画像と前記抽出された高周波画像の双方のノイズ成分に基づいて、前記原画像の各画素に含まれるノイズ信号を推定するノイズ推定手順とを有し、
前記原画像が色差成分からなる場合は、前記低周波ノイズ画像に対して前記高周波ノイズ画像を減衰させることを特徴とする画像処理方法。 An image processing method for removing noise contained in an image,
An image input procedure for inputting an original image composed of a plurality of pixels,
The input original image is decomposed, and a set consisting of a series of a low-frequency image having the lowest resolution and a high-frequency image having a plurality of resolutions that can completely reconstruct the original image, and a series of low-frequency images having a plurality of resolutions. Uses both sets to generate multiple low-frequency images with sequentially lower resolution and multiple high-frequency images with sequentially lower resolution to express the frequency space more redundant than equivalently representing the original image. A multi-resolution image generation procedure,
A noise extraction procedure for extracting a noise component contained in each of the low-frequency image and the high-frequency image;
Based on the noise component of both the low-frequency image and the extracted high-frequency image which is the extraction, have a noise estimation procedure for estimating the noise signal contained in each pixel of said original image,
An image processing method , wherein when the original image is composed of color difference components, the high frequency noise image is attenuated with respect to the low frequency noise image .
前記ノイズ推定手順で推定されたノイズ信号に基づいて、原画像に含まれるノイズを除去するノイズ除去手順を更に有することを特徴とする画像処理方法。 The image processing method according to claim 5 or 6 ,
An image processing method, further comprising: a noise removal procedure for removing noise included in the original image based on the noise signal estimated in the noise estimation procedure.
前記低周波画像と前記高周波画像は、
１）直交ウェーブレット変換における低周波成分と高周波成分、
２）ラプラシアン・ピラミッド表現におけるガウシアン成分とラプラシアン成分、
３）方向ウェーブレット変換における低周波成分と各方向毎の高周波成分、
の何れかに対応することを特徴とする画像処理方法。 The image processing method according to claim 1 ,
The low frequency image and the high frequency image are:
1) Low frequency component and high frequency component in orthogonal wavelet transform,
2) Gaussian component and Laplacian component in Laplacian pyramid representation,
3) Low frequency components and high frequency components in each direction in the directional wavelet transform,
An image processing method characterized by corresponding to any of the above.
２次元直交ウェーブレット変換を行って多重解像度画像を生成する場合、前記低周波画像はLLサブバンドに、前記高周波画像はLH、HL、HHサブバンドに対応することを特徴とする画像処理方法 。 The image processing method according to claim 8 .
An image processing method, wherein when a multi-resolution image is generated by performing two-dimensional orthogonal wavelet transform, the low-frequency image corresponds to an LL subband, and the high-frequency image corresponds to an LH, HL, and HH subband.
An image processing apparatus in which the image processing program according to claim 10 is installed.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006096984A JP5352942B2 (en) | 2005-03-31 | 2006-03-31 | Image processing method, image processing program, and image processing apparatus |
| PCT/JP2006/319145 WO2007116543A1 (en) | 2006-03-31 | 2006-09-27 | Image processing method |
| EP06810636A EP2003612A4 (en) | 2006-03-31 | 2006-09-27 | Image processing method |
| US12/230,165 US8244034B2 (en) | 2006-03-31 | 2008-08-25 | Image processing method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005101545 | 2005-03-31 | ||
| JP2005101545 | 2005-03-31 | ||
| JP2006096984A JP5352942B2 (en) | 2005-03-31 | 2006-03-31 | Image processing method, image processing program, and image processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006309749A JP2006309749A (en) | 2006-11-09 |
| JP5352942B2 true JP5352942B2 (en) | 2013-11-27 |
Family
ID=37476510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006096984A Active JP5352942B2 (en) | 2005-03-31 | 2006-03-31 | Image processing method, image processing program, and image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5352942B2 (en) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008093836A1 (en) | 2007-02-02 | 2008-08-07 | Nikon Corporation | Image processing method |
| JP4862897B2 (en) * | 2007-02-02 | 2012-01-25 | 株式会社ニコン | Image processing method |
| KR101464743B1 (en) * | 2008-01-17 | 2014-11-25 | 삼성전자주식회사 | Signal dependent noise estimation apparatus and method on camera module |
| JP5097914B2 (en) | 2008-07-30 | 2012-12-12 | オリンパス株式会社 | Component extraction correction device, component extraction correction method, component extraction correction program, or electronic device |
| JP5366619B2 (en) | 2008-08-12 | 2013-12-11 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
| JP4479845B2 (en) | 2008-09-30 | 2010-06-09 | カシオ計算機株式会社 | Image correction apparatus, image correction method, and image correction program |
| WO2010067191A1 (en) | 2008-12-11 | 2010-06-17 | Imax Corporation | Devices and methods for processing images using scale space |
| US8903191B2 (en) * | 2008-12-30 | 2014-12-02 | Intel Corporation | Method and apparatus for noise reduction in video |
| WO2010086973A1 (en) | 2009-01-28 | 2010-08-05 | 富士通株式会社 | Image processing device, image processing program, and image processing method |
| JP5430379B2 (en) * | 2009-02-03 | 2014-02-26 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
| WO2014024500A1 (en) | 2012-08-10 | 2014-02-13 | 株式会社ニコン | Image processing method, image processing device, imaging device, and image processing program |
| JP6354586B2 (en) * | 2012-11-13 | 2018-07-11 | 日本電気株式会社 | Noise removal system, noise removal method and program |
| CN104639800B (en) | 2013-11-08 | 2017-11-24 | 华为终端（东莞）有限公司 | A kind of method and terminal for image noise reduction |
| CN117221458A (en) * | 2023-10-23 | 2023-12-12 | 上海为旌科技有限公司 | Method and system for removing image chroma noise by frequency division |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000224421A (en) * | 1999-02-03 | 2000-08-11 | Fuji Photo Film Co Ltd | Image processing method and device and recording medium |
| JP2001167264A (en) * | 1999-09-30 | 2001-06-22 | Fuji Photo Film Co Ltd | Method and device for image processing and recording medium |
| JP2003263635A (en) * | 2002-03-07 | 2003-09-19 | Fuji Photo Film Co Ltd | Image system |
-
2006
- 2006-03-31 JP JP2006096984A patent/JP5352942B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006309749A (en) | 2006-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5541339B2 (en) | Image processing method, image processing program, and image processing apparatus | |
| JP5352942B2 (en) | Image processing method, image processing program, and image processing apparatus | |
| WO2007116543A1 (en) | Image processing method | |
| JP4535125B2 (en) | Image processing method | |
| Liu et al. | Efficient single image dehazing and denoising: An efficient multi-scale correlated wavelet approach | |
| JP5023702B2 (en) | Image processing method, image processing program, recording medium, and image processing apparatus | |
| JP5256582B2 (en) | Image processing method, image processing program, and image processing apparatus | |
| US6801672B1 (en) | Removing noise from a color image using wavelets | |
| JP4862897B2 (en) | Image processing method | |
| CN116051428B (en) | Deep learning-based combined denoising and superdivision low-illumination image enhancement method | |
| JP5482007B2 (en) | Image processing method | |
| JP5359646B2 (en) | Image processing method | |
| JP5343743B2 (en) | Image processing method | |
| Rela et al. | Efficient image enhancement techniques applied on medical imaging-a state-of-the art survey | |
| He et al. | A novel hybrid model framework to blind color image deconvolution | |
| Kwan et al. | Comparison of denoising algorithms for demosacing low lighting images using cfa 2.0 | |
| JP5482006B2 (en) | Image processing method | |
| Dhandapani et al. | Fusion based underwater image enhancement and detail preserving | |
| Singh Parihar et al. | Filter-based Denoising Methods for AWGN corrupted images | |
| Lim et al. | Denoising scheme for realistic digital photos from unknown sources | |
| Zeng | Gibbs Artifacts Removal with Nonlinearity | |
| Siva¹ et al. | VLSI Implementation of Image Sensor for Spatial Filtering | |
| Tanaka | Signal Processing on Graphs: Recent Results, Challenges and Applications | |
| Maurer et al. | Denoising scheme for realistic digital photos from unknown sources | |
| Kaur et al. | Performance Enhancement of Digital Image Deblurring Using Hybrid Approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120418 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130812 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5352942 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |