JP5359646B2 - Image processing method - Google Patents

Image processing method Download PDF

Info

Publication number
JP5359646B2
JP5359646B2 JP2009172975A JP2009172975A JP5359646B2 JP 5359646 B2 JP5359646 B2 JP 5359646B2 JP 2009172975 A JP2009172975 A JP 2009172975A JP 2009172975 A JP2009172975 A JP 2009172975A JP 5359646 B2 JP5359646 B2 JP 5359646B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
edge
noise
component
image
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009172975A
Other languages
Japanese (ja)
Other versions
JP2010055604A (en )
Inventor
健一 石賀
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a processing method capable of preventing ringing in edge enhancement and producing a natural edge enhancement effect. <P>SOLUTION: An image processing method for performing the edge enhancement on an original image extracts edge components based on the original image, corrects the extracted edge components to attenuate each edge component so that frequency distribution concerning intensity of the edge component approaches a Gaussian distribution of a prescribed width, and applies the edge enhancement on the original image based on the corrected edge components. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、画像のエッジ強調処理を行う画像処理方法に関する。 The present invention relates to an image processing method for performing edge enhancement processing of the image.

多重解像度を用いたエッジ強調の従来技術として、特許文献1がある。 As a prior art edge enhancement using multiresolution, there is Patent Document 1. 特許文献1には、多重解像度変換、例えばウェーブレット変換の場合、LH,HL,HHからなる高周波サブバンド自身の信号から特許文献1の文献中Fig.9に示されるような入出力特性が単調増加関数の非線形階調変換を通してエッジ成分を取り出し、それらのLH,HL,HHのエッジ成分を統合して原画像に加算することによりエッジ強調効果を得るような開示がある。 Patent Document 1, the multi-resolution conversion, for example, in the case of the wavelet transform, LH, HL, input-output characteristics as the high-frequency subband own signals in the literature in Fig.9 in Patent Document 1 increases monotonically consisting HH removed edge component through non-linear tone conversion function, their LH, HL, is disclosed so as to obtain the edge enhancement effect by integrating the edge component of HH is added to the original image. また、本願の発明者による特許文献2では、完全系をなすLH,HL,HHの高周波サブバンドの他にLLの低周波サブバンドも用いた冗長な、ゆえに自由度の大きい周波数空間に投影して、各サブバンドでエッジ検出を行ない、それらのエッジ成分を統合して生成されたエッジ成分で原画像のエッジ強調を行う例を示している。 In Patent Document 2 by the inventors of this application, LH forming a complete system, HL, redundant using even a low-frequency subband LL in addition to the high-frequency subbands HH, thus projected in a large frequency space of freedom Te performs edge detection in each sub-band, at their edge component generated by integrating the edge component shows an example of performing edge enhancement of the original image.

一方、アンシャープマスクのような実空間で行う通常のエッジ強調処理において、通常エッジ近傍でオーバーシュートやアンダーシュートを引き起こしてリンギングと呼ばれる問題を本質的に抱えることが知られている。 On the other hand, in the normal edge enhancement processing performed in the real space, such as unsharp masking, it is known to suffer essentially the problem commonly referred to as ringing causing overshoot and undershoot near the edge. このような問題に対処するために、例えば特許文献3では、文献中図5、図13と式23、式23´に示されるような入出力特性が単調増加関数の非線形変換を高周波成分に対して適用してから、適用後の高周波成分を平滑化画像に足し込む対策を開示している。 To cope with such a problem, for example, Patent Document 3, the literature in 5, 13 and Formula 23, with respect to the high frequency component non-linear transformation of the input-output characteristic monotonically increasing function as shown in Equation 23 ' after applying Te discloses measures Komu adding the frequency components after applying the smoothed image. また、特許文献4では、エッジ強調後の画像信号がエッジ強調前の局所的な画像信号の最大値と最小値に収まるようなリミッター処理を加える工夫をしている。 In Patent Document 4, it has devised adding limiter processing such as image signal after the edge emphasis falls maximum and minimum values ​​of a local image signal before edge enhancement.

米国特許第6,754,398号明細書 US Pat. No. 6,754,398 国際公開第2007/114363号パンフレット WO 2007/114363 pamphlet 特開2005-353102号公報 JP 2005-353102 JP 米国特許第5,666,443号明細書 US Pat. No. 5,666,443

特許文献3のリンギング対策は、文献中図6に示されるように効果を発揮するものの、その図の中に示されるように依然としてリンギング成分が残ってしまうという課題があった。 Ringing measures in Patent Document 3, although effective, as shown in the literature in FIG. 6, there is still problem that remains ringing components as shown in the FIG. 特許文献1の非線形変換特性も特許文献3と同じく単調増加関数の特性であるため同様の問題を抱える。 Non-linear conversion characteristic of the Patent Document 1 also the same problem for a characteristic of the same monotonically increasing function of Patent Document 3. 通常の実空間で行うようなアンシャープマスク処理では、この程度のわずかなリンギング成分は視覚的な不快感を与えるほどには目立たない。 In the unsharp mask processing, such as carried out in the normal real space, a slight ringing component of this degree is not noticeable enough to give a visual discomfort. しかし、多重解像度を用いてエッジ強調を行う場合、多重解像度の離散性と有効面積の拡大に伴い、エッジ強調が一般に本質的に抱えるリンギング問題が顕著な現象となって、大面積のハローやタイル状のハウリングといった致命的な不快感を与える問題となって現れる。 However, when performing edge enhancement using a multi-resolution, with the expansion of the effective area and discreteness of multi-resolution, ringing problem edge enhancement generally facing essentially becomes remarkable phenomenon, a large area halo and tiles It appears as a problem of giving a fatal discomfort such as Jo of howling.

他方の特許文献4のような画像信号に対するリミッター処理は、ある信号レベルで画像構造がべったりと潰れてしまうような問題を生じ、自然な印象の画像を得ることができないという問題があった。 Limiter processing for the other image signal as in Patent Document 4, cause problems such as image structure collapses To Bettari at certain signal level, making it impossible to obtain an image of the natural impression. すなわち、リンギング対策としては高品質性に欠けるという欠点があった。 In other words, there has been a drawback that as a ringing measures lack of high-quality properties. それを更に多重解像度へ応用するとなおさらその欠点が増幅されて見えてしまうという課題が存在した。 It further problem that still has its drawbacks when applied to multi-resolution would visible amplified were present.

請求項1の発明は、 所定のノイズゆらぎ指標値で表されるノイズ成分を含む原画像に対してエッジ強調を行う画像処理方法であって、前記原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、前記各帯域制限画像において、各帯域制限画像のエッジ成分を抽出し、前記抽出された各帯域制限画像のエッジ成分を統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、前記統合されたエッジ成分に対して、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大きなエッジ成分を減衰する補正をし、前記補正された統合エッジ成分に基づき、前記原画像に対してエッジ強調を行うことを特徴とする。 The invention according to claim 1, an image processing method for performing edge enhancement on the original image including noise component represented by predetermined noise fluctuation index value, by filtering the original image, sequentially lower resolution generating a plurality of band-limited images with, in each band-limited image, extracting an edge component of each band-limited image, by integrating the edge component of each band-limited image the extracted, the same as the original image integrating the edge component with a resolution, the relative integrated edge component, the correction for attenuating the large edge component than the noise fluctuation width by the size of the edge component comparing with the noise fluctuation index value , based on the corrected synthesized edge component, and performs edge enhancement with respect to the original image.
請求項3の発明は、 所定のノイズゆらぎ指標値で表されるノイズ成分を含む原画像に対してエッジ強調を行う画像処理方法であって、前記原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、前記各帯域制限画像において、各帯域制限画像のエッジ成分を抽出し、前記抽出された各帯域制限画像のエッジ成分に対して、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大きなエッジ成分を減衰する補正をし、前記補正された各帯域制限画像のエッジ成分を統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、前記統合されたエッジ成分に対して再度、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大 The invention according to claim 3, an image processing method for performing edge enhancement on the original image including noise component represented by predetermined noise fluctuation index value, by filtering the original image, sequentially lower resolution generating a plurality of band-limited images with, in each band-limited image, extracting an edge component of each band-limited image, the edge component of each band-limited image the extracted, the magnitude of the edge component and a correction for attenuating the large edge component than the noise fluctuation width by the comparison with the noise fluctuation index value, integrating edge component of said corrected each of the band-limited image has been, with the same resolution as the original image integrating the edge component, the integrated again for edge components, larger than the noise fluctuation width by comparing the magnitude of the edge component and the noise fluctuation index value なエッジ成分を減衰する補正をし、前記補正された統合エッジ成分に基づき、前記原画像に対してエッジ強調を行うことを特徴とする。 A correction for attenuating an edge component based on the corrected synthesized edge component, and performs edge enhancement with respect to the original image.
請求項5の発明は、 所定のノイズゆらぎ指標値で表されるノイズ成分を含む原画像に対してエッジ強調を行う画像処理方法であって、前記原画像をフィルタリングして、逐次的に低い解像度を持つ複数の低周波サブバンド画像と逐次的に低い解像度を持つ複数の高周波サブバンド画像のセットからなる、前記原画像を完全に再構築する以上に冗長な周波数空間で表現した帯域制限画像を生成し、前記各帯域制限画像において、各帯域制限画像のエッジ成分を抽出し、前記抽出された冗長な周波数表現の各帯域制限画像のエッジ成分を順次全て統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、前記統合されたエッジ成分に対して、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大 The invention of claim 5 is an image processing method for performing edge enhancement on the original image including noise component represented by predetermined noise fluctuation index value, by filtering the original image, sequentially lower resolution a plurality of consisting of a set of high-frequency sub-band image, the band-limited image represented by a redundant frequency space than to completely reconstruct the original image with a plurality of successively lower resolution and low-frequency sub-band image with generated in the each of the band-limited image, extracting an edge component of each band-limited image, are sequentially all integrating edge component of each band-limited image of the extracted redundant frequency representation, the same resolution as the original image integrating the edge component with respect to the synthesized edge component greater than the noise fluctuation width by the size of the edge component comparing with the noise fluctuation index value なエッジ成分を減衰する補正をし、前記補正された統合エッジ成分に基づき、前記原画像に対してエッジ強調を行うことを特徴とする。 A correction for attenuating an edge component based on the corrected synthesized edge component, and performs edge enhancement with respect to the original image.
請求項7の発明は、 所定のノイズゆらぎ指標値で表されるノイズ成分を含む原画像に対してエッジ強調を行う画像処理方法であって、前記原画像をフィルタリングして、逐次的に低い解像度を持つ複数の低周波サブバンド画像と逐次的に低い解像度を持つ複数の高周波サブバンド画像のセットからなる、前記原画像を完全に再構築する以上に冗長な周波数空間で表現した帯域制限画像を生成し、前記各帯域制限画像において、各帯域制限画像のエッジ成分を抽出し、前記抽出された各帯域制限画像のエッジ成分に対して、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大きなエッジ成分を減衰する補正をし、前記補正された冗長な周波数表現の各帯域制限画像のエッジ成分を順次全て統合して The invention of claim 7 is an image processing method for performing edge enhancement on the original image including noise component represented by predetermined noise fluctuation index value, by filtering the original image, sequentially lower resolution a plurality of consisting of a set of high-frequency sub-band image, the band-limited image represented by a redundant frequency space than to completely reconstruct the original image with a plurality of successively lower resolution and low-frequency sub-band image with produced, compared in each band-limited image, extracting an edge component of each band-limited image, the edge component of each band-limited image the extracted, the magnitude of the edge component and the noise fluctuation index value and a correction for attenuating the large edge component than the noise fluctuation width by the corrected sequentially all integrating edge component of each band-limited image redundant frequency representation 前記原画像と同じ解像度を持つエッジ成分に統合し、前記統合されたエッジ成分に対して再度、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大きなエッジ成分を減衰する補正をし、前記補正された統合エッジ成分に基づき、前記原画像に対してエッジ強調を行うことを特徴とする。 Integrating the edge component having the same resolution as the original image, the integrated again for edge components, a large edge component than the noise fluctuation width by comparing the magnitude of the edge component and the noise fluctuation index value and a correction to attenuate, based on the corrected synthesized edge component, and performs edge enhancement with respect to the original image.

本発明は以上のように構成するので、エッジ強調におけるリンギングを防ぎ、自然なエッジ強調効果を生む処理を提供することができる。 Since the present invention is configured as above, it prevents ringing in the edge enhancement, it is possible to provide a process that produces a natural edge enhancement effect.

本発明の実施の形態である画像処理装置を示す図である。 Is a diagram showing an image processing apparatus in an embodiment of the present invention. パーソナルコンピュータの構成を示す図である。 It is a diagram showing a configuration of a personal computer. パーソナルコンピュータ1が処理する第1の実施の形態の画像処理のフローチャートを示す図である。 It is a diagram showing a flowchart of image processing in the first embodiment the personal computer 1 processes. 第1の実施の形態の多重解像度に基づいたノイズ除去処理およびエッジ強調処理の流れ図を示す図である。 It is a diagram showing a flowchart of the noise removal processing and the edge enhancement processing based on multi-resolution of the first embodiment. 第1の実施の形態のエッジ精錬を説明するイメージ図である。 Is an image diagram illustrating an edge refining of the first embodiment. 強力な減衰特性をもつ非線形関数を示す図である。 It is a diagram illustrating a non-linear function with a strong attenuation characteristics. (a)は出力色空間と作業用色空間におけるガンマ特性を示す図であり、(b)は(a)で示される出力色空間のガンマ特性と作業用色空間におけるガンマ特性の微分比を示すグラフである。 (A) is a diagram showing the gamma characteristics in the work color space and the output color space, indicating the (b) the differential ratio of the gamma characteristic in the work color space gamma characteristic of the output color space represented by (a) it is a graph. 第2の実施の形態のノイズ除去処理およびエッジ強調処理の流れ図を示す図である。 It shows a flow diagram of a second embodiment of the noise removal processing and edge enhancement processing. デジタルカメラ100の構成を示す図である。 It is a diagram showing a configuration of the digital camera 100. 信号とノイズの関係を示す図である。 Is a diagram showing the relationship between signal and noise. 多重解像度における周波数空間の様子を示す図である。 It is a diagram showing a state of frequency space in the multi-resolution. エンハンスメント効果を見やすく表に示したものである。 It illustrates in legible Table enhancement effect.

−基本的考え− - The basic idea -
初めに、実施の形態に述べるアルゴリズムを採用する必要性が生じた背景や理由、及びそれに対処する方法の基本的考えについて述べる。 First, background and why the need to employ an algorithm described embodiment has occurred, and describes the basic idea of ​​how to deal with it.

<ノイズ除去処理の課題> <Problem of noise removal processing>
ノイズ除去処理は通常、edge-preserving smoothing filterと呼ばれる、大きな信号レベル差のエッジ構造と微小な振幅のノイズを区別して適応的に平滑化するノイズ除去フィルタが用いられる。 Noise removal process is commonly referred to edge-preserving smoothing filter, a noise removal filter for adaptively smoothing to distinguish edge structure and small amplitude of the noise of the large signal level difference is used. このノイズ除去フィルタの代表例として、高性能なものにバイラテラル・フィルタと呼ばれるものがある。 Representative examples of the noise removal filter, there is a so-called bilateral filter of high performance. これらのノイズ除去フィルタは基本的に隣接画素との間で画素値のレベル差をノイズゆらぎ指標値と比較し、平滑化対象画素にするか否かの加重係数をそれらの比に基づいて決めてゆく。 These noise removal filter is compared with the noise fluctuation index value level differences of pixel values ​​between the essentially adjacent pixels, the weighting factor of whether the smoothed pixel determined on the basis of their specific go.

しかしながら、ノイズ除去フィルタが如何に高性能であっても、ノイズと同程度の微弱なエッジはノイズと区別をつけることができない(図10(d)参照)。 However, even in the noise removal filter is how high, weak edges of noise as much can not make this distinction and noise (see FIG. 10 (d)). その結果、ノイズ除去によってテキスチャが消失してしまう(問題1)。 As a result, texture by the noise removal may be lost (problem 1). この他に平滑化加重係数を決める過程において急峻な段差のエッジが存在するとき(図10(c)参照)、通常の平坦部や単調な傾斜部(図10(a)(b)参照)におけるエッジとノイズの分離する加重係数と違って、段差の影響によりその輪郭成分が相対的に微小なエッジと間違われて問題1と同様な状況に陥り平滑化対象に含まれやすく、輪郭がなまってしまうという避けようのない問題が生じる。 At the time when the edge of a steep step is present in the process of determining a smoothed weighting factor In addition (see FIG. 10 (c)), the normal of the flat portion and the monotonic slope section (see FIG. 10 (a) (b)) Unlike weighting factor that separates the edge and noise, easily included in the smoothing target fall into a similar situation question 1 is mistaken its contour component relatively weak edge due to the influence of the step, the contour dull problems that are not trying to avoid that put away occurs. したがって、ノイズ除去によっていわゆる輪郭ボケが生じてしまう(問題2)。 Therefore, so-called contour blurring occurs by noise removal (problem 2). 図10は、上記の状況を示す図である。 Figure 10 is a diagram showing the above situation.

これらの問題は主に輝度成分のノイズ除去処理の観点からの現象を言い表しているが、色差成分のノイズ除去処理の場合はこれらが微弱な色変化部の色抜け現象(問題3)や色境界部の色滲み現象(問題4)という問題を引き起こす。 These problems are primarily expresses the phenomenon in terms of the noise removal processing of the luminance component, but color loss phenomenon these weak color change portion in the case of noise removal processing of the color difference components (problem 3) or color boundary Department of color bleeding phenomenon (issue 4) cause the problem. 更に、ノイズ除去による平滑化処理に伴って、局所的な階調が全て平均レベルに集まってしまうため、例えば平均値がゼロになるような完全暗黒の状態を達しえなくなり、黒レベルが浮く、いわゆる黒浮き現象という問題も引き起こす(問題5)。 Further, as the smoothing processing by the noise removal, for local gradation clump together all average level, for example, the average value is no longer may reach the complete darkness conditions, such as zero, floating black level, problem of the so-called black floating phenomenon also cause (issue 5). これは白側についても言えることで、全体的に平滑化処理によって階調表現しうる幅が狭まって階調性が低下する。 This is also true for the white side gradation is lowered narrowed width that can be gradation generally by smoothing processing.

すなわち、ノイズ除去の課題は主観表現と物理的関連において次のようにまとめられる。 That is, an object of the noise removal can be summarized as follows in subjective expressions and physical association. (1)輪郭ボケによる輪郭のコントラスト低下で鮮鋭感・立体感を失い(問題2)、(2)ノイズに埋もれるような微弱エッジ構造の消失によって解像力が低下し(問題1)、(3)黒浮き現象によって階調性が低下し(問題5)、(4)色が抜けることによって色再現性が低下し(問題3)、(5)色が滲むことによって色解像力が低下するといえる(問題4)。 (1) lose sharpness-stereoscopic sense reduced contrast of the contour by the contour blurring (problem 2), (2) resolution is reduced by the loss of weak edge structure as buried in noise (problem 1), (3) Black gradation is reduced by floating phenomenon (problems 5), (4) the color reproducibility is lowered by the color comes off (problem 3), it can be said that the color resolution is reduced by bleeding is (5) color (problem 4 ).

また、これらの問題はノイズ除去処理を伴わなくても、高感度のノイズの多い画像についても共通して言える課題である。 These problems without involving noise removal processing, a challenge to say in common also for the high sensitivity of noisy images. なぜならば、低感度の鮮明な画像に対して振幅の大きなノイズを加えていった場合、実被写体の輪郭のコントラストはノイズの振幅の影響によって相対的に低下し、低感度の場合よりも不鮮明に見え、テキスチャもノイズと区別がつかなくなり、ノイズの振幅が黒レベル自体を上げてしまうので黒浮きし、RGB間の無相関なゆらぎが色斑ノイズとして乗るため、その領域の色弁別分解能を下げて色特定精度(色再現性)が下がり、色ノイズが相対的に色境界部に色滲みをランダムに生じているように見せてしまう。 This is because, if the relative sharp image of the low-sensitivity went adding significant noise amplitude, the contrast of the contour of the actual object is relatively lowered by the influence of the amplitude of the noise, blurred than the low-sensitivity appearance, texture becomes indistinguishable noise, the amplitude of the noise is raised black level itself and the black float, since the uncorrelated fluctuations between RGB ride as color mottling noise, reduce the color discrimination resolution of the region lower the color-specific accuracy (color reproducibility) Te, will show as randomly generated color blur color noise is relatively color boundaries. これらは総称的にノイズ被りによるコントラスト低下ということもできる。 It may also be referred to generically as noise suffer by the contrast reduction.

<ノイズ除去処理とエッジ強調処理の同時化の考え> <Idea of ​​the simultaneous reduction of the noise removal processing and edge enhancement processing>
このような問題に対処するため、ノイズ除去を伴った場合はノイズ除去で失った程度のエッジのコントラストを回復するエッジ強調や、階調再現性を回復するための階調補正処理、あるいはコントラスト補正処理が必要となる。 To cope with such a problem, if accompanied by noise removal edge emphasis or to restore the contrast of the degree of edge lost in the noise removal, the gradation correction process for recovering the gradation reproducibility, or contrast correction processing is required. また、高感度撮影画像についても、ノイズ除去が行われなくてもこれらに相当する処理を加えるだけで随分と低感度撮影画像に近い鮮明性のある画像を提供することができるようになる。 As for the high-sensitivity photographic image, without noise removal is performed it is possible to provide an image that is much To the vividness close to the low-sensitivity photographic image only by applying a process equivalent thereto. また、低感度撮影画像についてもノイズ被りによるコントラスト低下の影響を修復すれば、本来のあるべき鮮鋭感、解像力、階調性、色再現性を実現することができるようになる。 Also, if repair the effects of the contrast reduction caused by fog even noise for low-sensitivity captured image, it is possible to realize originally of some to sharpness, resolution, gradation, color reproducibility.

そこで、本願発明者による国際公開第2007/114363号パンフレットと国際公開第2007/116543号パンフレットに示されるような多重解像度を用いたエッジ強調処理を行う。 Therefore, performing edge enhancement processing using the multi-resolution, as shown in WO 2007/114363 pamphlet and WO 2007/116543 pamphlet by the present inventor. このエッジ強調処理が従来の多重解像度を用いたエッジ強調処理(例えば米国特許6,754,398)と本質的に違う点は、完全系をなす多重解像度の高周波サブバンド群の周波数空間に投影して抽出したエッジ成分以外に、もう一つ冗長性を持たせて逐次生成される低周波セブバンド群の周波数空間に投影して抽出したエッジ成分も両方用いて、それらを自在に調合するところにある。 Edge The edge enhancement processing is edge enhancement processing using the conventional multi-resolution (e.g., U.S. Patent 6,754,398) essentially different point, which is extracted by projecting the frequency space of the high-frequency sub-band groups of the multi-resolution constitutes the entire system besides components, other edge components extracted by projecting the frequency space of the low-frequency Sebubando group of sequentially generated redundancy to have a be used both, there is to be formulated them freely. 図11は、この多重解像度における周波数空間の様子を示す図である。 Figure 11 is a diagram showing the state of frequency space in the multi-resolution. なお、完全系とは周波数投影空間の画像群から原画像を完全に再構築できる意味で用いている。 Note that used in the sense of completely reconstruct the original image from the image group of frequency projection space is completely system. 本当は、最低解像度の低周波サブバンドを1つだけ付加しておく必要があるが、ここでは無視して議論している。 Actually, it is necessary to additionally only one low frequency subband of the lowest resolution, it discusses ignored here.

しかしながら、これらの実用上の物理的な効果が詳細に解明されていなかったため、さらに画像エンハンス処理効果を高めるための方法論の提示に踏み込むまでに至っていなかった。 However, since the physical effects of these practical has not been elucidated in detail, it was not reached until stepping the presentation methodology to further enhance the image enhancement processing effects. したがって、本発明ではこれらの物理的な効果を明らかにした上で、そこから浮かび上がる課題と対策について、エッジ強調として最も自然な印象を与えるための最善の方策を検討する。 Thus, on the present invention revealed these physical effects, measures against a problem that emerges therefrom, to consider the best ways to provide the most natural impression as edge enhancement.

<多重解像度エッジ強調処理の物理的効果の解明> <Elucidation of the physical effects of multi-resolution edge enhancement processing>
まず、冗長な多重解像度変換によるエッジ強調の物理的効果について解明する。 First, to clarify the physical effect of the edge enhancement by redundant multiple resolution conversion. 実験的に低周波サブバンド群と高周波サブバンド群の2つの冗長な多重解像度表現された周波数投影空間でのエッジ強調効果を確認したところ、低周波サブバンド群と高周波サブバンド群の各々で抽出されたエッジ成分には以下のような優れた個別の画像エンハンスメント効果があることが分かった。 When checking the edge enhancement effect in the experimentally two redundant Multiresolution frequency projection space of the low-frequency sub-band group and the frequency sub-band groups, extracted with each of the low-frequency subband group and the high frequency sub-band group the edge component was found to have excellent individual image enhancement effects described below.

入力画像が輝度成分の場合、低周波サブバンド群の周波数空間に投影したエッジ強調では、黒の締まりや階調性を高めるコントラスト強調効果がある。 If the input image is a luminance component, the edge enhancement projected on frequency space of the low-frequency sub-band group, it is the contrast enhancement effect of increasing the black interference and gradation. いいかえると、エッジ強調処理といっても輝度成分の多重解像度の低周波サブバンド群からは階調補正処理と同じ効果が得られる。 In other words, the same effect as the tone correction processing is obtained from the low-frequency subband groups multiresolution of the luminance component to say that the edge enhancement processing. 一方の輝度成分の高周波サブバンド群の周波数空間に投影したエッジ強調処理には、輪郭のコントラストを立ててノイズに埋もれたテキスチャを復元する鮮鋭感回復効果がある。 The projected edge enhancement processing to the frequency space of the high-frequency sub-band group of one of the luminance component, there is a sharpness recovery effect of restoring the texture buried in noise make a contrast contour.

次に入力画像が色差成分の場合、低周波サブバンド群の周波数空間に投影したエッジ強調では、大面積の平坦部領域の彩度を極めて高くするカラフルネス回復効果がある。 If then the input image is a color difference component, the edge enhancement projected on frequency space of the low-frequency sub-band group, it is colorfulness recovery effect of very high saturation of the flat portion area of ​​the large area. いいかえると、色差成分の場合もエッジ強調処理とはいっても彩度強調処理と同じ効果が得られることになる。 In other words, the same effect as also saturation enhancement processing is also entered as edge enhancement processing when the color difference components are obtained. 一方の色差成分の高周波サブバンド群の周波数空間に投影したエッジ強調処理には、色境界部の色滲みを低減して色境界を鮮明にしたり、色テキスチャの色構造を回復する色コントラスト復元効果がある。 The projected edge enhancement processing to the frequency space of the high-frequency sub-band group of one of the color difference component, or to sharpen the color boundary by reducing color fringing color boundaries, color contrast recovery effect of recovering color structure color texture there is.

図12は、これらのエンハンスメント効果を見やすく表に示したものである。 Figure 12 is a diagram showing in legible Table these enhancement effect. 一見すると輝度面と色差面で同じコントラストという言葉が輝度成分の場合には低周波側に、色差成分の場合には高周波側にずれて出てきている。 At first glance when word same contrast in luminance plane and the chrominance planes of the luminance component to a lower frequency, in the case of the color difference components are emerging shifted to the high frequency side. これは、元の輝度面と色差面の画像構造の周波数特性が違うためであると考えられる。 This is the frequency characteristics of the image structure of the original luminance plane and the chrominance plane is considered to be because different. すなわち、輝度面は高周波構造が多いのに対して色差面が低周波構造が多いことから、低周波サブバンド群に投影した輝度成分のエッジ強調効果は、高周波サブバンド群に投影した色差成分のエッジ強調効果により近いものになったためであると考えられる。 That is, the luminance plane since the chrominance plane whereas the high-frequency structure is often low frequency structure is large, edge enhancement effect of the luminance component projected to the low frequency subband group, the chrominance component obtained by projecting the high-frequency sub-band group presumably because it becomes closer to the edge enhancement effect.

実験的に、原画像に第1の実施の形態に述べるノイズ除去処理だけを加えた画像と、第1の実施の形態の各周波数投影面で抽出したエッジ成分を単純に多重解像度逆変換だけを行って統合エッジ成分を生成し、統合エッジ成分をノイズ除去画像に加算したエッジ強調効果を示す画像とを取得してみた。 Experimentally, an image obtained by adding only noise removal processing described in the first embodiment the original image, the simply multiresolution inverse transform the extracted edge component at each frequency projection plane in the first embodiment performed to generate a synthesized edge component, I tried to get the image showing the edge emphasis effect obtained by adding the noise-free image of the synthesized edge component. その結果、輝度成分では、実際に低周波サブバンド群によるエッジ強調ではその強度が強い場合は、ノイズ除去画像に比べ異常とも思えるほど黒の締まり効果を達成していた。 As a result, the luminance component, if indeed the edge enhancement by the low-frequency sub-band groups that intensity is high, had achieved a tightening effect of black as seemingly abnormal compared to the noise removed image. また、高周波サブバンド群によるエッジ強調では、ノイズ除去画像で消失してしまった背景の黒点や白点や動物の人形の毛並みのようなテキスチャ構造を見事に回復していた。 Further, the edge enhancement by high frequency subbands group, a texture structure such as pile black spots or white spots or animal doll background had disappeared in noise-free image was beautifully restored. 色差成分についても同様な具合に、図12に示す効果を達成していた。 A similar condition applies to the chrominance components, it has achieved the effect shown in Figure 12.

<多重解像度エッジ強調処理の最適化> <Optimization of the multi-resolution edge enhancement processing>
このような個別の物理的効果が明らかになってから分かることは、低周波サブバンド群で抽出したエッジ成分と高周波サブバンド群で抽出したエッジ成分を周波数調合するには、何らかの法則性を設けて拘束条件を付けないと、原画像とは随分とかけ離れた見るに堪えない不自然なエッジ強調効果を生み出してしまう恐れがあるということである。 It can be seen from the revealed such separate physical effect, the extracted edge components extracted edge component and the high-frequency sub-band group of low-frequency subband groups frequency compounding is provided some regularity If you do not put a constraint Te, the original image is that there is a fear that produced the unnatural edge enhancement effect can not bear to see a lot to far. また、ノイズ除去を伴う場合には、ノイズ除去の強さによってもノイズ除去の弊害によるこれらの主観的損傷度合いは違ってくる。 Also, if involving noise removal, these subjective degree of damage due to adverse effects of the noise removal by the strength of the noise removal will be different. したがって、その損傷度合いに合わせて回復を試みる必要がある。 Therefore, it is necessary to attempt to recover in accordance with the degree of damage. この解決策として実施の形態の中ではエッジ強調率やノイズ除去率に連動させる方策が示される。 The The solution is in the embodiment measures to synchronize with the edge enhancement rate and noise removal rate is shown.

<多重解像度エッジ強調処理の課題> <Problems of multiresolution edge enhancement processing>
次に、前述の実験で取得した画像例の中にも現れているように、多重解像度によるエッジ強調は大面積のハローやハウリングを生じさせる危険性を伴う。 Then, as also seen in the image example obtained in the experiment described above, the edge enhancement by multiresolution involves the risk of causing halo or howling large area. これは通常のアンシャープマスク処理が本質的に抱えているエッジ近傍のリンギング問題と発生要因は同じであるが、多重解像度処理であるためその弊害が大規模化して現れてしまう。 This is usually the unsharp mask process ringing occurs a problem cause neighboring edges are having essentially the same, its negative effects for a multi-resolution processing may appear in large scale.

これまでにも従来の技術はこのリンギング問題に対処するため、抽出したエッジ成分に対して、入力エッジ成分と出力エッジ成分の関係が、原点近傍は正比例し、それ以外は緩やかに単調増加するような特性の非線形変換を通して抑える工夫がなされてきた。 For Up to now conventional techniques to address this ringing problem, the extracted edge component, so that the relation between the input edge component and outputting edge component, the origin vicinity is directly proportional, otherwise increasing gradually monotonously devised to suppress through nonlinear conversion characteristics it has been made. しかし、今まで以上に高品質な多重解像度のエッジ強調処理を追求するにはこれではまだまだ不十分な状況を迎えるに至ってきた。 However, this is in the pursuit of high-quality multi-resolution edge enhancement processing more than ever have been led to greet the still inadequate situation. すなわち、多重解像度によるエッジ強調を実用レベルにするには、ハローやハウリング問題を完璧に封じる方策を導入する必要に迫られる。 That is, the edge emphasis to a practical level by multi-resolution, the necessity of introducing measures to seal perfectly halo or howling problem. そこで、本発明ではこれらの対策を強化するために、エッジ強調処理の結果に不自然さのない、最も自然に見えるエッジ成分のあるべき姿について仮説を導入し、それに近づけるべくして解決を図る方法を示す。 Therefore, in the present invention, in order to strengthen these measures, no unnaturalness in the result of the edge emphasis processing, introducing a hypothesis about vision for edge components that looks most natural, attempt to resolve in order to close it It shows the way.

<エッジ強調処理の課題> <Problem of edge enhancement processing>
ところで、エッジ強調をするときに上述のようなリンギング問題以外に気をつけなければいけない点は、エッジ強調によってノイズ成分を増幅してしまう危険性をできるだけ避けなければいけないという点である。 However, the point that must be careful in addition ringing problems as described above when the edge enhancement is that do need as much as possible to avoid the danger of amplifying the noise component by the edge enhancement. ノイズ除去処理におけるノイズ成分の抽出過程とエッジ強調処理におけるエッジ成分の抽出過程においては必ず、ノイズ成分の中へのエッジ成分の混入とノイズ成分の中へのエッジ成分の混入の相互混入問題が避けようのない問題として存在する。 Always in the process extraction of the edge components in the extraction process and the edge enhancement processing of the noise component in the noise removal processing, cross contamination problems of contaminating the edge component into the mixing and the noise component of the edge component into the noise component avoided It exists as a problem without a way. この様子を模式的に表すと下式のようになる。 This state is shown in the following formula expressed schematically.
N extracted = N true + e undistinguished N extracted = N true + e undistinguished
E extracted = E true + n undistinguished E extracted = E true + n undistinguished

本実施形態では、第2の実施の形態の流れ図に示されるように、エッジ成分はノイズ除去後の画像から抽出することによってできるだけノイズ成分の混入を防ぐ努力をしているが、それでもなお含まれてしまうのが現実である。 In the present embodiment, as shown in the flowchart of the second embodiment, the edge component is trying to prevent contamination as much as possible the noise component by extracting from the image after noise removal, still it contains and thus the is a reality. ノイズ成分もノイズ除去フィルタの課題の中で述べたように、ノイズ除去フィルタで区別できないエッジ成分は必ずノイズ成分の中に混入してしまう。 Noise component also as described in problems of noise removal filter, an edge component that can not be distinguished by the noise removal filter would always be mixed into the noise component. このノイズ成分の中に混入したエッジ成分が、ノイズ除去の課題で述べた問題を引き起こし、エッジ成分の中に混入したノイズ成分がエッジ強調におけるノイズ増幅の問題を引き起こす。 Edge component mixed in the noise component, causing the problems described in the problem of noise reduction, entrained noise component in the edge component causes problems of noise amplification in the edge enhancement. それによって質感再現性の低いノイズ除去や質感再現性の低いエッジ強調を行う結果となってしまう。 Becomes results thereby performing texture Intermittent noise removal and texture Intermittent edge enhancement.

<エッジ強調処理の改良> <Improvement of edge enhancement processing>
そこで、本実施形態では先に述べたエッジ成分のあるべき姿の仮説に基づいて、それに近づけることによってエッジ成分の中から不純物を取り出し純度を上げ、エッジ自身の自己精錬処理を行う。 Therefore, in the present embodiment, based on the hypothesis of vision for edge components mentioned above, raising the purity is taken out impurities from the edge component by approaching it performs the edge itself self refining process. また、ノイズ成分についても同様にノイズ成分のあるべき姿の仮説を立てることが可能であり、その仮説に基づいてノイズ成分の中から不純物を取り出し純度を上げる、ノイズ自身の自己精錬処理も行う。 Further, it is possible to hypothesize vision for similarly noise component also noise components, increasing the purity removed impurities from the noise component based on the hypothesis, self refining process noise itself performs. 本実施の形態では、このように各成分の不純物を除き純度を高める処理を精錬と言う。 In this embodiment, it referred to as a refining process of increasing this way the purity remove impurities of each component.

しかしながら、このような操作をしてもまだ不純物の分離が難しいのが現実である。 However, the difficult also still separate impurities by such operations are practical. すなわち、エッジ成分の中の大部分が本当はノイズ成分であったとしてもエッジ成分のあるべき姿のように振る舞われてしまわれば区別がつかない。 That is, indistinguishable if even put away is behave as vision for edge components as most in the edge component was really a noise component. ノイズ成分の中のエッジ成分についても同様のことがいえる。 The same is true for the edge components in the noise component. このような問題に対しては、次のような仮説を導入してノイズ成分とエッジ成分の相互の大きさを参照することによってその中に含まれている大きな不純物成分の量を推定するほかに対処する方法がない。 For such problems, in addition to estimating the amount of large impurity components contained by introducing hypotheses as follows therein by referring to the mutual magnitude of the noise component and the edge component there is no way to deal with.

すなわち、局所的なエッジ成分が大きな値の領域ではノイズ抽出過程においてエッジ成分をノイズ成分として誤って抽出してノイズ成分の大部分がエッジ成分である可能性が高い。 That is, most of the noise component extracted erroneously edge component as a noise component in the noise extraction process local edge components in the region of large value is likely to be an edge component. 逆に局所的なノイズ成分が大きな値の領域ではエッジ抽出過程においてノイズ成分をエッジ成分として誤って抽出してエッジ成分の大部分がノイズ成分である可能性が高い。 Conversely the majority of local edge component extracted by mistake a noise component as the edge component in the edge extraction process noise component in the area of ​​large value is likely to be noise components. したがって、相互の大きさを参照して、エッジ成分とノイズ成分との間で相互精錬を行うことにより相互の純度を高めることが可能である。 Thus, with reference to the size of the cross, it is possible to increase the purity of each other by performing the mutual refining between edge and noise components. そのためには、ノイズ成分とエッジ成分がかなりの確度まで純度が上がっている必要がある。 This requires a noise component and the edge component is up purity to a considerable accuracy.

エッジ成分とノイズ成分の自己精錬と相互精錬の様子は第2の実施の形態の流れ図に典型的に示される。 State of self-refining and mutual refining edge component and the noise component is typically illustrated in the flow diagram of the second embodiment. 第1の実施の形態の多重解像度を用いたエッジ成分とノイズ成分の抽出・統合過程では、この自己及び相互精錬を各解像度レベルで一度行うに留まらず、統合後のエッジ成分とノイズ成分に対しても再度繰り返し自己精錬と相互精錬の検証を行うことにより、その各々の純度を、また同時にエッジ成分からのハウリング成分の排除も確実なものとする工夫がなされる。 The extraction and integration processes of edge component and the noise component using a multiresolution first embodiment, not only the self and mutual refining performed once at each resolution level, with respect to the edge component and the noise component after integration by performing the verification again repeated self refining and mutual refining also, the purity of each, also be devised that made reliable even eliminate howling component from the edge component simultaneously made.

<エッジ強調処理の高性能化> <Performance of edge enhancement processing>
しかしながら、このようにしてエッジ成分とノイズ成分の純度を如何に高めても排除し切れない相互混入成分というのは必ず存在し、その影響を無視するわけにはいかない。 However, this way is always present because mutual Contaminant components which can not be eliminated even how to increase the purity of the edge component and the noise component, not afford to ignore the effect. すなわち、依然としてこれらがエッジ強調のノイズ増幅問題とノイズ除去のエッジなまり問題等の先に述べた課題を引き起こすのである。 That is, it remains in causing the problems which they are mentioned above, such as edge rounding problems and noise removal noise amplification problem edge enhancement.

そこで、本実施形態ではそれらの影響を事前に予測し、悪影響を最小化し、エッジ強調とノイズ除去の効果を最大化する工夫を、最後のエッジ強調率とノイズ除去率に対して、出力色空間と作業用色空間との間の階調特性の相互の微分比率で表された明るさに対するコントラスト比関数で汎関数(関数を変数とする関数)表現化する方法を導入することにより実現を図る。 Therefore, in the present embodiment to predict in advance their impact, to minimize adverse effects, devised to maximize the effect of edge enhancement and noise removal, for the last edge enhancement rate and noise removal rate, the output color space achieve achieved by introducing a method of representing of (function as a variable function) functional in contrast ratio function for working the brightness represented by the mutual differentiation ratio of the gradation characteristics between the color space and .

その様子が第2の実施の形態の流れ図に示されている。 This state is shown in the flowchart of the second embodiment. すなわち、式で表すと第1番目の式を第2番目の式に変更することに当たる。 That is, when expressed by the formula corresponds to changing the first second expression to a second expression. ここに、λはノイズ除去率を、ζはエッジ強調率を表し、γは線形階調Yに対する出力色空間の階調曲線γ(Y)を、Γは線形階調Yに対する作業用色空間の階調曲線Γ(Y)を表すものとする。 Here, lambda is a noise removal rate, zeta represents an edge enhancement factor, gamma is a gradation curve of the output color space for a linear gradation Y gamma (Y), gamma is the work color space for linear gradation Y It is intended to refer to the gradation curve Γ a (Y).

このコントラスト比の汎関数表現の方法は、画像全体の明るさレベルの間で、ある基準点に対してエッジ強調率とノイズ除去率を増減幅する方法と、エッジ近傍の局所的な明るさレベルの間でのみそれらを増減幅する方法の2通りがある。 The method of functional representation of the contrast ratio, between the brightness level of the entire image, and a method of varying width edge enhancement rate and noise removal rate relative to a certain reference point, near the edge local brightness level there are two ways to increase or decrease the width thereof only between. 本実施形態ではその両方を用いることにする。 In the present embodiment, to the use of both. この2つの考え方は、一般の階調補正技術において、画像全体の明るさのみを平均的にトーンカーブ曲線を変えることによって調整する方法(ヒストグラム均等化法とも言う)と、局所的なエッジ構造の周りでコントラストを強調し、他の領域との間で明るさレベルの大小関係が入れ替わるのも許すレチネックス処理と呼ばれる方法の各々に対応している。 The two ideas, in general gradation correction technique, a method of adjusting by changing the average, the tone curve curves only brightness of the entire image (also referred to as histogram equalization method), the local edge structure corresponds to each of the method called also allow Retinex processing the magnitude relationship between the brightness levels are interchanged between the contrast enhanced, other areas around. 階調補正処理で前者をガンマ調整処理、後者をレチネックス処理と呼ぶならば、エッジ強調あるいはノイズ除去におけるガンマ調整版、レチネックス版を構築しているといえる。 Gamma adjustment processing former in tone correction processing, if called latter as Retinex processing, gamma adjustment plate in the edge enhancement or noise removal, it can be said that building a Retinex version.

すなわち、本実施形態で導入するエッジ強調率のコントラスト比の汎関数表現は、ガンマ調整版の場合、明るさレベルに対するエッジ強調率の増減幅特性は画像全体で一様である。 That is, functional representation of the contrast ratio of the edge enhancement factor introduced in this embodiment, if the gamma adjustment plate, varying width characteristics of the edge enhancement rate for the brightness level is uniform throughout the image. 一方、レチネックス版の場合、それらは画像全体では非一様であるが局所的なエッジ近傍では一様に1つの規則にのっとって増減幅がなされる。 On the other hand, if the Retinex version, they are in the entire image varying width and Ho' uniformly into one rule is is a non-uniform local edge periphery is made. エッジ強調率の汎関数表現は、ノイズ除去とエッジ強調が同時に行われる場合、ノイズ除去で失われたエッジ成分を正確に同じようにして再現するという意味で、ノイズ除去率と同一の汎関数表現がなされるのがよいとの結論に達した。 Functional representation of edge enhancement rate, if the noise removal and edge enhancement are performed simultaneously, in the sense that to reproduce the exact same as the lost edge components in the noise removal, the same functional expression and noise removal rate It has reached the conclusion that the good to be done.

−第1の実施の形態−(多重解像度版) - First Embodiment - (multiple resolution version)
多重解像度を用いてノイズ除去とエッジ強調を同時に行う実施形態を示す。 It shows an embodiment for performing noise removal and edge enhancement at the same time by using a multi-resolution. 図1は、本発明の実施の形態である画像処理装置を示す図である。 Figure 1 is a diagram showing an image processing apparatus in an embodiment of the present invention. 画像処理装置は、パーソナルコンピュータ1により実現される。 The image processing apparatus is realized by the personal computer 1. パーソナルコンピュータ1は、デジタルカメラ2、CD−ROMなどの記録媒体3、他のコンピュータ4などと接続され、各種の画像データの提供を受ける。 The personal computer 1, the digital camera 2, CD-ROM recording medium such as 3, is connected with such other computers 4, able to receive various types of image data. パーソナルコンピュータ1は、提供された画像データに対して、以下に説明する画像処理を行う。 The personal computer 1 performs the image data provided, the image processing described below. コンピュータ4は、インターネットやその他の電気通信回線5を経由して接続される。 Computer 4 is connected via the Internet or other electronic communication network 5.

パーソナルコンピュータ1が画像処理のために実行するプログラムは、図1の構成と同様に、CD−ROMなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ1内にインストールされる。 Program the personal computer 1 is performed for image processing, as in the arrangement of FIG. 1, and a recording medium such as a CD-ROM, provided from another computer via the Internet or other electronic communication network, a personal computer It is installed in the 1. 図2は、パーソナルコンピュータ1の構成を示す図である。 Figure 2 is a diagram showing a configuration of the personal computer 1. パーソナルコンピュータ1は、CPU11、メモリ12、およびその周辺回路13などから構成され、CPU11がインストールされたプログラムを実行する。 The personal computer 1, CPU 11, memory 12, and is composed of such as a peripheral circuit 13, executes a program CPU 11 is installed.

プログラムがインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。 If the program is provided via the Internet or other electronic communication network, the program, telecommunication lines, i.e., is transmitted into a signal on a carrier for carrying the transmission medium. このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。 Thus, the program can be distributed as various forms computer-readable computer program product, such as a recording medium and a carrier wave.

以下、パーソナルコンピュータ1が実行する画像処理について説明する。 Hereinafter, a description is given of an image processing by the personal computer 1 executes. 図3は、パーソナルコンピュータ1が処理する第1の実施の形態の画像処理のフローチャートを示す図である。 Figure 3 is a diagram showing a flowchart of image processing in the first embodiment the personal computer 1 processes. ステップS1では、画像データを入力する。 In step S1, the input image data. ステップS2では、均等色・均等ノイズ空間に変換する。 In step S2, it converts the uniform color, uniform noise space. ステップS3では、ノイズ除去処理およびエッジ強調処理をする。 In step S3, the noise removal processing and edge enhancement processing. ステップS4では、色空間を出力色空間へ逆変換する。 In step S4, inverse converts the color space to output color space. ステップS5では、処理が終了した画像データを出力する。 In step S5, and it outputs the image data processing is completed. 以下、各ステップの処理の詳細について説明する。 The following is a detailed explanation of the processing of each step.

1. 1. 色空間変換 ステップS1で画像データ(以下、単に画像と言う)を入力すると、ステップS2において、入力画像をまず色空間変換し、ノイズ除去処理を行なうのに適した画像処理空間へ投影し直す。 Image data (hereinafter, simply referred to as image) in the color space conversion step S1 When you enter, in step S2, the first color space converting an input image, again projected to the image processing space suitable for performing the noise removal process. この画像処理空間として、国際公開第2006/064913号パンフレット(本出願人と同一発明者)に記載の均等色・均等ノイズ空間を用いる。 As the image processing space, using a uniform color, uniform noise space described in WO 2006/064913 pamphlet (Applicants same inventor). 通常、入力画像はsRGBといった標準色空間で表されていることが多い。 Normally, the input image is often represented by a standard color space such as sRGB. ここでは色補正処理やガンマ補正処理がなされたsRGB画像を主な例として説明する。 Here it will be described an sRGB image in which the color correction processing and gamma correction processing has been performed as a primary example.

1−1. 1-1. 逆ガンマ補正 Inverse gamma correction
sRGB規定のガンマ特性、ないしは各カメラメーカーが固有の絵作りに使用したガンマ特性の階調変換処理を外し、元の線形階調に戻す。 Gamma characteristics of sRGB defined, or each camera manufacturers remove the gradation conversion process of the gamma characteristic used for making specific picture back to the original linear gradation.

また、撮像素子にある分光感度分布特性を持つカラーフィルタが載せられた例えばBayer配列のような撮像信号に対してデモザイク処理が行われた後の線形階調のR,G,B信号を直接入力してもよい。 The input R of a linear gradation after the demosaic processing is performed on the imaging signal such as a color filter is placed was for example Bayer array having a spectral sensitivity distribution characteristic in the image sensor, G, and B signals directly it may be.

1−2. 1-2. RGB色空間からXYZ色空間への変換 線形階調に戻されたsRGB画像からXYZ空間に変換する場合は、以下に示すような規格書通りの変換を行う。 When converting from RGB color space sRGB image returned to the conversion linear gradation to XYZ color space into XYZ space, to convert the specifications as described below.

デモザイク処理直後のセンサー分光感度分布特性を持つRGB信号の場合は、各々の分光感度分布特性に合わせたマトリックスを構成して、デバイス・インディペンデントなXYZ空間へ変換する。 For RGB signals with a sensor spectral sensitivity distribution characteristic just after demosaicing, it constitutes a matrix to match the spectral sensitivity distribution characteristics of each converted to the device-independent XYZ space.

1−3. 1-3. XYZ色空間から均等色・均等ノイズ色空間(L^a^b^)への変換 次式により、XYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ変換する。 By the conversion equation from XYZ color space to a uniform color, uniform noise color space (L ^ a ^ b ^), the non-linear gradation representing a perceptive attribute that is pseudo-distributed uniform color from XYZ space L ^ a ^ b ^ is converted into space. ここで定義するL^a^b^空間は、従来のいわゆる均等色空間L*a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にL^a^b^と名付けたものである。 L ^ a ^ b ^ space defined here to conventional so-called uniform color space L * a * b *, and plus the deformation in consideration of uniform noise resistance, for convenience L ^ a ^ in which it named b ^.

ここで、通常、均等色・均等ノイズ化する階調特性として Here, typically, as the gradation characteristics of uniform color, uniform noise reduction
を用いる。 It is used.

X0,Y0,Z0は照明光によって定まる値であり、例えば、標準光D65下で2度視野の場合、X0=95.045、Y0=100.00、Z0=108.892のような値をとる。 X0, Y0, Z0 is the value determined by the illumination light, for example, in the case of two-degree field under standard light D65, X0 = 95.045, Y0 = 100.00, takes a value as Z0 = 108.892. εの値は、センサーによっても異なるが、低感度設定のときはほぼ0に近い値を、高感度設定のときは0.25程度の値をとる。 The value of ε varies depending sensors, a value very close to zero, when the low sensitivity setting, when the high sensitivity setting takes a value of about 0.25.

以下、ステップS3のノイズ除去処理およびエッジ強調処理について説明する。 The following describes the noise removal processing and the edge enhancement processing of step S3.

2. 2. 画像の多重解像度表現 多重解像度に基づいたノイズ除去処理およびエッジ強調処理の流れ図を図4に示す。 The flowchart of the noise removal processing and the edge enhancement processing based on multi-resolution representation multiresolution image shown in FIG. 輝度成分L^、色差成分a^、b^の各々の原画像を多重解像度表現して、ノイズ除去を行なう。 The luminance component L ^, the chrominance component a ^, a b ^ each original image and multi-resolution representation, the noise removal. 原画像を順次ウェーブレット変換のAnalysis過程によって低解像度画像に分解していく(処理(1-0)(2-0)(3-0)(4-0)(5-0))。 Will decompose into low-resolution image by Analysis process of the original image sequentially wavelet transform (processing (1-0) (2-0) (3-0) (4-0) (5-0)). サブバンド画像が生成されるAnalysis過程をまとめて次式のように表す。 Collectively Analysis process subband image is generated expressed by the following equation.
ただし、S(x,y)はL^, a^, b^の各面に対してサブバンド画像Vij(x,y)を生成する。 However, S (x, y) is L ^, a ^, to generate a subband image Vij (x, y) with respect to each side of b ^.

なお、ウェーブレット変換とは、画像(画像データ)を周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。 Note that the wavelet transform, which converts an image (image data) to the frequency component, the frequency component in the image is divided into a high-pass component and a low-pass component. ハイパス成分からなるデータを高周波サブバンドと言い、ローパス成分からなるデータを低周波サブバンドと言い、LLを低周波サブバンド、LH, HL, HHを高周波サブバンドと言う。 The data consisting of the high-pass component referred to as high-frequency sub-band, the data consisting of the low-pass component referred to as low-frequency sub-band, low-frequency sub-band LL, LH, HL, and HH are high-frequency subband. また、低周波サブバンドを低周波画像、高周波サブバンドを高周波画像と言ってもよい。 Further, the low-frequency sub-band low-frequency image, the high-frequency sub-band may be referred to as a high-frequency image. さらに、各サブバンドを周波数帯域制限画像と言ってもよい。 Furthermore, each sub-band may be referred to as frequency band-limited images. 低周波サブバンドは、原画像の周波数帯域を低周波側に帯域制限した画像であり、高周波サブバンドは、原画像の周波数帯域を高周波側に帯域制限した画像である。 Low-frequency subband is an image obtained by band-limiting the frequency band of the original image to a lower frequency, the high frequency sub-band is an image obtained by band-limiting the frequency band of the original image to the high frequency side.

通常の多重解像度変換は、低周波サブバンドLL成分を順次分解した高周波サブバンドを残していくだけであるが、ここではノイズ成分のサブバンド周波数帯域間での抽出漏れがないように、低周波側サブバンドLLと高周波サブバンドLH, HL, HHの両方を用いている。 Typical multi-resolution transform is only going to leave sequentially degraded high-frequency sub-band low-frequency subband LL component, wherein so that there is no extraction leakage between sub-band frequency band of the noise component, the low-frequency side subband LL and the high-frequency sub-band LH, HL, and using both HH.

ウェーブレット変換としては、例えば以下のような5/3フィルタを用いる。 The wavelet transform, used 5/3 filter, for example, the following.

<ウェーブレット変換:Analysis/Decompositionプロセス> <Wavelet Transformation: Analysis / Decomposition Process>
ハイパス成分:d[n]=x[2n+1]-(x[2n+2]+x[2n])/2 Highpass: d [n] = x [2n + 1] - (x [2n + 2] + x [2n]) / 2
ローパス成分:s[n]=x[2n]+(d[n]+d[n-1])/4 Lowpass: s [n] = x [2n] + (d [n] + d [n-1]) / 4
上記定義の1次元ウェーブレット変換を、横方向と縦方向に独立に2次元分離型フィルタ処理を行うことによって、ウェーブレット分解する。 The one-dimensional wavelet transform as defined above, independently at horizontal and vertical directions by performing two-dimensional separable filter process, wavelet decomposed. 係数sをL面に集め、係数dをH面に集める。 The coefficient s is the L plane, whereas the coefficient d in the H plane.

<逆ウェーブレット変換:Synthesis/Reconstructionプロセス> <Inverse Wavelet Transformation: Synthesis / Reconstruction Process>
x[2n]=s[n]-(d[n]+d[n-1])/4 x [2n] = s [n] - (d [n] + d [n-1]) / 4
X[2n+1]=d[n]+(x[2n+2]+x[2n])/2 X [2n + 1] = d [n] + (x [2n + 2] + x [2n]) / 2
ただし、図4に示すように、ウェーブレット変換時のxの値には画像を表す信号を入力し、生成されたウェーブレット変換係数s,dに含まれるノイズ成分を抽出し、抽出されたノイズ成分を逆ウェーブレット時のs,dに代入してノイズ画像xを生成してゆく用い方をする。 However, as shown in FIG. 4, the value of x at the wavelet transform inputs a signal representing an image, generated wavelet transform coefficients s, extracts the noise component contained in the d, the extracted noise component inverse wavelet during s, to the way with which slide into generate a noise image x is substituted into d. エッジ成分についても同様の用い方をする。 The same using way also the edge component.

上記多重解像度表現は5段のウェーブレット変換を用いているが、入力する原画像のサイズに応じて増減させてよい。 It said multiresolution representation is using wavelet transform of five stages, but may be increased or decreased depending on the size of the original image to be input. また、多重解像度表現法として、上述のような直交ウェーブレット変換に限らず、ラプラシアン・ピラミッド表現やステアラーブル・ピラミッド表現等を用いてもよい。 Further, as the multi-resolution representation method is not limited to the orthogonal wavelet transform as described above, it may be used Laplacian pyramid representation and Sutearaburu pyramid representation like.

3. 3. 仮想ノイズ除去によるノイズ抽出処理3−1. Noise extraction processing by the virtual noise removal 3-1. ノイズ除去フィルタによるノイズ抽出処理3−1−1. Noise extraction processing by the noise removal filter 3-1-1. ノイズ除去処理 任意のノイズ除去フィルタを用いてよいが、ここでは一般に知られる高性能なバイラテラル・フィルタを改良した、国際公開第2006/068025号パンフレット(本願と同一発明者)に記載の次式の改良Bilateral Filterを用いる(処理(1-2)(2-2)(3-2)(4-2)(5-2))。 May be used noise removal processing any noise removal filter, but here with improved performance bilateral filter is commonly known, the following formula described in WO 2006/068025 pamphlet (present the same inventor) using the improvement Bilateral Filter (process (1-2) (2-2) (3-2) (4-2) (5-2)).
ここで、i,jはサブバンド特定記号を表す。 Here, i, j denotes the sub-band specific symbol. iは解像度の違いを、jはLL,LH,HL,HHの違いを表す。 i is the difference in resolution, j represents LL, LH, HL, a difference of HH.

閾値σth ijは各サブバンド毎に期待されるノイズゆらぎ幅に合わせて設定し、エッジとノイズを区別しながらノイズ成分を抽出する。 Threshold? Th ij is set according to the noise fluctuation width expected for each sub-band, to extract a noise component while distinguishing edge and noise. 実空間におけるノイズゆらぎ指標値σthが決まれば、ウェーブレット変換式から誤差伝播則に基づいて各サブバンド信号へのゆらぎの伝播量を評価すれば、自動的に各々のサブバンドに最適なσth ijの値は決まる。 Once the noise fluctuation index value? Th in the real space, if the basis of wavelet transformation equation the error propagation law evaluate the propagation of fluctuation for each subband signal, automatically optimum? Th ij in each sub-band the value is determined. σthの値はISO感度が高くなるに従い大きな値を設定する。 The value of σth is set to a large value in accordance with ISO sensitivity is high. 例えば、ISO6400で256階調に対して実空間でのゆらぎ幅を10程度の値に設定したりする。 For example, and to set the fluctuation width in the real space relative to 256 gradations by ISO6400 to a value of about 10.

閾値rthの値は、ノイズ除去フィルタの範囲が解像度階層間で重なり合うように0.5〜3.0画素程度にとればよく、積分範囲もrthの2倍ないしは3倍程度にとれば十分係数値は小さな値に落ちている。 The value of the threshold rth may Taking the range of the noise removal filter is approximately 0.5 to 3.0 pixels to overlap between resolution layer, sufficient coefficient value Taking double or three times the integration range is also rth is a small value falling. 一般に、他のノイズ除去フィルタであっても多重解像度表現されたサブバンド画像では3x3〜9x9程度の範囲の画素信号を参照するようなフィルタで十分なノイズ除去効果が得られる。 In general, sufficient noise suppression is obtained in the filter that reference pixel signals in the range of about 3x3~9x9 the subband images which were also Multiresolution be other noise removal filter.

3−1−2. 3-1-2. ノイズ抽出処理 各サブバンドにおいて、次式のようなノイズ抽出処理を行う(処理(1-3)(2-3)(3-3)(4-3)(5-3))。 In the noise extracting process each subband, the noise extracting process, such as the following equation (process (1-3) (2-3) (3-3) (4-3) (5-3)).

3−2. 3-2. 逐次ノイズ抽出 ノイズ成分を各サブバンド面のノイズ除去フィルタリングだけで漏れなく抽出するのは難しく、多重解像度分解による周波数帯域間で間隙を生じないように、他の解像度で抽出したノイズを参照しながら逐次的にノイズを抽出する。 Sequential noise extraction noise component is difficult to extract without omission only noise reduction filtering of each sub-band surface, so as not to cause a gap between the frequency bands by the multiresolution decomposition, with reference to the extracted noise other resolutions sequentially to extract the noise. 逐次的なノイズ除去の方法としてはAnalysis時とSynthesis時に行なう2通りの方法があるが、本実施形態ではSynthesis時の場合のみを示す。 Although the sequential noise removal methods there are two ways to perform the time Analysis time and Synthesis, in this embodiment shows only the case at the time of Synthesis.

また、ノイズ成分を正確に抽出するため、ノイズ除去の概念を仮想ノイズ除去と実際のノイズ除去の2つに分ける。 Further, in order to accurately extract a noise component, divide the concept of noise removal to two actual noise removal and the virtual noise removal. 仮想ノイズ除去の具体的処理は次のようになる。 Specifically processing of the virtual noise removal is as follows. ノイズ抽出のためにだけ用いる仮想的なノイズ統合を行い(処理(2-4)(3-4)(4-4)(5-4))、各階層で生成される統合ノイズ成分をLLサブバンド面から減算して(処理(1-1)(2-1)(3-1)(4-1)(5-1))、LL面からノイズ成分を抽出しやすい状態にした後、上記ノイズ除去フィルタリングを行なう。 Performs a virtual noise synthesis used only for noise extraction (process (2-4) (3-4) (4-4) (5-4)), LL sub integration noise components generated in each layer is subtracted from the band surface (process (1-1) (2-1) (3-1) (4-1) (5-1)), after the LL surface easily extracted state noise components, the the noise removal filtering.

すなわち、仮想的ノイズ統合は次式で表される。 That is, the virtual noise synthesis is expressed as follows.
ただし、下層のノイズ統合により生成された1つ上の階層のLLバンドのノイズ成分と、「ノイズ抽出処理」により抽出された同じサブバンド面の冗長なノイズ成分とを合成するときには、同じLLサブバンド面上で加算を行って統合する。 However, the noise component of the LL band of one level generated by the underlying noise synthesis, when combining the redundant noise component of the same subband plane extracted by "noise extraction process", the same LL sub integrating perform the addition on the band surface. その様子は図4では「+」記号で表されている。 This state is represented in FIG. 4, "+" sign.

(補足説明) (Supplementary explanation)
図4より明らかであるが、図4で行なっている処理をより具体的に書けば、 As will be apparent from FIG. 4, to write more specifically the process is performed in FIG. 4,
を行なった後に、3−1−1及び3−1−2の処理を行なう処理を繰り返すことを意味している。 After performing, meaning that the repeated processing for performing processing of 3-1-1 and 3-1-2. M=5のときは何もノイズ抽出行われていないノイズ成分を統合してくるので、N5(x,y)=0となる。 Since coming integrated noise component which is not done anything noise extraction when the M = 5, the N5 (x, y) = 0.

4. 4. エッジ抽出 仮想ノイズ除去された各サブバンド面から次式よりエッジ成分を抽出する(処理(1-5)(2-5)(3-5)(4-5)(5-5))。 From each sub-band surface that is the edge extraction virtual noise removal to extract the edge component from the following equation (process (1-5) (2-5) (3-5) (4-5) (5-5)).

ここで、エッジ検出フィルタとしてはラプラシアン・フィルタを用いる。 Here, using a Laplacian filter as an edge detection filter. ラプラシアン・フィルタとしては通常の3x3で定義される中心が8で周辺が-1の係数からなる最も単純なフィルタを用いてもよい。 Near the center is 8 The Laplacian filter defined in the usual 3x3 may be used most simple filter consisting of coefficients of -1. しかし、仮想ノイズ除去後にもなお残存するエッジを正確に抽出するため、ノイズ除去フィルタのフィルタリング範囲と連動させるのがよい。 However, in order to accurately extract the edge that still remains after the virtual noise removal, it is preferable to work with the filtering range of the noise removal filter. 例えば、ノイズ除去フィルタの平滑化対象範囲が9x9程度の場合、ラプラシアン・フィルタも9x9程度に設定する。 For example, the smoothing target range of the noise removal filter may of about 9x9, even Laplacian filter set to about 9x9. すなわち、ラプラシアンは、{(原画像)−(ガウスボカシ画像)}で定義すればよいので、フィルタ例として以下のようなものがある。 In other words, Laplacian, - so may be defined by {(original image) (Gausubokashi image)}, are as follows as an example filter. ただし、tは転置行列を表し、一次元分離型フィルタの積で構成している。 However, t represents the transposed matrix, and constitutes the product of one-dimensional separable filter.

ここで抽出したエッジ成分は、エッジ強度の局所的な度数分布のイメージ図を描いてみると図5(a)のような分布をしている。 Here extracted edge components, looking painted image diagram of a local frequency distribution of the edge intensity has a distribution as shown in FIG. 5 (a). ノイズゆらぎ幅と同程度に変動するエッジ構造が全て仮想ノイズ除去によって消失した後の面からエッジ抽出しているにもかかわらず、ゼロ近傍に最大ピークをもつ微弱なエッジが抽出されている理由は、仮想ノイズ除去後に僅かに残る微弱エッジ構造の跡形とその周りに存在する大きなエッジ成分の画像構造の様子から、その近辺にあったと推定される微弱エッジ成分を推測していることにほかならない。 Noise fluctuation width and despite the edge extraction from the surface after the disappearance edge structure that varies same degree by all virtual noise removal, why weak edges with a peak maximum in the vicinity of zero has been extracted nothing but that guessing a weak edge component that is estimated from the state of the image structure of the trace and a large edge component existing around the weak edge structure that remains after only virtual noise removal, and was in vicinity.

5. 5. ノイズ成分の自己精錬 ノイズ除去フィルタで抽出するノイズ成分の中には、如何なる結果のノイズ成分が抽出されるかは何の保証もない。 Some noise component extracted by the self-refining noise removal filter of the noise component is either a noise component of any results is extracted there is no warranty. 画像構造の状況によっては特異成分が含まれてしまう。 It would include specific components depending on the situation of the image structure. また、その含まれ方もノイズ除去フィルタの性能具合によって異なってくる。 In addition, the included the way also different depending on the performance degree of noise removal filter.

そこで、本来ノイズ除去フィルタが抽出ないしは平滑化対象としているノイズ成分がランダムノイズであることを思い返せば、その抽出されたノイズ成分の振る舞いも階調方向に関してポアッソン分布に起因したガウス分布特性を持っていなければ、ノイズ除去フィルタ側で何かの間違いを犯していると考えるのが妥当である。 Therefore, if I recall that noise component inherent noise removal filter is an extraction or smoothing target is a random noise, even the behavior of the extracted noise component has a Gaussian distribution characteristic due to the Poisson distribution with respect to the gradation direction if not, it is reasonable to think that the mistakes of something in the noise removal filter side. すなわち、ノイズ抽出結果をノイズらしい振る舞いをしているか統計的に検証することによって、誤って混入した特異エッジ成分を除外し、本来あるべきランダム・ノイズの姿に近づけることができる(処理(1-6)(2-6)(3-6)(4-6)(5-6))。 That is, by statistically validated if they were noise likely behavior noise extraction results, excluding accidentally contaminated singular edge component, can be brought close to the appearance of random noise should be originally (treatment (1 6) (2-6) (3-6) (4-6) (5-6)).

これは均等ノイズ空間でノイズ抽出を行っているからこそ置くことのできる仮定である。 This is a hypothetical that can be placed precisely because doing noise extracted with uniform noise space. 明るい所と暗い所でノイズ振幅の増幅率の違う画像処理空間では、全ての明るさレベルでこのような対称なガウス分布をせずに非対称化し、更に明るさ毎にそれがどのような分布をするか予測が付かず、このようなスマートな処理ができない。 The bright place and the amplification factor of different image processing space noise amplitude in a dark place, and asymmetry without such symmetrical Gaussian distribution at all brightness levels, it is what the distribution for each further brightness prediction or does not adhere, can not be such a smart processing.

ここに、σn th ijの値はノイズ除去フィルタで用いたノイズゆらぎ指標値σth ijの値の6倍程度に設定するのがよい。 Here, the value of .sigma.n th ij is preferably set to 6 times the noise fluctuation index value? Th ij values ​​used in the noise removal filter. すなわち、シックス・シグマを超えていれば統計的に明らかに異常だと認定することになる。 That is, the certifying statistically that it clearly abnormal if exceeding Six Sigma.

6. 6. エッジ成分の自己精錬 エッジ抽出過程によって抽出されたエッジ成分は、図5(a)に示されるようにリンギングやハローの要因となる度数分布から見れば特異な撹乱成分が含まれている。 Edge components extracted by the self-refining edge extraction process of an edge component includes a specific disturbance component from the perspective frequency distribution which causes ringing and halos as shown in Figure 5 (a). 従来このような成分を減衰させるため、入力エッジ強度に対して出力エッジ強度が単調増加となる関数を通過させていた。 Order to conventional attenuates such components, the output edge strength was passed through a function as a monotonically increasing with respect to the input edge strength. しかし、抽出されたエッジ成分の真偽に関する明確なモデルと指針がないため、抽出したエッジ成分は有効に扱わねばならないという考えに基づいて単調増加関数が設定されていた。 However, because there is no clear model and guidance on the authenticity of the extracted edge component, extracted edge component is monotonically increasing function based on the idea that must be effectively treated has been set. しかし、エッジ強度がいくら大きくなっても有限値を残すということはリンギングを生じさせる危険がつきまとう。 However, the risk of causing a ringing is that even if the edge strength becomes much larger leaves a finite value stalking.

本実施形態では、リンギングを生じさせずに自然なエッジ強調ができるエッジ成分のモデルを立てて、その判別指針に基づいてそれ以外の成分は完全に抹消する方策をとる。 In this embodiment, it makes a model of the edge components can naturally edge enhancement without causing ringing component otherwise based on the determination guidelines take measures to completely deleted. なぜならば、本実施の形態が目的としているエッジ成分は、「基本的考え」のところでも述べたように、ノイズ成分によって埋もれる程度のエッジ成分をいかにして正確に推定して復元することができるかという点にあるからである。 Because edge components to which the present embodiment is aimed, as mentioned in the place of the "basic idea", and how the degree of edge components buried by the noise component can be restored exactly estimate This is because there is in the fact that one. その意味で、本来存在しないはずのリンギングやハロー成分を抽出することは許されない。 In this sense, it is not allowed to extract ringing or halos components which should not originally exist. これは、多重解像度の各サブバンド毎に満たしていなければならない。 This must be met for each sub-band multiresolution.

従って、その仮説とは、理想的な均等色・均等ノイズ空間で抽出された自然なエッジ成分はガウス分布する、というものである。 Therefore, the hypothesis, natural edge components extracted in an ideal uniform color, uniform noise space is Gaussian distribution, is that. したがって、図6のようなある振幅レベル以上のエッジ成分は完全に消滅するような強力な減衰特性をもつ非線形関数を通すと、エッジ成分をモデルとするエッジ成分の姿に近づけることが可能となる。 Therefore, the amplitude level or more edge components is shown in FIG. 6 when passing the non-linear function with a strong damping characteristic to completely disappear, it is possible to approximate the shape of the edge components to model the edge component . エッジ成分の自己精錬を式で表せば以下のようになる(処理(1-7)(2-7)(3-7)(4-7)(5-7))。 Self refining edge components as follows, if indicated by the formula (processing (1-7) (2-7) (3-7) (4-7) (5-7)).

ここで、σe th ijの値は、ノイズ除去フィルタで用いたノイズゆらぎ指標値σth ijの値と全く同じ値に設定する必要がある。 Here, the value of Sigma] e th ij needs to be set to exactly the same value as the value of the noise fluctuation index value? Th ij used in the noise removal filter. そうすることによってリンギング成分を排除するとともに、ノイズ除去フィルタで区別できないためにノイズ除去によって消失してしまうと予測される微弱エッジ成分を、ここで同じ量だけ再度復活して抽出することが可能になり、エッジ強調として加算したときに微弱エッジ成分の復活が可能となるからである。 While eliminating the ringing component by doing so, the weak edge component that is expected to disappear by the noise removal can not be distinguished from the noise removal filter, where it is possible to extract revived same amount again in it is because the resurrection of weak edge component when added as edge enhancement becomes possible. また、ノイズ除去処理を伴わなくても、ノイズ被りによって低下するエッジのコントラストに相当する輪郭成分の量や、ノイズ被りによって見えなくなるテキスチャ成分の量を同じ量だけ正確に抽出することができる。 Moreover, even without involving noise removal processing, and the amount of contour component corresponding to the contrast of edges decreases by wearing noise, by the same amount the amount of texture components being obscured by fog noise can be accurately extracted.

このように、均等色・均等ノイズ空間で扱った場合、エッジ成分もノイズ成分もどちらも共に本来理想的に局所領域内の度数分布はガウス分布をしているという指針に基づいて、ノイズ成分に含まれるエッジ成分によるノイズ除去での輪郭ボケを防いだり、エッジ成分に含まれるリンギング成分によるエッジ強調でのハローやハウリングの発生を防止したりすることが可能となる。 Thus, when dealing with uniform color, uniform noise space, based on the guideline of the frequency distribution of the original together Neither edge component also noise components ideally local region has a Gaussian distribution, the noise component Guests prevent contour blurring of the noise removal by an edge component contained, it becomes possible or to prevent the occurrence of halo or howling at the edge enhancement by the ringing component contained in the edge component. また、そのガウス分布の幅をノイズゆらぎ指標値と同じ分布幅のモデルを立てることにより、ノイズの振幅幅と同程度の性質を示す微弱エッジや輪郭のコントラスト成分を抽出することが可能となる。 Further, by make a model of the same distribution width the width of the Gaussian noise fluctuation index value, it is possible to extract a weak edges and contours of the contrast component which indicates the nature of the same level as the amplitude width of the noise.

上記エッジ成分の自己精錬は、エッジ成分の強度に関する度数分布がノイズゆらぎ指標値σth ijに基づく所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正を行うことによりなされる。 Self refining of the edge components is done by correcting the frequency distribution related to the intensity of the edge component is attenuated each edge component so as to approach a Gaussian distribution of a predetermined width based on the noise fluctuation index value? Th ij. また、ノイズゆらぎ指標値σth ijは、前述のように各解像度の各サブバンド毎に期待されるノイズゆらぎ幅に合わせて設定される。 The noise fluctuation index value? Th ij is set according to the noise fluctuation width expected for each subband of each resolution, as described above. 従って、抽出された各解像度の各サブバンド(帯域制限画像)のエッジ成分は、各々のサブバンド毎のエッジ成分の強度に関する度数分布が各解像度(各帯域)に固有の所定幅のガウス分布に近づくように補正される。 Thus, edge components of each resolution each subband extracted (band limited image) in the frequency distribution relating to the intensity of the edge component for each respective sub-band each resolution (each band) to a Gaussian distribution of a unique predetermined width It is corrected so as to approach.

また、上記エッジ成分の自己精錬は、別の表現をすれば、エッジ成分自身の大きさに基づいて、エッジ成分の中に含まれる偽のエッジ成分の量を推定し、この推定結果に基づいて、抽出されたエッジ成分から偽のエッジ成分を除外して実エッジ成分を抽出している。 Moreover, self-refining of the edge components, Stated differently, based on the edge component itself magnitude, to estimate the amount of false edge component contained in the edge component, based on the estimated result , from the extracted edge component to exclude false edge component are extracted actual edge component. このようにして精錬されたエッジ成分は、図5(b)のような度数分布となる。 Such edge component is refined in the is a frequency distribution as shown in FIG. 5 (b).

7. 7. エッジによるノイズ成分の精錬(相互精錬1) Refining of the noise component by the edge (Mutual Refining 1)
このように項目番号5と項目番号6の処理を経てきたノイズ成分とエッジ成分はかなりの確度でその純度が高まっている。 Such noise component and the edge component which has undergone the process of item number 5 and item number 6, has increased its purity considerable accuracy. しかしながら、項目番号5で自己精錬したノイズ成分の中には依然としてノイズ成分のように振る舞うエッジ成分が含まれている。 However, it contains edge components behave still like noise component in the noise component, which is self-refining by the item number 5. このエッジ成分の除外には、信頼度の高いエッジ成分を参照してノイズ成分の中にどの程度そのような成分が含まれる状況が生じうるかを推定して排除するしかない。 The exclusion of the edge component is only eliminated by estimating how situations include how such components in the noise component by referring to reliable edge components may occur. ここで混入しているエッジ成分は、ノイズと同程度の強度で振る舞うテキスチャ等のエッジ成分であるので、そのようなテキスチャ領域は周囲にフラクタル的に大きなエッジ構造を持っている場合が多い。 Edge components are mixed here, because it is an edge component of texture such as to behave in noise and comparable strength, such texture area in many cases have a fractal large edge structure around. 従って、その領域のエッジ強度を参照すれば凡そ混入している量が推定できる。 Therefore, it is possible to estimate the amount that is mixed approximately Referring edge intensity of the region.

すなわち、次のような仮説に基づく。 In other words, based on the following hypothesis. エッジ成分の強度(絶対値)が大きい領域では、ノイズ成分の大部分は混入エッジ成分である割合が高く、エッジ成分の強度(絶対値)が小さい領域ではノイズ成分の大部分は真のノイズ成分である可能性が高い。 In the area intensity (absolute value) is larger edge components, most of the noise components is high proportion are mixed edge components, most of the intensity noise component (absolute value) is smaller region of the edge components is true noise component it is likely to be. この確率モデルにもガウス分布を利用して、以下のように相互精錬を行う(処理(1-8)(2-8)(3-8)(4-8)(5-8))。 Using a Gaussian distribution in the probability model, performing mutual refining as follows (the process (1-8) (2-8) (3-8) (4-8) (5-8)). 同じガウス分布によるモデルを用いているので、この相互精錬によって理想のノイズ・モデルの形が崩されることはなく、より理想形に近づく。 Because of the use of models with the same Gaussian distribution, rather than the form of ideal noise model it is disturbed by the cross-refining, closer to the ideal form.

ここに、σne th ijの値は項目番号5で用いたσn th ijと同じく、ノイズゆらぎ指標値σth ijの6倍に設定するとよい。 Here, the value of? Ne th ij is like the .sigma.n th ij used in item number 5, may be set to six times the noise fluctuation index value? Th ij. すなわち、そのように統計的に完璧にエッジと考えられる領域で混入エッジ成分の排除を行う。 That is, the elimination of contamination edge component in the region thought that such statistically perfect edge.

8. 8. ノイズによるエッジ成分の精錬(相互精錬2) Refining edge component due to noise (cross-refining 2)
項目番号7の説明と同じくして、項目番号6で自己精錬したエッジ成分の中にもエッジ成分のように振る舞うノイズ成分が含まれている。 At the same with the description of the item number 7 includes a noise component behaves like edge component also in the edge component, which is self-refining by the item number 6. このノイズ成分の除外には、信頼度の高いノイズ成分を参照してエッジ成分の中にどの程度そのような成分が含まれる状況が生じうるかを推定して排除するしかない。 The exclusion of this noise component, there is only eliminated by estimating how situations include how such components in the edge component with reference to the highly reliable noise component can occur. ここで混入しているノイズ成分は、抽出したいエッジ成分と同程度の強度で振る舞うノイズ成分である。 Here mixed and noise components are noise components behave in similar strength and edge components to be extracted. そのようなエッジ成分に混入したノイズ成分は、項目番号7で抽出されたノイズ成分でも同じ程度の大きさのノイズ成分として抽出されているはずである。 Noise component mixed in such edge component should be extracted as a noise component of the size of the same degree in the noise component extracted by the item number 7.

したがって、次のような仮説に基づいてエッジ成分に混入したノイズ成分の割合を推定することができる。 Therefore, it is possible to estimate the proportion of the noise component mixed in an edge component based on the following hypotheses. すなわち、ノイズ成分の強度(絶対値)の大きい領域では、エッジ成分の大部分は混入ノイズ成分である割合が高く、ノイズ成分の強度(絶対値)が小さい領域ではエッジ成分の大部分は真のエッジ成分である可能性が高い。 That is, the intensity of the noise component (absolute value) is large area, most of the edge components is high proportion are mixed noise component, the noise component intensity most of the edge components in the region (absolute value) is small true it is likely to be an edge component. この確率モデルにもガウス分布を利用して、以下のように相互精錬を行う(処理(1-9)(2-9)(3-9)(4-9)(5-9))。 Using a Gaussian distribution in the probability model, performing mutual refining as follows (the process (1-9) (2-9) (3-9) (4-9) (5-9)). 同じガウス分布によるモデルを用いているので、この相互精錬によって理想のエッジ・モデルの形が崩されることもなく、より理想形に近づく。 Because of the use of models with the same Gaussian distribution, without the shape of the ideal edge model is disturbed by the cross-refining, closer to the ideal form.

ここに、σen th ijの値は項目番号6で用いたσe th ijと同じく、ノイズゆらぎ指標値σth ijと同じ値に設定する必要がある。 Here, the value of σen th ij is like the Sigma] e th ij used in item number 6, it is to be set to the same value as the noise fluctuation index value? Th ij. そうすることによって、エッジ成分の中に含まれた抽出ノイズ成分でも観測されているノイズ成分を除外することができる。 By doing so, it is possible to exclude a noise component has been observed in extracts noise components included in the edge component. 従って、エッジ強調によってノイズ感が増えてしまうことが防止できる。 Therefore, it is possible to prevent results in increased noise impression by the edge enhancement.

上記処理は、抽出したノイズ成分の絶対値が大きければ大きいほど、エッジ成分に含まれる残存ノイズ成分の割合が大きいと推定し、エッジ成分から推定した残存ノイズ成分を除外していることを意味する。 The above process is, the greater the absolute value of the extracted noise component is estimated as the percentage of the residual noise component included in the edge component is large, it means that excludes the residual noise component estimated from the edge component . 別の言い方をすると、上記処理は、抽出したノイズ成分の絶対値を引数とするガウス分布関数によって、抽出したエッジ成分の内の実エッジ成分の存在割合を推定し、推定した実エッジ成分を求めていることを意味する。 In other words, the process, by a Gaussian distribution function to the absolute value of the extracted noise component and an argument, the existence ratio of the actual edge component of the extracted edge component to estimate, determine the actual edge component estimated it means that is. また、別の言い方をすると、原画像に対してノイズ成分を抽出するときに使用するノイズゆらぎ指標値を、抽出した各画素位置におけるノイズ成分の絶対値と比較することによって、エッジ成分に含まれる残存ノイズ成分の割合を推定している。 Further, in other words, by comparing the absolute value of the noise component at each pixel position the noise fluctuation index value used, extracted when extracting a noise component on the original image, is included in the edge component the proportion of the residual noise component is estimated.

9. 9. 実ノイズ成分の統合 各サブバンドで漏れなくノイズ成分が抽出された後、きれいに精錬されたノイズ成分を今度は、実画像へのダメージが最も少なくノイズ除去効果の高い周波数バンド間ウェイトをつけて統合する。 After the noise component is extracted without omission in the integrated each subband of the actual noise component, clean the turn refined noise component, integrated with a high-frequency band between weights of damage smallest noise removal effect to the actual image to.

周波数バンド間の重みとしては、低周波サブバンドと高周波サブバンドの間の重みkn iと解像度レベル間の重みkn jとがあり、各々を個別に与えて合成重みkn ijを最終的なそのサブバンドのノイズ成分の統合ウェイトとする。 The weight between frequency bands, low frequency has a weight kn j between weight kn i and resolution levels between the sub-band and high-frequency sub-band, the final its sub combining weights kn ij giving each individually the integration weights of the noise component of the band. すなわち、式で表せば、 That is, if indicated by the formula,
となる。 To become. 図4の重みkn ijは(重み(1-14)(2-14)(3-14)(4-14)(5-14))、低周波サブバンドと高周波サブバンドの間の重みkn iと解像度レベル間の重みkn jの2つが入っている。 FIG weight kn ij of 4 (weight (1-14) (2-14) (3-14) (4-14) (5-14)), weight kn i between the low-frequency subband and the high-frequency sub-band and two weights kn j between resolution levels has entered.

9−1. 9-1. L/Hバンド間の重みの設定 本願発明者による国際公開第2007/114363号パンフレットと国際公開第2007/116543号パンフレットによれば、実画像へのダメージが最も少なくなるようなノイズ成分の統合ウェイトは、原画像が輝度成分の場合、高周波サブバンド・ノイズの重みを大きくし、低周波サブバンド・ノイズの重みを小さくするのがよいとしている。 According to the settings invention WO 2007/114363 pamphlet and WO 2007/116543 pamphlet by users of weight between L / H bands, integration weights of the noise component, such as damage to the real image is minimized the original image if the luminance component, to increase the weight of the high-frequency sub-band noise, and the better to reduce the weight of the low-frequency subband noise. また、原画像が色差成分の場合、低周波サブバンド・ノイズの重みを大きくし、高周波サブバンド・ノイズの重みを小さく、ないしは低周波サブバンド・ノイズの重みと同程度にするのがよいとしている。 Also, the original if the image is a color difference component, to increase the weight of the low-frequency subband noise, reduce the weight of the high-frequency sub-band noise, or by the weight of the low-frequency subband noise and better to the same extent there. また、この低周波サブバンドと高周波サブバンドの重みは統合ノイズ成分の周波数特性を大きく変え、ノイズ除去の見栄えを大きく変えるので、そのバンド間の重みをグラフィック・ユーザー・インターフェースを通じて、特に輝度成分のバンド間重みを粒状性設定パラメータとしてユーザーに開放している。 Moreover, the weight of the low-frequency subband and the high-frequency subband significantly changed frequency characteristics of the integrated noise component, since significantly change the appearance of the noise reduction, the weight between the band through the graphical user interface, in particular a luminance component It is open to the user the weights between bands as graininess configuration parameters.

しかし、この粒状性を制御するパラメータの他に、ノイズ除去率λの制御によるボケ具合(unsharpness)の設定や、ノイズ除去フィルタのノイズゆらぎ指標値σthの制御によるノイズ除去の強度(intensity)の設定をする必要がある。 However, the other parameters that control the granularity, setting of blurriness caused by the control of the noise removal rate λ (unsharpness), setting the intensity of the noise removal by the control of the noise fluctuation index value σth noise removal filter (intensity) there is a need to. これは、技術に詳しくない一般ユーザーにとっては3軸の制御を理解して最良の結果を得るには手間ひまの掛かる難しい状態となっていた。 This is for general users not familiar with the technology best results to understand the control of three axes had become difficult state consuming pains. そこで、本実施形態では、それらの画質への物理的効果を踏まえ、完全独立制御する必要性のないパラメータは他との連動制御することにより、容易に高画質のノイズ除去結果を得られるようにする。 Therefore, in the present embodiment, light of the physical effects on their quality, by completely independent control parameters without the need to the interlocking control with the other, readily so as to obtain a noise removal results in high quality to.

輝度成分の低周波サブバンドによるノイズ除去は、ぺったりと階調性を失った平面的な画像を生みノイズ除去の弊害が大きい。 Noise removal by the low-frequency subband of the luminance component, adverse effects of noise removal is large birth a planar image lost Pettari To gradation. 一方の輝度成分の高周波サブバンドによるノイズ除去はさらさらとした画像を生みノイズ除去の弊害が少ない。 Noise removal by the high-frequency sub-band of one of the luminance component is harmful noise removal is less birth to images with smooth. したがって、輝度成分への画質破壊が最も少ないのは低周波サブバンド・ノイズの重みを無くしたときであるが、このとき低周波サブバンドを用いないことによるノイズの抽出漏れが生じる。 Thus, although the smallest quality destruction to the luminance component is when eliminating the weight of the low-frequency subband noise, extraction failure of noise due to not using the low-frequency subband at this time is generated. 色差成分についても同様に、画質破壊が最も少ないのはある程度高周波サブバンド・ノイズの重みを小さくしたときであるが、このとき高周波サブバンド・ノイズの重みを下げたことによる突出状の色ノイズ残りが生じやすくなる。 Similarly for the chrominance components, but the image quality destruction smallest is when to some extent reduce the weight of the high-frequency sub-band noise, protruded color noise remaining due to the lowered weight at this time the high-frequency sub-band noise It is likely to occur.

これらのことを考え合わせれば、ノイズ除去率が小さいときは多少のノイズ抽出漏れがあろうとも画質破壊を無くすことを最重要視し、ノイズ除去率が大きいときは平面的になる画質破壊があろうともノイズの抽出漏れを無くすことを最重要視する設計にするのが最良の結果を生むと考えられる。 Taken together think of these, when noise removal rate is small also most important to eliminate the image quality destruction it would be some noise extraction failure, quality destruction there to be planar when noise removal rate is large funnel also is considered to produce the best results for the most important design to eliminate the extraction failure of noise. ここに、諸々のパラメータを一括して連動制御するための統括ノイズ除去率λjointを導入し、L/Hバンド間のノイズ成分の統合ウェイトを以下のように制御する(処理(1-16)(2-16)(3-16)(4-16)(5-16))。 Here, it introduced overall noise removal rate λjoint for interlocking control collectively various parameters, controlled in the following way the integration weights of the noise components between L / H bands (processing (1-16) ( 2-16) (3-16) (4-16) (5-16)). ただし、λjointの値は、通常0≦λjoint≦1に設定するのが普通であるが、後のノイズ除去率やエッジ強調率の汎関数化することを踏まえて、0≦λjoint≦8程度を目安とした上限値をとり、明確な上限値への制限を設けない。 However, the value of Ramudajoint is usually it is common to set the 0 ≦ λjoint ≦ 1, and given that the functionals of noise removal rate and edge enhancement rate after, measure the degree 0 ≦ λjoint ≦ 8 taking the upper limit value and not a limit to the clear upper limit.

λjointの設定は、パーソナルコンピュータ1のモニタ(不図示)に例えばスライドバーを有する設定画面を表示することにより行われる(処理(0-5))。 Setting λjoint is performed by displaying the setting screen in the personal computer 1 of the monitor (not shown) having, for example, slide bars (processing (0-5)). ユーザーは、キーボード(不図示)やマウス(不図示)を使用して設定画面のスライドバー中のカーソルを任意の位置に操作することによりλjointの値を設定する。 The user sets the value of λjoint by manipulating the cursor keyboard (not shown) or a mouse in the slide bar in the setting screen using the (not shown) at any position. これにより、ユーザは簡易に上記λjointのパラメータを設定することができる。 This allows the user to set the parameters of the λjoint easily. なお、カメラで処理する場合は、カメラがユーザに提供するノイズ除去の強さレベル「弱」「中」「強」などに合わせて、カメラメーカが事前に対応値を決めて設定するようにしてもよい。 In the case of processing by the camera, the camera in accordance with the example, "high" strength level "weak", "medium" in the noise removal to be provided to the user, the camera manufacturer as set determined in advance corresponding value it may be.

輝度成分の場合 If the luminance component

色差成分の場合 In the case of the color difference components
ただし、0≦k ni ≦1 (i=LL,LH,HL,LL)を満たすようにする。 However, 0 ≦ k ni ≦ 1 ( i = LL, LH, HL, LL) to satisfy the.

上記式は一例であって、このような取り方に留まらない。 The above equation is one example, and does not remain in such a take way. 通常、LLを低周波サブバンド、LH,HL,HHを高周波サブバンドとして扱っているが、LH,HLにも多少の低周波サブバンド特性があることを考慮して、例えば、輝度成分のLH,HLバンドも統括ノイズ除去率λjointに連動させて1に近い範囲で多少重みを下げられるようにしてもよい。 Usually, low-frequency sub-band LL, LH, HL, that is serving as a high-frequency subbands HH, LH, considering that there is some low-frequency sub-band characteristics even HL, for example, the luminance component LH even HL band in conjunction with the overall noise removal rate λjoint may be used somewhat lowered weight in the range close to 1.

9−2. 9-2. 解像度レベル間の重みの設定 通常、ショットノイズに起因するノイズ成分は低周波成分から高周波成分まで一様に分布するホワイト・ノイズであると考えてよいので、解像度レベル間のノイズ統合ウェイトは全て同じ値の1に設定する。 Setting weight between resolution levels typically the noise component due to the shot noise may be considered to be white noise distributed uniformly from the low frequency components to high frequency components, all noise synthesis weights between resolution levels are the same It is set to a value of 1. すなわち、下式となる。 In other words, the following equation.

9−3. 9-3. 実ノイズ成分の統合処理 上述のようなノイズ除去の効果とその弊害対策の両立に最適な周波数バンド間の重みがつけられたノイズ成分を下式のように統合する(処理(1-10)(2-10)(3-10)(4-10)(5-10))。 The effect of noise removal such as integration processing described above the actual noise component and noise component weight is assigned between optimal frequency band both of its adverse effect measures to integrate the following equation (processing (1-10) ( 2-10) (3-10) (4-10) (5-10)).

ただし、項目番号3の仮想ノイズ統合のときと同様に、下層から統合されてきたLLバンドのノイズ成分と元からLLバンドのノイズ抽出によって存在するノイズの2つのノイズ成分は加算することによって統合を行うものとする(処理(1-11)(2-11)(3-11)(4-11)(5-11))。 However, as in the case of virtual noise synthesis item number 3, the integration by the two noise components of the noise present by the noise extraction LL band from the noise component and the original LL band that has been integrated from the lower layer is to be added assumed to be performed (processing (1-11) (2-11) (3-11) (4-11) (5-11)). その他は逆ウェーブレット変換処理を行うことによって統合する。 Others integrate by performing an inverse wavelet transform process.

このようにして抽出されるノイズ成分は、輝度面と色差面の原画像の周波数の性質に合わせて周波数調合していることから、ノイズ抽出に最適な周波数投影空間を原画像の性質に合わせて変えているといってもよい。 Noise component extracted in this way, since it has a frequency formulated in accordance with the nature of the frequency of the original image of the luminance plane and the chrominance plane, the optimum frequency projection space to the noise extraction in accordance with the nature of the original image it may be said to have changed. 更に、ノイズ除去率に応じてもその周波数投影空間を変更していることに相当する。 Furthermore, according to the noise removal rate corresponds to the fact that by changing the frequency projection space.

10. 10. 実エッジ成分の統合 各サブバンドでノイズに埋もれるような微弱なエッジ成分を抽出し、その中に含まれるノイズ成分やリンギング成分がきれいに精錬されたエッジ成分を、今度は、実画像のノイズ被りによるコントラスト復元やノイズ除去の弊害対策を最も自然な印象を与え、エッジ強調によるエンハンスメント効果の高い周波数バンド間ウェイトをつけて統合する。 Extract the weak edge component as buried in noise integrated each subband of the real edge components, noise components and ringing component contained therein elegantly refined edge component, in turn, depends on fog noise of the actual image provide the most natural impression adverse effects measures contrast restoration and noise removal, to integrate with the weights between higher frequency bands enhancement effect by edge enhancement.

周波数バンド間の重みとしてはノイズ成分のときと同様に、低周波サブバンドと高周波サブバンドの間の重みke iと解像度レベル間の重みke jとがあり、各々を個別に与えて合成重みke ijを最終的なそのサブバンドのエッジ成分の統合ウェイトとする。 As in the case of noise components as a weight between frequency bands, there is a weight ke j between weight ke i and resolution levels between the low-frequency subband and the high-frequency sub-band, combining weight ke giving each individually ij is referred to as integrated weight of the final edge components of the sub-band. すなわち、式で表せば、 That is, if indicated by the formula,
となる。 To become. 図4の重みke ijは(重み(1-15)(2-15)(3-15)(4-15)(5-15))、低周波サブバンドと高周波サブバンドの間の重みke iと解像度レベル間の重みke jの2つが入っている。 FIG weight ke ij of 4 (weight (1-15) (2-15) (3-15) (4-15) (5-15)), the weight ke i between the low-frequency subband and the high-frequency sub-band and two weights ke j between resolution levels has entered.

10−1. 10-1. L/Hバンド間の重みの設定 本願発明者による国際公開第2007/114363号パンフレットと国際公開第2007/116543号パンフレットには特に周波数調合の仕方について記述はない。 L / H in particular describes how frequency formulated in the configuration inventor WO 2007/114363 pamphlet by the WO 2007/116543 pamphlet of weight between bands is not. しかし、本実施形態の冒頭の主観量と物理的効果の解明によると、最も自然な印象を与え、エンハンスメント効果の高い周波数調合の仕方は以下のような議論から組み立てることができる。 However, according to elucidate the subjective rating and physical effects at the beginning of the present embodiment provides the most natural impression, how high frequencies formulation of the enhancement effect can be assembled from the discussion as follows.

まず、ノイズ除去を伴わない、単なる高感度撮影の感度を上げていった場合のノイズゆらぎ振幅の増幅に伴うノイズ被りによって不鮮明になっている画像を復元する場合を考えよう。 First, without noise removal, consider the case of restoring the image being smeared by fog noise associated with amplification of the noise fluctuation amplitude when went up the sensitivity of the mere high-sensitivity shooting. この原画像は、何よりもまず、エッジ強調が全く行われていない間は、輝度成分のノイズの振幅幅によって白く霞んでしまった階調コントラストの復元も、ノイズに埋もれてしまったテキスチャの復元も、色差成分の色ノイズの被りによってくすんでしまった彩度の復元も、色ノイズの重畳によって生じた色境界の滲みボケの復元も、何もかもを最初は必要としている。 The original image, first and foremost, while the edge emphasis is not performed at all, even restoration of tone contrast had hazy white by the amplitude width of the noise of the luminance component, even restoring the texture which had buried in noise , saturation of restoration had dull by wearing the color noise of the chrominance components, nor restore bleeding blur of color boundaries caused by superposition of color noise, initially in need of everything. したがって、多重解像度空間で低周波サブバンドと高周波サブバンドの冗長な2つの周波数帯に分解し、各々から抽出したエッジ成分によるエッジ強調効果のすべてを必要としている。 Therefore, decomposed into redundant two frequency bands of the low-frequency subband and the high-frequency sub-band in a multi-resolution space, require all edge enhancement effect of the edge components extracted from each.

ところが、ある程度までエッジ強調率を上げていくと、これらの冗長な成分のうち、一部の成分が甚大な画像破壊をもたらすことが実験的に判明した。 However, when gradually increasing the edge enhancement rate to some extent, of these redundant components, that some of the components results in a profound destruction of the image has been found experimentally. すなわち、エッジ強調率を最大の100%に引き上げたとき、輝度面においては低周波側の統合エッジ成分によるコントラスト強調効果が異常に作用しすぎて主要な画像境界部に白く浮いたりするハローが生じ、色差面においては高周波側の統合エッジ成分による色境界の鮮明化の効果が作用しすぎて同様に主要な画像境界部に色づきが発生する。 That is, when pulling the edge enhancement rate up to 100%, halo or floating white major image boundaries too acts contrast enhancement effect is abnormal by integrating edge component of the low frequency side is generated in the luminance plane , coloring major image boundaries similarly excessively acts effect of sharpening color boundaries by integrating edge component of the high-frequency side is generated in the chrominance plane. これらの周波数帯域は輝度面と色差面のそれぞれにおいて極めて感受性の高く、扱い方に注意をしなければ壊滅的な画像の崩壊をもたらす側面をもつ。 These frequency bands has a side leading to collapse of the extremely sensitive high treats catastrophic unless attention to how images in each of the luminance plane and the chrominance plane.

他方、もう一方の共役な周波数帯の統合エッジ成分による画像復元効果は、エッジ強調率を強めても別段に不自然な画像破壊をもたらさない。 On the other hand, image restoration effect synthesized edge component of other conjugate band does not lead to otherwise unnatural image destruction even stronger edge enhancement rate. すなわち、輝度成分における高周波側の統合エッジ成分によるテキスチャ回復効果と色差成分における低周波側の統合エッジ成分による彩度強調効果は、エッジ強調率に対して線型に増大させても自然な画像復元効果を得ることができる。 In other words, the saturation enhancement effect by integrating edge component of the low frequency side in texture recovery effect and a color difference component by integrating edge component of the high-frequency side of the luminance component is linear in nature be increased image restoration effect on the edge enhancement rate it is possible to obtain. ただし、これらの自然なエッジ強調効果を得るには、各々の多重解像度サブバンド面におけるエッジ成分の大きさが、元のサブバンド面がもっているノイズ成分の大きさを超えてはならない。 However, to obtain these natural edge enhancement effect, the magnitude of the edge component in a multi-resolution subband plane of each must not exceed the size of the noise component based on the subband plane has. ノイズに埋もれる範囲内でエッジ成分を重畳しなければ、エッジ成分はリンギング、ハウリング、ハロー現象として視覚的に認知されるようになる。 If superimposing the edge component within buried in noise, the edge component is ringing, howling, to be visually recognized as a halo phenomenon. そのときの影響は多重解像度エッジ強調であるため極めて甚大となるので、エッジ成分の低周波と高周波のバンド間の周波数調合の仕方には極めて注意を要する。 The influence of this time is very great for a multi-resolution edge enhancement, it requires extremely careful way of frequency compounding between the low and high frequency band edge components.

ノイズ除去を伴う場合の画像復元についても全く同様なことが成り立つ。 Exactly the same thing holds for image restoration in the case with the noise removal. ノイズ除去を伴う場合には更にもう1つ注意しなければならない点がある。 There is a point to be noted one still further when accompanied by noise removal. それは、すなわち、自然なエッジ強調効果を得るには、それらのエッジ成分がノイズに埋もれる程度の振幅に収まっていなければならないのである。 It i.e., to obtain a natural edge enhancement effect is the their edge component must not fall amplitude degree buried in noise. しかし、ノイズ除去が加えられるとノイズのゆらぎの範囲が低下してくるので、エッジ強調において不自然な作用を及ぼす成分の視覚的な許容限度の範囲が、ノイズ除去を伴わない場合よりも狭まるということである。 However, since the noise removal is added in the range of the noise fluctuation coming decreases, the range of visual tolerance limits of the components on the unnatural effect in edge enhancement, that narrowed than without noise removal it is. したがって、エッジ強調率の増大に伴って悪影響を及ぼす敏感な周波数バンドは、エッジ強調率に応じて単調減少関数にする必要があるに留まらず、ノイズ除去率に応じても単調減少関数にする必要がある。 Thus, the edge adversely affect sensitive frequency bands with increasing emphasis rate not only the need to monotonically decreasing function according to the edge enhancement rate, it needs to be monotonically decreasing function also in accordance with the noise removal rate there is.

これらの事実を踏まえて、次のように制御すれば最も自然な印象を与えるエンハンスメント効果の高い画像が復元することが可能となる。 Based on these facts, it high image enhancement effect of the most natural impression is controlled as follows can be restored. すなわち、エッジ強調率が小さい間は、輝度成分ではコントラスト強調とテキスチャ回復の何れにも重点を置き、色差成分においてもカラフルネス回復と色境界コントラスト鮮鋭化の何れにも重点を置く必要がある。 That is, while the edge enhancement rate is small, the luminance component is placed either to be emphasis on contrast enhancement and texture recovery, it is necessary to put to both focus the colorfulness recovery and color boundaries contrast sharpening even the color difference component. 一方で、エッジ強調率が大きくなると、輝度成分ではコントラスト強調は程々にとどめ、テキスチャ回復に重点を移す。 On the other hand, when the edge enhancement ratio increases, the contrast enhancement is kept moderately in the luminance component, shift emphasis to texture recovery. 色差成分では色境界の鮮明化は程々にとどめ、カラフルネス・彩度の回復に重点を移す。 Sharpening color boundary in the color difference components is kept to a moderate, shift emphasis to the recovery of colorfulness and chroma. すなわち、エッジ強調率が大きくなると、ある周波数帯のエッジに掛ける係数を下げるように制御するエッジ強調率依存性を導入した。 That is, when the edge enhancement ratio increases, the introduction of edge enhancement rate dependent controlled to lower the coefficient to be applied to the edges of a certain frequency band.

また、ノイズ除去率の増大に伴って、エッジ成分を視覚的に自然な形で埋もれさせてくれるノイズ成分が減ってくるとその量に合わせて、比重を下げる必要のある側の周波数帯域は更に完全に消滅するまで減らすようにする必要がある。 Further, with an increase in the noise removal rate, the noise component make me buried in a visually natural way edge components come reduced in accordance with the amount, frequency band of a side of the need to lower the specific gravity further completely it is necessary to reduce to disappear. すなわち、エッジに掛ける係数の算出においてノイズ除去率依存性を導入した。 That is, the introduction of noise removal rate dependence in the calculation of the coefficients to be applied to the edge.

これらの関係を式で表せば、以下のようにL/Hバンド間のエッジ成分の統合ウェイトを以下のように制御することになる。 Expressed these relationships in the formula, it will be controlled as follows integration weights of the edge components between L / H bands as follows. ここに、統括エッジ強調率ζjointを導入する。 Here, introducing the overall edge enhancement rate Zetajoint. ζjointの値は、通常0≦ζjoint≦1に設定するのが普通であるが、後のエッジ強調率の汎関数化することを踏まえて、0≦ζjoint〜<8程度を目安とした上限値をとり、明確な上限値への制限を設けない。 The value of Zetajoint is usually it is common to set the 0 ≦ ζjoint ≦ 1, after the light of the fact that functional of edge enhancement factor, a 0 ≦ ζjoint~ <upper limit value as a guide to the extent 8 take, not a limit to the clear upper limit. 図4の処理で言えば、処理(1-17)(2-17)(3-17)(4-17)(5-17)が相当する。 In terms of the process of FIG. 4, the process (1-17) (2-17) (3-17) (4-17) (5-17) correspond.

ζjointの設定は、パーソナルコンピュータ1のモニタ(不図示)に例えばスライドバーを有する設定画面を表示することにより行われる(処理(0-6))。 Setting ζjoint is performed by displaying the setting screen in the personal computer 1 of the monitor (not shown) having, for example, slide bars (processing (0-6)). ユーザーは、キーボード(不図示)やマウス(不図示)を使用して設定画面のスライドバー中のカーソルを任意の位置に操作することによりζjointの値を設定する。 The user sets the value of ζjoint by manipulating the cursor keyboard (not shown) or a mouse in the slide bar in the setting screen using the (not shown) at any position. これにより、ユーザは簡易に上記ζjointのパラメータを設定することができる。 This allows the user to set the parameters of the ζjoint easily. なお、カメラで処理する場合は、カメラがユーザに提供する新たな多重解像度空間で行うエッジ強調の強さ設定レベル「弱」「中」「強」などに合わせて、カメラメーカが事前に対応値を決めて設定するようにしてもよい。 In the case of processing by the camera, the camera in accordance with the like intensity setting level "weak", "medium", "strong" edge enhancement carried out in the new multi-resolution space to be provided to the user, the camera manufacturer in advance corresponding value the may be set to decide.

輝度成分の場合 If the luminance component
色差成分の場合 In the case of the color difference components
なお、MIN(ζjoint,1)は、ζjointと1のどちらか小さい方の値を取るという意味である。 In addition, MIN (ζjoint, 1) is a means of taking the value of the smaller one of the ζjoint and 1.

これらは、0≦kei≦1(i=LL,LH,HL,HH)の条件を満たす。 These, 0 ≦ kei ≦ 1 (i = LL, LH, HL, HH) satisfies the condition. 上記式は一例であって、このような取り方に留まらない。 The above equation is one example, and does not remain in such a take way. 通常、LLを低周波サブバンド、LH,HL,HHを高周波サブバンドとして扱っているが、LH,HLにも多少の低周波サブバンド特性があることを考慮して、例えば、輝度成分のLH,HLバンドも統括エッジ強調率ζjointに連動させて1に近い範囲で多少重みを下げられるようにしてもよい。 Usually, low-frequency sub-band LL, LH, HL, that is serving as a high-frequency subbands HH, LH, considering that there is some low-frequency sub-band characteristics even HL, for example, the luminance component LH even HL band in conjunction with the overall edge enhancement rate ζjoint may be used somewhat lowered weight in the range close to 1.

次に、統括エッジ強調率ζjointが1から8程度の値をとる領域について、更に自然な印象を与える多重解像度エッジ強調効果を得るための周波数調合の仕方について考察する。 Next, a region supervising edge enhancement rate ζjoint takes a value of about 1 to 8, consider how the frequency compounding to obtain a multi-resolution edge enhancement effect of the more natural impression. 上記式はζjoint=0〜1の範囲で全く問題のない画像を与えるが、エッジ強調率が100%を超えてくると、本来許されているはずのノイズのゆらぎの許容範囲を超えてエッジ成分が強調され始める。 The above formula gives an image absolutely no problem in the range of ζjoint = 0~1, but when the edge enhancement rate coming exceeds 100%, the edge exceeds the allowable range of fluctuation supposed noises are allowed originally component There begins to be emphasized. すなわち、エッジ成分の強度はζjoint*ke ijの積の形で与えられることになるから、画像構造の崩壊をもたらす敏感な周波数帯域が、ζjoint=0〜1の領域では減速のかかった単調増加型関数であったのに対し、ζjoint=1〜8の領域で再度減速のかからない線型増加に転じてしまう。 That is, since so that the strength of the edge component is given in the form of a product of ζjoint * ke ij, sensitive frequency band resulting in collapse of the image structure, monotonically increasing type took the deceleration in the region of ζjoint = 0~1 while there was a function, thus it turned to linearly increase does not take the reduction again in the area of ​​ζjoint = 1~8. 例えば、輝度のLL成分を簡単のためλjointを省いた形で書き表すと、ζjoint=0〜1の区間は、 For example, when expressed by the form of omitting the λjoint for simplicity the LL component of the luminance, ζjoint = 0~1 section of,
ζjoint * (1-ζjoint/2)=-(1/2)(ζjoint-1) 2 +(1/2) ζjoint * (1-ζjoint / 2 ) = - (1/2) (ζjoint-1) 2 + (1/2)
となり、上に凸な、ζjoint=1で極大となる2次関数の減速型の単調増加関数となっている。 Next, a convex upward, and has a monotonically increasing function of decelerating the quadratic function becomes the maximum at ζjoint = 1. これに対し、ζjoint≧1ではζjoint/2で比例型に転じてしまう。 In contrast, thus it turned to proportional in ζjoint ≧ 1 In ζjoint / 2. なお、敏感な周波数帯域とは、ζjoint依存性を持たせたバンドであり、輝度成分で言えばLL成分、色差成分で言えばLH成分、HL成分、HH成分と言える。 Note that the sensitive frequency band, a band which gave ζjoint dependent, said LL component in terms of the luminance component, LH component in terms of the color difference components, HL component, and HH component.

これを防止するため、敏感な周波数帯域のエッジ強調率を掛けた後の寄与度が、ノイズのゆらぎの範囲に収まる最大許容度を与えるエッジ強調率100%時点の値で完全に止めてしまう機構を盛り込む。 To prevent this, the contribution after multiplying the edge emphasis rate sensitive frequency band, thereby completely stopping the maximum tolerance value of the edge emphasis 100% when giving to fit a range of noise fluctuation mechanism the incorporate. それに対し、ノイズのゆらぎの範囲を超えても自然なエッジ強調を実現できる周波数帯域は、エッジ強調率が100%を超えてもζjoint*ke ijの積の値が単調増加を許して、エッジ強調効果を提供するようにする。 In contrast, the frequency band that can achieve a natural edge enhancement even beyond the scope of fluctuations of noise, the value of the product of ζjoint * ke ij also edge enhancement ratio exceeds 100% is allowed monotonically increasing, edge enhancement so as to provide an effect. 以下に、最適式を提示する。 The following presents the optimal formula. なお、この場合もやはり、ノイズ除去が加わると許されるエッジ強調の範囲に制限が加えられることも考慮する。 Incidentally, Again, consider also be restricted to a range of edge enhancement permitted the noise removal is applied is added.

輝度成分の場合 If the luminance component
色差成分の場合 In the case of the color difference components

輝度成分について、LL成分は副バンドの低周波側と位置づけられ、コントラスト強調効果があるので(敏感な周波数帯域)、それによるハローが発生しないように許容限度の範囲で完全に封じ込んでいる(エッジ強調率が1のときの値にロックしている)。 For the luminance component, LL component is positioned as the low-frequency side of the sub-band, there is a contrast enhancement effect (sensitive frequency band), it by which is completely Fujikon a range of allowable limits so halo does not occur ( edge enhancement rate is locked to the value at 1). 一方のLH成分は通常は主バンドの高周波側と位置づけられるが、低周波側の副バンドの特性も一部で持っているので、エッジ強調率に対して線形に増大しないようにある程度抑制している。 One LH component is usually positioned between the high frequency side of the main band, because it has in some characteristics of the sub-band of the low-frequency side, and in some extent as not to increase linearly with edge enhancement rate there. これによってエッジ強調率が800%の領域で縦横の筋構造が発生するのを防止することができる。 This makes it possible to edge enhancement rate to prevent the vertical and horizontal streaks structure 800% of the area generated. 更に、HH成分は主バンドの高周波側に相当するが、LH成分の抑止機構と滑らかに接続して自然なテキスチャ回復を生み出すように、LH成分の抑止度を考慮したエッジ強調率に対する非線形な増大特性を持たせている。 Furthermore, although equivalent to the high frequency side of the HH component major band, to produce the natural texture recovery smoothly connected with suppression mechanism of the LH component, non-linear increase for the edge enhancement rate considering the suppression of the LH component You have to have a characteristic.

一方、色差成分については、主バンドであるLL成分も副バンドであるHH成分もその中間であるLH,HL成分も全てエッジ強調率100%時点における最大エッジ強調効果、すなわち、最大彩度強調と色コントラスト復元で完全に止めてしまう。 On the other hand, the color difference component, the main band LL component HH component are also sub-band is also intermediate LH, HL component also maximum edge enhancement in 100% when all the edge enhancement rate effects, i.e., maximum saturation enhancement and It would completely stop the color contrast restoration. これは、ノイズのゆらぎの範囲を超えてそれ以上の色差面の強調を行うと、画像の色相の変移が始まり、画像崩壊を導くからである(敏感な周波数帯域)。 This, when the enhancement of the chrominance planes range of more beyond the noise of the fluctuation, transition of the hue starts the image, because directing the image collapse (sensitive frequency bands).

このように実験的に導かれた最適な手法は、ノイズ除去におけるノイズ除去率に応じて最適な周波数投影空間が遷移していく様子と、エッジ強調におけるエッジ強調率に応じて最適な周波数投影空間が遷移していく様子は異ならせるのがよいということになる。 The optimal technique derived empirically as is the manner in which continue to transition optimum frequency projection space in accordance with the noise removal rate in the noise removal, the optimum frequency projection space in accordance with the edge enhancement rate in edge enhancement There it comes to good that state is varied going transition. ただし、それはノイズ除去率やエッジ強調率に対して、高周波サブバンドと低周波サブバンドのうち副バンドの役割をする側を単調増加させるか単調減少させるかの意味で違うというだけである。 However, it is only because the noise removal rate and edge enhancement factor, a different in some sense be either monotonically decreases monotonically increasing side on which the role of the sub-band of the high frequency subband and low frequency subband. ノイズ除去においてもエッジ強調においても、主バンドである輝度成分の高周波サブバンドと色差成分の低周波サブバンドは常に最大限に活用されている必要がある。 Also in even edge enhancement in noise reduction, the low-frequency subband of the high frequency sub-band and color difference component of the luminance component is the main band is always a need to be optimized. 副バンド側(前述した敏感な周波数帯域)は、画質破壊がないようにうまく調整して使う必要がある。 Vice-band side (sensitive frequency bands described above), it is necessary to use and well adjusted so that there is no image quality destruction.

なお、図4では、重みke ij(重み(1-15)(2-15)(3-15)(4-15)(5-15))は、エッジ強調率ζjointに依存するのみのような記載であるが、上述のようにノイズ除去率λjointにも依存しているため、ノイズ除去率λjointからも矢印があると考えればよい。 In FIG. 4, the weight ke ij (weight (1-15) (2-15) (3-15) (4-15) (5-15)), such as only depends on the edge enhancement rate ζjoint is a described, because they also depend on the noise removal rate Ramudajoint as described above may be considered that there is an arrow from the noise removal rate Ramudajoint.

10−2. 10-2. 解像度レベル間の重みの設定 ノイズ成分のときとは違って、解像度レベル間のエッジ統合ウェイトを全て同じ値の1に設定せずに、人間の視覚への影響を考慮した解像度レベル間の重みを設定する。 Unlike the case of setting the noise component of the weight between resolution levels, without setting an edge integration weights between resolution levels to 1 all of the same value, the weight between resolution levels in consideration of the influence of the human visual set to.

ノイズ除去を各解像度で均等にホワイト・ノイズとしてノイズ除去を行った画像を見た場合、その輪郭コントラスト等の低下によるノイズ除去の弊害の影響は各解像度が同程度に潰れたようには見えず、人間の視覚特性に最も被害を及ぼすように見えるのは中周波ないしはやや高周波よりの中周波成分である。 When viewed image subjected to uniformly noise removal as white noise noise removal in each resolution, the influence of the harmful effects of noise removal by reduction, such as its contour contrast not appear to have the resolution collapsed to the same extent , it seems to exert the most damage to human visual characteristics are frequency components in the more medium frequency or somewhat high frequency. これらの輪郭が失われると最も画像が持っていた情報の見た目の喪失感が大きい。 Sense of loss appearance of the information the contour had the most image when loss is large. したがって、ノイズ除去においてはこれらの中周波からやや高周波よりの成分のエッジ構造の保護に最大限の力を注ぐ必要がある。 Accordingly, in the noise removing the need to pour the maximum force on the protection of the edge structure of the components from a little high-frequency from frequencies of these.

一方、仮にエッジ強調を解像度レベル間で全て同じ値の1とした場合、低解像度側から拾ったエッジ成分の影響が及ぶ範囲は広大で、それだけハウリングやハローを生じさせる危険性が増す。 On the other hand, if the case where the edge enhancement was 1 for all the same value between resolution levels, a range of effect of edge components picked up from a low-resolution side spans is vast, increases the risk of causing much howling or halo. また、ナイキスト周波数レベルの最高解像度レベルのエッジ成分も多少、ノイズ成分と間違われやすい性質を持つ。 Moreover, the highest resolution level of the edge component of the Nyquist frequency level somewhat with property of easily mistaken for noise component. したがって、それらの成分は中周波数帯に比べて下げて用いるのが安全である。 Thus, the components are it is safe to use down in comparison with the middle frequency band. ゆえに、ノイズ除去において最大の防護を必要とする周波数帯とエッジ強調で最も多くの復元をしてよい周波数帯、すなわち、復元を必要とする周波数帯はぴったり一致する。 Therefore, the frequency band that requires maximum protection in the noise removing and may frequency band by the most restored in edge enhancement, i.e., the frequency band that requires restoration closely matches.

したがって、統合エッジ成分もそこに焦点を当てた解像度レベル間の重みを設定するのが、視感度特性の回復面からいっても望ましい。 Therefore, to set the weight between resolution levels focused there also synthesized edge component, even if the recovery surface of visibility characteristics desired. 最高解像度レベル側の高周波でやや強度が低く、中間周波数帯よりやや高周波よりの解像度レベルに最大強度を持ち、最低解像度レベル側の低周波でどんどん強度が低くなる特性を持った分布としては都合よくポアッソン分布がある。 Little strength is low at a high frequency of the highest resolution level side, has a maximum intensity slightly resolution level than the high frequency than the intermediate frequency band, conveniently as distribution with more and more strength is lower characteristics in a low frequency of the lowest resolution level side there is a Poisson distribution. ここでは、5段の多重解像度変換の段数に対し、ポアッソン分布の平均値μが真ん中より少し低周波側の2.0の解像度レベルを与えるような設定例を示す。 Here, with respect to the number of stages of the multi-resolution conversion five stages, showing a setting example such that the average value of the Poisson distribution μ gives little 2.0 resolution level of the low frequency side from the center. 全体の解像度レベルの中では40%の位置にポアッソン分布の平均値μを通常、設定する。 The it is in the overall resolution level average value of Poisson distribution 40% position μ usually set. すなわち、以下の式のようになる。 That is, as shown in the following equation.

具体的の数値は以下のようになる。 Specific value of is as follows. ただし、式上では明示的に書き表していないが、設定した分布強度の最大値で規格化処理を入れるようにしている。 However, although not explicitly Kakiarawashi is on formula, and to put the normalization process by the maximum value of the set distribution strength.
ピーク強度が一段目と2段目の間にあり、平均値の2.0段よりやや高周波解像度に寄っていることが分かる。 Is between the peak intensity of the first-stage and second-stage, it can be seen that by slightly higher frequency resolution than 2.0 stage of the mean.

次に、解像度間の重みについても同様にエッジ強調率が100%を超える場合についての対応方法について考察する。 Then, similarly edge enhancement rate for weight between resolution is considered countermeasures for the case of more than 100%. エッジ強調率が100%を超えてくると、低解像度側で拾ったエッジ成分によるハウリングやハローの危険性がますます増大してくる。 When the edge enhancement rate coming exceeds 100%, the risk of howling and halo by the edge component picked up by the low resolution side comes more and more increasing. それは中間解像度のエッジ成分についても同様のことが当てはまるようになる。 It is as true the same goes for the edge components of the intermediate resolution. したがって、高解像度側のエッジ成分だけが最も自然な形で画像崩壊をもたらすことなくエッジ強調を行うことができるようになる。 Therefore, it is possible to only edge components of the high resolution side performs edge enhancement without causing an image disintegration in the most natural way. これは、多重解像度によるエッジ強調効果、すなわちコントラスト強調、テキスチャ回復、彩度強調、色コントラスト回復の効果を漸近的に実空間における輝度面のみのエッジ強調処理にうまく接続しないと、画像崩壊を防止することができないことを意味している。 This is edge emphasis effect due to multi-resolution, i.e. contrast enhancement, anti texture recovery, saturation enhancement, if poorly connected to the edge enhancement processing of the luminance plane only in asymptotically real space color effects contrast recovery image collapse which means that you can not be.

このための制御方法としてポアッソン分布は極めて都合のよい特性を持っており、エッジ強調率が大きくなるに従い、ポアッソン分布の平均値を解像度レベルで1ないしは0に近づける操作をするだけで、その目的を実現できる。 Poisson distribution as a control method for this is to have a good characteristic extremely convenient, in accordance with the edge enhancement ratio increases, only the operation closer to 1 or 0 the mean value of the Poisson distribution at a resolution level, its purpose realizable. 以下にその実現式を記述する。 The following describes the realization expression. すなわち、ポアッソン分布の平均値の通常設定を最初に行い、エッジ強調率が100%を超える領域でその平均値が1に近づくような操作を行う。 That is, first performs a normal setting of the mean value of the Poisson distribution, the average value in the region where the edge enhancement ratio exceeds 100% to perform an operation, such as close to 1. 現在、扱っている多重解像度の段数がM段であるとすると、以下の式より平均値μを求めるようにする。 Currently, the number of stages of dealing multi resolution When a M-stage, so that the average value μ from the following equation. なお、以下の式はエッジ強調率が100%以下の場合にもあてはまる式である。 Incidentally, the following expression is an expression edge enhancement rate applies in the case of 100% or less.

エッジ強調率が100%を超えて極めて大きくなった場合の極限状態における、解像度間の重みの分布状態は以下のように高解像度側に変化することになる。 In extreme conditions when the edge enhancement rate becomes extremely large exceeds 100%, the distribution of weight between the resolution will be changed to the high resolution side as follows. M=5段の場合の例である。 It is an example of a case of M = 5 stages. ここでも、エッジ強調率が大きくなった場合にのみ限らず、ノイズ除去率が大きくなったときも相対的にエッジ成分がノイズゆらぎ幅に比べて大きく見えてしまうことを考慮している。 Again, not limited to the case where the edge enhancement rate is increased, even relatively edge component when the noise removal rate is increased is taken into account that would look larger than the noise fluctuation width.

以上のように、エッジ強調率が100%を超えるような場合、解像度間の重みの分布状態、すなわち解像度間の重みの重心位置を、エッジ強調率の大きさに応じて高解像度側に変化するようにしている。 As described above, when the edge enhancement ratio exceeding 100%, the distribution of weight between the resolution, i.e. the center of gravity of the weight between the resolution is changed to the high resolution side in accordance with the magnitude of the edge enhancement rate It is way. こうして、エッジ強調率が800%になっても自然なエッジ強調をすることができるようになり、画像の崩壊をもたらさない。 Thus, even if the edge enhancement rate becomes 800% will be able to natural edge enhancement, it does not result in collapse of the image.

ここで、通常の実空間におけるアンシャープマスクによるエッジ強調処理と本実施形態に述べている多重解像度エッジ強調処理との違いについて指摘しておく。 Here, it is noted the differences between multi-resolution edge enhancement processing are described edge enhancement processing and the embodiment according to the unsharp mask in conventional real space. 通常のアンシャープマス処理によるエッジ強調は、低周波サブバンドに位置づけられる実空間のLL0の解像度で、原画像と7x7程度の平滑化画像との間の差分による高周波成分をとり、コアリング成分はノイズ成分として除外した後にハウリング、リンギング成分を主に抽出して、それらを強調スケーリングした後に原画像、ないしは平滑化画像に加える。 Edge enhancement by conventional unsharp mass processing, in real space LL0 resolution positioned on the low frequency sub-band, taking the high frequency components by the difference between the original image and the 7x7 degree of smoothing image, coring component howling after excluding as a noise component, the ringing component mainly extracted, added them to the original image after emphasis scaling, or the smoothed image. すなわち、アンシャープマスクは、抽出したエッジ成分のうち、ノイズに埋もれる程度のエッジ成分はベースクリップ処理で排除してしまい、ある程度リンギングやハウリングを前提とした強度の強いエッジ成分を抽出しているだけである。 That is, unsharp mask, among the extracted edge component, edge components to the extent that buried in noise base clipping processing will be eliminated, the only extract a strong edge component of strength was somewhat premise ringing or howling it is.

これに対し、多重解像度によるエッジ強調は、基本的にノイズのゆらぎ程度に相当するコアリング成分を抽出し、ハウリング、リンギング成分は除外するとともに、その扱う周波数帯が、輝度面では最終的にエッジ強調率が上がってくると高周波サブバンドを主体とする点において、通常のアンシャープマスク処理によるエッジ強調と機能と役割は随分と異なっている。 In contrast, edge enhancement by multiresolution extracts coring component corresponding to approximately basically noise fluctuation, howling, together with the ringing component is excluded, the frequency band to be handled, that finally the edge in the luminance plane When the emphasis rate comes up in that mainly the high-frequency sub-bands, function and role and edge enhancement by normal unsharp mask processing is different to much. すなわち、多重解像度によるエッジ強調は、ノイズに埋もれる程度のエッジ成分だけを抽出することを前提としており、ノイズと同程度の強度のエッジ成分をノイズからうまく選別して取り出している。 That is, the edge enhancement by multiresolution is to extract only the degree of the edge components buried in noise is assumed, it is taken out by well sorted noise about the same strength edge component from the noise. それによって、ノイズ増幅を伴わずに、かつ多重解像度で扱うことによって大きな画像改善の効果を得ることになる。 Thereby, without the noise amplification, and thus to obtain the effect of significant image enhancement by treating with multiresolution. ここではノイズに埋もれる程度のわずかなゆらぎのエッジ成分が重要な役割を果たしている。 Here the edge components of small fluctuations in the degree buried in noise plays an important role.

したがって、多重解像度エッジ強調によるコントラスト、テキスチャ、彩度、色コントラスト回復機能と、アンシャープマスクによるエッジ強調とは独立な機能であるため、並列に両者を同時使用しても全く問題ない。 Accordingly, a contrast, texture, color saturation, color contrast recovery due to the multi-resolution edge enhancement, since the edge enhancement by unsharp masking is an independent function, there is no problem even if simultaneous use of both in parallel.

10−3. 10-3. 実エッジ成分の統合処理 上述のような自然な印象のエッジ強調効果を得るのに最適な周波数バンド間の重みがつけられたエッジ成分を下式のように統合する(処理(1-12)(2-12)(3-12)(4-12)(5-12))。 The edge component weight is assigned between optimal frequency band to obtain an edge enhancement effect of natural impression as integration processing described above the real edge components to integrate the following equation (processing (1-12) ( 2-12) (3-12) (4-12) (5-12)).

ただし、項目番号9の実ノイズ統合のときと同様に、下層から統合されてきたLLバンドのエッジ成分と元からLLバンドのエッジ抽出によって存在するエッジの2つのエッジ成分は加算することによって統合を行うものとする(処理(1-13)(2-13)(3-13)(4-13)(5-13))。 However, as in the case of the actual noise synthesis of item number 9, the integration by the two edge component of an existing edge the LL band edge extraction from the edge components and the original LL band that has been integrated from the lower layer is to be added assumed to be performed (processing (1-13) (2-13) (3-13) (4-13) (5-13)). その他は逆ウェーブレット変換処理を行うことによって統合する。 Others integrate by performing an inverse wavelet transform process.

このようにして抽出されるエッジ成分は、輝度面と色差面の原画像の周波数の性質に合わせて周波数調合していることから、エッジ強調によるコントラスト復元に最適な周波数投影空間を原画像の性質に合わせて変えているといってもよい。 Edge components extracted in this way, since it has a frequency formulated in accordance with the nature of the frequency of the original image of the luminance plane and the chrominance planes, the nature of the optimum frequency the projection space original image contrast restoration by edge enhancement it may be said to have changed in accordance with the. また、更にエッジ強調率やノイズ除去率に応じても周波数投影空間を変更していることに相当する。 Moreover, further also in accordance with the edge enhancement rate and noise removal rate corresponds to the fact that by changing the frequency projection space.

11. 11. 統合ノイズ成分の自己精錬 次に統合ノイズ成分に対してもう一度項目番号5と同じ考え方に基づき、次式によりノイズ成分の自己精錬を行う(処理(0-1))。 Based on the same idea as the item number 5 again against self refining then integrated noise component of the integrated noise component, a self refining noise component by the following equation (processing (0-1)). すなわち、最終的に実解像度と同じレベルまで統合されてきたノイズ成分が、再度その分布形状が仮説に基づいて、均等色・均等ノイズ空間における理想的なノイズ分布であるガウス分布をしているか2重に検証を行うのである。 I.e., ultimately the noise components that have been integrated to the same level as the actual resolution, based on the shape of distribution is hypothesized again, it has a Gaussian distribution which is ideal noise distribution in the uniform color, uniform noise space 2 it is to carry out the verification heavy.

統合ノイズ成分に対するノイズの自己精錬には2重検証の意味以外にもう一つ重要な意味がある。 Self refining of noise on the integrated noise component has another important besides meaning double verification. それは、ノイズ成分を完全系に対して冗長な2つの低周波サブバンド群と高周波サブバンド群とからなる周波数投影空間で抽出しているので、各々のサブバンドで抽出されたノイズ成分がガウス分布していても、統合後の周波数冗長性をもつノイズ成分が再度ガウス分布するか保証がないからである。 It so noise components are extracted in the frequency projection space of the redundant two low-frequency subband group and the high frequency sub-band groups on the complete system, the noise component is a Gaussian distribution extracted in each subband it is in, because there is no guarantee that Gaussian re noise component having a frequency redundancy after integration. したがって、もう一度理想ノイズ分布の仮説に基づいてガウス分布形状に近づけることには非常に意味がある。 Therefore, there is a very meaning is to be close to the Gaussian distribution shape on the basis of the hypothesis of again ideal noise distribution.

ここに、σN thの値は項目番号5と同じ考え方に基づき、実空間のノイズゆらぎ指標値σth の値の6倍に設定するとよい。 Here, the value of .sigma.N th is based on the same idea to the numbers 5, it may be set to 6 times the value of the noise fluctuation index value σth in the real space. すなわち、ノイズゆらぎ指標値に対してシックス・シグマを超える統計的に100%ノイズとは考えられないノイズ成分を排除する。 In other words, eliminating the noise component not considered statistically 100% noise exceeding six sigma to noise fluctuation index value.

12. 12. 統合エッジ成分の自己精錬 統合エッジ成分に対しても、もう一度項目番号6と同じ考え方に基づき、次式によりエッジ成分の自己精錬を行う(処理(0-2))。 Even for self-refining synthesized edge component of integrated edge component, based on the same idea as item number 6 again, a self refining edge components by the following equation (processing (0-2)). すなわち、最終的に実解像度と同じレベルまで統合されてきたエッジ成分が、再度その分布形状が仮説に基づいて、均等色・均等ノイズ空間における理想的なエッジ分布であるガウス分布をしているか2重に検証を行うのである。 I.e., the final edge components have been integrated to the same level as the actual resolution, based on the shape of distribution is hypothesized again, it has a Gaussian distribution which is ideal edge distribution in the uniform color, uniform noise space 2 it is to carry out the verification heavy.

統合エッジ成分に対するエッジの自己精錬には2重検証の意味以外にもう一つ重要な意味が項目番号11と同じ理由である。 The edge of the self-refining for integrating edge component Another important besides meaning double verification is the same reason as item number 11. それは、エッジ成分も完全系に対して冗長な2つの低周波サブバンド群と高周波サブバンド群とからなる周波数投影空間で抽出しているので、各々のサブバンドで抽出されたエッジ成分がガウス分布していても、統合後の周波数冗長性をもつエッジ成分が再度ガウス分布するか保証がないからである。 It therefore edge component is also extracted by the frequency projection space of the redundant two low-frequency subband group and the high frequency sub-band groups on the complete system, the edge component is a Gaussian distribution extracted in each subband it is in, because there is no guarantee that Gaussian again edge component with a frequency redundancy after integration. したがって、もう一度理想エッジ分布の仮説に基づいてガウス分布形状に近づけることには非常に意味がある。 Therefore, there is a very meaningful to be closer to a Gaussian distribution shape on the basis of the hypothesis again ideal edge distribution.

ここに、σE thの値は項目番号6と同じ考え方に基づき、実空間のノイズゆらぎ指標値σth の値と同じ値に設定するのがよい。 Here, the value of? En th is based on the same idea as item number 6, may be set to the same value as the value of the noise fluctuation index value σth in the real space. そうすることによってリンギング成分を排除するとともに、ノイズ除去フィルタで区別できないためにノイズ除去によって消失してしまうと予測される微弱エッジ成分を、ここで同じ量だけ再度復活して抽出することが可能になる。 While eliminating the ringing component by doing so, the weak edge component that is expected to disappear by the noise removal can not be distinguished from the noise removal filter, where it is possible to extract revived same amount again in Become.

13. 13. 統合エッジによる統合ノイズ成分の精錬(相互精錬3) Refining integration noise component by integrating edge (cross Refining 3)
統合ノイズ成分に対してもう一度項目番号7と同じ考え方に基づき、次式によりノイズ成分の統合エッジ成分による相互精錬を行う(処理(0-3))。 Based on the same idea to the numbers 7 again to the integrated noise component performs mutual refining by integrating edge component of the noise components by the following equation (processing (0-3)). これは、近隣でエッジ強度(絶対値)の強い領域ではノイズ成分の中にエッジ成分が混入している確率が高いというモデルを、もう一度複数の解像度レベルの相関を多重的に加味した統合エッジ成分を観測することによって、単一の解像度で観測したエッジ成分だけでは見出しえなかった、近隣のエッジ状況というものを周波数の視点を変えて検証することにある。 This integrated edge component in the high region edge intensity (absolute value) is close to a model in a high probability of an edge component is mixed in the noise component, in consideration again multiple correlation resolution level multiplexed manner by observing, only the edge component observed by a single resolution could not have found, certain ones of neighboring edge situation to validate changing the perspective of frequency. すなわち、 That is,

ここに、σNE thの値は、項目番号7と同様の考え方に基づき、実空間のゆらぎ指標値σth の値の6倍に設定するとよい。 Here, the value of [sigma] NE th is based on the same concept to the numbers 7, it may be set to 6 times the value of the fluctuation index value σth in the real space. すなわち、ノイズゆらぎ指標値に対してシックス・シグマを超える統計的に100%エッジといえる領域でノイズ成分に誤って含まれやすいエッジ成分を排除する。 That eliminates the statistically included accidentally in the noise component in the region said to 100% edge tends edge component more than six sigma to noise fluctuation index value. また、同じガウス分布による相互混入モデルを用いているので、この相互精錬によって理想のノイズ・モデルの形が崩されることもなく、より理想形に近づく。 Moreover, because of the use of cross-contamination model with the same Gaussian distribution, without the shape of the ideal noise model it is disturbed by the cross-refining, closer to the ideal form.

14. 14. 統合ノイズによる統合エッジ成分の精錬(相互精錬4) Refining synthesized edge component by integrating the noise (cross Refining 4)
統合エッジ成分に対しても、もう一度項目番号8と同じ考え方に基づき、次式によりエッジ成分の統合ノイズ成分による相互精錬を行う(処理(0-4))。 Also to the integrated edge component, based on the same idea to the numbers 8 again performs mutual refining by integrating the noise component of the edge components by the following equation (processing (0-4)). これは、近隣でノイズ強度(絶対値)の強い領域ではエッジ成分の中にノイズ成分が混入している確率が高いというモデルを、もう一度複数の解像度レベルの相関を多重的に加味した統合ノイズ成分を観測することによって、単一の解像度で観測したノイズ成分だけでは見出しえなかった、近隣のノイズ成分の分布状況というものを周波数の視点を変えて検証することにある。 This integrated noise component is a strong area of ​​noise intensity (absolute value) close to a model in a high probability of noise components in the edge component are mixed, in consideration again multiple correlation resolution level multiplexed manner by observing, only the noise component observed by a single resolution could not have found, certain ones of distribution points of the noise component to be verified by changing the point of view of frequency.

ここに、σEN thの値は、項目番号8と同様の考え方に基づき、実空間のゆらぎ指標値σth の値と同じ値に設定するのがよい。 Here, the value of ShigumaEN th is based on the same concept to the numbers 8, it may be set to the same value as the value of the fluctuation index value σth in the real space. そうすることによって、エッジ成分の中に含まれた抽出ノイズ成分でも観測されているはずのノイズ成分を除外することができる。 By doing so, it is possible to exclude a noise component which should be observed in extracts noise components included in the edge component. また、同じガウス分布による相互混入モデルを用いているので、この相互精錬によって理想のエッジ・モデルの形が崩されることもなく、より理想形に近づく。 Moreover, because of the use of cross-contamination model with the same Gaussian distribution, without the shape of the ideal edge model it is disturbed by the cross-refining, closer to the ideal form.

なお、項目番号8で記載した言い換えの表現は、本統合ノイズによる統合エッジ成分の精錬においても同様に言える。 Incidentally, the expression paraphrasing described in item number 8, it can be said as well in refining the synthesized edge component according to the integrated noise.

15. 15. 仮想ノイズ除去輝度面の生成 次の項目番号16で用いるノイズのない参照輝度面を得るために、実ノイズ統合されたノイズ成分を100%用いて、一時的な仮想ノイズ除去輝度面を生成する。 To obtain a reference luminance plane noiseless used in virtual noise removal luminance plane generation following item number 16, the actual noise synthesized noise component with 100%, to produce a temporary virtual noise removal luminance plane.

ただし、場合によってはこの処理を飛ばして、ノイズ除去されていない原画像の輝度面L^(x)(上記式の右辺の第1項)で代用してもよい。 However, in some cases skip this process may be substituted in the luminance plane of the original image which is not noise removal L ^ (x) (the first term on the right side of the equation).

16. 16. 実際のノイズ除去処理と実際のエッジ強調処理 実施の形態冒頭の基本的な考えの説明でも述べたように、このようにしてノイズ成分とエッジ成分の自己及び相互精錬を多重に繰り返してきたにもかかわらず、排除し切れない相互混入成分が存在する。 As mentioned in the actual basic idea of ​​the actual beginning form of edge enhancement processing performed as the noise removal process described, also the self and mutual refining noise component and an edge component in this way to have repeated a multiple regardless, cross contamination components are present which can not be eliminated. それらによるノイズ除去処理とエッジ強調処理への弊害を最小化し、ノイズ除去とエッジ強調の効果を最大化するには、弊害と効果を事前に予測した工夫をノイズ除去率とエッジ強調率に導入する余地が残されている。 Minimizing adverse effects thereof to by the noise removal processing and edge enhancement processing, to maximize the effect of the noise removal and edge enhancement introduces devised predicted adverse effects and effects in advance noise removal rate and edge enhancement rate room is left.

これまでの処理でノイズ成分とエッジ成分は均等色・均等ノイズ空間で抽出してきており、画像全面に渡って一様なノイズ除去率λと一様なエッジ強調率ζでノイズ除去とエッジ強調を行うと、均等色・均等ノイズ空間では全ての明るさレベルの階調に渡って一様にノイズ除去効果とエッジ強調効果が得られるはずである。 This noise component and the edge component in the process up has been extracted with a uniform color, uniform noise space, noise removal and edge enhancement in uniform noise removal rate and λ uniform edge enhancement rate ζ over the entire image performed when, should uniformly noise removal effect and the edge emphasis effect can be obtained over the gray level of all the brightness levels in the uniform color-uniform noise space. しかし、一旦作業用色空間から出力色空間へ変換したとき、その階調特性の違いから出力空間でみた画像では、ある部分のノイズ除去効果とエッジ強調効果が実質的に弱まり、またそれらの弊害がある部分では強調されて現れてくる可能性がある。 However, once when converted from the working color space to output color space, an image viewed by the output space due to the difference in the gradation characteristic is weakened noise removal effect and the edge enhancement effect of an element is substantially and their harmful effects in a portion where there is likely to emerge it is highlighted.

これらの効果と弊害の増減幅の見えは、主として出力色空間の階調特性と作業用色空間の階調特性の微分比率で効いてくると考えられる。 Appearance of varying width of these effects and adverse effects is considered to come into play primarily differential ratio of the gradation characteristics of the gradation characteristics and work color space of the output color space. そこでこの出力色空間の階調特性γと作業用色空間の階調特性Γの微分比率で表された明るさに対するコントラスト比関数を以下のように定義する。 Therefore to define the contrast ratio function for the represented brightness with a differential ratio of the gradation characteristic Γ tone characteristic γ and work color space of the output color space as follows. ここに、Yは線形階調特性を表す。 Here, Y represents a linear gradation characteristic. 項目番号1で定義されたXYZ空間のYと同じである。 Is the same as Y in the defined XYZ space by the item number 1.
基準コントラスト比関数 Standard contrast ratio function

実際の例では、分子の出力色空間のガンマ曲線γ(Y)は図7(a)のAあるいはBのような曲線で表され、分母の作業用色空間のガンマ曲線Γ(Y)は図7(a)のCに描かれたような曲線で表され、Γ(Y)は項目番号1の関数f(t)の定義と同一である。 In a real example, gamma curves of the output color space of the molecule gamma (Y) is represented by a curve such as A or B in FIG. 7 (a), the gamma curve gamma (Y) Fig working color space denominator represented by a curve as depicted in C of 7 (a), Γ (Y) are the same as defined in the item number 1 of the function f (t). また、輝度面の明るさのみをコントラスト比関数の引数として参照するので、原画像の明るさS(x,y)は項目番号1で変換されたL^(x,y)を参照することと同じである。 Further, since the only reference brightness of the luminance plane as the argument of the contrast ratio function, the brightness S (x, y) of the original image is a reference to the ^ L is converted by the item number 1 (x, y) it is the same.

図7(b)の曲線群は、コントラスト比関数の2番目に書かれた式をγとしてAとBの曲線に選んだ場合の様子を示した図であり、一本の直線は、コントラスト比関数の2番目に書かれた式をγとしてCの曲線に選んだ場合の様子を示した図である。 Curves shown in FIG. 7 (b) is a diagram showing a case in which chosen curves A and B of equation written in the second as γ contrast ratio function, a single straight line, the contrast ratio the written in the second function formula is a diagram showing a case chosen to C of the curve as gamma. したがって、実際のコントラスト比関数の1番目と3番目に書かれた式の曲線は横軸を線形階調YからΓ(Y)を通したスケーリングで描けばよい。 Thus, the expression of the curve written on the first and third of the actual contrast ratio function may draw a horizontal axis scaling through the gamma (Y) from the linear gradation Y. すなわち、横軸がΓ(Y)の場合は、横軸の暗い部分は引き伸ばされ、明るい部分は縮められたような図となる。 That is, when the horizontal axis Γ of (Y), a dark portion of the horizontal axis is stretched, bright portion becomes FIG as contracted.

16−1. 16-1. ノイズ除去率のコントラスト比関数による汎関数表現(処理(0-7)) Functional expression by the contrast ratio function of noise removal rate (processing (0-7))
1)汎関数表現1(ガンマ版) 1) functional representation 1 (gamma version)
ノイズ除去率の汎関数表現は、作業用色空間で一様なノイズ除去をしたのと同程度の見栄えを保持しつつ、出力色空間におけるノイズ除去効果が全ての明るさで均質化されることを第一の目標とする。 Functional representation of the noise removal rate, while maintaining the appearance comparable to that uniform noise removal in the work color space, the noise elimination effect in the output color space is homogenized at all brightness It is referred to as a primary goal. そうすることによって、ある明るさレベルの階調コントラストが出力色空間の方が立った領域のノイズ増幅感というのは抑えられ、また階調コントラストが出力色空間の方が寝ている特定領域だけのノイズ減幅作用による不均一感というのは抑えられる。 By doing so, certain gray scale contrast in brightness level is that noise amplification feeling of regions it is standing in the output color space is suppressed, and only a specific area where the gradation contrast is sleeping better output color space of suppressed because uneven feeling due to the noise decrease width effect.

このとき、ノイズ除去率を出力ガンマ特性に合わせて増減幅する際の、増減幅の基準点の設定をどこに選択するかという問題が重要になる。 In this case, when varying width combined noise removal rate in the output gamma characteristics, a problem that where to select the setting of the reference point of the varying width is important. 輝度成分の場合、それは出力色空間で平均輝度レベル(256階調では128前後)になることを目標として設計される露出基準点にとるのがよい。 For the luminance component, it is better to take the exposure reference point, which is designed as a target to be a (128 back and forth in 256 gradations) the average luminance level in the output color space. これは通常、線形階調で18%グレーと呼ばれるISO規格のグレーチャート基準被写体の明るさレベルに相当する。 This usually corresponds to the brightness level of the gray chart reference subject of ISO standard called the 18% gray with a linear gradation. そうすると出力色空間での輝度成分のノイズ除去の見えは、明るさ全体で平均的に一定に保たれたように見えるようになる。 Then appearance of the noise removal of the luminance component of the output color space will look like kept at an average constant throughout brightness. したがって、出力色空間への階調変換によってノイズ増幅する恐れのあった暗い部分の領域のノイズ被りによるコントラスト低下を防止し、クリアなノイズ除去結果を得ることができる。 Accordingly, to prevent contrast reduction due to suffer noise region of the dark portion for which the risk of noise amplified by the tone conversion to the output color space, it is possible to obtain results clear noise removal.

一方、色差成分は輝度成分より一般的に強い目のノイズ除去を必要とするため、輝度成分のようにダイナミックにノイズ除去率を操作することはできず、ノイズ除去効果を落とさずにコントラスト保持できる部分のノイズ除去を緩める形をとる。 On the other hand, the color difference components is to generally require a strong eye noise removal from the luminance component, it is not possible to manipulate the dynamic noise removal rate as the luminance component, you can contrast maintaining without reducing noise removal effect It takes the form of loosening the noise removal portion. 具体的には出力ガンマ特性がニー特性になる領域の飽和基準点で規格化を行なう。 Specifically it does normalized by the saturation reference point in the region where the output gamma characteristics becomes knee characteristic. 飽和基準点として例えば出力階調特性が256階調に対して180〜220程度になる点を選択する。 For example, the output gradation characteristics as the saturation reference point to select a point which is about 180 to 220 with respect to 256 gradations. するとハイライト部の色差面ノイズ除去率を弱めることになり、ハイライト部は一般に色差面では高彩度部に対応するので、高彩度部の色抜けを防止し、色再現性の高い色斑ノイズ除去効果を生む。 Then it will be weakened chrominance plane noise removal rate of a highlight portion, since the highlight portion is generally the chrominance plane corresponding to the high saturation portions to prevent color loss of high-saturation portion, high color reproducibility color mottling noise removal effect the produce. また、輝度成分の暗部ノイズ除去効果と相まって、暗部のノイズ被りや色斑かぶりが完全に消えて、原画像よりも曇りの抜けた透明感を生み出す。 Moreover, coupled with dark portion noise removal effect of the luminance component, dark noise fogging or color mottling head disappears completely, produce a missing clarity cloudy than the original image.

これらを実現するノイズ除去率のコントラスト比関数による汎関数表現は以下の式で表される。 Functional expression by the contrast ratio function of noise removal rate to achieve these is represented by the following equation. 輝度成分の場合、上記露出基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。 For the luminance component, standardization is performed by substituting the contrast ratio based on the exposure reference point in the denominator of the equation. また、色差成分の場合、上記飽和基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。 Also, in the case of the color difference components, standardization is performed by substituting the contrast ratio based on the saturation reference point in the denominator of the equation.

輝度成分の場合 If the luminance component
色差成分の場合 In the case of the color difference components
ここで色差成分については、色相が変化してしまうことを防止するために、以下の式で示すようにクリッピング処理を入れる。 Here, the color difference component, in order to prevent the hue is changed, add a clipping process, as shown by the following equation.
ζ(→x) = MIN(ζ(→x),1.0) ζ (→ x) = MIN (ζ (→ x), 1.0)

2)汎関数表現2(レチネックス版) 2) functional representation 2 (Retinex version)
ノイズ除去率の汎関数表現は、もう一つ別の視点から作ることができる。 Functional representation of the noise removal rate, can be made from another different point of view. すなわち、汎関数表現1では画像全体の明るさレベルの間でノイズ除去効果が均質化されることを目標としたのに対し、ここでは局所的なエッジ構造近傍の範囲内で明るさレベル間のノイズ除去効果が均質化されることを目標とする。 That is, the pan in the functional representation 1 between brightness levels of the whole image while with the goal that the noise removal effect is homogenized, where between brightness levels within the vicinity of local edge structure the goal is the noise removal effect is homogenized. これは、画像構造を決める重要な部分はエッジ近傍に集中しており、その周りさえノイズ除去効果が明るさに対して均質化されていれば画像全体としてのノイズ除去効果は非一様であってもその均質化作用が持つもう一つ別な側面を局所的な領域に対して最大限発揮しうる、という考えに基づく。 This is an important part that determines the image structure is concentrated near the edges, around it even noise eliminating effect of the whole image if it is homogenized with respect to the noise removal effect is brightness a non-uniform It can maximize another specific aspect with its homogenizing action against local region, based on the idea that.

すなわち、ノイズ除去効果の均質化にはもう一つ、ノイズ成分から分離し切れなかったエッジ成分によるエッジ構造破壊の弊害を明るさレベル間で均質化することにより、その弊害の見えの強いところの存在に伴って全体的な印象を悪くしてしまう不均一さの視覚的な欠点を減らして、弊害の見えを平均的に最小化するという意味がある。 That is, the other is the homogenization of noise suppression, by homogenization between brightness levels harmful effects edge structure destruction by the edge component that could not be separated from the noise component, where strong appearance of the adverse effect reduce the visual defect of the non-uniformity which results in poor overall impression with the present, there is a sense that the average minimize appearance of adverse effects. したがって、エッジ近傍で重点的にこのノイズ除去の弊害対策を実施すれば、効果的に画像の重要な構造情報を保存することができる。 Therefore, it is possible to be carried adverse effects measures mainly the noise removal near the edges, to save important structural information effectively image.

この場合も、一般的な階調特性をもつ出力色空間に対しては、明るいところで作業用色空間の階調コントラストの方が高いことに伴ってその領域に混入するエッジ成分のコントラストも強くなりやすく、その領域で弊害が起きやすい。 Again, for the output color space having a common gradation characteristic becomes stronger contrast edge component to be mixed into the area with that higher in tone contrast of the work color space in bright places easy, it is likely to occur adverse effect in that area. 輝度成分の場合は白い画像領域面内の構造情報が消失しやすく、色差成分の場合は高彩度部の色情報を失いやすい。 Easily structural information white image region surface is lost when the luminance component, in the case of the color difference component tends to lose color information of high chroma portion.

したがって、以下のような式によってノイズ除去率をコントラスト比関数の汎関数表現するとよい。 Thus, the noise removal rate may be functional representation of the contrast ratio function by the following formula. このとき参照するエッジ情報としては、画像構造を局所的にも大局的にもあらゆるスケールで観測する多重解像度統合エッジ成分を用いるのが最適である。 The edge information referencing this time, the image structure to use a multi-resolution synthesized edge component observed at any scale locally even global optimal. また、ノイズ成分やリンギング成分がしっかりと除外されて視覚的に重要な周波数帯域が加味された統合エッジ成分Ew"(x,y)を用いるのが最もよい。 The noise component and ringing component is firmly excluded visually important frequency band is taken into account integrated edge component Ew "(x, y) the best to use.

輝度成分の場合 If the luminance component
色差成分の場合 In the case of the color difference components
ここで色差成分については、色相が変化してしまうことを防止するために、以下の式で示すようにクリッピング処理を入れる。 Here, the color difference component, in order to prevent the hue is changed, add a clipping process, as shown by the following equation.
ζ(→x) = MIN(ζ(→x),1.0) ζ (→ x) = MIN (ζ (→ x), 1.0)

ここに、σgE thの値は、実空間におけるノイズゆらぎ指標値σthに連動する値、ないしは絶対エッジ強度レベルで与えるとよい。 Here, the value of ShigumagE th, the value linked to the noise fluctuation index value σth in the real space, or may provide an absolute edge intensity levels. それによって、輪郭ボケによるエッジ・コントラスト低下を防止したいエッジ強度レベルを設定することができる。 Thereby, it is possible to set the edge intensity level to be prevented edge contrast reduction due contour blurring.

3)汎関数表現3(合成版) 3) functional expression 3 (synthetic version)
ノイズ除去率の汎関数表現1と2は局所的に各々で効き方が違う。 Functional representation 1 of the noise removal ratio with 2 locally how effectiveness in each is different. したがって、2つの方法を組み合わせた使い方も考えられる。 Thus, also contemplated use of a combination of the two methods. その場合は基本的に2つの汎関数表現部分の積をとった汎関数表現をすればよい。 In that case it is sufficient to essentially functional expression taking the product of two functional representation part.

16−2. 16-2. エッジ強調率のコントラスト比関数による汎関数表現(処理(0-8)) Functional expression by the contrast ratio function of the edge enhancement rate (processing (0-8))
1)汎関数表現1(ガンマ版) 1) functional representation 1 (gamma version)
エッジ強調率の汎関数表現もまた同様に、作業用色空間で一様なエッジ強調をしたのと同程度の見栄えを保持しつつ、出力色空間におけるエッジ強調効果が全ての明るさで均質化されることを第一の目標とする。 In versa functional representation of edge enhancement ratio, homogenized working while maintaining the same degree of appearance to that uniform edge enhancement in the color space, brightness edge enhancement effect is all in the output color space is the fact that a primary goal of. そうすることによって、ある明るさレベルの階調コントラストが出力色空間の方が立った領域での作業用色空間での低いコントラストで抽出したエッジ成分によるエッジ強調不足というのは抑えられ、また階調コントラストが出力色空間の方が寝ている特定領域だけの作業用色空間での高いコントラストで抽出したエッジ成分による過剰なエッジ強調作用による不均一感というのは抑えられる。 By doing so, it is suppressed because the edge enhancement insufficient by the edge component extracted by the low contrast in the working color space in the area where the gradation contrast is the brightness level is standing towards the output color space, also floor It is suppressed because uneven feeling due to excessive edge enhancement effect by the edge component is adjusted contrast and extracted with high contrast in the work color space of only a specific area is sleeping better output color space. すなわち、作業用色空間の方が出力色空間よりコントラストの低い階調領域ではエッジ成分のコントラストを事前に高め、反対にコントラストが高い領域ではエッジ成分のコントラストを事前に弱める必要がある。 That is, in the low tone area whichever contrast than the output color space of the work color space increased to advance the contrast edge component, it is necessary to weaken in advance contrast edge component in contrast to the opposite regions of high.

このとき、エッジ強調率を出力ガンマ特性に合わせて増減幅する際の、増減幅の基準点の設定をどこに選択するかという問題が重要になるが、ノイズ除去率のときと同じくして、輝度成分の場合、それは出力色空間で平均輝度レベル(256階調では128前後)になることを目標として設計される露出基準点にとるのがよい。 In this case, when varying width to fit an edge enhancement factor to the output gamma characteristics, but a problem that where to select the setting of the reference point of the increase and decrease range is important, and similarly as in the noise removal rate, luminance for ingredients, which better to take exposure reference point, which is designed as a target to be a (128 back and forth in 256 gradations) the average luminance level in the output color space. そうすると出力色空間での輝度成分のエッジ強調の見えは、明るさ全体で平均的に一定に保たれたように見えるようになる。 Then appearance of the edge enhancement of the luminance component of the output color space will look like kept at an average constant throughout brightness. したがって、出力色空間への階調変換によってエッジ・コントラスト不足に陥る恐れのあった暗い部分の領域の、階調補正不足による黒浮き現象を防止し、階調性が原画像よりも高い、黒の締まったクリアなエッジ強調効果を得ることができる。 Therefore, the dark part of the region for which the risk of falling into edge contrast insufficient by gradation conversion to the output color space, to prevent the black floating phenomenon by the gradation correction insufficient gradation is higher than the original image, black it is possible to obtain a tight clear edge enhancement effect of.

一方、色差成分は、作業用色空間と同じようなエッジ強調効果を出力色空間でも得ようとすると、輝度成分より一般的に強い目のエッジ強調を必要とする。 On the other hand, the color difference component, in order to obtain a similar edge enhancement effect and work color space even output color space, generally requires strong eye edge enhancement than the luminance component. なぜならば、色差成分は高周波のエッジ構造をあまり含まず、緩やかに変化するエッジ構造が多いため、エッジ成分が抽出しにくいことに由来する。 Because the color difference components do not include much high frequency edge structure, for slowly varying edge structure is large, from the edge component is not easily extracted. したがって、輝度成分のようにダイナミックにエッジ強調率を操作することはできず、エッジ強調効果を落とさずにコントラスト保持できる部分だけのエッジ強調を緩める形をとる。 Therefore, it is impossible to operate the edge enhancement rate dynamically as the luminance component in the form of loosening only the edge enhancement part can contrast maintaining without reducing the edge enhancement effect.

具体的にはノイズ除去率の場合と同じくして、出力ガンマ特性がニー特性になる領域の飽和基準点で規格化を行なう。 Specifically with As in the noise removal rate, output gamma characteristics performs normalization with saturated reference point in the region to become a knee characteristic. するとハイライト部の色差面エッジ強調率を弱めることになる。 Then it would weaken the chrominance plane edge enhancement rate of the highlight portion. ハイライト部は一般に色差面では高彩度部に対応するので、エッジ成分の抽出が容易であり、また作業用色空間の方が出力色空間よりコントラストが高いので、そのまま利用するとカラフルネスを上げ過ぎる弊害が生じる。 Since the highlight portion is generally the chrominance plane corresponding to the high saturation portions, it is easy to extract the edge component, and since towards the work color space contrast is higher than the output color space, adverse effects too high colorfulness Continuing to use It occurs. したがって、ハイライト部のエッジ強調率を弱めることによって、高彩度部の極端な彩度強調を防止し、他の暗い領域の色コントラストとカラフルネス復元とのバランスを保った全体的に色再現性の高いエッジ強調効果を生む。 Accordingly, the highlight portion by weakening the edge enhancement rate, to prevent extreme saturation enhancement of the high-saturation portion, the overall color reproducibility keeping the balance with the other dark regions colorfulness restore the color contrast It produces a high edge enhancement effect. また、輝度成分の暗部エッジ強調効果と相まって、暗部のノイズ被りによる黒浮きや他の領域から暗部への色滲みが完全に消え、原画像よりも黒の再現性の高い、抜けのよい鮮明感や透明感を生み出す。 Moreover, coupled with dark space edge enhancement effect of the luminance component, the color of the black float or other area by wearing dark noise into the shaded portion bleeding completely disappeared, high black reproducibility than the original image, good clearness of omission produce and clarity.

これらを実現するエッジ強調率のコントラスト比関数による汎関数表現は以下の式で表される。 Functional expression by the contrast ratio function of the edge enhancement factor for realizing these is represented by the following equation. ノイズ除去率と同様に、輝度成分の場合、上記露出基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。 Like the noise removal rate, when the luminance component, standardization is performed by substituting the contrast ratio based on the exposure reference point in the denominator of the equation. また、色差成分の場合、上記飽和基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。 Also, in the case of the color difference components, standardization is performed by substituting the contrast ratio based on the saturation reference point in the denominator of the equation.
輝度成分の場合 If the luminance component
色差成分の場合 In the case of the color difference components

2)汎関数表現2(レチネックス版) 2) functional representation 2 (Retinex version)
エッジ強調率の汎関数表現に関しても、もう一つ別の視点から作ることができる。 Also with respect to functional representation of edge enhancement rate, it can be made from another different point of view. すなわち、汎関数表現1では画像全体の明るさレベルの間でエッジ強調効果が均質化されることを目標としたのに対し、ここでは局所的なエッジ構造近傍の範囲内で明るさレベル間のエッジ強調効果が均質化されることを目標とする。 In other words, pan between functional representation 1 in overall image brightness level relative to that aim to edge enhancement effect is homogenized, where between brightness levels within the vicinity of local edge structure a target that edge enhancement effect is homogenized. これは、画像構造を決める重要な部分はエッジ近傍に集中しており、その周りさえエッジ強調効果が明るさに対して均質化されていれば画像全体としてのエッジ強調効果は非一様であってもその均質化作用が持つもう一つ別な側面を局所的な領域に対して最大限発揮しうる、という考えに基づく。 This is an important part that determines the image structure is concentrated near the edges, around it even edge enhancement effect of the entire image if it is homogenized with respect to the edge enhancement effect is brightness a non-uniform It can maximize another specific aspect with its homogenizing action against local region, based on the idea that.

すなわち、エッジ強調効果の均質化にはもう一つ、エッジ成分から分離し切れなかったノイズ成分によるノイズ増幅の弊害を明るさレベル間で均質化することにより、その弊害の見えの強いところの存在に伴って全体的な印象を悪くしてしまう不均一さの視覚的な欠点を減らして、弊害の見えを平均的に最小化するという意味がある。 That is, one the other the homogenization of the edge enhancement effect, by homogenization between brightness levels harmful effects of the noise amplification due to noise component which could not be separated from the edge component, the presence of at strong appearance of the adverse effect reduce the visual defect of the non-uniformity which results in poor overall impression with the, there is a sense that the average minimize appearance of adverse effects. したがって、エッジ近傍で重点的にこのエッジ強調の弊害対策を実施すれば、効果的に画像の重要な構造部のコントラストを、ノイズ被りの影響から保護することができる。 Therefore, when implementing an adverse effect measures mainly the edge enhancement near the edge, the contrast of important structural part of the effective image can be protected from the effects of fog noise.

この場合も、一般的な階調特性をもつ出力色空間に対しては、明るいところで作業用色空間の階調コントラストの方が高いことに伴ってその領域に混入するノイズ成分のコントラストも強くなりやすく、その領域でノイズ被りの弊害が起きやすい。 Again, for the output color space having a common gradation characteristic, the contrast of the noise component becomes strongly mixed in the region along with it higher in tone contrast of the work color space in bright places easy, it is likely to occur adverse effects of wearing noise in that area. 輝度成分の場合は白い画像領域面内の構造情報がノイズに埋もれやすく、色差成分の場合は高彩度部の色情報がノイズに埋もれやすい。 Structural information of the white image region surface when the luminance component is easily buried in noise, the color information of the high-saturation portion in the case of the color difference component is likely buried in noise.

したがって、以下のような式によってエッジ強調率をコントラスト比関数の汎関数表現するとよい。 Therefore, the edge enhancement rate may be functional representation of the contrast ratio function by the following formula. このとき参照するエッジ情報としては、画像構造を局所的にも大局的にもあらゆるスケールで観測する多重解像度統合エッジ成分を用いるのが最適である。 The edge information referencing this time, the image structure to use a multi-resolution synthesized edge component observed at any scale locally even global optimal. また、ノイズ成分やリンギング成分がしっかりと除外されて視覚的に重要な周波数帯域が加味された統合エッジ成分Ew"(x,y)を用いるのが最もよい。 The noise component and ringing component is firmly excluded visually important frequency band is taken into account integrated edge component Ew "(x, y) the best to use.

輝度成分の場合 If the luminance component
色差成分の場合 In the case of the color difference components

ここに、σgE thの値は、実空間におけるノイズゆらぎ指標値σthに連動する値、ないしは絶対エッジ強度レベルで与えるとよい。 Here, the value of ShigumagE th, the value linked to the noise fluctuation index value σth in the real space, or may provide an absolute edge intensity levels. それによって、ノイズ被りの影響によるコントラスト低下を防止したいエッジ強度レベルを与えることができる。 Thereby, it is possible to provide the edge intensity level that must not contrast decrease due to the influence of the fog noise.

3)汎関数表現3(合成版) 3) functional expression 3 (synthetic version)
エッジ強調率の汎関数表現1と2も局所的に各々で効き方が違う。 Functional representation of edge enhancement factor 1 and 2 also locally how effectiveness in each is different. したがって、2つの方法を組み合わせた使い方も考えられる。 Thus, also contemplated use of a combination of the two methods. その場合は基本的に2つの汎関数表現部分の積をとった汎関数表現をすればよい。 In that case it is sufficient to essentially functional expression taking the product of two functional representation part.

16−3. 16-3. ノイズ除去処理とエッジ強調処理の実行 このようにしてノイズ除去とエッジ強調の効果の最大化と弊害の最小化が図られたノイズ除去率とエッジ強調率の汎関数表現を用いて、実際にノイズ除去処理とエッジ強調処理を行う。 Using functional representation of the noise removal processing and the edge enhancement processing performed this way noise removal and maximization of the effect of edge enhancement and noise removal rate minimization is achieved adverse effect and edge enhancement factor, actually noise performing removal processing and edge enhancement processing.

1)ノイズ除去処理だけの場合 ノイズ除去処理だけの場合、次式によりノイズ除去を行い(処理(0-9))、ノイズ除去後の画像を出力する(処理(0-10))。 1) If only when noise removal processing of the noise removal processing only performs noise removal by the following equation (processing (0-9)), and outputs the image after noise removal (step (0-10)).
2)エッジ強調処理だけの場合 エッジ強調処理だけの場合、図4の処理(0-9)を行わず、次式によりエッジ強調のみを行い(不図示)、エッジ強調後の画像を出力する(不図示)。 2) If only if the edge enhancement processing by the edge enhancement processing, without performing the processing in FIG. 4 (0-9), the only edge enhancement by the following equation (not shown), and outputs the image after edge enhancement ( not shown).
3)ノイズ除去処理とエッジ強調処理を同時に行う場合 ノイズ除去処理とエッジ強調処理を同時に行う場合、上記ノイズ除去処理だけの場合の処理(処理(0-9))を行った後、エッジ強調処理を行い(処理(0-11))、ノイズ除去およびエッジ強調後の画像を出力する(処理(0-12))。 3) When performing when performing noise removal processing and the edge enhancement processing at the same time the noise removal processing and the edge enhancement processing at the same time, after the processing in the case of only the noise removal process (process (0-9)), edge enhancement It was carried out (process (0-11)), and outputs the image after noise removal and edge enhancement (processing (0-12)). ノイズ除去処理とエッジ強調処理の両方を行う場合の式をまとめると次式のようになる。 To summarize the equation in the case of performing both noise removal processing and the edge enhancement processing is as follows.

ここに、ノイズ除去で損失を被った程度の輪郭ボケを回復したい目的でエッジ強調を行う場合は、 Here, when performing edge enhancement purposes we want to recover contour blurring degree suffered losses in noise removal,
のように設定するのがよい。 It may be set as. そうするとλjointのノイズ除去率を上げるに伴ってノイズ除去効果が強くなっていく画質設計を保ったまま、ノイズ除去で失ってしまうノイズに埋もれたテキスチャをも復元しうる高性能なノイズ除去が可能となる。 Then while maintaining the image quality design that noise removal effect is getting stronger with the increase of the noise removal rate of λjoint, and can be restored to be high-performance noise removal is also a texture that was buried in the noise that lose in the noise removal Become.

一方、ノイズ除去を伴わずに、各ISO感度の原画像のノイズによる不鮮明感だけを取り除きたい場合は、λjoint=0、ζjoint≠0とすればよい。 On the other hand, without noise removal, if you want to remove only blurred feeling due to noise of the original image of each ISO sensitivity, λjoint = 0, may be the ζjoint ≠ 0.

ここで注目すべき指摘しておきたい点がある。 There is a point I want to point out should be noted here. 上述のようにして物理的現象を追うことによって解明してきたノイズ除去率の汎関数表現の最適解とエッジ強調率の汎関数表現の最適解は偶然にも一致するのである。 Optimal solution for functional expression of the optimal solution and edge enhancement ratio of functional representation of the noise removal rate has been elucidated by following the physical phenomena as described above is to match by chance. 抽出エッジ成分の中に含まれる分離不可能なノイズ成分の視点に立てば、エッジ強調率の汎関数表現はエッジ成分の中に混在するノイズ成分の増幅を恐れてノイズ除去率の汎関数表現の逆数に設定する論理も考えられうる。 You stand on the viewpoint inseparable noise components included in the extracted edge component, edge enhancement rate functional representation of the amplification fear noise removal rate of noise components mixed in the edge component of the functional expression logic to set the inverse may also be considered. しかし、実験的に一致する表現の方がそれに勝る結果が得られるのは、抽出エッジ成分からノイズ成分をうまく排除して真のエッジ成分に近づけたことにより、エッジ成分を純粋なエッジ成分として扱ってよく、ノイズ成分の増幅を恐れる心配がなくなった証拠と言える。 However, the result of better representation to match experimentally is over it is obtained, by which close to the true edge component from the extracted edge component to successfully eliminate noise components, handled the edge component as pure edge component well Te, it can be said that evidence concerned is no longer fear amplification of the noise component. したがって、処理上は各々で個別の汎関数表現を作成する手間は省ける。 Therefore, the processing on is time to create a separate functional representation in each Habukeru. また、これの物理的意味は、ノイズ除去で失ったエッジ構造を正確に同じような振る舞いで元に戻そうとすると同じ関数形になるということとも無縁ではない。 The physical meaning of this is not unrelated also with the fact that the same functional form when you return the edge structure lost in the noise removal based on at exactly the same kind of behavior. しかし、ノイズ除去とエッジ強調は全く独立事象であるにもかかわらず、階調方向に関しては一致する。 However, despite the noise removal and edge enhancement is completely independent events, consistent with respect to gradient direction. 他方のステップS10の周波数投影空間では不一致である。 The frequency projection space of the other in step S10 do not match.

17. 17. 出力色空間への変換 次に、図2のステップS4において、ノイズ除去およびエッジ強調された画像について画像処理空間から出力色空間へ変換する。 Conversion to the output color space Next, in step S4 of FIG. 2, converts the noise removal and edge enhanced image from the image processing space to output color space. 出力色空間が入力色空間と同じでよい場合は、項目番号1の逆変換処理を行なう。 When the output color space may be the same as the input color space, it performs inverse transformation processing of item number 1. また、異なっている場合は各入力及び出力の標準色空間の規定に従って変換すればよい。 Also, if you are different it may be converted in accordance with the provisions of the standard color space of each input and output. 例えば、入力がAdobeRGBで出力がsRGBのような場合が考えられる。 For example, if the input is as output by the AdobeRGB of sRGB can be considered. また、それだけに留まらず、出力画像に対して更に階調補正が加えられていてもよい。 Also it includes, but not only, or may be added further tone correction on the output image. 例えば、画像に掛けるガンマ曲線の特性を変える。 For example, changing the characteristic of the gamma curve applied to the image. そのときは事前に項目番号16−1と項目番号16−2側にその特性情報を伝えて、コントラスト比関数を事前に計算できるようにしておく。 Then the convey its characteristic information to the item number 16-1 and item number 16-2 side in advance, keep to be calculated in advance a contrast ratio function.

18. 18. 画像出力 図2のステップS5では、以上のようにしてノイズ除去およびエッジ強調された画像データを出力する。 In step S5 in the image output Figure 2, and outputs the image data from which noise has been removed and the edge enhancement in the manner described above.

以上のようにしてエッジ強調処理された画像に対して、次のような画質効果を生じる。 Against above manner edge enhancement processed images, resulting in image quality the following effects. まず、高感度撮影されてノイズ被りによってエッジのコントラストが低下し、黒浮きした画像に対して、輪郭の鮮明さを回復し、ノイズと同程度の振幅のテキスチャ構造にしっかりとコントラストをつけ、全体の鮮鋭感・立体感を上げるとともに、黒の締まりを良くしてノイズ被りによる曇りをなくし、階調表現性を豊かにすることによって透明感を上げ、色境界の滲みをなくして色コントラストを上げ、全体のノイズ被りによる彩度低下をなくして、カラフルネスを上げる効果がある。 First, is highly sensitive imaging contrast edge is reduced by fog noise against black floating image, recover the sharpness of the contour, firmly attached the contrast texture structure of the noise about the same amplitude, the entire with increased sharpness, stereoscopic effect of eliminating the fogging due to fog noise to improve the tightness of black, increase the transparency by enriching gradation properties, increase the color contrast by eliminating bleeding color boundary , eliminating desaturation by fogging overall noise, leading to improvement of the colorfulness.

また、同様にしてノイズ除去された画像に対してエッジ強調処理を同時化することによって、ノイズ除去で失われたエッジ構造を復元する効果が得られる。 Also, by synchronizing an edge enhancement process on similarly denoised image, the effect of restoring the lost edge structure in the noise removal is obtained. すなわち、ノイズ除去による鮮鋭感の低下を回復し、ノイズ除去によって失われたノイズと同程度に変化するテキスチャをも回復しつつ粒状性ノイズを低減し、また、暗部のノイズを抑制し、明部のノイズ被りも防止することによって階調性を上げ、色滲みと平坦部での緩やかな色構造の消失の少ない色斑ノイズ除去を実現する。 That is, to recover the deterioration of sharpness due to noise removal, also reduces the graininess noise recovering the texture that changes to the noise as much lost by the noise removal, also suppresses dark noise, bright portion noise suffer also raised gradation by preventing, to realize color blur and lost less color mottling noise removal loose color structure at the flat portion.

また、これらのエッジ強調による画像エンハンスメントとノイズ除去によるノイズ抑制を、それらの強度、すなわちエッジ強調率とノイズ除去率の強さに応じて自然な画質を保ったまま連続的に実現することができる。 Further, the noise suppression by the image enhancement and noise removal by these edge enhancement, their strength, i.e., can be continuously realized while maintaining a natural image quality in accordance with the intensity of the edge enhancement rate and noise removal rate . いいかえると、高感度撮影された画像に対する原画像をも凌ぐ良好な画質のエンハンスメント効果は、低感度撮影された画像に近づけるような自然な形でなされて、そこから踏み外すことはないことを保証する。 In other words, the enhancement effect of the good quality surpassing even the original image with respect to high sensitivity captured image is made in a natural way, as close to the low-sensitivity captured image to ensure that does not slip up from there .

したがって、鮮鋭感、鮮明感、立体感、透明感に代表されるような主観的な質感再現性も、解像力、色分解能、有効階調帯域幅に表されるような物理量の再現性も高いエッジ強調やノイズ除去効果を得ることができる。 Therefore, sharpness, clearness, three-dimensional appearance, subjective texture reproducibility as represented by a transparent feeling, resolution, color resolution, is high edge reproducibility of the physical quantity as represented enable gradation bandwidth it can be obtained enhancement and noise reduction effect.

なお、低感度撮影画像にもノイズというものは必ず存在し、これらのエンハンスメント効果が同様にして得られることは実験的にも確認している。 Incidentally, those that also noise low sensitivity captured image is always present, that these enhancement effect can be obtained in the same manner as has been experimentally confirmed.

−第2の実施の形態−(実空間版) - Second Embodiment - (actual space Edition)
第2の実施の形態では、実空間面のままノイズ除去とエッジ強調を同時に行う実施形態を示す。 In the second embodiment, an embodiment of performing still noise removal and edge enhancement at the same time in the real space plane.

第2の実施の形態の画像処理装置の構成は、第1の実施の形態と同様であるので、図1を参照し、その説明を省略する。 Configuration of the image processing apparatus of the second embodiment is the same as in the first embodiment, with reference to FIG. 1, the description thereof is omitted. また、パーソナルコンピュータ1が処理する第2の実施の形態の画像処理のフローチャートも、流れとしては図3と同様であるので、その説明を省略する。 Further, since the flow chart of image processing according to the second embodiment of the personal computer 1 processes also, as the flow is similar to FIG. 3, the description thereof is omitted. 以下、第1の実施の形態の処理と異なる点を中心に説明をする。 The following explanation focuses on the differences from the process in the first preferred embodiment. 図8は、第2の実施の形態のノイズ除去処理およびエッジ強調処理の流れ図を示す図である。 Figure 8 is a diagram showing a flowchart of a second embodiment of the noise removal processing and edge enhancement processing.

1. 1. 色空間変換 第1の実施の形態の項目番号1と同じ。 The same as the item number 1 of the color space conversion first embodiment.

2. 2. 仮想ノイズ除去によるノイズ抽出2−1. Noise extraction 2-1 by the virtual noise removal. ノイズ除去処理 実空間面はS(x,y)で表されているので、第1の実施の形態のサブバンド面V(x,y)に対する処理をVからSに置き換えるだけでよい(処理(x-1))。 Since the noise removal processing the real space plane is represented by S (x, y), the first embodiment of the subband plane V (x, y) may in the process for simply replacing the V to S (processing ( x-1)). ただし、積分範囲は大きくとる必要が出てくる。 However, the integration range comes out need to take large.

ノイズ除去フィルタとして、σフィルタやεフィルタ等、平滑化面S'を作るノイズ除去処理の方法は何を用いても構わないが、第1の実施の形態と同じく改良型バイラテラル・フィルタの例を示しておく。 As a noise removal filter, sigma filter or ε filter, it may be used what method of noise reduction processing to make a smoothing surface S ', but also an example of the improved bilateral filter in the first embodiment the left shows.

本当にきれいなノイズ除去効果を得るにはrthの値を50程度にとってフィルタリング範囲を101x 101画素程度にするのがよいが、ここでは説明の簡略化のためrth=12にとって25x25の範囲で積分を行なうものとする。 Things to get really clean noise removal effect is better to filtering range 101x 101 pixels about to values ​​of about 50 rth, where performing integration of the range of taken 25x25 in rth = 12 for the sake of simplicity to. ただし、σフィルタやεフィルタの場合は、空間的な因子には無頓着なのでrthに相当するパラメータは存在せず、単に積分範囲を設定するだけである。 However, in the case of σ filter or ε filter, so inattentive to spatial factors parameters corresponding to the rth it does not exist, merely setting the integral range.

2−2. 2-2. ノイズ抽出処理 次式のようなノイズ抽出処理を行う(処理(x-3))。 The noise extraction processing, such as noise extraction equation (process (x-3)).

3. 3. エッジ抽出 仮想ノイズ除去された実空間面からエッジ成分を抽出する(処理(x-3))。 Edge extraction to extract a virtual denoised real space plane from the edge component (process (x-3)).

ここで、エッジ検出フィルタとしてはラプラシアン・フィルタを用いる。 Here, using a Laplacian filter as an edge detection filter. 第2の実施の形態と同じ9x9のラプラシアン・フィルタでもよいが、平滑化フィルタを25x25に設定したので、こちらも25x25程度に設定するのが望ましい。 It may be a Laplacian filter of the same 9x9 in the second embodiment, but since setting the smoothing filter to 25x25, it is desirable to set here to about 25x25. 25x25のラプラシアンは、9x9のガウシアン・フィルタを3回掛けた平滑化画像と原画像の差分をとれば作成できる。 Laplacian of 25x25 can be created if you take the difference of 3 times over smoothed image and the original image a Gaussian filter of 9x9. すなわち、 That is,

4. 4. ノイズ成分の自己精錬 第1の実施の形態の項目番号11と同じ式を用いて、ノイズ成分の自己精錬を行う(処理(0-1))。 Using the same formula as item number 11 of the self-refining the first embodiment of the noise component, a self refining of the noise component (processing (0-1)). ただし、Nwの記号はNに置き換える。 However, the symbol of Nw is replaced by N.

5. 5. エッジ成分の自己精錬 第1の実施の形態の項目番号12と同じ式を用いて、エッジ成分の自己精錬を行う(処理(0-2))る。 Using the same formula as self refining first embodiment item number 12 of the edge component, Ru perform self refining edge component (processing (0-2)). ただし、Ewの記号はEに置き換える。 However, the symbol of Ew is replaced by E.

6. 6. エッジによるノイズ成分の精錬(相互精錬1) Refining of the noise component by the edge (Mutual Refining 1)
第1の実施の形態の項目番号13と同じ式を用いて、エッジによるノイズ成分の精錬を行う(処理(0-3))。 Using the same formula as item number 13 of the first embodiment, it performs the refining of the noise component by the edge (processing (0-3)). ただし、Nwの記号はNに、Ewの記号はEに置き換える。 However, the symbol of Nw in N, symbol of Ew is replaced by E.

7. 7. ノイズによるエッジ成分の精錬(相互精錬2) Refining edge component due to noise (cross-refining 2)
第1の実施の形態の項目番号14と同じ式を用いて、ノイズによるエッジ成分の精錬を行う(処理(0-4))。 Using the same formula as item number 14 of the first embodiment, performs the refining edge component due to noise (processing (0-4)). ただし、Nwの記号はNに、Ewの記号はEに置き換える。 However, the symbol of Nw in N, symbol of Ew is replaced by E.

8. 8. 実際のノイズ除去処理と実際のエッジ強調処理 第1の実施の形態の項目番号16と同じ式を用いる(処理(0-7)(0-8)(0-9)(0-11))。 Using the same formula as the actual edge enhancement processing to the first embodiment of the item number 16 and the actual noise removal process (process (0-7) (0-8) (0-9) (0-11)). ただし、Nwの記号はNに、Ewの記号はEに置き換える。 However, the symbol of Nw in N, symbol of Ew is replaced by E. また、便宜上、第1の実施の形態の項目番号15に相当する処理は省略した。 For convenience, the process corresponding to the item number 15 of the first embodiment is omitted.

9. 9. 出力色空間への変換 第1の実施の形態の項目番号17と同じ。 Same as item number 17 of the conversion to the first embodiment of the output color space.

こうして得られる画像処理結果には、第1の実施の形態の周波数投影空間の最適選択の効果の部分を除いて、第1の実施の形態と同様にノイズ成分とエッジ成分の分離性能の高い、また、それらの中に含まれる不純物成分による弊害も最小化した、高品質なノイズ除去とエッジ強調の効果が得られる。 The image processing results obtained in this way, except for portions of the optimal selection of the effect of frequency projection space of the first embodiment, a high separation performance of the form as well as the noise component and the edge component of the first embodiment, also, adverse effects of impurity components contained in them was also minimize the effect of high-quality noise removal and edge enhancement can be obtained.

―変形例― - modification -
(1)なお、上述の実施形態ではノイズ除去処理とエッジ強調処理がどちらも存在する前提で、それらを使うか否かは最後に自由選択する形式で記述したが、エッジ強調処理のみをもっと高速に実現したい場合、ノイズ除去フィルタによる平滑化処理が重い処理として障害になるので、ノイズ除去フィルタを省略して、第1の実施の形態では多重解像度表現されたサブバンド画像から直接、第2の実施の形態では原画像から直接アンシャープマスク処理によってエッジ成分を抽出するようなことも簡略な使い方としては考えられる。 (1) In addition, on the assumption that the noise removal processing and the edge enhancement processing in the above embodiments are present both, although whether to use them described in the last form of free choice, much faster only the edge enhancement processing If you want to achieve, since the smoothing processing by the noise removal filter is an obstacle as heavy processing is omitted noise removal filter, the subband images directly in the second to the first embodiment is multiresolution in embodiments contemplated as also simple use it as to extract the edge component by a direct unsharp masking from the original image.

(2)なお、第1の実施の形態の項目番号5〜8,11〜15のノイズ成分とエッジ成分の自己・相互精錬、及び項目番号16のノイズ除去率とエッジ強調率の汎関数表現による演算は、ソフトウェアで実際に処理する場合はルックアップテーブルを通過させるだけなのでほとんど無視できる程度の処理時間しかかからないことを指摘しておく。 (2) In addition, according to the functional representation of the noise removal rate and edge enhancement of the first embodiment the noise component and the edge component of the item number 5~8,11~15 of self and mutual refining, and item number 16 operations, it should be pointed out that only takes much processing time almost negligible because only passing the look-up table when the actual processing in software.

(3)なお、上記説明の画像処理空間は最良の色空間として均等色・均等ノイズ空間を用いたが、一般的な均等色空間の場合も同様にコントラスト比関数を定義して、本発明を利用することができる。 (3) The image processing space above description was used uniform color-uniform noise space as the best color space, also the case of a general uniform color space defined similarly contrast ratio function, the present invention it can be used. 例えば、CIE定義のL*a*b*空間やL*u*v*、あるいはCIECAM02でもよく、それぞれで定義される作業用色空間の階調特性と出力色空間の階調特性からコントラスト比関数を求めればよい。 For example, CIE definition of L * a * b * space and L * u * v *, or CIECAM02 even better, contrast ratio function from the tone characteristic of the gradation characteristics of the work color space defined by the respective output color space the may be obtained.

(4)なお、上述の第1の実施の形態ではedge-preserving smoothing filterとして高性能な改良型バイラテラル・フィルタを用いる例で示したが、エッジとノイズとの分離度は劣るが高速・簡便に動作するノイズ除去フィルタの例として本出願人発明のWO2006/106919に示される以下のようなラプラシアン・ノイズ除去フィルタがある。 (4) While in the first embodiment described above shown in the example of using a high performance modified bilateral filter as edge-preserving smoothing filter, the degree of separation between the edge and the noise lesser speed and simplicity there are Laplacian noise removal filter as follows, shown as an example of noise removal filters operating in WO2006 / 106919 of the present applicant invention. この場合、実施形態で定義したノイズ成分とエッジ成分の自己及び相互精錬の機能は、元の抽出されてきた各々の成分の純度が悪いため、改良型バイラテラル・フィルタのより効果的にその性能を発揮する。 In this case, the function of the self and mutual refining noise component and the edge component as defined in embodiment, since the purity of the components of each have been the original extraction is poor, more effectively its performance improved bilateral filter exhibit.

輝度面のノイズ除去処理 Noise removal process of the luminance plane
色差面のノイズ除去処理 Noise removal processing of the chrominance planes

ただし、ここで定義するラプラシアンは多重解像度で利用するときは最も単純な3x3のものでよい。 However, Laplacian defined here may be of the simplest 3x3 When utilizing a multi-resolution.

(5)なお、上述の第1の実施の形態では5段のウェーブレット変換の場合、低周波サブバンド画像群と高周波サブバンド画像群の解像度レベルをj=1,2,...,5として用いる例を示したが、実空間を低周波サブバンド画像群のj=0の解像度として扱うこともできる。 (5) In the case of the wavelet transform of 5 stages in the first embodiment described above, the resolution level of the low-frequency sub-band images and high-frequency sub-band images j = 1, 2, ..., as 5 although an example of using, it is also possible to treat the real space as the low-frequency subband images of j = 0 resolution. その場合、j=1で行なったようなノイズ抽出処理やエッジ抽出処理を行なって、統合ノイズ成分と統合エッジ成分の各々に最後の段階で加算するようにしてもよい。 In that case, by performing the noise extraction processing and edge extraction processing as performed at j = 1, it may be added at the last stage in each of the integrated noise component and integrated edge component. そのときの解像度レベル間の重みづけは、j=0に対してノイズ成分の場合はホワイト・ノイズであるのでknj=1であり、kejの値は項目番号10−2でこの場合を想定して既に記載してある数値を用いるとよい。 Weighting between resolution levels at that time, since in the case of the noise component with respect to j = 0 is white noise is knj = 1, the value of kej is assumed in this case by the item number 10-2 already preferably used numbers are described.

(6)なお、上記実施の形態で説明した画像処理空間は最良の色空間を例示しただけであって、従来からの色空間でノイズ除去およびエッジ強調処理を行なっても何ら本発明の意義が薄れるものではない。 (6) The image processing space described in the above embodiments are merely to illustrate the best color space, the significance of any present invention be subjected to noise removal and edge enhancement processing in the color space of conventional It does not fade. 例えば、最新の均等色空間であるCIECAM02などを用いてもよい。 For example, the like may be used is the latest uniform color space CIECAM02. なお、この空間は均等ノイズ空間、あるいは、均等色空間のいずれの空間であってもよい。 Incidentally, this space is uniform noise space, or may be any space in uniform color space.

(7)上記実施の形態では、エッジ成分の自己精錬において、エッジ成分の強度に関する度数分布がノイズゆらぎ指標値σth ijに基づく所定幅のガウス分布に近づくように指数関数により演算するようにした。 (7) In the above embodiments, the self-refining edge component, frequency distribution related to the intensity of the edge component is to be calculated by an exponential function so as to approach a Gaussian distribution of a predetermined width based on the noise fluctuation index value? Th ij. しかし、この処理をガウス分布ではなく次式による閾値判定とするようにしてもよい。 However, it may be the process to be a threshold determination by the following equation instead of the Gaussian distribution. また、ノイズによるエッジ成分の精錬、ノイズの自己精錬、エッジによるノイズ成分の精錬においても同様に閾値判定でもよい。 Further, refining edge component due to noise, the noise self refining, or the threshold determination also in refining of the noise component by the edge.

(8)上記実施の形態では、パーソナルコンピュータ1で実現される画像処理装置の例で説明をした。 (8) In the above embodiments, and with the example of an image processing apparatus which is realized by a personal computer 1. しかし、上記で説明したパーソナルコンピュータ1によるノイズ除去処理を、デジタルカメラ(電子カメラ)内で行うようにしてもよい。 However, the noise removal processing by the personal computer 1 as described above, the digital camera may be performed by (electronic camera) in. 図9は、このデジタルカメラ100の構成を示す図である。 Figure 9 is a diagram showing a configuration of the digital camera 100. デジタルカメラ100は、撮影レンズ102、CCDなどからなる撮像素子103、CPUおよび周辺回路からなる制御装置104、メモリ105などから構成される。 The digital camera 100 includes a control unit 104 comprising a photographic lens 102, CCD image pickup element 103 made of, CPU and peripheral circuits, and the like memory 105.

撮像素子103は、被写体101を撮影レンズ102を介して撮影(撮像)し、撮影した画像データを制御装置104へ出力する。 The image sensor 103 photographs an object 101 through the imaging lens 102 (imaging), and outputs the sensed image data to the control unit 104. ここでの処理が、第1の実施の形態で説明した図3のステップS1の画像データ入力に相当する。 Processing here corresponds to the image data input in step S1 of FIG. 3 described in the first embodiment. 制御装置104は、撮像素子103で撮影された画像データに対して、上記で説明した各実施の形態や変形例のノイズ除去処理を行い、適切にノイズ除去されエッジ強調された画像データを適宜メモリ105に格納する。 Controller 104, to the captured image data by the image pickup element 103 performs a noise removal process forms and modifications of the embodiments described above, the appropriate image data edge-enhanced denoised appropriate memory and stores it in the 105. 制御装置104はROM(不図示)などに格納された所定のプログラムを実行することにより、上記説明したノイズ除去処理およびエッジ強調処理を行う。 Control device 104 by executing a predetermined program stored in the ROM (not shown), it performs the described noise removal processing and edge enhancement processing.

このようにして、デジタルカメラ100内部でも、エッジ強調におけるリンギングを防ぎ、自然なエッジ強調効果を生む処理が可能となり、適切にエッジ強調された画像データをメモリ105に格納し、また、着脱可能なメモリカードなどの記録媒体に記録することができる。 In this way, the digital camera 100 also internally, to prevent ringing in the edge enhancement enables process produce a natural edge enhancement effect, and stores the appropriate image data edge enhancement in the memory 105, also detachable it can be recorded on a recording medium such as a memory card.

以上説明した本実施の形態や変形例の作用効果を整理すると、以下のようになる。 To summarize the effect of the present embodiment and modifications described above, as follows.
(1)原画像に基づきエッジ成分を抽出し、抽出されたエッジ成分に対して、エッジ成分の強度に関する度数分布が所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、補正されたエッジ成分に基づき、原画像に対してエッジ強調を行うようにした。 (1) extracts an edge component based on the original image, the extracted edge component, the correction frequency distribution related to the intensity of the edge component is attenuated each edge component so as to approach a Gaussian distribution of a predetermined width, based on the corrected edge component, and to perform edge enhancement on the original image. すなわち、エッジ検出フィルタで抽出されたエッジ成分を、原画像に加算しても自然な印象を与えると考えられる本来のあるべき姿のガウス分布特性の度数分布に近づけるようにした。 That is, the edge component extracted by the edge detection filter, be added to the original image and to approach the frequency distribution of the Gaussian distribution characteristics of the original of the Ideal which is believed to provide a natural impression. これにより、リンギングを防止したエッジ強調を可能とする。 Thus, to enable edge enhancement to prevent ringing. そして、このエッジ強調処理は、ノイズの中に埋もれる程度の微弱なエッジ成分を極めて自然な形でノイズ増幅することなく回復することができる。 Then, the edge enhancement process can be recovered without noise amplifying weak edge component to the extent that buried in the noise in a very natural way.

(2)原画像をフィルタリングして、逐次的に低い解像度を持つ複数のサブバンド(帯域制限画像)を生成し(ウェーブレット変換)、各サブバンド(帯域制限画像)において、各サブバンド(帯域制限画像)のエッジ成分を抽出し、抽出された各サブバンド(帯域制限画像)のエッジ成分に対して、各々のサブバンド(帯域制限画像)毎にエッジ成分の強度に関する度数分布が各帯域に固有の所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、補正された各サブバンド(帯域制限画像)のエッジ成分を統合して、原画像と同じ解像度を持つエッジ成分に統合し、統合されたエッジ成分の強度に関する度数分布が所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、補正された統合エッジ成分に (2) the original image by filtering, to generate a plurality of sub-bands having successively lower resolution (band-limited image) (wavelet transform), in each sub-band (band-limited image) each subband (band limitation extracting the edge component of the image), the edge component of each sub-band extracted (band limited image) is the frequency distribution relating to the intensity of the edge components for each respective sub-band (band-limited image) unique to each band of the correction to attenuate each of the edge components to approach a Gaussian distribution with a predetermined width, integrating edge component of the corrected each subband (band-limited image) to the edge components having the same resolution as the original image integrated, frequency distribution relating to the intensity of the synthesized edge component is a correction to attenuate each of the edge components to approach a Gaussian distribution of a predetermined width, the corrected synthesized edge component づき、原画像に対してエッジ強調を行うようにした。 Hazuki was to perform edge enhancement on the original image. このような多重解像度を用いたエッジ強調処理を行うことにより、大規模なリンギング問題を確実に防止し、大面積のハローやハウリングも確実に防止したエッジ強調、コントラスト強調効果を得ることが可能になる。 By performing the edge enhancement process using such a multi-resolution, and reliably prevent large ringing problems, halo or howling area larger edge enhancement which reliably prevented, so it is possible to obtain the contrast enhancement effect Become.

(3)上記所定幅のガウス分布は、原画像のノイズゆらぎ指標値と同じ幅のガウス分布であるとした。 (3) Gaussian distribution of the predetermined width, and a is a Gaussian distribution having the same width as the noise fluctuation index value of the original image. これにより、ノイズの中に埋もれる程度の微弱なエッジ成分を極めて自然な形でノイズ増幅することなく回復することができる。 This makes it possible to recover without noise amplifying weak edge component to the extent that buried in the noise in a very natural way.

(4)均等ノイズ空間あるいは均等色・均等ノイズ空間で上記精錬の各処理を行うようにした。 (4) to perform the processes of the refining with uniform noise space or uniform color, uniform noise space. ただし、原画像が多重解像度表現されているときは、各々の帯域制限画像が元の画像として含んでいる各帯域制限画像に固有のゆらぎ幅と同じ幅であるとする。 However, when the original image is multiresolution representation, each band-limited image is assumed to be as wide as the specific fluctuation width in each of the band-limited image containing the original image. これは、精錬の基本的考えを容易に実現する一元的モデルへの集約が、均等ノイズ空間や均等色・均等ノイズ空間でノイズ抽出を行っているからこそ置くことのできる仮定であるからである。 This aggregation of the centralized model to easily achieve the basic idea of ​​refining, because it is assumed that can be placed precisely because doing noise extracted with uniform noise space and uniform color, uniform noise space .

(5)上記実施の形態では、各解像度および統合後においてそれぞれエッジ精錬処理を行うようにした。 (5) In the above embodiment, and to perform a respective edge refining treatment after each resolution and integration. しかし、各解像度での精錬処理を省略し、統合後においてのみ精錬処理を行っても同様な効果を得ることができる。 However, omitting the refining process at each resolution, you are possible to obtain the same effect only be carried out refining treatment after integration. すなわち、原画像をフィルタリングして、逐次的に低い解像度を持つ複数の、低周波サブバンド画像と高周波サブバンド画像のセットからなる帯域制限画像を生成し、各帯域制限画像に対してエッジ検出を行って、各帯域制限画像のエッジ成分を抽出し、抽出された低周波サブバンド画像と高周波サブバンド画像の両方の各帯域制限画像のエッジ成分を順次統合して、原画像と同じ解像度を持つエッジ成分に統合し、統合されたエッジ成分の強度に関する度数分布が所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、補正されたエッジ成分に基づき、原画像に対してエッジ強調を行うようにしてもよい。 In other words, by filtering the original image, the plurality having sequentially lower resolution, generates a band-limited image consisting of a set of low-frequency sub-band image and the high-frequency subband images, the edge detection for each band-limited image go and extracts an edge component of each band-limited image, an edge component of each band-limited image both of the extracted low-frequency sub-band image and the high-frequency subband images are sequentially integrated, with the same resolution as the original image integrating the edge component, frequency distribution relating to the intensity of the synthesized edge component is a correction to attenuate each of the edge components to approach a Gaussian distribution of a predetermined width, based on the corrected edge component, the original image it may be performed edge enhancement. この場合、周波数の冗長性と自由度が発生するので、統合したエッジ成分に対するエッジ精錬処理は不可欠となる。 In this case, since the redundancy and flexibility of the frequency occurs, edge refining process for integrating the edge component is indispensable.

(6)所定のノイズゆらぎ指標値で表されるノイズ成分を含む原画像に対してエッジ強調を行う画像処理方法であって、原画像からエッジ成分を抽出し、前記抽出したエッジ成分を前記ノイズゆらぎ指標値と比較することによって、前記エッジ成分の中から前記ノイズ成分と同程度の微弱エッジ成分を抽出し、前記抽出した微弱エッジ成分に基づき、前記原画像に対してエッジ強調を行うようにした。 (6) An image processing method for performing edge enhancement on the original image including noise component represented by predetermined noise fluctuation index value, to extract the edge component from the original image, the noise the extracted edge component by comparing the fluctuation index value, the extracting the noise component and comparable weak edge component from the edge component, based on the weak edge component that the extracted, so as to perform edge enhancement with respect to the original image did. これにより、このエッジ強調処理は、ノイズ除去処理で失った、ノイズ除去フィルタでは通常判別不能なノイズの中に埋もれる程度の微弱なエッジ成分を極めて自然な形でノイズ増幅することなく回復することができる。 Thus, the edge enhancement processing is lost in the noise removal processing, be recovered without very noise amplification in a natural way the weak edge component to the extent that buried in the normal indistinguishable noise in the noise removing filter it can.

(7)また、原画像をフィルタリングして、逐次的に低い解像度を持つ複数のサブバンド(帯域制限画像)を生成し、各サブバンド(帯域制限画像)のエッジ成分を抽出し、抽出された各サブバンド(帯域制限画像)のエッジ成分自身の大きさに基づいて、該エッジ成分の中に含まれる偽のエッジ成分の量を推定し、推定結果に基づいて、抽出されたエッジ成分から偽のエッジ成分を除外して各サブバンド(帯域制限画像)の実エッジ成分を抽出し、抽出された各サブバンド(帯域制限画像)の実エッジ成分を統合して、原画像と同じ解像度を持つエッジ成分に統合し、統合されたエッジ成分自身の大きさに基づいて再度、該エッジ成分の中に含まれる偽のエッジ成分の量を推定し、推定結果に基づいて、統合されたエッジ成分から偽のエッ (7) In addition, by filtering the original image to generate a plurality of sub-bands having successively lower resolution (band-limited image) to extract the edge component of each sub-band (band-limited image) and extracted based on the magnitude of the edge component itself each subband (band-limited image) estimates the amount of false edge component contained in the said edge component, based on the estimation result, false from the extracted edge component of excluding the edge component extracting actual edge component of each sub-band (band-limited image) by integrating the actual edge components extracted each subband (band-limited image) having the same resolution as the original image integrating the edge component, again based on the size of the synthesized edge component itself, to estimate the amount of false edge component contained in the said edge component, based on the estimation result, the synthesized edge component fake edge 成分を除外して実エッジ成分を抽出し、抽出された実エッジ成分に基づき、原画像に対してエッジ強調を行うようにした。 To the exclusion of components to extract the actual edge component, based on the actual edge component extracted, and to perform edge enhancement on the original image. これにより上記と同様な効果を奏することができる。 Thus it is possible to achieve the same effects as described above.

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。 In the above description, preferred embodiments and variations of embodiments, the present invention is not intended to be limited to:. 本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Other embodiments are contemplated within the scope of the technical idea of ​​the present invention are also included within the scope of the present invention. また、上記で説明した実施の形態および変形例の種々の組み合わせも、本発明の技術的思想の範囲内である限り有効である。 Also, various combinations of embodiments and modifications described above are also effective as long as it is within the scope of the present invention.

1 パーソナルコンピュータ 2 デジタルカメラ 3 記録媒体 4 コンピュータ 5 電気通信回線 11 CPU 1 personal computer 2 digital camera 3 recording medium 4 computer 5 telecommunication line 11 CPU
12 メモリ 13 周辺回路 100 デジタルカメラ 101 被写体 102 撮影レンズ 103 撮像素子 104 制御装置 105 メモリ 12 memory 13 peripheral circuit 100 a digital camera 101 subject 102 imaging lens 103 imaging element 104 controller 105 memory

Claims (8)

  1. 所定のノイズゆらぎ指標値で表されるノイズ成分を含む原画像に対してエッジ強調を行う画像処理方法であって、 An image processing method for performing edge enhancement on the original image including noise component represented by predetermined noise fluctuation index value,
    原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、 By filtering the original image to generate a plurality of band-limited images with successively lower resolution,
    前記各帯域制限画像において、各帯域制限画像のエッジ成分を抽出し、 In each band-limited image, extracting an edge component of each band-limited image,
    前記抽出された各帯域制限画像のエッジ成分を統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、 By integrating an edge component of each band-limited image said extracted by integrating the edge component having the same resolution as the original image,
    前記統合されたエッジ成分に対して、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大きなエッジ成分を減衰する補正をし、 The relative integrated edge component, the correction for attenuating the large edge component than the noise fluctuation width by the size of the edge component comparing with the noise fluctuation index value,
    前記補正された統合エッジ成分に基づき、前記原画像に対してエッジ強調を行うことを特徴とする画像処理方法。 Image processing method, characterized in that the basis of the corrected synthesized edge component performs edge enhancement with respect to the original image.
  2. 請求項1に記載の画像処理方法において、 The image processing method according to claim 1,
    前記統合されたエッジ成分に対して、該エッジ成分の大きさと前記ノイズゆらぎ指標値との比を引数とするガウス分布関数の減衰係数を掛け算して、ノイズゆらぎ幅よりも大きなエッジ成分を減衰補正することを特徴とする画像処理方法。 To the synthesized edge component, by multiplying the damping coefficient of the Gaussian distribution function for the ratio between the size and the noise fluctuation index value of the edge component and an argument, attenuation correction large edge component than the noise fluctuation width an image processing method characterized by.
  3. 所定のノイズゆらぎ指標値で表されるノイズ成分を含む原画像に対してエッジ強調を行う画像処理方法であって、 An image processing method for performing edge enhancement on the original image including noise component represented by predetermined noise fluctuation index value,
    前記原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、 By filtering the original image to generate a plurality of band-limited images with successively lower resolution,
    前記各帯域制限画像において、各帯域制限画像のエッジ成分を抽出し、 In each band-limited image, extracting an edge component of each band-limited image,
    前記抽出された各帯域制限画像のエッジ成分に対して、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大きなエッジ成分を減衰する補正をし、 The edge component of each band-limited image that is the extracted, and a correction to attenuate a large edge component than the noise fluctuation width by the size of the edge component comparing with the noise fluctuation index value,
    前記補正された各帯域制限画像のエッジ成分を統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、 By integrating an edge component of each band-limited image that is the corrected, integrated into the edge components having the same resolution as the original image,
    前記統合されたエッジ成分に対して再度、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大きなエッジ成分を減衰する補正をし、 Again for the synthesized edge component, the correction for attenuating the large edge component than the noise fluctuation width by comparing the magnitude of the edge component and the noise fluctuation index value,
    前記補正された統合エッジ成分に基づき、前記原画像に対してエッジ強調を行うことを特徴とする画像処理方法。 Image processing method, characterized in that the basis of the corrected synthesized edge component performs edge enhancement with respect to the original image.
  4. 請求項3に記載の画像処理方法において、 The image processing method according to claim 3,
    前記抽出された各帯域制限画像のエッジ成分に対して、該エッジ成分の大きさと前記ノイズゆらぎ指標値との比を引数とするガウス分布関数の減衰係数を掛け算して、ノイズゆらぎ幅よりも大きなエッジ成分を減衰補正するとともに、 The edge component of each band-limited image of the extracted, by multiplying the damping coefficient of the Gaussian distribution function for the ratio between the size and the noise fluctuation index value of the edge component and an argument, greater than the noise fluctuation width an edge component as well as attenuation correction,
    前記統合されたエッジ成分に対して再度、該エッジ成分の大きさと前記ノイズゆらぎ指標値との比を引数とするガウス分布関数の減衰係数を掛け算して、ノイズゆらぎ幅よりも大きなエッジ成分を減衰補正することを特徴とする画像処理方法。 Again for the synthesized edge component, by multiplying the damping coefficient of the Gaussian distribution function for the ratio between the size and the noise fluctuation index value of the edge component and an argument, it attenuates the large edge component than the noise fluctuation width image processing method and correcting.
  5. 所定のノイズゆらぎ指標値で表されるノイズ成分を含む原画像に対してエッジ強調を行う画像処理方法であって、 An image processing method for performing edge enhancement on the original image including noise component represented by predetermined noise fluctuation index value,
    前記原画像をフィルタリングして、逐次的に低い解像度を持つ複数の低周波サブバンド画像と逐次的に低い解像度を持つ複数の高周波サブバンド画像のセットからなる、前記原画像を完全に再構築する以上に冗長な周波数空間で表現した帯域制限画像を生成し、 By filtering the original image consists of a set of a plurality of frequency sub-band image having a plurality of sequential low resolution and low-frequency sub-band images with successively lower resolution, a complete rebuild the original image generates a band-limited image represented by a redundant frequency space above,
    前記各帯域制限画像において、各帯域制限画像のエッジ成分を抽出し、 In each band-limited image, extracting an edge component of each band-limited image,
    前記抽出された冗長な周波数表現の各帯域制限画像のエッジ成分を順次全て統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、 Sequentially all integrating edge component of each band-limited image of the extracted redundant frequency representation, integrating the edge component having the same resolution as the original image,
    前記統合されたエッジ成分に対して、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大きなエッジ成分を減衰する補正をし、 The relative integrated edge component, the correction for attenuating the large edge component than the noise fluctuation width by the size of the edge component comparing with the noise fluctuation index value,
    前記補正された統合エッジ成分に基づき、前記原画像に対してエッジ強調を行うことを特徴とする画像処理方法。 Image processing method, characterized in that the basis of the corrected synthesized edge component performs edge enhancement with respect to the original image.
  6. 請求項5に記載の画像処理方法において、 The image processing method according to claim 5,
    前記統合されたエッジ成分に対して、該エッジ成分の大きさと前記ノイズゆらぎ指標値との比を引数とするガウス分布関数の減衰係数を掛け算して、ノイズゆらぎ幅よりも大きなエッジ成分を減衰補正することを特徴とする画像処理方法。 To the synthesized edge component, by multiplying the damping coefficient of the Gaussian distribution function for the ratio between the size and the noise fluctuation index value of the edge component and an argument, attenuation correction large edge component than the noise fluctuation width an image processing method characterized by.
  7. 所定のノイズゆらぎ指標値で表されるノイズ成分を含む原画像に対してエッジ強調を行う画像処理方法であって、 An image processing method for performing edge enhancement on the original image including noise component represented by predetermined noise fluctuation index value,
    前記原画像をフィルタリングして、逐次的に低い解像度を持つ複数の低周波サブバンド画像と逐次的に低い解像度を持つ複数の高周波サブバンド画像のセットからなる、前記原画像を完全に再構築する以上に冗長な周波数空間で表現した帯域制限画像を生成し、 By filtering the original image consists of a set of a plurality of frequency sub-band image having a plurality of sequential low resolution and low-frequency sub-band images with successively lower resolution, a complete rebuild the original image generates a band-limited image represented by a redundant frequency space above,
    前記各帯域制限画像において、各帯域制限画像のエッジ成分を抽出し、 In each band-limited image, extracting an edge component of each band-limited image,
    前記抽出された各帯域制限画像のエッジ成分に対して、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大きなエッジ成分を減衰する補正をし、 The edge component of each band-limited image that is the extracted, and a correction to attenuate a large edge component than the noise fluctuation width by the size of the edge component comparing with the noise fluctuation index value,
    前記補正された冗長な周波数表現の各帯域制限画像のエッジ成分を順次全て統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、 Above with corrected sequence all integrated edge component of each band-limited image redundant frequency representation, integrating the edge component having the same resolution as the original image,
    前記統合されたエッジ成分に対して再度、該エッジ成分の大きさを前記ノイズゆらぎ指標値と比較することによってノイズゆらぎ幅よりも大きなエッジ成分を減衰する補正をし、 Again for the synthesized edge component, the correction for attenuating the large edge component than the noise fluctuation width by comparing the magnitude of the edge component and the noise fluctuation index value,
    前記補正された統合エッジ成分に基づき、前記原画像に対してエッジ強調を行うことを特徴とする画像処理方法。 Image processing method, characterized in that the basis of the corrected synthesized edge component performs edge enhancement with respect to the original image.
  8. 請求項7に記載の画像処理方法において、 The image processing method according to claim 7,
    前記抽出された各帯域制限画像のエッジ成分に対して、該エッジ成分の大きさと前記ノイズゆらぎ指標値との比を引数とするガウス分布関数の減衰係数を掛け算して、ノイズゆらぎ幅よりも大きなエッジ成分を減衰補正するとともに、 The edge component of each band-limited image of the extracted, by multiplying the damping coefficient of the Gaussian distribution function for the ratio between the size and the noise fluctuation index value of the edge component and an argument, greater than the noise fluctuation width an edge component as well as attenuation correction,
    前記統合されたエッジ成分に対して再度、該エッジ成分の大きさと前記ノイズゆらぎ指標値との比を引数とするガウス分布関数の減衰係数を掛け算して、ノイズゆらぎ幅よりも大きなエッジ成分を減衰補正することを特徴とする画像処理方法。 Again for the synthesized edge component, by multiplying the damping coefficient of the Gaussian distribution function for the ratio between the size and the noise fluctuation index value of the edge component and an argument, it attenuates the large edge component than the noise fluctuation width image processing method and correcting.
JP2009172975A 2008-08-01 2009-07-24 Image processing method Active JP5359646B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008199319 2008-08-01
JP2008199319 2008-08-01
JP2009172975A JP5359646B2 (en) 2008-08-01 2009-07-24 Image processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009172975A JP5359646B2 (en) 2008-08-01 2009-07-24 Image processing method
US12458953 US8120679B2 (en) 2008-08-01 2009-07-28 Image processing method
US13345249 US8339484B2 (en) 2008-08-01 2012-01-06 Image processing method

Publications (2)

Publication Number Publication Date
JP2010055604A true JP2010055604A (en) 2010-03-11
JP5359646B2 true JP5359646B2 (en) 2013-12-04

Family

ID=42071391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009172975A Active JP5359646B2 (en) 2008-08-01 2009-07-24 Image processing method

Country Status (1)

Country Link
JP (1) JP5359646B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101812341B1 (en) * 2011-06-24 2017-12-26 엘지이노텍 주식회사 A method for edge enhancement of image
US9214015B2 (en) * 2012-03-30 2015-12-15 Sharp Laboratories Of America, Inc. System for image enhancement
JP5633550B2 (en) * 2012-09-05 2014-12-03 カシオ計算機株式会社 Image processing apparatus, image processing method, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991419A (en) * 1995-09-25 1997-04-04 Nec Corp Image processor
JP3700798B2 (en) * 1996-08-19 2005-09-28 富士写真フイルム株式会社 Image processing method and apparatus
KR100230391B1 (en) * 1996-11-29 1999-11-15 윤종용 Method for correcting contour components of luminance signal and circuit thereof
JP2001188910A (en) * 1999-10-22 2001-07-10 Toshiba Corp Method for extracting outline of image, method for extracting body from image, and image transmisison system using the same
JP4017312B2 (en) * 2000-03-31 2007-12-05 富士フイルム株式会社 Image processing method, image processing apparatus and a recording medium
JP4564233B2 (en) * 2003-01-31 2010-10-20 株式会社東芝 Image processing apparatus, image data processing method, and program
JP5256582B2 (en) * 2006-03-31 2013-08-07 株式会社ニコン Image processing method, image processing program, and an image processing device
WO2008093836A1 (en) * 2007-02-02 2008-08-07 Nikon Corporation Image processing method

Also Published As

Publication number Publication date Type
JP2010055604A (en) 2010-03-11 application

Similar Documents

Publication Publication Date Title
Ancuti et al. Enhancing underwater images and videos by fusion
US6614944B1 (en) Image enhancement filter with adaptive threshold
US5880767A (en) Perceptual image resolution enhancement system
US6055340A (en) Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
US20080095466A1 (en) Processing of mosaic images
US20100080485A1 (en) Depth-Based Image Enhancement
US20040252907A1 (en) Image processing method, apparatus, and program
US7103214B2 (en) Image processing apparatus and method
JP2001298621A (en) Image processor and image processing method
CN101783012A (en) Automatic image defogging method based on dark primary colour
US20130064448A1 (en) Image chroma noise reduction
US20070009176A1 (en) Multi-resolution processing of digital signals
US20090196524A1 (en) System and method for sharpening of digital images
US20080240602A1 (en) Edge mapping incorporating panchromatic pixels
JP2005130484A (en) Gradation correction apparatus and gradation correction program
WO2006106919A1 (en) Image processing method
US20100303372A1 (en) Digital image processing and enhancing system and method with function of removing noise
US20050281458A1 (en) Noise-reducing a color filter array image
US20100008574A1 (en) Image processing method
US6323855B1 (en) Sharpening edge features in digital image providing high frequency edge enhancement
CN101951523A (en) Adaptive colour image processing method and system
US20100066874A1 (en) Image processing method
CN101901473A (en) Self-adaptive defogging strengthening method of single-frame image
JP2003153290A (en) Noise filter for bayer pattern image data
US20110097008A1 (en) Method for processing a digital object and related system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130819

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250