JP6757407B2 - Image processing equipment, image processing method and image processing program - Google Patents
Image processing equipment, image processing method and image processing program Download PDFInfo
- Publication number
- JP6757407B2 JP6757407B2 JP2018523103A JP2018523103A JP6757407B2 JP 6757407 B2 JP6757407 B2 JP 6757407B2 JP 2018523103 A JP2018523103 A JP 2018523103A JP 2018523103 A JP2018523103 A JP 2018523103A JP 6757407 B2 JP6757407 B2 JP 6757407B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- information
- noise reduction
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 110
- 238000003672 processing method Methods 0.000 title description 9
- 230000009467 reduction Effects 0.000 claims description 88
- 239000000203 mixture Substances 0.000 claims description 36
- 239000002131 composite material Substances 0.000 claims description 32
- 230000002194 synthesizing effect Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 18
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program.
取得した画像のエッジの強度に基づいてノイズ低減を行う画像処理方法が知られている(例えば、特許文献1および特許文献2参照。)。この方法は、空間情報として注目画素領域とその近傍画素領域との類似性に基づく重みを利用した非局所平均化処理(Non Local Means:NLM処理)を使用するものである。また、周波数情報としてエッジ強度に基づいた周波数成分でノイズ低減を行う技術も知られている(例えば、特許文献3参照。)。
An image processing method that reduces noise based on the edge strength of the acquired image is known (see, for example,
画像のノイズ低減技術においては、ノイズを低減すると同時に画像内の被写体が本来持ちうるコントラストをできるだけ維持することが求められる。NLM処理は、テクスチャパターンが存在しない(すなわち、ノイズを低減してもコントラストに影響しない)平坦部以外に比較的コントラストの大きい部分においてノイズ低減とコントラスト維持とを両立する効果が大きい。
しかしながら、コントラストの小さい部分については、画像で見た場合にノイズ量とコントラストの大きさとの差が小さいため、ノイズを低減しようとするとコントラストが低下し、コントラストを維持しようとするとノイズが残るというトレードオフが起こり、画質を向上することができないという不都合がある。In image noise reduction technology, it is required to reduce noise and at the same time maintain the contrast that the subject in the image can originally have. The NLM treatment has a great effect of achieving both noise reduction and contrast maintenance in a portion having a relatively large contrast other than a flat portion where a texture pattern does not exist (that is, reducing noise does not affect the contrast).
However, for parts with low contrast, the difference between the amount of noise and the magnitude of contrast is small when viewed in an image, so the trade is that the contrast decreases when trying to reduce the noise, and the noise remains when trying to maintain the contrast. There is a disadvantage that the image quality cannot be improved due to turning off.
一方、周波数成分でノイズ低減を行う場合には、周波数の大きさに応じてノイズ低減を行うことが想定される。コントラストの小さい部分に関しても該当する周波数に対してノイズ低減を行うことによりノイズ低減とコントラスト維持を両立する効果がある。
しかしながら、周波数成分では、注目画素領域のみを参照するため、領域内でコントラストの周波数成分とノイズの周波数成分との差が小さければ、上記効果は低い。例えば、ランダムノイズは比較的高周波の成分が多いが、コントラストの大きい部分も比較的高周波成分が多いため、エッジ強度が大きい部分ではノイズが低減されずに残ってしまい、画質を向上することができないという不都合がある。On the other hand, when noise reduction is performed by a frequency component, it is assumed that noise reduction is performed according to the magnitude of the frequency. Even for a portion with low contrast, noise reduction is performed for the corresponding frequency, which has the effect of achieving both noise reduction and contrast maintenance.
However, since the frequency component refers only to the pixel region of interest, the above effect is low if the difference between the contrast frequency component and the noise frequency component within the region is small. For example, random noise has a relatively large number of high-frequency components, but the high-contrast portion also has a relatively large number of high-frequency components. There is an inconvenience.
本発明は上述した事情に鑑みてなされたものであって、コントラストを低減させることなくノイズを低減して画質の高い画像を生成することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。 The present invention has been made in view of the above circumstances, and provides an image processing apparatus, an image processing method, and an image processing program capable of generating an image with high image quality by reducing noise without reducing contrast. The purpose is to do.
本発明の一態様は、取得された画像におけるエッジの強度を表すエッジ強度情報を検出するエッジ強度検出部と、前記画像に対して、空間情報を用いたノイズ低減処理を行う第1ノイズ低減部と、前記画像に対して、周波数情報を用いたノイズ低減処理を行う第2ノイズ低減部と、前記第1ノイズ低減部においてノイズ低減処理された第1処理後画像と、前記第2ノイズ低減部においてノイズ低減処理された第2処理後画像とを合成する画像合成部とを備え、該画像合成部が、前記エッジ強度検出部により検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第1処理後画像の合成比率が前記第2処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第2処理後画像の合成比率が前記第1処理後画像の合成比率より高くなる重みを用いて合成する画像処理装置である。 One aspect of the present invention is an edge strength detection unit that detects edge strength information indicating edge strength in an acquired image, and a first noise reduction unit that performs noise reduction processing using spatial information on the image. A second noise reduction unit that performs noise reduction processing using frequency information on the image, a first processed image that has been noise-reduced in the first noise reduction unit, and a second noise reduction unit. The image synthesizing unit is provided with an image synthesizing unit for synthesizing the noise-reduced second-processed image, and the image synthesizing unit has the edge strength represented by the edge strength information detected by the edge strength detecting unit. In a region larger than a predetermined threshold, the composite ratio of the first processed image is higher than the composite ratio of the second post-processed image, and in a region where the edge intensity is smaller than the threshold value, the composite of the second post-processed image is performed. This is an image processing apparatus that synthesizes images using weights whose ratio is higher than the composition ratio of the first processed image.
本態様によれば、画像取得装置により取得された画像は、エッジ強度検出部、第1ノイズ低減部および第2ノイズ低減部に入力される。エッジ強度検出部においては、入力された画像内のエッジの強度を表すエッジ強度情報が検出され、第1ノイズ低減部においては、空間情報を用いたノイズ低減処理が行われて第1処理後画像が生成され、第2ノイズ低減部においては、周波数情報を用いたノイズ低減処理が行われて第2処理後画像が生成される。 According to this aspect, the image acquired by the image acquisition device is input to the edge strength detection unit, the first noise reduction unit, and the second noise reduction unit. The edge strength detection unit detects edge strength information indicating the strength of the edge in the input image, and the first noise reduction unit performs noise reduction processing using spatial information to perform the first post-processing image. Is generated, and in the second noise reduction unit, noise reduction processing using frequency information is performed to generate an image after the second processing.
そして、画像合成部において、エッジ強度検出部により検出されたエッジの強度を表す情報に基づいた重みにより、第1処理後画像と第2処理後画像とが合成される。その結果、エッジの強度が所定の閾値より大きい場合には、第1処理後画像が第2処理後画像より高い合成比率で合成され、エッジの強度が所定の閾値より小さい領域では第2処理後画像が第1処理後画像より高い合成比率で合成される。 Then, in the image synthesizing unit, the image after the first processing and the image after the second processing are combined by the weight based on the information representing the intensity of the edge detected by the edge strength detecting unit. As a result, when the edge strength is larger than the predetermined threshold value, the image after the first processing is synthesized at a higher composition ratio than the image after the second processing, and in the region where the edge strength is smaller than the predetermined threshold value, after the second processing. The image is synthesized at a higher composition ratio than the image after the first processing.
すなわち、エッジ強度が小さい領域では、周波数情報を用いてノイズ低減処理が行われた第2処理後画像の合成比率を高くし、エッジ強度が大きい領域では、空間情報を用いてノイズ低減処理が行われた第1処理後画像の合成比率を高くすることで、画像のコントラストの大小によらず、ノイズを低減しかつコントラストを維持した高画質の画像を生成することができる。 That is, in the region where the edge strength is small, the composition ratio of the second processed image subjected to the noise reduction processing using the frequency information is increased, and in the region where the edge strength is large, the noise reduction processing is performed using the spatial information. By increasing the composition ratio of the image after the first processing, it is possible to generate a high-quality image in which noise is reduced and the contrast is maintained regardless of the magnitude of the contrast of the image.
上記態様においては、前記画像合成部は、第1閾値において、前記第1処理後画像の合成比率よりも前記第2処理後画像の合成比率が高く、前記第1閾値より大きい第2閾値において、前記第2処理後画像の合成比率よりも前記第1処理後画像の合成比率が高く、前記第1閾値と前記第2閾値との間において、前記エッジ強度情報に表される前記エッジの強度が大きくなるに従って前記第1処理後画像の合成比率が漸次高くなり、前記第2処理後画像の合成比率が漸次低くなる重みを用いて合成してもよい。
このようにすることで、ノイズ低減処理によるコントラストへの影響をエッジの強度の大きさに応じて滑らかに変化させることができる。In the above aspect, in the first threshold value, the image synthesizing unit has a higher composition ratio of the second processed image than the composition ratio of the first processed image, and in a second threshold value larger than the first threshold value. The composite ratio of the first processed image is higher than the composite ratio of the second processed image, and the strength of the edge represented by the edge strength information is between the first threshold value and the second threshold value. The composite ratio of the first-processed image may gradually increase as the size increases, and the composite ratio of the second-processed image may gradually decrease.
By doing so, the influence of the noise reduction processing on the contrast can be smoothly changed according to the magnitude of the edge intensity.
また、上記態様においては、前記画像合成部は、前記閾値において、前記第1処理後画像の合成比率と前記第2処理後画像の合成比率とが切り替わる重みを用いて合成してもよい。
このようにすることで、簡易な構成により、コントラストを低減させることなくノイズを低減して画質の高い画像を生成することができる。Further, in the above aspect, the image synthesizing unit may synthesize using a weight at which the composition ratio of the first processed image and the composition ratio of the second processed image are switched at the threshold value.
By doing so, it is possible to reduce noise and generate a high-quality image without reducing the contrast by a simple configuration.
また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内の輝度分散であってもよい。
また、上記態様においては、前記エッジ強度検出部が、エッジ検出フィルタを用いて輝度の変化量を検出してもよい。Further, in the above aspect, the information representing the intensity of the edge may be the luminance dispersion in the pixel block composed of a plurality of pixels.
Further, in the above aspect, the edge strength detecting unit may detect the amount of change in brightness by using the edge detecting filter.
また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のテクスチャ度であってもよい。
また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内の周波数成分の分布であってもよい。Further, in the above aspect, the information representing the strength of the edge may be the texture degree in the pixel block composed of a plurality of pixels.
Further, in the above aspect, the information representing the intensity of the edge may be the distribution of frequency components in a pixel block composed of a plurality of pixels.
また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のコントラスト値であってもよい。
また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のボケ量であってもよい。
また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のパターンの平坦性であってもよい。Further, in the above aspect, the information representing the strength of the edge may be a contrast value in a pixel block composed of a plurality of pixels.
Further, in the above aspect, the information representing the strength of the edge may be the amount of blur in the pixel block composed of a plurality of pixels.
Further, in the above aspect, the information representing the strength of the edge may be the flatness of the pattern in the pixel block composed of a plurality of pixels.
また、本発明の他の態様は、取得された画像におけるエッジの強度を表すエッジ強度情報を検出するエッジ強度検出ステップと、前記画像に対して、空間情報を用いたノイズ低減処理を行う第1ノイズ低減ステップと、前記画像に対して、周波数情報を用いたノイズ低減処理を行う第2ノイズ低減ステップと、前記第1ノイズ低減ステップにおいてノイズ低減処理された第1処理後画像と、前記第2ノイズ低減ステップにおいてノイズ低減処理された第2処理後画像とを合成する画像合成ステップとを含み、該画像合成ステップが、前記エッジ強度検出ステップにより検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第1処理後画像の合成比率が前記第2処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第2処理後画像の合成比率が前記第1処理後画像の合成比率より高くなる重みを用いて合成する画像処理方法である。 In addition, another aspect of the present invention includes an edge strength detection step of detecting edge strength information representing the edge strength in the acquired image, and a first method of performing noise reduction processing using spatial information on the image. A noise reduction step, a second noise reduction step of performing noise reduction processing using frequency information on the image, a first processed image subjected to noise reduction processing in the first noise reduction step, and the second image. The edge including the image synthesis step of synthesizing the noise-reduced second post-process image in the noise reduction step, and the image synthesis step represented by the edge strength information detected by the edge strength detection step. In a region where the intensity of the image is greater than a predetermined threshold, the composite ratio of the image after the first treatment is higher than the composite ratio of the image after the second treatment, and in a region where the intensity of the edge is smaller than the threshold, after the second treatment. This is an image processing method in which images are combined using a weight at which the image composition ratio is higher than the image composition ratio of the first processed image.
また、本発明の他の態様は、取得された画像におけるエッジの強度を表すエッジ強度情報を検出するエッジ強度検出ステップと、前記画像に対して、空間情報を用いたノイズ低減処理を行う第1ノイズ低減ステップと、前記画像に対して、周波数情報を用いたノイズ低減処理を行う第2ノイズ低減ステップと、前記第1ノイズ低減ステップにおいてノイズ低減処理された第1処理後画像と、前記第2ノイズ低減ステップにおいてノイズ低減処理された第2処理後画像とを、前記エッジ強度検出ステップにより検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第1処理後画像の合成比率が前記第2処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第2処理後画像の合成比率が前記第1処理後画像の合成比率より高くなる重みを用いて合成する画像合成ステップとをコンピュータに実行させる画像処理プログラムである。 In addition, another aspect of the present invention includes an edge strength detection step of detecting edge strength information representing the edge strength in the acquired image, and a first method of performing noise reduction processing using spatial information on the image. A noise reduction step, a second noise reduction step of performing noise reduction processing using frequency information on the image, a first processed image subjected to noise reduction processing in the first noise reduction step, and the second image. The second post-processed image that has been noise-reduced in the noise reduction step is combined with the first image in a region where the edge intensity represented by the edge intensity information detected by the edge intensity detection step is larger than a predetermined threshold value. In a region where the composition ratio of the processed image is higher than the composition ratio of the second processed image and the edge intensity is smaller than the threshold value, the composition ratio of the second processed image is the composition ratio of the first processed image. It is an image processing program that causes a computer to perform an image composition step of synthesizing using a higher weight.
本発明によれば、コントラストを低減させることなくノイズを低減して画質の高い画像を生成することができるという効果を奏する。 According to the present invention, there is an effect that noise can be reduced and an image with high image quality can be generated without reducing the contrast.
以下、本発明の一実施形態に係る画像処理装置1、画像処理方法および画像処理プログラムについて、図面を参照して以下に説明する。
本実施形態に係る画像処理装置1は、図1に示されるように、例えば、カメラ100に備えられている。Hereinafter, the
As shown in FIG. 1, the
カメラ100は、被写体からの光を集光する撮影レンズ110と、該撮影レンズ110により集光された光を撮影する撮像素子120と、該撮像素子120により取得された画像信号をRAWデータの状態で出力する撮像部130と、該撮像部130から出力されたRAWデータを前処理する前処理部140と、本実施形態に係る画像処理装置1と、後処理部150とを備えている。
The
前処理部140は、撮影時の条件、例えば、F値、焦点距離、ISO感度、シャッタスピード等を用いて、OB(Optical Black)補正処理、WB(White Balance)補正処理、色情報の補間(デモザイキング)処理等を行い、現像後のRGB画像を出力するようになっている。
後処理部150は、画像処理装置1から出力された画像に歪補正やデータ圧縮処理等を施して最終的な出力画像を生成するようになっている。The
The
本実施形態に係る画像処理装置1は、前処理部140から出力された現像後のRGB画像が入力されるエッジ強度算出部(エッジ強度検出部)2、第1ノイズ低減部3および第2ノイズ低減部4と、第1ノイズ低減部3から出力された第1処理後画像と、第2ノイズ低減部4から出力された第2処理後画像とを合成する画像合成部5とを備えている。
The
エッジ強度算出部2は、図2に示されるように、入力された現像後のRGB画像を複数の画素からなる複数のブロックに変換するブロック分割部6と、各ブロックに対してコントラストに関する情報を算出しコントラスト画像を生成するコントラスト算出部7と、該コントラスト算出部7により生成されたコントラスト画像に基づいてエッジ強度変換特性を読み出す変換特性抽出部8と、該変換特性抽出部8により読み出されたエッジ強度変換特性に基づいてコントラスト画像からエッジ強度画像を生成するエッジ強度変換部9とを備えている。
As shown in FIG. 2, the edge
コントラスト算出部7において算出されるコントラストに関する情報としては、例えば、エッジ検出に関するフィルタ(エッジ検出フィルタ)の演算結果が含まれる。具体的には、ラプラシアンフィルタ、Prewittフィルタ、Sobelフィルタ、Cannyフィルタ等の公知のフィルタが用いられればよい。これらのフィルタは、エッジ、すなわち輝度の変化を検出するものであり、輝度の変化量としてエッジの強度を利用する。この場合、輝度の変化量が大きいほどエッジ強度も大きいことになる。
The information regarding the contrast calculated by the
また、他のコントラストに関する情報としては、エッジに依存せずにコントラストを評価するものが含まれる。具体的には、ブロック内の輝度分散、ブロック内のパターンのテクスチャ度、ブロック内の周波数成分の分布、ブロック内の被写体のコントラスト値やボケ量等を挙げることができる。これらの情報は、ブロック内の輝度の変動に基づくものが多く、例えば、輝度分散が大きいほど輝度の変動が大きく、エッジ強度が大きいと考えることができる。同様に、テクスチャ度、周波数分布およびコントラスト値が大きいほどエッジ強度が大きく、ボケ量が小さいほどエッジ強度が大きいと考えることができる。 In addition, other information on contrast includes information that evaluates contrast independently of edges. Specifically, the luminance dispersion in the block, the texture degree of the pattern in the block, the distribution of the frequency components in the block, the contrast value of the subject in the block, the amount of blur, and the like can be mentioned. Most of this information is based on the fluctuation of the brightness in the block. For example, it can be considered that the larger the brightness dispersion, the larger the fluctuation of the brightness and the larger the edge strength. Similarly, it can be considered that the larger the texture degree, frequency distribution and contrast value are, the larger the edge strength is, and the smaller the amount of blur is, the larger the edge strength is.
さらに他のコントラストに関する情報としては、エッジが存在しないことを示す評価値として、パターンの平坦性を表すものを挙げることができる。ブロック内の平坦性が大きいということは、ブロック内に輝度が変化するパターンが存在しないことを表しており、エッジ強度は小さいと考えることができる。 As yet other information regarding contrast, as an evaluation value indicating the absence of edges, one indicating the flatness of the pattern can be mentioned. The large flatness in the block means that there is no pattern in which the brightness changes in the block, and it can be considered that the edge strength is small.
コントラスト算出部7は、上述したコントラストに関する情報を1つ以上用いることにより、各画素がコントラストに関する情報を含んだコントラスト画像を生成するようになっている。
変換特性抽出部8は、ノイズモデル減算部10と、エッジ強度変換テーブル11とを備えている。
ノイズモデル減算部10は、予め画像の輝度に対するノイズ量を測定することで得られたノイズモデルに従うノイズ分をコントラスト算出部7において算出されたコントラスト画像から減算するようになっている。The
The conversion characteristic extraction unit 8 includes a noise
The noise
ノイズモデルの一例を図3に示す。このノイズモデルは、ISO感度が大きいほどノイズが多くなっている。また、RGB画像として生成された後のノイズモデルがRAWデータから階調特性(γ特性)によって輝度が変換されていることがあり、必ずしもRGB画素値が大きければノイズ量が多いというわけではなく、図3に示す例では、中間階調もしくはやや暗めの輝度に関してノイズ量が最大となっている。 An example of the noise model is shown in FIG. In this noise model, the larger the ISO sensitivity, the more noise there is. In addition, the brightness of the noise model after being generated as an RGB image may be converted from the RAW data by the gradation characteristic (γ characteristic), and if the RGB pixel value is large, the amount of noise is not necessarily large. In the example shown in FIG. 3, the amount of noise is maximum with respect to the intermediate gradation or the slightly darker luminance.
そして、ノイズモデル減算部10においてノイズ成分が減算されたコントラスト画像情報は、エッジ強度変換テーブル11において、コントラスト画像情報からエッジ強度情報に変換するための特性を参照する。テーブル内に記憶されている変換特性の一例を図4に示す。
Then, the contrast image information from which the noise component has been subtracted by the noise
図4の変換特性は、コントラスト画像情報(画素値)に対するエッジ強度を表している。エッジ強度は、ゼロを最小としている。コントラスト画像情報が下位閾値よりも小さい場合にはエッジが存在しないとみなしてエッジ強度をゼロ(最小)にする。また、コントラスト画像情報が上位閾値よりも大きい場合には、十分なエッジ強度があるものとしてエッジ強度を最大とするようになっている。 The conversion characteristic of FIG. 4 represents the edge strength with respect to the contrast image information (pixel value). The edge strength is set to zero as the minimum. When the contrast image information is smaller than the lower threshold value, it is considered that there is no edge and the edge intensity is set to zero (minimum). Further, when the contrast image information is larger than the upper threshold value, the edge strength is maximized assuming that there is sufficient edge strength.
図4の特性は、コントラスト画像情報として輝度分布を利用したものを想定している。これに代えて、コントラスト画像情報として定義されている特徴に応じて複数の特性をエッジ強度変換テーブル11内に保持しておき、コントラスト画像情報の種類または構成に応じて特性を選択して参照することにしてもよい。 The characteristics of FIG. 4 assume that the luminance distribution is used as the contrast image information. Instead of this, a plurality of characteristics are stored in the edge intensity conversion table 11 according to the characteristics defined as the contrast image information, and the characteristics are selected and referred to according to the type or configuration of the contrast image information. You may decide.
エッジ強度変換部9は、コントラスト算出部7において生成されたコントラスト画像を、エッジ強度変換テーブル11から出力されたエッジ強度変換特性を用いてエッジ強度に変換するようになっている。本実施形態においては、エッジ強度は、図4のエッジ強度変換特性により、コントラスト画像情報が大きいほどエッジ強度が大きくなる。
The edge
第1ノイズ低減部3は、図5に示されるように、現像後のRGB画像を輝度情報と色差情報とに分離する第1輝度色差分離部12と、該第1輝度色差分離部12において分離された輝度情報を帯域に分離する第1輝度帯域分離部13および分離された色差情報を帯域に分離する第1色差帯域分離部14と、第1輝度帯域分離部13により分離された帯域別にノイズ低減処理であるNLM処理を行う帯域別輝度NLM処理部15と、第1色差帯域分離部14により分離された帯域別にNLM処理を行う帯域別色差NLM処理部16と、NLM処理された帯域別の輝度情報および色差情報を結合してノイズ低減処理が施された第1処理後画像を生成する第1結合部17とを備えている。
As shown in FIG. 5, the first
帯域に分離することは、画像の間引きを意味し、例えば、第1の帯域はRGB画像と同じサイズのもの、第2の帯域はRGB画像の幅および高さをそれぞれ1/2に縮小したサイズのもの、第3の帯域はRGB画像の幅および高さをそれぞれ1/4に縮小したサイズのものというように複数の帯域画像を設けることに相当している。 Separating into bands means thinning out the images. For example, the first band has the same size as the RGB image, and the second band has the width and height of the RGB image reduced by half. However, the third band corresponds to providing a plurality of band images such that the width and height of the RGB image are each reduced to 1/4 in size.
NLM処理は、注目する画素を含む領域に対して周辺に存在する領域の類似性を評価することでノイズ低減を行う処理であり、特に、エッジ等のコントラストが大きい部分において優れたノイズ低減性能を有している。
第1結合部17は、輝度情報および色差情報からRGB画像に変換するものではなく、以降の合成処理で参照するためのフォーマット(例えば、第1の帯域の輝度NLM処理画像、第1の帯域の色差NLM処理画像、第2の帯域の輝度NLM処理画像等の予め定められた順序のフォーマット)に従う情報に変換するものである。この結合された情報を第1処理後画像とする。The NLM process is a process that reduces noise by evaluating the similarity of the area existing in the periphery to the area containing the pixel of interest, and in particular, it provides excellent noise reduction performance in areas with large contrast such as edges. Have.
The
第2ノイズ低減部4は、図6に示されるように、現像後のRGB画像を輝度情報と色差情報とに分離する第2輝度色差分離部18と、該第2輝度色差分離部18において分離された輝度情報を帯域に分離する第2輝度帯域分離部19および分離された色差情報を帯域に分離する第2色差帯域分離部20とを備えている。
また、第2ノイズ低減部4は、帯域に分離された輝度情報を帯域別に、離散コサイン変換(DCT)を施して周波数成分の輝度情報にする帯域別輝度周波数変換部21と、帯域に分離された色差情報を帯域別に、離散コサイン変換を施して周波数成分の色差情報にする帯域別色差周波数変換部22とを備えている。As shown in FIG. 6, the second
Further, the second
さらに、第2ノイズ低減部4は、帯域別輝度周波数変換部21により周波数成分に変換された輝度情報にノイズ低減処理であるDCT−Coring処理を行う帯域別輝度DCT処理部23と、帯域別色差周波数変換部22により周波数成分に変換された色差情報にDCT−Coring処理を行う帯域別色差DCT処理部24と、DCT−Coring処理された輝度情報を用いて、帯域別輝度周波数変換部21により周波数成分に変換された輝度情報にWienerFiltering処理を行う帯域別輝度WF処理部25とを備えている。
Further, the second
さらに、第2ノイズ低減部4は、DCT−Coring処理された帯域別の輝度情報、DCT−Coring処理された色差情報およびWienerFiltering処理された帯域別の輝度情報をそれぞれ周波数逆変換する輝度周波数逆変換部26,27および色差周波数逆変換部28と、これらの逆変換部から出力された画像を結合してノイズ低減処理が施された第2処理後画像を生成する第2結合部29とを備えている。
Further, the second
帯域別輝度DCT処理部23および帯域別色差DCT処理部24におけるDCT−Coring処理は、図7Aに示される所定範囲の周波数成分を図7Bに示されるように小さくする処理であり、例えば、閾値−Th1からTh1の間において出力周波数成分がゼロとなるようにコアリング処理するものである。但し、出力周波数成分を必ずしもゼロにする必要はなく、例えば、閾値−Th1からTh1の間は出力周波数成分の絶対値が小さくかつ入力周波数成分に従って緩やかに変化するような特性であってもよい。
本実施形態においては、ノイズ成分が比較的高い周波数成分で構成されていることに着目して、高周波成分に対してコアリング処理を行ってノイズを除去するようにしている。The DCT-Coring process in the band-specific luminance DCT processing unit 23 and the band-specific color difference
In the present embodiment, paying attention to the fact that the noise component is composed of a relatively high frequency component, the high frequency component is subjected to a coring process to remove the noise.
帯域別輝度WF処理部25は、帯域別輝度周波数変換部21により周波数成分に変換された輝度情報に対して、特定の帯域に対して、DCT−Coring処理された輝度情報をガイドとして、WienerFiltering処理を行うようになっている。ここで、特定の帯域は比較的高い周波数成分を有する帯域である。ここでは、画像が本来持ちうるパターンを残しつつノイズ成分だけを除去することを狙って、最小二乗誤差の考えに基づくWiener Filterを適用している。
The band-specific brightness
輝度周波数逆変換部26,27および色差周波数逆変換部28は、DCT−Coring処理とWienerFiltering処理とが施された帯域の輝度周波数情報およびDCT−Coring処理のみが施された帯域の輝度および色差周波数情報に対して周波数逆変換を行って実空間の情報に戻すようになっている。帯域別輝度周波数変換部21および帯域別色差周波数変換部22においては、周波数変換処理としてDCT処理が施されたので、輝度周波数逆変換部26,27および色差周波数逆変換部28では逆DCT処理が行われるようになっている。
The luminance frequency
第2結合部29は、第1結合部17と同様のフォーマットに従って、輝度周波数逆変換部26,27から出力された帯域別輝度周波数ノイズ低減画像と、色差周波数逆変換部28から出力された帯域別色差周波数ノイズ低減画像とを、単一の情報として結合し、第2処理後画像として出力するようになっている。
The
次に、画像合成部5について説明する。
画像合成部5は、図8に示されるように、エッジ強度算出部2から出力されたエッジ強度情報に基づいて輝度情報を合成するための合成比率を表す重みを算出する輝度合成重み算出部30と、エッジ強度情報に基づいて色差情報を合成するための合成比率を表す重みを算出する色差合成重み算出部31と、算出された重みに基づいて第1処理後画像内の輝度情報と第2処理後画像内の輝度情報とを合成する帯域別輝度合成部32と、算出された重みに基づいて第1処理後画像内の色差情報と第2処理後画像内の色差情報とを合成する帯域別色差合成部33と、合成された帯域別の輝度合成画像を帯域合成する輝度帯域合成部34と、合成された帯域別の色差合成画像を帯域合成する色差帯域合成部35と、帯域合成された輝度合成画像および色差合成画像からRGB画像を生成する輝度色差合成部36とを備えている。Next, the
As shown in FIG. 8, the
輝度合成重み算出部30および色差合成重み算出部31は、エッジ強度算出部2において算出されたエッジ強度情報を用いて、図9に示されるように重み係数を算出するようになっている。
図9は、エッジ強度と重みとの関係を示している。エッジ強度が第1閾値より小さい場合には、空間情報を用いてノイズ低減処理を行った第1処理後画像の合成比率を0%とする重み係数Ws=0、周波数情報を用いてノイズ低減処理を行った第2処理後画像の合成比率を100%とする重み係数Wf=1とし、エッジ強度が第1閾値より大きな第2閾値より大きい場合には、第1処理後画像の合成比率を100%とする重み係数Ws=1、第2処理後画像の合成比率を0%とする重み係数Wf=0とするようになっている。The luminance composite
FIG. 9 shows the relationship between the edge strength and the weight. When the edge strength is smaller than the first threshold value, the weighting coefficient Ws = 0 with the composite ratio of the first processed image subjected to the noise reduction processing using spatial information as 0%, and the noise reduction processing using the frequency information. When the weighting coefficient Wf = 1 with the composite ratio of the second processed image as 100% and the edge strength is larger than the second threshold value larger than the first threshold value, the composite ratio of the first processed image is 100. The weighting coefficient Ws = 1 is set to%, and the weighting coefficient Wf = 0 is set to 0% of the composite ratio of the second processed images.
また、第1閾値と第2閾値との間では、第1処理後画像の重み係数Wsを漸次増加させ、第2処理後画像の重み係数Wfを漸次低下させ、両重み係数Ws,WFの和が1となるように設定されている。
すなわち、第1処理後画像と第2処理後画像との合成は次式で表すことができる。
NRI=Wf×NRf+Ws×NRs
Wf+Ws=1Further, between the first threshold value and the second threshold value, the weighting coefficient Ws of the image after the first processing is gradually increased, the weighting coefficient Wf of the image after the second processing is gradually decreased, and the sum of both weighting coefficients Ws and WF. Is set to 1.
That is, the composition of the image after the first processing and the image after the second processing can be expressed by the following equation.
NRI = Wf x NRf + Ws x NRs
Wf + Ws = 1
ここで、NRsは第1処理後画像、NRfは第2処理後画像、NRIは合成画像を示している。 Here, NRs indicates an image after the first processing, NRf indicates an image after the second processing, and NRI indicates a composite image.
このように構成された本実施形態に係る画像処理装置1を用いた画像処理方法について、以下に説明する。
本実施形態に係る画像処理装置1を用いて画像に含まれるノイズ低減処理を行うには、図10に示されるように、撮像部130により取得され前処理部140において前処理が施されることにより現像されたRGB画像からエッジ強度情報が算出され(エッジ強度検出ステップS1)、第1ノイズ低減部3において、NLM処理が施されることにより第1処理後画像が生成され(第1ノイズ低減ステップS2)、第2ノイズ低減部4において、DCT−Coring処理およびWiener Filtering処理が施されることにより第2処理後画像が生成される(第2ノイズ低減ステップS3)。An image processing method using the
In order to perform the noise reduction processing included in the image using the
そして、ステップS1において算出されたエッジ強度情報に基づいて、合成比率を表す重みが決定され、決定された重みに従って第1処理後画像と第2処理後画像とが合成される(画像合成ステップS4)。
この場合において、画像に含まれるエッジ強度(コントラストの大小)に基づいて空間情報を用いたノイズ低減画像と、周波数情報を用いたノイズ低減画像とを適応的に利用することができ、それぞれの画像でノイズ低減効果の大きい情報を利用することができる。その結果、被写体が本来持ちうるコントラストの大小に依存することなく、ノイズを低減しかつコントラストを維持した高画質な画像を取得することができるという利点がある。Then, the weight representing the compositing ratio is determined based on the edge strength information calculated in step S1, and the first processed image and the second post-processed image are combined according to the determined weight (image compositing step S4). ).
In this case, a noise reduction image using spatial information and a noise reduction image using frequency information based on the edge strength (large or small contrast) included in the image can be adaptively used, and each image can be used. Information with a large noise reduction effect can be used. As a result, there is an advantage that it is possible to acquire a high-quality image in which noise is reduced and the contrast is maintained without depending on the magnitude of the contrast that the subject originally has.
すなわち、エッジ強度が第1閾値より小さい場合には、エッジがほとんど存在しないため、パターンマッチングのような画像の特徴から算出された空間情報よりも周波数情報の方がノイズ低減性能の点で優れている。この場合には、周波数情報に関する重み係数Wfを最大にし、空間情報に関する重み係数Wsを最小にして、周波数情報のみを使用することにより、ノイズを効果的に低減することができる。 That is, when the edge strength is smaller than the first threshold value, there are almost no edges, so the frequency information is superior to the spatial information calculated from the image features such as pattern matching in terms of noise reduction performance. There is. In this case, noise can be effectively reduced by maximizing the weighting coefficient Wf related to frequency information, minimizing the weighting coefficient Ws related to spatial information, and using only frequency information.
一方、エッジ強度が第2閾値より大きい場合には、強いエッジが存在するため、パターンマッチングのような画像の特徴から算出された空間情報の方が周波数情報よりもノイズ低減性能が優れている。この場合には、周波数情報に関する重み係数Wfを最小にし、空間情報に関する重み係数Wsを最大にして、空間情報のみを使用することにより、ノイズを効果的に低減することができる。 On the other hand, when the edge strength is larger than the second threshold value, since strong edges exist, the spatial information calculated from the image features such as pattern matching is superior in noise reduction performance to the frequency information. In this case, noise can be effectively reduced by minimizing the weighting coefficient Wf related to frequency information, maximizing the weighting coefficient Ws related to spatial information, and using only spatial information.
さらに、エッジ強度が第1閾値と第2閾値との間である場合には、エッジ強度が大きくなるに従って空間情報を用いた第1処理後画像の合成比率が高くなるように重み係数Wf,Wsを設定することにより、空間情報を用いたノイズ低減画像と、周波数情報を用いたノイズ低減画像とを適応的に利用することができる。 Further, when the edge strength is between the first threshold value and the second threshold value, the weighting coefficients Wf, Ws so that the composition ratio of the first processed image using the spatial information increases as the edge strength increases. By setting, the noise reduction image using spatial information and the noise reduction image using frequency information can be used adaptively.
なお、本実施形態においては、図9に示されるようにエッジ強度に対する重みを2つの閾値によって変化するように規定したが、図11に示されるように、単一の閾値によって切り替えることにしてもよい。 In the present embodiment, as shown in FIG. 9, the weight with respect to the edge strength is specified to be changed by two threshold values, but as shown in FIG. 11, it may be switched by a single threshold value. Good.
また、図12に示されるように、画像合成部5における帯域別輝度合成部32において、帯域別の輝度合成重み算出部30により算出された重み係数に加え、色差合成重み算出部31により算出された重み係数を用いて合成することにしてもよい。
Further, as shown in FIG. 12, in the band-specific
画像の中には、色を持つエッジ/コントラストの大きい領域が存在することもある。色差情報が大きい(赤や青の原色が強い)ものであっても輝度情報が比較的小さい場合がある。このような場合に、図12の画像合成部5では、輝度情報が小さい場合にはエッジ強度が小さいため周波数情報を用いた第2処理後画像の重みを大きくした合成が行われる。しかし、コントラストが大きい構造に関する情報の重みが小さくなるため、色エッジ/コントラストが小さくなることがあり得る。
There may be colored edges / high contrast areas in the image. Even if the color difference information is large (the primary colors of red and blue are strong), the luminance information may be relatively small. In such a case, in the
図12のようにすることで、色エッジ/コントラストが大きい部分は、たとえエッジ情報が弱い場合でも構造を維持する空間情報を用いた第1処理後画像の重みを大きくすることができる。図12による輝度合成画像は以下の通りである。
NRI=(Wf(y)−Wf(y)×Ws(c))×NRf
+(Ws(y)+Wf(y)×Ws(c))×NRs
Wf(y)+Ws(y)=1
0≦Ws(c)≦1By as shown in FIG. 12, in the portion where the color edge / contrast is large, the weight of the image after the first processing using the spatial information that maintains the structure can be increased even if the edge information is weak. The luminance composite image according to FIG. 12 is as follows.
NRI = (Wf (y) -Wf (y) x Ws (c)) x NRf
+ (Ws (y) + Wf (y) x Ws (c)) x NRs
Wf (y) + Ws (y) = 1
0 ≦ Ws (c) ≦ 1
ここで、Wf(y)およびWs(y)はそれぞれ輝度情報における第1処理後画像および第2処理後画像の重み係数であり、Ws(c)は色差情報における第1処理後画像の重み係数である。この式によれば、色差情報の第1処理後画像の重み係数が輝度情報の第1重み係数より重視される。重み係数が最小および最大となる場合の合成画像は、表1の通りである。
これによれば、輝度情報における第1処理後画像の重み係数が小さくても、色差情報における第1処理後画像の重み係数が大きければ、輝度情報においても第1処理後画像の重み係数が大きくなる。したがって、輝度情報が小さいが色差情報が大きい、色エッジ/コントラストが大きい画像においては、コントラストが大きい色差情報の重みを用いて輝度情報の合成における重みを補正することができ、適切なノイズ低減を図ることができる。 According to this, even if the weighting coefficient of the first processed image in the luminance information is small, if the weighting coefficient of the first processed image in the color difference information is large, the weighting coefficient of the first processed image is also large in the luminance information. Become. Therefore, in an image in which the luminance information is small but the color difference information is large and the color edge / contrast is large, the weight in the composition of the luminance information can be corrected by using the weight of the color difference information having a large contrast, and appropriate noise reduction can be achieved. Can be planned.
また、本実施形態においては、画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な画像処理プログラムによって実現することとしてもよい。この場合、コンピュータは、CPU、RAM等の主記憶装置、およびコンピュータ読み取り可能な記録媒体を備え、該記録媒体に上述した処理を実現させるための画像処理プログラムが記録される。そして、CPUが記録媒体に記録されている画像処理プログラムを読み出して、画像処理装置1と同様の処理を実現することができる。
Further, in the present embodiment, the configuration in which the image processing method is realized by hardware has been described, but it may be realized by an image processing program that can be executed by a computer. In this case, the computer includes a main storage device such as a CPU and RAM, and a computer-readable recording medium, and an image processing program for realizing the above-described processing is recorded on the recording medium. Then, the CPU can read the image processing program recorded on the recording medium and realize the same processing as that of the
また、本実施形態においては、画像処理装置1がカメラ100に適用される場合について説明したが、これに代えて、顕微鏡、内視鏡等の任意の撮影装置に適用されることにしてもよい。
Further, in the present embodiment, the case where the
1 画像処理装置
2 エッジ強度算出部(エッジ強度検出部)
3 第1ノイズ低減部
4 第2ノイズ低減部
5 画像合成部
S1 エッジ強度検出ステップ
S2 第1ノイズ低減ステップ
S3 第2ノイズ低減ステップ
S4 画像合成ステップ1
3 1st
Claims (12)
前記画像に対して、空間情報を用いたノイズ低減処理を行う第1ノイズ低減部と、
前記画像に対して、周波数情報を用いたノイズ低減処理を行う第2ノイズ低減部と、
前記第1ノイズ低減部においてノイズ低減処理された第1処理後画像と、前記第2ノイズ低減部においてノイズ低減処理された第2処理後画像とを合成する画像合成部とを備え、
該画像合成部が、前記エッジ強度検出部により検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第1処理後画像の合成比率が前記第2処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第2処理後画像の合成比率が前記第1処理後画像の合成比率より高くなる重みを用いて合成する画像処理装置。An edge strength detector that detects edge strength information that represents the strength of the edge in the acquired image,
A first noise reduction unit that performs noise reduction processing using spatial information on the image,
A second noise reduction unit that performs noise reduction processing using frequency information on the image,
An image synthesizing unit for synthesizing a noise-reduced first-processed image in the first noise-reducing unit and a second-processed image noise-reduced in the second noise-reducing unit
In the region where the edge strength represented by the edge strength information detected by the edge strength detection unit is larger than a predetermined threshold value, the image synthesizing unit sets the composition ratio of the image after the first processing to the second processing. Image processing in which the composite ratio of the second post-processed image is higher than the composite ratio of the first post-processed image in a region higher than the composite ratio of the post-image and the intensity of the edge is smaller than the threshold value. apparatus.
前記画像に対して、空間情報を用いたノイズ低減処理を行う第1ノイズ低減ステップと、
前記画像に対して、周波数情報を用いたノイズ低減処理を行う第2ノイズ低減ステップと、
前記第1ノイズ低減ステップにおいてノイズ低減処理された第1処理後画像と、前記第2ノイズ低減ステップにおいてノイズ低減処理された第2処理後画像とを合成する画像合成ステップとを含み、
該画像合成ステップが、前記エッジ強度検出ステップにより検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第1処理後画像の合成比率が前記第2処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第2処理後画像の合成比率が前記第1処理後画像の合成比率より高くなる重みを用いて合成する画像処理方法。An edge strength detection step that detects edge strength information representing the edge strength in the acquired image, and
The first noise reduction step of performing noise reduction processing using spatial information on the image, and
A second noise reduction step of performing noise reduction processing using frequency information on the image, and
An image composition step of synthesizing a noise-reduced first post-process image in the first noise reduction step and a noise-reducing second-processed image in the second noise reduction step is included.
In the region where the edge intensity represented by the edge intensity information detected by the edge intensity detection step is larger than a predetermined threshold value in the image composition step, the composition ratio of the image after the first processing is the second processing. Image processing in which the composite ratio of the second post-processed image is higher than the composite ratio of the first post-processed image in a region higher than the composite ratio of the post-image and the intensity of the edge is smaller than the threshold value. Method.
前記画像に対して、空間情報を用いたノイズ低減処理を行う第1ノイズ低減ステップと、
前記画像に対して、周波数情報を用いたノイズ低減処理を行う第2ノイズ低減ステップと、
前記第1ノイズ低減ステップにおいてノイズ低減処理された第1処理後画像と、前記第2ノイズ低減ステップにおいてノイズ低減処理された第2処理後画像とを、前記エッジ強度検出ステップにより検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第1処理後画像の合成比率が前記第2処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第2処理後画像の合成比率が前記第1処理後画像の合成比率より高くなる重みを用いて合成する画像合成ステップとをコンピュータに実行させる画像処理プログラム。
An edge strength detection step that detects edge strength information representing the edge strength in the acquired image, and
The first noise reduction step of performing noise reduction processing using spatial information on the image, and
A second noise reduction step of performing noise reduction processing using frequency information on the image, and
The edge detected by the edge strength detection step of the image after the first processing that has been noise-reduced in the first noise reduction step and the image after the second processing that has been noise-reduced in the second noise reduction step. In the region where the strength of the edge represented by the intensity information is larger than a predetermined threshold, the composite ratio of the first processed image is higher than the composite ratio of the second processed image, and the strength of the edge is smaller than the threshold. An image processing program that causes a computer to perform an image composition step of synthesizing images using a weight that makes the composition ratio of the second processed image higher than the composition ratio of the first processed image in the region.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/067781 WO2017216903A1 (en) | 2016-06-15 | 2016-06-15 | Image processor, image processing method and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017216903A1 JPWO2017216903A1 (en) | 2019-04-11 |
JP6757407B2 true JP6757407B2 (en) | 2020-09-16 |
Family
ID=60664458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018523103A Active JP6757407B2 (en) | 2016-06-15 | 2016-06-15 | Image processing equipment, image processing method and image processing program |
Country Status (3)
Country | Link |
---|---|
US (1) | US10755399B2 (en) |
JP (1) | JP6757407B2 (en) |
WO (1) | WO2017216903A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7065360B2 (en) * | 2019-05-30 | 2022-05-12 | パナソニックIpマネジメント株式会社 | Image processing methods, image processing devices and programs |
JP7337555B2 (en) * | 2019-06-10 | 2023-09-04 | キヤノン株式会社 | Image processing device, imaging device, image processing method, program, and storage medium |
JP2023103116A (en) * | 2022-01-13 | 2023-07-26 | Tvs Regza株式会社 | image processing circuit |
CN114998175B (en) * | 2022-06-16 | 2023-09-05 | 洛阳热感科技有限公司 | Image fusion method and device based on regional edge intensity |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008113337A (en) * | 2006-10-31 | 2008-05-15 | Konica Minolta Holdings Inc | Imaging apparatus |
US8014623B2 (en) * | 2006-11-29 | 2011-09-06 | Ipera Technology, Inc. | System and method for efficiently enhancing videos and images |
US8374412B2 (en) * | 2007-06-07 | 2013-02-12 | Kabushiki Kaisha Toshiba | Data processing apparatus, medical diagnostic apparatus, data processing method and medical diagnostic method |
US8659683B1 (en) * | 2010-03-25 | 2014-02-25 | Ambarella, Inc. | Digital picture noise reduction by combining high-noise and low-noise processed pictures |
JP5677040B2 (en) * | 2010-11-08 | 2015-02-25 | キヤノン株式会社 | Image processing apparatus and control method thereof |
JP6081139B2 (en) | 2011-12-26 | 2017-02-15 | 東芝メディカルシステムズ株式会社 | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method |
JP5935649B2 (en) | 2012-10-16 | 2016-06-15 | コニカミノルタ株式会社 | Image processing apparatus and image processing method |
JP6253331B2 (en) | 2012-10-25 | 2017-12-27 | キヤノン株式会社 | Image processing apparatus and image processing method |
CN105335947B (en) | 2014-05-26 | 2019-03-01 | 富士通株式会社 | Image de-noising method and image denoising device |
-
2016
- 2016-06-15 JP JP2018523103A patent/JP6757407B2/en active Active
- 2016-06-15 WO PCT/JP2016/067781 patent/WO2017216903A1/en active Application Filing
-
2018
- 2018-12-07 US US16/213,146 patent/US10755399B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10755399B2 (en) | 2020-08-25 |
US20190108629A1 (en) | 2019-04-11 |
WO2017216903A1 (en) | 2017-12-21 |
JPWO2017216903A1 (en) | 2019-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5197414B2 (en) | Image processing apparatus and image processing method | |
EP3093818B1 (en) | Image processing apparatus that performs image restoration processing, method of controlling the same, and storage medium | |
US8941762B2 (en) | Image processing apparatus and image pickup apparatus using the same | |
JP5047048B2 (en) | Image processing apparatus, imaging apparatus, control method, program, and storage medium | |
US10755399B2 (en) | Image processing device, image processing method, and image processing program | |
JP4869653B2 (en) | Image processing device | |
US20120008005A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon | |
WO2018070100A1 (en) | Image processing device, image processing method, and photographing apparatus | |
JP2012239103A (en) | Image processing device, image processing method, and program | |
JP5781372B2 (en) | Image processing apparatus and imaging apparatus | |
JP5468930B2 (en) | Image processing apparatus and image processing program | |
JP5541205B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
JP2013055623A (en) | Image processing apparatus, image processing method, information recording medium, and program | |
WO2015098243A1 (en) | Image processing device, image capturing device, program, and image processing method | |
JP5047055B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP5907590B2 (en) | Image processing apparatus, image processing method, and program | |
JP4944061B2 (en) | Image processing apparatus and method, and program | |
JP2011171842A (en) | Image processor and image processing program | |
WO2016113805A1 (en) | Image processing method, image processing apparatus, image pickup apparatus, program, and storage medium | |
JP2008028626A (en) | Image processor, image processing method, and program | |
US9071803B2 (en) | Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program | |
JP5682443B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6024363B2 (en) | Image processing device | |
JP5178421B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP5242750B2 (en) | Image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200828 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6757407 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |