KR100249823B1

KR100249823B1 - Noise reduction method and system for still image

Info

Publication number: KR100249823B1
Application number: KR1019970053160A
Authority: KR
Inventors: 이제선; 김중배; 김성훈; 함호상; 박상봉
Original assignee: 정선종; 한국전자통신연구원
Priority date: 1997-10-16
Filing date: 1997-10-16
Publication date: 2000-03-15
Also published as: KR19990032185A

Abstract

본 발명은 문턱값을 자동적으로 선택하여 정지 영상의 노이즈 성분을 제거하는 방법에 관한 것으로서, 정지 영상에 차 연산자를 적용하여 새롭게 생성된 영상으로부터 노이즈의 통계적 특성을 예측한 후, 예측된 값으로부터 에지 영상의 검출을 위한 문턱값을 자동적으로 선택하여 에지 영상을 검출하는 단계와, 검출된 에지 영상과 에지 화소의 방향 성분을 이용하여 노이즈 제거 필터링을 하는 단계를 수행하되, 노이즈의 특성을 정확히 예측하고 이로 인한 영향을 줄임으로써 원 영상의 에지 영상을 효과적으로 검출하고, 에지 영상과 에지 화소의 방향 성분을 이용하여 노이즈 필터링을 함으로써, 영상의 종류와 노이즈의 종류에 관계 없이 빠른 시간에 영상에 포함된 노이즈를 효과적으로 줄일 수 있는 방법 및 장치에 관한 것이다.The present invention relates to a method for automatically removing a noise component of a still image by automatically selecting a threshold, and applying a difference operator to a still image to predict a statistical characteristic of the noise from a newly generated image, and then an edge from the predicted value. Detecting edge images by automatically selecting threshold values for image detection, and performing noise elimination filtering using the detected edge image and the direction components of edge pixels, and accurately predicting characteristics of noise. By reducing the effect of this, the edge image of the original image is effectively detected and the noise filtering is performed using the edge components of the edge image and the edge pixels. It relates to a method and apparatus that can effectively reduce the.

Description

Noise elimination method and device for still image

본 발명은 영상의 노이즈(Noise)에 대한 통계적 특성(평균과 분산)을 이용하여 문턱값(Threshold)을 자동적으로 선택한 후, 원 영상의 에지 성분을 나타내는 에지 영상을 구하고, 에지 영상과 에지 화소에 대한 방향 성분을 이용하여 정지 영상의 노이즈를 제거하는 방법과 장치에 관한 것이다.The present invention automatically selects a threshold using statistical characteristics (average and variance) of noise of an image, obtains an edge image representing an edge component of an original image, and obtains an edge image and an edge pixel. The present invention relates to a method and an apparatus for removing noise of a still image using a direction component.

영상으로부터 에지 영상을 구하는 것과, 영상의 노이즈를 제거하는 방법은 영상 분할(Image Segmentation), 로보트 비젼(Robot Vision) 등과 같은 여러 분야의 기초 연구로써 많이 연구되고 있으며, 특히 영상의 에지 성분의 손실을 줄이면서 노이즈를 제거하는 방법은 여러 응용 분야에서 많이 연구되고 있다.Obtaining edge image from image and removing noise of image are studied by basic research in various fields such as image segmentation, robot vision, etc. The method of removing noise while reducing has been studied in many applications.

일반적으로 에지 영상을 구하기 위해서는 문턱값을 사용하는데, 문턱값의 결정은 에지 검출에 있어 가장 까다로운 문제이다. 지금까지 이러한 문턱값을 결정하는 방법들은 많은 계산 시간을 요구하거나, 가우시안 잡음과 같은 정규 분포를 갖지 않는 잡음인 경우에 적용하기 힘들거나, 실효성이 떨어지는 단점이 있어, 매우 제한적이거나 잘 정의된 상황을 제외하고는 만족스러운 에지 영상을 생성하지 못하는 문제점을 가지고 있다. 특히 상기와 같은 문제점은 에지 영상과 에지 화소의 방향 성분을 이용하여 노이즈를 제거하는 방법에 있어 잘못된 결과를 도출할 수 있다.In general, a threshold value is used to obtain an edge image, and determination of the threshold value is the most difficult problem in edge detection. Until now, methods for determining these thresholds require a lot of computation time, are difficult to apply in the case of noise that does not have a normal distribution, such as Gaussian noise, or are less effective. Except for this, there is a problem in that a satisfactory edge image cannot be generated. In particular, the above problem may lead to an incorrect result in a method of removing noise by using the direction components of the edge image and the edge pixel.

따라서, 본 발명에서는 상기와 같은 단점을 보완하기 위해 노이즈에 대한 통계적 특성을 이용하여 문턱값을 자동적으로 선택하여 에지 영상을 구함으로써, 노이즈로 인해 잘못 검출되는 에지의 수를 줄이고, 에지 영상과 에지 화소의 방향 성분을 이용하여 노이즈를 제거하는 하여 계산 시간과 노이즈 제거 효율면에서 향상된 결과를 얻는 것을 그 목적으로 한다.Accordingly, in the present invention, the edge image is obtained by automatically selecting a threshold value using statistical characteristics of noise to compensate for the above-mentioned disadvantages, thereby reducing the number of edges detected incorrectly due to noise, and reducing the edge image and the edge. It is an object of the present invention to obtain improved results in terms of calculation time and noise removal efficiency by removing noise using the direction component of the pixel.

도 1 은 본 발명의 노이즈 제거 시스템의 구성도.1 is a block diagram of a noise removing system of the present invention.

도 2 는 본 발명에 의하여 에지 영상 검출을 위한 문턱값을 결정하여 에지 영상을 구하는 흐름도.2 is a flowchart of determining an threshold value for edge image detection to obtain an edge image according to the present invention.

도 3 은 본 발명에 의하여 검출된 에지 영상으로 노이즈를 제거하는 흐름도3 is a flowchart of removing noise with an edge image detected by the present invention.

도 4 는 본 발명의 에지 화소의 노이즈 제거 방법을 나타낸 블럭도.4 is a block diagram showing a noise removing method of an edge pixel of the present invention;

도 5 는 본 발명의 비에지 화소의 노이즈 제거 방법을 나타낸 블럭도.5 is a block diagram showing a noise removing method of a non-edge pixel of the present invention.

*도면의 주요부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

1 : 차 연산 적용부 2 : 노이즈의 통계적 특성 예측부1: difference calculation application unit 2: noise statistical characteristics prediction unit

3 : 에지 영상 검출부 4 : 에지 화소 방향 성분 검출부3: edge image detector 4: edge pixel direction component detector

5 : 노이즈 필터링부5: noise filtering unit

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.

도 1 은 본 발명에 관한 정지 영상의 노이즈 제거 시스템의 구성도이고, 도 2 는 도 1에 도시된 정지 영상의 노이즈 제거 시스템에 의한 노이즈 제거 방법으로 노이즈의 통계적 특성을 예측하여 문턱값을 결정한 후 에지 영상을 구하는 방법의 흐름도이고, 도 3 은 노이즈가 포함된 영상에 대해 본 발명에 의해 구한 에지 영상과 에지 화소의 방향 성분을 이용하여 노이즈 필터링하는 방법에 관한 흐름도이다.1 is a block diagram of a noise reduction system of a still image according to the present invention, Figure 2 is a noise removal method by the noise removal system of the still image shown in Figure 1 after predicting the statistical characteristics of the noise after determining the threshold value 3 is a flowchart of a method of obtaining an edge image, and FIG. 3 is a flowchart of a method of filtering noise using an edge image obtained by the present invention and an edge component of an image including noise.

도 1 에 도시된 바와 같이 본 발명에 관한 정지 영상의 노이즈를 제거하는 시스템은 새로운 영상을 얻도록 노이즈 영상에 차 연산자를 적용하는 차연산 적용부(1)와, 차연산 적용된 정지 영상에 포함된 노이즈 성분의 통계적 특성을 반복적인 방법으로 구하도록 새로운 영상의 통계적인 특성을 예측하는 노이즈의 통계적 특성예측부(2)와, 예측된 값으로부터 문턱값을 결정하여 에지 영상을 검출하는 에지 영상검출부(3)와, 상기의 에지 영상으로부터 각 에지 화소의 방향 성분을 검출하는 에지 화소 방향성분 검출부(4)와, 노이즈를 필터링을 하는 노이즈 필터링부(5)로 구성된다.As shown in FIG. 1, a system for removing noise of a still image according to an exemplary embodiment of the present invention includes a difference arithmetic application unit 1 for applying a difference operator to a noise image to obtain a new image, and included in the still image to which the difference is applied. A statistical characteristic predictor 2 for predicting the statistical characteristic of a new image to obtain statistical characteristics of the noise component in an iterative manner, and an edge image detector for detecting an edge image by determining a threshold value from the predicted value ( 3), an edge pixel direction component detection unit 4 for detecting the direction component of each edge pixel from the edge image, and a noise filtering unit 5 for filtering noise.

상기와 같이 구성된 노이즈 제거 시스템에서 노이즈를 제거하는 방법은 도 2 에 도시된 바와 같이 노이즈가 포함된 영상이 입력되면 차연산 적용부(1)는 입력된 영상에 대하여 한 프레임내에서 한 화소와 이웃하는 화소간에 차연산자를 적용한다(11). 차 연산자가 적용된 영상입력을 받아 상기 노이즈의 통계적 특성 예측부(2)는 차 연산자를 적용하여 얻어진 결과 영상인 새로운 영상의 평균과 표준 편차를 계산하고(12), 그로부터 노이즈의 평균과 표준 편차를 예측하여(13), 상기 노이즈의 통계적 특성으로부터 에지 영상을 위한 문턱값을 결정하고(14), 에지 영상 검출부(3)에서는 결정된 상기 문턱값을 이용하여 에지 영상을 검출한다(15). 그리고 반복횟수가 2회 미만인 경우에는 다시 차연산자 적용부(1)로 보내어 에지 영상에 대한 차연산자를 적용케 하도록 피드백시킨다.In the noise removing system configured as described above, as shown in FIG. 2, when an image including noise is input, the difference calculation unit 1 neighbors one pixel in one frame with respect to the input image. A difference operator is applied between the pixels (11). Receiving the image input to which the difference operator is applied, the statistical characteristic predictor 2 of the noise calculates the mean and standard deviation of the new image that is the resultant image obtained by applying the difference operator (12), and calculates the mean and standard deviation of the noise therefrom. In operation 13, the threshold value for the edge image is determined from the statistical characteristic of the noise, and the edge image detector 3 detects the edge image using the determined threshold value in operation 15. If the number of repetitions is less than two, the feedback is sent back to the difference operator applying unit 1 so as to apply the difference operator for the edge image.

상기 노이즈의 평균과 표준 편차를 예측하는 단계(13)에서, 노이즈 영상에 일반적인 차 연산자를 적용하여 새롭게 만들어지는 영상은 각 화소의 인접 화소에 대한 차이 값으로 구성된 영상에 해당된다. 그러나 원 영상은 인접 화소간에 높은 상관도를 갖는 반면, 노이즈는 서로 독립적인 특성을 갖는다. 따라서 차 연산 과정으로 새롭게 만들어진 영상은 이웃 노이즈 값들의 차이에 대한 영상으로 볼 수 있다. 가우시안 확율 분포를 가지는 노이즈로 가정하고, 노이즈의 평균과 표준 편차를 각각 ν와 σ라 하고, 영상에 일반적인 차 연산자인 [k₁, k₂, ..., k_N]를 적용하여 새로운 영상을 만들었을 때, 새로운 영상의 평균(a)와 표준 편차(s)는 수학식 1과 같다.In the step 13 of predicting the average and standard deviation of the noise, an image newly generated by applying a general difference operator to the noise image corresponds to an image composed of difference values of adjacent pixels of each pixel. However, the original image has a high correlation between adjacent pixels, while the noises have independent characteristics. Therefore, the newly created image by the difference operation process can be seen as the image of the difference between the neighboring noise values. Assume that the noise has Gaussian probability distribution, and the average and standard deviation of the noise are ν and σ, respectively, and apply a new difference operator [k ₁ , k ₂ , ..., k _N ] to the image. When created, the mean (a) and standard deviation (s) of the new image are shown in Equation 1.

적용한 차 연산자들의 값은 이미 알고 있는 값이므로 새롭게 만들어진 영상의 평균과 표준 편차를 구하면 수학식 1로부터 노이즈의 평균과 표준 편차를 예측할 수 있다.Since the values of the applied operators are known values, the mean and standard deviation of noise can be predicted from Equation 1 by obtaining the mean and standard deviation of the newly created image.

상기 문턱값을 결정하는 단계(14)에서, 문턱값은 노이즈의 통계적 특성으로부터 결정한다. 이때, 에지 검출을 위한 문턱값을 T라고 하면, 문턱값 T는 nσ로 정의한다. 여기에서 n은 임의의 상수이고, s는 상기에서 정의한 새롭게 만들어진 영상의 표준 편차이다. 문턱값 T를 상기한 수학식 1을 이용하여 치환하면 수학식 2와 같다.In determining the threshold 14, the threshold is determined from the statistical properties of the noise. At this time, if the threshold for edge detection is T, the threshold T is defined as nσ. Where n is any constant and s is the standard deviation of the newly created image defined above. When the threshold value T is substituted using Equation 1, Equation 2 is obtained.

상기 수학식 2에서는 수학식 2 로부터 예측한 노이즈의 표준 편차이다. 수학식 2에 대한 실험 결과 가우시안 분포를 가지는 노이즈의 경우, n의 값이 3인 경우 새롭게 만들어진 영상의 99.73%가 상, 하위 문턱값 사이에 있다. 따라서 본 발명에서는 0.27%의 오류를 원 영상의 에지로 인한 값으로 보아 n의 값을 3으로 선택한다. 상기의 방법은 문턱값 결정에 있어서, 문턱값을 임의로 결정하는 방법이 아닌 자동적으로 결정된 문턱값을 이용하여 차 연산자를 적용하여 새롭게 만든 영상에서 노이즈 성분을 제거하고 원 영상의 에지 영상을 구한다.In Equation 2, it is a standard deviation of noise predicted from Equation 2. Experimental results for Equation 2 In the case of the noise having a Gaussian distribution, when the value of n is 3, 99.73% of the newly created image is between the upper and lower thresholds. Therefore, in the present invention, the value of n is selected as 3, considering 0.27% of the error due to the edge of the original image. In the above method of determining a threshold value, a noise component is removed from a newly created image by applying a difference operator using an automatically determined threshold value, not a method of arbitrarily determining a threshold value, and an edge image of an original image is obtained.

도 3은 에지 영상 검출부(3)를 통해 노이즈 성분이 제거된 에지영상을 받아 노이즈 필터링하는 과정을 보여주고 있는 것으로, 도시된 바와 같이 에지 화소 방향 성분 검출부(4)에서 노이즈 성분이 제거된 에지 영상을 받아 에지 화소의 방향 성분을 계산하고(21), 상기 노이즈 필터부(5)에서는 상기 에지 영상과 에지 화소의 방향 성분을 이용하여 만약 적용할 화소가 에지 화소이면 상기 단계에서 구한 방향 성분을 이용하여 방향성분 마스킹을 하여 노이즈 필터링을 하고(23), 만약 에지 화소가 아닌 경우에는 3 x 3마스크를 적용하여 노이즈 필터링을 한다(24). 필터링을 통해 모든화소가 처리되었는지 보아 그렇지 않은 경우에는 다시 필터링하게 하고 모든 화소가 처리되었으면 종료하도록 한다(25)3 illustrates a process of performing noise filtering by receiving an edge image from which a noise component has been removed through the edge image detector 3, and as illustrated, an edge image from which the noise component has been removed from the edge pixel direction component detector 4. The direction component of the edge pixel is calculated (21), and the noise filter unit 5 uses the direction component of the edge image and the edge pixel, and if the pixel to be applied is an edge pixel, the direction component obtained in the step is used. By masking the direction components, noise filtering is performed (23). If it is not an edge pixel, noise filtering is performed by applying a 3 x 3 mask (24). Filtering sees that all pixels have been processed, otherwise filters again and terminates if all pixels have been processed (25).

상기 에지 화소 방향성분 검출부(4)에서 이루어지는 상기 에지 화소의 방향 성분을 구하는 단계(21)에서 에지 화소의 방향성분은 수학식 3 을 이용하여 구한다.In the step 21 of obtaining the direction components of the edge pixels made by the edge pixel direction component detector 4, the direction components of the edge pixels are obtained using Equation (3).

상기 수학식 3에서 x와 y는 각 화소의 좌표를 나타내며, a(x,y)는 각 에지 성분에 대한 방향 성분이다. G_x와 G_y는 x와 y방향에 대한 그레이 레벨(Gray Level)의 변화량이다. 본 발명에서는 에지의 방향을 수평, 수직, 대각, 반대각의 4가지 방향으로 단순화한다.In Equation 3, x and y represent coordinates of each pixel, and a (x, y) is a direction component for each edge component. G _x and G _y are the amount of change of Gray Level in the x and y directions. In the present invention, the direction of the edge is simplified in four directions: horizontal, vertical, diagonal, and opposite angles.

상기 노이즈 필터링부(5)에서는 원 영상의 각 화소에 마스크를 적용하여 노이즈를 필터링한다. 만약 적용할 화소가 에지 화소이면 상기 에지 화소 방향 성분 검출부(4)에서 구한 방향 성분을 이용하여 도 4에 도시된 바와 같이 노이즈 필터링을 하고, 만약 에지 화소가 아닌 경우에는 도 5와 도시된 바와 같은 3 x 3마스크를 적용하여 노이즈 필터링을 한다. 이때, 에지 화소의 방향 성분을 이용하여 필터링을 하는 이유는 필터링 과정에서 에지 성분이 손실되는 것을 방지하기 위함이다.The noise filtering unit 5 filters noise by applying a mask to each pixel of the original image. If the pixel to be applied is an edge pixel, noise filtering is performed using the direction component obtained by the edge pixel direction component detector 4 as shown in FIG. 4, and if it is not an edge pixel, as shown in FIG. 5. Apply 3 x 3 mask to filter noise. In this case, the reason for filtering using the direction component of the edge pixel is to prevent the edge component from being lost during the filtering process.

도 4에서 본 발명에 의하여 에지 화소의 노이즈 제거 방법을 나타낸 블록도로써, g(i,j) 는 에지로 검출된 노이즈 영상 내의 화소라고 할때, g(i,j)의 에지방향은 -45도이고, g의 평균값은 수학식 4와 같고, g(i,j)를 g의 평균 값으로 대치할 수 있다.4 is a block diagram illustrating a method of removing noise of an edge pixel according to the present invention, wherein g (i, j) is a pixel in a noise image detected as an edge, and the edge direction of g (i, j) is -45. In addition, the average value of g is the same as Equation 4, and g (i, j) can be replaced with the average value of g.

도 5 는 본 발명에 의하여 에지 화소가 아닌 화소의 노이즈 제거 방법을 나타낸 블록도로써, 여기에서는 g(i,j) 는 에지로 검출되지 않은 노이즈 영상 내의 화소라고 할때, g(i,j)의 평균값은 수학식 5와 같이 되고, g(i,j)를 g의 평균값으로 대치할 수 있다.FIG. 5 is a block diagram illustrating a method for removing noise of a pixel other than an edge pixel according to the present invention, wherein g (i, j) is a pixel in a noise image not detected as an edge. The average value of is given by Equation 5, and g (i, j) can be replaced with the average value of g.

상술한 바와 같이 본 발명에 의하면 노이즈가 포함되어 있는 영상에 대해 노이즈에 근거하여 에지 영상의 문턱값을 결정함으로 노이즈로 인해 에지 영상이 잘못 검출되는 것을 줄일 수 있고, 노이즈 제거 필터링 시에 정확한 에지 영상을 구함으로써 에지 성분의 손실을 막을 수 있다. 이는 기존의 노이즈 제거 방법들이 원 영상을 흐려지게 하는 단점을 보완하고 문턱값 결정을 단순화함과 동시에 자동화하여 게산 시간을 줄일 수 있으며, 영상 분할, 로보트 비젼, 영상 데이터 압축, 영상 복원 등과 같은 여러 응용 분야에서 참고 자료로 사용될 수 있다.As described above, according to the present invention, the threshold value of the edge image is determined based on the noise of the image including the noise, thereby reducing the false detection of the edge image due to the noise. The loss of the edge component can be prevented by obtaining. This makes up for the shortcomings of the existing noise removal methods, blurring the original image, simplifying the threshold determination, and reducing the computation time, and can be applied to various applications such as image segmentation, robot vision, image data compression, and image reconstruction. Can be used as reference in the field.

Claims

In the method of removing the noise of the still image by using the statistical characteristics of the mean and the variance of the noise of the image,

After predicting the statistical characteristics of the mean and the variance of the noise from the new image obtained by applying the difference operator between one pixel and the neighboring pixel in a frame with respect to the inputted static image with noise, the threshold value is automatically selected. An edge image detection step 10 of detecting an edge image;

Noise filtering step of removing noise by calculating a direction component of an edge pixel from the detected edge image and selectively masking an edge pixel and a non-edge pixel using the detected edge image and the direction component of the edge pixel. Noise reduction method of the still image, characterized in that

The method of claim 1,

The edge image detection step 10,

Applying a difference operator between one pixel and a neighboring pixel in a frame with respect to an input image including noise;

Calculating an average and a standard deviation of the new image obtained by applying the difference operator;

Predicting an average and a standard deviation of noise from the image characteristic calculating step;

A threshold value determining step for automatically selecting a threshold value for an edge image from the mean and standard deviation of the noise;

An edge image detection step of detecting an edge image using the determined threshold value;

And if the number of repetitions of the detected edge image is less than two times, feeding back the step of applying the difference operator to perform the above steps repeatedly.

The method of claim 1,

The noise filtering step 20,

Receiving an edge image detected by the edge image detection step (10) and calculating a direction component of an edge pixel;

If the pixel to be applied is an edge pixel by using the edge component of the edge image and the edge pixel, performing noise filtering by masking the direction component using the direction component;

If it is not an edge pixel, performing noise filtering by applying a 3 x 3 mask;

The method for removing noise of a still image, characterized by performing noise filtering again if all pixels have been processed through the noise filtering.

In the device for removing the noise of the still image by using the statistical characteristics of the mean and variance of the noise of the image,

Automatically selects the threshold after predicting the statistical characteristics of the mean and the variance of the noise from the newly created image by applying the difference operator between one pixel and neighboring pixels in a frame for the still image that contains noise. Edge image detection means for detecting an edge image;

Noise filtering means for calculating noise components of edge pixels from the detected edge images, and selectively masking edge pixels and non-edge pixels using the detected edge images and direction components of edge pixels to remove noise. Noise canceling device for still images, characterized in that.

The method of claim 4, wherein

The edge image detection means,

A new operation for repetitively obtaining statistical characteristics of noise components included in the difference-operated still image and a difference operator applying a difference operator between one pixel and a neighboring pixel in a frame with respect to the input noise image A statistical characteristic predictor of noise for predicting the statistical characteristic of?, And an edge image detector for automatically determining a threshold value from the predicted value and detecting an edge image;

The noise filtering means,

An edge pixel direction component detector for detecting a direction component of each edge pixel from the detected edge image, and a noise filtering unit for filtering noise by dividing a case where the detected pixel is an edge pixel and a non-edge pixel; Noise canceling device for still images.