KR100751154B1

KR100751154B1 - Apparatus and Method for removing mosquito noise

Info

Publication number: KR100751154B1
Application number: KR1020050031278A
Authority: KR
Inventors: 이영동
Original assignee: 엘지전자 주식회사
Priority date: 2005-04-15
Filing date: 2005-04-15
Publication date: 2007-08-22
Also published as: KR20060109043A

Abstract

본 발명은 모기 잡음 제거장치 및 제거방법에 관한 것으로서, 본 발명에 따르면 영상의 각 픽셀들의 그래디언트(gradient) 값을 구하고, 상기 구한 그래디언트 값을 임계값(threshold) 처리를 통해 이진화하여 상기 영상에 나타나는 피사체들의 경계선을 검출한 후, 상기 경계선에 손상된 부분이 있는지를 판단하여 손상된 분이 있는 경우 손상된 경계선을 보상한다. 그리고 상기 보상한 경계선 이외의 영역을 필터링 함으로써 상기 피사체들의 경계선 부근에 나타나는 모기 잡음을 제거한다.The present invention relates to a mosquito noise removing device and a method for removing the same. According to the present invention, a gradient value of each pixel of an image is obtained, and the obtained gradient value is binarized through a threshold process to appear in the image. After detecting the boundary lines of the subjects, it is determined whether there is a damaged portion in the boundary line, and the damaged boundary line is compensated if there is a damaged one. And by filtering the area other than the compensated boundary line to remove the mosquito noise appearing near the boundary line of the subject.

모기 잡음, 임계값 처리, 모폴로지 기법, 미디언 필터 Mosquito noise, threshold processing, morphology technique, median filter

Description

Apparatus and Method for removing mosquito noise}

도 1은 본 발명의 모기 잡음 제거장치의 실시예의 블럭도.1 is a block diagram of an embodiment of the mosquito noise removing device of the present invention.

도 2는 본 발명의 모기 잡음 제거방법의 실시예의 흐름도.2 is a flowchart of an embodiment of the mosquito noise removing method of the present invention.

도 3a는 소벨(sobel) 마스크를 적용하기 위한 원 영상의 일부분을 나타낸 그래프.3A is a graph showing a portion of an original image for applying a sobel mask.

도 3b는 소벨(sobel) 마스크의 수평 경계 연산자를 나타낸 그래프.3B is a graph illustrating the horizontal boundary operator of a sobel mask.

도 3c는 소벨(sobel) 마스크의 수직 경계 연산자를 나타낸 그래프. 3C is a graph illustrating the vertical boundary operator of a sobel mask.

도 4a는 프리윗(Prewitt) 마스크의 수평 경계 연산자를 나타낸 그래프.4A is a graph illustrating the horizontal boundary operator of a Prewitt mask.

도 4b는 프리윗(Prewitt) 마스크의 수직 경계 연산자를 나타낸 그래프.4B is a graph showing the vertical boundary operator of a Prewitt mask.

도 5a는 로버트(Roberts) 마스크의 수평 경계 연산자를 나타낸 그래프.FIG. 5A is a graph showing the horizontal boundary operator of the Roberts mask. FIG.

도 5b는 로버트(Roberts) 마스크의 수직 경계 연산자를 나타낸 그래프.FIG. 5B is a graph illustrating the vertical boundary operator of Roberts mask. FIG.

도 6은 임계값을 19로 하는 경우의 이진화를 나타낸 그래프.6 is a graph showing binarization when the threshold is set to 19. FIG.

도 7은 검출된 경계선이 부분적으로 손상된 모습을 나타낸 그래프.7 is a graph showing a state in which the detected boundary line is partially damaged.

도 8a 내지 도 8c는 손상된 경계선을 보상하는 과정을 나타낸 그래프.8A to 8C are graphs showing a process of compensating for damaged boundaries.

도 9는 본 발명의 모기 잡음 제거방법에 있어 필터링 하는 과정을 나타낸 흐름도.9 is a flow chart showing a filtering process in the mosquito noise removing method of the present invention.

도 10은 본 발명의 모기 잡음 제거방법에 있어 필터링의 실시예를 나타낸 그래프.10 is a graph showing an embodiment of filtering in the mosquito noise removing method of the present invention.

본 발명은 영상의 모기 잡음 제거장치 및 제거방법에 관한 것으로서, 영상에 나타나는 피사체들의 경계선을 검출한 후, 검출한 경계선 이외의 영역을 필터링하여 잡음을 제거하는 모기 잡음 제거장치 및 제거방법에 관한 것이다.The present invention relates to an apparatus and method for removing mosquito noise in an image. The present invention relates to a mosquito noise removing apparatus and method for removing noise by detecting a boundary of a subject appearing in an image and then filtering an area other than the detected boundary. .

모기 잡음(Mosquito Noise)이란 영상이 디스플레이될 때, 움직이는 물체의 경계선 주위에 나타나는 왜곡(distortion) 현상으로 사람의 머리나 어깨 주위에 모기가 날아다니는 모습과 비슷하다 하여 붙여진 이름이다.Mosquito noise is a distortion that appears around the boundaries of moving objects when an image is displayed. It is named after mosquitoes flying around a person's head or shoulders.

이러한 모기 잡음은 영상 데이터를 예를 들면, MPEG(Moving Picture Experts Group)표준으로 인코딩할 때, 하나의 영상을 M ×N 블럭으로 나누어서 이산 여현 변환(Discrete Cosine Transform : DCT)을 하는 과정에서 고주파 성분이 제거되는 현상 때문에 생기게 된다.This mosquito noise is a high frequency component in the process of discrete cosine transform (DCT) by dividing an image into M × N blocks when encoding image data into, for example, the Moving Picture Experts Group (MPEG) standard. This is caused by the phenomenon of being removed.

이를 보다 자세히 설명하면, MPEG은 전체를 하나로 보면 손실 부호화이지만 그 구성요소를 살펴보면 손실 부호화와 무손실 부호화가 결합 되어 있다. 여기서 손실 부호화란 영상, 음향, 음성 등과 같이 인간이 시청각 기관으로 느끼는 정보를 눈이나 귀가 거의 느낄 수 없을 정도의 에러를 허용하여 압축률을 높이는 방식을 말하며, 상기 손실 부호화 기법으로 가장 널리 쓰이는 방식이 변환 부호화이다.To explain this in more detail, MPEG is lossy coding as a whole, but looking at its components, lossy coding and lossless coding are combined. Here, lossy coding refers to a method of increasing the compression rate by allowing an error such that an eye or ear can hardly feel information felt by an audiovisual organ, such as an image, sound, or voice, and the most widely used method is the lossy coding technique. Coding.

상기 변환 부호화의 기본 구조는 공간적으로 높은 상관도를 가지면서 배열되어 있는 데이터를 직교 변환에 의하여 저주파 성분으로부터 고주파 성분에 이르기까지 여러 주파수 성분으로 나누어 주파수 성분별로 달리 양자화하는 것이다.The basic structure of the transform encoding is to quantize differently arranged data having various correlations from low frequency components to high frequency components by orthogonal transformation with spatially high correlation.

여러 가지의 직교 변환 가운데 이론적으로 영상 신호의 에너지 집중 특성이 가장 뛰어나 압축에 가장 효과적인 것이 카루넨-뢰브 변환(KLT)인데, 이는 영상에 따라 변환 함수가 새로 정의되어야 하므로 현실적으로는 사용할 수 없다. 그런데, 이러한 카루넨-뢰브 변환(KLT)의 성능과 가장 가까운 성능을 가지면서 구현 가능한 변환이 앞서 말한 DCT(Discrete Cosine Transform: 이산 여현 변환) 이다.Among the various orthogonal transforms, the most energy efficient characteristic of the video signal is theoretically the most effective for compression. The Karenen-Lube transform (KLT) cannot be used in reality because the transform function must be newly defined according to the image. By the way, the transform that has the closest performance to that of the Karunen-Lube transform (KLT) and which can be implemented is the aforementioned discrete cosine transform (DCT).

상기 DCT에 의해 영상 데이터는 시간 영역(time domain)에서 주파수 영역(frequency domain)으로 바뀌게 되며, 시간 영역에서 주파수 영역으로 바뀐 데이터는 에너지가 많이 모이는 주파수 성분이 보다 많은 비트를 할당 받아 그 주파수 성분을 보다 충실히 표현하도록 되어 있다. By the DCT, image data is changed from the time domain to the frequency domain, and the data changed from the time domain to the frequency domain is allocated with more bits of frequency components where energy is collected. It is to be expressed more faithfully.

그런데, 영상의 경우 대부분의 데이터는 저주파 성분에 집중되어 있고 고주파 성분의 데이터는 상기 저주파 성분에 비하여 상대적으로 매우 적게 포함되어 있다.However, in the case of an image, most of the data is concentrated in the low frequency component, and the data of the high frequency component is contained relatively less than the low frequency component.

따라서, 저주파 성분에는 많은 양의 비트(bit)가 할당되어 이를 보다 충실히 표현하도록 하고 있고, 이에 반하여 고주파 성분에는 상기 저주파 성분보다 상대적으로 적은 양의 비트가 할당되고 있기 때문에 고주파 성분이 제거되는 현상이 나타나게 된다.Therefore, a large amount of bits are allocated to the low frequency component to more faithfully express them. On the other hand, since a relatively small amount of bits are allocated to the high frequency component, the high frequency component is removed. Will appear.

이와 같이, 영상 데이터에서 고주파 성분이 제거된 상태로 인코딩됨에 따라 이를 디코딩하여 디스플레이하는 경우, 고주파 성분에 해당하는 피사체들의 경계선 부근에서 모기 잡음이 나타나게 되는데 이러한 모기 잡음은 사용자가 방송을 시청할 때 시각적인 화질을 떨어뜨려 사용자로 하여금 불쾌감을 느끼게 하는 문제점이 있다.As such, when the high frequency component is encoded in a state in which the high frequency component is removed, the mosquito noise appears near the boundary line of the subject corresponding to the high frequency component. There is a problem that makes the user feel uncomfortable by lowering the image quality.

본 발명의 목적은, 움직이는 물체의 경계선을 검출하고 검출한 경계선 이외의 영역을 필터링하여 모기 잡음을 제거함으로써 보다 깨끗한 화질을 얻을 수 있는 모기 잡음 제거장치 및 그 제거방법을 제공하는데 있다.Disclosure of Invention An object of the present invention is to provide a mosquito noise removing device and a method for removing the mosquito noise by detecting a boundary of a moving object and filtering an area other than the detected boundary to remove mosquito noise.

본 발명의 모기 잡음 제거장치의 실시예는, 입력되는 영상의 각 픽셀(pixel)들의 그래디언트(gradient) 값을 구하는 미분 연산부와, 상기 미분 연산부에서 구한 그래디언트 값을 미리 선정한 임계값과 비교하고, 상기 비교 결과에 따라 상기 입력된 영상에 나타나는 피사체들의 경계선을 검출하는 경계선 검출부와, 상기 경계선 검출부에 의해 검출된 경계선에 손상된 부분이 있는지를 판단하고, 상기 판단 결과에 따라 손상된 경계선을 보상해주는 경계선 보상부와, 상기 경계선 보상부에 의해 보상된 경계선 이외의 영역을 필터링하여 잡음을 제거하는 필터링부로 이루어지는 것을 특징으로 한다.In an embodiment of the mosquito noise removing device of the present invention, a derivative calculator for obtaining gradient values of pixels of an input image and a gradient value obtained from the differential calculator are compared with a threshold value previously selected. The boundary detection unit which detects the boundary of the subjects appearing in the input image according to the comparison result, and the boundary compensation unit which determines whether there is a damaged portion in the boundary detected by the boundary detection unit, and compensates the damaged boundary according to the determination result. And a filtering unit for filtering out an area other than the boundary line compensated by the boundary compensation unit to remove noise.

본 발명의 모기 잡음 제거방법의 실시예는, 미분 연산자를 이용하여 각 픽셀(pixel)들의 그래디언트(gradient) 값을 구하는 단계와, 상기 그래디언트 값을 임계값(threshold)처리를 통해 이진화하여 영상에 나타나는 피사체들의 경계선을 검 출하는 단계와, 상기 검출된 경계선에 손상된 부분이 있는지 판단하는 단계와, 상기 단계의 판단 결과, 상기 검출된 경계선이 손상되어 있는 경우 손상된 경계선을 보상해주는 단계와, 상기 보상한 경계선 이외의 영역을 필터링 하여 잡음을 제거하는 단계로 이루어지는 것을 특징으로 한다.An embodiment of the mosquito noise removing method of the present invention includes obtaining a gradient value of each pixel by using a differential operator, and binarizing the gradient value through threshold processing to appear on an image. Detecting boundary lines of the subject, determining whether there is a damaged portion in the detected boundary line, compensating for the damaged boundary line when the detected boundary line is damaged as a result of the determination of the step; It is characterized in that it comprises a step of removing noise by filtering the area other than the boundary line.

상기 그래디언트(gradient) 값을 구하기 위한 미분 연산자는 소벨(sobel), 로버트(Robert), 프리윗(Prewitt) 마스크 중 어느 하나인 것을 특징으로 한다.The derivative operator for obtaining the gradient value is any one of a sobel, Robert, and a prewitt mask.

상기 임계값(threshold)처리를 위한 임계값은 0 ~ 255의 명암도를 갖는 그레이 레벨 영상의 경우 17 ~ 21인 것을 특징으로 한다.The threshold for the threshold processing may be 17 to 21 in the case of a gray level image having a contrast level of 0 to 255.

상기 손상된 경계선의 보상은, 보상하고자 하는 픽셀의 좌우 픽셀 값이 모두 1인 경우 상기 보상하고자 하는 픽셀 값을 1로 하고, 그 이외의 경우는 원래의 값을 유지하는 것을 특징으로 한다.The compensation of the damaged boundary is characterized in that the pixel value to be compensated is 1 when the left and right pixel values of the pixel to be compensated are all 1, and otherwise, the original value is maintained.

상기 필터링은, 상기 경계선 보상부로부터 입력되는 픽셀이 상기 경계선에 해당하는지 판단하는 단계와, 상기 단계의 판단 결과, 상기 경계선 보상부로부터 입력되는 픽셀이 상기 경계선에 해당하지 않는 경우, 상기 경계선 보상부로부터 입력되는 픽셀과 동일한 좌표에 있는 상기 영상 저장부에서 추출한 픽셀의 픽셀 값과 상기 추출한 픽셀에 인접해 있는 8개 픽셀들의 픽셀 값의 전체 평균값을 구하는 단계와, 상기 영상 저장부에서 추출한 픽셀의 픽셀 값을 상기 단계의 픽셀 값 중에서 픽셀 값의 전체 평균값과 가장 가까운 값을 갖는 픽셀 값으로 대체하는 단계로 이루어지는 것을 특징으로 한다.The filtering may include determining whether a pixel input from the boundary compensator corresponds to the boundary line, and if the pixel input from the boundary compensator does not correspond to the boundary line, as a result of the determination of the step, the boundary compensator. Obtaining a total average value of pixel values of a pixel extracted by the image storage unit at the same coordinates as a pixel input from the pixel value and pixel values of eight pixels adjacent to the extracted pixel, and pixels of the pixel extracted by the image storage unit; And replacing the value with a pixel value having a value closest to the overall average value of the pixel values among the pixel values in the above step.

상기 판단의 결과, 상기 경계선 보상부로부터 입력되는 픽셀이 상기 경계선 에 해당하는 경우, 상기 경계선 보상부로부터 입력되는 픽셀과 동일한 좌표에 있는 상기 영상 저장부에서 추출한 픽셀의 픽셀 값을 유지시키는 것을 특징으로 한다.As a result of the determination, when the pixel input from the boundary compensator corresponds to the boundary line, the pixel value of the pixel extracted by the image storage unit at the same coordinates as the pixel input from the boundary compensator is maintained. do.

이하, 첨부된 도 1 내지 도 10을 참조하여 본 발명의 모기 잡음 제거장치 및 제거방법에 대해 상세히 설명한다. 도 1은 본 발명의 모기 잡음 제거장치의 실시예의 블럭도이다. 이에 도시된 바와 같이, 처리하고자하는 영상이 저장되어 있는 영상 저장부(100)와, 상기 영상 저장부(100)로부터 입력되는 영상의 각 픽셀(pixel)들의 그래디언트(gradient) 값을 구하는 미분 연산부(110)와, 상기 미분 연산부(110)에서 구한 각 픽셀들의 그래디언트 값을 미리 선정한 임계값과 비교하고, 상기 비교 결과에 따라 상기 입력된 영상에 나타나는 피사체들의 경계선을 검출하는 경계선 검출부(120)와, 상기 경계선 검출부(120)에 의해 검출된 경계선에 손상된 부분이 있는지를 판단하고, 상기 판단 결과에 따라 상기 손상된 경계선 부분을 보상해주는 경계선 보상부(130)와, 상기 경계선 보상부(130)에 의해 보상된 경계선 이외의 영역을 필터링하여 잡음을 제거하는 필터링부(140)로 구성하였다.Hereinafter, with reference to the accompanying Figures 1 to 10 will be described in detail with respect to the mosquito noise removing device and method of the present invention. 1 is a block diagram of an embodiment of the mosquito noise removing device of the present invention. As shown in the drawing, an image storage unit 100 storing an image to be processed and a derivative calculator calculating gradient values of pixels of an image input from the image storage unit 100 ( 110, a boundary detector 120 for comparing the gradient values of the pixels obtained by the differential calculator 110 with a threshold value previously selected, and detecting a boundary line of the subjects appearing in the input image according to the comparison result; The boundary line detection unit 130 determines whether there is a damaged portion in the boundary line detected by the boundary line detection unit 120, and compensates the damaged boundary line portion according to the determination result, and compensates by the boundary line compensation unit 130. The filtering unit 140 removes noise by filtering an area other than the boundary line.

이와 같이 구성된 본 발명의 모기 잡음 제거장치에 있어서, 처리하고자 하는 영상은 영상 저장부(100)에 저장되며, 상기 영상 저장부(100)에 영상이 저장되면, 미분 연산부(110)는 상기 영상 저장부(100)에서 처리하고자 하는 영상을 추출하여상기 영상에 나타나는 피사체들의 경계선을 검출하기 위한 각 픽셀들의 그래디언트 값을 구한다.In the mosquito noise removing device of the present invention configured as described above, the image to be processed is stored in the image storage unit 100, and when the image is stored in the image storage unit 100, the derivative operation unit 110 stores the image. The image 100 to be processed by the processor 100 extracts a gradient value of each pixel for detecting boundary lines of the subjects displayed on the image.

영상에서 각 픽셀 값의 기울기를 그래디언트(gradient)라고 하는데 상기 그래디언트의 크기를 구하면 상기 영상에 나타나는 피사체들의 경계선을 구할 수 있게 된다. 즉, 경계선은 영상의 밝기 값(intensity)이 높은 값에서 낮은 값으로 또는 낮은 값에서 높은 값으로 급격히 변화하는 부분에 존재하게 되는데, 이는 상기 그래디언트의 크기가 큰 곳이라고 할 수 있으며, 그래디언트 값이 큰 곳이 상기 피사체들의 경계선이 된다.The gradient of each pixel value in the image is called a gradient, and when the size of the gradient is obtained, the boundary lines of the objects appearing on the image can be obtained. In other words, the boundary line is present in a portion where the intensity of the image changes rapidly from a high value to a low value or from a low value to a high value, which is a place where the size of the gradient is large. A large place becomes the boundary of the subjects.

여기서, 상기 그래디언트 값은 미분 연산자를 통하여 구할 수 있으며, 상기 미분 연산자로는 소벨(sobel) 마스크, 프리윗(Prewitt) 마스크, 로버트(Roberts) 마스크 등이 있다.Here, the gradient value may be obtained through a derivative operator, and the derivative operator may include a sobel mask, a prewitt mask, and a Roberts mask.

상기 미분 연산부(110)에서 구한 그래디언트 값은 경계선 검출부(120)로 입력되는데, 상기 경계선 검출부(120)는 입력되는 그래디언트 값과 미리 선정된 임계값을 비교하여 영상에 나타나는 피사체들의 경계선을 검출한다.The gradient value obtained by the differential calculation unit 110 is input to the boundary line detection unit 120. The boundary line detection unit 120 detects the boundary line of the subjects displayed on the image by comparing the input gradient value with a predetermined threshold value.

즉, 상기 경계선 검출부(120)에서는 입력되는 픽셀의 그래디언트 값이 미리 선정된 임계값보다 크면 하이 값(1)을, 입력되는 픽셀의 그래디언트 값이 상기 임계값보다 작으면 로우 값(0)을 출력하여 상기 픽셀의 그래디언트 값을 이진화한다. 여기서, 상기 경계선 검출부(120)가 하이 값(1)을 출력하는 경우 상기 경계선 검출부(120)에 입력되는 픽셀은 경계 픽셀로 간주하고, 상기 경계선 검출부(120)가 로우 값(0)를 출력하는 경우는 비 경계 픽셀로 간주한다.That is, the boundary line detector 120 outputs a high value when the gradient value of the input pixel is greater than a predetermined threshold value and a low value (0) when the gradient value of the input pixel is smaller than the threshold value. To binarize the gradient value of the pixel. In this case, when the boundary line detector 120 outputs a high value 1, the pixel input to the boundary line detector 120 is regarded as a boundary pixel, and the boundary line detector 120 outputs a low value 0. The case is considered to be a non-boundary pixel.

경계선 보상부(130)는 상기 경계선 검출부(120)에서 검출한 피사체들의 경계선에 손상된 부분이 있는지를 판단하여, 손상된 부분이 있는 경우 상기 손상된 경 계선을 보상한다.The boundary compensator 130 determines whether there is a damaged portion in the boundary of the subjects detected by the boundary detecting unit 120, and compensates for the damaged boundary line when the damaged portion exists.

즉, 경계선에 해당하는 데도 불구하고 경계선으로 구분되지 않아 경계선이 연속적으로 나타나지 못하고 부분적으로 손상되어 나타나는 경우가 있는데 상기 경계선 보상부(130)를 통해 이러한 부분을 보상해 준다.That is, even though the boundary line is not divided into boundary lines, the boundary lines may not appear continuously but partially damaged, and these portions are compensated by the boundary compensation unit 130.

여기서, 상기 검출된 경계선에 손상된 부분이 있는지는 예를 들면, 1 ×3 검출 필터를 통하여 영상 전체를 처리할 때 경계 픽셀(이진화한 경우 1의 값을 갖는 픽셀)이 연속적으로 나오다가 갑자기 비 경계 픽셀(이진화한 경우 0의 값을 갖는 픽셀)이 나오는 경우 또는 비 경계 픽셀이 나온 후에 연속적으로 경계 픽셀이 나오는 경우 또는 경계 픽셀과 경계 픽셀 사이에 비 경계 픽셀이 포함되어 있는 경우 등에 있어서 상기 비 경계 픽셀을 경계선이 손상된 부분으로 판단한다.Here, whether or not there is a damaged portion in the detected boundary line, for example, when processing the entire image through a 1 × 3 detection filter, the boundary pixels (pixels having a value of 1 when binarized) continuously come out and then suddenly the non-boundary pixels The non-boundary pixel in the case of (binarized pixel having a value of 0) or when the boundary pixel is continuously output after the non-boundary pixel or the non-boundary pixel is included between the boundary pixel and the boundary pixel. It is determined that the boundary is damaged.

필터링부(140)는 상기 경계선 보상부(130)를 통하여 입력되는 픽셀이 경계선에 해당하는지를 판단하여 경계선에 해당하는 경우는 필터링을 수행하지 않고 원래의 픽셀 값을 그대로 유지하며, 경계선에 해당하지 않는 경우에 필터링을 수행하여 잡음을 제거한다.The filtering unit 140 determines whether a pixel input through the boundary compensator 130 corresponds to a boundary line, and if the pixel line corresponds to a boundary line, the filtering unit 140 maintains the original pixel value without performing filtering and does not correspond to the boundary line. In this case, filtering is performed to remove noise.

즉, 상기 필터링부(140)는 상기 경계선 보상부(130)에서 입력되는 이진화된 픽셀 값이 1로서 경계선이라고 판단되면 필터링을 수행하지 않으며, 입력되는 이진화된 픽셀 값이 0으로서 경계선에 해당하지 않는다고 판단되면 상기 영상 저장부(100)에서 처리하고자 하는 영상을 추출한 후 영상의 해당 부분을 필터링하여 잡음을 제거한다.That is, the filtering unit 140 does not perform filtering when the binarized pixel value input from the boundary compensator 130 is 1 as a boundary line, and the input binarized pixel value does not correspond to a boundary line as 0. When it is determined, the image storage unit 100 extracts an image to be processed and filters the corresponding portion of the image to remove noise.

여기서, 상기 필터링부(140)는 예를 들어, 3 ×3 블럭의 필터를 이용하여 전 체 이미지를 처리하는데, 상기 경계선 보상부(130)에서 입력되는 픽셀 즉, 상기 3 ×3 필터의 중간 블럭 위치에 입력되는 픽셀이 경계선에 해당하지 않는다고 판단되면, 상기 영상 저장부(100)에서 추출한 영상의 픽셀 중에서 상기 입력되는 픽셀과 동일한 좌표에 위치하는 픽셀의 픽셀 값과 그에 인접한 8개의 픽셀의 픽셀 값의 전체 평균값을 구한 후, 상기 영상 저장부(100)에서 추출한 상기 픽셀의 픽셀 값을 상기 픽셀 값 중에서 상기 전체 평균값과 가장 가까운 픽셀 값으로 대체함으로써 잡음을 제거한다.Here, the filtering unit 140 processes the entire image using, for example, a 3 × 3 block filter, which is a pixel input from the boundary compensator 130, that is, an intermediate block of the 3 × 3 filter. If it is determined that the pixel inputted at the position does not correspond to the boundary line, the pixel value of the pixel located at the same coordinate as the input pixel among the pixels of the image extracted by the image storage unit 100 and the pixel value of eight adjacent pixels. After obtaining the total average value of, the noise is removed by replacing the pixel value of the pixel extracted by the image storage unit 100 with the pixel value closest to the total average value among the pixel values.

도 2는 본 발명의 모기 잡음 제거방법의 실시예의 흐름도이다. 이에 도시된 바와 같이 먼저, 상기 미분 연산부(110)는 처리하고자 하는 영상을 상기 영상 저장부(100)에서 추출한다(S 10).2 is a flowchart of an embodiment of the mosquito noise removing method of the present invention. As shown in the drawing, first, the differential calculating unit 110 extracts an image to be processed from the image storing unit 100 (S 10).

그리고, 상기 추출한 영상에 나타나는 피사체들의 경계선을 검출하기 위해 미분 연산자를 이용하여 각 픽셀(pixel)들의 그래디언트(gradient) 값을 구한다(S 20).In order to detect the boundary lines of the subjects appearing in the extracted image, a gradient value of each pixel is obtained using a differential operator (S20).

상기 각 픽셀들의 그래디언트 값을 구할 때 미분 연산자의 역할을 해주는 것이 마스크인데 여기서, 마스크란 영상 안에서 일정 부분에 위치시키기 위한 어떤 행렬 모양을 한 구조체를 말하며 주로 3 ×3, 5 ×5 등과 같은 정방 행렬이 많이 사용된다.The mask is used as a differential operator to calculate the gradient values of the pixels, and the mask is a structure having a certain matrix shape for positioning at a certain part in the image, and is mainly a square matrix such as 3 × 3, 5 × 5, etc. This is used a lot.

도 3b 내지 도 3c는 소벨(sobel) 마스크의 수평, 수직 경계 연산자를 나타낸 그래프이다. 보통 미분 연산자로서 3 ×3 마스크를 많이 사용하고 있으며 여기서도 3 ×3 소벨 마스크를 사용하였다. 상기 소벨 마스크의 경우 가운데 값에 비중을 두 기 위해 가운데에 2를 곱해 주었다.3B to 3C are graphs showing horizontal and vertical boundary operators of a sobel mask. Usually, 3 × 3 masks are frequently used as differential operators, and 3 × 3 Sobel masks are also used here. The Sobel mask was multiplied by 2 to give specific gravity to the middle value.

그리고, G_x(21)는 x 방향으로의 경계선을 검출하기 위한 수평 경계 연산자이며, G_y(22)는 y 방향으로의 경계선을 검출하기 위한 수직 경계 연산자이다.G _x 21 is a horizontal boundary operator for detecting a boundary line in the x direction, and G _y 22 is a vertical boundary operator for detecting a boundary line in the y direction.

여기서, 픽셀의 그래디언트 값은 원 영상 위에 상기 3 ×3 마스크를 위치시킨 뒤, 마스크의 계수와 상기 마스크의 계수에 대응하는 원 영상의 각 픽셀이 갖는 값을 곱한 다음 이를 합산한 값을 상기 3 ×3 마스크의 중앙 위치에 대응하는 원 영상의 해당 픽셀에 할당함으로써 얻어진다.Here, the gradient value of the pixel is located on the original image, the 3 × 3 mask is located on the original image, the coefficient of the mask multiplied by the value of each pixel of the original image corresponding to the coefficient of the mask and then sum the sum 3 × 3 3 is obtained by assigning to the corresponding pixel of the original image corresponding to the center position of the mask.

즉, 도 3a에서 원 영상(10)의 Z₅ 픽셀의 그래디언트 값을 구하고자 하는 경우, 상기 원 영상(10)이 마스크 G_x(21)를 통과한 값을 G_x 라고 하면,That is, Z ₅ of the original image 10 in FIG. 3A If the gradient value of the pixel is to be obtained, the value of the original image 10 passing through the mask G _x 21 is G _x. Speaking of

G_x = ( Z₁ + 2Z₂ + Z₃ ) - ( Z₇ + 2Z₈ + Z₉ ) G _x = (Z ₁ + 2Z ₂ + Z ₃ )-(Z ₇ + 2Z ₈ + Z ₉ )

이 되고, 원 영상(10)의 Z₅ 가 마스크 G_y(22)를 통과한 값을 G_y 라고 하면,Z ₅ of the original image 10 Passes the mask G _y (22) to the value of G _y Speaking of

G_y = ( Z₃ + 2Z₆ + Z₉ ) - ( Z₁ + 2Z₄ + Z₇ ) G _y = (Z ₃ + 2Z ₆ + Z ₉ )-(Z ₁ + 2Z ₄ + Z ₇ )

이 된다. 그리고, 상기 마스크 G_x(21)와 G_y(22)를 통과한 최종 결과는 G_x 와 G_y각각을 제곱해서 더한 다음 그 값의 제곱근을 구하는 방식으로 구하게 된다.Becomes The final result of passing through the masks G _x 21 and G _y 22 is G _x. The square root of that value is then summed by adding each squared and G _y squared.

즉, 원 영상(10)의 Z₅의 그래디언트 값은,That is, the gradient value of Z ₅ of the original image 10 is

이 된다. 그러나, 이 방식은 제곱근을 계산하기 위해서 많은 양의 연산이 필요하므로 여기서는 상기 수학식 1보다 간단한 계산을 위해 다음과 같은 방식을 사용한다. 즉,Becomes However, since this method requires a large amount of operations to calculate the square root, the following method is used for a simpler calculation than Equation 1 above. In other words,

또한, G_x ² 이나 G_y ² 대신에 G_x 와 G_y의 절대값인

와

를 이용할 수도 있다. 즉,In addition, G _x ² Or G _y ² Instead the absolute values of G _x and G _y

Wow

Can also be used. In other words,

상기 수학식 2와 수학식 3을 이용하면 제곱근을 사용하지 않고도 상기 수학식 1에 의하는 경우와 유사한 값을 얻을 수 있어 계산량을 줄일 수 있다.By using Equations 2 and 3, a value similar to that of Equation 1 can be obtained without using a square root, thereby reducing the amount of calculation.

여기서, 상기 그래디언트 값을 구할 때 영상 입력이 RGB 인 경우, RGB 각각의 그래디언트 값을 구해서 그 중 가장 큰 값을 그래디언트 값으로 하는 것이 바람직하다.Here, when the image input is RGB when obtaining the gradient value, it is preferable to obtain the gradient value of each RGB and make the largest value of the gradient value.

그리고, 영상 입력이 YCbCr 이나 YUV 등의 경우에는 세 가지 전부를 계산하여 그 중 가장 큰 값을 그래디언트 값으로 할 수도 있지만 Y(Luminance:휘도) 값만 을 계산하여 이것을 해당 픽셀의 그래디언트 값으로 해도 무방하다. And, if the video input is YCbCr or YUV, all three may be calculated and the largest value may be used as the gradient value. However, only the Y (Luminance) value may be calculated to be the gradient value of the corresponding pixel. .

이것은 입력이 YCbCr 이나 YUV 등의 경우, 사람의 눈은 색상(CbCr, UV) 보다는 밝기(Y)에 민감하기 때문에 Y 값만을 계산하여 이것을 해당 픽셀의 그래디언트 값으로 하더라도 영상에 나타나는 피사체들의 경계선을 검출하는데는 지장이 없기 때문이다.This is because when the input is YCbCr or YUV, the human eye is more sensitive to brightness (Y) than color (CbCr, UV). This is because there is no problem.

또한 영상 입력이 RGB 인 경우라 하더라도 G 값만 계산하여 이것을 해당 픽셀의 그래디언트 값으로 할 수 있는데, 이것 역시 사람의 눈이 R(Red), G(Green), B(Blue) 중에서 G(Green)에 가장 민감하기 때문이다. 이와 같이 하면 각 픽셀들의 그래디언트 값을 구하는데 있어 계산량을 줄일 수 있게 된다.In addition, even if the image input is RGB, only the G value can be calculated and this can be used as a gradient value of the corresponding pixel. This also causes the human eye to display G (Green) among R (Red), G (Green), and B (Blue). Because it is the most sensitive. This can reduce the amount of computation in obtaining the gradient values of each pixel.

상기 그래디언트 값을 구하기 위한 미분 연산자로는 상기 소벨(Sobel) 마스크뿐만 아니라 도 4a 내지 도 4b에 도시된 바와 같이 프리윗(Prewitt) 마스크나, 도 5a 내지 도 5b에 도시된 바와 같이 로버트(Roberts) 마스크를 이용할 수도 있다.As the derivative operator for calculating the gradient value, not only the Sobel mask but also a Prewitt mask as shown in FIGS. 4A to 4B or Roberts as shown in FIGS. 5A to 5B. You can also use a mask.

도 4a는 프리윗 마스크의 수평 경계 연산자를 나타낸 그래프이고, 도 4b는 프리윗 마스크의 수직 경계 연산자를 나타낸 그래프이다. 상기 프리윗 마스크는 상기 소벨 마스크의 경우와 거의 같은 결과 값을 나타내지만 응답 시간이 약간 빠르며 밝기의 경계에 대해 가중치를 약간 다르게 주었다. 이와 같이 마스크의 가중치를 다르게 주어 경계선 검출시 경계선이 덜 부각되어 나타나도록 한다.FIG. 4A is a graph illustrating a horizontal boundary operator of a sweet mask, and FIG. 4B is a graph illustrating a vertical boundary operator of a sweet mask. The pretight mask has almost the same result as that of the Sobel mask, but the response time is slightly faster and the weight is slightly different for the boundary of brightness. As such, the weights of the masks are different so that the boundary lines appear less prominently when the boundary line is detected.

도 5a는 로버트 마스크의 수평 경계 연산자를 나타낸 그래프이고, 도 5b는 로버트 마스크의 수직 경계 연산자를 나타낸 그래프이다. 상기 로버트 마스크는 경 계선 검출 마스크 중 기본이 되는 마스크로서 잡음에 매우 민감하고, 매우 빠른 계산 속도를 나타내며, 마스크의 모양은 45도의 기울기를 가지고 있다.FIG. 5A is a graph illustrating the horizontal boundary operator of the Robert mask, and FIG. 5B is a graph illustrating the vertical boundary operator of the Robert mask. The Robert mask is a basic mask among the boundary line detection masks, is very sensitive to noise, has a very fast calculation speed, and the shape of the mask has an inclination of 45 degrees.

다음으로, 경계선 검출부(120)는 상기 미분 연산부(110)가 구한 각 픽셀들의 그래디언트 값을 임계값(Threshold)처리를 통해 이진화(Binary) 하여 영상에 나타나는 피사체들의 경계선을 검출한다(S 30).Next, the boundary detection unit 120 binarizes the gradient values of the pixels obtained by the differential calculating unit 110 through a threshold process to detect the boundary lines of the subjects appearing in the image (S30).

여기서, 임계값 처리란 특정 임계값보다 큰 값을 갖는 픽셀 값은 1로 그 이외의 것은 0으로 이진화하는 것을 말한다. 상기 임계값 처리를 통해 원 영상에 대한 위치 정보를 유지하면서 영상을 저장하기 위한 메모리의 크기를 줄일 수 있다.Here, the threshold processing means that the pixel value having a value larger than the specific threshold value is binarized to 1 and the other value is 0 to be binarized. Through the threshold processing, the size of the memory for storing the image can be reduced while maintaining the positional information on the original image.

0 ~ 255의 명암도를 갖는 gray level 영상의 경우, 상기 임계값(Threshold)은 17 ~ 21로 하는 것이 바람직하다. 도 6은 임계값을 19로 하는 경우의 이진화를 나타낸 그래프이다. 이에 도시된 바와 같이, 상기 그래디언트 값이 19 이상인 경우는 1이 주어지고 19보다 작은 경우는 0이 주어진다.In the case of a gray level image having a contrast level of 0 to 255, the threshold is preferably 17 to 21. 6 is a graph showing binarization when the threshold is set to 19. FIG. As shown in the drawing, when the gradient value is 19 or more, 1 is given, and when the gradient value is less than 19, 0 is given.

이어서, 경계선 보상부(130)는 상기 경계선 검출부(120)에서 검출한 경계선에 손상된 부분이 있는지를 판단한다(S 40). 즉, 상기 단계 S 30을 거친 결과 세밀한 영상의 경우 경계선에 해당하는 데도 불구하고 경계선으로 구분되지 않아 검출된 경계선이 연속적으로 나타나지 못하고 부분적으로 손상되어 나타나는 경우가 있다.Subsequently, the boundary compensation unit 130 determines whether there is a damaged portion in the boundary detected by the boundary detection unit 120 (S40). That is, as a result of the step S30, although the detailed image corresponds to the boundary line, the detected boundary line may not appear continuously but partially damaged because it is not divided into boundary lines.

예를 들어 도 7에 도시된 바와 같이, 경계선을 나타내는 픽셀들 사이에 그래디언트 값이 임계값인 19보다 작아 0으로 표현된 픽셀들(31)(32)이 존재할 수 있게 된다. 그러나, 경계선을 나타내는 픽셀들의 그래디언트 값이 20이나 21로 임계값보 다 높아서 1로 표현된 것이고, 픽셀의 그래디언트 값이 18로 임계값보다 작아서 0으로 표현되어 경계선이 아닌 것으로 처리된다면 경계선이 연속적으로 나타나지 아니하고 부분적으로 깨어져 나타나게 된다.For example, as shown in FIG. 7, pixels 31 and 32 represented by 0 may have a gradient value smaller than a threshold value of 19 between pixels representing a boundary line. However, if the gradient values of the pixels representing the boundary line are 20 or 21, which is higher than the threshold value, and are represented as 1, and the pixel gradient value is 18, which is smaller than the threshold value, and is represented as 0, the boundary lines are displayed continuously, the boundary lines appear continuously Rather, it appears partially broken.

여기서, 상기 검출된 경계선에 손상된 부분이 있는지는 예를 들면, 1 ×3 검출 필터를 통하여 영상 전체를 처리할 때 경계 픽셀(이진화한 경우 1의 값을 갖는 픽셀)이 연속적으로 나오다가 갑자기 비경계 픽셀(이진화한 경우 0의 값을 갖는 픽셀)이 나오는 경우 또는 비경계 픽셀이 나온 후에 연속적으로 경계 픽셀이 나오는 경우 또는 경계 픽셀과 경계 픽셀 사이에 비경계 픽셀이 포함되어 있는 경우 등에 있어서 상기 비경계 픽셀을 경계선이 손상된 부분으로 판단한다. Here, whether or not there is a damaged portion in the detected boundary line, for example, when processing the entire image through a 1 × 3 detection filter, the boundary pixels (pixels having a value of 1 when binarized) successively come out of the non-boundary pixel The non-boundary pixel in the case of (binarized pixel having a value of 0), or when the boundary pixel comes out continuously after the non-boundary pixel or the non-boundary pixel is included between the boundary pixel and the boundary pixel. It is determined that the boundary is damaged.

상기 단계 S 40의 판단 결과, 검출된 경계선에 손상된 부분이 있는 경우 상기 경계선 보상부(130)는 손상된 경계선을 보상한다(S 50). 이 경우 상기 경계선 보상부(130)는 모폴로지(morphology)기법 중 채움 연산(Closing)으로 경계선의 손상된 부분을 보상하는 작업을 수행한다.As a result of the determination in step S 40, when there is a damaged portion in the detected boundary line, the boundary line compensator 130 compensates for the damaged boundary line (S 50). In this case, the boundary compensation unit 130 compensates for the damaged portion of the boundary by closing in a morphology technique.

상기 모폴로지 기법은 침식 연산(Erosion), 팽창 연산(Dilation), 제거 연산(Opening), 채움 연산(Closing)으로 분류되는데, 여기서 채움 연산은 팽창 연산 후에 바로 침식 연산을 수행하는 연산이다.The morphology technique is classified into erosion, dilation, opening, and closing, where the erosion operation is performed immediately after the expansion operation.

즉, 상기 채움 연산은 먼저 팽창 연산을 수행함으로써 물체의 최 외각 픽셀을 확장시키고 배경은 축소시키는데, 상기 팽창 연산을 통해 물체 안의 홀과 같은 빈 공간을 메워주거나 서로 짧은 거리 만큼 끊어진 영역을 연결시켜 주게 된다. 그리고, 이 후에 바로 침식 연산을 수행하여 물체의 크기를 축소시키는데 상기 침식 연산을 수행함으로써 원 영상의 크기를 유지할 수 있게 된다.That is, the filling operation first expands the outermost pixel of the object by performing an expansion operation and reduces the background. The expansion operation fills an empty space, such as a hole in the object, or connects a region separated by a short distance from each other. do. Then, the size of the original image can be maintained by performing the erosion operation immediately after the erosion operation to reduce the size of the object.

상기 채움 연산(Closing)은 3 ×3 블럭으로 전체 이미지를 처리하기 때문에 영상 전체에 대한 프레임 메모리가 필요하게 된다. 즉, 채움 연산은 팽창 연산을 수행한 후 연이어서 침식 연산을 수행하기 때문에 상기 팽창 연산을 수행한 결과 값을 저장하여둘 프레임 메모리가 필요하게 되는 것이다.Closing requires processing of the entire image in 3 x 3 blocks, which requires frame memory for the entire image. That is, since the filling operation performs the erosion operation successively after performing the expansion operation, a frame memory for storing the result value of the expansion operation is required.

그런데, 상기 경계선 검출부(120)에서 경계선을 검출하고 임계값 처리를 한 후의 영상에는 1의 값을 갖는 픽셀 가운데 한 픽셀씩만 0의 값을 갖는 픽셀이 섞여 있는 경우가 대부분이므로, 보상하고자 하는 픽셀의 좌우 픽셀 값만을 비교하여 상기 보상하고자 하는 픽셀 값을 결정하면 프레임 메모리의 사용 없이 채움 연산을 행하는 것과 비슷한 효과를 거둘 수 있다.However, since the edge detection unit 120 detects the boundary line and processes the threshold value, only one pixel among the pixels having the value of 1 is mixed with the pixel having the value of 0. Determining the pixel value to be compensated by comparing only the left and right pixel values can have an effect similar to performing a fill operation without using a frame memory.

즉, 도 8a 내지 도 8c에 도시된 바와 같이, 보상하고자 하는 픽셀의 좌우 픽셀 값이 둘 다 1일 때 상기 보상하고자 하는 픽셀의 값을 1로 바꾸고 그렇지 않을 때에는 원래 값을 그대로 두는 방식을 사용한다.That is, as shown in FIGS. 8A to 8C, when the left and right pixel values of the pixel to be compensated are both 1, the value of the pixel to be compensated is changed to 1, otherwise the original value is left as it is. .

이에 따르면, 도 8a의 경우 보상하고자 하는 픽셀(52)의 좌우 픽셀(51)(53) 값이 1이므로 상기 보상하고자 하는 픽셀(52) 값을 1로 바꾸어 준다. 그리고, 도 8b 내지 도 8c의 경우는 보상하고자 하는 픽셀(62)(72)의 좌우 픽셀(61)(63),(71)(73) 값이 1 과 0, 그리고 0 과 1이므로 상기 픽셀(62)(72)은 원래의 값을 그대로 둔다.Accordingly, in the case of FIG. 8A, since the left and right pixels 51 and 53 of the pixel 52 to be compensated are 1, the value of the pixel 52 to be compensated is changed to 1. 8B to 8C, since the left and right pixels 61, 63, 71, and 73 of the pixels 62 and 72 to be compensated are 1 and 0, and 0 and 1, the pixel ( 62) 72 leaves the original values as they are.

그리고, 상기 채움 연산을 수행함에 있어서는 보상하고자 하는 픽셀의 좌우 픽셀 값을 참조하는 방식뿐만 아니라 여러 가지 방식을 사용할 수 있다. 예를 들 면, 1번째와 4번째 픽셀 값이 1일 때 가운데 두 개의 픽셀 값을 1로 바꾸는 방식을 사용할 수도 있고, 라인 메모리가 사용 가능하다면 아래 픽셀 값과 위 픽셀 값이 1일 때 가운데 픽셀 값을 1로 만드는 방식을 사용할 수도 있으며, 대각선 방향의 픽셀 값을 보고 보상하고자 하는 픽셀 값을 결정할 수도 있다.In the filling operation, various methods may be used as well as a method of referring to left and right pixel values of a pixel to be compensated. For example, you can change the middle two pixel values to 1 when the first and fourth pixel values are 1, or center pixel when the lower and upper pixel values are 1 if line memory is available. You can use the method of making the value 1, or determine the pixel value you want to compensate by looking at the pixel value in the diagonal direction.

마지막으로, 필터링부(140)는 상기 경계선 보상부(130)에 의해 보상된 경계선 이외의 영역을 필터링 하여 모기 잡음을 제거한다(S 60). Finally, the filtering unit 140 removes mosquito noise by filtering an area other than the boundary line compensated by the boundary compensation unit 130 (S 60).

영상 잡음을 제거하기 위한 필터로는 일반적으로 미디언 필터가 이용되는데, 3 ×3 블럭의 미디언 필터는 입력된 현재의 픽셀 값과 그 위치에 인접한 8개의 픽셀 값을 포함한 총 9개의 픽셀 값을 크기순으로 정렬한 후, 입력된 현재의 픽셀 값을 그 크기 순으로 중간값에 해당하는 픽셀 값으로 대체하는 방식으로 전체 이미지를 처리한다.A median filter is generally used as a filter to remove image noise. A 3 × 3 block median filter filters a total of nine pixel values including the current pixel value input and eight pixel values adjacent to the position. After sorting by size, the entire image is processed by replacing the inputted pixel value with the pixel value corresponding to the median value in that size order.

이러한 미디언 필터의 잡음 제거 방법은 특히 임펄스성의 잡음이 영상에 부가되었을 경우 우수한 성능을 발휘하는 것으로 알려져 있다. 이는 어떤 픽셀 위치에 잡음이 섞였을 경우 그 픽셀 값은 그 주위에 있는 픽셀 값과 크게 구별되어 현저한 차이가 생기게 될 여지가 많은데 이를 3 ×3 블럭의 미디언 필터를 통해 상기픽셀 위치에 인접한 8개의 픽셀 값을 포함한 값 중 중간값으로 바꾸어 주면 인접 픽셀과의 선명도를 유지하면서 잡음을 없앨 수 있기 때문이다.The noise reduction method of the median filter is known to exhibit excellent performance, especially when impulsive noise is added to the image. This means that if a pixel location is mixed with noise, the pixel value is largely distinguished from the surrounding pixel value, and there is a lot of difference. This is because changing the middle value including the pixel value can eliminate noise while maintaining sharpness with adjacent pixels.

그러나, 상기 미디언 필터를 통한 필터링은 주변 픽셀 값을 크기순으로 정렬(sorting)하는데 많은 연산이 필요하게 된다. 즉, 미디언 필터 처리를 하기 위하여는 현재의 픽셀 값과 그에 이웃한 8개의 픽셀 값의 크기를 순서대로 정렬해야 하는 데 여기에는 많은 연산이 필요하게 되므로 상당한 시간이 소요되게 된다.However, filtering through the median filter requires a lot of operations to sort the surrounding pixel values in size order. That is, in order to perform the median filter process, it is necessary to align the size of the current pixel value and the neighboring eight pixel values in order, which requires a lot of operations, which takes a considerable time.

따라서, 여기서는 상기 미디언 필터와는 다른 방식을 사용하는 필터를 이용하여 필터링을 한다. 도 9는 본 발명의 모기 잡음 제거방법에 있어 필터링 하는 과정을 나타낸 흐름도이다. 이에 도시된 바와 같이, 먼저 상기 필터링부(140)는 상기 경계선 보상부(130)로부터 필터에 입력되는 픽셀이 경계선에 해당하는지 판단한다(S 61).Therefore, the filtering is performed using a filter using a method different from the median filter. 9 is a flowchart illustrating a filtering process in the mosquito noise removing method of the present invention. As shown in the drawing, first, the filtering unit 140 determines whether a pixel input to the filter from the boundary compensator 130 corresponds to a boundary line (S 61).

상기 단계 S 61의 판단 결과, 상기 경계선 보상부(130)로부터 입력되는 픽셀이 경계선에 해당하는 경우는 필터링을 하지 않고 상기 경계선 보상부(130)로부터 입력되는 픽셀과 동일한 좌표에 위치하는 상기 영상 저장부(100)에서 추출한 픽셀의 픽셀 값을 그대로 유지시킨다(S 62).As a result of the determination in step S 61, when the pixel input from the boundary compensator 130 corresponds to the boundary line, the image is stored at the same coordinates as the pixel input from the boundary compensator 130 without filtering. The pixel value of the pixel extracted by the unit 100 is maintained as it is (S 62).

상기 필터링부(140)에 입력되는 픽셀이 경계선에 해당하는 경우 필터링을 하지 않는 이유는 상기 필터링을 통하여 잡음들이 많이 줄어들게 되지만 영상에 나타나는 피사체들의 경계선 부분도 함께 줄어들어 경계선 부분이 흐릿하게 나타나 화질이 떨어지기 때문이다.If the pixel input to the filtering unit 140 corresponds to a boundary line, the reason for not filtering is that noise is reduced through the filtering, but the boundary line portions of the subjects appearing in the image are also reduced, so that the boundary line portions are blurry and image quality is deteriorated. For losing.

상기 단계 S 61의 판단 결과, 상기 경계선 보상부(130)로부터 입력되는 픽셀이 경계선에 해당하지 않는 경우는 상기 경계선 보상부(130)로부터 입력되는 픽셀과 동일한 좌표에 위치하는 영상 저장부(100)에서 추출한 픽셀의 픽셀 값과 그에 인접한 8개의 픽셀의 픽셀 값들의 전체 평균값을 구한다(S 63).As a result of the determination in step S 61, when the pixel input from the boundary compensator 130 does not correspond to the boundary line, the image storage unit 100 located at the same coordinates as the pixel input from the boundary compensator 130. The average value of the pixel values of the pixels extracted from and the pixel values of eight pixels adjacent thereto is calculated (S 63).

그리고, 상기 경계선 보상부(130)로부터 입력되는 픽셀과 동일한 좌표에 위치하는 영상 저장부(100)에서 추출한 픽셀의 픽셀 값을 상기 단계 S 63의 픽셀 값 중에서 픽셀 값들의 전체 평균값과 가장 가까운 값을 갖는 픽셀 값으로 대체한다(S 64).The pixel value of the pixel extracted by the image storage unit 100 positioned at the same coordinates as the pixel input from the boundary compensator 130 is the value closest to the total average value of the pixel values among the pixel values of step S 63. It replaces with the pixel value which it has (S64).

도 10은 본 발명의 모기 잡음 제거방법에 있어 필터링의 실시예를 나타낸 그래프이다. 이에 도시된 바와 같이, 상기 경계선 보상부(130)로부터 입력되는 픽셀과 동일한 좌표에 위치하는 상기 영상 저장부(100)에서 추출한 픽셀(80)의 픽셀 값 3은 경계선 이외의 영역으로 잡음임을 알 수 있는데, 여기서 상기 픽셀(80)의 픽셀 값과 그 주위의 인접한 픽셀 값들의 전체 평균값을 구해보면, (245 + 5 + 230 + 240 + 3 + 224 + 231 + 215 + 219)/9 = 179 가 된다. 10 is a graph showing an embodiment of filtering in the mosquito noise removing method of the present invention. As shown in FIG. 2, the pixel value 3 of the pixel 80 extracted by the image storage unit 100 located at the same coordinates as the pixel input from the boundary compensator 130 is a noise outside the boundary line. Here, the average value of the pixel value of the pixel 80 and the adjacent pixel values around it is (245 + 5 + 230 + 240 + 3 + 224 + 231 + 215 + 219) / 9 = 179 .

상기 픽셀 값(245, 5, 230, 240, 3, 224, 231, 215, 219)들 중에서 상기 픽셀 값들의 전체 평균값 179에 가장 가까운 픽셀 값은 215이므로 상기 픽셀(80)의 픽셀 값 3을 215로 대체해주면 잡음이 제거된다.Among the pixel values 245, 5, 230, 240, 3, 224, 231, 215, and 219, the pixel value closest to the total average value 179 of the pixel values is 215, so that the pixel value 3 of the pixel 80 is 215. Replace with to remove noise.

원래의 미디언 필터의 경우 경계선 부분을 변형시키지 않는다는 장점이 있으나, 여기서는 경계선 이외의 영역을 필터링 하는 것이기 때문에 이를 사용하지 않고 그보다 계산이 더 간단한 상기의 방식을 이용하는 것이다.The original median filter has the advantage of not deforming the boundary part, but since the filtering of the area other than the boundary part is not used here, the above method is simpler to calculate.

한편, 상기에서는 본 발명을 특정의 바람직한 실시 예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 정신이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있다.On the other hand, while the present invention has been shown and described with respect to specific preferred embodiments, various modifications and changes of the present invention without departing from the spirit or field of the invention provided by the claims below It can be easily understood by those skilled in the art.

본 발명에 의하면 검출된 경계선에 손상된 부분이 있는 경우 상기 손상된 경계선을 보상하고자 할 때, 보상하고자 하는 픽셀의 좌우 픽셀 값만을 참조하여 상기 보상하고자 하는 픽셀의 값을 결정하고, 필터링시 영상 저장부에서 추출하여 필터로 입력되는 픽셀의 픽셀 값과 그에 인접한 8개의 픽셀의 픽셀 값들의 전체 평균값을 구한 후, 상기 입력되는 픽셀의 픽셀 값을 상기 입력되는 픽셀의 픽셀 값과 그에 인접한 8개의 픽셀의 픽셀 값 중에서 상기 픽셀의 픽셀 값들의 전체 평균값과 가장 가까운 픽셀 값으로 대체함으로써 보다 적은 메모리와 계산량으로 모기 잡음을 효율적으로 제거할 수 있으며, 그로 인해 대부분의 영상에서 깨끗한 화질을 얻을 수 있다.According to the present invention, when there is a damaged part in the detected boundary line, when compensating for the damaged boundary line, the value of the pixel to be compensated is determined by referring to only the left and right pixel values of the pixel to be compensated, After extracting the pixel value of the pixel input to the filter and the pixel values of the eight pixels adjacent to the filter, the pixel value of the input pixel is the pixel value of the input pixel and the pixel value of the eight pixels adjacent thereto. By replacing the pixel value closest to the overall average value of the pixel values of the pixel, it is possible to efficiently remove the mosquito noise with less memory and calculation amount, thereby obtaining a clear picture quality in most images.

또한, 본 발명에 의하면 영상에 나타나는 피사체들의 경계선 부분은 필터링하지 않음으로써 경계선 부분의 감소 없이 모기 잡음을 제거함으로써 보다 향상된 화질을 얻을 수 있다.In addition, according to the present invention, by improving the image quality by removing the mosquito noise without reducing the boundary portion of the subjects appearing in the image.

Claims

delete

Obtaining a gradient value of each pixel using a differential operator;

Binarizing the gradient value through a threshold process to detect boundary lines of the subjects in the image;

Determining whether there is a damaged part in the detected boundary line;

Compensating for the damaged boundary line when the detected boundary line is damaged as a result of the determination of the step; And

Filtering out areas other than the compensated boundary line to remove noise;

The filtering may include determining whether a pixel input from the boundary compensator corresponds to the boundary line, and when the pixel input from the boundary compensator does not correspond to the boundary line as a result of the determination of the step, from the boundary compensator. Obtaining a total average value of pixel values of a pixel extracted by the image storage unit at the same coordinates as an input pixel and pixel values of eight pixels adjacent to the extracted pixel, and pixel values of a pixel extracted by the image storage unit; Is replaced with a pixel value having a value closest to the total average value of the pixel values among the pixel values of the step,

As a result of determining whether the image corresponds to the boundary line, when the pixel input from the boundary compensator corresponds to the boundary line, the pixel value of the pixel extracted from the image storage unit at the same coordinates as the pixel input from the boundary compensator is maintained. Mosquito noise removing method, characterized in that.

The method of claim 2, wherein the derivative operator for obtaining a gradient value is any one of a sobel, a Robert, and a prewitt mask.

The method of claim 2, wherein the threshold for processing the threshold is 17 to 21 for a gray level image having a contrast level of 0 to 255. 4.

The method of claim 2, wherein the compensation of the damaged boundary comprises;

And when the left and right pixel values of the pixel to be compensated are all 1, the pixel value to be compensated is set to 1, and otherwise, the original value is maintained.

delete