KR101926269B1 - Method for reducing noise of image using bilateral filter and apparatus for the same - Google Patents
Method for reducing noise of image using bilateral filter and apparatus for the same Download PDFInfo
- Publication number
- KR101926269B1 KR101926269B1 KR1020170099031A KR20170099031A KR101926269B1 KR 101926269 B1 KR101926269 B1 KR 101926269B1 KR 1020170099031 A KR1020170099031 A KR 1020170099031A KR 20170099031 A KR20170099031 A KR 20170099031A KR 101926269 B1 KR101926269 B1 KR 101926269B1
- Authority
- KR
- South Korea
- Prior art keywords
- block
- pixel
- subband
- determining
- weight
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000002146 bilateral effect Effects 0.000 title abstract description 6
- 238000001914 filtration Methods 0.000 claims abstract description 54
- 230000002457 bidirectional effect Effects 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 양방향 필터를 이용한 입력 영상의 잡음 제거 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 입력 영상을 이산 웨이블릿 변환한 부대역에 대하여 각 블록의 방향성을 판단하고, 방향성에 따라 적응적으로 양방향 필터의 가중치를 적용하여 영상의 잡음을 효율적으로 제거하는 방법 및 장치에 관한 것이다.More particularly, the present invention relates to a method and apparatus for removing noise in an input image using a bidirectional filter, and more particularly, to a method and apparatus for determining a directionality of each block with respect to subbands obtained by performing discrete wavelet transform on an input image, And more particularly, to a method and apparatus for efficiently removing noise of an image by applying a weight of a filter.
최근 디지털 TV, 휴대폰 등과 같은 영상을 재생하는 기기가 발전함에 따라, 디지털 비디오 미디어의 다양한 영상을 시청하는 것은 일상생활에서 보편화되었으며 사용자들은 많은 영상을 접하면서 선명하고 깨끗한 영상을 선호하는 경향이 높아졌다. Recently, as devices for playing video such as digital TVs and mobile phones have been developed, viewing various images of digital video media has become common in daily life, and users tend to prefer clear and clean images while touching many images.
깨끗한 영상을 시청하기 위해 잡음은 필수적으로 제거해야하며 이러한 잡음은 전자기기 내부에서의 결함, 영상을 디지털로 처리하는 과정, 영상을 전송하는 과정 또는 주변 환경에 따라 발생될 수 있다. In order to view a clean image, noise must be removed. Such noise may be generated due to a defect in the electronic device, a process of digitally processing the image, a process of transmitting the image, or a surrounding environment.
영상의 잡음은 가우시안 분포를 갖는 가우시안 잡음(Gaussian noise)과 영상에 입자처럼 드러나는 임펄스 잡음(impulse noise)이 있을 수 있다. 여기서 가우시안 잡음에 대해서는 잘 알려진 가우시안 필터(Gaussian filter)를 이용하여 제거하고, 임펄스 잡음에 대해서는 중간값 필터(median filter)를 이용하여 제거할 수 있다.The noise of the image may be a Gaussian noise having a Gaussian distribution and an impulse noise appearing like a particle in an image. Here, the Gaussian noise can be removed by using a well-known Gaussian filter, and the impulse noise can be removed by using a median filter.
이때, 가우시안 필터로 영상의 잡음을 제거하면, 사물의 경계선이 흐려지는 흐림(blur) 현상이 발생될 수 있는데, 이러한 단점을 보완하기 위한 필터가 양방향 필터(bilateral filter)이다.At this time, if the noise of the image is removed by the Gaussian filter, a blur phenomenon in which the boundary of the object is blurred may occur. The bilateral filter is a filter to overcome this disadvantage.
양방향 필터는 가중치를 적용한 마스크를 사용한다는 점에서 가우시안 필터와 유사하나 중심 화소에서의 거리 뿐만 아니라 중심 화소와의 밝기 차이(또는 화소값 차이)를 추가로 고려한다는 점에서 차이가 있다.The bidirectional filter is similar to the Gaussian filter in that it uses a weighted mask, but differs in that it takes into account not only the distance from the center pixel but also the difference in brightness (or pixel value difference) with the center pixel.
이때, 기존의 양방향 필터는 고정된 사용자 가중치를 가지고 있어 잡음의 정도에 따라 적응적으로 잡음제거를 할 수 없는 문제가 있다.At this time, the conventional bidirectional filter has fixed user weights, so that noise can not be adaptively removed according to the degree of noise.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 적응적으로 가중치를 적용한 양방향 필터를 이용한 입력 영상의 잡음 제거 방법을 제공하는 데 있다.In order to solve the above problems, an object of the present invention is to provide a noise canceling method of an input image using a bidirectional filter adaptively weighted.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 적응적으로 가중치를 적용한 양방향 필터를 이용한 입력 영상의 잡음 제거 장치를 제공하는 데 있다.Another object of the present invention is to provide an apparatus for removing noise of an input image using an adaptive weighted bi-directional filter.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 화소 인접성 가중치와 지역 인접성 가중치가 적용된 양방향 필터를 이용한 입력 영상의 잡음(noise) 제거 방법을 제공한다.According to an aspect of the present invention, there is provided a noise removal method of an input image using a bidirectional filter to which pixel adjacency weights and local adjacency weights are applied.
여기서 입력 영상의 잡음 제거 방법은, 웨이블릿 변환을 이용하여 입력 영상을 LL 부대역, LH 부대역, HL 부대역 및 HH 부대역 중 적어도 하나를 포함하는 부대역으로 분해하는 단계, 부대역으로 분해된 입력 영상의 제1 블록에 대한 영역 특성을 결정하는 단계, 결정된 영역 특성에 따라 양방향 필터에 적용될 가중치를 결정하는 단계 및 설정된 가중치가 적용된 양방향 필터를 이용하여 상기 제1 블록에 대한 필터링을 수행하는 단계를 포함할 수 있다.Wherein the noise cancellation method of the input image comprises the steps of decomposing the input image into subbands including at least one of LL sub-band, LH sub-band, HL sub-band and HH sub-band using wavelet transform, Determining a region characteristic for a first block of the input image, determining a weight to be applied to the bidirectional filter according to the determined region characteristic, and performing filtering on the first block using a bi- . ≪ / RTI >
여기서 상기 제1 블록에 대하여 필터링을 수행하는 단계는, 상기 HH 부대역에 대한 잡음을 추정하는 단계, 최소 자승법(Least Mean Square, LMS)을 이용하여 상기 잡음에 따라 상기 화소 인접성 가중치를 적응적으로 결정하는 단계 및 결정된 화소 인접성 가중치가 적용된 양방향 필터를 이용하여 상기 제1 블록에 대한 필터링을 수행하는 단계를 더 포함할 수 있다.Wherein performing the filtering on the first block comprises estimating noise for the HH subband, adaptively adjusting the pixel adjacency weights according to the noise using Least Mean Square (LMS) And performing a filtering on the first block using a bidirectional filter to which the determined pixel proximity weight is applied.
여기서 상기 입력 영상의 잡음 제거 방법은, 상기 HH 부대역에 대하여, 상기 양방향 필터를 이용한 필터링을 수행하는 대신에, 쉬링커지 쓰레숄딩(Shrinkage thresholding)을 수행할 수 있다.Here, the noise removal method of the input image may perform Shrinkage thresholding for the HH subband, instead of performing filtering using the bidirectional filter.
여기서 상기 영역 특성을 결정하는 단계는, 상기 제1 블록에 대하여 적어도 하나의 방향에 기초한 SAD(Sum of Absolute Difference) 값을 산출하는 단계 및 산출된 SAD 값을 평가하여, 상기 제1 블록에 대한 영역 특성을 결정하는 단계를 포함할 수 있다.Wherein the step of determining the region characteristic comprises the steps of calculating a sum of absolute difference (SAD) value based on at least one direction with respect to the first block, and evaluating the calculated SAD value, And < / RTI >
여기서 상기 적어도 하나의 방향은, 수평 방향(horizontal direction), 수직 방향(vertical direction), 대각상 방향(diagonal up direction) 및 대각하 방향(diagonal down direction) 중 적어도 하나를 포함할 수 있다.The at least one direction may include at least one of a horizontal direction, a vertical direction, a diagonal up direction, and a diagonal down direction.
여기서 상기 산출된 SAD 값을 평가하여, 상기 제1 블록에 대한 영역 특성을 결정하는 단계는, 산출된 SAD 값을 평가하여 상기 제1 블록의 영역 특성을 엣지 영역(edge region), 평탄 영역(flat region) 및 복잡 영역(complex region) 중 하나로 결정할 수 있다.Here, the step of evaluating the calculated SAD value and determining the area characteristic for the first block may include evaluating the calculated SAD value to determine an area characteristic of the first block as an edge region, region, and a complex region.
여기서 상기 영역 특성을 결정하는 단계는, 산출된 SAD 값 중 가장 작은 SAD 값과 두 번째로 작은 SAD 값을 이용하여 상기 제1 블록의 영역 특성이 엣지 영역인지 여부를 결정할 수 있다.The determining of the area characteristic may determine whether the area characteristic of the first block is an edge area by using the smallest SAD value and the second smallest SAD value among the calculated SAD values.
여기서 상기 영역 특성을 결정하는 단계는, 산출된 SAD 값 중 가장 작은 SAD 값과 가장 큰 SAD 값을 이용하여 상기 제1 블록의 영역 특성이 평탄 영역인지 여부를 결정할 수 있다.The determining of the area characteristic may determine whether the area characteristic of the first block is a flat area using the smallest SAD value and the largest SAD value among the calculated SAD values.
여기서 상기 양방향 필터에 적용될 가중치를 결정하는 단계는, 상기 제1 블록의 영역 특성이 평탄 영역이면, 상기 화소 인접성 가중치를 상기 제1 블록이 다른 영역 특성인 경우보다 증가된 값으로 결정할 수 있다.Here, the step of determining the weight to be applied to the bidirectional filter may determine the pixel proximity weight to be an increased value than when the first block has the different area characteristic, if the area characteristic of the first block is a flat area.
여기서 상기 양방향 필터에 적용될 가중치를 설정하는 단계는, 상기 제1 블록이 엣지 영역이면, 상기 적어도 하나의 방향에 상응하도록 상기 제1 블록을 분할하고, 분할된 각각의 영역에 포함된 픽셀값들의 분산값을 이용하여 도출되는 방향성 가중치를 결정할 수 있다.Wherein setting the weight to be applied to the bidirectional filter includes dividing the first block so as to correspond to the at least one direction if the first block is an edge region, Value can be used to determine the directional weight derived.
상기 목적을 달성하기 위한 본 발명의 다른 측면은 화소 인접성 가중치와 지역 인접성 가중치가 적용된 양방향 필터를 이용한 입력 영상의 잡음(noise) 제거 장치를 제공한다.According to another aspect of the present invention, there is provided an apparatus for removing noise in an input image using a bidirectional filter to which pixel adjacency weights and local adjacency weights are applied.
여기서 입력 영상의 잡음 제거 장치는, 적어도 하나의 프로세서(processor) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.Wherein the noise cancellation device of the input image may include at least one processor and a memory for storing instructions that direct the at least one processor to perform at least one step.
여기서 상기 적어도 하나의 단계는, 웨이블릿 변환을 이용하여 입력 영상을 LL 부대역, LH 부대역, HL 부대역 및 HH 부대역 중 적어도 하나를 포함하는 부대역으로 분해하는 단계, 부대역으로 분해된 입력 영상의 제1 블록에 대한 영역 특성을 결정하는 단계, 결정된 영역 특성에 따라 양방향 필터에 적용될 가중치를 결정하는 단계 및 설정된 가중치가 적용된 양방향 필터를 이용하여 상기 제1 블록에 대한 필터링을 수행하는 단계를 포함할 수 있다.Wherein said at least one step comprises decomposing the input image into subbands comprising at least one of an LL sub-band, an LH sub-band, an HL sub-band and an HH sub-band using wavelet transform, Determining a region feature for a first block of the image, determining a weight to be applied to the bidirectional filter according to the determined region characteristic, and performing filtering on the first block using a bi- .
여기서 상기 명령어들은 상기 적어도 하나의 프로세서가, 상기 HH 부대역에 대한 잡음을 추정하는 단계, 최소 자승법(Least Mean Square, LMS)을 이용하여 상기 잡음에 따라 상기 화소 인접성 가중치를 적응적으로 결정하는 단계 및 결정된 화소 인접성 가중치가 적용된 양방향 필터를 이용하여 상기 제1 블록에 대한 필터링을 수행하는 단계를 수행하도록 지시할 수 있다.Wherein the instructions cause the at least one processor to estimate noise for the HH subband, adaptively determine the pixel adjacency weights according to the noise using Least Mean Square (LMS) And performing filtering on the first block using a bidirectional filter to which the determined pixel proximity weights are applied.
여기서 상기 명령어들은 상기 적어도 하나의 프로세서가, 상기 HH 부대역에 대하여, 상기 양방향 필터를 이용한 필터링을 수행하는 대신에, 쉬링커지 쓰레숄딩(Shrinkage thresholding)을 수행하도록 지시할 수 있다.Wherein the instructions may direct the at least one processor to perform Shrinkage thresholding for the HH subband instead of performing filtering using the bidirectional filter.
여기서 상기 영역 특성을 결정하는 단계는, 상기 제1 블록에 대하여 적어도 하나의 방향에 기초한 SAD(Sum of Absolute Difference) 값을 산출하는 단계 및 산출된 SAD 값을 평가하여, 상기 제1 블록에 대한 영역 특성을 결정하는 단계를 포함할 수 있다.Wherein the step of determining the region characteristic comprises the steps of calculating a sum of absolute difference (SAD) value based on at least one direction with respect to the first block, and evaluating the calculated SAD value, And < / RTI >
여기서 상기 적어도 하나의 방향은, 수평 방향(horizontal direction), 수직 방향(vertical direction), 대각상 방향(diagonal up direction) 및 대각하 방향(diagonal down direction) 중 적어도 하나를 포함할 수 있다.The at least one direction may include at least one of a horizontal direction, a vertical direction, a diagonal up direction, and a diagonal down direction.
여기서 상기 산출된 SAD 값을 평가하여, 상기 제1 블록에 대한 영역 특성을 결정하는 단계는, 산출된 SAD 값을 평가하여 상기 제1 블록의 영역 특성을 엣지 영역(edge region), 평탄 영역(flat region) 및 복잡 영역(complex region) 중 하나로 결정할 수 있다.Here, the step of evaluating the calculated SAD value and determining the area characteristic for the first block may include evaluating the calculated SAD value to determine an area characteristic of the first block as an edge region, region, and a complex region.
여기서 상기 영역 특성을 결정하는 단계는, 산출된 SAD 값 중 가장 작은 SAD 값과 두 번째로 작은 SAD 값을 이용하여 상기 제1 블록의 영역 특성이 엣지 영역인지 여부를 결정할 수 있다.The determining of the area characteristic may determine whether the area characteristic of the first block is an edge area by using the smallest SAD value and the second smallest SAD value among the calculated SAD values.
여기서 상기 영역 특성을 결정하는 단계는, 산출된 SAD 값 중 가장 작은 SAD 값과 가장 큰 SAD 값을 이용하여 상기 제1 블록의 영역 특성이 평탄 영역인지 여부를 결정할 수 있다.The determining of the area characteristic may determine whether the area characteristic of the first block is a flat area using the smallest SAD value and the largest SAD value among the calculated SAD values.
여기서 상기 양방향 필터에 적용될 가중치를 결정하는 단계는, 상기 제1 블록의 영역 특성이 평탄 영역이면, 상기 화소 인접성 가중치를 상기 제1 블록이 다른 영역 특성인 경우보다 증가된 값으로 결정할 수 있다.Here, the step of determining the weight to be applied to the bidirectional filter may determine the pixel proximity weight to be an increased value than when the first block has the different area characteristic, if the area characteristic of the first block is a flat area.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 화소 인접성 가중치와 지역 인접성 가중치가 적용된 양방향 필터를 이용한 입력 영상의 잡음(noise) 제거 방법을 제공한다.According to another aspect of the present invention, there is provided a noise removal method of an input image using a bidirectional filter to which a pixel proximity weight and an area proximity weight are applied.
여기서 입력 영상의 잡음 제거 방법은, 웨이블릿 변환을 이용하여 입력 영상을 LL 부대역, LH 부대역, HL 부대역 및 HH 부대역 중 적어도 하나를 포함하는 부대역으로 분해하는 단계, 상기 HH 부대역에 대한 잡음을 추정하는 단계, 최소 자승법(Least Mean Square, LMS)을 이용하여 상기 잡음에 따라 상기 화소 인접성 가중치를 적응적으로 결정하는 단계 및 결정된 화소 인접성 가중치가 적용된 양방향 필터를 이용하여 상기 입력 영상에 대한 필터링을 수행하는 단계를 포함할 수 있다.Wherein the noise cancellation method of the input image comprises the steps of decomposing the input image into a subband comprising at least one of LL subband, LH subband, HL subband and HH subband using wavelet transform, Estimating a pixel adjacency weight according to the noise using a Least Mean Square (LMS) method, and estimating the pixel adjacency weight using a bidirectional filter to which the determined pixel adjacency weight is applied, And performing filtering on the received signal.
상기와 같은 본 발명에 따른 양방향 필터를 이용한 입력 영상의 잡음 제거 방법 또는 장치를 이용할 경우에는 양방향 필터의 가중치를 적응적으로 결정함으로써 영상의 잡음을 효율적으로 제거할 수 있다.When the method or apparatus for removing noise of an input image using the bidirectional filter according to the present invention as described above, the noise of the image can be efficiently removed by determining the weight of the bidirectional filter adaptively.
또한, 종래의 양방향 필터보다 흐림 현상이 완화될 수 있는 장점이 있다.In addition, there is an advantage that the blurring phenomenon can be alleviated more than the conventional bidirectional filter.
또한, 엣지의 방향을 고려하므로, 영상의 엣지 부분에서 더 효과적인 잡음 제거를 할 수 있다.In addition, considering the direction of the edge, more effective noise can be removed at the edge portion of the image.
도 1은 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법이 수행되는 환경에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 화소 분포 파라미터를 측정된 잡음에 따라 도시한 그래프이다.
도 3은 본 발명의 일 실시예에 따른 블록의 방향에 따라 SAD(Sum of Absolute Difference)값을 산출하는 개념도이다.
도 4는 본 발명의 일 실시예에 따른 블록의 방향에 따른 블록 분할 및 분할된 영역에 대한 분산값을 산출하는 개념도이다.
도 5는 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법을 개념적으로 표현한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법에 대한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법이 수행된 결과 영상을 비교한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 장치에 대한 구성도이다.1 is a conceptual diagram of an environment in which a noise reduction method for an input image according to an embodiment of the present invention is performed.
2 is a graph illustrating pixel distribution parameters according to measured noise according to an embodiment of the present invention.
3 is a conceptual diagram for calculating a Sum of Absolute Difference (SAD) value according to a direction of a block according to an embodiment of the present invention.
4 is a conceptual diagram for calculating a variance value for a block division and a divided region according to a direction of a block according to an embodiment of the present invention.
5 is a flowchart conceptually illustrating a noise reduction method of an input image according to an exemplary embodiment of the present invention.
6 is a flowchart illustrating a method of removing noise of an input image according to an exemplary embodiment of the present invention.
FIG. 7 is a diagram illustrating an exemplary comparison of a resultant image with a noise reduction method of an input image according to an exemplary embodiment of the present invention. Referring to FIG.
8 is a block diagram of an apparatus for removing noise of an input image according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법이 수행되는 환경에 대한 개념도이다.1 is a conceptual diagram of an environment in which a noise reduction method for an input image according to an embodiment of the present invention is performed.
도 1을 참조하면, 영상 처리 장치(100)는 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법을 수행하는 장치로서, 특정 영상에 대하여 양방향 필터의 가중치를 적응적으로 적용해 필터링함으로써 영상의 잡음을 제거하는 장치일 수 있다. 여기서, 영상 처리 장치(100)는 이하에서 입력 영상의 잡음 제거 장치로 호칭될 수도 있다.Referring to FIG. 1, the
또한, 영상 처리 장치(100)에 의해 잡음이 제거된 영상은 네트워크를 통하여 제1 영상 재생 장치(105) 또는 제2 영상 재생 장치(110)로 전송될 수 있다. 구체적으로, 영상 처리 장치(100)에 의해 잡음이 제거된 영상은 비트스트림(bitstream)으로 부호화된 후 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망(Network) 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 제1 영상 재생 장치(105) 또는 제2 영상 재생 장치(110)로 전송될 수 있다.In addition, the noise canceled image by the
여기서, 제1 영상 재생 장치(105) 또는 제2 영상 재생 장치(110)는 네트워크를 통하여 잡음이 제거된 영상을 수신하면, 내부에 탑재된 디스플레이를 통하여 재생할 수 있다. 이때, 잡음이 제거된 영상에 대한 복호화를 수행하여 비트스트림을 영상으로 복원하는 과정이 수반될 수 있다.Here, when the first video reproducing apparatus 105 or the second video reproducing apparatus 110 receives an image from which noise has been removed through the network, the first video reproducing apparatus 105 or the second video reproducing apparatus 110 can reproduce the video through the display mounted thereon. At this time, a process of decoding the noise-removed image and restoring the bitstream to the image may be involved.
여기서, 영상 처리 장치(100), 제1 영상 재생 장치(105) 및 제2 영상 재생 장치(110)는 개인용 컴퓨터(PC:Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화 또는 복호화하거나 적응적 양방향 필터링하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 프로세서 등을 구비하는 다양한 장치를 포함할 수 있다. Here, the
도 1에서는 영상 처리 장치와 영상 재생 장치들을 각각 도시하였으나, 하나의 장치 또는 서버에 구현될 수 있고 더 많은 장치들에 분산하여 구현될 수 있는 것으로 이해되어야 한다.Although the image processing apparatus and the image reproducing apparatus are shown in FIG. 1, it should be understood that the image processing apparatus and the image reproducing apparatus may be embodied in one apparatus or a server, and may be dispersedly embodied in more apparatuses.
한편, 영상 처리 장치(100)에서 영상의 잡음(noise)를 제거하는데 사용될 수 있는 필터 중 하나인 가우시안 필터는 마스크(mask)가 적용되는 영역의 중심에 있는 중심 화소와 떨어진 거리에 따른 가중치를 사용함으로써 영상의 잡음을 제거할 수 있다. 다만, 가우시안 필터는 사물의 경계선이 흐려지는 문제점이 발생할 수 있고, 이러한 단점을 보완하기 위한 필터 중 하나가 양방향 필터이다.On the other hand, the Gaussian filter, which is one of the filters that can be used to remove noise of an image in the
양방향 필터는 가우시안 필터처럼 가중치를 적용한 마스크를 사용하지만, 가중치에 중심 화소에서의 거리 뿐만 아니라, 중심 화소와의 밝기 차이도 고려할 수 있다.The bidirectional filter uses a weighted mask such as a Gaussian filter, but not only the distance from the center pixel to the weight, but also the brightness difference from the center pixel.
이에 따라 본 발명에 따른 일 실시예에서 영상의 잡음을 제거하기 위한 양방향 필터는 다음의 수학식 1에 따른 필터링을 수행할 수 있다.Accordingly, in one embodiment of the present invention, the bi-directional filter for eliminating image noise can perform filtering according to Equation (1).
상기 수학식 1에서, x는 중심 화소이고, y는 중심 화소를 포함하는 일정 영역(domain)인 N(x)에 속하고 중심 화소 x에 인접한 이웃 화소를 의미할 수 있으며 함수 f()는 해당 화소의 픽셀값을 의미할 수 있다. 예를 들어 f(x)는 화소 x에 대한 픽셀값을 지시할 수 있다.In Equation (1), x denotes a center pixel, y denotes a neighboring pixel belonging to N (x), which is a domain including a center pixel, and adjacent to the center pixel x, and a function f May refer to a pixel value of a pixel. For example, f (x) may indicate a pixel value for pixel x.
또한, c(y,x)는 중심 화소와 인접 화소 사이의 지역적 인접성(geometric closeness)을 나타내는 가중치(이하 지역 인접성 가중치로 지칭)이며, s(f(y),f(x))는 중심 화소의 화소값(f(x))와 이웃 화소의 화소값(f(y))의 화소적 인접성(photometric closeness)을 나타내는 가중치(이하 화소 인접성 가중치로 지칭)일 수 있다.In addition, c (y, x) is a weight (hereinafter referred to as a local adjacency weight) indicating a geometric closeness between a center pixel and an adjacent pixel, and s (f (Hereinafter referred to as a pixel adjacency weight) representing a photometric closeness of the pixel value f (x) of the neighboring pixel and the pixel value f (y) of the neighboring pixel.
또한, 수학식 1에서, f(x)는 중심 화소에 대하여 필터링이 수행된 결과 화소값을 의미할 수 있고, k(x)는 표준화 인자(normalization factor)로서, 다음의 수학식 2와 같이 표현할 수 있다.In Equation (1), f (x) may denote a pixel value resulting from performing filtering on the center pixel, k (x) is a normalization factor, .
상기 수학식 2에서의 각 인자들은 수학식 1과 같으므로 이에 대한 설명은 생략한다.Since the respective factors in Equation (2) are the same as Equation (1), a description thereof will be omitted.
한편, 수학식 1에서 확인할 수 있는 것과 같이, 본 발명의 일 실시예에 따른 양방향 필터는 c(y,x)는 중심 화소와 인접 화소 사이의 지역적(또는 거리적) 인접성(geometric closeness)을 나타내는 가중치인 지역 인접성 가중치를 이용하여 화소간에 거리가 가까울수록 필터링 가중치를 크게 부여할 수 있다.As can be seen from Equation (1), the bidirectional filter according to an exemplary embodiment of the present invention is a bidirectional filter in which c (y, x) represents a geographic closeness between a center pixel and an adjacent pixel. The closer the distance between the pixels is, the greater the filtering weight can be given by using the neighborhood adjacency weight which is a weight.
여기서, 수학식 1의 지역 인접성 가중치(c(y,x))는 다음의 수학식 3과 같이 정의할 수 있다.Here, the local proximity weight c (y, x) of Equation (1) can be defined as Equation (3) below.
수학식 3에서, d(y,x)는 화소 y와 화소 x 사이의 유클리시안 거리(Euclidean distance)를 의미할 수 있고, σd는 필터링이 수행되는 정도를 나타내는 파라미터(이하에서 지역 분포 파라미터로 지칭)로서 영상의 잡음 정도에 따라 적절히 선정될 수 있다. 다만, 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법은 지역 분포 파라미터를 적응적으로 변경함으로써, 필터링 효율을 향상시킬 수 있다. In Equation (3), d (y, x) may mean the Euclidean distance between the pixel y and the pixel x, and? D is a parameter indicating the degree of filtering to be performed ) Can be appropriately selected according to the degree of noise of the image. However, the method of removing noise of an input image according to an embodiment of the present invention can improve the filtering efficiency by adaptively changing the local distribution parameter.
여기서, 수학식 1의 인자 중 하나인 화소 인접성 가중치(s(y,x))는 다음의 수학식 4와 같이 정의할 수 있다.Here, the pixel proximity weight (s (y, x)), which is one of the factors in Equation (1), can be defined as Equation (4).
수학식 4에서, δ(f(y),f(x))는 화소y의 화소값 f(y)와 화소 x의 화소값 f(x) 사이의 차이를 나타내는 함수로서, 예를 들면 두 화소값 사이의 차분값으로 정의할 수 있다. 또한, σr은 화소 분포 파라미터로서, 두 화소값이 결합될 수 있는 정도를 나타내는 파라미터이다. 예를 들어, 화소 분포 파라미터값보다 두 화소가 서로 가까이 있다면, 서로 유사한 화소값을 갖도록 필터링 될 수 있고, 화소 분포 파라미터값보다 두 화소가 더 멀리 있다면, 서로 유사하지 않은 화소값을 갖도록 필터링될 수 있다.In Equation (4),? (F (y), f (x)) is a function indicating the difference between the pixel value f It can be defined as the difference value between values. Also,? R is a parameter indicating a degree to which two pixel values can be combined as a pixel distribution parameter. For example, if two pixels are closer to each other than a pixel distribution parameter value, they can be filtered to have similar pixel values, and if two pixels are farther than the pixel distribution parameter value, they can be filtered to have pixel values that are not similar to each other have.
본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법은 상기 화소 분포 파라미터를 적응적으로 결정함으로써, 필터링 효율을 향상시킬 수 있다.In the noise reduction method of an input image according to an embodiment of the present invention, the filtering efficiency can be improved by adaptively determining the pixel distribution parameter.
따라서, 이하에서는 상기 화소 분포 파라미터 및 상기 지역 분포 파라미터를 잡음의 정도와 엣지 영역의 방향성에 따라 적응적으로 결정하는 과정을 설명한다.Accordingly, a process of adaptively determining the pixel distribution parameter and the local distribution parameter according to the degree of noise and the directionality of the edge region will be described below.
도 2는 본 발명의 일 실시예에 따른 화소 분포 파라미터를 측정된 잡음에 따라 도시한 그래프이다.2 is a graph illustrating pixel distribution parameters according to measured noise according to an embodiment of the present invention.
도 2를 참조하면, 그래프의 가로축은 입력 영상의 잡음(200)을 지시할 수 있고, 세로축은 화소 분포 파라미터(210)를 지시할 수 있다.Referring to FIG. 2, the abscissa of the graph may indicate the
구체적으로, 입력 영상 또는 필터링하고자 하는 대상 영상에 대하여, Haar 웨이블릿 변환(wavelet transform)을 수행함으로써, 대상 영상을 각각 다른 성분으로 이루어진 4가지 부대역(LL, LH, HL, HH)로 분해할 수 있다. Specifically, by performing a Haar wavelet transform on an input image or a target image to be filtered, the target image can be decomposed into four subbands (LL, LH, HL, HH) composed of different components have.
여기서, HH 부대역의 경우에는 잡음(noise)이 밀집된 부대역으로 볼 수 있으므로, HH 부대역에서 잡음을 추정할 수 있다. 이때, 잡음 추정 방법으로 Adapting to Unknown Smoothness via Wavelet Shrinkage, David L. Donoho, Iain M. Johnstone, Department of Statistics Stanford University, July 20, 1994의 section 5.4에 제시된 방법을 사용하여 잡음을 결정할 수 있으나, 예시적인 것이고 이외에도 다양한 방법으로 잡음을 추정할 수 있다.Here, in the case of the HH subband, since the noise can be regarded as a dense subband, the noise can be estimated in the HH subband. In this case, noise can be determined using the method described in section 5.4 of Adapting to Unknown Smoothness via Wavelet Shrinkage, David L. Donoho, Iain M. Johnstone, Department of Statistics Stanford University, July 20, 1994, In addition, noise can be estimated by various methods.
잡음을 추정하면, 잡음(200) 정도에 따른 화소 분포 파라미터(210)를 최소자승법을 이용하여 도출할 수 있다.If the noise is estimated, the
최소 자승법에 따라 도출된 화소 분포 파라미터(σr, 210)는 다음의 수학식 5와 같이 정의할 수 있다.The pixel distribution parameter (? R , 210) derived according to the least squares method can be defined as the following Equation (5).
수학식 5에서와 같이 화소 분포 파라미터를 잡음에 따라 적응적으로 결정하면, 수학식 4의 화소간의 화소 인접성을 나타내는 가중치인 화소 인접성 가중치를 적응적으로 결정할 수 있다.As shown in Equation (5), if the pixel distribution parameter is adaptively determined according to the noise, the pixel adjacency weight, which is a weight representing the pixel adjacency between the pixels in Equation (4), can be adaptively determined.
한편, 도 2는 수학식 5에 따른 선형 방정식을 도시한 것이나, 잡음에 따라 화소 분포 파라미터를 결정하는 방법은 이에 한정되지 않고 다양하게 적용할 수 있다. Meanwhile, FIG. 2 shows the linear equation according to Equation (5), but the method of determining the pixel distribution parameter according to the noise is not limited to this and can be variously applied.
도 3은 본 발명의 일 실시예에 따른 블록의 방향에 따라 SAD(Sum of Absolute Difference)값을 산출하는 개념도이다.3 is a conceptual diagram for calculating a Sum of Absolute Difference (SAD) value according to a direction of a block according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법은 입력 영상에 대해 마스크(Mask)를 적용하여 필터링하고, 마스크가 적용되는 블록 단위로 필터링이 수행될 수 있다. 이때, 입력 영상의 각 블록에 대한 방향성을 판단함으로써, 적응적으로 필터링을 수행할 수 있다.According to an exemplary embodiment of the present invention, a noise removal method of an input image may be performed by applying a mask to an input image, and filtering the input image by a block unit to which a mask is applied. At this time, by determining the directionality of each block of the input image, adaptive filtering can be performed.
먼저, 블록의 방향성을 판단하는 수단으로 여러 방향에 대한 SAD값을 산출하고 산출된 SAD값을 비교함으로써 방향성을 판단할 수 있다.First, as a means for determining the directionality of a block, directionality can be determined by calculating SAD values for various directions and comparing the calculated SAD values.
도 3을 참조하면, SAD값을 산출하는 방향으로서, 가로 방향(horizontal, 300a), 세로 방향(vertical, 300b), 대각상 방향(diagonal up, 300c) 또는 대각하 방향(diagonal down, 300d)를 고려할 수 있다.Referring to FIG. 3, a
도 3의 300a 내지 300d에 따른 각각의 방향으로 인접한 두 화소의 화소값 차를 산출하여 더함으로써, 각각의 방향에 대한 SAD값을 산출할 수 있다. 즉, 도 3의 예시와 같이 300a 내지 300d에 따른 방향으로 SAD값을 산출할 경우, 4가지 SAD값(이하에서, 가장 작은 값부터 SAD(1), SAD(2), SAD(3), SAD(4)로 지칭)이 도출될 수 있고, 이때 도출된 SAD 값들을 비교함으로써, 블록의 영역 특성을 결정할 수 있다. The SAD value for each direction can be calculated by calculating and adding the pixel value difference between two adjacent pixels in each direction according to 300a to 300d in Fig. That is, when SAD values are calculated in the
예를 들어, 입력 영상의 각 블록의 영역 특성은 평탄 영역(flat region), 복잡 영역(complex region), 엣지 영역(edge region) 중 하나일 수 있다.For example, the area characteristic of each block of the input image may be one of a flat region, a complex region, and an edge region.
여기서, 엣지 영역은 입력 영상의 특정 블록에 대하여 산출된 SAD 값 중 가장 작은 SAD 값(SAD(1))과 두 번째로 작은 SAD 값(SAD(2))을 이용하여 특정 블록이 엣지 영역인지 여부를 결정할 수 있다. 구체적으로, SAD(1)을 SAD(2)로 나눈 결과값이 제1 임계값보다 작으면 해당 블록을 엣지 영역으로 판단할 수 있다.Here, the edge area is determined by determining whether a specific block is an edge area using the smallest SAD value (SAD (1)) and the second smallest SAD value (SAD (2)) among the SAD values calculated for a specific block of the input image. Can be determined. Specifically, if the value obtained by dividing SAD (1) by SAD (2) is smaller than the first threshold value, the block can be determined as an edge region.
여기서, 평탄 영역은 입력 영상의 특정 블록에 대하여 산출된 SAD 값 중 가장 작은 SAD 값(SAD(1))과 가장 큰 SAD 값(위에서와 같이 4가지 방향인 경우 SAD(4))을 이용하여 특정 블록이 엣지 영역인지 여부를 결정할 수 있다. 구체적으로 가장 작은 SAD 값을 가장 큰 SAD 값으로 나눈 결과값이 제2 임계값보다 크면 해당 블록을 평탄 영역으로 판단할 수 있다.Here, the flat area is determined by using the smallest SAD value (SAD (1)) and the largest SAD value (SAD (4) in the four directions as described above) among the SAD values calculated for a specific block of the input image It can be determined whether the block is an edge region. Specifically, if the result obtained by dividing the smallest SAD value by the largest SAD value is greater than the second threshold value, the block can be determined as a flat region.
여기서, 특정 블록이 엣지 영역이나 평탄 영역으로 판단되지 않을 경우에 해당 블록들은 복잡 영역으로 판단할 수 있다.Here, when the specific block is not determined as an edge area or a flat area, the blocks can be determined as a complex area.
한편, 엣지 영역은 엣지의 방향에 따라 가중치를 달리하여 양방향 필터링을 적응적으로 수행함으로써 필터링 효율을 증가시킬 수 있는데, 이하에서 설명한다. On the other hand, the edge area can increase the filtering efficiency by adaptively performing bi-directional filtering by changing the weights according to the direction of the edge, which will be described below.
도 4는 본 발명의 일 실시예에 따른 블록의 방향에 따른 블록 분할 및 분할된 영역에 대한 분산값을 산출하는 개념도이다.4 is a conceptual diagram for calculating a variance value for a block division and a divided region according to a direction of a block according to an embodiment of the present invention.
도 4를 참조하여, 블록의 엣지 방향에 따라 가중치를 적응적으로 결정하는 방법을 설명한다.Referring to FIG. 4, a method for adaptively determining a weight according to an edge direction of a block will be described.
입력 영상의 특정 블록이 엣지 영역인 경우, 해당 블록은 방향성을 가지므로 방향성에 따라 추가적인 가중치를 갖는 양방향 필터링을 수행할 수 있다.If the specific block of the input image is an edge area, the corresponding block has directionality, so bidirectional filtering with additional weighting can be performed according to the directionality.
즉, 앞서 수학식 1 및 2에 따른 양방향 필터링에서, 방향성에 따라 결정되는 가중치 d(y,x)를 추가로 적용함으로써, 아래의 수학식 6과 같은 양방향 필터링을 수행할 수 있다.In other words, bi-directional filtering according to Equation (6) can be performed by further applying the weight d (y, x) determined according to the directionality in the bidirectional filtering according to Equations (1) and (2).
수학식 6에서, 각 인자들은 수학식 1의 설명을 참조할 수 있고, d(y,x)는 블록의 방향성에 따라 적응적으로 결정되는 가중치(이하에서 방향 가중치)일 수 있다. 이때, k(x)는 아래의 수학식 7과 같이 정의할 수 있다.In Equation (6), each factor may refer to the description of Equation (1), and d (y, x) may be a weight that is adaptively determined according to the direction of the block (hereinafter, direction weighting). At this time, k (x) can be defined as Equation (7) below.
즉, 수학식 2와 비교할 때, 표준화 인자 k(x)에도 블록의 방향성에 따라 적응적으로 결정되는 가중치 d(y,x)가 적용될 수 있다. 또한, 상기 수학식 6에서 방향 가중치 d(y,x)는 아래의 수학식 8과 같이 정의할 수 있다.That is, when compared with the equation (2), the weighting value d (y, x) adaptively determined according to the direction of the block can also be applied to the normalization factor k (x). The direction weight d (y, x) in Equation (6) can be defined as Equation (8) below.
수학식 8에서, 방향성 파라미터 σv에는 입력 영상의 특정 블록을 엣지 방향에 따라 분할하고, 분할된 각 영역에서 도출되는 분산값을 사용할 수 있다.In Equation (8), a specific block of the input image may be divided according to the edge direction and a variance value derived from each divided region may be used for the directional parameter v .
구체적으로, 도 4를 참조하면, 입력 영상의 특정 블록의 방향이 수평 방향이면, 수평 분할(400a)을 수행하고, 분할된 각 영역에 있는 픽셀값들의 분산값을 파라미터 σv로 사용할 수 있다. 4, if the direction of a specific block of the input image is a horizontal direction, a horizontal division (400a) is performed, and a variance value of pixel values in each divided area can be used as a parameter σ v .
또한, 입력 영상의 특정 블록의 방향이 수직 방향이면, 수직 분할(400b)을 수행하여 분할된 각 영역에서 분산값을 도출하여 방향성 파라미터 σv로 사용할 수 있다.In addition, if the direction of a specific block of the input image is vertical, a variance value may be derived from each divided region by performing a vertical division (400b), and used as a directional parameter σ v .
또한, 입력 영상의 특정 블록의 방향이 대각상 방향이면, 대각상 분할(400c)을 수행하여 분할된 각 영역에서 분산값을 도출하여 방향성 파라미터 σv로 사용할 수 있다.If the direction of a specific block of the input image is a diagonal direction, a
또한, 입력 영상의 특정 블록의 방향이 대각하 방향이면, 대각하 분할(400d)을 수행하여 분할된 각 영역에서 분산값을 도출하여 방향성 파라미터 σv로 사용할 수 있다.Also, if the direction of a specific block of the input image is the diagonal downward direction, the
도 4에서 각 블록 방향에 따른 분할은 예시적인 것으로, 반드시 도 4에서와 같은 수의 영역으로 분할해야 하는 것은 아니며, 블록 방향과 유사하거나 일치하는 분할 형태를 갖는 두 개 이상의 영역으로 분할할 수 있다. 또한, 분할되는 영역의 수는 입력 영상의 해상도를 비롯한 크기에 따라 달리 결정될 수 있다. 따라서, 본 발명에 따른 분할 형태가 도 4에서 도시한 분할 형태에 한정하여 해석되어서는 안된다.The division in each block direction in FIG. 4 is an example, and it is not necessarily divided into the same number of regions as in FIG. 4, but may be divided into two or more regions having a division type similar or identical to the block direction . In addition, the number of regions to be divided may be determined depending on the size of the input image including the resolution. Therefore, the division type according to the present invention should not be limited to the division type shown in Fig.
도 5는 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법을 개념적으로 표현한 흐름도이다.5 is a flowchart conceptually illustrating a noise reduction method of an input image according to an exemplary embodiment of the present invention.
도 5를 참조하여, 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법이 수행되는 과정을 개념적으로 설명할 수 있다. 또한, 이때 입력 영상의 잡음 제거 방법은 수학식 1 및 2에 따른 과정을 수행하는 양방향 필터 또는 수학식 6 및 7에 따른 과정을 수행하는 양방향 필터를 이용하여 수행되는 것을 전제로 설명한다.Referring to FIG. 5, a process of performing a noise reduction method of an input image according to an exemplary embodiment of the present invention may be conceptually described. In this case, it is assumed that the noise cancellation method of the input image is performed using a bi-directional filter performing the process according to
먼저, Haar 웨이블릿 변환(wavelet decomposition)을 이용하여 입력 영상(original image)을 LL부대역, LH 부대역, HL 부대역, HH 부대역으로 분해할 수 있다(500).First, the original image can be decomposed into LL subband, LH subband, HL subband, and HH subband using Haar wavelet decomposition (500).
여기서, HH 부대역에 대해서는 도 2에서 설명한 잡음 추정 방법을 적용하여, 잡음에 따른 화소 분포 파라미터(σr)를 도출할 수 있다. 이처럼 잡음에 따라 결정된 화소 분포 파라미터는 수학식 1 및 2 또는 수학식 6 및 7에 따른 양방향 필터링에 적용할 수 있다(501).Here, with respect to the HH subband, by applying the noise estimation method described with reference to FIG. 2, it is possible to derive the pixel distribution parameter? R according to the noise. The pixel distribution parameter determined according to the noise can be applied to the bidirectional filtering according to
또한, HH 부대역에 대해서는 수학식 1 및 2 또는 수학식 6 및 7에 따른 양방향 필터링을 적용하지 않을 수 있다. 양방향 필터링을 HH 부대역에 적용하는 대신에, 쉬링커지 쓰레숄딩(Shrinkage thresholding)을 적용할 수 있는데(508), 쉬링커지 쓰레숄딩에 대해서는 Ideal Spatial Adaptation by Wavelet Shirinkage, David L. Donoho, Iain M. Johnstone, Department of statistics, Stanford University, June 1992, Revised April 1993의 section 2를 참조할 수 있다. Further, bi-directional filtering according to
한편, LL부대역, LH 부대역, HL 부대역에 대해서는 도 3에서 설명한 블록 방향에 따른 SAD를 산출(502)할 수 있고, 산출된 SAD 값들을 이용하여 입력 영상의 블록들에 대한 영역 특성을 결정할 수 있다(503). For the LL subband, the LH subband, and the HL subband, the SAD according to the block direction described in FIG. 3 can be calculated (502), and the region characteristics of the blocks of the input image can be calculated using the calculated SAD values (503).
엣지 영역으로 결정된 블록에 대해서는 가장 작은 SAD 값을 갖는 방향을 해당 블록의 방향으로 결정할 수 있고, 도 4에서 설명한 방향에 따른 분할 형태와 같이 해당 블록을 분할하여 분할된 각 영역에 대한 분산값을 도출함으로써, 방향성 가중치의 방향성 파라미터(σv)를 결정할 수 있다(504). 즉, 엣지 영역으로 결정된 블록은 방향성 파라미터에 따라 적응적인 방향성 가중치가 부여된 필터링 방법인 수학식 6 및 7에 따른 양방향 필터링 방법을 적용할 수 있다(505).The direction having the smallest SAD value can be determined to be the direction of the corresponding block for the block determined as the edge region and the variance value for each divided region can be derived , The directional parameter? V of the directional weight can be determined (504). That is, the bidirectional filtering method according to Equations (6) and (7), which is a filtering method in which adaptive directional weighting is given according to a directional parameter, can be applied to a block determined as an edge region.
한편, 평탄 영역으로 결정된 블록에 대해서는 수학식 1 및 2에 따른 양방향 필터링 방법을 적용하되, 화소 분포 파라미터(σr)를 증가시킨 화소 인접성 가중치를 사용한 양방향 필터링 방법을 적용할 수 있다(506). 이때, 화소 분포 파라미터(σr)는 종래의 방법에 따라 결정된 파라미터값을 증가시키거나, 앞서 수학식 5에 따라 도출된 화소 분포 파라미터(σr)를 증가시켜 사용할 수 있다. 예를 들면, 화소 분포 파라미터가 50% 증가된 양방향 필터링 방법을 평탄 영역으로 결정된 블록에 대해 적용할 수 있다.On the other hand, a bidirectional filtering method based on
여기서, 복잡 영역으로 결정된 블록에 대해서는 수학식 1 및 2에 따른 양방향 필터링 방법을 적용할 수 있다(507). Here, the bidirectional filtering method according to
양방향 필터링(505~507) 또는 쉬링커지 쓰레숄딩(508)을 수행한 후에는, 각 부대역들에 대한 웨이블릿 역변환(wavelet reconstruction)을 수행하여, 잡음이 제거된 영상을 획득할 수 있다(509). After performing
도 6은 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법에 대한 흐름도이다.6 is a flowchart illustrating a method of removing noise of an input image according to an exemplary embodiment of the present invention.
도 6을 참조하면, 화소 인접성 가중치와 지역 인접성 가중치가 적용된 양방향 필터를 이용한 입력 영상의 잡음(noise) 제거 방법은, 웨이블릿 변환을 이용하여 입력 영상을 LL 부대역, LH 부대역, HL 부대역 및 HH 부대역 중 적어도 하나를 포함하는 부대역으로 분해하는 단계(S100), 부대역으로 분해된 입력 영상의 제1 블록에 대한 영역 특성을 결정하는 단계(S110), 결정된 영역 특성에 따라 양방향 필터에 적용될 가중치를 결정하는 단계(S120) 및 설정된 가중치가 적용된 양방향 필터를 이용하여 제1 블록에 대한 필터링을 수행하는 단계(S130)를 포함할 수 있다.Referring to FIG. 6, a method of removing noise of an input image using a bidirectional filter to which a pixel proximity weight and a neighborhood adjacency weight are applied is characterized in that the input image is transformed into an LL subband, an LH subband, an HL subband, (S110) of determining a region characteristic of a first block of an input image decomposed into sub-bands (S110); and a step of determining Determining a weight to be applied (S120), and performing filtering for the first block using the bi-directional filter to which the weight is applied (S130).
여기서 화소 인접성 가중치 및 화소 인접성 가중치는 수학식 1 및 2를 참조할 수 있다.Here, the pixel proximity weight and the pixel proximity weight can refer to Equations (1) and (2).
여기서 제1 블록에 대하여 필터링을 수행하는 단계(S130)는, HH 부대역에 대한 잡음을 추정하는 단계, 최소 자승법(Least Mean Square, LMS)을 이용하여 잡음에 따라 화소 인접성 가중치를 적응적으로 결정하는 단계 및 결정된 화소 인접성 가중치가 적용된 양방향 필터를 이용하여 제1 블록에 대한 필터링을 수행하는 단계를 더 포함할 수 있다.Here, the step of performing filtering (S130) on the first block may include estimating noise for the HH subband, adaptively determining pixel adjacency weights according to noise using Least Mean Square (LMS) And filtering the first block using a bidirectional filter to which the determined pixel proximity weights are applied.
여기서 입력 영상의 잡음 제거 방법은, HH 부대역에 대하여, 양방향 필터를 이용한 필터링을 수행하는 대신에, 쉬링커지 쓰레숄딩(Shrinkage thresholding)을 수행할 수 있다.Here, the noise removal method of the input image may perform shrinkage thresholding for the HH subband instead of performing filtering using the bidirectional filter.
여기서 영역 특성을 결정하는 단계(S110)는, 제1 블록에 대하여 적어도 하나의 방향에 기초한 SAD(Sum of Absolute Difference) 값을 산출하는 단계 및 산출된 SAD 값을 평가하여, 제1 블록에 대한 영역 특성을 결정하는 단계를 포함할 수 있다.Here, the step S110 of determining the region characteristic may include calculating a sum of absolute difference (SAD) value based on at least one direction with respect to the first block, and evaluating the calculated SAD value, And < / RTI >
여기서 적어도 하나의 방향은, 수평 방향(horizontal direction), 수직 방향(vertical direction), 대각상 방향(diagonal up direction) 및 대각하 방향(diagonal down direction) 중 적어도 하나를 포함할 수 있다.The at least one direction may include at least one of a horizontal direction, a vertical direction, a diagonal up direction, and a diagonal down direction.
여기서 산출된 SAD 값을 평가하여, 제1 블록에 대한 영역 특성을 결정하는 단계는, 산출된 SAD 값을 평가하여 제1 블록의 영역 특성을 엣지 영역(edge region), 평탄 영역(flat region) 및 복잡 영역(complex region) 중 하나로 결정할 수 있다.The step of evaluating the calculated SAD value and determining the area characteristic for the first block may include evaluating the calculated SAD value to determine the area characteristic of the first block as an edge region, It can be determined to be one of the complex regions.
여기서 영역 특성을 결정하는 단계(S110)는, 산출된 SAD 값 중 가장 작은 SAD 값과 두 번째로 작은 SAD 값을 이용하여 제1 블록의 영역 특성이 엣지 영역인지 여부를 결정할 수 있다.Here, the step of determining the area characteristic (S110) may determine whether the area characteristic of the first block is the edge area by using the smallest SAD value and the second smallest SAD value among the calculated SAD values.
예를 들면, 가장 작은 SAD 값을 두 번째로 작은 SAD 값으로 나눈 결과값이 제1 임계값(T1)보다 작으면, 제1 블록의 영역 특성이 엣지 영역인 것으로 결정할 수 있다.For example, if the result obtained by dividing the smallest SAD value by the second smallest SAD value is smaller than the first threshold value T1, it can be determined that the region characteristic of the first block is the edge region.
여기서 영역 특성을 결정하는 단계(S110)는, 산출된 SAD 값 중 가장 작은 SAD 값과 가장 큰 SAD 값을 이용하여 제1 블록의 영역 특성이 평탄 영역인지 여부를 결정할 수 있다.Here, the step of determining the area characteristic (S110) may determine whether the area characteristic of the first block is a flat area using the smallest SAD value and the largest SAD value among the calculated SAD values.
예를 들면, 가장 작은 SAD 값을 가장 큰 SAD 값으로 나눈 결과값이 제2 임계값(T2)보다 크면 제1 블록의 영역 특성이 평탄 영역인 것으로 결정할 수 있다.For example, if the result obtained by dividing the smallest SAD value by the largest SAD value is greater than the second threshold value T2, it can be determined that the region characteristic of the first block is a flat region.
여기서 양방향 필터에 적용될 가중치를 결정하는 단계(S120)는, 제1 블록의 영역 특성이 평탄 영역이면, 화소 인접성 가중치를 제1 블록이 다른 영역 특성인 경우보다 증가된 값으로 결정할 수 있다.Here, the step of determining a weight to be applied to the bi-directional filter (S120) may determine the pixel adjacency weight as an increased value in the case where the first block has a flat property, as compared with the case where the first block has a different characteristic.
구체적으로, 제1 블록의 영역 특성이 평탄 영역이면 수학식 4에 따른 화소 인접성 가중치에서, 화소 분포 파라미터(σr)을 다른 영역 특성일 때보다 증가시킨 값을 적용할 수 있다. 수학식 4를 참조할 때, 화소 분포 파라미터가 증가되면 화소 인접성 가중치가 증가하므로 화소 분포 파라미터(σr)를 증가시키는 것은 화소 인접성 가중치를 증가시키는 것으로 이해될 수 있다.Specifically, if the area characteristic of the first block is a flat area, a value obtained by increasing the pixel distribution parameter (? R ) from the pixel adjacency weight according to Equation (4) is used. Referring to Equation (4), it can be understood that increasing the pixel distribution parameter ( r ) increases the pixel adjacency weight because the pixel adjacency weight is increased when the pixel distribution parameter is increased.
여기서 양방향 필터에 적용될 가중치를 설정하는 단계(S120)는, 제1 블록이 엣지 영역이면, 적어도 하나의 방향에 상응하도록 제1 블록을 분할하고, 분할된 각각의 영역에 포함된 픽셀값들의 분산값을 이용하여 도출되는 방향성 가중치를 결정할 수 있다.Here, the step of setting a weight to be applied to the bi-directional filter (S120) may include dividing the first block so as to correspond to at least one direction if the first block is an edge region, Can be used to determine directional weights.
즉, 수학식 8에 따른 방향성 가중치를 수학식 1 및 2에 따른 양방향 필터링 과정에 추가적으로 적용함으로써, 수학식 6 및 7에 따른 양방향 필터링을 수행할 수 있다. That is, bi-directional filtering according to Equations (6) and (7) can be performed by further applying the directional weight according to Equation (8) to the bidirectional filtering process according to Equations (1) and (2).
여기서 제1 블록에 대한 필터링을 수행하는 단계(S130) 이후에는 입력 영상에 대한 웨이블릿 역변환을 수행하여 입력 영상을 복원할 수 있다. 복원된 입력 영상은 영상의 방향성에 따른 적응적 양방향 필터링이 수행되었으므로 잡음이 효과적으로 제거될 수 있다.Here, after performing the filtering on the first block (S130), the input image may be restored by performing inverse wavelet transform on the input image. Since the restored input image is adaptively bi-directionally filtered according to the direction of the image, the noise can be effectively removed.
도 7은 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 방법이 수행된 결과 영상을 비교한 예시도이다.FIG. 7 is a diagram illustrating an exemplary comparison of a resultant image with a noise reduction method of an input image according to an exemplary embodiment of the present invention. Referring to FIG.
도 7을 참조하면, 입력 영상에 대하여 본 발명의 일 실시예에 따른 잡음 제거 방법을 수행한 결과를 종래의 방법과 비교할 수 있다.Referring to FIG. 7, the noise reduction method according to an exemplary embodiment of the present invention can be compared with a conventional method.
700a는 입력 영상 또는 원본 영상이고, 700b는 입력 영상에 대하여 잡음이 부가된 영상이다.
잡음이 부가된 영상(700b)에 대하여 본 발명의 일 실시예에 따른 잡음 제거 방법을 수행한 결과 영상은 700d와 같다.The noise reduction method according to an embodiment of the present invention is applied to the noise added
또한, 잡음이 부가된 영상(700c)에 대하여 종래의 양방향 필터링을 수행한 결과 영상은 700c와 같다.In addition, the image obtained by performing the conventional bidirectional filtering on the noise added
종래의 양방향 필터링에 따른 결과 영상(700c)과 본 발명의 일 실시예에 따른 잡음 제거 방법이 수행된 결과 영상(700d)을 비교하면, 종래의 양방향 필터링에 따른 결과 영상(700c)은 원본 영상(700a)보다 흐림(blur) 현상이 나타났으나, 본 발명의 일 실시예에 따른 잡음 제거 방법이 수행된 결과 영상(700d)에서는 흐림 현상이 훨씬 완화된 것을 확인할 수 있다.When the
도 8은 본 발명의 일 실시예에 따른 입력 영상의 잡음 제거 장치에 대한 구성도이다.8 is a block diagram of an apparatus for removing noise of an input image according to an embodiment of the present invention.
도 8을 참조하면, 화소 인접성 가중치와 지역 인접성 가중치가 적용된 양방향 필터를 이용한 입력 영상의 잡음(noise) 제거 장치(800)는, 적어도 하나의 프로세서(processor, 810) 및 적어도 하나의 프로세서(810)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 820)를 포함할 수 있다.8, an
여기서 입력 영상의 잡음 제거 장치(800)는 입력 영상을 유무선 네트워크를 통하여 수신하는 통신 모듈(830)을 더 포함할 수 있다.Here, the
여기서 입력 영상의 잡음 제거 장치(800)는 입력 영상의 잡음이 제거된 결과 영상 또는 잡음 제거 과정에서 도출되는 중간 처리 영상을 저장하는 저장소(storage, 840)를 더 포함할 수 있다.Here, the
여기서 입력 영상의 잡음 제거 장치(800)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.Herein, the
여기서 적어도 하나의 단계는, 웨이블릿 변환을 이용하여 입력 영상을 LL 부대역, LH 부대역, HL 부대역 및 HH 부대역 중 적어도 하나를 포함하는 부대역으로 분해하는 단계, 부대역으로 분해된 입력 영상의 제1 블록에 대한 영역 특성을 결정하는 단계, 결정된 영역 특성에 따라 양방향 필터에 적용될 가중치를 결정하는 단계 및 설정된 가중치가 적용된 양방향 필터를 이용하여 제1 블록에 대한 필터링을 수행하는 단계를 포함할 수 있다.Wherein at least one step comprises decomposing the input image into subbands comprising at least one of an LL sub-band, an LH sub-band, an HL sub-band and an HH sub-band using wavelet transform, Determining a weight to be applied to the bidirectional filter according to the determined area characteristic, and performing filtering on the first block using the weighted bi-directional filter .
여기서 명령어들은 적어도 하나의 프로세서(810)가, HH 부대역에 대한 잡음을 추정하는 단계, 최소 자승법(Least Mean Square, LMS)을 이용하여 잡음에 따라 화소 인접성 가중치를 적응적으로 결정하는 단계 및 결정된 화소 인접성 가중치가 적용된 양방향 필터를 이용하여 제1 블록에 대한 필터링을 수행하는 단계를 수행하도록 지시할 수 있다.Where the instructions include at least one
여기서 명령어들은 적어도 하나의 프로세서(810)가, HH 부대역에 대하여, 양방향 필터를 이용한 필터링을 수행하는 대신에, 쉬링커지 쓰레숄딩(Shrinkage thresholding)을 수행하도록 지시할 수 있다.Where the instructions may instruct at least one
여기서 영역 특성을 결정하는 단계는, 제1 블록에 대하여 적어도 하나의 방향에 기초한 SAD(Sum of Absolute Difference) 값을 산출하는 단계 및 산출된 SAD 값을 평가하여, 제1 블록에 대한 영역 특성을 결정하는 단계를 포함할 수 있다.Wherein determining the region characteristic comprises calculating a sum of absolute difference (SAD) value based on at least one direction for the first block and evaluating the calculated SAD value to determine a region characteristic for the first block .
여기서 적어도 하나의 방향은, 수평 방향(horizontal direction), 수직 방향(vertical direction), 대각상 방향(diagonal up direction) 및 대각하 방향(diagonal down direction) 중 적어도 하나를 포함할 수 있다.The at least one direction may include at least one of a horizontal direction, a vertical direction, a diagonal up direction, and a diagonal down direction.
여기서 산출된 SAD 값을 평가하여, 제1 블록에 대한 영역 특성을 결정하는 단계는, 산출된 SAD 값을 평가하여 제1 블록의 영역 특성을 엣지 영역(edge region), 평탄 영역(flat region) 및 복잡 영역(complex region) 중 하나로 결정할 수 있다.The step of evaluating the calculated SAD value and determining the area characteristic for the first block may include evaluating the calculated SAD value to determine the area characteristic of the first block as an edge region, It can be determined to be one of the complex regions.
여기서 영역 특성을 결정하는 단계는, 산출된 SAD 값 중 가장 작은 SAD 값과 두 번째로 작은 SAD 값을 이용하여 제1 블록의 영역 특성이 엣지 영역인지 여부를 결정할 수 있다.Here, the step of determining the area characteristic may determine whether the area characteristic of the first block is the edge area using the smallest SAD value and the second smallest SAD value among the calculated SAD values.
여기서 영역 특성을 결정하는 단계는, 산출된 SAD 값 중 가장 작은 SAD 값과 가장 큰 SAD 값을 이용하여 제1 블록의 영역 특성이 평탄 영역인지 여부를 결정할 수 있다.Here, the step of determining the area characteristic may determine whether the area characteristic of the first block is a flat area using the smallest SAD value and the largest SAD value among the calculated SAD values.
여기서 양방향 필터에 적용될 가중치를 결정하는 단계는, 제1 블록의 영역 특성이 평탄 영역이면, 화소 인접성 가중치를 제1 블록이 다른 영역 특성인 경우보다 증가된 값으로 결정할 수 있다.Here, the step of determining the weight to be applied to the bidirectional filter may determine the pixel adjacency weight to be an increased value than when the first block has the different area characteristic, if the area characteristic of the first block is a flat area.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to the present invention can be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention or may be available to those skilled in the computer software.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer-readable media include hardware devices that are specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions may include machine language code such as those produced by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate with at least one software module to perform the operations of the present invention, and vice versa.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.Also, the above-described method or apparatus may be implemented by combining all or a part of the configuration or function, or may be implemented separately.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that
Claims (20)
웨이블릿 변환을 이용하여 입력 영상을 LL 부대역, LH 부대역, HL 부대역 및 HH 부대역 중 적어도 하나를 포함하는 부대역으로 분해하는 단계;
부대역으로 분해된 입력 영상의 제1 블록에 대하여 적어도 하나의 방향에 따라 SAD(Sum of Absolute Difference) 값을 산출하는 단계;
산출된 SAD 값을 평가하여, 상기 제1 블록에 대한 영역 특성을 결정하는 단계;
결정된 영역 특성에 따라 양방향 필터에 적용될 가중치를 결정하는 단계; 및
설정된 가중치가 적용된 양방향 필터를 이용하여 상기 제1 블록에 대한 필터링을 수행하는 단계를 포함하고,
상기 적어도 하나의 방향은,
수평 방향(horizontal direction), 수직 방향(vertical direction), 대각 방향(diagonal direction) 중 적어도 하나를 포함하는, 입력 영상의 잡음 제거 방법.In a method for removing noise in an input image using a bidirectional filter to which pixel adjacency weights and local adjacency weights are applied,
Decomposing the input image into subbands including at least one of an LL subband, an LH subband, an HL subband, and an HH subband using wavelet transform;
Calculating a Sum of Absolute Difference (SAD) value according to at least one direction for a first block of an input image decomposed into subbands;
Evaluating the calculated SAD value to determine a region characteristic for the first block;
Determining a weight to be applied to the bidirectional filter according to the determined region characteristics; And
Performing filtering on the first block using a bidirectional filter to which a predetermined weight is applied,
Wherein the at least one direction comprises:
And at least one of a horizontal direction, a vertical direction, and a diagonal direction.
상기 제1 블록에 대한 필터링을 수행하는 단계는,
상기 HH 부대역에 대한 잡음을 추정하는 단계;
최소 자승법(Least Mean Square, LMS)을 이용하여 상기 잡음에 따라 상기 화소 인접성 가중치를 적응적으로 결정하는 단계; 및
결정된 화소 인접성 가중치가 적용된 양방향 필터를 이용하여 상기 제1 블록에 대한 필터링을 수행하는 단계를 더 포함하는, 입력 영상의 잡음 제거 방법.In claim 1,
Wherein performing filtering on the first block comprises:
Estimating noise for the HH subband;
Adaptively determining the pixel proximity weight according to the noise using a Least Mean Square (LMS) method; And
And performing filtering on the first block using a bi-directional filter to which a determined pixel proximity weight is applied.
상기 입력 영상의 잡음 제거 방법은,
상기 HH 부대역에 대하여, 상기 양방향 필터를 이용한 필터링을 수행하는 대신에, 쉬링커지 쓰레숄딩(Shrinkage thresholding)을 수행하는, 입력 영상의 잡음 제거 방법.In claim 1,
The method of claim 1,
And performing shrinkage thresholding on the HH subband in place of performing filtering using the bidirectional filter.
상기 산출된 SAD 값을 평가하여, 상기 제1 블록에 대한 영역 특성을 결정하는 단계는,
산출된 SAD 값을 평가하여 상기 제1 블록의 영역 특성을 엣지 영역(edge region), 평탄 영역(flat region) 및 복잡 영역(complex region) 중 하나로 결정하는, 입력 영상의 잡음 제거 방법.In claim 1,
The step of evaluating the calculated SAD value and determining a region characteristic for the first block may include:
And evaluating the calculated SAD value to determine an area characteristic of the first block as one of an edge region, a flat region, and a complex region.
상기 영역 특성을 결정하는 단계는,
산출된 SAD 값 중 가장 작은 SAD 값과 두 번째로 작은 SAD 값을 이용하여 상기 제1 블록의 영역 특성이 엣지 영역인지 여부를 결정하는, 입력 영상의 잡음 제거 방법.In claim 6,
Wherein determining the region characteristic comprises:
And determining whether the area characteristic of the first block is an edge area using the smallest SAD value and the second smallest SAD value among the calculated SAD values.
상기 영역 특성을 결정하는 단계는,
산출된 SAD 값 중 가장 작은 SAD 값과 가장 큰 SAD 값을 이용하여 상기 제1 블록의 영역 특성이 평탄 영역인지 여부를 결정하는, 입력 영상의 잡음 제거 방법.In claim 6,
Wherein determining the region characteristic comprises:
And determining whether the area characteristic of the first block is a flat area using the smallest SAD value and the largest SAD value among the calculated SAD values.
상기 양방향 필터에 적용될 가중치를 결정하는 단계는,
상기 제1 블록의 영역 특성이 평탄 영역이면, 다른 영역 특성인 경우보다 상기 화소 인접성 가중치를 증가된 값으로 결정하는, 입력 영상의 잡음 제거 방법.In claim 6,
Wherein the step of determining a weight to be applied to the bidirectional filter comprises:
Wherein the pixel adjacency weight is determined to be an increased value when the region characteristic of the first block is a flat region.
상기 양방향 필터에 적용될 가중치를 설정하는 단계는,
상기 제1 블록이 엣지 영역이면, 상기 적어도 하나의 방향에 상응하도록 상기 제1 블록을 분할하고, 분할된 각각의 영역에 포함된 픽셀값들의 분산값을 이용하여 도출되는 방향성 가중치를 결정하는, 입력 영상의 잡음 제거 방법.In claim 6,
Wherein the step of setting a weight to be applied to the bi-
Wherein if the first block is an edge region, dividing the first block to correspond to the at least one direction, and determining a directional weight derived using a variance value of pixel values contained in each of the divided regions, Noise removal method of image.
적어도 하나의 프로세서(processor); 및
상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하고,
상기 적어도 하나의 단계는,
웨이블릿 변환을 이용하여 입력 영상을 LL 부대역, LH 부대역, HL 부대역 및 HH 부대역 중 적어도 하나를 포함하는 부대역으로 분해하는 단계;
부대역으로 분해된 입력 영상의 제1 블록에 대하여 적어도 하나의 방향에 따라 SAD(Sum of Absolute Difference) 값을 산출하는 단계;
산출된 SAD 값을 평가하여, 상기 제1 블록에 대한 영역 특성을 결정하는 단계;
결정된 영역 특성에 따라 양방향 필터에 적용될 가중치를 결정하는 단계; 및
설정된 가중치가 적용된 양방향 필터를 이용하여 상기 제1 블록에 대한 필터링을 수행하는 단계를 포함하고,
상기 적어도 하나의 방향은,
수평 방향(horizontal direction), 수직 방향(vertical direction), 대각 방향(diagonal direction) 중 적어도 하나를 포함하는, 입력 영상의 잡음 제거 장치.An apparatus for removing noise in an input image using a bidirectional filter to which pixel adjacency weights and local adjacency weights are applied,
At least one processor; And
A memory for storing instructions that direct the at least one processor to perform at least one step,
Wherein the at least one step comprises:
Decomposing the input image into subbands including at least one of an LL subband, an LH subband, an HL subband, and an HH subband using wavelet transform;
Calculating a Sum of Absolute Difference (SAD) value according to at least one direction for a first block of an input image decomposed into subbands;
Evaluating the calculated SAD value to determine a region characteristic for the first block;
Determining a weight to be applied to the bidirectional filter according to the determined region characteristics; And
Performing filtering on the first block using a bidirectional filter to which a predetermined weight is applied,
Wherein the at least one direction comprises:
Wherein the input image includes at least one of a horizontal direction, a vertical direction, and a diagonal direction.
상기 명령어들은 상기 적어도 하나의 프로세서가,
상기 HH 부대역에 대한 잡음을 추정하는 단계;
최소 자승법(Least Mean Square, LMS)을 이용하여 상기 잡음에 따라 상기 화소 인접성 가중치를 적응적으로 결정하는 단계; 및
결정된 화소 인접성 가중치가 적용된 양방향 필터를 이용하여 상기 제1 블록에 대한 필터링을 수행하는 단계를 수행하도록 지시하는, 입력 영상의 잡음 제거 장치.In claim 11,
Wherein the instructions cause the at least one processor to:
Estimating noise for the HH subband;
Adaptively determining the pixel proximity weight according to the noise using a Least Mean Square (LMS) method; And
And performing filtering on the first block using a bidirectional filter to which the determined pixel proximity weight is applied.
상기 명령어들은 상기 적어도 하나의 프로세서가,
상기 HH 부대역에 대하여, 상기 양방향 필터를 이용한 필터링을 수행하는 대신에, 쉬링커지 쓰레숄딩(Shrinkage thresholding)을 수행하도록 지시하는, 입력 영상의 잡음 제거 장치.In claim 11,
Wherein the instructions cause the at least one processor to:
And instructs the HH subband to perform Shrinkage thresholding instead of performing filtering using the bidirectional filter.
상기 산출된 SAD 값을 평가하여, 상기 제1 블록에 대한 영역 특성을 결정하는 단계는,
산출된 SAD 값을 평가하여 상기 제1 블록의 영역 특성을 엣지 영역(edge region), 평탄 영역(flat region) 및 복잡 영역(complex region) 중 하나로 결정하는, 입력 영상의 잡음 제거 장치.In claim 11,
The step of evaluating the calculated SAD value and determining a region characteristic for the first block may include:
And evaluating the calculated SAD value to determine an area characteristic of the first block as one of an edge region, a flat region, and a complex region.
상기 영역 특성을 결정하는 단계는,
산출된 SAD 값 중 가장 작은 SAD 값과 두 번째로 작은 SAD 값을 이용하여 상기 제1 블록의 영역 특성이 엣지 영역인지 여부를 결정하는, 입력 영상의 잡음 제거 장치.In claim 16,
Wherein determining the region characteristic comprises:
And determines whether the area characteristic of the first block is an edge area using the smallest SAD value and the second smallest SAD value among the calculated SAD values.
상기 영역 특성을 결정하는 단계는,
산출된 SAD 값 중 가장 작은 SAD 값과 가장 큰 SAD 값을 이용하여 상기 제1 블록의 영역 특성이 평탄 영역인지 여부를 결정하는, 입력 영상의 잡음 제거 장치.In claim 16,
Wherein determining the region characteristic comprises:
And determines whether the area characteristic of the first block is a flat area using the smallest SAD value and the largest SAD value among the calculated SAD values.
상기 양방향 필터에 적용될 가중치를 결정하는 단계는,
상기 제1 블록의 영역 특성이 평탄 영역이면, 다른 영역 특성인 경우보다 상기 화소 인접성 가중치를 증가된 값으로 결정하는, 입력 영상의 잡음 제거 장치.In claim 16,
Wherein the step of determining a weight to be applied to the bidirectional filter comprises:
Wherein the pixel adjacency weight is determined to be an increased value when the region characteristic of the first block is a flat region.
웨이블릿 변환을 이용하여 입력 영상을 LL 부대역, LH 부대역, HL 부대역 및 HH 부대역 중 적어도 하나를 포함하는 부대역으로 분해하는 단계;
상기 HH 부대역에 대한 잡음을 추정하는 단계;
추정된 잡음에 대한 최소 자승법(Least Mean Square, LMS)을 적용하여 상기 화소 인접성 가중치를 적응적으로 결정하는 단계; 및
결정된 화소 인접성 가중치가 적용된 양방향 필터를 이용하여 상기 입력 영상에 대한 필터링을 수행하는 단계를 포함하고,
상기 화소 인접성 가중치(s(y,x))는, 중심 화소값(f(x))과 이웃 화소값(f(y)) 사이의 차분함수(δ)와 화소간 결합 정도를 나타내는 화소 분포 파라미터(σr)를 이용하여, 수학식
상기 화소 인접성 가중치를 적응적으로 결정하는 단계는,
상기 화소 분포 파라미터(σr)를 상기 잡음에 따라 적응적으로 결정하는 단계를 포함하는, 입력 영상의 잡음 제거 방법.In a method for removing noise in an input image using a bidirectional filter to which pixel adjacency weights and local adjacency weights are applied,
Decomposing the input image into subbands including at least one of an LL subband, an LH subband, an HL subband, and an HH subband using wavelet transform;
Estimating noise for the HH subband;
Adaptively determining the pixel proximity weight by applying a Least Mean Square (LMS) to the estimated noise; And
And performing filtering on the input image using a bidirectional filter to which a determined pixel proximity weight is applied,
The pixel adjacency weight s (y, x) is calculated based on the difference function δ between the center pixel value f (x) and the neighboring pixel value f (y) (? r )
Wherein the step of adaptively determining the pixel proximity weights comprises:
And adaptively determining the pixel distribution parameter ( r ) according to the noise.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170099031A KR101926269B1 (en) | 2017-08-04 | 2017-08-04 | Method for reducing noise of image using bilateral filter and apparatus for the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170099031A KR101926269B1 (en) | 2017-08-04 | 2017-08-04 | Method for reducing noise of image using bilateral filter and apparatus for the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101926269B1 true KR101926269B1 (en) | 2018-12-06 |
Family
ID=64671519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170099031A KR101926269B1 (en) | 2017-08-04 | 2017-08-04 | Method for reducing noise of image using bilateral filter and apparatus for the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101926269B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463225A (en) * | 2021-12-24 | 2022-05-10 | 浙江大华技术股份有限公司 | Bilateral filtering method and device |
| KR20230095791A (en) * | 2021-12-22 | 2023-06-29 | (주) 픽셀플러스 | Image processing apparatus and image processing method of the same |
| KR20230095790A (en) * | 2021-12-22 | 2023-06-29 | (주) 픽셀플러스 | Image processing apparatus |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013183391A1 (en) * | 2012-06-05 | 2013-12-12 | 国立大学法人静岡大学 | Image-filtering device, image-filtering method, and image-filtering program |
-
2017
- 2017-08-04 KR KR1020170099031A patent/KR101926269B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013183391A1 (en) * | 2012-06-05 | 2013-12-12 | 国立大学法人静岡大学 | Image-filtering device, image-filtering method, and image-filtering program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230095791A (en) * | 2021-12-22 | 2023-06-29 | (주) 픽셀플러스 | Image processing apparatus and image processing method of the same |
| KR20230095790A (en) * | 2021-12-22 | 2023-06-29 | (주) 픽셀플러스 | Image processing apparatus |
| KR102658842B1 (en) | 2021-12-22 | 2024-04-19 | (주) 픽셀플러스 | Image processing apparatus |
| KR102688328B1 (en) * | 2021-12-22 | 2024-07-26 | (주) 픽셀플러스 | Image processing apparatus and image processing method of the same |
| CN114463225A (en) * | 2021-12-24 | 2022-05-10 | 浙江大华技术股份有限公司 | Bilateral filtering method and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Nonlocal gradient sparsity regularization for image restoration | |
| US8805120B2 (en) | Image processing apparatus and method which generates reference data according to learning images | |
| Zhang et al. | Low-rank decomposition-based restoration of compressed images via adaptive noise estimation | |
| CN101841706B (en) | Method and device for improving video quality | |
| Paek et al. | A DCT-based spatially adaptive post-processing technique to reduce the blocking artifacts in transform coded images | |
| KR101926269B1 (en) | Method for reducing noise of image using bilateral filter and apparatus for the same | |
| US11430090B2 (en) | Method and apparatus for removing compressed Poisson noise of image based on deep neural network | |
| WO2018058090A1 (en) | Method for no-reference image quality assessment | |
| CN101478637A (en) | History-based spatio-temporal noise reduction | |
| US9449371B1 (en) | True motion based temporal-spatial IIR filter for video | |
| CN101640801A (en) | Image processing apparatus, image processing method, and program | |
| KR20180078310A (en) | A method for reducing real-time video noise in a coding process, a terminal, and a computer readable nonvolatile storage medium | |
| Lee et al. | Regression-based prediction for blocking artifact reduction in JPEG-compressed images | |
| JP6087739B2 (en) | Moving picture coding apparatus, moving picture decoding apparatus, moving picture system, moving picture coding method, moving picture decoding method, and program | |
| Zhang et al. | Reducing blocking artifacts in compressed images via transform-domain non-local coefficients estimation | |
| Jakhetiya et al. | Maximum a posterior and perceptually motivated reconstruction algorithm: A generic framework | |
| JP6065613B2 (en) | Video encoding device | |
| CN112419161B (en) | Image processing method and device, storage medium and electronic equipment | |
| CN111260590A (en) | Image noise reduction method and related product | |
| US8768089B2 (en) | System and method for filtering an image | |
| Pritamdas et al. | An adaptive switching filter based on approximated variance for detection of impulse noise from color images | |
| KR101979492B1 (en) | Method for adaptive scene change detection based on resolution and apparatus for the same | |
| Das | Review of image denoising techniques | |
| Lin et al. | An iterative enhanced super-resolution system with edge-dominated interpolation and adaptive enhancements | |
| Jeevan et al. | A Wavelet Thresholding-Based Approach for Denoising the Color Image Affected by Gaussian Noise |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |