KR101001676B1 - Edge-protection deblocking filter using pixel classifing - Google Patents

Edge-protection deblocking filter using pixel classifing Download PDF

Info

Publication number
KR101001676B1
KR101001676B1 KR1020090036463A KR20090036463A KR101001676B1 KR 101001676 B1 KR101001676 B1 KR 101001676B1 KR 1020090036463 A KR1020090036463 A KR 1020090036463A KR 20090036463 A KR20090036463 A KR 20090036463A KR 101001676 B1 KR101001676 B1 KR 101001676B1
Authority
KR
South Korea
Prior art keywords
pixel
block
edge
convolution
filter
Prior art date
Application number
KR1020090036463A
Other languages
Korean (ko)
Other versions
KR20100117812A (en
Inventor
빈 트룽퀑
박주현
김영철
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020090036463A priority Critical patent/KR101001676B1/en
Publication of KR20100117812A publication Critical patent/KR20100117812A/en
Application granted granted Critical
Publication of KR101001676B1 publication Critical patent/KR101001676B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 에지보존 디블로킹 필터에 관한 것으로, 보다 구체적으로는 입력되는 영상의 각 화소가 평탄영역의 화소인지 에지영역의 화소인지 구분한 후, 평탄영역의 화소에 대해서는 오프셋 필터링을 수행하여 블록잡음을 제거하고, 에지영역의 화소에 대해서는 에지보존 필터링을 수행하여 계단잡음 및 구석윤곽 잡음을 제거함으로써, 블록잡음 제거시에 발생할 수 있는 에지영역 화소의 파괴현상을 방지할 수 있는 화소 분류를 이용한 에지보존 디블로킹 필터에 관한 것이다.

Figure R1020090036463

디블로킹, 에지보존, 블록잡음, 오프셋 필터, 파이프 라인

The present invention relates to an edge preserving deblocking filter. More specifically, the present invention relates to an edge preservation deblocking filter. More specifically, after discriminating whether each pixel of an input image is a pixel of a flat region or a pixel of an edge region, block noise is performed by performing offset filtering on pixels of the flat region. Edge by using pixel classification to prevent the destruction of edge region pixels that may occur when removing block noise by removing edge noise and corner contour noise by performing edge preservation filtering on the pixels in the edge region. It relates to a storage deblocking filter.

Figure R1020090036463

Deblocking, Edge Preservation, Block Noise, Offset Filters, Pipelines

Description

화소 분류를 이용한 에지보존 디블로킹 필터{Edge-protection deblocking filter using pixel classifing}Edge-protection deblocking filter using pixel classifing}

본 발명은 에지보존 디블로킹 필터에 관한 것으로, 보다 구체적으로는 입력되는 영상의 각 화소가 평탄영역의 화소인지 에지영역의 화소인지 구분한 후, 평탄영역의 화소에 대해서는 오프셋 필터링을 수행하여 블록잡음을 제거하고, 에지영역의 화소에 대해서는 에지보존 필터링을 수행하여 계단잡음 및 구석윤곽 잡음을 제거함으로써, 블록잡음 제거시에 발생할 수 있는 에지영역 화소의 파괴현상을 방지할 수 있는 화소 분류를 이용한 에지보존 디블로킹 필터에 관한 것이다.The present invention relates to an edge preserving deblocking filter. More specifically, the present invention relates to an edge preservation deblocking filter. More specifically, after discriminating whether each pixel of an input image is a pixel of a flat region or a pixel of an edge region, block noise is performed by performing offset filtering on the pixels of the flat region. Edge by using pixel classification to prevent the destruction of edge region pixels that may occur when removing block noise by removing edge noise and corner contour noise by performing edge preservation filtering on the pixels in the edge region. It relates to a storage deblocking filter.

HD급 영상을 실시간으로 처리할 수 있는 고성능 디스플레이 제품에는 영상의 화질을 높이기 위해 블럭잡음, 계단잡음 또는 구석윤곽잡음을 제거하는 영상의 후 처리가 필수적으로 수행되어야 한다.High-performance display products that can process HD-quality images in real time must perform post-processing of images that eliminate block noise, stair noise, or corner noise to improve image quality.

한편, MPEG-1/2, MPEG4 그리고 최근의 H.264/AVC와 같은 국제 영상 압축표준들은 블록기반의 압축처리과정이 요구된다.Meanwhile, international video compression standards such as MPEG-1 / 2, MPEG4, and recent H.264 / AVC require block-based compression processing.

일반적으로 상기 국제 비디오 압축표준들은 블록기반의 이산 코사인 변환기법(BDCT)이 주로 사용되는데, 상기 블록기반의 이산 코사인 변환기법은 저 비트율 영상압축에 있어서, 블록잡음(그리드 잡음, 블록 아티팩츠(block artifacts)), 계단잡음, 구석윤곽잡음 등의 다양한 아티팩츠가 발생한다.In general, the international video compression standards are mainly based on block-based discrete cosine transform (BDCT), which is based on block noise (grid noise, block artifacts) for low bit rate video compression. Various artifacts occur, such as artifacts), staircase noise, and corner contour noise.

지난 수년간 상기 잡음들을 제거하기 위하여 수많은 디블로킹 방법들이 제안되었는데, 주로 이러한 제안들은 크게 공간영역기법과 주파수영역기법으로 구분되고, 특히, 상기 공간영역기법은 공간적응필터, 통계모델 및 POCS(Projections Onto Convex Set)로 구분된다.Numerous deblocking methods have been proposed to remove the noises over the past several years, and these proposals are largely divided into spatial domain and frequency domain techniques. In particular, the spatial domain techniques are spatial adaptation filters, statistical models and POCS (Projections Onto). Convex Set).

상기 디블로킹 방법들은 하드웨어 관점에서 다양한 알고리즘들로 구현하는 것이 용이하지 않는데, 실제 구현된 알고리즘들은 많은 연산을 요구하므로 설계시에 높은 비용 및 시간이 요구된다.The deblocking methods are not easy to implement with various algorithms from a hardware point of view. Actually implemented algorithms require a lot of computation, and therefore require high cost and time in design.

또한, 상기 POCS기법과 같은 루프 기법은 실시간 하드웨어 구현에 적합하지 못하다는 단점이 있다.In addition, a loop technique such as the POCS technique is disadvantageous in that it is not suitable for real-time hardware implementation.

따라서, 낮은 계산량과 빠른 처리 시간을 달성하여 실시간 처리가 가능한 공간영역 필터링 기법의 개발이 시급하다.Therefore, it is urgent to develop a spatial domain filtering technique capable of real time processing by achieving low computational speed and fast processing time.

최근 영상블록을 몇 개의 클래스로 분류하고, 평탄영역의 클래스는 강한 평탄 필터링을 적용하고, 텍스쳐(texture)영역에서는 약한 평탄 필터링을 적용하여 분류된 클래스마다 서로 다른 필터링을 수행하는 공간영역 필터링 기법이 개발되기도 하였다.Recently, the image block is classified into several classes, the class of the flat region is applied to the strong flat filtering, and the texture region is applied to the weak flat filtering. It was also developed.

그러나 고정된 크기의 블록으로 구분되는 클래스 분류기법은 선명한 영상 필 터링을 수행하지 못하는데, 그 이유는 임의의 블록이 임계치 값 이하일 때, 상기 임의의 블록 전체를 평탄영역으로 분류하고 강한 평탄 필터링을 수행하므로, 실질적으로 상기 임의의 블록 내에 포함되는 에지영역의 화소들이 파괴되어 버리는 문제점이 있다.However, the class classification technique, which is divided into fixed sized blocks, does not perform sharp image filtering, because when an arbitrary block is less than or equal to a threshold value, the entire block is classified as a flat region and strong flat filtering is performed. Therefore, there is a problem that the pixels of the edge region included in the arbitrary block are substantially destroyed.

본 발명자들은 블록잡음을 제거하더라도 에지영역의 화소들의 파괴를 방지할 수 있는 디블로킹 필터를 제공하고자 연구 노력한 결과, 블록잡음은 제거하되 에지영역의 화소를 파괴하지않고, 에지영역의 화소들에 대해서는 에지보존 필터를 이용하여 계단잡음 및 구석윤곽잡음을 제거하여 영상의 상세함을 강화할 수 있는 에지보존 디블로킹 필터의 기술적 구성을 개발하게 되어 본 발명을 완성하게 되었다.The present inventors have tried to provide a deblocking filter that can prevent the destruction of the pixels in the edge region even if the block noise is eliminated. As a result, the block noise is removed but the pixels of the edge region are not destroyed. The present invention has been completed by developing a technical configuration of an edge preservation deblocking filter that can enhance image detail by removing step noise and corner contour noise using an edge preservation filter.

따라서, 본 발명의 목적은 영상의 블록잡음을 효과적으로 제거하되, 입력되는 영상 중 에지영역의 화소는 파괴하지 않고 보존할 수 있는 에지보존 디블로킹 필터를 제공하는 것이다.Accordingly, an object of the present invention is to provide an edge preservation deblocking filter that can effectively remove block noise of an image and preserve the pixels of the edge region of the input image without destroying them.

또한, 본 발명의 다른 목적은 입력 영상의 블록잡음을 제거하는 오프셋 필터와 계단잡음 및 구석윤곽잡음을 제거하는 에지보존 필터를 포함하여 강인한 디블로킹 필터링을 제공하는 에지보존 디블로킹 필터를 제공하는 것이다.Another object of the present invention is to provide an edge preservation deblocking filter that provides robust deblocking filtering, including an offset filter for removing block noise of an input image and an edge preserving filter for removing stair and corner contour noises. .

또한, 본 발명의 또 다른 목적은 최소한의 파이프라인 구조로 이루어지는 에지보존 필터를 포함하여 실시간 영상의 빠르게 디블로킹 필터링할 수 있는 디블로킹 필터를 제공하는 것이다.In addition, another object of the present invention is to provide a deblocking filter capable of quickly deblocking filtering of a real-time image, including an edge preserving filter having a minimum pipeline structure.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.

상기의 목적을 달성하기 위하여 본 발명은 블록경계면을 포함하는 영상의 화소들을 입력받아, 상기 각 화소의 수평방향 기울기, 수직방향 기울기 및 에지강도를 계산하여, 상기 각 화소가 에지영역의 화소인지 평탄영역의 화소인지 구분하는 화소 분류기, 상기 화소 분류기에서 계산된 각 화소의 수평방향 기울기정보, 수직방향 기울기정보 및 에지강도정보가 저장되는 에지보존 지도, 상기 영상블록의 화소들 중, 상기 수평방향 기울기정보 또는 수직방향 기울기정보가 기울기 방향 임계값보다 작은 화소에 대해 상기 블록경계면에 인접한 화소값들의 차인 오프셋 값을 이용하여 블록잡음을 제거하는 오프셋 필터 및 상기 영상블록의 화소들 중, 상기 에지영역의 화소에 대해 컨벌루션(Convolution) 필터링을 수행하여 상기 에지영역의 계단잡음 및 구석윤곽잡음을 제거하는 에지보존 필터를 포함하는 에지보존 디블로킹 필터를 제공한다.In order to achieve the above object, the present invention receives pixels of an image including a block boundary surface, calculates horizontal inclination, vertical inclination, and edge intensity of each pixel, and determines whether each pixel is a pixel of an edge region. A pixel classifier for discriminating whether a pixel is in an area, an edge preservation map storing horizontal tilt information, vertical tilt information, and edge intensity information of each pixel calculated by the pixel classifier, and among the pixels of the image block, the horizontal tilt An offset filter that removes block noise by using an offset value that is a difference between pixel values adjacent to the block boundary surface for a pixel whose information or vertical tilt information is smaller than a tilt direction threshold value, and among the pixels of the image block, Convolution Filtering on Pixels Provide edge retention deblocking filter comprises an edge preserving filter for removing the noise.

바람직한 실시예에 있어서, 상기 화소 분류기는 제1 3×3 단위 화소 블록의 각 화소가 에지영역의 화소인지 평탄영역의 화소인지 구분하고, 상기 에지보존 디블로킹 필터는 상기 화소들을 상기 제1 3×3 단위 화소 블록으로 변환하여 상기 화소 분류기로 입력해주는 3×3 레스터-블록 변환기를 더 포함한다.The pixel classifier may determine whether each pixel of the first 3 × 3 unit pixel block is a pixel of an edge region or a pixel of a flat region, and the edge preservation deblocking filter may divide the pixels into the first 3 × 3 pixel block. The apparatus further includes a 3 × 3 raster-block converter configured to convert a 3 unit pixel block and input the same into the pixel classifier.

바람직한 실시예에 있어서, 상기 오프셋 필터는 상기 블록 경계면을 포함하는 8×8 단위 화소 블록의 각 화소에 대해 블록잡음을 제거하며, 상기 에지보존 디블로킹 필터는 상기 화소들을 상기 8×8 단위 화소 블록으로 변환하여 상기 오프셋 필터로 입력해주는 8×8 레스터-블록 변환기를 더 포함한다.In an exemplary embodiment, the offset filter removes block noise for each pixel of an 8x8 unit pixel block including the block boundary, and the edge preservation deblocking filter removes the pixels from the 8x8 unit pixel block. The apparatus further includes an 8 × 8 raster-block converter which converts the input to the offset filter.

바람직한 실시예에 있어서, 상기 에지보존 필터는 제2 3×3 단위 화소 블록의 중심 화소에 대해 컨벌루션 필터링을 수행하며, 상기 에지보존 디블로킹 필터는 상기 오프셋 필터로부터 출력되는 8×8 화소 블록을 상기 제2 3×3 화소 블록으로 변환하여 상기 에지보존 필터로 입력해주는 8×8-3×3 레스터-블록 변환기를 더 포함한다.In an exemplary embodiment, the edge preservation filter performs convolution filtering on the center pixel of the second 3 × 3 unit pixel block, and the edge preservation deblocking filter is configured to output the 8 × 8 pixel block output from the offset filter. And an 8x8-3x3 raster-block converter converting the second 3x3 pixel block into the edge preserving filter.

바람직한 실시예에 있어서, 상기 레스터-블록 변환기들은 각각 수직 레스터 주사방식을 이용하여 상기 단위 화소 블록들을 생성한다.In a preferred embodiment, each of the raster-block converters generates the unit pixel blocks using a vertical raster scanning scheme.

바람직한 실시예에 있어서, 상기 화소 분류기는 프리윗 연산기(Prewitt operator)를 이용하여 상기 수평방향 기울기정보, 수직방향 기울기정보 및 에지강도정보를 계산한다.In a preferred embodiment, the pixel classifier calculates the horizontal inclination information, the vertical inclination information, and the edge intensity information by using a prewitt operator.

바람직한 실시예에 있어서, 상기 오프셋 필터는 상기 8×8 단위 화소 블록의 화소들 중 수평방향의 화소들의 블록잡음을 필터링하는 수평 오프셋 필터 및 상기 8×8 단위 화소 블록의 화소들 중 수직방향의 화소들의 블록잡음을 필터링하는 수직 오프셋 필터를 포함한다.In an exemplary embodiment, the offset filter may include a horizontal offset filter for filtering block noise of pixels in a horizontal direction among the pixels of the 8 × 8 unit pixel block and a pixel in a vertical direction among the pixels of the 8 × 8 unit pixel block. It includes a vertical offset filter for filtering the block noise of the.

바람직한 실시예에 있어서, 상기 에지보존 필터는 상기 제2 3×3 단위 화소 블록의 중심 화소의 화소값과 상기 제2 3×3 단위 화소 블록의 각 화소들의 화소값의 차이값을 구하는 거리강도 계산부, 상기 차이값들에 각각 가중치(q:smooth factor)를 부여하여, 상기 제2 3×3 화소 블록의 각 화소의 컨벌루션 계 수(ci,i=1,2,3,4,5,6,7,8,9)를 추출하는 계수 추출부, 상기 제2 3×3 단위 화소 블록의 각 화소들의 화소값에 상기 제2 3×3 단위 화소 블록의 각 화소들의 컨벌루션 계수를 곱하여 컨벌루션 값을 연산하는 컨벌루션 연산부 및 상기 각 화소의 컨벌루션 계수와 컨벌루션 값을 이용하여 아래의 수학식과 같이 컨벌루션 마스크(C)를 도출하고, 상기 제2 3×3 단위 화소 블록의 중심 화소에 대해 컨벌루션 필터링을 수행하는 계수 표준화부를 포함한다.In an exemplary embodiment, the edge preserving filter calculates a distance intensity that calculates a difference between a pixel value of a center pixel of the second 3 × 3 unit pixel block and a pixel value of each pixel of the second 3 × 3 unit pixel block. The convolution coefficient c i , i = 1,2,3,4,5, of each pixel of the second 3 × 3 pixel block is assigned by assigning a weight q to each of the difference values. A coefficient extraction unit for extracting 6,7,8,9, and a convolution value by multiplying the pixel values of the pixels of the second 3x3 unit pixel block by the convolution coefficients of the pixels of the second 3x3 unit pixel block Using a convolution calculator that calculates, and using a convolution coefficient and a convolution value of each pixel, a convolution mask C is derived as shown in the following equation, and convolution filtering is performed on the center pixel of the second 3 × 3 unit pixel block. It includes a coefficient normalization unit.

[수학식][Equation]

Figure 112009025378064-pat00001
Figure 112009025378064-pat00001

여기서, C는 상기 컨벌루션 마스크, ci(i=1,2,3,4,5,6,7,8,9,)는 상기 제2 3×3 단위 화소 블록의 각 화소들의 컨벌루션 계수이다.Here, C is the convolution mask, c i (i = 1, 2, 3, 4, 5, 6, 7, 8, 9,) is the convolution coefficient of each pixel of the second 3x3 unit pixel block.

바람직한 실시예에 있어서, 상기 에지보존 필터는 열두 번의 클럭신호에 의해 상기 제2 3×3 단위 화소 블록의 중심 화소에 대해 컨벌루션 필터링을 완료하는 12단계의 파이프라인 구조로 이루어지고, 상기 거리강도 계산부가 상기 제2 3×3 단위 화소 블록의 각 화소의 차이값을 구하는 하나의 파이프라인, 상기 계수 추출부가 상기 각 화소들의 차이값에 세 번의 가중치를 부여하여 상기 제2 3×3 단위 화소 블록의 각 화소의 컨벌루션 계수를 계산하는 세 개의 파이프라인, 상기 컨벌루션 연산부가 상기 제2 3×3 단위 화소 블록의 각 화소들의 컨벌루션 값을 연산하 는 하나의 파이프라인, 상기 계수 표준화부가 상기 컨벌루션 계수들을 모두 더하는 하나의 파이프라인, 상기 컨벌루션 값들을 더하는 하나의 파이프라인, 상기 컨벌루션 값의 합에 상기 컨벌루션 계수값을 나눠 상기 컨벌루션 마스크(C)를 계산하고, 상기 제2 3×3 단위 화소 블록의 중심 화소에 대해 컨벌루션 필터링을 수행하는 다섯 개의 파이프라인으로 이루어져, 상기 에지보존 필터가 상기 12단계의 파이프라인 구조로 이루어진다.In an exemplary embodiment, the edge preserving filter has a 12-stage pipeline structure for completing convolution filtering on the center pixel of the second 3x3 unit pixel block by twelve clock signals, and calculating the distance strength. One pipeline for calculating a difference value of each pixel of the second 3x3 unit pixel block, and the coefficient extractor assigns three weights to the difference value of each pixel to determine the difference value of the second 3x3 unit pixel block. Three pipelines for calculating the convolution coefficients of each pixel, one pipeline for the convolution operator to calculate the convolution values of the pixels of the second 3x3 unit pixel block, and the coefficient normalizer for all the convolution coefficients One pipeline to add, one pipeline to add the convolution values, the convolution to the sum of the convolution values The conservation mask C is calculated by dividing coefficient values, and the pipeline includes five pipelines for performing convolution filtering on the center pixel of the second 3 × 3 unit pixel block. It consists of a line structure.

본 발명은 다음과 같은 우수한 효과를 가진다.The present invention has the following excellent effects.

먼저, 본 발명의 에지보존 디블로킹 필터에 의하면 평탄영역의 화소들에 평탄영역의 화소들에 대해서만 오프셋 필터링을 수행하므로 블록잡음제거시에 에지영역의 화소가 오프셋 필터링되는 것을 방지하여, 영상의 에지가 흐릿해지는 것을 방지할 수 있는 효과가 있다.First, according to the edge preservation deblocking filter of the present invention, the offset filtering is performed only on the pixels in the flat region to prevent the pixels of the edge region from being offset filtered when the block noise is removed. There is an effect that can prevent the blurring.

또한, 본 발명의 에지보존 디블로킹 필터에 의하면, 오프셋 필터링이 이루어지지 에지영역의 화소에 대해서는 컨벌루션 필터링을 수행하여 계단잡음 및 구석윤곽잡음을 제거함으로써, 에지영역을 부드럽게 만들어 영상의 섬세함을 강화할 수 있는 효과가 있다.In addition, according to the edge preservation deblocking filter of the present invention, by performing convolution filtering on the pixels in the edge region where offset filtering is not performed, eliminating step noise and corner noise, the edge region can be smoothed to enhance image fineness. It has an effect.

또한, 본 발명의 에지보존 디블로킹 필터에 의하면, 컨벌루션 필터링이 12단계의 파이프라인으로 구현되어, 임계경로(critical path)의 시간 지연을 최소화하며 빠르게 컨벌루션 필터링을 수행할 수 있는 효과가 있다.In addition, according to the edge preservation deblocking filter of the present invention, convolution filtering is implemented in a pipeline of 12 steps, thereby minimizing time delay of a critical path and performing convolution filtering quickly.

본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.The terms used in the present invention were selected as general terms as widely used as possible, but in some cases, the terms arbitrarily selected by the applicant are included. In this case, the meanings described or used in the detailed description of the present invention are considered, rather than simply the names of the terms. The meaning should be grasped.

이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.Hereinafter, the technical structure of the present invention will be described in detail with reference to preferred embodiments shown in the accompanying drawings.

그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.However, the present invention is not limited to the embodiments described herein but may be embodied in other forms. Like reference numerals designate like elements throughout the specification.

도 1은 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 구성도, 도 2는 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 3×3 레스터-블록 변환기를 보여주는 도면, 도 3은 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 8×8레스터-블록 변환기를 보여주는 도면, 도 4는 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 8×8 레스터-블록 변환기를 설명하기 위한 도면, 도 5는 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 8×8-3×3 레스터-블록 변환기를 보여주는 도면, 도 6 및 도 7은 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 화소 분류기를 설명하기 위한 도면, 도 8 내지 도 10은 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 수평방향 오프셋필터를 설명하기 위한 도면, 도 11 내지 도 12는 본 발명의 일 실시예에 따른 에지보존 필터를 설명하기 위한 도면이다.1 is a block diagram of an edge preservation deblocking filter according to an embodiment of the present invention, FIG. 2 is a view showing a 3x3 raster-block converter of an edge preservation deblocking filter according to an embodiment of the present invention, and FIG. Shows an 8x8 raster-block converter of an edge preservation deblocking filter according to an embodiment of the present invention, and FIG. 4 is an 8x8 raster-block converter of an edge preservation deblocking filter according to an embodiment of the present invention. 5 is a view illustrating an 8 × 8-3 × 3 raster-block converter of an edge retention deblocking filter according to an embodiment of the present invention, and FIGS. 6 and 7 are embodiments of the present invention. 8 to 10 are diagrams illustrating a horizontal offset filter of an edge preservation deblocking filter according to an embodiment of the present invention, and FIGS. 11 to FIG. 12 is the present invention A diagram illustrating an edge preserving filter according to the embodiment.

도 1을 참조하면 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터(100)는 화소 분류기(110), 에지보존 지도(120), 오프셋 필터(130), 에지보존 필터(140) 및 제어기(180)를 포함하여 이루어진다.Referring to FIG. 1, an edge preservation deblocking filter 100 according to an embodiment of the present invention may include a pixel classifier 110, an edge preservation map 120, an offset filter 130, an edge preservation filter 140, and a controller ( 180).

상기 화소 분류기(110)는 블록경계면(12,13)을 포함하는 영상의 화소(10)들을 입력받아, 상기 각 화소(10)의 수평방향 기울기(Gx), 수직방향 기울기(Gy) 및 에지강도(G)를 계산하고, 상기 각 화소(10)의 수평방향 기울기(Gx), 수직방향 기울기(Gy) 및 에지강도(G)를 기반으로 상기 각 화소(10)가 에지영역의 화소인지 평탄영역의 화소인지 구분한다.The pixel classifier 110 receives the pixels 10 of the image including the block boundary surfaces 12 and 13, and includes a horizontal gradient G x , a vertical gradient G y , and An edge intensity G is calculated, and each pixel 10 is calculated based on the horizontal slope G x , the vertical slope G y , and the edge intensity G of each pixel 10. Whether the pixel is a pixel or a flat area pixel is distinguished.

또한, 도 6 내지 도 7을 참조하면 상기 화소 구분기(110)는 상기 각 화소(10)의 수평방향 기울기(Gx), 수직방향 기울기(Gy) 및 에지강도(G)를 계산하는 프리윗 연산부(111)와 상기 수평방향 기울기(Gx), 수직방향 기울기(Gy) 및 에지강도(G)를 이용하여 상기 각 화소(10)의 수평방향 기울기정보(Ex), 수직방향 기울기정보(Ey) 및 에지강도정보(EZ)를 도출하는 화소 구분부(112)를 포함한다.6 to 7, the pixel divider 110 calculates a horizontal slope G x , a vertical slope G y , and an edge strength G of each pixel 10. Horizontal tilt information E x and vertical tilt of each pixel 10 using the upper operation unit 111, the horizontal tilt G x , the vertical tilt G y , and the edge intensity G. And a pixel separator 112 for deriving the information E y and the edge intensity information E Z.

또한, 상기 프리윗 연산부(111)는 프리윗 연산기를 이용하여 상기 각 화 소(10)의 수평방향 기울기(Gx) 및 수직방향 기울기(Gy)를 도출하고 아래의 수학식 1과 같이 상기 수평방향 기울기(Gx) 및 수직방향 기울기(Gy)를 이용하여 상기 각 화소(10)의 에지강도(G)를 계산한다.In addition, the predicate calculation unit 111 derives a horizontal gradient G x and a vertical gradient G y of each pixel 10 using a prewipe calculator, and the equation 1 is used as shown in Equation 1 below. The edge intensity G of each pixel 10 is calculated using the horizontal gradient G x and the vertical gradient G y .

Figure 112009025378064-pat00002
Figure 112009025378064-pat00002

본 발명의 실시예에서는 상기 각 화소(10)의 수평방향 기울기(Gx) 및 수직방향 기울기(Gy)의 도출에 있어서, 연산량을 줄이기 위해 프리윗(Rrewitt) 연산기를 이용하였으나, 화소의 기울기를 도출할 수 있는 연산기라면 어떠한 연산기라도 이용이 가능하다.In the exemplary embodiment of the present invention, in the derivation of the horizontal gradient G x and the vertical gradient G y of each pixel 10, a rewitt calculator is used to reduce the amount of calculation, but the pixel slope As long as the operator can derive any calculator can be used.

예를 들면, 소벨(Sobel) 연산기를 이용하여 상기 각 화소(10)의 수평방향 기울기(Gx) 및 수직방향 기울기(Gy)를 도출할 수 있다.For example, a horizontal slope G x and a vertical slope G y of each pixel 10 may be derived using a Sobel calculator.

또한, 상기 화소 구분부(112)는 상기 각 화소(10)의 수평방향 기울기(Gx) 및 수직방향 기울기(Gy)의 절대값이 각각 기울기 방향 임계값(Td)보다 적을 경우 '0'으로 할당된 수직방향 기울기 정보(Ex) 및 수평방향 기울기 정보(Ey)를 생성하고, 상기 각 화소(10)의 수평방향 기울기(Gx) 및 수직방향 기울기(Gy)의 절대값이 각각 상기 기울기 방향 임계값(Td)보다 클 경우 '1'로 할당된 수직방향 기울기 정보(Ex) 및 수평방향 기울기 정보(Ey)를 생성한다.In addition, the pixel separator 112 may determine a value of '0 when the absolute value of the horizontal gradient G x and the vertical gradient G y of each pixel 10 is smaller than the gradient direction threshold T d , respectively. Generates vertical gradient information E x and horizontal gradient information E y assigned to ', and generates absolute values of the horizontal gradient G x and the vertical gradient G y of each pixel 10. When the gradient direction threshold value T d is greater than each, the vertical gradient information E x and the horizontal gradient information E y allocated as '1' are generated.

또한, 상기 화소 구분부(112)는 상기 각 화소(10)의 에지강도(G)가 에지강도 임계값(T)보다 적을 경우 '0'으로 할당된 에지강도 정보(Ez)를 생성하고, 상기 각 화소(10)의 에지강도(G)가 상기 에지강도 임계값(T)보다 적을 경우 '1'로 할당된 에지강도 정보(Ez)를 생성한다.In addition, the pixel divider 112 generates edge intensity information E z allocated to '0' when the edge intensity G of each pixel 10 is less than the edge intensity threshold value T, When the edge intensity G of each pixel 10 is less than the edge intensity threshold T, edge intensity information E z allocated as '1' is generated.

다시 말해서, 상기 화소 구분부(112)는 입력되는 영상의 화소들(10) 중 수평방향 기울기(Gy), 수직방향 기울기(Gy)의 절대값이 각각 기울기 방향 임계값(Td)보다 적거나, 상기 에지강도(G)가 상기 에지강도 임계값(T)보다 적은 화소들에 대해 상기 수직방향 기울기 정보(Ex), 수평방향 기울기 정보(Ey) 및 에지강도 정보(Ez)를 '1'로 할당하여 에지영역의 화소로 구분하고, 그 외의 화소들의 수직방향 기울기 정보(Ex), 수평방향 기울기 정보(Ey) 및 에지강도 정보(Ez)를 '0'으로 할당하여 평탄영역의 화소로 구분한다.In other words, the more the pixel dividing section 112 is horizontal gradient of the pixels 10 of the input image (G y), the absolute value of each inclination direction threshold of the vertical gradient (G y) (T d) The vertical slope information E x , the horizontal slope information E y , and the edge strength information E z for pixels that are less than or less than the edge intensity threshold T. Is divided into pixels of the edge area by assigning '1', and the vertical slope information E x , the horizontal slope information E y , and the edge intensity information E z are allocated to '0'. By dividing the pixels into flat regions.

또한, 도 2를 참조하면, 상기 화소 분류기(110)로 입력되는 화소들(10)은 상기 수평방향 기울기(Gx) 및 수직방향 기울기(Gy)의 계산을 위해 단위 화소 블록 형태의 화소들로 입력되며, 더욱 자세하게는 상기 화소들(10)은 3×3 레스터-블록 변환기(150)에 의해 아홉 개의 화소들로 이루어지는 제1 3×3 단위 화소 블록(151)으로 변환되어 입력된다.Also, referring to FIG. 2, the pixels 10 input to the pixel classifier 110 are pixels in the form of unit pixel blocks for calculating the horizontal slope G x and the vertical slope G y . In detail, the pixels 10 are converted into the first 3x3 unit pixel block 151 consisting of nine pixels by the 3x3 raster-block converter 150 and input.

또한, 3×3 레스터-블록 변환기(150)는 메모리 버퍼의 사용을 줄이기 위해 수직 레스터 주사방식을 이용하여 상기 화소들(10)을 상기 제1 3×3 단위 화소 블록(151)으로 변환한다.In addition, the 3 × 3 raster-block converter 150 converts the pixels 10 into the first 3 × 3 unit pixel block 151 using a vertical raster scanning method to reduce the use of a memory buffer.

상기 에지보존 지도(120)는 상기 화소 분류기(110)에서 생성된 각 화소(10)의 상기 수직방향 기울기 정보(121,Ex), 수평방향 기울기 정보(122,Ey) 및 에지강도 정보(123,Ez)가 저장된다.The edge preservation map 120 includes the vertical gradient information 121 and E x , the horizontal gradient information 122 and E y , and the edge intensity information of each pixel 10 generated by the pixel classifier 110. 123, E z ) are stored.

상기 오프셋 필터(130)는 상기 화소들(10) 중, 상기 수직방향 기울기 정보(Ex) 또는 상기 수평방향 기울기 정보(Ey)가 '0'인 화소, 즉 수직 또는 수직방향으로 평탄한 화소에 대해, 상기 블록경계면(12,13)에 인접한 두 화소값들(P4,P5)의 차인 오프셋 값을 이용하여 영상의 블록잡음을 제거한다.The offset filter 130 is applied to a pixel in which the vertical gradient information E x or the horizontal gradient information E y is '0', that is, a pixel that is flat in the vertical or vertical direction among the pixels 10. For example, the block noise of the image is removed by using an offset value that is a difference between two pixel values P 4 and P 5 adjacent to the block boundary surfaces 12 and 13.

즉, 상기 오프셋 필터(130)는 평탄영역의 화소들에 대해서만 오프셋 필터링을 수행하므로 블록잡음제거시에 에지영역의 화소가 파괴되어 영상의 에지가 흐릿해지는 것을 방지할 수 있는 것이다.That is, since the offset filter 130 performs offset filtering only on the pixels in the flat region, it is possible to prevent the pixels of the edge region from being destroyed and blurring the edges of the image when the block noise is removed.

또한, 도 3 및 도 4를 참조하면, 상기 오프셋 필터(130)로 입력되는 화소들(10)은 8×8 단위 화소 블록(161)으로 입력되며, 상기 8×8 단위 화소 블록(161)은 8×8 레스터-블록 변환기(160)에 의해 변환된다.3 and 4, the pixels 10 input to the offset filter 130 are input to an 8 × 8 unit pixel block 161, and the 8 × 8 unit pixel block 161 is Is converted by an 8x8 raster-block converter 160.

또한, 상기 8×8 레스터-블록 변환기(160)는 메모리 버퍼의 사용을 줄이기 위해 수직 레스터 주사방식을 이용하여 상기 8×8 단위 화소 블록(161)을 생성한다.In addition, the 8x8 raster-block converter 160 generates the 8x8 unit pixel block 161 by using a vertical raster scanning method to reduce the use of a memory buffer.

또한, 상기 8×8 레스터-블록 변환기(160)에서 변환된 8×8 단위 화소 블 록(161)의 수평 또는 수직 방향의 화소들은 각각 P1 내지 P8로 색인된다.In addition, the pixels in the horizontal or vertical direction of the 8 × 8 unit pixel block 161 converted by the 8 × 8 raster-block converter 160 are each P 1. To P 8 .

또한, 상기 오프셋 필터(130)는 상기 8×8 단위 화소 블록(161)의 수평방향 화소들의 블록잡음을 필터링하는 수평 오프셋 필터(131) 및 상기 8×8 단위 화소 블록(161)의 수직방향 화소들의 블록잡음을 필터링하는 수직 오프셋 필터(132)를 포함한다.In addition, the offset filter 130 is a horizontal offset filter 131 for filtering the block noise of the horizontal pixels of the 8 × 8 unit pixel block 161 and the vertical pixel of the 8 × 8 unit pixel block 161. And a vertical offset filter 132 for filtering the block noise of the field.

또한, 도 9 내지 도 10을 참조하면, 상기 수평 오프셋 필터(131)는 계산의 복잡성을 줄이기 위해 파라미터 시프트 방법을 사용하였으며, 상기 8×8 단위 화소 블록(161)의 수평방향 화소들(P1,P2,...,P8)의 화소값과 상기 에지보존 지도(120)의 수평방향 기울기 정보(121,Ex)를 이용하여 매 클럭 주기당 여덟 개의 수평방향 화소들(P1,P2,...,P8)에 대한 오프셋 필터링을 수행한다.9 to 10, the horizontal offset filter 131 uses a parameter shift method to reduce the complexity of calculation, and the horizontal pixels P 1 of the 8 × 8 unit pixel block 161 are used. Eight horizontal pixels P 1 , per clock period using the pixel values of, P 2 ,..., And P 8 and the horizontal slope information 121, E x of the edge preservation map 120. Perform offset filtering on P 2 , ..., P 8 ).

따라서, 상기 수평 오프셋 필터(131)는 8 클럭 주기를 사용하여 상기 8×8 단위 화소 블록(161) 전체의 화소에 대해 오프셋 필터링을 수행하게 된다.Accordingly, the horizontal offset filter 131 performs offset filtering on the pixels of the entire 8x8 unit pixel block 161 using eight clock periods.

또한, 도 8을 참조하면, 상기 수평 오프셋 필터(131)는 상기 블록경계면(12,13) 중 수직방향 블록경계면(13)의 양측에 인접한 두 개의 수평방향 화소들(P4,P5)의 차이값인 오프셋값을 구하고(S100), 다음, 상기 8×8 단위 화소 블록(161)의 수평방향 화소들(P1,P2,...,P8)에 대해 오프셋 필터링을 수행한다(S200).In addition, referring to FIG. 8, the horizontal offset filter 131 includes two horizontal pixels P 4 and P 5 adjacent to both sides of the vertical block boundary surface 13 among the block boundary surfaces 12 and 13. An offset value that is a difference value is obtained (S100), and then offset filtering is performed on horizontal pixels P 1 , P 2 ,..., P 8 of the 8 × 8 unit pixel block 161 ( S200).

또한, 상기 수평 오프셋 필터(131)는 온 더 플라이(On-the-fly) 필터링 기법을 사용하며, 상기 수평방향 화소들 중 상기 수직방향 블록경계면(13)을 기준으로 상기 수직방향 블록경계면(13)에 가까운 화소들일수록 높은 필터링 가중치를 부여한다.In addition, the horizontal offset filter 131 uses an on-the-fly filtering technique, and the vertical block boundary surface 13 based on the vertical block boundary surface 13 among the horizontal pixels. The closer to the pixels, the higher the filtering weight.

또한, 상기 수평 오프셋 필터(131)는 상기 8×8 단위 화소 블록(161)의 수평방향 화소들 중 상기 수직방향 블록경계면(13)의 양측에 인접한 두 화소(P4,P5)를 제외하고는 수평방향 기울기정보(121,Ex)가 '0'인 화소, 다시 말해서 상기 수평방향 기울기정보(121,Ex)의 역수(~Ex)가 '1'인 화소에 대해서 오프셋 필터링을 수행한다.In addition, the horizontal offset filter 131 excludes two pixels P 4 and P 5 adjacent to both sides of the vertical block boundary surface 13 among the horizontal pixels of the 8 × 8 unit pixel block 161. Is offset filtering on a pixel whose horizontal tilt information 121 and E x is '0', that is, a pixel whose inverse (~ E x ) of the horizontal tilt information 121 and E x is '1'. do.

따라서, 상기 수평 오프셋 필터(131)는 상기 수직방향 블록경계면(13)의 블록잡음은 필터링하면서도, 에지영역의 화소들의 파괴를 방지하는 것이다.Accordingly, the horizontal offset filter 131 prevents the destruction of the pixels in the edge region while filtering the block noise of the vertical block boundary surface 13.

또한, 상기 수직 오프셋 필터(132)는 상기 수평 오프셋 필터(131)와 비교하여 필터링하는 화소가 상기 8×8 단위 화소 블록(161)의 수직방향 화소들이라는 점만 다를 뿐, 실질적으로 상기 수평 오프셋 필터(131)와 필터링방법은 동일하므로 설명을 생략하기로 한다.In addition, the vertical offset filter 132 is substantially different from the horizontal offset filter 131 except that the pixels to be filtered are vertical pixels of the 8 × 8 unit pixel block 161. 131 and the filtering method are the same, so description thereof will be omitted.

상기 에지보존 필터(140)는 상기 오프셋 필터(130)에 의해 오프셋 필터링된 화소들 중, 에지영역의 화소에 대해 컨벌루션(Convolution) 필터링을 수행하여, 상기 영상 중의 에지영역의 계단잡음 및 구석윤곽잡음을 제거한다.The edge preservation filter 140 performs convolution filtering on the pixels in the edge region among the pixels offset-filtered by the offset filter 130, thereby making the step noise and the corner noise of the edge region in the image. Remove it.

즉, 상기 에지보존 필터(140)는 상기 8×8 단위 화소 블록(161)의 화소들 중 오프셋 필터링되지 않는 에지영역의 화소들의 계단잡음 및 구석윤곽잡음을 제거하는 것이다.That is, the edge preserving filter 140 removes stepped noise and corner noise of pixels of the edge region that are not offset filtered among the pixels of the 8 × 8 unit pixel block 161.

또한, 도 5를 참조하면, 상기 에지보존 필터(140)는 제2 3×3 단위 화소 블 록(171)에 대해 컨벌루션 필터링을 수행하고, 상기 제2 3×3 단위 화소 블록(171)은 8×8 - 3×3 레스터 블록 변환기(170)에 의해 변환된다.In addition, referring to FIG. 5, the edge preservation filter 140 performs convolution filtering on the second 3 × 3 unit pixel block 171, and the second 3 × 3 unit pixel block 171 is 8. It is converted by the x8-3x3 raster block converter 170.

또한, 상기 8×8 - 3×3 레스터 블록 변환기(170)는 상기 오프셋 필터(130)에 의해 오프셋 필터링된 8×8 단위 화소 블럭(161')을 상기 제2 3×3 단위 화소 블록(171)으로 변환한다.In addition, the 8 × 8-3 × 3 raster block converter 170 may convert the 8 × 8 unit pixel block 161 ′ offset filtered by the offset filter 130 into the second 3 × 3 unit pixel block 171. To).

또한, 도 5에서도 알 수 있듯이 상기 8×8 - 3×3 레스터 블록 변환기(170)는 메모리 버퍼의 사용을 줄이기 위해 수직 레스터 주사방식을 이용하여 상기 제2 3×3 단위 화소 블록(171)을 생성한다.In addition, as shown in FIG. 5, the 8 × 8-3 × 3 raster block converter 170 uses the vertical raster scan method to reduce the use of the memory buffer to the second 3 × 3 unit pixel block 171. Create

또한, 도 11 내지 도 12를 참조하면, 상기 에지보존 필터(140)는 거리강도 계산부(141), 계수 추출부(142), 컨벌루션 연산부(143) 및 계수 표준화부(144)를 포함하여 이루어진다.11 to 12, the edge preserving filter 140 includes a distance strength calculator 141, a coefficient extractor 142, a convolution calculator 143, and a coefficient normalizer 144. .

또한, 상기 에지보존 필터(140)가 상기 제2 3×3 단위 화소 블록(171)의 각 화소들을 컨벌루션 필터링하는 과정은 먼저 상기 거리강도 계산부(141)로 상기 제2 3×3 단위 화소 블록(171)이 입력되고, 상기 거리강도 계산부(141)는 상기 제2 3×3 단위 화소 블록(171)의 거리강도(D)를 계산한다(S1000).In addition, the process of convolution filtering the pixels of the second 3 × 3 unit pixel block 171 by the edge preserving filter 140 first uses the distance intensity calculator 141 to perform the second 3 × 3 unit pixel block. In operation S1000, the distance intensity calculator 141 calculates the distance intensity D of the second 3 × 3 unit pixel block 171.

또한, 상기 거리강도(D)는 상기 제2 3×3 단위 화소 블록(171)의 각 화소(x1,x2,...,x9)와 중심화소(x5) 간의 차이값(d1,d2,...,d9)으로 표현된다.In addition, the distance intensity D is a difference value d between each pixel (x 1 , x 2 ,..., X 9 ) of the second 3 × 3 unit pixel block 171 and the center pixel x 5 . 1 , d 2 , ..., d 9 ).

아래의 수학식 2와 수학식 3은 각각 상기 제2 3×3 단위 화소 블록(171,X)과 상기 거리강도(D)의 행열을 보여주는 식이다.Equations 2 and 3 below show the rows of the second 3x3 unit pixel blocks 171 and X and the distance intensity D, respectively.

Figure 112009025378064-pat00003
Figure 112009025378064-pat00003

Figure 112009025378064-pat00004
Figure 112009025378064-pat00004

Figure 112009025378064-pat00005
Figure 112009025378064-pat00005

다음, 상기 계수 추출부(142)가 상기 거리강도(D)인 각 차이값(d1,d2,...,d9)에 가중치(q)를 부여하고, 상기 제2 3×3 단위 화소 블록(171)의 각 화소(x1,x2,...,x9)의 컨벌류션 계수(ci,i=1,2,3,...,9)를 추출한다(S2000).Next, the coefficient extractor 142 assigns a weight q to each difference value d 1 , d 2 ,..., D 9 that is the distance intensity D, and the second 3 × 3 unit. The convolution coefficients c i , i = 1,2,3, ..., 9 of each pixel x 1 , x 2 ,..., X 9 of the pixel block 171 are extracted (S2000). .

아래의 수학식 4는 상기 컨벌류션 계수들(ci,i=1,2,3,...,9)을 계산하기 위한 식이다.Equation 4 below is an equation for calculating the convolution coefficients (c i , i = 1,2,3, ..., 9).

Figure 112009025378064-pat00006
Figure 112009025378064-pat00006

여기서, i=1,2,3,...,9Where i = 1,2,3, ..., 9

또한, 도 12의 계수 추출부(142)의 t는 상기 수학식 4의 (255-d1)를 의미한 다.In addition, t in the coefficient extraction unit 142 of FIG. 12 means (255-d 1 ) of Equation 4 above.

다음, 상기 컨벌루션 연산부(142)가 상기 제2 3×3 단위 화소 블록(171)의 화소값에 상기 각 컨벌류션 계수들(ci,i=1,2,3,...,9)을 곱하여 컨벌류션 값을 연산한다(S3000).Next, the convolution calculation unit 142 applies the convolution coefficients c i , i = 1, 2, 3,..., 9 to the pixel value of the second 3 × 3 unit pixel block 171. The multiplication is performed to calculate a convolution value (S3000).

다음, 상기 계수 표준화부(144)는 상기 컨벌류션 계수들(ci, i=1,2,3,...,9)과 상기 컨벌류션 값을 이용하여 아래의 수학식 5와 같이 컨벌루션 마스크(C)를 도출하고(S4000), 상기 제2 3×3 단위 화소 블록(171)의 중심 화소(x5)의 에지강도정보(123,Ez)에 '1'일 경우, 즉, 상기 중심 화소(x5)가 에지영역의 화소일 경우 상기 중심 화소(x5)에 대해 컨벌루션 필터링을 수행한다(S5000).Next, the coefficient normalization unit 144 uses the convolution coefficients c i , i = 1, 2, 3, ..., 9 and the convolution value as shown in Equation 5 below. (C) and when the edge intensity information 123 and E z of the center pixel x 5 of the second 3 × 3 unit pixel block 171 is '1', that is, the center If the pixel x 5 is a pixel of the edge region, convolution filtering is performed on the center pixel x 5 (S5000).

Figure 112009025378064-pat00007
Figure 112009025378064-pat00007

따라서, 상기 에지보존 필터(140)는 상기 오프셋 필터(130)에 의해 오프셋 필터링되지 않은 에지영역의 화소의 계단잡음 및 구석윤곽잡음을 제거하여, 에지영역을 부드럽게 만들어 영상의 섬세함을 강화할 수 있다.Accordingly, the edge preservation filter 140 may remove the step noise and the corner outline noise of the pixel of the edge region that is not offset filtered by the offset filter 130, thereby softening the edge region to enhance the fineness of the image.

또한, 상기 에지보존 필터(140)는 도 12에 도시한 바와 같이 33개의 곱셈기(Mul), 16개의 감산기(Sub), 2개의 덧셈기(Add) 및 1개의 나눗셈기(Div)를 포함 하고, 12단계의 파이프라인(pipeline) 구조로 구성된다.In addition, the edge preserving filter 140 includes 33 multipliers (Mul), 16 subtractors (Sub), two adders (Add), and one divider (Div), as shown in FIG. It consists of a pipeline structure of stages.

또한, 상기 12단계의 파이프라인은 상기 제2 3×3 단위 화소 블록(171)의 각 화소의 차이값(d1,d2,...,d9)을 구하는 하나의 파이프라인, 상기 각 화소들의 차이값(d1,d2,...,d9)에 세 번의 가중치(q)를 부여하여 상기 제2 3×3 단위 화소 블록(171)의 각 화소의 컨벌루션 계수(ci, i=1,2,3,...,9)를 계산하는 세 개의 파이프라인, 상기 컨벌루션 값(C)을 연산하는 하나의 파이프라인, 상기 컨벌루션 계수(ci, i=1,2,3,...,9)들을 모두 더하는 하나의 파이프라인, 상기 컨벌루션 값들을 모두 더하는 하나의 파이프라인, 상기 컨벌루션 마스크(C)를 계산하고, 상기 제2 3×3 단위 화소 블록(171)의 중심 화소(x5)에 대해 컨벌루션 필터링을 수행하는 다섯 개의 파이프라인의 12단계의 파이프라인으로 이루어진다.In addition, the pipeline of step 12 includes one pipeline for obtaining the difference values d 1 , d 2 ,..., D 9 of each pixel of the second 3 × 3 unit pixel block 171, wherein By giving three weights q to the difference values d 1 , d 2 ,..., D 9 of the pixels, the convolution coefficients c i , of each pixel of the second 3 × 3 unit pixel block 171 are provided. three pipelines calculating i = 1,2,3, ..., 9), one pipeline calculating the convolution value C, the convolution coefficients c i , i = 1,2,3 One pipeline that adds all of the convolution values, one pipeline that adds all of the convolution values, the convolution mask C, and calculate the center of the second 3x3 unit pixel block 171. It consists of 12 pipelines of five pipelines that perform convolution filtering on the pixel x 5 .

따라서 임계경로(critical path)의 시간 지연을 최소화하여 빠르게 컨벌루션 필터링을 수행할 수 있다.Therefore, convolution filtering can be performed quickly by minimizing the time delay of the critical path.

상기 제어기(180)는 유한상태기계(FSM)에 의해 구현되고, 상기 오프셋 필터(130)와 상기 에지보존 필터(140) 그리고 상기 레스터-블록 변환기들(150,160,170)의 동작 타이밍을 제어한다.The controller 180 is implemented by a finite state machine (FSM) and controls the operation timings of the offset filter 130, the edge preservation filter 140, and the raster-block converters 150, 160, 170.

이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.As described above, the present invention has been illustrated and described with reference to preferred embodiments, but is not limited to the above-described embodiments, and is provided to those skilled in the art without departing from the spirit of the present invention. Various changes and modifications will be possible.

도 1은 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 구성도, 1 is a block diagram of an edge preservation deblocking filter according to an embodiment of the present invention;

도 2는 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 3×3 레스터-블록 변환기를 보여주는 도면, 2 illustrates a 3 × 3 raster-block converter of an edge preservation deblocking filter according to an embodiment of the present invention;

도 3은 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 8×8레스터-블록 변환기를 보여주는 도면, 3 shows an 8x8 raster-block converter of an edge preservation deblocking filter according to an embodiment of the present invention;

도 4는 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 8×8 레스터-블록 변환기를 설명하기 위한 도면, 4 is a view for explaining an 8x8 raster-block converter of an edge preservation deblocking filter according to an embodiment of the present invention;

도 5는 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 8×8-3×3 레스터-블록 변환기를 보여주는 도면, 5 shows an 8x8-3x3 raster-block converter of an edge retention deblocking filter according to an embodiment of the present invention;

도 6 및 도 7은 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 화소 분류기를 설명하기 위한 도면, 6 and 7 illustrate a pixel classifier of an edge preserving deblocking filter according to an embodiment of the present invention;

도 8 내지 도 10은 본 발명의 일 실시예에 따른 에지보존 디블로킹 필터의 수평방향 오프셋필터를 설명하기 위한 도면, 8 to 10 are views for explaining a horizontal offset filter of the edge preservation deblocking filter according to an embodiment of the present invention,

도 11 내지 도 12는 본 발명의 일 실시예에 따른 에지보존 필터를 설명하기 위한 도면이다.11 to 12 are diagrams for explaining the edge preserving filter according to an embodiment of the present invention.

본 발명에 따른 도면들에서 실질적으로 동일한 구성과 기능을 가진 구성요소들에 대하여는 동일한 참조부호를 사용한다.In the drawings according to the present invention, the same reference numerals are used for components having substantially the same configuration and function.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

100:에지보존 디블로킹 필터 110:화소 분류기100: edge preservation deblocking filter 110: pixel classifier

111:프리윗 연산부 112:화소 구분부111: free computing unit 112: pixel separator

120:에지보존지도 121:수평방향기울기 정보120: edge preservation map 121: horizontal tilt information

122:수직방향기울기 정보 123:에지강도 정보122: vertical tilt information 123: edge strength information

130:오프셋 필터 131:수평 오프셋 필터130: offset filter 131: horizontal offset filter

132:수직 오프셋 필터 140:에지보존필터132: vertical offset filter 140: edge storage filter

141:거리강도 계산부 142:계수 추출부141: distance strength calculation unit 142: coefficient extraction unit

143:컨벌루션 연산부 144:계수 표준화부143: convolution calculation unit 144: coefficient standardization unit

150:3×3 레스터-블록 변환기 160:8×8 레스터-블록 변환기150: 3 × 3 Leicester-Block Converter 160: 8 × 8 Leicester-Block Converter

170:3×3-3×3 레스터-블록 변환기 180:제어기170: 3 × 3-3 × 3 Leicester-Block Converter 180: Controller

Claims (9)

블록경계면을 포함하는 영상의 단위 화소 블럭을 입력받아, 상기 단위 화소 블럭의 각 화소의 수평방향 기울기, 수직방향 기울기 및 에지강도를 계산하여, 상기 각 화소가 에지영역의 화소인지 평탄영역의 화소인지 구분하는 화소 분류기;A unit pixel block of an image including a block boundary plane is input, and horizontal slope, vertical slope, and edge intensity of each pixel of the unit pixel block are calculated to determine whether each pixel is a pixel in an edge region or a flat region pixel. A discriminating pixel classifier; 상기 화소 분류기에서 계산된 각 화소의 수평방향 기울기정보, 수직방향 기울기정보 및 에지강도정보가 저장되는 에지보존 지도;An edge preservation map storing horizontal tilt information, vertical tilt information, and edge intensity information of each pixel calculated by the pixel classifier; 상기 화소들 중, 상기 수평방향 기울기정보 또는 수직방향 기울기정보가 기울기 방향 임계값보다 작은 화소에 대해 상기 블록경계면에 인접한 화소값들의 차인 오프셋 값을 이용하여 블록잡음을 제거하는 오프셋 필터; 및An offset filter which removes block noise by using an offset value that is a difference between pixel values adjacent to the block boundary surface for pixels among which the horizontal inclination information or the vertical inclination information is smaller than an inclination direction threshold; And 상기 화소들 중, 상기 에지영역의 화소에 대해 컨벌루션(Convolution) 필터링을 수행하여 상기 에지영역의 계단잡음 및 구석윤곽잡음을 제거하는 에지보존 필터;를 포함하며,And an edge preserving filter configured to perform convolution filtering on the pixels of the edge region to remove the step noise and the corner outline noise of the edge region. 상기 에지보존 필터는 열두 번의 클럭신호에 의해 상기 단위 화소 블록의 중심화소에 대해 컨벌루션 필터링을 완료하는 12단계의 파이프라인 구조로 이루어지고,The edge preserving filter has a 12-stage pipeline structure for completing convolution filtering on the center pixel of the unit pixel block by twelve clock signals. 상기 파이프라인 구조:는The pipeline structure: 상기 단위 화소 블럭의 중심 화소의 화소값과 상기 단위 화소 블럭의 각 화소들의 차이값을 구하는 하나의 파이프 라인;A pipeline for obtaining a difference value between a pixel value of a center pixel of the unit pixel block and respective pixels of the unit pixel block; 상기 각 화소의 차이값에 세 번의 가중치를 부여하여 상기 각 화소의 컨벌루션 계수를 계산하는 세 개의 파이프 라인;Three pipelines that calculate a convolution coefficient of each pixel by assigning three weights to the difference value of each pixel; 상기 각 화소의 컨벌루션 값을 연산하는 하나의 파이프라인;One pipeline for calculating a convolution value of each pixel; 상기 컨벌루션 계수들을 모두 더하는 하나의 파이프 라인;One pipeline that adds all of the convolution coefficients; 상기 컨벌루션 값들을 모두 더하는 하나의 파이프라인; 및One pipeline that adds all of the convolution values; And 상기 컨벌루션 값들의 합에 상기 컨벌루션 계수값을 나누어 컨벌루션 마스크(C)를 계산하고, 상기 단위 화소 블록의 중심 화소에 대해 컨벌루션 필터링을 수행하는 다섯 개의 파이프라인;으로 이루어지는 것을 특징으로 하는 에지보존 디블로킹 필터.Edge conserving deblocking, comprising: five pipelines that calculate a convolution mask by dividing the convolution coefficient value by the sum of the convolution values and perform convolution filtering on the center pixel of the unit pixel block filter. 제 1 항에 있어서,The method of claim 1, 상기 화소 분류기는 제1 3×3 단위 화소 블록의 각 화소가 에지영역의 화소인지 평탄영역의 화소인지 구분하고, The pixel classifier distinguishes whether each pixel of the first 3x3 unit pixel block is a pixel of an edge region or a pixel of a flat region, 상기 에지보존 디블로킹 필터는 상기 화소들을 상기 제1 3×3 단위 화소 블록으로 변환하여 상기 화소 분류기로 입력해주는 3×3 레스터-블록 변환기를 더 포 함하는 것을 특징으로 하는 에지보존 디블로킹 필터.The edge preservation deblocking filter may further include a 3 × 3 raster-block converter configured to convert the pixels into the first 3 × 3 unit pixel block and input the same to the pixel classifier. 제 2 항에 있어서,The method of claim 2, 상기 오프셋 필터는 상기 블록 경계면을 포함하는 8×8 단위 화소 블록의 각 화소에 대해 블록잡음을 제거하며, The offset filter removes block noise for each pixel of an 8 × 8 unit pixel block including the block boundary surface. 상기 에지보존 디블로킹 필터는 상기 화소들을 상기 8×8 단위 화소 블록으로 변환하여 상기 오프셋 필터로 입력해주는 8×8 레스터-블록 변환기를 더 포함하는 것을 특징으로 하는 에지보존 디블로킹 필터.The edge preservation deblocking filter further comprises an 8 × 8 raster-block converter for converting the pixels into the 8 × 8 unit pixel block and inputting the offset filter. 제 3 항에 있어서,The method of claim 3, wherein 상기 에지보존 필터는 제2 3×3 단위 화소 블록의 중심 화소에 대해 컨벌루션 필터링을 수행하며,The edge preserving filter performs convolution filtering on the center pixel of the second 3 × 3 unit pixel block, 상기 에지보존 디블로킹 필터는 상기 오프셋 필터로부터 출력되는 8×8 화소 블록을 상기 제2 3×3 화소 블록으로 변환하여 상기 에지보존 필터로 입력해주는 8×8-3×3 레스터-블록 변환기를 더 포함하는 것을 특징으로 하는 에지보존 디블로킹 필터.The edge preserving deblocking filter further includes an 8 × 8-3 × 3 raster-block converter for converting an 8 × 8 pixel block output from the offset filter into the second 3 × 3 pixel block and inputting the edge preserving filter. Edge preservation deblocking filter comprising a. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,The method according to any one of claims 2 to 4, 상기 레스터-블록 변환기들은 각각 수직 레스터 주사방식을 이용하여 상기 단위 화소 블록들을 생성하는 것을 특징으로 하는 에지보존 디블로킹 필터.And the raster-block converters generate the unit pixel blocks using a vertical raster scanning scheme. 제 5 항에 있어서, The method of claim 5, 상기 화소 분류기는 프리윗 연산기(Prewitt operator)를 이용하여 상기 수평방향 기울기, 수직방향 기울기 및 에지강도를 계산하는 것을 특징으로 하는 에지보존 디블로킹 필터.And the pixel classifier calculates the horizontal inclination, the vertical inclination, and the edge strength by using a prewitt operator. 제 4 항에 있어서,The method of claim 4, wherein 상기 오프셋 필터는 상기 8×8 단위 화소 블록의 화소들 중 수평방향의 화소들의 블록잡음을 필터링하는 수평 오프셋 필터 및 상기 8×8 단위 화소 블록의 화소들 중 수직방향의 화소들의 블록잡음을 필터링하는 수직 오프셋 필터를 포함하는 것을 특징으로 하는 에지보존 디블로킹 필터.The offset filter may filter a horizontal offset filter for filtering block noise of pixels in a horizontal direction among the pixels of the 8 × 8 unit pixel block and a block noise of pixels in a vertical direction among pixels of the 8 × 8 unit pixel block. An edge preservation deblocking filter comprising a vertical offset filter. 제 4 항에 있어서,The method of claim 4, wherein 상기 에지보존 필터:는 The edge retention filter: 상기 제2 3×3 단위 화소 블록의 중심 화소의 화소값과 상기 제2 3×3 단위 화소 블록의 각 화소들의 화소값의 차이값을 구하는 거리강도 계산부;A distance intensity calculator for obtaining a difference value between a pixel value of a center pixel of the second 3x3 unit pixel block and a pixel value of each pixel of the second 3x3 unit pixel block; 상기 차이값들에 각각 가중치(q:smooth factor)를 부여하여, 상기 제2 3×3 화소 블록의 각 화소의 컨벌루션 계수(ci,i=1,2,3,4,5,6,7,8,9)를 추출하는 계수 추출부;A weighting factor (q: smooth factor) is assigned to the difference values, respectively, so that the convolution coefficient (c i , i = 1,2,3,4,5,6,7) of each pixel of the second 3x3 pixel block. Coefficient extraction unit for extracting (8,9); 상기 제2 3×3 단위 화소 블록의 각 화소들의 화소값에 상기 제2 3×3 단위 화소 블록의 각 화소들의 컨벌루션 계수를 곱하여 컨벌루션 값을 연산하는 컨벌루션 연산부; 및A convolution calculator configured to calculate a convolution value by multiplying a pixel value of each pixel of the second 3 × 3 unit pixel block by a convolution coefficient of each pixel of the second 3 × 3 unit pixel block; And 상기 각 화소의 컨벌루션 계수와 컨벌루션 값을 이용하여 아래의 수학식과 같이 컨벌루션 마스크(C)를 도출하고, 상기 제2 3×3 단위 화소 블록의 중심 화소에 대해 컨벌루션 필터링을 수행하는 계수 표준화부;를 포함하는 것을 특징으로 하는 에지보존 디블로킹 필터.A coefficient normalizer which derives a convolution mask (C) using the convolution coefficient and the convolution value of each pixel as in the following equation and performs convolution filtering on the center pixel of the second 3 × 3 unit pixel block; Edge preservation deblocking filter comprising a. [수학식][Equation]
Figure 112010066174267-pat00008
Figure 112010066174267-pat00008
 여기서, C는 상기 컨벌루션 마스크, ci(i=1,2,3,4,5,6,7,8,9,)는 상기 제2 3×3 단위 화소 블록의 각 화소들의 컨벌루션 계수이다.Here, C is the convolution mask, c i (i = 1, 2, 3, 4, 5, 6, 7, 8, 9,) is the convolution coefficient of each pixel of the second 3x3 unit pixel block. 삭제delete
KR1020090036463A 2009-04-27 2009-04-27 Edge-protection deblocking filter using pixel classifing KR101001676B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090036463A KR101001676B1 (en) 2009-04-27 2009-04-27 Edge-protection deblocking filter using pixel classifing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090036463A KR101001676B1 (en) 2009-04-27 2009-04-27 Edge-protection deblocking filter using pixel classifing

Publications (2)

Publication Number Publication Date
KR20100117812A KR20100117812A (en) 2010-11-04
KR101001676B1 true KR101001676B1 (en) 2010-12-15

Family

ID=43404264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090036463A KR101001676B1 (en) 2009-04-27 2009-04-27 Edge-protection deblocking filter using pixel classifing

Country Status (1)

Country Link
KR (1) KR101001676B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101248808B1 (en) * 2011-06-03 2013-04-01 주식회사 동부하이텍 Apparatus and method for removing noise on edge area
US9275446B2 (en) 2013-10-15 2016-03-01 Samsung Electronics Co., Ltd. Large radius edge-preserving low-pass filtering
RU2793920C2 (en) * 2018-09-24 2023-04-10 Хуавэй Текнолоджиз Ко., Лтд. Image processing device and method of performing deblocking with quality optimization
US11800154B2 (en) 2018-09-24 2023-10-24 Huawei Technologies Co., Ltd. Image processing device and method for performing quality optimized deblocking

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT16521U1 (en) * 2011-06-23 2019-12-15 Huawei Tech Co Ltd Offset decryption device, offset encryption device, image filtering device and data structure
KR101348931B1 (en) * 2011-12-29 2014-01-09 광운대학교 산학협력단 A Super-resolution Method using Discrete Wavelet Transform for Single-image
KR101373759B1 (en) * 2012-01-30 2014-03-28 광운대학교 산학협력단 Apparatus and method for decoding
CN106658004B (en) * 2016-11-24 2019-05-17 浙江大学 A kind of compression method and device based on image flat site feature
CN109171708B (en) * 2018-10-25 2021-04-16 广东工业大学 Defibrillation heart rhythm recognition device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100669905B1 (en) 2004-12-02 2007-01-16 한국전자통신연구원 Blocking artifacts reduction apparatus and method using the characteristics of block boundary area
JP2008293425A (en) 2007-05-28 2008-12-04 Olympus Corp Noise removal device, program, and method
KR100872253B1 (en) * 2007-08-23 2008-12-05 삼성전기주식회사 Method for eliminating noise of image generated by image sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100669905B1 (en) 2004-12-02 2007-01-16 한국전자통신연구원 Blocking artifacts reduction apparatus and method using the characteristics of block boundary area
JP2008293425A (en) 2007-05-28 2008-12-04 Olympus Corp Noise removal device, program, and method
KR100872253B1 (en) * 2007-08-23 2008-12-05 삼성전기주식회사 Method for eliminating noise of image generated by image sensor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101248808B1 (en) * 2011-06-03 2013-04-01 주식회사 동부하이텍 Apparatus and method for removing noise on edge area
US9275446B2 (en) 2013-10-15 2016-03-01 Samsung Electronics Co., Ltd. Large radius edge-preserving low-pass filtering
RU2793920C2 (en) * 2018-09-24 2023-04-10 Хуавэй Текнолоджиз Ко., Лтд. Image processing device and method of performing deblocking with quality optimization
US11800154B2 (en) 2018-09-24 2023-10-24 Huawei Technologies Co., Ltd. Image processing device and method for performing quality optimized deblocking

Also Published As

Publication number Publication date
KR20100117812A (en) 2010-11-04

Similar Documents

Publication Publication Date Title
KR101001676B1 (en) Edge-protection deblocking filter using pixel classifing
US10339643B2 (en) Algorithm and device for image processing
KR100754181B1 (en) Method and apparatus for reducing mosquito noise in fecoded video sequence
KR101736468B1 (en) Apparatus and method for processing image
KR100790980B1 (en) Post-processing circuit according to the frequency components of the image signal
Li et al. A contrast enhancement framework with JPEG artifacts suppression
Dabov et al. Image restoration by sparse 3D transform-domain collaborative filtering
EP2713336B1 (en) Combined deblocking and denoising filter
JP2960386B2 (en) Signal adaptive filtering method and signal adaptive filter
CN104778669B (en) rapid image denoising method and device
TWI433053B (en) Method and system for image sharpness enhancement based on local feature of the image
Nikpour et al. Using diffusion equations for improving performance of wavelet-based image denoising techniques
Lebrun et al. The noise clinic: A universal blind denoising algorithm
KR101362011B1 (en) Method for blur removing ringing-atifactless
JPWO2002067589A1 (en) Image processing system, image processing method, and image processing program
CN109767408A (en) Image processing method, device, storage medium and computer equipment
KR20080044737A (en) Method for processing an ultrasound image
Taha et al. Partial Differential Equations and Digital Image Processing: A Review
JP2005150903A (en) Image processing apparatus, noise elimination method, and noise elimination program
Mahayuddin et al. Efficiency measurement of various denoise techniques for moving object detection using aerial images
Gunturk Bilateral filter: theory and applications
JP5617426B2 (en) Jaggy mitigation processing apparatus and jaggy mitigation processing method
Mredhula et al. An effective filtering technique for image denoising using probabilistic principal component analysis (PPCA)
Szczepanski Fast spatio-temporal digital paths video filter
Romanenko et al. Block matching noise reduction method for photographic images applied in Bayer RAW domain and optimized for real-time implementation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee