KR100669905B1 - Blocking artifacts reduction apparatus and method using the characteristics of block boundary area - Google Patents

Blocking artifacts reduction apparatus and method using the characteristics of block boundary area Download PDF

Info

Publication number
KR100669905B1
KR100669905B1 KR1020050013689A KR20050013689A KR100669905B1 KR 100669905 B1 KR100669905 B1 KR 100669905B1 KR 1020050013689 A KR1020050013689 A KR 1020050013689A KR 20050013689 A KR20050013689 A KR 20050013689A KR 100669905 B1 KR100669905 B1 KR 100669905B1
Authority
KR
South Korea
Prior art keywords
block
blocking phenomenon
block boundary
region
blocking
Prior art date
Application number
KR1020050013689A
Other languages
Korean (ko)
Other versions
KR20060061741A (en
Inventor
권기구
임동선
임성호
박태준
양만석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20060061741A publication Critical patent/KR20060061741A/en
Application granted granted Critical
Publication of KR100669905B1 publication Critical patent/KR100669905B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION

본 발명은 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및 그 방법에 관한 것임.The present invention relates to an apparatus and method for removing a blocking phenomenon using block boundary region characteristics.

2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention

본 발명은 블록 경계 영역의 특성에 따라 적응적으로 필터링을 수행함으로써, 블록 기반 부호화 영상(예 : 엠펙-4 등)의 블록화 현상을 제거하여 영상의 화질을 개선하기 위한 블록화 현상 제거 장치 및 그 방법을 제공하는데 그 목적이 있음. The present invention provides an apparatus and method for removing a blocking phenomenon for improving image quality by removing a blocking phenomenon of a block-based encoded image (eg, MPEG-4) by adaptively filtering according to characteristics of a block boundary region. The purpose is to provide

3. 발명의 해결방법의 요지3. Summary of Solution to Invention

본 발명은, 블록화 현상 제거 장치에 있어서, 외부 기기로부터 블록 기반 부호화 영상을 입력받기 위한 블록 기반 부호화 영상 입력 수단; 상기 블록 기반 부호화 영상 입력 수단으로부터의 블록 기반 부호화 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성과 인접 부영역의 특성에 따라 블록 경계를 분류하기 위한 블록 경계 분류 수단; 상기 블록 경계 분류 수단에서 평탄 영역(평탄 블록)으로 분류한 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출하기 위한 블록화 현상 검출 수단; 상기 블록화 현상 검출 수단에서 검출한 영역에 대하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 필터링 수단; 상기 블록 경계 분류 수단에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 웨이블릿 변환을 이용한 필터링 수단; 및 상기 필터링 수단 및 상기 웨이블릿 변환을 이용한 필터링 수단에서 블록화 현상을 제거한 영상과 상기 외부 기기로부터 입력되는 블록 기반 부호화 영상을 이용하여 블록화 현상이 제거된 영상을 획득하여 출력하기 위한 영상 획득 수단을 포함함.According to an aspect of the present invention, there is provided an apparatus for removing a block phenomenon, comprising: block-based encoded image input means for receiving a block-based encoded image from an external device; Block boundary classification means for classifying block boundaries with respect to block boundary regions of the block-based encoded image input from the block-based encoded image input means according to characteristics of each block boundary region and characteristics of adjacent subregions; Blocking phenomenon detection means for detecting a block boundary in which a blocking phenomenon occurs in an area classified by the block boundary classification means into a flat area (flat block); Filtering means for adaptively performing filtering on the area detected by the blocking phenomenon detecting means to remove the blocking phenomenon; A filtering means using a wavelet transform for adaptively performing filtering on a region classified into a complex region (a mixed block or a complex block) by the block boundary classification means to remove a blocking phenomenon; And image acquisition means for acquiring and outputting an image from which the blocking phenomenon is removed by using an image from which the blocking phenomenon is removed by the filtering means and the filtering means using the wavelet transform and a block-based encoded image input from the external device. .

4. 발명의 중요한 용도4. Important uses of the invention

본 발명은 엠펙(MPEG)-4 등과 같은 블록 기반 부호화 방식이 사용되는 디지털 영상 기기 등에 이용됨.The present invention is used in a digital video device using a block-based coding scheme such as MPEG-4.

블록화 현상 제거, 블록 경계 분류, 적응적 필터링, 웨이블릿 변환, 연 역치화 Blocking, Block Boundary Classification, Adaptive Filtering, Wavelet Transform, Deduction

Description

블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및 그 방법{Blocking artifacts reduction apparatus and method using the characteristics of block boundary area}Blocking artifacts reduction apparatus and method using the characteristics of block boundary area}

도 1은 본 발명에 따른 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치의 일실시예 구성도,1 is a block diagram of an embodiment of an apparatus for removing block phenomenon using a block boundary region characteristic according to the present invention;

도 2는 본 발명에 따른 블록 경계 영역 특성을 이용한 블록화 현상 제거 방법에 대한 일실시예 흐름도,2 is a flowchart illustrating a method for removing a blocking phenomenon using a block boundary region characteristic according to the present invention;

도 3은 블록 경계 영역 분류 및 평탄 영역 필터링을 위한 화소들을 예시한 도면,3 illustrates pixels for block boundary region classification and flat region filtering;

도 4는 블록화 현상 검출 과정에 사용되는 웨버 법칙을 나타내는 도면,4 is a diagram illustrating a Weber law used in a blocking phenomenon detection process;

도 5는 QP=12, 48Kbps, 7.5Hz로 엠펙(MPEG)-4 부호화된 CIF 크기의 홀 모니터(Hall monitor) 영상에 대한 실험 결과를 나타내는 도면,FIG. 5 is a diagram showing experimental results of a Hall monitor image of MPEG-4 encoded CIF size at QP = 12, 48 Kbps, and 7.5 Hz. FIG.

도 6은 엠펙(MPEG)-4 부호화된 영상에 대한 실험 결과를 나타내는 도면,FIG. 6 is a diagram showing experimental results of an MPEG-4 encoded image. FIG.

도 7은 엠펙(MPEG)-4 부호화된 영상의 첫번째 프레임에 대한 실험 결과를 나타내는 도면이다.7 is a diagram illustrating an experiment result for a first frame of an MPEG-4 encoded image.

* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings

110 : 블록 기반 부호화 영상 입력부 120 : 블록 경계 분류부110: block-based coded image input unit 120: block boundary classifier

130 : 블록화 현상 판별부 140 : 일차원 필터링부130: blocking phenomenon determination unit 140: one-dimensional filtering unit

150 : 웨이블릿 변환을 이용한 필터링부 151 : 일차원 웨이블릿 변환부150: filtering unit using wavelet transform 151: one-dimensional wavelet transform unit

152 : 연 역치화부 153 : 일차원 역 웨이블릿 변환부152: annual threshold value conversion unit 153: one-dimensional inverse wavelet transform unit

160 : 영상 획득부160: image acquisition unit

본 발명은 엠펙(MPEG)-4 등과 같은 저 비트율 블록 기반 동영상 부호화 방식이 사용되는 디지털 영상 기기 등에서 블록화 현상을 제거하기 위한 블록화 현상 제거 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 블록 기반 이산 여현 변환(BDCT : Block-based Discrete Cosine Transform)을 이용한 저 비트율 동영상 부호화 기술분야 등에서 블록 경계 영역 특성을 이용하여 블록화 현상을 제거하기 위한 블록화 현상 제거 장치 및 그 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a blockage removing apparatus and a method for removing a blockage phenomenon in a digital imaging apparatus using a low bit rate block-based video encoding method such as MPEG-4, and more particularly, to block-based discrete cosine. TECHNICAL FIELD The present invention relates to a blockage removal apparatus and a method for removing a blockage phenomenon using a block boundary region characteristic in a low bit rate video encoding technology using a block-based Discrete Cosine Transform (BDCT).

일반적으로 정지 영상 및 동영상 등의 정보를 포함한 다양한 멀티미디어 서비스가 제공되기 시작하면서 영상 데이터의 압축은 멀티미디어 통신, 디지털 티브이(TV), 주문형 비디오(VOD : Video On Demand), 및 영상 회의 등의 다양한 응용 분야에서 필수적으로 사용되고 있다. 특히, 높은 에너지 압축 및 빠른 계산이 가능 한 블록 기반 이산 여현 변환(BDCT)을 이용한 영상 압축 방법은 제이펙(JPEG), H.261, H.263, 엠펙(MPEG)-2, 및 엠펙(MPEG)-4 등의 정지 영상 및 동영상 부호화 방법에서 공통적으로 이용되고 있다.In general, as various multimedia services including information such as still images and videos are provided, video data compression is applied to various applications such as multimedia communication, digital TV (TV), video on demand (VOD), and video conferencing. Essentially used in the field. In particular, image compression methods using block-based Discrete Cosine Transform (BDCT), which enables high energy compression and fast computation, are known as JPEG, H.261, H.263, MPEG-2, and MPEG. It is commonly used in still image and video encoding methods such as) -4.

그러나 블록 기반 이산 여현 변환(BDCT) 부호화 방법에서는 영상을 8×8 화소 크기의 블록으로 분할한 후, 각 블록의 이산 여현 변환(DCT) 계수들을 독립적으로 양자화(quantization)함으로써 화질의 열화가 발생될 수 있고, 특히 저 비트율(low bit rate)로 부호화된 영상에서는 블록 경계 영역에 심각한 화질 열화인 블록화 현상(blocking artifacts)이 발생되게 된다.However, in the block-based Discrete Cosine Transform (BDCT) coding method, image quality may be degraded by dividing an image into blocks having an 8 × 8 pixel size and independently quantizing the Discrete Cosine Transform (DCT) coefficients of each block. In particular, in the image coded at a low bit rate, blocking artifacts, which are severe image quality deterioration, are generated in the block boundary region.

최근에, 이와 같은 블록화 현상을 효율적으로 제거하기 위한 많은 후처리(post-processing) 방법들이 연구되고 있는데, 이 방법들은 크게 영상 향상 방법 및 영상 복원 방법으로 나눌 수 있다. 상기 영상 향상 방법에는 공간 영역에서의 필터링 방법, 주파수 영역에서 이산 여현 변환(DCT) 계수들을 추정하는 방법, 및 웨이블릿 변환을 이용하는 방법 등이 있다. 그리고 상기 영상 복원 방법에는 제약적 최소 자승(CLS : Constrained Least-Square) 방법, 볼록 집합으로의 반복 투영(POCS : Projection Onto Convex Set) 이론을 이용한 방법, 및 최대 사후 확률(MAP : Maximum A Posteriori) 방법 등이 있다.Recently, many post-processing methods have been studied to efficiently remove such blocking phenomenon, and these methods can be largely divided into an image enhancement method and an image reconstruction method. The image enhancement method includes a filtering method in a spatial domain, a method of estimating discrete cosine transform (DCT) coefficients in a frequency domain, and a method using a wavelet transform. The image reconstruction method includes a Constrained Least-Square (CLS) method, a Projection Onto Convex Set (POCS) theory, and a Maximum A Posteriori (MAP) method. Etc.

이와 같은 방법들 중에서 영상 복원 방법은 반복 계산 과정을 거쳐야 하기 때문에 수행 시간이 길어지는 단점이 있고, 웨이블릿 변환을 이용한 방법은 성능은 우수하지만 웨이블릿 변환 및 웨이블릿 역 변환을 위한 추가적인 계산이 필요하기 때문에 수행 시간이 길어지는 단점이 있다.Among these methods, the image reconstruction method has a disadvantage in that the execution time is long because it needs to go through an iterative calculation process, and the method using the wavelet transform is performed because it has excellent performance but requires additional calculation for wavelet transform and inverse wavelet transform. There is a disadvantage in that the time is long.

상술한 바와 같이 웨이블릿 변환을 이용한 블록화 현상 제거 방법은 성능은 우수하지만 계산 과정이 복잡한 문제점이 있다. 따라서 기존의 방법들이 가지는 이러한 문제점들을 보완하기 위하여 본 발명에서는 새로운 블록화 현상 제거 장치 및 그 방법을 제안하고자 한다.As described above, the method of removing a block phenomenon using wavelet transform has a high performance but a complicated calculation process. Therefore, in order to solve these problems with the existing methods, the present invention proposes a novel blocking effect removal apparatus and method thereof.

즉, 본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 블록 경계 영역의 특성에 따라 적응적으로 필터링을 수행함으로써, 블록 기반 부호화 영상(예 : 엠펙-4 등)의 블록화 현상을 제거하여 영상의 화질을 개선하기 위한 블록화 현상 제거 장치 및 그 방법을 제공하는데 그 목적이 있다.That is, the present invention has been proposed to solve the above problem, and adaptively performs filtering according to the characteristics of the block boundary region, thereby removing the blocking phenomenon of the block-based coded image (eg, MPEG-4). SUMMARY OF THE INVENTION An object of the present invention is to provide a blockage removing apparatus and a method for improving image quality.

즉, 본 발명은 각 블록의 이산 여현 변환(DCT) 계수들을 독립적으로 양자화함으로써 블록 기반 부호화 영상이 비선형적인 특성을 나타내기 때문에 비선형 필터인 단순 적응 필터 및 웨이블릿 변환 특성을 이용하여 블록화 현상을 제거하여 영상의 화질을 개선하기 위한 블록화 현상 제거 장치 및 그 방법을 제공하는데 그 목적이 있다.That is, since the block-based coded image exhibits nonlinear characteristics by independently quantizing the discrete cosine transform (DCT) coefficients of each block, the present invention removes the blocking phenomenon by using a simple adaptive filter and a wavelet transform characteristic, which are nonlinear filters. SUMMARY OF THE INVENTION An object of the present invention is to provide an apparatus and method for removing block effect to improve image quality.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시 예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명의 장치는, 블록화 현상 제거 장치에 있어서, 외부 기기로부터 블록 기반 부호화 영상을 입력받기 위한 블록 기반 부호화 영상 입력 수단; 상기 블록 기반 부호화 영상 입력 수단으로부터의 블록 기반 부호화 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성과 인접 부영역의 특성에 따라 블록 경계를 분류하기 위한 블록 경계 분류 수단; 상기 블록 경계 분류 수단에서 평탄 영역(평탄 블록)으로 분류한 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출하기 위한 블록화 현상 검출 수단; 상기 블록화 현상 검출 수단에서 검출한 영역에 대하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 필터링 수단; 상기 블록 경계 분류 수단에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 웨이블릿 변환을 이용한 필터링 수단; 및 상기 필터링 수단 및 상기 웨이블릿 변환을 이용한 필터링 수단에서 블록화 현상을 제거한 영상과 상기 외부 기기로부터 입력되는 블록 기반 부호화 영상을 이용하여 블록화 현상이 제거된 영상을 획득하여 출력하기 위한 영상 획득 수단을 포함한다.According to an aspect of the present invention, there is provided an apparatus for removing blocking, comprising: block-based coded image input means for receiving a block-based coded image from an external device; Block boundary classification means for classifying block boundaries with respect to block boundary regions of the block-based encoded image input from the block-based encoded image input means according to characteristics of each block boundary region and characteristics of adjacent subregions; Blocking phenomenon detection means for detecting a block boundary in which a blocking phenomenon occurs in an area classified by the block boundary classification means into a flat area (flat block); Filtering means for adaptively performing filtering on the area detected by the blocking phenomenon detecting means to remove the blocking phenomenon; A filtering means using a wavelet transform for adaptively performing filtering on a region classified into a complex region (a mixed block or a complex block) by the block boundary classification means to remove a blocking phenomenon; And image acquisition means for acquiring and outputting an image from which the blocking phenomenon is removed using the image from which the blocking phenomenon is removed by the filtering means and the filtering means using the wavelet transform and a block-based encoded image input from the external device. .

한편, 본 발명의 방법은, 블록화 현상 제거 방법에 있어서, 블록 기반 부호화 입력 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성과 인접 부영역의 특성에 따라 블록 경계를 분류하기 위한 블록 경계 분류 단계; 상기 분류한 영역이 평탄 영역(평탄 블록)인지 또는 복잡 영역(복잡 블록, 혼합 블록)인지를 판단하는 단계; 상기 판단 결과, 평탄 영역(평탄 블록)이면 해당 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출한 후에, 상기 검출한 영역에 대하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하는 제 1 블록화 현상 제거 단계; 상기 판단 결과, 상기 복잡 영역(혼합 블록, 복잡 블록)이면 해당 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하는 제 2 블록화 현상 제거 단계; 및 상기 블록화 현상을 제거한 각 영상과 상기 블록 기반 부호화 입력 영상을 이용하여 블록화 현상이 제거된 영상을 획득하는 단계를 포함한다.Meanwhile, the method of the present invention provides a block boundary classification step for classifying a block boundary according to the characteristics of each block boundary region and the characteristics of an adjacent subregion in a block boundary region of a block-based encoded input image. ; Determining whether the classified region is a flat region (flat block) or a complex region (complex block, mixed block); As a result of the determination, in the case of a flat region (flat block), after detecting a block boundary in which a blocking phenomenon occurs in the corresponding region, the first blocking phenomenon removing step of adaptively filtering the detected region to remove the blocking phenomenon ; If it is determined that the complex region (mixed block or complex block) is removed, a second blocking phenomenon is removed by adaptively performing a filtering on the corresponding region using a wavelet transform; And obtaining an image from which the blocking phenomenon is removed by using each image from which the blocking phenomenon is removed and the block-based encoded input image.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시 예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치의 일실시예 구성도이다.1 is a block diagram of an embodiment of an apparatus for removing block phenomenon using a block boundary region characteristic according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치는, 외부 기기로부터 블록 기반 부호화 영상을 입력받기 위한 블록 기반 부호화 영상 입력부(110), 상기 블록 기반 부호화 영상 입력부(110)로부 터의 블록 기반 부호화 영상의 8×8 블록 경계 영역에 대하여 각 블록 경계 영역의 특성에 따라 평탄한 부영역(sub-region)과 복잡한 부영역으로 분류한 후에 인접 부영역의 특성에 따라 블록 경계를 평탄 블록, 복잡 블록 및 혼합 블록으로 분류하기 위한 블록 경계 분류부(120), 상기 블록 경계 분류부(120)에서 평탄 영역(평탄 블록)으로 분류한 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출하기 위한 블록화 현상 검출부(130), 상기 블록화 현상 검출부(130)에서 검출한 영역에 대하여 적응적으로 일차원 필터링을 수행하여 블록화 현상을 제거하기 위한 일차원 필터링부(140), 상기 블록 경계 분류부(120)에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 웨이블릿 변환을 이용한 필터링부(150), 및 상기 일차원 필터링부(140) 및 상기 웨이블릿 변환을 이용한 필터링부(150)에서 블록화 현상을 제거한 영상과 상기 외부 기기로부터 입력되는 블록 기반 부호화 영상을 이용하여 최종적으로 블록화 현상이 제거된 영상을 획득하여 출력하기 위한 영상 획득부(160)를 포함한다.As illustrated in FIG. 1, an apparatus for removing blocking phenomenon using a block boundary region characteristic according to the present invention includes a block-based encoded image input unit 110 for receiving a block-based encoded image from an external device, and the block-based encoded image input unit. The 8 × 8 block boundary region of the block-based coded image from (110) is classified into flat sub-regions and complex sub-regions according to the characteristics of each block boundary region, and then according to the characteristics of adjacent sub-regions. Block boundary classification unit 120 for classifying a block boundary into a flat block, a complex block, and a mixed block, and a block boundary in which a blocking phenomenon occurs in an area classified into a flat area (flat block) by the block boundary classification unit 120. Blocking detection unit 130 for detecting the detection function, the one-dimensional filtering can be adaptively applied to the area detected by the blocking phenomenon detection unit 130 Adaptive filtering using wavelet transform on a region classified as a complex region (mixed block or complex block) by the one-dimensional filtering unit 140 and the block boundary classifying unit 120 to remove the blocking phenomenon An image obtained by removing the blocking phenomenon from the filtering unit 150 using the wavelet transform, the one-dimensional filtering unit 140 and the filtering unit 150 using the wavelet transform, and a block-based input from the external device. And an image obtaining unit 160 for obtaining and outputting an image from which the blocking phenomenon is finally removed using the encoded image.

여기서, 상기 웨이블릿 변환을 이용한 필터링부(150)는, 상기 블록 경계 분류부(120)에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 일차원 웨이블릿 변환을 수행하여 블록화 현상을 검출하기 위한 일차원 웨이블릿 변환부(151), 상기 일차원 웨이블릿 변환부(151)에서 검출한 블록화 현상을 연 역치화(soft-thresholding)를 이용하여 제거하기 위한 연 역치화부(152), 및 상기 연 역치화부(152)에서 블록화 현상을 제거한 영상에 대하여 일차원 역 웨이블릿 변환을 수행하여 블록화 현상이 제거된 영상을 상기 영상 획득부(160)로 전달하기 위한 일차원 역 웨이블릿 변환부(153)를 포함한다.Here, the filtering unit 150 using the wavelet transform performs a one-dimensional wavelet transform on a region classified into a complex region (mixed block, complex block) by the block boundary classifier 120 to detect a blocking phenomenon. One-dimensional wavelet transforming unit 151, De-quantizing unit 152 for removing the blocking phenomenon detected by the one-dimensional wavelet transforming unit 151 using soft-thresholding, and the delimiting unit 152 ) Includes a one-dimensional inverse wavelet transform unit 153 for performing the one-dimensional inverse wavelet transform on the image from which the blocking phenomenon is removed and transmitting the removed block image to the image acquisition unit 160.

상기 각 구성요소의 동작 및 구체적인 실시예를 상세히 살펴보면 다음과 같다.Looking at the operation and specific embodiments of the components in detail as follows.

일반적으로 블록화 현상은 영상의 복잡 영역에서보다 평탄 영역에서 더 심각하게 나타난다. 따라서 두 영역에 대하여 동일한 필터링 방법을 사용하게 되면 블록화 현상을 효율적으로 제거할 수 없다. 따라서 블록 경계 영역에 발생되는 블록화 현상을 효율적으로 제거하기 위해서는 정확한 블록 경계 영역 분류가 필수적이다. 또한 평탄 블록 경계 영역 중 블록화 현상이 발생하지 않은 영역도 존재하기 때문에 계산량을 줄이기 위하여 평탄 영역 중 블록화 현상이 발생한 영역만을 검출하여 필터링을 수행하여야 한다.In general, the blocking phenomenon is more severe in the flat region than in the complex region of the image. Therefore, if the same filtering method is used for the two regions, the blocking phenomenon cannot be effectively removed. Therefore, accurate block boundary region classification is essential in order to efficiently remove the blocking phenomenon occurring in the block boundary region. In addition, since there is a region in which the blocking phenomenon does not occur among the flat block boundary regions, only the region in which the blocking phenomenon occurs in the flat region should be filtered to reduce the computation amount.

본 발명에서는 일예로 8×8 블록 경계 영역의 8개 화소값의 통계적 특성을 이용하여 블록 경계 분류를 수행하고, 평탄 블록으로 분류된 블록 경계에 대하여 블록화 현상의 발생 유무를 판별한다. 먼저 도 3에 도시된 바와 같이, 블록 경계 영역의 부영역 S1 및 S2 각각에 대한 분산을 구한다. 그리고 두 분산값을 문턱치 T1과 비교하여 분산값이 작으면 인접 블록의 특성이 서로 유사하다고 판단되기 때문에 평탄한 부영역으로 분류하고, 두 값이 같거나 분산값이 크면 복잡한 부영역으로 분류한다. 이후에, 인접 부영역이 모두 평탄 부영역인 경우에는 평탄 블록, 인접 부영역이 모두 복잡한 부영역인 경우에는 복잡 블록, 그리고 인접 부영역이 서로 다른 부영역인 경우에는 혼합 블록으로 분류한다.In the present invention, for example, block boundary classification is performed by using statistical characteristics of eight pixel values of an 8 × 8 block boundary region, and a block boundary classified as a flat block is determined whether or not a blocking phenomenon occurs. First, as shown in FIG. 3, the variance of each of the subregions S1 and S2 of the block boundary region is obtained. When the two variances are compared with the threshold T1 and the variance is small, the characteristics of adjacent blocks are considered to be similar to each other. Therefore, the two variances are classified into flat subregions. Subsequently, the adjacent subregions are classified into flat blocks if all of the subregions are flat, complex blocks if all of the subregions are complex, and mixed blocks if the subregions are different from each other.

이후, 평탄 영역으로 분류된 영역에 대하여 블록 경계 영역의 두 화소값의 차의 절대치를 문턱치 T2와 비교하여 두 값이 같거나 절대치가 크면 인접 블록간의 화소값의 밝기 차가 크다고 판단되기 때문에 블록화 현상이 발생한 블록 경계로 판단하고, 절대치가 작으면 블록화 현상이 발생하지 않은 블록 경계로 판단한다. 이 때, 상기 블록 경계 영역 분류 과정에서는 일예로 T1=0.5×QP을 사용하였다. 즉, 문턱치 T1은 양자화 파라미터 QP를 이용하여 결정하였다. 일반적으로 밝은 영역에서는 명암의 변별 능력이 우수하나 아주 어두운 곳에서는 명암의 변별 능력이 다소 떨어진다. 그러나 일상 생활에서의 밝기 범위인 10~1000 cd/m2에서 배경 휘도 L에 대한 휘도차 변별 최소 휘도 변화량 ΔL의 비는 약 2% 정도로 일정하다. 이를 웨버 법칙(Weber's law)이라고 한다. 이 웨버 법칙은 도 4에 도시된 바와 같다. 그리고 상기 블록 경계 영역 분류 과정에서 사용한 문턱치 T2는 평탄 영역에서의 블록화 현상 발생 유무를 판단하는데 사용되는데, 본 발명에서는 일예로 중간 정도의 밝기 값, 즉 8비트 영상에서 밝기값 127을 가지는 경우 인간의 시각이 판단할 수 있는 휘도 변화량 및 필터링 수행시의 계산량 등을 고려하여 결정하였다.Subsequently, since the absolute value of the difference between the two pixel values of the block boundary area is compared with the threshold value T2 for the area classified as the flat area, if the two values are the same or large, it is determined that the difference in the brightness of the pixel values between adjacent blocks is large. If the absolute value is small, it is determined that the block boundary does not occur. In this case, T1 = 0.5 × QP is used as an example in the block boundary region classification process. In other words, the threshold T1 was determined using the quantization parameter QP. In general, the contrasting ability of contrast is excellent in bright areas, but the contrasting ability of contrast is slightly decreased in very dark places. However, the ratio of the minimum luminance change ΔL of the luminance difference discrimination with respect to the background luminance L in the brightness range of 10 to 1000 cd / m 2 in everyday life is constant at about 2%. This is called Weber's law. This Weber law is as shown in FIG. The threshold T2 used in the block boundary region classification process is used to determine whether a blocking phenomenon occurs in the flat region. In the present invention, for example, when the luminance value is 127 in an 8-bit image, The decision was made in consideration of the amount of change in luminance that can be judged by time and the amount of calculation in filtering.

그리고 평탄 영역에서 발생하는 블록화 현상은 계단 함수 형태로 나타나기 때문에, 본 발명에서는 평탄 영역으로 분류된 영역 중 블록화 현상이 발생한 영역은 블록 경계 영역에 인접한 8개 화소(예 : 좌·우 각 4개씩의 화소)에 대하여 블록화 강도에 따른 적응적 일차원 필터링을 수행하여 블록화 현상을 제거한다. 이 때, 필터링 결과값은

Figure 112006072555969-pat00001
과 같이 얻을 수 있다. 여기서,
Figure 112006072555969-pat00002
이고,
Figure 112006072555969-pat00003
는 블록화 강도를 나타내는데, 그 값은 일예로 도 3에 도시된 (p3-p4)의 절대치이다. 이처럼 본 발명에서는, 평탄 영역에서의 블록화 현상이 계단 함수 형태로 나타나기 때문에, 블록화 강도를 이용하여 블록 경계 영역에 인접한 8개의 화소값을 조정함으로써 블록화 현상을 제거한다. 즉, 본 발명은 블록 경계 영역에서의 화소값의 불연속성을 줄여줌으로써 블록화 현상을 제거할 수 있다.In addition, since the blocking phenomenon occurring in the flat region is represented by a step function, in the present invention, the region in which the blocking phenomenon occurs among the regions classified as the flat region includes eight pixels adjacent to the block boundary region (for example, four left and right sides). The blocking phenomenon is eliminated by performing adaptive one-dimensional filtering on the pixel). At this time, the filtering result is
Figure 112006072555969-pat00001
Can be obtained as here,
Figure 112006072555969-pat00002
ego,
Figure 112006072555969-pat00003
Denotes the blocking strength, which is, for example, an absolute value of (p 3 -p 4 ) shown in FIG. 3 . As described above, in the present invention, since the blocking phenomenon in the flat region appears in the form of a step function, the blocking phenomenon is eliminated by adjusting eight pixel values adjacent to the block boundary region using the blocking intensity. That is, the present invention can eliminate the blocking phenomenon by reducing the discontinuity of the pixel value in the block boundary region.

한편, 복잡 영역에서 발생하는 블록화 현상은 말랏(Mallat) 등이 제안한 웨이블릿 변환을 이용한 리피츠 정칙(lipschitz regularity) 이론을 이용하여 제거한다. 블록화 현상 및 실제 에지와 같은 특이점들(singular points)은 첫 번째 스케일 상의 웨이블릿 변환 영역에서 국부 계수 최대치(local modulus maxima)로 나타난다. 본 발명에서는 첫 번째 스케일 상의 국부 계수 최대치들의 리피츠 정칙을 해석함으로써, 상기 두 가지 구조를 가지는 블록화 현상과 실제 에지를 구분한다. 이 때, 상기 리피츠 정칙 이론에 근거하여 블록화 현상과 같은 구조를 가지는 특이점들은 원추영향(cone of influence) 범위 내의 웨이블릿 변환 계수값들이 스케일이 증가할수록 크기가 감소하여, 음의 실수값인 리피츠 정칙 상수를 가짐을 확인하였다. 그러므로 리피츠 정칙 상수가 음의 실수값을 가지는 웨이블릿 변환 계수값들을 인접한 계수 분포에 따라 적응적으로 제거함으로써, 실제 에지의 몽롱화(블러링) 없이 블록화 현상만을 효과적으로 제거할 수 있다. 즉, 음의 리피츠 정칙 상수값을 가지는 웨이블릿 계수들에 대하여 첫 번째 스케일 상에서 연 역치화(soft-thresholding)를 이용하여

Figure 112006072555969-pat00004
와 같이 제거한다. 여기서,
Figure 112006072555969-pat00005
,
Figure 112006072555969-pat00006
는 입력영상,
Figure 112006072555969-pat00007
는 첫 번째 스케일 상의 웨이블릿 계수를 나타낸다. 그리고 수직 블록 경계에서도 전술한 수평 블록 경계에서의 블록화 현상 제거 방식과 같은 방식으로 제거한다.On the other hand, the blocking phenomenon occurring in the complex region is eliminated using the Lipschitz regularity theory using the wavelet transform proposed by Mallat et al. Singular points, such as blocking and actual edges, appear as local modulus maxima in the wavelet transform region on the first scale. In the present invention, by analyzing the Repeats law of the local coefficient maximums on the first scale, the blocking phenomenon having the two structures and the actual edge are distinguished. At this time, the singular points having the same structure as the blocking phenomenon are reduced as the scale of wavelet transform coefficient values within the cone of influence range increases as the scale increases based on the repeats theory. It was confirmed that it has a regular constant. Therefore, by removing adaptively the wavelet transform coefficient values having a negative real value according to the adjacent coefficient distribution, only the blocking phenomenon can be effectively eliminated without blurring the actual edges. In other words, we use soft-thresholding on the first scale for wavelet coefficients with negative repeating constants.
Figure 112006072555969-pat00004
Remove as here,
Figure 112006072555969-pat00005
,
Figure 112006072555969-pat00006
Is the input image,
Figure 112006072555969-pat00007
Denotes the wavelet coefficient on the first scale. In addition, the vertical block boundary is removed in the same manner as the above-described block elimination method at the horizontal block boundary.

그리고 혼합 영역의 경우에는 블록 경계 영역의 블록화 현상뿐만 아니라 블록 내부에 링잉 현상 등과 같은 잡음이 존재한다. 따라서 블록 경계 영역의 웨이블릿 계수뿐만 아니라 블록 내부의 웨이블릿 계수들도 복잡 영역에서 수행한 방식과 유사한 방식으로 처리한다.In addition, in the mixed region, not only the blocking phenomenon of the block boundary region but also a noise such as a ringing phenomenon exists in the block. Therefore, the wavelet coefficients inside the block as well as the wavelet coefficients in the block boundary region are processed in a manner similar to that performed in the complex region.

전술한 처리 과정을 통하여 블록화 현상이 제거된 영상을 상기 외부로부터 입력된 블록 기반 부호화 영상과 합하거나 해당하는 영상을 대치하는 방식 등을 이용하여 최종적으로 블록화 현상이 제거된 영상을 획득하여 출력한다. 일예로 블록 기반 부호화 입력 영상을 버퍼링하여 둔 후에 전술한 처리 과정을 통하여 블록화 현상을 제거한 다음에, 상기 버퍼링되어 있는 영상 중 상응하는 영상을 상기 블록화 현상이 제거된 영상으로 대치하는 방식을 사용할 수 있다.Through the above-described processing, an image from which the blocking phenomenon is removed may be acquired and output by adding a block-based encoded image input from the outside or replacing a corresponding image. For example, after the block-based encoded input image is buffered, the blocking process may be removed through the above-described processing, and then a corresponding image among the buffered images may be replaced with an image from which the blocking phenomenon is removed. .

전술한 바와 같이, 본 발명에서는 블록 경계 영역에 대하여 각 블록 경계 영역의 특성에 따라 평탄한 부영역(sub-region)과 복잡한 부영역으로 분류한 후 인접 부영역의 특성에 따라 블록 경계를 분류하고, 각 블록 경계 영역의 특성, 필터링될 화소, 및 양자화 크기에 따라 적응적으로 필터링을 수행함으로써, 블록 내의 특성을 보존하면서 블록화 현상을 제거할 수 있다.As described above, in the present invention, the block boundary region is classified into flat sub-regions and complex sub-regions according to the characteristics of each block boundary region, and then the block boundary is classified according to the characteristics of adjacent sub-regions. By adaptively filtering according to the characteristics of each block boundary region, the pixels to be filtered, and the quantization size, the blocking phenomenon can be eliminated while preserving the characteristics in the block.

도 2는 본 발명에 따른 블록 경계 영역 특성을 이용한 블록화 현상 제거 방법에 대한 일실시예 흐름도이다.2 is a flowchart illustrating a method of removing a blocking phenomenon using a block boundary region characteristic according to the present invention.

먼저, 외부 기기로부터 블록 기반 부호화 영상을 입력받는다(201).First, a block-based coded image is received from an external device (201).

이후, 상기 입력받은 블록 기반 부호화 영상의 8×8 블록 경계 영역에 대하여 각 블록 경계 영역의 특성에 따라 평탄한 부영역(sub-region)과 복잡한 부영역으로 분류한 후에(202) 인접 부영역의 특성에 따라 블록 경계를 평탄 블록, 복잡 블록 및 혼합 블록으로 분류한다(203).Subsequently, after classifying the 8 × 8 block boundary region of the received block-based coded image into flat sub-regions and complex sub-regions according to the characteristics of each block boundary region (202), characteristics of adjacent sub-regions The block boundary is classified into a flat block, a complex block, and a mixed block according to the block 203.

이후, 상기 분류한 영역이 평탄 영역(평탄 블록)인지 또는 복잡 영역(복잡 블록, 혼합 블록)인지를 판단한다(204).Then, it is determined whether the classified region is a flat region (flat block) or a complex region (complex block, mixed block) (204).

상기 판단 결과(204), 평탄 영역(평탄 블록)이면 해당 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출한다(205). 이후, 상기 검출한 영역에 대하여 적응적으로 일차원 필터링을 수행하여 블록화 현상을 제거한다(206).As a result of the determination 204, if a flat area (flat block) is detected, a block boundary in which a blocking phenomenon occurs in the corresponding area is detected (205). Thereafter, the blockage phenomenon is removed by adaptively performing one-dimensional filtering on the detected region (206).

한편, 상기 판단 결과(204), 복잡 영역(혼합 블록, 복잡 블록)이면 해당 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거한다(207 내지 209). 즉, 상기 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 일차원 웨이블릿 변환을 수행하여 블록화 현상을 검출한 후에(207) 상기 검출한 블록화 현상을 연 역치화(soft-thresholding)를 이용하여 제거한 다음에(208) 상기 블록화 현상을 제거한 영상에 대하여 일차원 역 웨이블릿 변환을 수행한다(209).On the other hand, if the determination result 204, a complex region (mixed block, complex block), the blocking effect is removed by adaptively filtering the corresponding region using the wavelet transform (207 to 209). That is, after detecting a blocking phenomenon by performing one-dimensional wavelet transform on an area classified as the complex region (mixed block or complex block) (207), the detected blocking phenomenon is soft-thresholding by using soft-thresholding. After removal (208), one-dimensional inverse wavelet transform is performed on the image from which the blocking phenomenon is removed (209).

이후, 상기 블록화 현상을 제거한 각 영상과 상기 외부 기기로부터 입력받은 블록 기반 부호화 영상을 이용하여 최종적으로 블록화 현상이 제거된 영상을 획득하여 출력한다(210).Thereafter, by using each image from which the blocking phenomenon is removed and a block-based encoded image received from the external device, an image from which the blocking phenomenon is finally removed is obtained and output (210).

상기 각 동작에 대한 구체적인 실시예는 전술한 바와 같으므로 여기서는 다시 설명하지 않기로 한다.Specific embodiments of each operation are as described above, and thus will not be described herein again.

참고로 도 5 내지 도 7은 통상의 필터링 방식(엠펙-4 후처리 필터)과 본 발명에 따른 필터링 방식의 실험 결과를 나타낸 그래프로서, 도 5는 QP=12, 48Kbps, 7.5Hz로 엠펙(MPEG)-4 부호화된 CIF 크기의 홀 모니터(Hall monitor) 영상에 대한 실험 결과를 나타내고 있고, 도 6은 엠펙(MPEG)-4 부호화된 영상에 대한 실험 결과를 나타내고 있으며, 도 7은 엠펙(MPEG)-4 부호화된 영상의 첫번째 프레임에 대한 실험 결과를 나타내고 있다. 이처럼 도 5 내지 도 7에 도시된 바와 같이, 본 발명에 따른 블록화 현상 제거 방법의 성능이 통상의 방법보다 매우 우수함을 알 수 있다.For reference, FIGS. 5 to 7 are graphs showing experimental results of the conventional filtering method (MPEG-4 post-processing filter) and the filtering method according to the present invention, and FIG. 5 is an MPEG (MPEG) with QP = 12, 48 Kbps and 7.5 Hz. Experimental results are shown for the 4-4 encoded CIF sized Hall monitor image, FIG. 6 shows the experimental results for the MPEG-4 encoded image, and FIG. 7 is the MPEG. -4 shows experimental results for the first frame of the encoded image. As such, as shown in FIGS. 5 to 7, it can be seen that the performance of the blocking phenomenon removal method according to the present invention is much superior to the conventional method.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은 블록 경계 영역의 특성에 따라 적응적으로 필터링을 수행함으로써, 블록 기반 부호화 영상(예 : 엠펙-4 등)의 블록화 현상을 제거하여 압축 영상의 화질 개선에 기여할 수 있는 효과가 있다.As described above, according to the present invention, the filtering is adaptively performed according to the characteristics of the block boundary region, thereby eliminating the blocking of the block-based coded image (eg, MPEG-4), thereby contributing to the improvement of the image quality of the compressed image. have.

즉, 본 발명은 각 블록의 이산 여현 변환(DCT) 계수들을 독립적으로 양자화함으로써 블록 기반 부호화 영상이 비선형적인 특성을 나타내기 때문에 비선형 필터인 단순 적응 필터 및 웨이블릿 변환 특성을 이용하여 블록화 현상을 제거하여 영상의 화질을 개선시킬 수 있는 효과가 있다.That is, since the block-based coded image exhibits nonlinear characteristics by independently quantizing the discrete cosine transform (DCT) coefficients of each block, the present invention removes the blocking phenomenon by using a simple adaptive filter and a wavelet transform characteristic, which are nonlinear filters. There is an effect that can improve the image quality of the image.

즉, 본 발명은 엠펙(MPEG)-4 등과 같은 저 비트율 블록 기반 동영상 부호화 방식이 사용되는 디지털 영상 기기에서 블록화 현상을 제거함으로써, 압축 영상의 화질 개선에 기여할 수 있는 효과가 있다.That is, the present invention has an effect that can contribute to the improvement of the quality of a compressed image by removing the blocking phenomenon in a digital video apparatus using a low bit rate block-based video encoding method such as MPEG-4.

Claims (16)

블록화 현상 제거 장치에 있어서,In the blocking phenomenon removal device, 외부 기기로부터 블록 기반 부호화 영상을 입력받기 위한 블록 기반 부호화 영상 입력 수단;Block-based encoded image input means for receiving a block-based encoded image from an external device; 상기 블록 기반 부호화 영상 입력 수단으로부터의 블록 기반 부호화 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성과 인접 부영역의 특성에 따라 블록 경계를 분류하기 위한 블록 경계 분류 수단;Block boundary classification means for classifying block boundaries with respect to block boundary regions of the block-based encoded image input from the block-based encoded image input means according to characteristics of each block boundary region and characteristics of adjacent subregions; 상기 블록 경계 분류 수단에서 평탄 영역(평탄 블록)으로 분류한 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출하기 위한 블록화 현상 검출 수단;Blocking phenomenon detection means for detecting a block boundary in which a blocking phenomenon occurs in an area classified by the block boundary classification means into a flat area (flat block); 상기 블록화 현상 검출 수단에서 검출한 영역에 대하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 필터링 수단;Filtering means for adaptively performing filtering on the area detected by the blocking phenomenon detecting means to remove the blocking phenomenon; 상기 블록 경계 분류 수단에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 웨이블릿 변환을 이용한 필터링 수단; 및A filtering means using a wavelet transform for adaptively performing filtering on a region classified into a complex region (a mixed block or a complex block) by the block boundary classification means to remove a blocking phenomenon; And 상기 필터링 수단 및 상기 웨이블릿 변환을 이용한 필터링 수단에서 블록화 현상을 제거한 영상과 상기 외부 기기로부터 입력되는 블록 기반 부호화 영상을 이용하여 블록화 현상이 제거된 영상을 획득하여 출력하기 위한 영상 획득 수단Image acquisition means for acquiring and outputting an image from which the blocking phenomenon is removed by using the image from which the blocking phenomenon is removed by the filtering means and the filtering means using the wavelet transform and a block-based encoded image input from the external device. 을 포함하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.Blocking phenomenon removal device using a block boundary region characteristics comprising a. 제 1 항에 있어서,The method of claim 1, 상기 블록 경계 분류 수단은,The block boundary classification means, 상기 블록 기반 부호화 영상 입력 수단으로부터의 블록 기반 부호화 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성에 따라 평탄한 부영역(sub-region)과 복잡한 부영역으로 분류한 후에 인접 부영역의 특성에 따라 블록 경계를 평탄 블록, 복잡 블록 및 혼합 블록으로 분류하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.The block boundary region of the block-based encoded image input means from the block-based encoded image input unit is classified into flat sub-regions and complex sub-regions according to the characteristics of each block boundary region, and according to the characteristics of the adjacent sub-regions. Blocking phenomenon removal apparatus using the block boundary region characteristics, characterized in that the block boundaries are classified into flat blocks, complex blocks, and mixed blocks. 제 2 항에 있어서,The method of claim 2, 상기 블록 경계 분류 수단은,The block boundary classification means, 각 블록 경계 영역의 부영역에 대한 분산을 구한 후에, 각 분산값을 제 1 문턱치와 비교하여 분산값이 작으면 인접 블록의 특성이 서로 유사하다고 판단하여 평탄한 부영역으로 분류하고, 두 값이 같거나 분산값이 크면 복잡한 부영역으로 분류한 다음에, 인접 부영역이 모두 평탄 부영역인 경우에는 평탄 블록, 인접 부영역이 모두 복잡한 부영역인 경우에는 복잡 블록, 인접 부영역이 서로 다른 부영역인 경우에는 혼합 블록으로 분류하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.After calculating the variance of the subregions of each block boundary region, if the variance is small compared with the first threshold value, it is determined that the characteristics of the adjacent blocks are similar to each other and classified into flat subregions. In addition, if the variance value is large, it is classified into a complex subregion. Then, if all of the adjacent subregions are all flat subregions, the flat block is different. In the case of, the blocking phenomenon removal apparatus using the block boundary region characteristic, characterized in that classified as a mixed block. 제 3 항에 있어서,The method of claim 3, wherein 상기 제 1 문턱치는,The first threshold is, 0.5×QP(양자화 파라미터)를 이용하여 결정한 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.Blocking phenomenon removal apparatus using the block boundary area characteristic characterized in that determined using 0.5 × QP (quantization parameter). 제 2 항에 있어서,The method of claim 2, 상기 블록화 현상 검출 수단은,The blocking phenomenon detection means, 상기 블록 경계 분류 수단에서 평탄 영역(평탄 블록)으로 분류한 영역에 대하여 블록 경계 영역의 두 화소값의 차의 절대치를 제 2 문턱치와 비교하여 두 값이 같거나 절대치가 크면 인접 블록간의 화소값의 밝기 차가 크다고 판단하여 블록화 현상이 발생한 블록 경계로 결정하고, 절대치가 작으면 블록화 현상이 발생하지 않은 블록 경계로 결정하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.The absolute value of the difference between the two pixel values of the block boundary area is compared with the second threshold for the area classified as the flat area (flat block) by the block boundary classification means. Blocking phenomenon removal apparatus using the block boundary region characteristics characterized in that it is determined that the difference in brightness is large, the block boundary in which the block phenomenon occurs, and if the absolute value is small, the block boundary in which the block phenomenon does not occur. 제 5 항에 있어서,The method of claim 5, 상기 제 2 문턱치는,The second threshold is 중간 밝기 값, 즉 인간의 시각이 판단할 수 있는 휘도 변화량 및 필터링 수 행시의 계산량을 고려하여 결정한 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.An apparatus for removing blocking phenomenon using a block boundary region characteristic, which is determined in consideration of an intermediate brightness value, that is, a luminance change that can be judged by human vision and a calculation amount when performing filtering. 제 5 항에 있어서,The method of claim 5, 상기 필터링 수단은,The filtering means, 평탄 영역에서의 블록화 현상이 계단 함수 형태로 나타남에 따라, 블록화 강도를 이용하여 블록 경계 영역에 인접한 화소값을 조정하여 블록 경계 영역에서의 화소값의 불연속성을 줄여 블록화 현상을 제거하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.As the blocking phenomenon in the flat region appears as a step function, the blocking value is removed by adjusting the pixel value adjacent to the block boundary region by using the block strength to reduce the discontinuity of the pixel value in the block boundary region. Blocking phenomenon removal device using block boundary region characteristics. 제 7 항에 있어서,The method of claim 7, wherein 상기 필터링 수단은,The filtering means, 블록화 강도에 따른 적응적 일차원 필터링을 아래의 (수학식)과 같이 수행하여 블록화 현상을 제거하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.Blocking phenomenon removal apparatus using the block boundary region characteristics, characterized in that to remove the blocking phenomenon by performing the adaptive one-dimensional filtering according to the block strength as shown in the following equation. (수학식)(Mathematical formula)
Figure 112006072555969-pat00008
Figure 112006072555969-pat00008
(여기서,
Figure 112006072555969-pat00009
이고,
Figure 112006072555969-pat00010
는 블록화 강도임.)
(here,
Figure 112006072555969-pat00009
ego,
Figure 112006072555969-pat00010
Is the blocking strength.)
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 8, 상기 웨이블릿 변환을 이용한 필터링 수단은,The filtering means using the wavelet transform, 상기 블록 경계 분류 수단에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 일차원 웨이블릿 변환을 수행하여 블록화 현상을 검출하기 위한 일차원 웨이블릿 변환부;A one-dimensional wavelet transform unit for detecting a blocking phenomenon by performing one-dimensional wavelet transform on a region classified into a complex region (mixed block or complex block) by the block boundary classification unit; 상기 일차원 웨이블릿 변환부에서 검출한 블록화 현상을 연 역치화(soft-thresholding)를 이용하여 제거하기 위한 연 역치화부; 및A deductive unit for removing the blocking phenomenon detected by the one-dimensional wavelet transform unit using soft-thresholding; And 상기 연 역치화부에서 블록화 현상을 제거한 영상에 대하여 일차원 역 웨이블릿 변환을 수행하여 블록화 현상이 제거된 영상을 상기 영상 획득 수단으로 전달하기 위한 일차원 역 웨이블릿 변환부One-dimensional inverse wavelet transform unit for performing one-dimensional inverse wavelet transform on the image from which the blocking phenomenon is removed by the de-quantizer and transferring the removed image to the image acquisition means. 를 포함하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.Blocking phenomenon removal device using a block boundary region characteristics comprising a. 제 9 항에 있어서,The method of claim 9, 상기 일차원 웨이블릿 변환부는,The one-dimensional wavelet transform unit, 블록화 현상 및 실제 에지와 같은 특이점들(singular points)이 첫 번째 스케일 상의 웨이블릿 변환 영역에서 국부 계수 최대치(local modulus maxima)로 나 타남에 따라, 첫 번째 스케일 상의 국부 계수 최대치들의 리피츠 정칙을 해석하여 블록화 현상을 검출하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.As singular points, such as blocking and actual edges, appear as local modulus maxima in the wavelet transform region on the first scale, we interpret the Repeats rule of the local coefficient maximums on the first scale. Blocking phenomenon removal apparatus using the block boundary region characteristics characterized in that the detection of the blocking phenomenon. 제 10 항에 있어서,The method of claim 10, 상기 연 역치화부는,The annual threshold unit, 블록화 현상과 같은 구조를 가지는 특이점들은 원추영향(cone of influence) 범위 내의 웨이블릿 변환 계수값들이 스케일이 증가할수록 크기가 감소하여 음의 실수값인 리피츠 정칙 상수를 가짐에 따라, 리피츠 정칙 상수가 음의 실수값을 가지는 웨이블릿 변환 계수값들을 인접한 계수 분포에 따라 적응적으로 제거하여 블록화 현상을 제거하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.Singular points with the same structure as the blocking phenomenon have a repeating constant constant as the wavelet transform coefficient values within the cone of influence range decrease as the scale increases and have a negative real value, the Repeats constant. Blocking phenomenon removal apparatus using a block boundary region feature characterized in that the blocklet phenomenon is removed by adaptively removing wavelet transform coefficient values having negative real values according to adjacent coefficient distributions. 제 11 항에 있어서,The method of claim 11, 상기 연 역치화부는,The annual threshold unit, 음의 리피츠 정칙 상수값을 가지는 웨이블릿 계수들에 대하여 첫 번째 스케일 상에서 연 역치화(soft-thresholding)를 이용하여 아래의 (수학식)과 같이 제거하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.Blocking using block boundary region characteristics, which removes wavelet coefficients with negative repeating constants on the first scale using soft-thresholding as shown in Equation below. Phenomenon removal device. (수학식)(Mathematical formula)
Figure 112006072555969-pat00011
Figure 112006072555969-pat00011
(여기서,
Figure 112006072555969-pat00012
,
Figure 112006072555969-pat00013
는 입력영상,
Figure 112006072555969-pat00014
는 첫 번째 스케일 상의 웨이블릿 계수를 나타냄.)
(here,
Figure 112006072555969-pat00012
,
Figure 112006072555969-pat00013
Is the input image,
Figure 112006072555969-pat00014
Denotes the wavelet coefficient on the first scale.)
제 12 항에 있어서,The method of claim 12, 상기 연 역치화부는,The annual threshold unit, 블록 경계 영역의 웨이블릿 계수뿐만 아니라 블록 내부의 웨이블릿 계수에 대해서도 연 역치화를 수행하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.A deblocking phenomenon using block boundary region characteristics, characterized in that it deducts not only the wavelet coefficients of the block boundary region but also the wavelet coefficients inside the block. 블록화 현상 제거 방법에 있어서,In the blocking phenomenon removal method, 블록 기반 부호화 입력 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성과 인접 부영역의 특성에 따라 블록 경계를 분류하기 위한 블록 경계 분류 단계;A block boundary classification step for classifying a block boundary with respect to a block boundary region of a block-based encoded input image according to characteristics of each block boundary region and characteristics of an adjacent subregion; 상기 분류한 영역이 평탄 영역(평탄 블록)인지 또는 복잡 영역(복잡 블록, 혼합 블록)인지를 판단하는 단계;Determining whether the classified region is a flat region (flat block) or a complex region (complex block, mixed block); 상기 판단 결과, 평탄 영역(평탄 블록)이면 해당 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출한 후에, 상기 검출한 영역에 대하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하는 제 1 블록화 현상 제거 단계;As a result of the determination, in the case of a flat region (flat block), after detecting a block boundary in which a blocking phenomenon occurs in the corresponding region, the first blocking phenomenon removing step of adaptively filtering the detected region to remove the blocking phenomenon ; 상기 판단 결과, 상기 복잡 영역(혼합 블록, 복잡 블록)이면 해당 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하는 제 2 블록화 현상 제거 단계; 및 If it is determined that the complex region (mixed block or complex block) is removed, a second blocking phenomenon is removed by adaptively performing a filtering on the corresponding region using a wavelet transform; And 상기 블록화 현상을 제거한 각 영상과 상기 블록 기반 부호화 입력 영상을 이용하여 블록화 현상이 제거된 영상을 획득하는 단계Acquiring an image from which the blocking phenomenon is removed by using the respective images from which the blocking phenomenon is removed and the block-based encoded input image. 를 포함하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 방법.Blocking phenomenon removal method using a block boundary region characteristics comprising a. 제 14 항에 있어서,The method of claim 14, 상기 블록 분류 단계는,The block classification step, 상기 블록 기반 부호화 입력 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성에 따라 평탄한 부영역(sub-region)과 복잡한 부영역으로 분류하는 단계; 및Classifying a block boundary region of the block-based coded input image into flat sub-regions and complex sub-regions according to characteristics of each block boundary region; And 해당 부영역에 인접한 부영역의 특성에 따라 블록 경계를 평탄 블록, 복잡 블록 및 혼합 블록으로 분류하는 단계Classifying block boundaries into flat blocks, complex blocks, and mixed blocks according to characteristics of subregions adjacent to the subregion; 를 포함하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 방법.Blocking phenomenon removal method using a block boundary region characteristics comprising a. 제 14 항 또는 제 15 항에 있어서,The method according to claim 14 or 15, 상기 제 2 블록화 현상 제거 단계는,The second blocking phenomenon removing step, 상기 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 일차원 웨이블릿 변환을 수행하여 블록화 현상을 검출하는 단계;Detecting a blocking phenomenon by performing one-dimensional wavelet transform on the region classified into the complex region (mixed block or complex block); 상기 검출한 블록화 현상을 연 역치화(soft-thresholding)를 이용하여 제거하는 단계; 및Removing the detected blocking phenomenon by soft-thresholding; And 상기 연 역치화를 이용하여 블록화 현상을 제거한 영상에 대하여 일차원 역 웨이블릿 변환을 수행하는 단계Performing one-dimensional inverse wavelet transform on the image from which the blocking phenomenon is removed by using the de-quantization; 를 포함하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 방법.Blocking phenomenon removal method using a block boundary region characteristics comprising a.
KR1020050013689A 2004-12-02 2005-02-18 Blocking artifacts reduction apparatus and method using the characteristics of block boundary area KR100669905B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040100654 2004-12-02
KR20040100654 2004-12-02

Publications (2)

Publication Number Publication Date
KR20060061741A KR20060061741A (en) 2006-06-08
KR100669905B1 true KR100669905B1 (en) 2007-01-16

Family

ID=37158124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050013689A KR100669905B1 (en) 2004-12-02 2005-02-18 Blocking artifacts reduction apparatus and method using the characteristics of block boundary area

Country Status (1)

Country Link
KR (1) KR100669905B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101001676B1 (en) 2009-04-27 2010-12-15 전남대학교산학협력단 Edge-protection deblocking filter using pixel classifing
KR101004612B1 (en) * 2007-12-06 2010-12-28 중앙대학교 산학협력단 Apparatus for post-filtering of DCT coded image and method using the same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843100B1 (en) * 2007-02-07 2008-07-03 삼성전자주식회사 Method and apparatus for reducing block noises of digital image, and encoder/decoder using the same
KR100950969B1 (en) * 2008-01-21 2010-04-02 한양대학교 산학협력단 System for eliminating blocking effect in image and Method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298898A (en) 1998-04-16 1999-10-29 Victor Co Of Japan Ltd Block distortion reduction circuit
KR20000033705A (en) * 1998-11-25 2000-06-15 윤종용 Blocking artifact removing method and device
KR20020057526A (en) * 2001-01-05 2002-07-11 엘지전자 주식회사 Method for interpolating image
JP2003299086A (en) 2002-03-29 2003-10-17 Toshiba Corp Motion image decoding apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298898A (en) 1998-04-16 1999-10-29 Victor Co Of Japan Ltd Block distortion reduction circuit
KR20000033705A (en) * 1998-11-25 2000-06-15 윤종용 Blocking artifact removing method and device
KR20020057526A (en) * 2001-01-05 2002-07-11 엘지전자 주식회사 Method for interpolating image
JP2003299086A (en) 2002-03-29 2003-10-17 Toshiba Corp Motion image decoding apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004612B1 (en) * 2007-12-06 2010-12-28 중앙대학교 산학협력단 Apparatus for post-filtering of DCT coded image and method using the same
KR101001676B1 (en) 2009-04-27 2010-12-15 전남대학교산학협력단 Edge-protection deblocking filter using pixel classifing

Also Published As

Publication number Publication date
KR20060061741A (en) 2006-06-08

Similar Documents

Publication Publication Date Title
Marziliano et al. Perceptual blur and ringing metrics: application to JPEG2000
RU2461977C2 (en) Compression and decompression of images
US7957467B2 (en) Content-adaptive block artifact removal in spatial domain
JP2005166021A (en) Method for classifying pixel in image
Kong et al. Edge map guided adaptive post-filter for blocking and ringing artifacts removal
Vidal et al. New adaptive filters as perceptual preprocessing for rate-quality performance optimization of video coding
KR100669905B1 (en) Blocking artifacts reduction apparatus and method using the characteristics of block boundary area
JP2006148878A (en) Method for classifying pixels in image
Zhang et al. Compression artifact reduction with adaptive bilateral filtering
Shao et al. Coding artifact reduction based on local entropy analysis
Shao et al. Quality adaptive least squares trained filters for video compression artifacts removal using a no-reference block visibility metric
Bennet et al. Performance and analysis of hybrid algorithm for blocking and ringing artifact reduction
JP2005318614A (en) Method for reducing artifact in input image
Shen et al. Fast compression artifact reduction technique based on nonlinear filtering
JP4065287B2 (en) Method and apparatus for removing noise from image data
Võ et al. Localized filtering for artifact removal in compressed images
Yoo et al. Blind post-processing for ringing and mosquito artifact reduction in coded videos
Del Corso et al. MNR: A novel approach to correct MPEG temporal distortions
KR100772402B1 (en) Content-adaptive blocking artifact removal in spatial domain
US20100002147A1 (en) Method for improving the deringing filter
Oizumi Preprocessing method for DCT-based image-compression
Li et al. An adaptive preprocessing algorithm for low bitrate video coding
Võ et al. Spatio-temporal fuzzy filtering for coding artifacts reduction
Skocir et al. A three-dimensional extension of the SUSAN filter for wavelet video coding artifact removal
Yang et al. A non-linear post filtering method for flicker reduction in H. 264/AVC coded video sequences

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee