KR20060061741A - 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및그 방법 - Google Patents

블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및그 방법 Download PDF

Info

Publication number
KR20060061741A
KR20060061741A KR1020050013689A KR20050013689A KR20060061741A KR 20060061741 A KR20060061741 A KR 20060061741A KR 1020050013689 A KR1020050013689 A KR 1020050013689A KR 20050013689 A KR20050013689 A KR 20050013689A KR 20060061741 A KR20060061741 A KR 20060061741A
Authority
KR
South Korea
Prior art keywords
block
blocking phenomenon
block boundary
region
blocking
Prior art date
Application number
KR1020050013689A
Other languages
English (en)
Other versions
KR100669905B1 (ko
Inventor
권기구
임동선
임성호
박태준
양만석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20060061741A publication Critical patent/KR20060061741A/ko
Application granted granted Critical
Publication of KR100669905B1 publication Critical patent/KR100669905B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 블록 경계 영역의 특성에 따라 적응적으로 필터링을 수행함으로써, 블록 기반 부호화 영상(예 : 엠펙-4 등)의 블록화 현상을 제거하여 영상의 화질을 개선하기 위한 블록화 현상 제거 장치 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 블록화 현상 제거 장치에 있어서, 외부 기기로부터 블록 기반 부호화 영상을 입력받기 위한 블록 기반 부호화 영상 입력 수단; 상기 블록 기반 부호화 영상 입력 수단으로부터의 블록 기반 부호화 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성과 인접 부영역의 특성에 따라 블록 경계를 분류하기 위한 블록 경계 분류 수단; 상기 블록 경계 분류 수단에서 평탄 영역(평탄 블록)으로 분류한 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출하기 위한 블록화 현상 검출 수단; 상기 블록화 현상 검출 수단에서 검출한 영역에 대하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 필터링 수단; 상기 블록 경계 분류 수단에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 웨이블릿 변환을 이용한 필터링 수단; 및 상기 필터링 수단 및 상기 웨이블릿 변환을 이용한 필터링 수단에서 블록화 현상을 제거한 영상과 상기 외부 기기로부터 입력되는 블록 기반 부호화 영상을 이용하여 블록화 현상이 제거된 영상을 획득하여 출력하기 위한 영상 획득 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 엠펙(MPEG)-4 등과 같은 블록 기반 부호화 방식이 사용되는 디지털 영상 기기 등에 이용됨.
블록화 현상 제거, 블록 경계 분류, 적응적 필터링, 웨이블릿 변환, 연 역치화

Description

블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및 그 방법{Blocking artifacts reduction apparatus and method using the characteristics of block boundary area}
도 1은 본 발명에 따른 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치의 일실시예 구성도,
도 2는 본 발명에 따른 블록 경계 영역 특성을 이용한 블록화 현상 제거 방법에 대한 일실시예 흐름도,
도 3은 블록 경계 영역 분류 및 평탄 영역 필터링을 위한 화소들을 예시한 도면,
도 4는 블록화 현상 검출 과정에 사용되는 웨버 법칙을 나타내는 도면,
도 5는 QP=12, 48Kbps, 7.5Hz로 엠펙(MPEG)-4 부호화된 CIF 크기의 홀 모니터(Hall monitor) 영상에 대한 실험 결과를 나타내는 도면,
도 6은 엠펙(MPEG)-4 부호화된 영상에 대한 실험 결과를 나타내는 도면,
도 7은 엠펙(MPEG)-4 부호화된 영상의 첫번째 프레임에 대한 실험 결과를 나타내는 도면이다.
* 도면의 주요 부분에 대한 부호의 설명
110 : 블록 기반 부호화 영상 입력부 120 : 블록 경계 분류부
130 : 블록화 현상 판별부 140 : 일차원 필터링부
150 : 웨이블릿 변환을 이용한 필터링부 151 : 일차원 웨이블릿 변환부
152 : 연 역치화부 153 : 일차원 역 웨이블릿 변환부
160 : 영상 획득부
본 발명은 엠펙(MPEG)-4 등과 같은 저 비트율 블록 기반 동영상 부호화 방식이 사용되는 디지털 영상 기기 등에서 블록화 현상을 제거하기 위한 블록화 현상 제거 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 블록 기반 이산 여현 변환(BDCT : Block-based Discrete Cosine Transform)을 이용한 저 비트율 동영상 부호화 기술분야 등에서 블록 경계 영역 특성을 이용하여 블록화 현상을 제거하기 위한 블록화 현상 제거 장치 및 그 방법에 관한 것이다.
일반적으로 정지 영상 및 동영상 등의 정보를 포함한 다양한 멀티미디어 서비스가 제공되기 시작하면서 영상 데이터의 압축은 멀티미디어 통신, 디지털 티브이(TV), 주문형 비디오(VOD : Video On Demand), 및 영상 회의 등의 다양한 응용 분야에서 필수적으로 사용되고 있다. 특히, 높은 에너지 압축 및 빠른 계산이 가능 한 블록 기반 이산 여현 변환(BDCT)을 이용한 영상 압축 방법은 제이펙(JPEG), H.261, H.263, 엠펙(MPEG)-2, 및 엠펙(MPEG)-4 등의 정지 영상 및 동영상 부호화 방법에서 공통적으로 이용되고 있다.
그러나 블록 기반 이산 여현 변환(BDCT) 부호화 방법에서는 영상을 8×8 화소 크기의 블록으로 분할한 후, 각 블록의 이산 여현 변환(DCT) 계수들을 독립적으로 양자화(quantization)함으로써 화질의 열화가 발생될 수 있고, 특히 저 비트율(low bit rate)로 부호화된 영상에서는 블록 경계 영역에 심각한 화질 열화인 블록화 현상(blocking artifacts)이 발생되게 된다.
최근에, 이와 같은 블록화 현상을 효율적으로 제거하기 위한 많은 후처리(post-processing) 방법들이 연구되고 있는데, 이 방법들은 크게 영상 향상 방법 및 영상 복원 방법으로 나눌 수 있다. 상기 영상 향상 방법에는 공간 영역에서의 필터링 방법, 주파수 영역에서 이산 여현 변환(DCT) 계수들을 추정하는 방법, 및 웨이블릿 변환을 이용하는 방법 등이 있다. 그리고 상기 영상 복원 방법에는 제약적 최소 자승(CLS : Constrained Least-Square) 방법, 볼록 집합으로의 반복 투영(POCS : Projection Onto Convex Set) 이론을 이용한 방법, 및 최대 사후 확률(MAP : Maximum A Posteriori) 방법 등이 있다.
이와 같은 방법들 중에서 영상 복원 방법은 반복 계산 과정을 거쳐야 하기 때문에 수행 시간이 길어지는 단점이 있고, 웨이블릿 변환을 이용한 방법은 성능은 우수하지만 웨이블릿 변환 및 웨이블릿 역 변환을 위한 추가적인 계산이 필요하기 때문에 수행 시간이 길어지는 단점이 있다.
상술한 바와 같이 웨이블릿 변환을 이용한 블록화 현상 제거 방법은 성능은 우수하지만 계산 과정이 복잡한 문제점이 있다. 따라서 기존의 방법들이 가지는 이러한 문제점들을 보완하기 위하여 본 발명에서는 새로운 블록화 현상 제거 장치 및 그 방법을 제안하고자 한다.
즉, 본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 블록 경계 영역의 특성에 따라 적응적으로 필터링을 수행함으로써, 블록 기반 부호화 영상(예 : 엠펙-4 등)의 블록화 현상을 제거하여 영상의 화질을 개선하기 위한 블록화 현상 제거 장치 및 그 방법을 제공하는데 그 목적이 있다.
즉, 본 발명은 각 블록의 이산 여현 변환(DCT) 계수들을 독립적으로 양자화함으로써 블록 기반 부호화 영상이 비선형적인 특성을 나타내기 때문에 비선형 필터인 단순 적응 필터 및 웨이블릿 변환 특성을 이용하여 블록화 현상을 제거하여 영상의 화질을 개선하기 위한 블록화 현상 제거 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시 예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 블록화 현상 제거 장치에 있어서, 외부 기기로부터 블록 기반 부호화 영상을 입력받기 위한 블록 기반 부호화 영상 입력 수단; 상기 블록 기반 부호화 영상 입력 수단으로부터의 블록 기반 부호화 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성과 인접 부영역의 특성에 따라 블록 경계를 분류하기 위한 블록 경계 분류 수단; 상기 블록 경계 분류 수단에서 평탄 영역(평탄 블록)으로 분류한 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출하기 위한 블록화 현상 검출 수단; 상기 블록화 현상 검출 수단에서 검출한 영역에 대하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 필터링 수단; 상기 블록 경계 분류 수단에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 웨이블릿 변환을 이용한 필터링 수단; 및 상기 필터링 수단 및 상기 웨이블릿 변환을 이용한 필터링 수단에서 블록화 현상을 제거한 영상과 상기 외부 기기로부터 입력되는 블록 기반 부호화 영상을 이용하여 블록화 현상이 제거된 영상을 획득하여 출력하기 위한 영상 획득 수단을 포함하는 것을 특징으로 한다.
한편, 본 발명의 방법은, 블록화 현상 제거 방법에 있어서, 블록 기반 부호화 입력 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성과 인접 부영역의 특성에 따라 블록 경계를 분류하기 위한 블록 경계 분류 단계; 상기 분류한 영역이 평탄 영역(평탄 블록)인지 또는 복잡 영역(복잡 블록, 혼합 블록)인지를 판단 하는 단계; 상기 판단 결과, 평탄 영역(평탄 블록)이면 해당 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출한 후에, 상기 검출한 영역에 대하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하는 제 1 블록화 현상 제거 단계; 상기 판단 결과, 상기 복잡 영역(혼합 블록, 복잡 블록)이면 해당 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하는 제 2 블록화 현상 제거 단계; 및 상기 블록화 현상을 제거한 각 영상과 상기 블록 기반 부호화 입력 영상을 이용하여 블록화 현상이 제거된 영상을 획득하는 단계를 포함하는 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시 예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치는, 외부 기기로부터 블록 기반 부호화 영상을 입력받기 위한 블록 기반 부호화 영상 입력부(110), 상기 블록 기반 부호화 영상 입력부(110)로부 터의 블록 기반 부호화 영상의 8×8 블록 경계 영역에 대하여 각 블록 경계 영역의 특성에 따라 평탄한 부영역(sub-region)과 복잡한 부영역으로 분류한 후에 인접 부영역의 특성에 따라 블록 경계를 평탄 블록, 복잡 블록 및 혼합 블록으로 분류하기 위한 블록 경계 분류부(120), 상기 블록 경계 분류부(120)에서 평탄 영역(평탄 블록)으로 분류한 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출하기 위한 블록화 현상 검출부(130), 상기 블록화 현상 검출부(130)에서 검출한 영역에 대하여 적응적으로 일차원 필터링을 수행하여 블록화 현상을 제거하기 위한 일차원 필터링부(140), 상기 블록 경계 분류부(120)에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 웨이블릿 변환을 이용한 필터링부(150), 및 상기 일차원 필터링부(140) 및 상기 웨이블릿 변환을 이용한 필터링부(150)에서 블록화 현상을 제거한 영상과 상기 외부 기기로부터 입력되는 블록 기반 부호화 영상을 이용하여 최종적으로 블록화 현상이 제거된 영상을 획득하여 출력하기 위한 영상 획득부(160)를 포함한다.
여기서, 상기 웨이블릿 변환을 이용한 필터링부(150)는, 상기 블록 경계 분류부(120)에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 일차원 웨이블릿 변환을 수행하여 블록화 현상을 검출하기 위한 일차원 웨이블릿 변환부(151), 상기 일차원 웨이블릿 변환부(151)에서 검출한 블록화 현상을 연 역치화(soft-thresholding)를 이용하여 제거하기 위한 연 역치화부(152), 및 상기 연 역치화부(152)에서 블록화 현상을 제거한 영상에 대하여 일차원 역 웨이블릿 변환을 수행하여 블록화 현상이 제거된 영상을 상기 영상 획득부(160)로 전달하기 위한 일차원 역 웨이블릿 변환부(153)를 포함한다.
상기 각 구성요소의 동작 및 구체적인 실시예를 상세히 살펴보면 다음과 같다.
일반적으로 블록화 현상은 영상의 복잡 영역에서보다 평탄 영역에서 더 심각하게 나타난다. 따라서 두 영역에 대하여 동일한 필터링 방법을 사용하게 되면 블록화 현상을 효율적으로 제거할 수 없다. 따라서 블록 경계 영역에 발생되는 블록화 현상을 효율적으로 제거하기 위해서는 정확한 블록 경계 영역 분류가 필수적이다. 또한 평탄 블록 경계 영역 중 블록화 현상이 발생하지 않은 영역도 존재하기 때문에 계산량을 줄이기 위하여 평탄 영역 중 블록화 현상이 발생한 영역만을 검출하여 필터링을 수행하여야 한다.
본 발명에서는 일예로 8×8 블록 경계 영역의 8개 화소값의 통계적 특성을 이용하여 블록 경계 분류를 수행하고, 평탄 블록으로 분류된 블록 경계에 대하여 블록화 현상의 발생 유무를 판별한다. 먼저 도 3에 도시된 바와 같이, 블록 경계 영역의 부영역 S1 및 S2 각각에 대한 분산을 구한다. 그리고 두 분산값을 문턱치 T1과 비교하여 분산값이 작으면 인접 블록의 특성이 서로 유사하다고 판단되기 때문에 평탄한 부영역으로 분류하고, 두 값이 같거나 분산값이 크면 복잡한 부영역으로 분류한다. 이후에, 인접 부영역이 모두 평탄 부영역인 경우에는 평탄 블록, 인접 부영역이 모두 복잡한 부영역인 경우에는 복잡 블록, 그리고 인접 부영역이 서로 다른 부영역인 경우에는 혼합 블록으로 분류한다.
이후, 평탄 영역으로 분류된 영역에 대하여 블록 경계 영역의 두 화소값의 차의 절대치를 문턱치 T2와 비교하여 두 값이 같거나 절대치가 크면 인접 블록간의 화소값의 밝기 차가 크다고 판단되기 때문에 블록화 현상이 발생한 블록 경계로 판단하고, 절대치가 작으면 블록화 현상이 발생하지 않은 블록 경계로 판단한다. 이 때, 상기 블록 경계 영역 분류 과정에서는 일예로 T1=0.5×QP을 사용하였다. 즉, 문턱치 T1은 양자화 파라미터 QP를 이용하여 결정하였다. 일반적으로 밝은 영역에서는 명암의 변별 능력이 우수하나 아주 어두운 곳에서는 명암의 변별 능력이 다소 떨어진다. 그러나 일상 생활에서의 밝기 범위인 10~1000 cd/m2에서 배경 휘도 L에 대한 휘도차 변별 최소 휘도 변화량 ΔL의 비는 약 2% 정도로 일정하다. 이를 웨버 법칙(Weber's law)이라고 한다. 이 웨버 법칙은 도 4에 도시된 바와 같다. 그리고 상기 블록 경계 영역 분류 과정에서 사용한 문턱치 T2는 평탄 영역에서의 블록화 현상 발생 유무를 판단하는데 사용되는데, 본 발명에서는 일예로 중간 정도의 밝기 값, 즉 8비트 영상에서 밝기값 127을 가지는 경우 인간의 시각이 판단할 수 있는 휘도 변화량 및 필터링 수행시의 계산량 등을 고려하여 결정하였다.
그리고, 평탄 영역에서 발생하는 블록화 현상은 계단 함수 형태로 나타나기 때문에, 본 발명에서는 평탄 영역으로 분류된 영역 중 블록화 현상이 발생한 영역은 블록 경계 영역에 인접한 8개 화소(예 : 좌·우 각 4개씩의 화소)에 대하여 블록화 강도에 따른 적응적 일차원 필터링을 수행하여 블록화 현상을 제거한다. 이 때, 필터링 결과값은
Figure 112005008756274-PAT00001
과 같이 얻을 수 있다. 여기서,
Figure 112005008756274-PAT00002
이고,
Figure 112005008756274-PAT00003
는 블록화 강도를 나타내는데, 그 값은 일예로 도 3에 도시된 (p3-p4)의 절대치이다. 이처럼 본 발명에서는, 평탄 영역에서의 블록화 현상이 계단 함수 형태로 나타나기 때문에, 블록화 강도를 이용하여 블록 경계 영역에 인접한 8개의 화소값을 조정함으로써 블록화 현상을 제거한다. 즉, 본 발명은 블록 경계 영역에서의 화소값의 불연속성을 줄여줌으로써 블록화 현상을 제거할 수 있다.
한편, 복잡 영역에서 발생하는 블록화 현상은 말랏(Mallat) 등이 제안한 웨이블릿 변환을 이용한 리피츠 정칙(lipschitz regularity) 이론을 이용하여 제거한다. 블록화 현상 및 실제 에지와 같은 특이점들(singular points)은 첫 번째 스케일 상의 웨이블릿 변환 영역에서 국부 계수 최대치(local modulus maxima)로 나타난다. 본 발명에서는 첫 번째 스케일 상의 국부 계수 최대치들의 리피츠 정칙을 해석함으로써, 상기 두 가지 구조를 가지는 블록화 현상과 실제 에지를 구분한다. 이 때, 상기 리피츠 정칙 이론에 근거하여 블록화 현상과 같은 구조를 가지는 특이점들은 원추영향(cone of influence) 범위 내의 웨이블릿 변환 계수값들이 스케일이 증가할수록 크기가 감소하여, 음의 실수값인 리피츠 정칙 상수를 가짐을 확인하였다. 그러므로 리피츠 정칙 상수가 음의 실수값을 가지는 웨이블릿 변환 계수값들을 인접한 계수 분포에 따라 적응적으로 제거함으로써, 실제 에지의 몽롱화(블러링) 없이 블록화 현상만을 효과적으로 제거할 수 있다. 즉, 음의 리피츠 정칙 상수값을 가지는 웨이블릿 계수들에 대하여 첫 번째 스케일 상에서 연 역치화(soft- thresholding)를 이용하여
Figure 112005008756274-PAT00004
와 같이 제거한다. 여기서,
Figure 112005008756274-PAT00005
,
Figure 112005008756274-PAT00006
는 입력영상,
Figure 112005008756274-PAT00007
는 첫 번째 스케일 상의 웨이블릿 계수를 나타낸다. 그리고 수직 블록 경계에서도 전술한 수평 블록 경계에서의 블록화 현상 제거 방식과 같은 방식으로 제거한다.
그리고 혼합 영역의 경우에는 블록 경계 영역의 블록화 현상뿐만 아니라 블록 내부에 링잉 현상 등과 같은 잡음이 존재한다. 따라서 블록 경계 영역의 웨이블릿 계수뿐만 아니라 블록 내부의 웨이블릿 계수들도 복잡 영역에서 수행한 방식과 유사한 방식으로 처리한다.
전술한 처리 과정을 통하여 블록화 현상이 제거된 영상을 상기 외부로부터 입력된 블록 기반 부호화 영상과 합하거나 해당하는 영상을 대치하는 방식 등을 이용하여 최종적으로 블록화 현상이 제거된 영상을 획득하여 출력한다. 일예로 블록 기반 부호화 입력 영상을 버퍼링하여 둔 후에 전술한 처리 과정을 통하여 블록화 현상을 제거한 다음에, 상기 버퍼링되어 있는 영상 중 상응하는 영상을 상기 블록화 현상이 제거된 영상으로 대치하는 방식을 사용할 수 있다.
전술한 바와 같이, 본 발명에서는 블록 경계 영역에 대하여 각 블록 경계 영역의 특성에 따라 평탄한 부영역(sub-region)과 복잡한 부영역으로 분류한 후 인접 부영역의 특성에 따라 블록 경계를 분류하고, 각 블록 경계 영역의 특성, 필터링될 화소, 및 양자화 크기에 따라 적응적으로 필터링을 수행함으로써, 블록 내의 특성을 보존하면서 블록화 현상을 제거할 수 있다.
도 2는 본 발명에 따른 블록 경계 영역 특성을 이용한 블록화 현상 제거 방법에 대한 일실시예 흐름도이다.
먼저, 외부 기기로부터 블록 기반 부호화 영상을 입력받는다(201).
이후, 상기 입력받은 블록 기반 부호화 영상의 8×8 블록 경계 영역에 대하여 각 블록 경계 영역의 특성에 따라 평탄한 부영역(sub-region)과 복잡한 부영역으로 분류한 후에(202) 인접 부영역의 특성에 따라 블록 경계를 평탄 블록, 복잡 블록 및 혼합 블록으로 분류한다(203).
이후, 상기 분류한 영역이 평탄 영역(평탄 블록)인지 또는 복잡 영역(복잡 블록, 혼합 블록)인지를 판단한다(204).
상기 판단 결과(204), 평탄 영역(평탄 블록)이면 해당 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출한다(205). 이후, 상기 검출한 영역에 대하여 적응적으로 일차원 필터링을 수행하여 블록화 현상을 제거한다(206).
한편, 상기 판단 결과(204), 상기 복잡 영역(혼합 블록, 복잡 블록)이면 해당 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거한다(207 내지 209). 즉, 상기 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 일차원 웨이블릿 변환을 수행하여 블록화 현상을 검출한 후에(207) 상기 검출한 블록화 현상을 연 역치화(soft-thresholding)를 이용하여 제거한 다음에(208) 상기 블록화 현상을 제거한 영상에 대하여 일차원 역 웨이블릿 변환을 수행한다(209).
이후, 상기 블록화 현상을 제거한 각 영상과 상기 외부 기기로부터 입력받은 블록 기반 부호화 영상을 이용하여 최종적으로 블록화 현상이 제거된 영상을 획득하여 출력한다(210).
상기 각 동작에 대한 구체적인 실시예는 전술한 바와 같으므로 여기서는 다시 설명하지 않기로 한다.
참고로 도 5 내지 도 7은 통상의 필터링 방식(엠펙-4 후처리 필터)과 본 발명에 따른 필터링 방식의 실험 결과를 나타낸 그래프로서, 도 5는 QP=12, 48Kbps, 7.5Hz로 엠펙(MPEG)-4 부호화된 CIF 크기의 홀 모니터(Hall monitor) 영상에 대한 실험 결과를 나타내고 있고, 도 6은 엠펙(MPEG)-4 부호화된 영상에 대한 실험 결과를 나타내고 있으며, 도 7은 엠펙(MPEG)-4 부호화된 영상의 첫번째 프레임에 대한 실험 결과를 나타내고 있다. 이처럼 도 5 내지 도 7에 도시된 바와 같이, 본 발명에 따른 블록화 현상 제거 방법의 성능이 통상의 방법보다 매우 우수함을 알 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은 블록 경계 영역의 특성에 따라 적응적으로 필터링을 수행함으로써, 블록 기반 부호화 영상(예 : 엠펙-4 등)의 블록화 현상을 제거하여 압축 영상의 화질 개선에 기여할 수 있는 효과가 있다.
즉, 본 발명은 각 블록의 이산 여현 변환(DCT) 계수들을 독립적으로 양자화함으로써 블록 기반 부호화 영상이 비선형적인 특성을 나타내기 때문에 비선형 필터인 단순 적응 필터 및 웨이블릿 변환 특성을 이용하여 블록화 현상을 제거하여 영상의 화질을 개선시킬 수 있는 효과가 있다.
즉, 본 발명은 엠펙(MPEG)-4 등과 같은 저 비트율 블록 기반 동영상 부호화 방식이 사용되는 디지털 영상 기기에서 블록화 현상을 제거함으로써, 압축 영상의 화질 개선에 기여할 수 있는 효과가 있다.

Claims (16)

  1. 블록화 현상 제거 장치에 있어서,
    외부 기기로부터 블록 기반 부호화 영상을 입력받기 위한 블록 기반 부호화 영상 입력 수단;
    상기 블록 기반 부호화 영상 입력 수단으로부터의 블록 기반 부호화 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성과 인접 부영역의 특성에 따라 블록 경계를 분류하기 위한 블록 경계 분류 수단;
    상기 블록 경계 분류 수단에서 평탄 영역(평탄 블록)으로 분류한 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출하기 위한 블록화 현상 검출 수단;
    상기 블록화 현상 검출 수단에서 검출한 영역에 대하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 필터링 수단;
    상기 블록 경계 분류 수단에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하기 위한 웨이블릿 변환을 이용한 필터링 수단; 및
    상기 필터링 수단 및 상기 웨이블릿 변환을 이용한 필터링 수단에서 블록화 현상을 제거한 영상과 상기 외부 기기로부터 입력되는 블록 기반 부호화 영상을 이용하여 블록화 현상이 제거된 영상을 획득하여 출력하기 위한 영상 획득 수단
    을 포함하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
  2. 제 1 항에 있어서,
    상기 블록 경계 분류 수단은,
    상기 블록 기반 부호화 영상 입력 수단으로부터의 블록 기반 부호화 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성에 따라 평탄한 부영역(sub-region)과 복잡한 부영역으로 분류한 후에 인접 부영역의 특성에 따라 블록 경계를 평탄 블록, 복잡 블록 및 혼합 블록으로 분류하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
  3. 제 2 항에 있어서,
    상기 블록 경계 분류 수단은,
    각 블록 경계 영역의 부영역에 대한 분산을 구한 후에, 각 분산값을 제 1 문턱치와 비교하여 분산값이 작으면 인접 블록의 특성이 서로 유사하다고 판단하여 평탄한 부영역으로 분류하고, 두 값이 같거나 분산값이 크면 복잡한 부영역으로 분류한 다음에, 인접 부영역이 모두 평탄 부영역인 경우에는 평탄 블록, 인접 부영역이 모두 복잡한 부영역인 경우에는 복잡 블록, 인접 부영역이 서로 다른 부영역인 경우에는 혼합 블록으로 분류하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
  4. 제 3 항에 있어서,
    상기 제 1 문턱치는,
    0.5×QP(양자화 파라미터)를 이용하여 결정한 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
  5. 제 2 항에 있어서,
    상기 블록화 현상 검출 수단은,
    상기 블록 경계 분류 수단에서 평탄 영역(평탄 블록)으로 분류한 영역에 대하여 블록 경계 영역의 두 화소값의 차의 절대치를 제 2 문턱치와 비교하여 두 값이 같거나 절대치가 크면 인접 블록간의 화소값의 밝기 차가 크다고 판단하여 블록화 현상이 발생한 블록 경계로 결정하고, 절대치가 작으면 블록화 현상이 발생하지 않은 블록 경계로 결정하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
  6. 제 5 항에 있어서,
    상기 제 2 문턱치는,
    중간 밝기 값, 즉 인간의 시각이 판단할 수 있는 휘도 변화량 및 필터링 수 행시의 계산량을 고려하여 결정한 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
  7. 제 5 항에 있어서,
    상기 필터링 수단은,
    평탄 영역에서의 블록화 현상이 계단 함수 형태로 나타남에 따라, 블록화 강도를 이용하여 블록 경계 영역에 인접한 화소값을 조정하여 블록 경계 영역에서의 화소값의 불연속성을 줄여 블록화 현상을 제거하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
  8. 제 7 항에 있어서,
    상기 필터링 수단은,
    블록화 강도에 따른 적응적 일차원 필터링을 아래의 (수학식)과 같이 수행하여 블록화 현상을 제거하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
    (수학식)
    Figure 112005008756274-PAT00008
    (여기서,
    Figure 112005008756274-PAT00009
    이고,
    Figure 112005008756274-PAT00010
    는 블록화 강도임.)
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 웨이블릿 변환을 이용한 필터링 수단은,
    상기 블록 경계 분류 수단에서 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 일차원 웨이블릿 변환을 수행하여 블록화 현상을 검출하기 위한 일차원 웨이블릿 변환부;
    상기 일차원 웨이블릿 변환부에서 검출한 블록화 현상을 연 역치화(soft-thresholding)를 이용하여 제거하기 위한 연 역치화부; 및
    상기 연 역치화부에서 블록화 현상을 제거한 영상에 대하여 일차원 역 웨이블릿 변환을 수행하여 블록화 현상이 제거된 영상을 상기 영상 획득 수단으로 전달하기 위한 일차원 역 웨이블릿 변환부
    를 포함하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
  10. 제 9 항에 있어서,
    상기 일차원 웨이블릿 변환부는,
    블록화 현상 및 실제 에지와 같은 특이점들(singular points)이 첫 번째 스케일 상의 웨이블릿 변환 영역에서 국부 계수 최대치(local modulus maxima)로 나 타남에 따라, 첫 번째 스케일 상의 국부 계수 최대치들의 리피츠 정칙을 해석하여 블록화 현상을 검출하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
  11. 제 10 항에 있어서,
    상기 연 역치화부는,
    블록화 현상과 같은 구조를 가지는 특이점들은 원추영향(cone of influence) 범위 내의 웨이블릿 변환 계수값들이 스케일이 증가할수록 크기가 감소하여 음의 실수값인 리피츠 정칙 상수를 가짐에 따라, 리피츠 정칙 상수가 음의 실수값을 가지는 웨이블릿 변환 계수값들을 인접한 계수 분포에 따라 적응적으로 제거하여 블록화 현상을 제거하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
  12. 제 11 항에 있어서,
    상기 연 역치화부는,
    음의 리피츠 정칙 상수값을 가지는 웨이블릿 계수들에 대하여 첫 번째 스케일 상에서 연 역치화(soft-thresholding)를 이용하여 아래의 (수학식)과 같이 제거하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
    (수학식)
    Figure 112005008756274-PAT00011
    (여기서,
    Figure 112005008756274-PAT00012
    ,
    Figure 112005008756274-PAT00013
    는 입력영상,
    Figure 112005008756274-PAT00014
    는 첫 번째 스케일 상의 웨이블릿 계수를 나타냄.)
  13. 제 12 항에 있어서,
    상기 연 역치화부는,
    블록 경계 영역의 웨이블릿 계수뿐만 아니라 블록 내부의 웨이블릿 계수에 대해서도 연 역치화를 수행하는 것을 특징으로 하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치.
  14. 블록화 현상 제거 방법에 있어서,
    블록 기반 부호화 입력 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성과 인접 부영역의 특성에 따라 블록 경계를 분류하기 위한 블록 경계 분류 단계;
    상기 분류한 영역이 평탄 영역(평탄 블록)인지 또는 복잡 영역(복잡 블록, 혼합 블록)인지를 판단하는 단계;
    상기 판단 결과, 평탄 영역(평탄 블록)이면 해당 영역에 대하여 블록화 현상이 발생한 블록 경계를 검출한 후에, 상기 검출한 영역에 대하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하는 제 1 블록화 현상 제거 단계;
    상기 판단 결과, 상기 복잡 영역(혼합 블록, 복잡 블록)이면 해당 영역에 대하여 웨이블릿 변환을 이용하여 적응적으로 필터링을 수행하여 블록화 현상을 제거하는 제 2 블록화 현상 제거 단계; 및
    상기 블록화 현상을 제거한 각 영상과 상기 블록 기반 부호화 입력 영상을 이용하여 블록화 현상이 제거된 영상을 획득하는 단계
    를 포함하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 방법.
  15. 제 14 항에 있어서,
    상기 블록 분류 단계는,
    상기 블록 기반 부호화 입력 영상의 블록 경계 영역에 대하여 각 블록 경계 영역의 특성에 따라 평탄한 부영역(sub-region)과 복잡한 부영역으로 분류하는 단계; 및
    해당 부영역에 인접한 부영역의 특성에 따라 블록 경계를 평탄 블록, 복잡 블록 및 혼합 블록으로 분류하는 단계
    를 포함하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 방법.
  16. 제 14 항 또는 제 15 항에 있어서,
    상기 제 2 블록화 현상 제거 단계는,
    상기 복잡 영역(혼합 블록, 복잡 블록)으로 분류한 영역에 대하여 일차원 웨이블릿 변환을 수행하여 블록화 현상을 검출하는 단계;
    상기 검출한 블록화 현상을 연 역치화(soft-thresholding)를 이용하여 제거하는 단계; 및
    상기 연 역치화를 이용하여 블록화 현상을 제거한 영상에 대하여 일차원 역 웨이블릿 변환을 수행하는 단계
    를 포함하는 블록 경계 영역 특성을 이용한 블록화 현상 제거 방법.
KR1020050013689A 2004-12-02 2005-02-18 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및그 방법 KR100669905B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040100654 2004-12-02
KR20040100654 2004-12-02

Publications (2)

Publication Number Publication Date
KR20060061741A true KR20060061741A (ko) 2006-06-08
KR100669905B1 KR100669905B1 (ko) 2007-01-16

Family

ID=37158124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050013689A KR100669905B1 (ko) 2004-12-02 2005-02-18 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및그 방법

Country Status (1)

Country Link
KR (1) KR100669905B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843100B1 (ko) * 2007-02-07 2008-07-03 삼성전자주식회사 디지털 영상에서의 블록 노이즈 저감 방법 및 장치, 이를이용한 인코딩/디코딩 방법 및 인코더/디코더
KR100950969B1 (ko) * 2008-01-21 2010-04-02 한양대학교 산학협력단 영상의 블록킹 현상 제거 시스템 및 그 방법
WO2024104504A1 (zh) * 2022-11-14 2024-05-23 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004612B1 (ko) * 2007-12-06 2010-12-28 중앙대학교 산학협력단 Ｄｃｔ 기반 이미지의 포스트 필터링 장치 및 그 방법
KR101001676B1 (ko) 2009-04-27 2010-12-15 전남대학교산학협력단 화소 분류를 이용한 에지보존 디블로킹 필터

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298898A (ja) 1998-04-16 1999-10-29 Victor Co Of Japan Ltd ブロック歪低減回路
KR100366643B1 (ko) * 1998-11-25 2003-02-19 삼성전자 주식회사 구획현상제거방법및장치
KR20020057526A (ko) * 2001-01-05 2002-07-11 엘지전자 주식회사 영상 보간 방법 및 장치
JP3930360B2 (ja) 2002-03-29 2007-06-13 株式会社東芝 動画像復号装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843100B1 (ko) * 2007-02-07 2008-07-03 삼성전자주식회사 디지털 영상에서의 블록 노이즈 저감 방법 및 장치, 이를이용한 인코딩/디코딩 방법 및 인코더/디코더
KR100950969B1 (ko) * 2008-01-21 2010-04-02 한양대학교 산학협력단 영상의 블록킹 현상 제거 시스템 및 그 방법
WO2024104504A1 (zh) * 2022-11-14 2024-05-23 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR100669905B1 (ko) 2007-01-16

Similar Documents

Publication Publication Date Title
Marziliano et al. Perceptual blur and ringing metrics: application to JPEG2000
RU2461977C2 (ru) Сжатие и снятие сжатия изображения
US7957467B2 (en) Content-adaptive block artifact removal in spatial domain
JP2005166021A (ja) 画像中の画素を分類する方法
Kong et al. Edge map guided adaptive post-filter for blocking and ringing artifacts removal
Vidal et al. New adaptive filters as perceptual preprocessing for rate-quality performance optimization of video coding
KR100669905B1 (ko) 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및그 방법
JP2006148878A (ja) 画像中の画素を分類する方法
Zhang et al. Compression artifact reduction with adaptive bilateral filtering
Shao et al. Quality adaptive least squares trained filters for video compression artifacts removal using a no-reference block visibility metric
Shao et al. Coding artifact reduction based on local entropy analysis
Bennet et al. Performance and analysis of hybrid algorithm for blocking and ringing artifact reduction
JP2005318614A (ja) 入力画像中のアーチファクトを低減する方法
JP4065287B2 (ja) 画像データのノイズ除去方法及びその装置
Shen et al. Fast compression artifact reduction technique based on nonlinear filtering
Võ et al. Localized filtering for artifact removal in compressed images
Chen et al. Artifact reduction by post-processing in image compression
Yoo et al. Blind post-processing for ringing and mosquito artifact reduction in coded videos
Del Corso et al. MNR: A novel approach to correct MPEG temporal distortions
KR100772402B1 (ko) 공간 영역에서의 내용 적응성 블로킹 아티팩트 제거기
Oizumi Preprocessing method for DCT-based image-compression
Li et al. An adaptive preprocessing algorithm for low bitrate video coding
Võ et al. Spatio-temporal fuzzy filtering for coding artifacts reduction
Skocir et al. A three-dimensional extension of the SUSAN filter for wavelet video coding artifact removal
Tongbram et al. Implementing a new algorithm to reduce black artifacts in DCT coded images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee