KR101910502B1 - 변환계수를 이용한 영상 블록현상 제거 방법 및 그 장치 - Google Patents

변환계수를 이용한 영상 블록현상 제거 방법 및 그 장치 Download PDF

Info

Publication number
KR101910502B1
KR101910502B1 KR1020110092222A KR20110092222A KR101910502B1 KR 101910502 B1 KR101910502 B1 KR 101910502B1 KR 1020110092222 A KR1020110092222 A KR 1020110092222A KR 20110092222 A KR20110092222 A KR 20110092222A KR 101910502 B1 KR101910502 B1 KR 101910502B1
Authority
KR
South Korea
Prior art keywords
block
blocks
flat
edge
image
Prior art date
Application number
KR1020110092222A
Other languages
English (en)
Other versions
KR20120081006A (ko
Inventor
신건식
나종범
박세혁
유석봉
김재현
최규하
Original Assignee
삼성전자주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국과학기술원 filed Critical 삼성전자주식회사
Priority to PCT/KR2011/010122 priority Critical patent/WO2012096459A2/en
Priority to CN201180069177.1A priority patent/CN103444179B/zh
Priority to EP11855401.3A priority patent/EP2664140B1/en
Priority to US13/343,950 priority patent/US8644636B2/en
Publication of KR20120081006A publication Critical patent/KR20120081006A/ko
Application granted granted Critical
Publication of KR101910502B1 publication Critical patent/KR101910502B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 발명은, 영상의 변환계수를 이용하여 영상 블록현상의 제거에 관한 것이다. 입력영상 중에서 평탄영역의 블록현상을 검출하고, 검출 결과에 기초하여, 입력영상의 변환블록들마다 블록별 변환계수들 중에서 소정 개수의 저주파 계수들을 이용하여 평탄영역의 블록현상을 제거하고, 입력영상 중에서 에지영역을 검출하여, 입력영상으로부터 평탄영역의 블록현상이 제거된 중간영상에 대하여, 입력영상의 검출된 에지영역에 기초하여 중간영상의 에지영역의 블록현상을 제거하는 영상 블록현상 제거 방법이 개시된다.

Description

변환계수를 이용한 영상 블록현상 제거 방법 및 그 장치{Method and apparatus for reducing blocking artifact based on transformed coefficient correction}
본 발명은, 영상 부호화에 따른 블록현상의 처리에 관한 것이다.
영상 데이터의 송수신 및 저장 시, 데이터 용량을 감축하기 위하여 부호화 및 압축 기법이 널리 이용되며, 통상적으로 블록 기반의 데이터 처리를 통한 부호화 기법이 채택되고 있다. 하지만, 블록 기반의 주파수 변환과 양자화로 인해 복호화 후 복원영상에서 블록현상이 발생되고, 수평/수직 격자 잡음의 형태로 영상의 화질이 열화된다.
블록 기반의 부호화 과정에서 발생하는 블록현상을 줄이기 위해 디블록킹 기법이 이용되고 있다. 디코딩 기법으로는, 인코더 내에서 수행하는 루프 필터링 기법과 인코더 구조를 변경하지 않는 후처리 필터링 기법이 대표적이다. 루프 필터링의 경우에는, 각각의 프레임에 대한 부호화 정보를 이용하여 보다 정확한 디블로킹이 가능하다는 장점이 있지만, 디블록킹 과정이 부호화 시스템에 포함되므로 인코딩 복잡성이 높아지고, 채널 대역폭이 증가된다. 후처리 필터링 기법은, 부호화 시스템과 독립적으로 디코딩 단에서 영상 복원 이후에 디블로킹 필터링이 동작하므로 부호화 시스템의 연산 부담량은 증가하지 않는다. 하지만, 복호화가 완료된 후 부복호화 과정과 독립적으로 디블로킹 동작이 수행되므로, 디블로킹 동작에 영상의 복호화 과정에서 이용된 부호화 정보가 이용되기 어렵다.
본 발명의 일 실시예에 따른 변환계수를 이용한 영상의 블록현상을 제거하는 방법은, 입력영상 중에서 평탄영역의 블록현상을 검출하는 단계; 상기 검출 결과에 기초하여, 상기 입력영상의 변환블록들마다, 블록별 변환계수들 중에서 소정 개수의 저주파 계수들을 이용하여 상기 평탄영역의 블록현상을 제거하는 단계; 상기 입력영상 중에서 에지영역을 검출하는 단계; 및 상기 입력영상으로부터 평탄영역의 블록현상이 제거된 중간영상에 대하여, 상기 입력영상의 검출된 에지영역에 기초하여 상기 중간영상의 에지영역의 블록현상을 제거하는 단계를 포함한다.
본 발명의 일 실시예에 따른 변환계수를 이용한 영상의 블록현상을 제거하는 장치는, 입력영상 중에서 평탄영역의 블록현상을 검출하는 평탄영역 블록현상 검출부; 상기 검출 결과에 기초하여, 상기 입력영상의 변환블록들마다, 블록별 변환계수들 중에서 소정 개수의 저주파 계수들을 이용하여 상기 평탄영역의 블록현상을 제거하는 평탄영역 블록현상 제거부; 상기 입력영상 중에서 에지영역을 검출하는 에지영역 검출부; 및 상기 입력영상으로부터 평탄영역의 블록현상이 제거된 중간영상에 대하여, 상기 입력영상의 검출된 에지영역에 기초하여 상기 중간영상의 에지영역의 블록현상을 제거하는 에지영역 블록현상 제거부를 포함한다.
본 발명은, 일 실시예에 따른 변환계수를 이용한 영상 블록현상 제거 방법을 전산적으로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독가능한 기록매체를 포함한다.
도 1 은 본 발명의 일 실시예에 따른 변환계수를 이용한 영상 블록현상 제거 장치의 블록도를 도시한다.
도 2 는 종래 기술에 따른 블록현상 제거 방법의 흐름도를 도시한다.
도 3 은 다른 실시예에 따른 영상 블록현상 제거 장치의 블록도를 도시한다.
도 4 는 일 실시예에 따라 평탄영역의 블록현상을 검출하는 방법을 도시한다.
도 5 는 일 실시예에 따라 평탄영역의 블록현상을 제거하는 방법을 도시한다.
도 6 은 일 실시예에 따라 평탄영역의 블록현상을 제거하기 위한 필터링의 일례를 도시한다.
도 7 은 일 실시예에 따라 에지영역의 블록현상을 제거하기 위한 방법을 도시한다.
도 8 은 본 발명의 일 실시예에 따른 변환계수를 이용한 영상 블록현상 제거 방법의 흐름도를 도시한다.
이하 도 1 내지 도 8을 참조하여, 본 발명의 다양한 실시예들에 따라 변환계수를 이용하여 영상 블록현상을 제거하는 방법 및 영상 블록현상 제거 장치가 상술된다.
도 1 은 본 발명의 일 실시예에 따른 변환계수를 이용한 영상 블록현상 제거 장치의 블록도를 도시한다.
일 실시예에 따른 변환계수를 이용한 영상 블록현상 제거 장치(100)는, 평탄영역 블록현상 검출부(110), 평탄영역 블록현상 제거부(120), 에지영역 검출부(130) 및 에지영역 블록현상 제거부(140)를 포함한다. 이하, '일 실시예에 따른 변환계수를 이용한 영상 블록현상 제거 장치(100)'는, '영상 블록현상 제거 장치(100)'로 축약하여 지칭된다.
영상 블록현상 제거 장치(100)는, 영상 처리 프로세서, 그래픽 연산 프로세서(Graphic Processing Unit; GPU) 등의 연산 프로세서와 연동되거나 연산 프로세서의 제어에 의해 작동될 수 있다. 또한, 영상 블록현상 제거 장치(100)는 디코더에 탑재되거나, 디코더의 외부 장치로서 장착될 수도 있다.
평탄영역 블록현상 검출부(110)는, 영상 블록현상 제거 장치(100)의 입력영상 중에서 평탄영역의 블록현상을 검출한다. 일 실시예에 따라 영상 블록현상 제거 장치(100)의 입력영상은, 부호화된 영상이 디코더에 의해 복호화되어 공간 영역으로 복원된 영상일 수 있다.
평탄영역 블록현상 제거부(120)는, 평탄영역 블록현상 검출부(110)의 검출 결과에 기초하여 평탄영역의 블록현상이 검출된다면, 입력영상의 블록별로, 변환계수들 중에서 소정 개수의 저주파 계수들을 이용하여 평탄영역의 블록현상을 제거한다.
에지영역 검출부(130)는, 평탄영역 블록현상 검출부(110)에 의해 검출된 평탄영역에 대비하여, 입력영상 중에서 에지영역을 검출한다.
에지영역 블록현상 제거부(140)는, 에지영역 검출부(130)에 의해 검출된 에지영역 중에서 블록현상을 제거한다.
구체적으로 보면, 일 실시예에 따른 평탄영역 블록현상 검출부(110)는, 입력영상 중에서 평탄블록들을 결정하고, 평탄블록들의 블록현상 강도에 기초하여 평탄영역의 블록현상을 검출할 수 있다. 일 실시예에 따르면, 현재 평탄블록의 인접블록들의 DC계수들 간의 차이에 기초하여 현재 평탄블록의 블록현상 강도가 결정될 수 있다.
일 실시예에 따른 평탄영역 블록현상 제거부(120)는, 입력영상의 픽셀들마다, 소정 크기의 블록 단위로 변환을 수행하여 픽셀별 변환계수들을 결정할 수 있다. 일 실시예에 따른 블록 변환은, DCT, 직교 변환, 정수 변환 등을 포함할 수 있다. 일 실시예에 따른 평탄영역 블록현상 제거부(120)는, 픽셀들마다, 픽셀별 변환계수들 중에서 소정 개수의 저주파 계수들을 보정함으로써, 평탄블록의 블록현상을 제거할 수 있다.
픽셀별 블록은, 입력영상의 픽셀별 블록으로 인접 픽셀들의 픽셀별 블록이라면 상호 중첩되지만, 이에 대비하여 변환블록은 입력영상 전체의 블록 변환을 위해 입력영상을 소정 크기의 데이터 블록들로 분할한, 상호 중첩되지 않는 블록들이다.
일 실시예에 따른 평탄영역 블록현상 제거부(120)는, 평탄블록의 블록현상 강도에 기초하여, 평탄블록들에 대한 블록현상의 평탄화 필터링 강도를 결정하고, 결정된 평탄화 필터링 강도에 기초하여 평탄블록들의 블록경계에 대해 평탄화 필터링을 수행함으로써, 평탄블록의 블록현상을 제거할 수 있다.
일 실시예에 따른 평탄영역 블록현상 제거부(120)는, 평탄블록의 지역적 블록현상 강도에 기초하여 평탄영역의 블록현상을 제거하기 위한 토탈 베리에이션 필터링(Total Variation filtering)의 필터링 강도를 결정할 수 있다. 따라서, 평탄영역 블록현상 제거부(120)는, 평탄블록들마다 결정된 고유의 평탄화 필터링 강도에 기초하여 토탈 베리에이션 필터링을 수행함으로써 평탄블록의 블록현상을 제거할 수 있다. 따라서 평탄영역 블록현상 제거부(120)의 출력영상은, 입력영상 중 평탄영역의 블록현상이 제거된 중간영상일 수 있다.
일 실시예에 따른 에지영역 검출부(130)는, 입력영상의 변환블록들마다, 변환계수들 중에서 소정 개수의 저주파 계수들만을 포함하고 나머지 계수들은 모두 0인 변환블록들로 구성된 영상을 역변환하여 저주파 대역 영상을 생성할 수 있다. 일 실시예에 따른 에지영역 검출부(130)는, 입력영상의 변환블록들로부터 소정 개수의 저주파 계수들만을 포함하는 저주파 대역 영상을 차감하여, 고주파 대역 영상을 생성할 수 있다.
일 실시예에 따른 에지영역 검출부(130)는, 고주파 대역 영상의 변환블록들 중에서, 샘플들의 에너지가 소정 임계치보다 큰 변환블록을 에지블록으로 결정할 수 있다. 샘플들의 에너지는, 변환블록들의 변환계수들의 절대값의 평균 또는 변환블록들의 픽셀들의 픽셀밝기의 절대값의 평균일 수 있다.
일 실시예에 따른 에지영역 블록현상 제거부(140)는, 평탄영역 블록현상 제거부(120)에 의해 평탄영역 블록현상이 제거된 중간영상을 입력받는다. 에지영역 블록현상 제거부(140)는, 에지영역 검출부(130)에 의해 검출된 에지영역에 상응하는, 중간영상의 에지영역을 결정할 수 있다. 예를 들어 에지영역 블록현상 제거부(140)는, 중간영상의 변환블록들 중에서, 에지영역 검출부(130)에 의해 결정된 에지블록들과 동일한 위치의 에지블록들을 결정할 수 있다.
일 실시예에 따른 에지영역 블록현상 제거부(140)는, 중간영상의 에지블록들 중에서 동일한 에지를 구성하는 에지블록들을 그룹화하고, 그룹들마다 그룹 내의 에지블록들에 대하여 3차원 직교 변환을 수행할 수 있다. 일 실시예에 따른 에지영역 블록현상 제거부(140)는, 그룹들마다 그룹 내의 에지블록들의 3차원 변환계수들을 이용하여 에지블록들의 블록현상을 제거할 수 있다.
일 실시예에 따른 에지영역 블록현상 제거부(140)는, 그룹 내의 에지블록들의 3차원 변환계수들에 대하여 임계화 필터링을 수행할 수 있다. 일 실시예에 따른 에지영역 블록현상 제거부(140)는, 임계화 필터링이 수행된 3차원 변환계수들에 대하여 역 3차원 직교변환을 수행하여 그룹들마다 그룹 내의 에지블록들을 복원할 수 있다.
일 실시예에 따른 에지영역 블록현상 제거부(140)는, 복원된 에지블록들에 기초하여, 입력영상 중에서 검출된 에지영역을 갱신할 수 있다. 즉, 에지영역 블록현상 제거부(140)는, 평탄영역의 블록현상이 제거된 중간영상에서, 추가적으로 에지블록들의 블록현상이 제거되도록 에지블록들을 갱신할 수 있다.
따라서 영상 블록현상 제거 장치(100)는, 먼저 평탄영역의 블록현상을 검출하여 제거한 후, 에지영역의 블록현상을 제거함으로써, 최종적으로 영상의 블록 변환을 통해 발생된 영상의 블록현상을 자연스럽게 제거할 수 있다. 또한, 영상 블록현상 제거 장치(100)는, 입력영상의 영상 정보만을 이용하여 영상 블록현상을 제거할 수 있다.
영상 블록현상 제거 장치(100)는, 입력영상이 부호화된 후 복호화를 통해 복원된 영상인 경우, 부호화 단계에서 결정된 부호화 정보를 이용하지 않아도 복원영상만을 이용하여 영상 블록현상을 제거할 수 있다. 특히, 웹사이트에 업로드된 대부분의 비디오 데이터들은 이미 압축이 되어 있기 때문에 원본과 비교하여 화질이 저하되어 있고, 부호화 정보도 획득되기 어려운 경우가 많다. 영상 블록현상 제거 장치(100)는, 프레임 내 변환블록의 크기, 양자화 변수, 양자화 테이블 등의 각종 부호화 정보를 이용하지 않고 후처리 디블로킹 기법을 사용하여 블록현상의 강도를 추정하고, 추정한 필터링 강도를 기초로 영상의 화질을 훼손하지 않으면서 블록현상을 감소할 수 있다.
도 2 는 종래 기술에 따른 블록현상 제거 방법의 흐름도를 도시한다.
블록현상을 감소시키기 위한 종래 후처리 필터링 기법에 따르면, 인접하는 블록들 간의 블록 경계에서, 블록현상의 강도에 기초하여 1차원 필터링을 수행한다.
예를 들어, 크기 8x8인 변환블록(200)에 대한 블록현상 강도로서, 수평 블록현상 강도 HBS(Horizontal Block Boundary Strength)가 이용될 수 있다.
현재 변환블록(200)의 DCT 계수들 중에서, 좌측 첫번째 열의 계수들(210)만 0이 아닌 경우에 현재 변환블록(200)의 HBS는 1로 설정되고, 좌측 첫번째 열의 계수들(210) 이외의 계수들 중에서 0이 아닌 계수가 존재하는 경우에 현재 변환블록(200)의 HBS는 0로 설정될 수 있다.
블록 A, B, C, D, E, F가 수평방향으로 연속적으로 나열되어 있는 경우에, 블록 A, B, C를 포함하는 블록그룹 J와 블록 D, E, F를 포함하는 블록그룹 I 간의 블록 경계 220에 대하여, 수평 블록현상 강도가 결정될 수 있다.
예를 들어 블록현상 강도 결정 방법은, 단계 230, 240, 250, 260을 따른다. 단계 230에서, 블록그룹 I의 수평 블록현상 강도(HSBI)와, 블록그룹 J의 수평 블록현상 강도(HSBJ)가 결정된다.
블록그룹 I의 수평 블록현상 강도와 블록그룹 J의 수평 블록현상 강도가 모두 1인 경우( HSBI==1 && HSBJ==1 )에는, 블록 경계 220의 수평 블록현상이 강하다고 판단되어, 단계 240에 따라 블록 경계 220에 대하여 7-탭 필터링이 수행된다. 즉, 블록 경계 220을 중심으로 수평방향으로 나열된 6개의 픽셀 값들이 보정될 수 있다.
그에 반해, 블록그룹 I의 수평 블록현상 강도와 블록그룹 J의 수평 블록현상 강도 중 적어도 하나가 1이 아닌 경우( !(HSBI==1 && HSBJ==1) )에는, 단계 250에 따라 인접하는 블록들 D 및 C의 블록 경계 220에서의 픽셀값들의 차이(|D-C|)와 양자화 변수(QP, Quantization Parameter)가 비교된다. 블록 경계 220에서의 픽셀값들의 차이가 양자화 변수가 작은 경우 수평 블록현상의 강도가 작다고 판단되어, 단계 260에 따라, 블록 경계 220에 대하여 7-탭 필터링보다는 약한 평탄화 필터링이 수행된다. 예를 들어 블록 경계 220을 중심으로 4개의 픽셀 값들이 보정된다.
도 2를 참조하여 전술된 종래 후처리 필터링 기법에서는, 필터링 강도가 양자화 변수에 의해 정해지기 때문에 부호화 정보가 필요하다. 또한 블록 경계 220에 수직한 방향의 라인 상의 픽셀들에 대해 필터링을 수행하며, 라인별로 강도를 변경하며 평탄화를 하기 때문에, 블록 경계에 수평하는 방향의 픽셀값들 간의 연속성이 훼손될 수 있다.
또한 종래 후처리 필터링 기법은, 1차원 필터링으로 직선 방향으로만 신호를 처리하므로, 신호의 2차원 구조를 고려하며 평탄화를 수행할 수 없다. 예를 들어, 실제 에지가 블록 경계에 존재할 경우, 블록 변환으로 인해 블록 경계의 에지가 부자연스럽게 절단되는데, 1차원 필터링은 절단된 에지를 보존하지 못한 채 블록 경계를 평탄화해 버린다.
또한 종래 후처리 필터링 기법은, 필터링 강도를 결정하기 위해 양자화 변수를 이용하지만, 실제 동영상 압축 기법에서는, 프레임별로 다른 양자화 테이블을 이용하고 프레임 내에서도 블록들마다 양자화 변수가 다를 수 있기 때문에, 실제로 양자화 테이블을 후처리 과정에서 이용하는 것은 효율적이지 못하다.
도 3 은 다른 실시예에 따른 영상 블록현상 제거 장치의 블록도를 도시한다.
다른 실시예에 따라 변환계수를 이용하는 영상 블록현상 제거 장치(300)는, 평탄영역 블록현상 검출부(110), 평탄영역 블록현상 제거부(120), 에지영역 검출부(130) 및 에지영역 블록현상 제거부(140)를 포함하며, 기본적으로 영상 블록현상 제거 장치(100)의 구조를 따른다. 다만, 다른 실시예에 따른 평탄영역 블록현상 검출부(110)는 평탄영역 블록현상 강도 결정부(310) 및 필터링 결정부(320)를 포함할 수 있다. 다른 실시예에 따른 에지영역 검출부(130)는, HB 영상 생성부(330) 및 에지영역 검출부(340)를 포함할 수 있다.
구체적으로 보면, 다른 실시예에 따른 평탄영역 블록현상 검출부(110)는, 입력영상 중에서 평탄블록들을 결정하고, 평탄블록들의 블록현상 강도(BAS, Blocking Artifact Strength)를 결정하고, 평탄블록들의 블록현상 강도에 기초하여 평탄영역의 블록현상을 검출할 수 있다.
평탄영역 블록현상 강도 결정부(310)는, 현재 평탄블록의 인접블록들의 DC계수들 간의 차이에 기초하여 현재 평탄블록의 블록현상 강도를 결정할 수 있다. 평탄영역 블록현상 강도 결정부(310)는, 평탄블록들마다 별개의 블록현상 강도, 즉 평탄블록들마다 지역적 블록현상 강도를 결정할 수 있다.
평탄영역 블록현상 강도 결정부(310)는, 평탄블록들의 지역적 블록현상 강도의 평균값에 기초하여 입력영상의 전역적 블록현상 강도를 결정할 수 있다.
평탄영역 블록현상 강도 결정부(310)가, 전역적 블록현상 강도를 결정하는 방식의 일례는, 이후 도 4를 참조하여 후술된다.
필터링 결정부(320)는, 평탄영역 블록현상 강도 결정부(310)에 의해 결정된 전역적 블록현상 강도와 소정 임계치를 비교하여, 입력영상의 평탄영역에 블록현상이 발생하였는지 판단할 수 있다. 필터링 결정부(320)가 입력영상의 평탄영역에 블록현상이 발생하였는지 여부를 판단한 결과와 더불어, 입력영상의 블록현상을 제거하기 위해 디블로킹 필터링이 필요한지 여부가 결정될 수 있다.
즉, 필터링 결정부(320)는, 전역적 블록현상 강도가 소정 임계치를 초과하는 것으로 확인되면, 입력영상의 평탄영역에 블록현상이 발생한 것으로 결정하고, 입력영상에 대하여 평탄영역의 블록현상을 제거하기 위한 디블로킹 필터링을 수행하도록 결정할 수 있다.
다만, 전역적 블록현상 강도가 소정 임계치를 초과하지 않는 것으로 확인되면, 입력영상에 대해 디블로킹 필터링을 수행하지 않은 채, 입력영상을 그대로 최종결과영상으로 출력할 수 있다.
다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 입력영상의 픽셀들마다 소정 크기의 블록 단위로 변환을 수행하여 픽셀별 변환계수들을 결정하고, 픽셀들마다 픽셀별 변환계수들 중에서 소정 개수의 저주파 계수들을 보정함으로써, 평탄블록의 블록현상을 제거할 수 있다.
다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 입력영상의 변환블록들의 변환계수들 중에서, 픽셀별 변환계수들 중에서 보정된 소정 개수의 저주파 계수들과 동일 위치의 변환계수들을, 상기 보정된 저주파 계수들로 대체할 수 있다. 다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 상기 보정된 저주파 계수들 중에서, 입력영상의 변환블록들과 동일한 위치의 블록들의 저주파 계수들을 추출할 수 있다. 다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 입력영상의 변환블록들의 저주파 계수들 중에서, 상기 보정된 저주파 계수들로부터 추출된 저주파 계수들과 동일한 위치의 저주파 계수들을, 상기 추출된 저주파 계수들로 대체할 수 있다.
다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 일부 변환계수들이 상기 보정된 저주파 계수들로 대체된 입력영상의 변환계수들을 변환블록별로 역변환하여, 공간 영역의 중간영상을 생성할 수 있다. 생성된 중간영상은 입력영상 중에서 평탄영역의 블록현상이 제거된 영상일 수 있다.
또한 다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 소정 개수의 저주파 계수들을 계수 위치별로 별도로 보정할 수 있다. 예를 들어, 다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 소정 개수의 저주파 계수들을 변환블록들 내의 계수 위치별로 분류하고, 저주파 계수들의 계수 위치들마다, 동일 계수 위치의 저주파 계수들이 해당 블록의 순서대로 나열된 저주파 계수 영상들을 생성할 수 있다.
다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 계수 위치별로 생성된 저주파 계수 영상들을 이용하여, 평탄영역의 블록현상을 제거할 수 있다.
예를 들어, 다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 저주파 계수 영상들마다, 평탄블록의 블록현상 강도에 기초하여 평탄블록에 대한 블록현상 평탄화 필터링 강도를 결정하고, 결정된 평탄화 필터링 강도에 기초하여 평탄블록의 블록현상을 제거할 수 있다. 또한, 다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 저주파 계수 영상들마다, 평탄블록의 지역적 블록현상 강도에 기초하여 평탄블록들마다 토탈 베리에이션 필터링의 필터링 강도를 결정할 수도 있다.
따라서, 다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 저주파 계수 영상들마다, 평탄영역에 따라 결정된 고유의 평탄화 필터링 강도에 기초하여 토탈 베리에이션 필터링을 수행함으로써 저주파 계수들을 보정할 수 있다.
다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 입력영상의 변환블록들의 변환계수들 중에서, 상기 저주파 계수 영상들을 이용하여 보정된 저주파 계수들과 동일 위치의 변환계수들을, 상기 보정된 저주파 계수들로 대체할 수 있다. 다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 상기 저주파 계수 영상별로 보정된 저주파 계수들 중에서, 입력영상의 변환블록들에 상응하는 위치의 저주파 계수들을 추출할 수 있다.
즉, 상기 저주파 계수 영상들이 생성될 때, 입력영상의 픽셀별 블록마다 소정 계수 위치의 저주파 계수가 추출되어 입력영상의 픽셀들의 순서에 따라 나열된다. 따라서, 저주파 계수 영상들의 크기는 입력영상과 동일하고, 저주파 계수 영상들에 대하여 평탄블록의 블록현상 제거를 위한 필터링을 수행함으로써 보정된 저주파 계수 영상들의 변환계수들은, 입력영상의 모든 픽셀들에 일대일로 대응된다.
이에 따라 다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 보정된 저주파 계수 영상들의 변환계수들 중에서, 입력영상의 변환블록들에 상응하는 위치의 변환계수들을 추출하고, 입력영상의 변환블록들 내의 상기 소정 계수 위치의 변환계수들 대신에 상기 보정된 저주파 계수 영상들로부터 추출된 변환계수들로 대체할 수 있다. 또한 다른 실시예에 따른 평탄영역 블록현상 제거부(120)는, 각각의 저주파 계수 영상을 구성하는 저주파 계수가 입력영상의 픽셀별 블록 내에서 차지하던 저주파 계수 위치에 상응하여, 입력영상의 변환블록 내에서 상기 저주파 계수 위치의 변환계수들을, 앞서 보정된 저주파 계수 영상으로부터 추출된 변환계수들로 대체하도록 할 수 있다.
이상 전술된 저주파 계수들의 위치별로 생성된 저주파 계수 영상들을 이용하여 평탄영역의 블록현상을 제거하는 동작은, 도 5, 6를 참조하여 상세히 후술된다.
다른 실시예에 따른 에지영역 검출부(130)의 HB 영상 생성부(330)는, 입력영상의 변환블록들마다 변환계수들 중에서 소정 개수의 저주파 계수들만을 포함하고 나머지 계수들은 모두 0인 변환블록들로 구성된 영상을 역변환하여 저주파 대역 영상을 생성할 수 있다. HB 영상 생성부(330)는, 입력영상의 변환블록들로부터 소정 개수의 저주파 계수들만을 포함하는 저주파 대역 영상을 차감하여, 고주파 대역(HB, High-Band) 영상을 생성할 수 있다.
에지영역 검출부(130)의 에지영역 검출부(340)는, 고주파 대역 영상의 변환블록들 중에서, 샘플들의 에너지가 소정 임계치보다 큰 변환블록을 에지블록으로 결정할 수 있다. 샘플들의 에너지는, 변환블록들의 변환계수들의 절대값의 평균 또는 변환블록들의 픽셀값들의 절대값의 평균일 수 있다.
에지영역 블록현상 제거부(140)는, 평탄영역 블록현상 제거부(120)에 의해 평탄영역 블록현상이 제거된 중간영상을 입력받는다. 에지영역 블록현상 제거부(140)는, 에지영역 검출부(130)에 의해 검출된 에지영역에 상응하여, 중간영상의 에지영역을 결정할 수 있다. 예를 들어 에지영역 블록현상 제거부(140)는, 중간영상의 변환블록들 중에서, 에지영역 검출부(130)에 의해 결정된 에지블록와 동일한 위치의 에지블록들을 결정할 수 있다.
에지영역 블록현상 제거부(140)는, 중간영상의 에지블록들 중에서 동일한 에지를 구성하는 에지블록들을 그룹화하고, 그룹들마다 그룹 내의 에지블록들에 대하여 3차원 직교 변환을 수행할 수 있다. 일 실시예에 따른 에지영역 블록현상 제거부(140)는, 그룹들마다 그룹 내의 에지블록들의 3차원 변환계수들을 이용하여 에지블록들의 블록현상을 제거할 수 있다.
에지영역 블록현상 제거부(140)는, 블록 매칭을 통해 그룹화된 블록들에 대해 3차원 직교 변환을 수행하고, 3차원 변환계수들에 대해 필터링을 수행하는 BM3D(block matching and 3D filtering)기법을 이용하여, 동일 에지를 구성하는 에지블록들의 그룹에 대해 블록현상을 제거할 수도 있다.
에지영역 블록현상 제거부(140)는, 그룹 내의 에지블록들의 3차원 변환계수들에 대하여 임계화 필터링을 수행할 수 있다. 일 실시예에 따른 에지영역 블록현상 제거부(140)는, 소정 그룹 내의 에지블록들에 대하여, 3차원 변환계수들이 소정 임계치보다 작으면 0으로 변환하는 임계화 필터링을 수행할 수 있다.
에지영역 블록현상 제거부(140)는, 임계화 필터링이 수행된 3차원 변환계수들에 대하여 역 3차원 직교변환을 수행하여 그룹들마다 그룹 내의 에지블록들을 복원할 수 있다.
에지영역 블록현상 제거부(140)는, 복수 개의 그룹들마다, 3차원 직교 변환, 임계화 필터링 및 역 3차원 직교변환을 수행함으로써, 복수 개의 에지블록들을 복원하고, 그룹별로 복원된 에지블록들 중 중첩되는 에지블록들에 대해서, 가중 평균 블록을 결정함으로써, 에지영역을 갱신할 수도 있다.
에지영역 블록현상 제거부(140)는, 복원된 에지블록들에 기초하여 중간영상 중에서 에지영역을 갱신할 수 있다. 에지영역 블록현상 제거부(140)는, 평탄영역의 블록현상이 제거된 중간영상에서, 추가적으로 에지블록들의 블록현상이 제거된 에지영역으로 갱신하므로, 최종적으로 블록 변환에 의해 발생된 블록현상이 제거된 영상을 출력할 수 있다.
이상 전술된 에지블록 그룹에 대한 3차원 변환을 통해 에지영역의 블록현상을 제거하는 방법은, 도 7를 참조하여 상세히 후술된다.
도 4 는 일 실시예에 따라 평탄영역의 블록현상을 검출하는 방법을 도시한다. 평탄영역 블록현상 검출부(110)가 평탄영역의 블록현상을 검출하는 동작의 일례가 상술된다.
본 발명에 따른 평탄영역 블록현상 제거 장치(100, 300)는, 변환블록의 변환계수들 중에서, 저주파 계수들을 이용하여, 평탄영역의 블록현상을 제거할 수 있다. 특히, 저주파 계수들 중에서 DC계수들에 대한 양자화가 심각한 블록현상을 야기할 수 있다. 따라서, 평탄영역 블록현상 검출부(110)가 인접하는 블록들간의 DC계수들 간의 차이, 즉 인접블록들간의 DC계수들의 그래디언트(gradient)를 이용하여 블록현상의 강도(BAS)를 결정할 수 있다.
입력영상의 평탄영역(410)에 대한 변환 영역의 평탄블록들 F1, F2, F3, F4, F5, F6, F7, F8, F9, F10, F11, F12, F13, F14, F15, F16의 변환계수들 중에서, DC계수들 411, 412, 413, 414, 415, 416, 417, 418, 419, 420, 421, 422, 423, 424, 425, 426이 추출되어, 추출된 DC계수들이 병합되어 영상(430)이 생성될 수 있다.
평탄영역 블록현상 검출부(110)는, 영상(430)의 그래디언트를 이용하여, 각각 평탄블록의 위치마다 지역적 블록현상 강도를 결정할 수 있다. 평탄영역 블록현상 검출부(110)는, 입력영상의 평탄영역(410)의 모든 평탄블록들에서 구한 지역적 블록현상 강도의 평균값을 산출함으로써, 전역적 블록현상 강도를 결정할 수 있다. 전역적 블록현상 강도 BASg를 결정하기 위하여, 모든 평탄블록들의 DC계수들만으로 구성된 영상 IDC(430)에서 수직 및 수평 방향의 그래디언트의 절대값들의 평균값이 산출될 수 있다.
수학식 1에 따르면, 입력영상의 평탄영역(410)의 N개의 평탄블록들 F에 대해, 각각의 평탄블록마다 지역적 블록현상 강도는, 영상 IDC(430)의 변환계수마다 x축 방향의 그래디언트의 절대값
Figure 112011070997682-pat00001
와 y축 방향의 그래디언트의 절대값
Figure 112011070997682-pat00002
의 합으로 결정될 수 있다. 따라서, 입력영상의 평탄영역(410)의 전역적 블록현상 강도는, 영상 IDC(430)의 변환계수들에 대한 지역적 블록현상 강도들의 평균값으로, 수학식 1에 따를 수 있다.
Figure 112011070997682-pat00003
평탄영역 블록현상 검출부(110)는, 입력영상의 평탄영역(410)의 전역적 블록현상 강도 BASg가 소정 임계치보다 크면, 평탄영역(410)에서 블록현상이 발생한 것으로 분석하고 평탄영역(410)에 대해 디블로킹 필터링이 필요하다고 결정할 수 있다.
도 5 는 일 실시예에 따라 평탄영역의 블록현상을 제거하는 방법을 도시한다. 도 5 에서, 평탄영역 블록현상 제거부(120)의 동작이 예시된다.
평탄영역 블록현상 제거부(120)는, 입력영상(510)의 픽셀들 p1, p2, p3, p4마다, 블록 단위의 변환을 수행할 수 있다. 즉, 좌측상단 모서리에 픽셀들 p1, p2, p3, p4이 각각 위치하는 크기 8x8의 픽셀별 블록 B1, B2, B3, B4마다, 8x8 DCT(Discrete Cosine Transform)을 수행할 수 있다.
DCT블록 그룹 520은, 픽셀별 블록 B1, B2, B3, B4의 각각의 DCT블록 CB1, CB2, CB3, CB4을 포함하며, 입력영상(510)의 픽셀별 DCT블록들이 배열된 형태이다. 평탄영역 블록현상 제거부(120)는, DCT블록들의 변환계수들 중에서, 3개의 저주파 계수들, 즉 DC계수, 제1 AC 계수, 제2 AC계수만을 추출한다. 즉, 평탄영역 블록현상 제거부(120)는, DCT블록 CB1의 변환계수들 중에서 계수 DC1, AC11, AC12을 추출하고, 이와 유사하게 DCT블록 CB2의 계수 DC2, AC21, AC22, DCT 블록 CB3의 계수 DC3, AC31, AC32, 블록 CB4의 계수 DC4, AC41, AC42을 추출할 수 있다.
평탄영역 블록현상 제거부(120)는, 3개의 저주파 계수들, 즉, DC계수, 제1 AC 계수, 제2 AC계수를, 계수 위치별로 분류할 수 있다. 평탄영역 블록현상 제거부(120)는, DC계수들 DC1, DC2, DC3, DC4 등을, 해당 DCT블록 CB1, CB2, CB3, CB4의 위치 순서대로 나열한 저주파 계수 영상 531을 구성할 수 있다. 이와 유사하게, 제1 AC계수들 AC11, AC21, AC31, AC41 등이 DCT블록 순서대로 나열된 저주파 계수 영상 533, 제2 AC계수들 AC12, AC22, AC32, AC42 등이 DCT블록 순서대로 나열된 저주파 계수 영상 535가 생성될 수 있다.
저주파 계수 영상들(531, 533, 535)은 각각 입력영상(510)의 저주파 계수들로 구성된 영상이므로, 저주파 계수 영상들(531, 533, 535)의 픽셀들은 입력영상(510)의 저주파 계수들에 상응한다.
평탄영역 블록현상 제거부(120)는, 저주파 계수 영상(531, 533, 535)을 이용하여, 평탄블록의 블록현상을 제거할 수 있다(540). 평탄영역 블록현상 제거부(120)는, 평탄블록의 지역적 블록현상 강도 BAS에 기초하여 평탄블록마다 블록현상 제거를 위한 평탄화 필터링 강도를 결정할 수 있다. 저주파 계수 영상(531, 533, 535) 내에서, 평탄블록들에 상응하는 픽셀들(즉, 저주파 계수들)에 대해, 평탄블록에 따라 결정된 고유의 평탄화 필터링 강도에 기초하여 디블로킹 필터링을 수행함으로써, 저주파 계수 영상(531, 533, 535)의 저주파 계수들이 보정될 수 있다.
평탄영역 블록현상 제거부(120)는, 평탄블록의 지역적 블록현상 강도 BAS가 큰 곳에서는 강한 평탄화 필터링을 수행하고, 지역적 블록현상 강도 BAS가 작은 곳에서는 약한 평탄화 필터링을 수행하도록 결정할 수 있다.
도 6 은 일 실시예에 따라 평탄영역의 블록현상을 제거하기 위한 필터링의 일례를 도시한다.
픽셀분포 그래프 (a)에 따르면, 저주파 계수 영상(531, 533, 535) 중에서 연속하는 픽셀(저주파 계수)들 A, B, C, D, E, F 중에서, 픽셀들 A, B, C 간에 각각 밝기 pA, pB, pC가 서로 유사하며, 픽셀들 D, E, F 간에 밝기 pD, pE, pF가 서로 유사하다. 픽셀들 A, B, C와 픽셀들 D, E, F 사이의 밝기차 d는 픽셀 D와 픽셀 C 간의 밝기차 |pD-pC|가 존재하여, 픽셀들 A, B, C과 픽셀들 D, E, F 사이에 블록 경계가 형성된다.
평탄영역 블록현상 제거부(120)는, 픽셀들 A, B, C와 픽셀들 D, E, F 사이의 블록 경계에 대해 강한 평탄화 필터링을 수행하는 경우, 픽셀분포 그래프 (b)와 같은 필터링 결과를 유도할 수 있다. 즉, 평탄영역 블록현상 제거부(120)는, 저주파 계수 영상(531, 533, 535) 중에서 블록 경계를 중심으로 연속하는 6개의 픽셀들 A, B, C, D, E, F에 대해 필터링을 수행할 수 있다. 픽셀들 A, B, C, D, E, F의 불연속적인 밝기 pA, pB, pC, pD, pE, pF가 각각 밝기 pA*, pB*, pC*, pD*, pE*, pF*로 보정되어, 픽셀들 A, B, C, D, E, F의 밝기가 연속적이고 선형적으로 증감하도록 평탄화될 수 있다.
평탄영역 블록현상 제거부(120)는, 픽셀들 A, B, C와 픽셀들 D, E, F 사이에 블록 경계에 대해 약한 평탄화 필터링을 수행하는 경우, 픽셀분포 그래프 (c)와 같이, 블록 경계 주변의 일부 픽셀들의 밝기만 보정할 수 있다. 즉, 평탄영역 블록현상 제거부(120)는, 저주파 계수 영상(531, 533, 535) 중에서 블록 경계를 중심으로 연속하는 4개의 픽셀들 B, C, D, E에 대해 필터링을 수행할 수 있다. 픽셀들 B, C, D, E의 불연속적인 밝기 pB, pC, pD, pE가 pB**, pC**, pD**, pE**로 보정되어, 픽셀들 A, B, C, D, E, F 의 밝기가 연속적으로 증감하도록 평탄화될 수 있다.
이 때, 보정 대상 픽셀들과 블록 경계간의 거리에 따라 보정 정도가 가변적으로 결정될 수 있다. 예를 들어, 블록 경계로부터 상대적으로 먼 위치의 픽셀들 B, E의 밝기 보정 후의 픽셀밝기 pB**, pE**는 본래 밝기 pB, pE로부터의 증감 비율이 1/8로 상대적으로 보정 정도가 작고, 블록 경계로부터 상대적으로 가까운 위치의 픽셀들 C, D의 보정 후의 픽셀밝기 pC**, pD**는 본래 밝기 pC, pD로부터의 증감 비율이 1/2로 상대적으로 보정 정도가 크다.
따라서 평탄영역 블록현상 제거부(120)는, 평탄블록의 지역적 블록현상 강도 BAS가 큰 곳에서는 강한 평탄화 필터링(도 6의 그래프 (b))을 수행하고, 지역적 블록현상 강도 BAS가 작은 곳에서는 약한 평탄화 필터링(도 6의 그래프 (c))을 수행할 수 있다.
평탄영역 블록현상 제거부(120)는, 저주파 계수 영상들(531, 533, 535)별로 저주파 계수들을 보정한 결과, 저주파 계수 보정 후의 저주파 계수 영상들(551, 553, 555)을 각각 생성할 수 있다. 평탄영역 블록현상 제거부(120)는, 저주파 계수 영상들(551, 553, 555)의 저주파 계수들 중에서, 입력영상(510)의 변환블록들에 상응하는 위치의 저주파 계수들을 선별하여 추출할 수 있다.
이에 따라 평탄영역 블록현상 제거부(120)는, 저주파 계수 영상들(551, 553, 555)의 저주파 계수들 중에서, 입력영상의 크기 8x8의 변환블록들에 상응하는 위치, 즉 연속하는 8개의 픽셀들마다 하나의 픽셀들을 추출하여, 입력영상(510)의 변환블록들 내의 저주파 계수들을 대체할 수 있다.
즉, 저주파 계수 영상(551)로부터 추출된 픽셀들은 입력영상(510)의 변환블록들 내의 DC계수를 대체하고, 저주파 계수 영상(553)로부터 추출된 픽셀들은 입력영상(510)의 변환블록들 내의 제1 AC계수를 대체하고, 저주파 계수 영상(555)로부터 추출된 픽셀들은 입력영상(510)의 변환블록들 내의 제2 AC계수를 대체할 수 있다.
예를 들어 평탄영역 블록현상 제거부(120)는, 저주파 계수 영상(551)로부터 8개의 픽셀들마다 하나씩, 보정 계수들 DC11, DC22, DC33, DC44을 추출할 수 있다. 평탄영역 블록현상 제거부(120)는, 저주파 계수 영상(553)로부터 8개의 픽셀들마다 하나씩, 보정 계수들 AC111, AC221, AC331, AC441을 추출하고, 저주파 계수 영상(555)로부터 8개의 픽셀들마다 하나씩, 보정 계수들 AC112, AC222, AC332, AC442을 추출할 수 있다.
따라서, 변환 영역의 중간영상(560)의 변환블록 CB11, CB22, CB33, CB44의 DC계수는, 각각 저주파 계수 영상(551)로부터 추출된 보정 계수들 DC11, DC22, DC33, DC44로 대체될 수 있다. 이와 유사하게, 변환 영역의 중간영상(560)의 변환블록 CB11, CB22, CB33, CB44의 제1 AC계수는, 각각 저주파 계수 영상(553)로부터 추출된 보정 계수들 AC111, AC221, AC331, AC441로 대체되고, 변환블록 CB11, CB22, CB33, CB44의 제2 AC계수는, 각각 저주파 계수 영상(555)로부터 추출된 보정 계수들 AC112, AC222, AC332, AC442로 대체될 수 있다.
결과적으로, 변환 영역의 중간영상(560)의 변환블록 CB11, CB22, CB33, CB44의 DC계수, 제1 AC계수, 제2 AC계수의 3개 계수들은 저주파 계수 영상(551, 553, 555)의 보정 계수들로 대체되지만, 나머지 61개의 계수들은 입력영상의 DCT블록의 계수들로 유지된다.
평탄영역 블록현상 제거부(120)는, 변환 영역의 중간영상(560)에 대하여 크기 8x8 블록 단위로 역DCT를 수행하여, 공간 영역의 중간영상(570)을 생성할 수 있다. 중간영상(570)은, 입력영상(510)으로부터 평탄블록의 블록현상이 제거된 결과영상이다.
도 7 은 일 실시예에 따라 에지영역의 블록현상을 제거하기 위한 방법을 도시한다. 에지영역 블록현상 제거부(140)에서, 입력영상의 에지영역에서 발생하는 블록현상을 제거하는 방법의 일례가 상술된다.
에지영역 검출부(130)는, 입력영상의 변환블록들로부터 소정 개수의 저주파 계수들만을 포함하는 저주파 대역 영상을 차감하여, 고주파 대역 영상을 생성할 수 있다. 에지영역 검출부(130)는, 고주파 대역 영상의 변환블록들 중에서, 샘플들의 에너지가 소정 임계치보다 큰 변환블록을 에지블록으로 결정할 수 있다.
에지영역 블록현상 제거부(140)는, 평탄영역 블록현상 제거부(120)에 의해 평탄영역 블록현상이 제거된 중간영상(710)을 입력받고, 에지영역 검출부(130)로부터 에지블록들의 위치를 획득할 수 있다. 에지영역 블록현상 제거부(140)는 에지영역 검출부(130)에 의해 검출된 에지블록들에 상응하여, 중간영상(710)의 에지블록들을 결정할 수 있다. 중간영상(710)에서 백색 테두리의 블록들이 에지블록들이다.
에지영역 블록현상 제거부(140)는, 중간영상(710)의 에지블록들 중에서 동일한 에지를 구성하는 에지블록들을 그룹화할 수 있다(720). 예를 들어 에지영역 검출부(130)는, 참조블록(711)을 기준으로 유사한 블록을 검색하는 블록매칭을 통해 소정범위의 주변블록들 중에서 일치블록들을 검색하여, 동일 에지를 구성하는 에지블록(713, 715, 717)을 결정할 수 있다.
에지영역 블록현상 제거부(140)는, 미리 검출된 에지블록들에 대한 블록매칭을 통해, 에지블록들을 그룹화하므로, 블록매칭에 기반한 3차원 변환 기법의 연산량을 감축할 수 있다.
에지영역 블록현상 제거부(140)는, 동일 에지를 구성하는 에지블록들의 그룹을 하나 이상 결정할 수도 있다. 즉, 블록매칭을 통해 그룹화된 에지블록들(711, 713, 715, 717)의 그룹#1 뿐만 아니라, 다른 에지를 구성하는 에지블록들을 검색하여, 다수의 에지블록 그룹들이 형성될 수 있다.
이하 설명의 편의를 위해, 에지영역 블록현상 제거부(140)의 동작은 그룹#1에 대한 동작으로 기술되지만, 그룹들마다 에지블록의 블록현상 제거 동작이 수행되어 처리 결과가 최종적으로 통합될 수 있다.
에지영역 블록현상 제거부(140)는, 그룹#1 내의 에지블록들(711, 713, 715, 717)에 대하여 3차원 직교 변환을 수행하여, 그룹 내의 에지블록들의 3차원 변환계수들을 산출하고, 3차원 변환계수들에 대해 임계화 필터링을 수행함으로써 그룹 내 에지블록들의 블록현상을 제거할 수 있다(730).
영상의 3차원 변환계수들의 통계적 분포에 따르면, 일반적으로 3차원 변환계수들 중에서 0이 아닌 변환계수의 분포가 조밀하지 않은 블록에서 블록현상이 발생할 가능성이 낮다. 따라서 에지영역 블록현상 제거부(140)는, 3차원 변환계수들이 소정 임계치보다 작으면 0으로 변환시키는 하드 쓰레숄딩(hard-thresholding) 기법에 따른 임계화 필터링을 통해, 에지블록 내 3차원 변환계수가 소정 임계치보다 작은 3차원 변환계수는 0으로 변환시킴으로써, 0이 아닌 3차원 변환계수의 수가 줄일 수 있다. 즉, 에지영역 블록현상 제거부(140)는 0이 아닌 3차원 변환계수의 분포가 조밀하지 않은 에지블록들을 출력할 수 있다. 이에 따라, 에지블록 그룹 내에서의 에지블록들의 구조는 보존되면서, 변환계수들이 보정되어 에지블록의 블록현상이 제거될 수 있다.
에지영역 블록현상 제거부(140)는, 임계화 필터링이 수행된 3차원 변환계수들에 대하여 역 3차원 직교변환을 수행하여, 그룹#1의 에지블록들(711, 713, 715, 717)을 복원할 수 있다. 또한 에지영역 블록현상 제거부(140)는, 그룹#1을 포함하여 그룹들마다, 3차원 직교 변환, 임계화 필터링 및 역 3차원 직교변환을 수행함으로써 에지블록들을 복원하고, 그룹별로 복원된 에지블록들 중에서 중첩되는 에지블록들에 대해서는 가중 평균 블록을 결정함으로써, 중간영상(710)의 에지영역을 갱신할 수 있다. 그룹별 에지블록의 가중 평균을 통해, 에지블록마다 잔류가능성이 있는 블록현상이 다시 제거될 수 있다.
도 8 은 본 발명의 일 실시예에 따른 변환계수를 이용한 영상 블록현상 제거 방법의 흐름도를 도시한다.
일 실시예에 따른 변환계수를 이용한 영상 블록현상 제거 방법은, 영상 처리 프로세서, 그래픽 연산 프로세서(GPU) 등의 연산 프로세서에 의해 구현될 수 있다.
단계 810에서, 입력영상 중에서 평탄영역의 블록현상이 검출된다. 입력영상은, 디코더에 의해 복호화되어 복원된 영상일 수 있다.
입력영상의 평탄블록들의 블록현상 강도에 기초하여 평탄영역의 블록현상이 검출될 수 있다. 일 실시예에 따른 블록현상 강도는, 현재 평탄블록의 인접블록들의 DC계수들 간의 차이에 기초하여 결정될 수 있다. 평탄블록들의 지역적 블록현상 강도가 결정되고, 평탄블록들의 지역적 블록현상 강도의 평균값에 기초하여 입력영상의 전역적 블록현상 강도가 결정되어, 전역적 블록현상 강도가 소정 임계치를 초과하면, 입력영상의 평탄영역에 블록현상이 발생한 것으로 분석될 수 있다.
단계 820에서, 검출 결과에 기초하여 입력영상의 변환블록들마다, 블록별 변환계수들 중에서 소정 개수의 저주파 계수들을 이용하여 평탄영역의 블록현상이 제거된다.
일 실시예에 따라 입력영상의 픽셀들마다, 픽셀별 블록의 변환계수들 중에서 상기 소정 개수의 저주파 계수들이 보정됨으로써, 평탄영역의 블록현상이 제거될 수 있다. 소정 개수의 저주파 계수들은 변환블록들 내의 계수 위치별로 분류하여, 동일 계수 위치의 저주파 계수들끼리 보정될 수 있다.
앞서 단계 810에서 결정된 평탄블록의 지역적 블록현상 강도를 이용하여, 평탄영역의 블록현상의 평탄화 필터링 강도가 결정되어 평탄블록의 위치에 따라 평탄화 필터링이 가변적으로 수행될 수 있다.
입력영상의 블록별 변환계수들 중에서, 소정 개수의 저주파 계수들만이 상기 보정된 저주파 계수들로 대체되고, 나머지 계수들은 입력영상의 변환계수들이 유지될 수 있다. 일부 저주파 계수들은 대체된 변환 영역의 영상을 변환블록별로 역변환함으로써, 평탄블록의 블록현상이 제거된 공간 영역의 중간영상이 생성될 수 있다.
단계 830에서, 입력영상 중에서 에지영역이 검출된다. 입력영상의 고주파 대역 영상의 변환블록들 중에서, 샘플들의 에너지가 소정 임계치보다 큰 변환블록을 에지블록으로 검출될 수 있다.
단계 840에서, 입력영상으로부터 평탄영역의 블록현상이 제거된 중간영상에 대하여, 입력영상의 검출된 에지영역에 기초하여 중간영상의 에지영역의 블록현상이 제거된다. 최종적으로 입력영상으로부터 평탄영역의 블록현상이 먼저 제거된후, 에지영역의 블록현상이 제거된 결과영상이 출력될 수 있다.
중간영상의 에지블록들 중에서, 동일한 에지를 구성하는 에지블록들을 그룹화하고, 그룹 내의 에지블록들에 대하여 3차원 직교 변환을 수행하여, 그룹 내의 에지블록들의 3차원 변환계수들이 생성될 수 있다. 그룹 내의 에지블록들의 3차원 변환계수들에 대하여 임계화 필터링을 수행한 후 역 3차원 직교변환을 수행함으로써, 그룹 내의 에지블록들의 블록현상이 제거될 수 있다. 다수의 그룹들에 의해 3차원 직교 변환된 후 임계화 필터링된 에지블록에 대해서는, 가중 평균이 산출됨으로써 중간영상의 에지영역이 갱신될 수 있다.
다양한 실시예들에 따라 변환계수를 이용한 영상 블록현상 제거 장치(100, 300)는, 양자화된 DCT 계수 보정을 통하여 영상의 화질에 영향을 미치는 블록현상을 효율적으로 감소시켜 고화질 DTV 영상을 획득할 수 있다. 또한 영상 블록현상을 제거하기 위해 각종 부호화 정보가 사용되지 않으므로, TV의 D-Sub 단자나 DVI(Digital Video Interface)/HDMI(High-Definition Multimedia Interface) 단자를 통해 입력되는 무압축 영상 데이터에 대해서도 효과적으로 블록현상이 제거될 수 있다.
특히, 영상 블록현상 제거 장치(100, 300)는, 부호화 정보가 필요없고 부복호화 시스템 내에 하드웨어 자원이 추가될 필요가 없는 디블로킹 후처리 기법을 채택하므로, 저 전송률 부호화 영상에 대한 디블로킹 기법으로 유용하다,
본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (37)

  1. 영상의 블록현상을 제거하는 방법에 있어서,
    입력영상 중에서 평탄영역의 블록현상을 검출하는 단계;
    상기 검출 결과에 기초하여, 상기 입력영상의 변환블록들마다, 블록별 변환계수들 중에서 소정 개수의 저주파 계수들을 이용하여 상기 평탄영역의 블록현상을 제거하는 단계;
    상기 입력영상 중에서 에지영역을 검출하는 단계; 및
    상기 입력영상으로부터 평탄영역의 블록현상이 제거된 중간영상에 대하여, 상기 입력영상의 검출된 에지영역에 기초하여 상기 중간영상의 에지영역의 블록현상을 제거하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  2. 제1항에 있어서, 상기 평탄영역 블록현상 검출 단계는,
    상기 입력영상 중에서 평탄블록들을 결정하는 단계; 및
    상기 평탄블록들의 블록현상 강도에 기초하여 상기 평탄영역의 블록현상을 검출하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  3. 제2항에 있어서, 상기 평탄블록들의 블록현상 강도에 기초하여 상기 평탄영역의 블록현상을 검출하는 단계는,
    상기 평탄블록들 중에서 현재 평탄블록의 인접블록들의 DC계수들 간의 차이에 기초하여 상기 현재 평탄블록의 블록현상 강도를 결정하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  4. 제2항에 있어서, 상기 평탄블록들의 블록현상 강도에 기초하여 상기 평탄영역의 블록현상을 검출하는 단계는,
    상기 평탄블록들의 지역적 블록현상 강도를 결정하는 단계;
    상기 평탄블록들의 지역적 블록현상 강도의 평균값에 기초하여 상기 입력영상의 전역적 블록현상 강도를 결정하는 단계; 및
    상기 전역적 블록현상 강도가 소정 임계치를 초과하면, 상기 입력영상의 평탄영역에 블록현상이 발생한 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  5. 제1항에 있어서, 상기 평탄영역 블록현상 제거 단계는,
    상기 입력영상의 픽셀들마다, 소정 크기의 블록 단위로 변환하여 픽셀별 변환계수들을 결정하는 단계; 및
    상기 픽셀들마다, 상기 픽셀별 변환계수들 중에서 상기 소정 개수의 저주파 계수들을 보정하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  6. 제5항에 있어서, 상기 평탄영역 블록현상 제거 단계는,
    상기 입력영상을 상기 블록 단위로 분할하여 변환한 블록별 변환계수들을, 상기 보정된 저주파 계수들로 대체하는 단계; 및
    상기 입력영상의 변환계수들을 상기 변환블록별로 역변환하여 공간 영역의 중간영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  7. 제5항에 있어서, 상기 소정 개수의 저주파 계수들을 보정하는 단계는,
    상기 소정 개수의 저주파 계수들을 상기 변환블록들 내의 계수 위치별로 분류하여, 상기 저주파 계수들의 계수 위치들마다, 동일 계수 위치의 저주파 계수들이 해당 블록의 순서대로 나열된 저주파 계수 영상들을 생성하는 단계; 및
    상기 계수 위치별로 생성된 저주파 계수 영상들마다, 상기 평탄블록의 상기 평탄영역의 블록현상을 제거하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  8. 제6항에 있어서, 상기 입력영상을 상기 블록 단위로 분할하여 변환한 블록별 변환계수들을 상기 보정된 저주파 계수들로 대체하는 단계는,
    상기 보정된 저주파 계수들 중에서, 상기 입력영상의 변환블록들과 동일한 위치의 블록들의 저주파 계수들을 추출하는 단계; 및
    상기 입력영상의 변환블록들의 저주파 계수들 중에서, 상기 추출된 저주파 계수들과 동일한 위치의 저주파 계수들을, 상기 추출된 저주파 계수들로 대체하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  9. 제4항에 있어서, 상기 평탄영역 블록현상 제거 단계는,
    상기 평탄블록의 지역적 블록현상 강도에 기초하여 상기 평탄블록들마다 블록현상을 제거하기 위한 평탄화 필터링 강도를 결정하고, 상기 결정된 평탄화 필터링 강도에 기초하여 상기 평탄영역의 블록현상을 제거하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  10. 제4항에 있어서, 상기 평탄영역 블록현상 제거 단계는,
    상기 평탄블록의 지역적 블록현상 강도에 기초하여 평탄영역의 블록현상을 제거하기 위한 토탈 베리에이션 필터링(Total Variation filtering)의 필터링 강도를 결정하여, 상기 결정된 필터링 강도에 기초하여 상기 토탈 베리에이션 필터링을 수행하여 상기 평탄블록의 블록현상을 제거하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  11. 제1항에 있어서, 상기 입력영상 중에서 에지영역을 검출하는 단계는,
    상기 입력영상의 변환블록들마다 상기 소정 개수의 저주파 계수들만을 포함하고 나머지 계수들은 모두 0인 영상을 역변환하여 저주파 대역 영상을 생성하는 단계; 및
    상기 입력영상으로부터 상기 저주파 대역 영상을 차감하여 고주파 대역 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  12. 제11항에 있어서, 상기 입력영상 중에서 에지영역을 검출하는 단계는,
    상기 고주파 대역 영상의 변환블록들 중에서, 샘플들의 에너지가 소정 임계치보다 큰 변환블록을 에지블록으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  13. 제12항에 있어서,
    상기 샘플들의 에너지는, 상기 변환블록들의 변환계수들의 절대값의 평균 또는 상기 변환블록들의 픽셀값들의 절대값의 평균인 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  14. 제1항에 있어서, 상기 검출된 에지영역 중에서 블록현상을 제거하는 단계는,
    상기 입력영상의 검출된 에지영역에 상응하여, 상기 중간영상의 에지영역의 에지블록들 중에서, 동일한 에지를 구성하는 에지블록들을 그룹화하는 단계;
    각각의 그룹 내의 에지블록들에 대하여 3차원 직교 변환을 수행하는 단계; 및
    상기 각각의 그룹 내의 에지블록들의 3차원 변환계수들을 이용하여 상기 에지블록들의 블록현상을 제거하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  15. 제14항에 있어서, 상기 각각의 그룹 내의 에지블록들의 3차원 변환계수들을 이용하여 상기 에지블록들의 블록현상을 제거하는 단계는,
    상기 3차원 변환계수들이 소정 임계치보다 작으면 0으로 변환하는 임계화 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  16. 제14항에 있어서, 상기 각각의 그룹 내의 에지블록들의 3차원 변환계수들을 이용하여 상기 에지블록들의 블록현상을 제거하는 단계는,
    상기 3차원 변환계수들에 대하여 임계화 필터링을 수행하는 단계;
    상기 임계화 필터링이 수행된 3차원 변환계수들에 대하여 역 3차원 직교변환을 수행하여 상기 각각의 그룹 내의 에지블록들을 복원하는 단계; 및
    상기 복원된 에지블록들에 기초하여 상기 중간영상 중에서 검출된 에지영역을 갱신하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  17. 제16항에 있어서, 상기 복원된 에지블록들에 기초하여 상기 입력영상 중에서 검출된 에지영역을 갱신하는 단계는,
    복수 개의 그룹들마다, 상기 3차원 직교 변환, 상기 임계화 필터링 및 상기 역 3차원 직교변환을 수행함으로써 복원된 에지블록들 중 중첩되는 영역의 에지블록들에 대해서, 가중 평균 블록을 결정함으로써, 상기 에지영역을 갱신하는 단계를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  18. 제1항에 있어서, 상기 영상 블록현상 제거 방법은,
    디코더에 의해 복호화되어 복원된 영상을 입력받는 단계를 더 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 방법.
  19. 영상의 블록현상을 제거하는 장치에 있어서,
    입력영상 중에서 평탄영역의 블록현상을 검출하는 평탄영역 블록현상 검출부;
    상기 검출 결과에 기초하여, 상기 입력영상의 변환블록들마다, 블록별 변환계수들 중에서 소정 개수의 저주파 계수들을 이용하여 상기 평탄영역의 블록현상을 제거하는 평탄영역 블록현상 제거부;
    상기 입력영상 중에서 에지영역을 검출하는 에지영역 검출부; 및
    상기 입력영상으로부터 평탄영역의 블록현상이 제거된 중간영상에 대하여, 상기 입력영상의 검출된 에지영역에 기초하여 상기 중간영상의 에지영역의 블록현상을 제거하는 에지영역 블록현상 제거부를 포함하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  20. 제19항에 있어서, 상기 평탄영역 블록현상 검출부는,
    상기 입력영상 중에서 평탄블록들을 결정하고, 상기 평탄블록들의 블록현상 강도에 기초하여 상기 평탄영역의 블록현상을 검출하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  21. 제20항에 있어서, 상기 평탄영역 블록현상 검출부는,
    상기 평탄블록들 중에서 현재 평탄블록의 인접블록들의 DC계수들 간의 차이에 기초하여 상기 현재 평탄블록의 블록현상 강도를 결정하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  22. 제20항에 있어서, 상기 평탄영역 블록현상 검출부는,
    상기 평탄블록들의 지역적 블록현상 강도를 결정하고, 상기 평탄블록들의 지역적 블록현상 강도의 평균값에 기초하여 상기 입력영상의 전역적 블록현상 강도를 결정하고,
    상기 전역적 블록현상 강도가 소정 임계치를 초과하면, 상기 입력영상의 평탄영역에 블록현상이 발생한 것으로 결정하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  23. 제19항에 있어서, 상기 평탄영역 블록현상 제거부는,
    상기 입력영상의 픽셀들마다, 소정 크기의 블록 단위로 변환하여 픽셀별 변환계수들을 결정하고, 상기 픽셀들마다 상기 픽셀별 변환계수들 중에서 상기 소정 개수의 저주파 계수들을 보정하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  24. 제23항에 있어서, 상기 평탄영역 블록현상 제거부는,
    상기 입력영상의 변환블록들마다, 블록별 변환계수들을 상기 보정된 저주파 계수들로 대체하고, 상기 입력영상의 변환계수들을 상기 변환블록별로 역변환하여 공간 영역의 중간영상을 생성하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  25. 제23항에 있어서, 상기 평탄영역 블록현상 제거부는,
    상기 소정 개수의 저주파 계수들을 상기 변환블록들 내의 계수 위치별로 분류하여, 상기 저주파 계수들의 계수 위치들마다, 동일 계수 위치의 저주파 계수들이 해당 블록의 순서대로 나열된 저주파 계수 영상들을 생성하고,
    상기 계수 위치별로 생성된 저주파 계수 영상들마다, 상기 평탄블록의 상기 평탄영역의 블록현상을 제거하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  26. 제24항에 있어서, 상기 평탄영역 블록현상 제거부는,
    상기 보정된 저주파 계수들 중에서, 상기 입력영상의 변환블록들과 동일한 위치의 블록들의 저주파 계수들을 추출하고,
    상기 입력영상의 변환블록들의 저주파 계수들 중에서, 상기 추출된 저주파 계수들과 동일한 위치의 저주파 계수들을, 상기 추출된 저주파 계수들로 대체하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  27. 제22항에 있어서, 상기 평탄영역 블록현상 제거부는,
    상기 평탄블록의 지역적 블록현상 강도에 기초하여 상기 평탄블록들마다 블록현상을 제거하기 위한 평탄화 필터링 강도를 결정하고, 상기 결정된 평탄화 필터링 강도에 기초하여 상기 평탄영역의 블록현상을 제거하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  28. 제22항에 있어서, 상기 평탄영역 블록현상 제거부는,
    상기 평탄블록의 지역적 블록현상 강도에 기초하여 평탄영역의 블록현상을 제거하기 위한 토탈 베리에이션 필터링의 필터링 강도를 결정하여, 상기 결정된 필터링 강도에 기초하여 상기 토탈 베리에이션 필터링을 수행하여 상기 평탄블록의 블록현상을 제거하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  29. 제19항에 있어서, 상기 에지영역 검출부는,
    상기 입력영상의 변환블록들마다 상기 소정 개수의 저주파 계수들만을 포함하고 나머지 계수들은 모두 0인 영상을 역변환하여 저주파 대역 영상을 생성하고,
    상기 입력영상으로부터 상기 저주파 대역 영상을 차감하여 고주파 대역 영상을 생성하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  30. 제29항에 있어서, 상기 에지영역 검출부는,
    상기 고주파 대역 영상의 변환블록들 중에서, 샘플들의 에너지가 소정 임계치보다 큰 변환블록을 에지블록으로 결정하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  31. 제30항에 있어서,
    상기 샘플들의 에너지는, 상기 변환블록들의 변환계수들의 절대값의 평균 또는 상기 변환블록들의 픽셀값들의 절대값의 평균인 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  32. 제19항에 있어서, 상기 에지영역 블록현상 제거부는,
    상기 입력영상의 검출된 에지영역에 상응하여, 상기 중간영상의 에지영역의 에지블록들 중에서 동일한 에지를 구성하는 에지블록들을 그룹화하고, 각각의 그룹 내의 에지블록들에 대하여 3차원 직교 변환을 수행하고,
    상기 각각의 그룹 내의 에지블록들의 3차원 변환계수들을 이용하여 상기 에지블록들의 블록현상을 제거하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  33. 제32항에 있어서, 상기 에지영역 블록현상 제거부는,
    상기 3차원 변환계수들이 소정 임계치보다 작으면 0으로 변환하는 임계화 필터링을 수행하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  34. 제32항에 있어서, 상기 에지영역 블록현상 제거부는,
    상기 3차원 변환계수들에 대하여 임계화 필터링을 수행하고,
    상기 임계화 필터링이 수행된 3차원 변환계수들에 대하여 역 3차원 직교변환을 수행하여 상기 각각의 그룹 내의 에지블록들을 복원하고,
    상기 복원된 에지블록들에 기초하여 상기 중간영상 중에서 검출된 에지영역을 갱신하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  35. 제34항에 있어서, 상기 에지영역 블록현상 제거부는,
    복수 개의 그룹들마다, 상기 3차원 직교 변환, 상기 임계화 필터링 및 상기 역 3차원 직교변환을 수행함으로써 상기 에지블록들을 복원하고, 상기 복원된 에지블록들 중 중첩되는 영역의 에지블록들에 대해서, 가중 평균 블록을 결정함으로써, 상기 에지영역을 갱신하는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  36. 제19항에 있어서, 상기 블록현상 제거 장치는,
    디코더에 의해 복호화되어 복원된 영상을 입력받는 것을 특징으로 하는 변환계수를 이용한 영상 블록현상 제거 장치.
  37. 제1항 내지 제19항 중 어느 한항의 변환계수를 이용한 영상 블록현상 제거 방법을 전산적으로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독가능한 기록매체.

KR1020110092222A 2011-01-10 2011-09-09 변환계수를 이용한 영상 블록현상 제거 방법 및 그 장치 KR101910502B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2011/010122 WO2012096459A2 (en) 2011-01-10 2011-12-26 Method and apparatus for removing image blocking artifact by using transformation coefficient
CN201180069177.1A CN103444179B (zh) 2011-01-10 2011-12-26 用于通过使用变换系数去除图像块效应的方法和设备
EP11855401.3A EP2664140B1 (en) 2011-01-10 2011-12-26 Method and apparatus for removing image blocking artifact by using transformation coefficient
US13/343,950 US8644636B2 (en) 2011-01-10 2012-01-05 Method and apparatus for removing image blocking artifact by using transformation coefficient

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161431176P 2011-01-10 2011-01-10
US61/431,176 2011-01-10

Publications (2)

Publication Number Publication Date
KR20120081006A KR20120081006A (ko) 2012-07-18
KR101910502B1 true KR101910502B1 (ko) 2018-10-22

Family

ID=46713399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110092222A KR101910502B1 (ko) 2011-01-10 2011-09-09 변환계수를 이용한 영상 블록현상 제거 방법 및 그 장치

Country Status (5)

Country Link
US (1) US8644636B2 (ko)
EP (1) EP2664140B1 (ko)
KR (1) KR101910502B1 (ko)
CN (1) CN103444179B (ko)
WO (1) WO2012096459A2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5367667B2 (ja) * 2010-09-21 2013-12-11 株式会社東芝 画像処理装置
US9020290B2 (en) * 2013-01-30 2015-04-28 Microsoft Technology Licensing, Llc Reduce extrapolate
CN103905822A (zh) * 2014-03-25 2014-07-02 公安部第一研究所 一种基于视觉敏感度和空域滤波的低比特压缩图像去块效应方法
CN105321172A (zh) * 2015-08-31 2016-02-10 哈尔滨工业大学 一种sar、红外、可见光图像融合方法
JP6964780B2 (ja) * 2017-12-29 2021-11-10 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 参照値と関係するデバイスとを使用するビデオの符号化および／または復号を行う方法
KR20200140096A (ko) 2019-06-05 2020-12-15 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
EP3771213A1 (en) 2019-07-24 2021-01-27 Deutsche Telekom AG System and method to estimate blockiness in transform-based video encoding
US11151703B2 (en) 2019-09-12 2021-10-19 International Business Machines Corporation Artifact removal in medical imaging

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317522B1 (en) * 1998-12-03 2001-11-13 Philips Electronics North America Corp. Systems and methods for post-processing decompressed images
US6760487B1 (en) * 1999-04-22 2004-07-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Estimated spectrum adaptive postfilter and the iterative prepost filtering algirighms
US20050074178A1 (en) * 2003-09-30 2005-04-07 Francesco Montrone Method for encoding a video data stream and video encoding device
EP1555832A3 (en) * 2004-01-14 2011-05-18 Samsung Electronics Co., Ltd. Adaptive loop filtering for reducing blocking artifacts
US7545988B2 (en) * 2004-08-09 2009-06-09 George William Meeker Image blocking artifact reduction via transform pair
US8594448B2 (en) * 2004-08-16 2013-11-26 Hewlett-Packard Development Company, L.P. Bi-selective filtering in transform domain
KR100672592B1 (ko) * 2005-01-14 2007-01-24 엘지전자 주식회사 디스플레이 장치의 영상 보상장치 및 보상방법
US8537903B2 (en) 2005-09-23 2013-09-17 Entropic Communications, Inc. De-blocking and de-ringing systems and methods
US8818109B2 (en) * 2006-07-04 2014-08-26 Hewlett-Packard Development Company, L.P. Context-aware image processing
US7760964B2 (en) * 2006-11-01 2010-07-20 Ericsson Television Inc. Method and architecture for temporal-spatial deblocking and deflickering with expanded frequency filtering in compressed domain
CN101340577A (zh) * 2007-07-06 2009-01-07 北京大学软件与微电子学院 基于方向滤波和自适应边界判定的视频后处理方法及系统
CN101389016B (zh) * 2007-09-13 2010-10-20 华为技术有限公司 获得块边界强度和去除块效应的方法和装置
US8139883B2 (en) * 2008-07-29 2012-03-20 Sony Corporation System and method for image and video encoding artifacts reduction and quality improvement

Also Published As

Publication number Publication date
EP2664140A4 (en) 2016-12-07
US8644636B2 (en) 2014-02-04
WO2012096459A2 (en) 2012-07-19
EP2664140A2 (en) 2013-11-20
CN103444179B (zh) 2017-04-12
KR20120081006A (ko) 2012-07-18
EP2664140B1 (en) 2021-02-10
WO2012096459A3 (en) 2012-09-07
CN103444179A (zh) 2013-12-11
US20120177301A1 (en) 2012-07-12

Similar Documents

Publication Publication Date Title
KR101910502B1 (ko) 변환계수를 이용한 영상 블록현상 제거 방법 및 그 장치
US20200296426A1 (en) In loop chroma deblocking filter
EP2327219B1 (en) Reducing digital image noise
EP2005755B1 (en) Quantization adjustments for dc shift artifacts
EP2005754B1 (en) Quantization adjustment based on texture level
RU2696552C1 (ru) Способ и устройство для видеокодирования
JP5351038B2 (ja) 画像データ及び深度データの組合せを処理する画像処理システム
US8576908B2 (en) Regions of interest for quality adjustments
US7778480B2 (en) Block filtering system for reducing artifacts and method
KR20220025271A (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
US20070237221A1 (en) Adjusting quantization to preserve non-zero AC coefficients
JP2001522172A (ja) 量子化効果減少のための映像データ後処理方法、装置及びこれを記録した記録媒体
WO2007041326A2 (en) System and method of spatio-temporal edge-preserved filtering techniques to reduce ringing and mosquito noise of digital pictures
US20060171466A1 (en) Method and system for mosquito noise reduction
US20230239471A1 (en) Image processing apparatus and image processing method
Yang et al. Perceptual based SAO rate-distortion optimization method with a simplified JND model for H. 265/HEVC
Zhao et al. Content adaptive image de-blocking
JP5846357B2 (ja) 画像処理装置及び画像処理プログラム
CN107396113B (zh) 用于hevc屏幕内容图像的三维块匹配滤波算法
Kaur et al. Artifacts reduction based on separate modes in compressed images
Li et al. Color bleeding reduction in image and video compression
Eerenberg et al. Block-based detection systems for visual artifact location
KR20070026507A (ko) 디코딩된 비디오에서 아티팩트들을 감소시키기 위한알고리즘
Boroczky et al. Artifact reduction for MPEG-2 encoded video using a unified metric for digital video processing
Oguz Spatial Concealment for Damaged Images Using H. 264 (MPEG-4 AVC) Intra Prediction and Neighborhood Cliques

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant