KR20090080365A - 영상의 블록킹 현상 제거 시스템 및 그 방법 - Google Patents

영상의 블록킹 현상 제거 시스템 및 그 방법 Download PDF

Info

Publication number
KR20090080365A
KR20090080365A KR1020080006270A KR20080006270A KR20090080365A KR 20090080365 A KR20090080365 A KR 20090080365A KR 1020080006270 A KR1020080006270 A KR 1020080006270A KR 20080006270 A KR20080006270 A KR 20080006270A KR 20090080365 A KR20090080365 A KR 20090080365A
Authority
KR
South Korea
Prior art keywords
block
vertical
horizontal
filtering
blocks
Prior art date
Application number
KR1020080006270A
Other languages
English (en)
Other versions
KR100950969B1 (ko
Inventor
정제창
김종호
최민석
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020080006270A priority Critical patent/KR100950969B1/ko
Publication of KR20090080365A publication Critical patent/KR20090080365A/ko
Application granted granted Critical
Publication of KR100950969B1 publication Critical patent/KR100950969B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 블록 기반(block based)으로 압축된 영상을 디코딩(복호화)한 영상에서 발생할 수 있는 블록킹 현상을 적응적으로(adaptively) 후처리하여 제거할 수 있는 시스템에 관한 것이다.
본 명세서에서 개시하는 영상의 블록킹 현상 제거 시스템은 블록 기반으로 압축된 영상의 디코딩된 영상을 디블록킹 블록으로 분할하고, 상기 디블록킹 블록내의 화소값의 변화의 정도를 참조하여 상기 디블록킹 블록의 타입(type)을 구분하는 블록 타입 구분부; 및 상기 디블록킹 블록에 대해 상기 구분된 타입에 따라 적응적으로 필터링하는 필터링부를 포함하여 본 발명의 과제를 해결한다.

Description

영상의 블록킹 현상 제거 시스템 및 그 방법{System for eliminating blocking effect in image and Method thereof}
본 발명은 영상의 블록킹 현상 제거 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 블록 기반(block based)으로 압축된 영상을 디코딩(복호화)한 영상에서 발생할 수 있는 블록킹 현상을 적응적으로(adaptively) 후처리하여 제거할 수 있는 시스템 및 방법에 관한 것이다.
최근들어 멀티미디어 영상 재생이 가능한 단말기가 일반화되고 있는데, 특히 DMB(Digital Multimedia Broadcasting)의 도입 등에 따라 고용량영상데이터의 효율적인 전송 측면의 중요성이 부각되고 있다. 효율적 전송의 실현은 고용량 영상데이터를 어떻게 효과적으로 압축하느냐의 문제로 귀착되는데, 이의 해결방안으로 여러 압축 방안(예를 들어 MPEG, H.264 등)이 제시되어 있고 또한 활용되고 있다.
한편 압축한 영상데이터를 전송받아 이를 수신단측(사용자측)에서 디코딩하여 선명한 영상을 재현하는 것도 상기한 전송(압축) 못지않게 중요한 작업이다. 왜냐하면 사용자측에서 원하는 것은 결국 디코딩된 영상이기 때문에 사용자의 눈에 만족을 주어야 하기 때문이다.
이러한 디코딩 과정에서 발생할 수 있는 가장 큰 문제는 소위 '블록킹 현상(blocking effect)'인데, 블록킹 현상이란 단위 블록(통상 8*8 블록)별로 압축 처리된 영상을 디코딩한 영상의 단위 블록간의 경계가 마치 바둑판과 같은 모습으로 가시적으로 보이는 현상을 말하는 것으로 격자형 잡음(grid noise)에 해당하고, 이는 주로 블록 단위의 압축 처리시에 수반되는 양자화(quantization)로 인해 발생한다.
블록킹 현상의 제거 기법에는 크게 후처리 기법(postprocessing)과 루프내 처리(in-loop processing) 기법이 있는데, 전자는 복호화 과정이 끝난 영상(디코딩된 영상)에 대해서 추가적인 처리를 하여 블록킹 현상을 제거하는 기법이고, 후자는 영상 부호화 과정내에서 블록킹 현상을 제거하여 압축효율을 향상시키는 기법이다. 후처리 기법은 이미 디코딩이 이루어진 영상에 대한 처리이므로 부/복호화 구조에는 영향을 미치지 않고 화질을 향상시킬 수 있는 반면, 루프내 처리기법은 부/복호화기의 구조를 변경해야하는 단점이 있다. 따라서 블록킹 현상을 제거하기 위한 여러 공개된 기법은 주로 후처리 기법을 채용하고 있다.
한편 후처리 기법을 채용한 기존의 여러 기법들은 매우 복잡한 알고리즘을 적용하거나 하드웨어 내지는 소프트웨어 측면에서의 부담이 있기 때문에 실제 응용하기 어려운 문제가 있다. 복잡도를 줄인 알고리즘도 있으나 필터(filter)를 과도하게 사용하여 영상이 번져 보이는 단점이 있다.
본 발명은 블록킹 현상 제거를 위한 기존 기법들의 문제점을 해결하기 위해 창안된 것으로, 본 발명이 해결하고자 하는 과제는 상기한 부담의 감소와 필터 사용의 적정성을 트레이드-오프(trade-off)하여 블록킹 현상을 효율적으로 제거하고, 아울러 영상 블록(디코딩된 영상)의 특성을 반영하여 적응적으로 후처리함으로써 블록킹 현상을 제거하는 시스템 및 그 방법을 제공하는 것이다.
상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 영상의 블록킹 현상 제거 시스템은
블록 기반으로 압축된 영상의 디코딩된 영상을 디블록킹 블록으로 분할하고, 상기 디블록킹 블록내의 화소값의 변화의 정도를 참조하여 상기 디블록킹 블록의 타입(type)을 구분하는 블록 타입 구분부; 및 상기 디블록킹 블록에 대해 상기 구분된 타입에 따라 적응적으로 필터링하는 필터링부를 포함하여 본 발명의 과제를 해결한다.
상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 영상의 블록화 현상 방지 방법은
(a)블록 기반으로 압축된 영상의 디코딩된 영상을 디블록킹 블록으로 분할하고, 상기 디블록킹 블록내의 화소값의 변화의 정도를 참조하여 상기 디블록킹 블록의 타입(type)을 구분하는 단계; 및 (b)상기 디블록킹 블록에 대해 상기 구분된 타입에 따라 적응적으로 필터링하여 상기 디코딩 영상의 블록킹 현상을 제거하는 단계를 포함하여 본 발명의 과제를 해결한다.
본 발명은 간단한 처리로 블록의 타입을 구분하고 각 블록의 타입에 따라 적응적으로 블록킹 현상을 제거하는 기법을 제공한다. 본 발명에 의한 제거 기법은 디코딩 완성된 영상에 대해 적용하는 후처리 기법이므로 영상의 압축/복원 메커니즘의 구조 변경 없이 구현할 수 있다.
본 발명에 의한 제거 기법은 격자잡음을 제거하기 위하여 블록의 타입을 구분(특성을 도출)하고 도출된 각 블록의 특성을 반영하여 필터링의 강도를 달리 적용하기 때문에 화질의 선명성의 확보에 매우 탁월하다. 또한 소정 블록의 경우 2차원 필터링을 부가적으로 행하여 대각선 및 곡선 에지 근처의 계단형 잡음(staircase noise)과 가장자리 잡음(corner outlier)을 제거하는 부수적 효과도 얻을 수 있다.
즉, 각 블록의 타입을 구분하고 이에 따라 필터링 방법을 달리 적용함으로써 블록킹 현상을 효과적으로 제거하면서 에지 및 복잡한 영역에서의 번짐현상을 방지할 수 있다. 본 발명에 의한 제거 기법은 기존의 기법과 비교하여 PSNR 및 주관적 화질이 뛰어나면서 제거 기법의 수행시간이 적게 걸리는 장점이 있어 동영상에 대해서도 적용에 무리가 없는 장점이 있다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자하는 과제의 해결 방안의 개요를 우선 제시한다.
본 발명이 해결하고자하는 과제의 해결 방안의 개요는 블록킹 현상을 제거하 기 위해 우선 디코딩된 영상의 블록의 특성을 구분하고, 그 특성에 따라 필터링을 수행하여 디코딩 영상의 화질을 향상시키도록 하는 것이다.
즉, 가로방향 및 세로방향의 화소값의 차이(화소값의 변화의 정도)에 기반하여 디코딩 영상의 분할 블록을 가로블록(horizontal block), 세로블록(vertical block), 평탄블록(uniform block), 복잡한 블록(complex block)의 네 가지 특성을 가지는 것으로 구분한다.
이렇게 특성을 구분한 후 각 특성에 따라 필터링을 행하는데, 평탄블록에 대해서는 가로 및 세로 방향으로 강한 필터링을 행한다.
가로블록 및 세로블록에 대해서는 상관도가 높은(변화의 정도가 낮은) 방향으로는 강한 필터링을, 상관도가 낮은 방향으로는 약한 필터링을 행하여 에지를 보존하면서 블록킹 현상을 제거한다.
복잡한 블록에서는 가로 및 세로 방향으로 약한 필터링을 행하여 영상의 디테일을 보존하도록 한다. 복잡한 블록에서는 아울러 대각방향의 에지를 검출한 후, 검출된 에지에 대해서 부가적인 필터링을 행하여 계단형 잡음도 제거하도록 한다.
이러한 필터링 기법을 블록 기반으로 압축된 영상의 디코딩된 영상에 적용하여 디코딩 영상의 화질을 향상시키도록 하는 것이 본 발명이 해결하고자하는 과제의 해결 방안의 개요이다.
이하, 본 발명의 기술적 과제의 해결 방안을 명확화하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다 른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다.
도 1a는 본 시스템 발명의 바람직한 실시예의 구성을 제시한 도면이고, 도 1b와 도 1c는 본 방법 발명의 바람직한 흐름을 제시한 도면이다.
우선 본 발명에 의한 블록킹 제거 기법 적용의 전제로 블록 타입 구분부(11)는 디코딩된 영상을 8*8 크기의 블록으로 분할하고 분할된 영상의 type을 구분한다(특성을 도출한다, S11). 이때 분할되는 블록은 인코딩(encoding)시와 동일 위치의 블록이 아니라 이 위치에서 변이(shift)된 위치의 블록을 의미한다. 변이된 위치의 블록을 이하 ‘디블록킹 블록(deblocking block)’이라고 칭한다.
디블록킹 블록으로 디코딩된 영상을 분할하는 이유는 본 발명의 목적이 디코딩된 영상에 가시적으로 표현되는 단위 블록간의 경계(block boundary, 도 2에서 굵은 실선으로 제시된 부분)를 제거하는 것에 그 목적을 두기 때문이다. 따라서 디블록킹 블록 내에 상기 단위 블록간의 경계가 최대한 포함되도록 함이 바람직할 것이다. 따라서 본 발명에서는, 도 2에 제시된 바와 같이, 인코딩시의 단위 블록으로부터 가로와 세로 각각 네 화소씩 변이시킨 블록을 디블록킹 블록으로 한다.
도 2에 디블록킹 블록에 관한 개념도가 제시되어 있다. 도 2에서 pi ,j는 디블록킹 블록내의 각 화소의 위치를 나타낸다.
블록 타입 구분부(11)는 디블록킹 블록의 type을 구분(특성을 도출)함에 있어, 디블록킹 블록의 타입을 가로블록, 세로블록, 평탄블록, 복잡한 블록의 네 가 지 타입으로 구분하며, 그 특성의 도출은 구체적으로 다음과 같이 이루어진다.
디블록킹 블록의 타입을 구분하기 위해, 먼저 화소값 변화 정도 도출부(111)에 의해 각 블록에서의 화소값의 변화 정도(활동도)가 도출된다(S111). 활동도의 도출은 구체적으로 하기 식(1)에 의해 가로방향의 활동도의 합(ACTH) 및 세로방향의 활동도의 합(ACTV)을 각각 구하는 것으로 이루어진다.
Figure 112008004950998-PAT00001
--- 식(1).
여기서, ΔCk와 ΔRk은 각각 하기 식(2)에 의해 구할 수 있다.
Figure 112008004950998-PAT00002
--- 식(2).
식(1)과 식(2)에서 보는 바와 같이, ACTH는 디블록킹 블록내의 각 열(column) 간(가로방향 화소값간)의 차(difference)의 정도(ΔCk, 즉, 가로 방향의 활동도)의 합(sum)을 나타내고, ACTV는 각 행(row) 간(세로방향 화소값간)의 차의 정도(ΔRk, 즉, 세로 방향의 활동도)의 합을 나타낸다. 아울러 활동도의 합 즉, ACTH와 ACTV가 클수록 화소값간의 상관도가 떨어짐(화소값 변경의 정도가 큼)을 의미하는 것을 알 수 있다.
디블록킹 블록의 타입은 블록 특성 결정부(112)에 의해 네 가지 타입(특성)으로 구분(결정)되는데(S112), 구체적으로는 식(1)과 식(2)에 의해 구한 ACTH와 ACTV를 이용하여 다음과 같은 네 가지 타입(특성)으로 구분(결정)된다.
ACTH < T 이고 ACTV < T인 경우: 평탄블록(UDB; uniform deblocking block).
ACTH ≥ T 이고 ACTV < T인 경우: 세로블록(VDB; vertical deblocking block).
ACTH < T 이고 ACTV ≥ T인 경우: 가로블록(HDB; horizontal deblocking block).
ACTH ≥ T 이고 ACTV ≥ T인 경우: 복잡한 블록(CDB; complex deblocking block).
여기에서 T는 디블록킹 블록의 활동도에 따라 타입을 구분하기 위한 문턱값(threshold)이고, 이 값은 하기 식(3)에 의해 구한다.
Figure 112008004950998-PAT00003
--- 식(3).
식(3)에서 b는 인코딩시의 화소당 압축 비트율(bit per pixel)을 의미한다. 낮은 비트율에서는 디코딩 영상의 세밀한 부분이 많이 훼손되는 반면 블록킹 현상이 심하게 나타나므로 비교적 큰 문턱값을 갖도록 하고, 높은 비트율에서는 영상의 세밀한 부분이 많이 존재하므로 이를 훼손하지 않게 하기 위해서 비교적 낮은 문턱값을 갖도록 설정한다.
식(3)은 다양한 테스트 영상 및 비트율에서 디블록킹 필터링을 수행한 결과, 가장 높은 PSNR(Peak Signal to Noise Rate)을 나타내는 문턱값을 조사하여 실험적 으로 얻어진 식인데, 이러한 문턱값의 특성을 잘 반영하고 있다. 도 3은 샘플 영상(흔히 Lena 영상으로 칭한다)에 대해 디블록킹 블록의 타입 구분 결과의 예시를 나타낸다.
도 3에 제시된 샘플 영상은 0.26bpp, PSNR=30.40dB에 대한 디블록킹 블록에 대해 타입의 구분이 행하여진 것이며, (a)의 경우에는 UDB의 경우를, (b)의 경우에는 HDB, VDB, CDB의 경우를 제시한 것이다. HDB는 가로 줄무늬, VDB는 세로 줄무늬, CDB는 사각형으로 표시되었다.
상기와 같이 디코딩된 영상을 디블록킹 블록으로 분할하고, 분할된 블록마다 블록의 타입(특성)이 구분(도출)되면, 필터링부(12)는 구분된 타입에 따른 필터링 처리를 적응적으로 수행한다(S12).
도 4에 디블록킹 블록의 타입에 따른 필터링 처리 방식을 설명하기 위한 개념도가 제시되어 있다.
도 4에 제시된 바와 같이, UDB에서는 화소간 상관도가 크므로(가로방향 활동도와 세로방향의 활동도가 작으므로) 강한 필터링(6-tab 필터링)을 가로와 세로 방향으로 각각 행하고(도 4(a)의 경우), HDB에서는 화소간 상관도가 큰 가로방향으로는(각 행에 대해서는) 강한 필터링(6-tab 필터링)을, 화소간 상관도가 적은 세로방향으로는(각 열에 대해서는) 블록경계에 접한 두 화소만에 대해 필터링을 수행한다(이를 약한 필터링(2-tab 필터링)이라 한다)(도 4(b)의 경우).
VDB에서는 화소간 상관도가 큰 세로방향으로는 강한 필터링(6-tab 필터링)을 행하고 화소간 상관도가 적은 가로방향으로는 약한 필터링(2-tab 필터링)을 행한 다(도 4(c)의 경우).
CDB에 대해서는 텍스쳐 등 영상의 세밀한 부분이 포함된 부분이므로 블록킹 현상을 제거하면서도 아울러 번짐 현상(blurring)을 방지하기 위해 가로와 세로방향으로 각각 약한 필터링(2-tab 필터링)을 행한다(도 4(d)의 경우). 도 4에서 각 화살표는 필터링 방향을 나타내고 화살표의 길이는 필터의 강도를 나타낸다. 또한 음영영역(shaded area)은 필터링 결과 디코딩된 영상의 화소로부터 변경되는 화소 즉, 필터링 처리되는 화소를 나타낸다.
도 5는 디블록킹 블록의 화소 위치를 1차원으로 표시한 것이다. 화소의 위치를 나타내는 notation이 도 2에 제시된 p에서 q로 바뀌어 표기되어 있다. 본 발명에 의한 필터링은 각 열 또는 각 행의 라인 단위의 1차원 필터링을 수행하므로 화소 위치의 간략 표기를 위하여 이하에서는 도 5에 제시된 표현을 참조하여 상기한 필터링 처리의 상세를 설명한다.
필터링 처리에 앞서, 필터링 처리에 활용될 오프셋(offset)을 정의하는데, 인코딩시의 단위 블록의 경계를 대칭으로 하여 서로 접하는 두 화소값의 차이를 오프셋으로 정의한다.
offset = q3 - q4 .
오프셋은 상기한
Figure 112008004950998-PAT00004
또는
Figure 112008004950998-PAT00005
에 해당하는 것으로 k=3인 경우이며, 전자는 가로방향의 오프셋(가로 오프셋)을, 후자는 세로방향의 오프셋(세로 오프셋)을 의미한다.
필터링 처리에 있어서, 상기한 바와 같이 블록의 특성에 따라 강한 필터링 내지 약한 필터링이 이루어지는바, 그 구체적인 과정은 다음과 같이 이루어진다.
1)UDB에 대한 필터링의 경우
도 6은 UDB에 대한 필터링 기법을 설명하기 위한 도면이다. 도 6에서 (a)는 필터링 처리 전의 화소값을, (b)는 필터링 처리 후의 화소값을 나타낸다.
필터링 처리 대상 블록이 상기한 과정에 의해 평탄블록으로 판단된 경우, 블록킹 현상은 블록 경계에서의 오프셋으로 나타나므로 가로 및 세로방향 모두에 하기 식(4-1)과 식(4-2)에 의해 6-tab 필터링(강한 필터링)을 행하여 오프셋을 제거하고 나머지 화소들도 오프셋을 이용하여 적절하게 변경한다.
Figure 112008004950998-PAT00006
--- 식(4-1).
Figure 112008004950998-PAT00007
--- 식(4-2).
식(4-1)과 식(4-2)에서 p'i는 필터링 처리후의 화소값이며 αi={3,2,1,1,2,3} 이고, ‘>>’는 오른쪽 쉬프트(right shift) 연산자를 의미한다.
2)HDB, VDB에 대한 필터링의 경우
가로방향 및 세로방향의 에지는 8*8 크기의 작은 영역에만 존재하기 보다는 보통 몇 개의 블록에 걸쳐서 존재하게 되므로, 특히 HDB 및 VDB에 대한 필터링을 수행하기 전에 주변블록의 특성을 고려하는 선행 과정이 필요하다.
즉, 필터링 처리 대상 블록(디블록킹 블록)이 상기한 블록 타입 구분 과정에 의해 HDB라고 판단되더라도, 필터링 처리 대상 블록의 위와 아래 블록 모두 UDB인 경우에만 상기한 HDB 필터링을 수행하고 그렇지 않으면 필터링 처리 대상 블록에 대해서는 상기한 CDB 필터링을 수행한다.
마찬가지로 필터링 처리 대상 블록이 상기한 블록 특성 정의 과정에 의해 VDB라고 판단되더라도, 필터링 처리 대상 블록의 왼쪽과 오른쪽 블록 모두 UDB인 경우에만 상기한 VBD 필터링을 수행하고 그렇지 않으면 필터링 처리 대상 블록에 대해서는 상기한 CDB 필터링을 수행한다.
이러한 과정을 거쳐 얻어진 HDB 및 VDB는 영상의 활동도가 방향에 따라 다른 블록이므로, 상기한 바와 같이 상관도가 높은 방향으로는 강한 필터링(6-tab 필터링)을 수행하고 상관도가 낮은 방향으로는 디블록킹 블록 경계의 양쪽의 화소만을 변경하여(2-tab 필터링) 에지 등의 정보를 보존하면서 블록킹 현상을 줄이도록 한다.
요약하면, HDB에 대해서는 가로방향으로는 상기 식(4-1)과 식(4-2)을 이용하여 강한 필터링을, 세로방향으로는 하기 식(5-1)과 식(5-2)을 이용하여 약한 필터링을 행한다. 반대로 VDB에 대해서는 가로방향으로는 하기 식(5-1)과 식(5-2)을 이용하여 약한 필터링을, 세로방향으로는 상기 식(4-1)과 식(4-2)을 이용하여 강한 필터링을 행한다.
Figure 112008004950998-PAT00008
--- 식(5-1).
Figure 112008004950998-PAT00009
--- 식(5-2).
이 필터링은 필터링 처리 대상 블록의 위와 아래 블록 모두 UDB인 경우(HDB 에 대해)에만, 필터링 처리 대상 블록의 왼쪽과 오른쪽 블록 모두 UDB인 경우(VDB에 대해)에만 적용된다.
3)CDB에 대한 필터링의 경우
디블록킹 블록 타입 결정 과정 및 HDB 또는 VDB 필터링 과정에서 판별된 CDB에는 두 가지 서로 다른 특성이 존재하는데, 하나는 방향성이 불분명한 텍스쳐(texture) 영역이며, 다른 하나는 대각선이나 곡선 에지가 포함된 에지 영역이 그것이다. 텍스쳐 영역은 필터링 처리 대상 블록의 왼쪽, 오른쪽, 위쪽, 아래쪽 블록 모두가 평탄블록인 경우를 말하고 에지 영역은 왼쪽, 오른쪽, 위쪽, 아래쪽 블록 중 최소 어느 하나가 평탄블록이 아닌 경우이다.
텍스쳐 영역에 대해서는 상기한 식(5-1)과 식(5-2)에 의한 약한 필터링이 수행되며, 에지 영역에 대해서는 식(5-1)과 식(5-2)에 의한 약한 필터링을 수행함과 아울러 계단형 잡음 및 가장자리 잡음이 발생하므로 이러한 잡읍을 제거하기 위해 2차원 필터링을 부가적으로 행한다.
CDB로 판단된 블록이 텍스쳐 영역인지 에지 영역인지를 판단하는 조건은 필터링 처리 대상 블록 주위의 네 블록(위, 아래, 왼쪽, 오른쪽 블록)이 모두 CDB이면 텍스쳐 영역으로, 그렇지 않으면 에지 영역으로 판단한다. 이러한 방법으로 에지 영역을 검출한 영상의 예가 도 7에 제시되어 있다.
도 7에서 흰 사각형으로 표시된 부분이 CDB 중 에지 영역을 나타내고 있는데, 대각선 및 곡선 에지 부분을 잘 검출하고 있음을 볼 수 있다.
CDB 필터링은 두 단계로 이루어지는데 먼저 경계화소(q3, q4)에 대한 보정을 수행 즉, 약한 필터링을 수행하고, 에지 영역으로 검출된 CDB에 대해서는 2차원 필터링(2D window filtering)을 부가적으로 더 수행한다. 경계화소에 대한 보정은 상기 식(5-1)과 식(5-2)을 가로방향과 세로방향으로 각각 적용하여 이루어진다. 2차원 필터링은 도 8에 제시된 정방형 윈도우(예시된 바와 같이 3*3 윈도우)에 대하여 하기 식(6)을 적용하여 수행하는데, 윈도우는 에지 영역으로 판단된 블록내의 모든 화소를 움직이면서 적용된다.
Figure 112008004950998-PAT00010
--- 식(6).
식(6)에서 E'는 윈도우 필터링 결과 얻어지는 화소이다. 또한, w0을 제외한 나머지 가중치는 방향성을 고려하기 위하여 서로 마주하는 화소의 차이에 따라 다르게 설정되는데, 구체적으로 w1 = g(|A - I|), w2 = g(|C - G|), w3 = g(|B - H|), w4 = g(|D - F|)이고, g(Δ) = 0.25e-0.04Δ이다.
w0는 전체 가중치의 합이 1이 되도록 정규화하기 위하여 w0 = 1 - (w1 + w2 + w3 + w4)로 설정한다. 상기 식(6)과 각 가중치를 구하는 식으로부터 알 수 있는 바와 같이, 각 방향 중에서 가장 상관도가 높은 방향의 평균에 가중치가 가장 크게 부여되어 E'가 계산되므로 대각선 및 곡선 에지 주위의 계단형 잡음과 가장자리 잡음을 효과적으로 제거할 수 있다.
<본 발명의 성능 평가>
본 발명에 의한 블록킹 현상 제거 기법의 성능을 평가하기 위하여 가장 널리 사용되고 그 특성이 뚜렷한 세 영상, 즉 Lena, Barbara, Peppers 영상을 이용하였다. 테스트 영상은 모두 512*512 크기이고, JPEG 코드를 이용하여 압축 및 복원된 영상에 대해서 본 발명에 의한 제거 기법을 적용하였다.
디블록킹 블록의 타입을 결정하기 위한 문턱값은 상기 식(3)에 의해 도출하였다. 루프내 필터인 H.264/AVC의 디블록킹 필터를 후처리 형태로 적용하기 위하여, 필터의 강도를 결정하는 Bs는 3으로 고정하고, offset 정보는 사용하지 않으므로 IndexA와 IndexB는 QP(quantization parameter)에 의해서만 결정된다. MPEG-4와 H.264/AVC 디블록킹 필터링시 필요한 QP는 가장 좋은 PSNR을 나타내는 값을 선택하였다. 본 발명에 의한 제거 기법의 성능은 PSNR, 주관적 화질, 디블록킹 수행시간의 측면에서 기존의 여러 디블록킹 기법과의 비교를 통하여 이루어졌다.
1)PSNR의 측면에서
Lena 영상에 대해서 0.45bpp 이하에서는 본 발명에 의한 기법이 가장 좋고, 그 이상의 높은 비트율에서도 두 번째의 성능을 나타낸다. 또한, Barbara 영상에 대해서 0.51bpp 이하에서는 제안한 방법이 가장 좋고, 그 이상의 높은 비트율에서도 두 번째의 성능을 나타낸다. 이는 디블록킹 과정이 주로 요구되는 저 비트율 상황에서 본 발명에 의한 기법의 성능이 뛰어남을 의미한다.
각 테스트 영상에 대해서 다양한 비트율에서의 본 발명에 의한 기법과 기존 기법과의 PSNR 비교는 도 9a에 나타내었다. 고 비트율에서는 블록킹 현상이 비교적 적게 발생하므로 H.264/AVC와 같이 디블록킹 과정에 의해 변경되는 화소의 개수가 적은 필터가 PSNR 측면에서 더 유리함을 알 수 있다.
2)화질의 측면에서
일반적으로 디블록킹 기법의 성능평가를 위해 가장 많이 이용되는 기준은 MSE (mean squared error)에 기반한 PSNR이지만, 이는 인간 시각 특성을 정확히 반영하지 못하는 단점이 있다. 특히, 후처리로서의 디블록킹 과정의 관점에서는 MSE보다는 화질의 향상 정도가 중요하다. 따라서, 본 발명에서는 주관적 화질 평가의 객관화를 위하여 GBIM(Generalized Block-edge Impairment Metric) 방법을 이용하여 본 발명에 의한 기법을 포함한 각 기법에 의한 결과 영상을 보이도록 하였다. GBIM은 인간시각특성(HVS; Human Visual System)을 잘 따른다고 알려져 있고, 블록킹 현상을 적게 포함할수록 그 값이 낮다. 즉, 수치가 낮을수록 화질이 좋음을 의미한다.
도 9b에 각 테스트 영상의 다양한 비트율에 대해서 본 발명에 의한 기법 및 기존의 기법에 의한 GBIM 값(MGBIM)이 제시되어 있다. 비교적 고 비트율에서 PSNR 순위가 약간 떨어졌지만, 모든 비트율에 대해 본 발명에 의한 기법이 기존의 기법에 비해 주관적 화질이 우수함을 알 수 있다.
3)디블록킹 수행시간의 측면에서
수행시간의 측정은 PentiumIV 2.4GHz의 CPU와 1GB 메모리 환경하에서 소프트웨어 기반의 구현을 통해 이루어졌다. Zakhor 기법은 반복실행 알고리즘이므로 직 전 단계에서의 PSNR과의 차이가 0.005dB이내이거나 10번을 반복하면 실행을 멈추는 방식으로 수행시간을 측정하였다. 도 9c에 각 기법의 수행시간이 제시되어 있는데, 각 기법간 비교를 용이하게 하기 위하여 MPEG-4 디블록킹 필터의 수행시간과의 비로 나타내었다.
도 9c에서 보는 바와 같이, 본 발명에 의한 기법의 수행시간은 수행시간에 결정적으로 영향을 끼치는 필터의 탭(tab)수가 최대 4-tab인 H.264/AVC와 비슷하거나 약간 많은 정도를 나타내고 있다. 따라서 6-tab 필터를 적용하는 본 발명에 의한 기법은 상대적으로 빠른 수행시간을 가지는 것을 알 수 있다. 따라서 상기한 세 측면에서 볼 때 본 발명에 의한 기법은 다른 기법에 비해 뛰어난 PSNR과 주관적 화질을 나타내면서도 수행시간이 적게 소모되어 후처리 방법으로 다양한 응용분야에 적용될 수 있다.
도 10a와 도 10b는 Lena 영상에 대해 본 발명에 의한 기법을 포함한 여러 기법을 수행한 결과 영상을 보이고 있다.
도 10a와 도 10b에서 볼 수 있는 바와 같이 본 발명에 의한 기법(도 10a의 (b))에 의하면, 영상의 에지와 같은 중요한 정보를 보존하면서도 모든 형태의 블록킹 현상, 즉 뺨 근처의 격자잡음, 어깨 및 모자 테두리 부근의 계단형 잡음과 가장자리 잡음 등을 효과적으로 제거함을 볼 수 있다.
JPEG에 의한 복호 영상에는 블록킹 현상이 그대로 드러나는 것을 볼 수 있다(도 10a의 (a)).
MPEG-4와 H.264/AVC의 디블록킹 필터는 1차원 필터이기 때문에 대각선 및 곡 선 에지 근처의 계단형 잡음과 가장자리 잡음을 효과적으로 제거하지 못한다(각각 도 10a의 (c)와 (d)). H.264/AVC 디블록킹 필터는 또한 4*4 블록에 최적화되도록 설계되었기 때문에 저 비트율 영상의 평탄한 영역에서의 격자잡음을 제거하는데 한계가 있다.
Castagno의 기법은 계단형 잡음 및 가장자리 잡음을 제거하는데 다소 효과가 있지만, 블록킹 현상의 주된 형태인 격자잡음을 제거하지 못하여 화질 향상이 별로 이루어지지 않는다(도 10a의 (e)).
Sobel 연산자를 이용하는 Lee의 기법은 에지정보와 블록킹 현상을 효과적으로 구분하는데 실패하는 경우가 많아 특히 복잡한 영역이나 에지가 존재하는 영역에서 디블록킹 결과가 좋지 않음을 볼 수 있다(도 10a의 (f)).
POCS 이론에 기반한 Zakhor의 기법은 도 10b의 (g)에서 볼 수 있는 바와 같이 격자잡음은 잘 제거하나 저역통과 필터를 반복하여(과도하게) 사용함으로써 심각한 번짐현상을 초래한다.
Chen의 기법은 PSNR 및 주관적 화질 관점에서 상당히 좋은 성능을 보이지만, 주파수 영역에서 디블록킹 과정을 수행함으로써 격자잡음의 제거가 미흡하거나 번짐현상이 발생함을 확인할 수 있다(도 10b의 (h)).
DFOVS 기법(Averbuch 기법)은 PSNR에 비해 MGBIM이 상당히 좋다. 그러나, 도 10b의 (i)에서 볼 수있는 바와 같이, 모자의 깃털과 같이 복잡한 부분에서 번짐현상이 나타나고, 대각선 및 곡선에지 근처의 계단형 잡음과 가장자리 잡음에 취약하 여 에지 근처에서 처리가 부족함을 알 수 있다.
본 방법발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1a는 본 시스템 발명의 바람직한 실시예의 구성을 제시한 도면이다.
도 1b와 도 1c는 본 방법 발명의 바람직한 흐름을 제시한 도면이다.
도 2는 디블록킹 블록에 관한 개념을 제시한 도면이다.
도 3은 샘플 영상에 대해 디블록킹 블록의 타입 구분 결과의 예시를 나타낸 도면이다.
도 4는 디블록킹 블록의 타입에 따른 필터링 처리 방식을 설명하기 위한 화소의 예를 제시한 도면이다.
도 5는 디블록킹 블록의 화소 위치를 1차원으로 표시한 도면이다.
도 6은 UDB에 대한 필터링 기법을 설명하기 위한 도면이다.
도 7은 CDB에서 에지 영역을 검출한 영상의 예를 제시한 도면이다.
도 8은 CDB에서 에지 영역을 검출된 경우 이에 대해 2차원 필터링을 행하기 위해 사용되는 정방형 윈도우의 일례이다.
도 9a는 다양한 비트율에서 본 발명에 의한 기법과 기존 기법과의 PSNR 비교치를 제시한 도면이다.
도 9b는 다양한 비트율에 대해서 본 발명에 의한 기법 및 기존의 기법에 의한 GBIM 값(MGBIM)의 비교치를 제시한 도면이다.
도 9c는 본 발명에 의한 기법 및 기존의 기법에 의한 블록화 현상 제거 수행시간의 비교치를 제시한 도면이다.
도 10a와 도 10b는 본 발명에 의한 기법을 포함한 여러 기법을 수행한 결과 영상을 샘플 영상을 통해 제시한 도면이다.

Claims (33)

  1. 블록 기반으로 압축된 영상의 디코딩된 영상을 블록(이하 ‘디블록킹 블록’)으로 분할하고, 상기 디블록킹 블록내의 화소값의 변화의 정도를 참조하여 상기 디블록킹 블록의 타입(type)을 구분하는 블록 타입 구분부; 및
    상기 디블록킹 블록에 대해 상기 구분된 타입에 따라 적응적으로 필터링하는 필터링부를 포함하여 상기 디코딩된 영상의 블록킹 현상이 제거된 영상을 획득하는 영상의 블록킹 현상 제거 시스템.
  2. 제 1 항에 있어서, 상기 디블록킹 블록은
    상기 압축된 영상의 단위 블록간의 경계가 포함되도록 상기 단위 블록의 위치에서 변이된 위치의 블록인 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  3. 제 2 항에 있어서, 상기 블록 타입 구분부는
    상기 디블록킹 블록내의 각 열(column)간의 화소값의 변화 정도와 각 행(row)간의 화소값의 변화 정도(이하 각각 '가로 활동도', '세로 활동도')를 도출하는 화소값 변화 정도 도출부; 및
    상기 각 활동도의 합을 참조하여 상기 디블록킹 블록의 특성을 결정하는 블록 특성 결정부를 포함하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  4. 제 3 항에 있어서, 상기 블록 특성 결정부는
    상기 각 활동도의 합과 소정의 문턱값을 비교하여 상기 디블록킹 블록의 특성을 결정하고,
    상기 소정의 문턱값은 상기 압축 영상의 화소당 압축 비트율(bit per pixel)을 근거로 결정되는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  5. 제 4 항에 있어서, 상기 블록 특성 결정부는
    상기 가로 활동도의 합과 세로 활동도의 합이 모두 상기 문턱값보다 작은 경우에는 상기 디블록킹 블록의 특성을 평탄블록으로,
    상기 가로 활동도의 합이 상기 문턱값보다 크고 상기 세로 활동도의 합이 상기 문턱값보다 작은 경우에는 상기 디블록킹 블록의 특성을 세로블록으로,
    상기 가로 활동도의 합이 상기 문턱값보다 작고 상기 세로 활동도의 합이 상기 문턱값보다 큰 경우에는 상기 디블록킹 블록의 특성을 가로블록으로,
    상기 가로 활동도의 합과 상기 세로 활동도의 합이 모두 상기 문턱값보다 큰 경우에는 상기 디블록킹 블록의 특성을 복잡한 블록으로 결정하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  6. 제 5 항에 있어서, 상기 필터링부는
    상기 평탄블록의 상기 각 열과 각 행의 화소에 대해 강한 필터링을 수행하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  7. 제 5 항에 있어서, 상기 필터링부는
    상기 세로블록의 상기 각 열의 화소에 대해서는 강한 필터링을, 상기 각 행의 화소에 대해서는 약한 필터링을 수행하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  8. 제 5 항에 있어서, 상기 필터링부는
    상기 가로블록의 상기 각 열의 화소에 대해서는 약한 필터링을, 상기 각 행의 화소에 대해서는 강한 필터링을 수행하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  9. 제 5 항에 있어서, 상기 필터링부는
    상기 복잡한 블록의 상기 각 열과 각 행의 화소에 대해 약한 필터링을 수행하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  10. 제 6 항에 있어서, 상기 필터링부는
    상기 압축된 영상의 단위 블록간 세로방향 경계를 대칭으로 서로 접하는 각 열의 두 화소값의 차를 가로 오프셋(offset), 상기 단위 블록간 가로방향 경계를 대칭으로 서로 접하는 각 행의 두 화소값의 차를 세로 오프셋으로 정의하며,
    상기 평탄블록에 대해서는 상기 각 경계를 대칭으로 하는 모든 화소쌍에 대해 상기 가로 오프셋과 세로 오프셋을 이용하여 상기 강한 필터링을 수행하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  11. 제 7 항에 있어서, 상기 필터링부는
    상기 압축된 영상의 단위 블록간 세로방향 경계를 대칭으로 서로 접한 각 열의 두 화소값의 차를 가로 오프셋, 상기 단위 블록간 가로방향 경계를 대칭으로 하여 서로 접하는 각 행의 두 화소값의 차를 세로 오프셋으로 정의하고, 상기 세로블록의 왼쪽과 오른쪽 블록이 모두 평탄블록인 경우에는,
    상기 세로블록의 각 열에 대하여는 상기 세로 오프셋을 이용해서 상기 강한 필터링을 수행하며;
    상기 세로블록의 각 행에 대하여는 상기 세로방향 경계를 대칭으로 서로 접하는 화소쌍에 대하여만 상기 가로 오프셋을 이용해서 상기 약한 필터링을 수행하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  12. 제 11 항에 있어서, 상기 필터링부는
    상기 세로블록의 왼쪽과 오른쪽 블록 중 어느 하나가 평탄블록이 아닌 경우에는, 상기 각 경계를 대칭으로 서로 접하는 화소쌍에 대해서만 상기 가로 오프셋과 세로 오프셋을 이용하여 상기 약한 필터링을 수행하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  13. 제 8 항에 있어서, 상기 필터링부는
    상기 압축된 영상의 단위 블록간 세로방향 경계를 대칭으로 서로 접한 각 열의 두 화소값의 차를 가로 오프셋, 상기 단위 블록간 가로방향 경계를 대칭으로 하여 서로 접하는 각 행의 두 화소값의 차를 세로 오프셋으로 정의하고, 상기 가로블록의 위쪽과 아래쪽 블록이 모두 평탄블록인 경우에는,
    상기 가로블록의 각 행에 대하여는 상기 가로 오프셋을 이용해서 상기 강한 필터링을 수행하며;
    상기 가로블록의 각 열에 대하여는 상기 가로방향 경계를 대칭으로 하여 서로 접하는 화소쌍에 대하여만 상기 세로 오프셋을 이용해서 상기 약한 필터링을 수행하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  14. 제 13 항에 있어서, 상기 필터링부는
    상기 가로블록의 위쪽과 아래쪽 블록 중 어느 하나가 평탄블록이 아닌 경우에는, 상기 각 경계를 대칭으로 하여 서로 접하는 화소쌍에 대해서만 상기 가로 오프셋과 세로 오프셋을 이용하여 상기 약한 필터링을 수행하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  15. 제 9 항에 있어서, 상기 필터링부는
    상기 압축된 영상의 단위 블록간 세로방향 경계를 대칭으로 서로 접한 각 열 의 두 화소값의 차를 가로 오프셋, 상기 단위 블록간 가로방향 경계를 대칭으로 하여 서로 접하는 각 행의 두 화소값의 차를 세로 오프셋으로 정의하고,
    상기 복잡한 블록에 대해서는 상기 각 경계를 대칭으로 하는 모든 화소쌍에 대해 상기 가로 오프셋과 세로 오프셋을 이용하여 상기 약한 필터링을 수행하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  16. 제 12 항, 제 14 항, 제 15 항 중 어느 한 항에 있어서, 상기 필터링부는
    상기 가로블록/세로블록/복잡한 블록의 위, 아래, 왼쪽, 오른쪽 블록 중 어느 하나의 블록이 평탄블록이 아닌 경우에는 상기 가로블록/세로블록/복잡한 블록에 대해 상기 해당 필터링을 수행한 후, 상기 가로블록/세로블록/복잡한 블록내의 특정 화소의 대각방향, 수직방향, 수평방향에 위치한 두 화소의 각 평균치에 가중치를 부여하여 합한 값을 상기 특정 화소의 화소값으로 지정하는 것을 특징으로 하는 영상의 블록킹 현상 제거 시스템.
  17. (a)블록 기반으로 압축된 영상의 디코딩된 영상을 디블록킹 블록으로 분할하고, 상기 디블록킹 블록내의 화소값의 변화의 정도를 참조하여 상기 디블록킹 블록의 타입(type)을 구분하는 단계; 및
    (b)상기 디블록킹 블록에 대해 상기 구분된 타입에 따라 적응적으로 필터링하여 상기 디코딩 영상의 블록킹 현상을 제거하는 단계를 포함하는 영상의 블록킹 현상 제거 방법.
  18. 제 17 항에 있어서, 상기 디블록킹 블록은
    상기 압축된 영상의 단위 블록간의 경계가 포함되도록 상기 단위 블록의 위치에서 변이된 위치의 블록인 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  19. 제 18 항에 있어서, 상기 (a)단계는
    (a1)상기 디블록킹 블록내의 각 열(column)간의 화소값의 변화 정도(가로 활동도)와 각 행(row)간의 화소값의 변화 정도(세로 활동도)를 도출하는 단계; 및
    (a2)상기 각 활동도의 합을 참조하여 상기 디블록킹 블록의 특성을 결정하는 단계를 포함하는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  20. 제 19 항에 있어서, 상기 (a2)단계는
    상기 각 활동도의 합과 소정의 문턱값을 비교하여 이루어지고, 상기 소정의 문턱값은 상기 압축 영상의 화소당 압축 비트율(bit per pixel)을 근거로 결정되는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  21. 제 20 항에 있어서, 상기 (a2)단계는
    상기 가로 활동도의 합과 세로 활동도의 합이 모두 상기 문턱값보다 작은 경우에는 상기 디블록킹 블록의 특성을 평탄블록으로,
    상기 가로 활동도의 합이 상기 문턱값보다 크고 상기 세로 활동도의 합이 상 기 문턱값보다 작은 경우에는 상기 디블록킹 블록의 특성을 세로블록으로,
    상기 가로 활동도의 합이 상기 문턱값보다 작고 상기 세로 활동도의 합이 상기 문턱값보다 큰 경우에는 상기 디블록킹 블록의 특성을 가로블록으로,
    상기 가로 활동도의 합과 상기 세로 활동도의 합이 모두 상기 문턱값보다 큰 경우에는 상기 디블록킹 블록의 특성을 복잡한 블록으로 결정하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  22. 제 21 항에 있어서, 상기 (b)단계는
    상기 평탄블록에 대해서는 상기 각 열과 각 행의 화소에 대해 강한 필터링을 수행하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  23. 제 21 항에 있어서, 상기 (b)단계는
    상기 세로블록의 상기 각 열의 화소에 대해서는 강한 필터링을, 상기 세로블록의 상기 각 행의 화소에 대해서는 약한 필터링을 수행하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  24. 제 21 항에 있어서, 상기 (b)단계는
    상기 가로블록의 상기 각 열의 화소에 대해서는 약한 필터링을, 상기 가로블록의 상기 각 행의 화소에 대해서는 강한 필터링을 수행하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  25. 제 21 항에 있어서, 상기 (b)단계는
    상기 복잡한 블록의 상기 각 열과 각 행의 화소에 대해 약한 필터링을 수행하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  26. 제 22 항에 있어서, 상기 압축된 영상의 단위 블록간 세로방향 경계를 대칭으로 서로 접한 각 열의 두 화소값의 차를 가로 오프셋(offset), 상기 단위 블록간 가로방향 경계를 대칭으로 하여 서로 접하는 각 행의 두 화소값의 차를 세로 오프셋이라 할 때, 상기 (b)단계는
    상기 평탄블록에 대해서는 상기 각 경계를 대칭으로 하는 모든 화소쌍에 대해 상기 가로 오프셋과 세로 오프셋을 이용하여 상기 강한 필터링을 수행하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  27. 제 23 항에 있어서, 상기 압축된 영상의 단위 블록간 세로방향 경계를 대칭으로 서로 접한 각 열의 두 화소값의 차를 가로 오프셋, 상기 단위 블록간 가로방향 경계를 대칭으로 하여 서로 접하는 각 행의 두 화소값의 차를 세로 오프셋이라 할 때, 상기 세로블록의 왼쪽과 오른쪽 블록이 모두 평탄블록인 경우 상기 (b)단계는
    상기 세로블록의 각 열에 대하여는 상기 세로 오프셋을 이용해서 상기 강한 필터링을 수행하며;
    상기 세로블록의 각 행에 대하여는 상기 세로방향 경계를 대칭으로 하여 서로 접하는 화소쌍에 대하여만 상기 가로 오프셋을 이용해서 상기 약한 필터링을 수행하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  28. 제 27 항에 있어서, 상기 (b)단계는
    상기 세로블록의 왼쪽과 오른쪽 블록 중 어느 하나가 평탄블록이 아닌 경우에는, 상기 각 경계를 대칭으로 서로 접하는 화소쌍에 대해서만 상기 가로 오프셋과 세로 오프셋을 이용해서 상기 약한 필터링을 수행하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  29. 제 24 항에 있어서, 상기 압축된 영상의 단위 블록간 세로방향 경계를 대칭으로 서로 접한 각 열의 두 화소값의 차를 가로 오프셋, 상기 단위 블록간 가로방향 경계를 대칭으로 하여 서로 접하는 각 행의 두 화소값의 차를 세로 오프셋이라 할 때, 상기 가로블록의 위쪽과 아래쪽 블록이 모두 평탄블록인 경우 상기 (b)단계는
    상기 가로블록의 각 행에 대하여는 상기 가로 오프셋을 이용해서 상기 강한 필터링을 수행하며;
    상기 가로블록의 각 열에 대하여는 상기 가로방향 경계를 대칭으로 하여 서로 접하는 화소쌍에 대하여만 상기 세로 오프셋을 이용해서 상기 약한 필터링을 수행하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  30. 제 29 항에 있어서, 상기 (b)단계는
    상기 가로블록의 위쪽과 아래쪽 블록 중 어느 하나가 평탄블록이 아닌 경우에는, 상기 각 경계를 대칭으로 하여 서로 접하는 화소쌍에 대해서만 상기 가로 오프셋과 세로 오프셋을 이용하여 상기 약한 필터링을 수행하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  31. 제 25 항에 있어서,상기 압축된 영상의 단위 블록간 세로방향 경계를 대칭으로 서로 접한 각 열의 두 화소값의 차를 가로 오프셋, 상기 단위 블록간 가로방향 경계를 대칭으로 하여 서로 접하는 각 행의 두 화소값의 차를 세로 오프셋이라 할 때, 상기 (b)단계는
    상기 복잡한 블록에 대해서는 상기 각 경계를 대칭으로 하는 모든 화소쌍에 대해 상기 가로 오프셋과 세로 오프셋을 이용하여 상기 약한 필터링을 수행하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  32. 제 28 항, 제 30 항, 제 31 항 중 어느 한 항에 있어서, 상기 (b)단계는
    상기 가로블록/세로블록/복잡한 블록의 위, 아래, 왼쪽, 오른쪽 블록 중 어느 하나의 블록이 평탄블록이 아닌 경우에는 상기 가로블록/세로블록/복잡한 블록에 대해 상기 해당 필터링을 수행한 후, 상기 가로블록/세로블록/복잡한 블록내의 특정 화소와 대각방향, 수직방향, 수평방향에 위치한 두 화소의 각 평균치에 가중 치를 부여하여 합한 값을 상기 특정 화소의 화소값으로 지정하여 이루어지는 것을 특징으로 하는 영상의 블록킹 현상 제거 방법.
  33. 제 17 항 내지 제 31 항의 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020080006270A 2008-01-21 2008-01-21 영상의 블록킹 현상 제거 시스템 및 그 방법 KR100950969B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080006270A KR100950969B1 (ko) 2008-01-21 2008-01-21 영상의 블록킹 현상 제거 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080006270A KR100950969B1 (ko) 2008-01-21 2008-01-21 영상의 블록킹 현상 제거 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20090080365A true KR20090080365A (ko) 2009-07-24
KR100950969B1 KR100950969B1 (ko) 2010-04-02

Family

ID=41291473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080006270A KR100950969B1 (ko) 2008-01-21 2008-01-21 영상의 블록킹 현상 제거 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100950969B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9414071B2 (en) 2010-01-22 2016-08-09 Samsung Electronics Co., Ltd. Area-based encoding/decoding device and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199151A1 (ko) * 2018-04-13 2019-10-17 엘지전자 주식회사 영상 부호화/복호화 방법 및 이를 위한 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005018239A1 (ja) * 2003-08-19 2005-02-24 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
KR100669905B1 (ko) * 2004-12-02 2007-01-16 한국전자통신연구원 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9414071B2 (en) 2010-01-22 2016-08-09 Samsung Electronics Co., Ltd. Area-based encoding/decoding device and method

Also Published As

Publication number Publication date
KR100950969B1 (ko) 2010-04-02

Similar Documents

Publication Publication Date Title
EP2327219B1 (en) Reducing digital image noise
KR101000926B1 (ko) 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
US7957467B2 (en) Content-adaptive block artifact removal in spatial domain
JP5753933B2 (ja) 量子化効果減少のための映像データ後処理方法
CN108028920A (zh) 视频编解码中高级去块滤波的方法以及装置
EP2011080B1 (en) Image analysis
US8295367B2 (en) Method and apparatus for video signal processing
US8223846B2 (en) Low-complexity and high-quality error concealment techniques for video sequence transmissions
TWI477153B (zh) 辨識區塊效應之技術
JP2005166021A (ja) 画像中の画素を分類する方法
WO2012071417A1 (en) Adaptive loop filtering
KR100936034B1 (ko) 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치
Kong et al. Edge map guided adaptive post-filter for blocking and ringing artifacts removal
KR20110108918A (ko) 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
US8515202B2 (en) Reduction of blocking artifacts in image decompression systems
US7697782B2 (en) System for reducing ringing artifacts
KR100950969B1 (ko) 영상의 블록킹 현상 제거 시스템 및 그 방법
Yeh et al. Post-processing deblocking filter algorithm for various video decoders
Shao et al. Coding artifact reduction based on local entropy analysis
Kim et al. Reduction of blocking artifacts for HDTV using offset-and-shift technique
US8831354B1 (en) System and method for edge-adaptive and recursive non-linear filtering of ringing effect
Kong et al. Adaptive fuzzy post-filtering for highly compressed video
JP4065287B2 (ja) 画像データのノイズ除去方法及びその装置
Yoo et al. Blind post-processing for ringing and mosquito artifact reduction in coded videos
KR100772402B1 (ko) 공간 영역에서의 내용 적응성 블로킹 아티팩트 제거기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150105

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee