KR20080051207A - 블록화 현상 제거 방법 - Google Patents

Abstract

본 발명은 블록화 현상(blocking artifact)을 제거하는 방법에 관한 것이다.

본 발명에 따른 블록화 현상 제거 방법은, 영상을 매크로 블록단위로 나누어 DCT 변환하고 양자화를 수행하는 단계; 상기 양자화된 매크로 블록에 대해 다시 역양자화를 수행하는 단계; 상기 DCT 변환을 수행하여 얻어진 DCT 계수값과 상기 역양자화를 수행하여 얻어진 계수값과의 차를 계산하여 DCT 에러 계수값을 구하는 단계; 상기 DCT 에러 계수값을 DCT 기본 패턴의 위치에 대응되는 패턴에 적용하여 상기 각 패턴에 대한 이미지 에러 블록을 구하는 단계; 상기 구해진 각 패턴에 대한 이미지 에러 블록을 더하여 토탈 이미지 에러블록을 구하고, 상기 토탈 이미지 에러블록의 경계면 차이를 계산하여 에러 측정값을 구하는 단계; 상기 에러 측정값을 필터링 강도값으로 변환하고 디코딩시에 상기 필터링 강도값을 필터링값으로 적용하는 단계;를 포함하는 것을 특징으로 한다.

블록화 현상

Description

블록화 현상 제거 방법{blocking artifact removing method}

도 1은 본 발명의 실시 예에 따른 동영상 부호화를 위한 인코더 및 디코더를 나타내는 구성도.

도 2는 본 발명에 따른 DCT 에러 블럭을 얻기 위한 과정을 보여주는 도면.

도 3은 본 발명에 따른 토탈 이미지 에러 블럭을 얻기 위한 과정을 보여주는 도면.

도 4는 DCT 기본 패턴을 보여주는 도면.

도 5는 본 발명에 따른 에러 측정값을 구하는 방법을 보여주는 도면.

도 6은 본 발명에 따른 필터링 값을 구하기 위한 그래프를 보여주는 도면.

도 7은 본 발명의 실시 예에 따른 블록화 제거 방법을 보여주는 플로우 차트.

본 발명은 블록화 현상(blocking artifact)을 제거하는 방법에 관한 것이다.

일반적으로 동영상의 큰 정보량을 줄이기 위해 MPEG-2, MPEG-4, H.261, H.264 등의 동영상 압축 기술을 사용하며, 상기와 같은 MPEG-x, H.26x를 포함하는 대부분의 동영상 압축 기술들은 매크로 블록 단위로 DCT(Discrete Cosine Transform)와 양자화 과정을 통해 높은 압축 효율을 얻게 된다.

하지만, 매크로 불록 단위로 양자화를 수행하면 양자화 에러에 의해서 결과 영상이 원래 영상과 차이가 발생한다. 프레임 단위로 보면 프레임 내부의 모든 매크로 블록들이 원래 매크로 블록과 차이를 갖게되고 이웃하는 매크로 블로간에 경계에는 블록화 현상(blocking artifact)이 발생한다.

한편, MPEG-4 기술에서는 블로킹 제거(De-blocking;이하 디블록킹) 알고리즘이 포함되어 있지는 않지만 화질 개선의 목적으로 디코더를 통해 블록화 현상을 제거하거나, H.264에서는 디코더에서 매크로 블록의 종류, 종류의 위치 등 다양한 경우를 따져서 디블록킹 필터의 강도를 판단하도록 규정하여 블록화 현상을 제거하고 있다.

하지만, 상기와 같은 블록화 현상 제거는 디코더에서 추정한 몇 가지 예측값을 필터링값으로 사용하기 때문에 정확하지 않은 필터링으로 인해서 오류를 증폭시키고 영상의 열화를 발생시키는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 양자화 에러를 이용한 필터링값을 인코딩 과정에서 계산하고, 디코딩시 상기 필터링값을 이용하여 필터링함으로써 오차로 인한 블록화 현상 등의 영상 열화를 방지할 수 있도록 하는 블록화 현상 제거 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 블록화 현상 제거 방법은, 영상을 매크로 블록단위로 나누어 DCT 변환하고 양자화를 수행하는 단계; 상기 양자화된 매크로 블록에 대해 다시 역양자화를 수행하는 단계; 상기 DCT 변환을 수행하여 얻어진 DCT 계수값과 상기 역양자화를 수행하여 얻어진 계수값과의 차를 계산하여 DCT 에러 계수값을 구하는 단계; 상기 DCT 에러 계수값을 DCT 기본 패턴의 위치에 대응되는 패턴에 적용하여 상기 각 패턴에 대한 이미지 에러 블록을 구하는 단계; 상기 구해진 각 패턴에 대한 이미지 에러 블록을 더하여 토탈 이미지 에러블록을 구하고, 상기 토탈 이미지 에러블록의 경계면 차이를 계산하여 에러 측정값을 구하는 단계; 상기 에러 측정값을 필터링 강도값으로 변환하고 디코딩시에 상기 필터링 강도값을 필터링값으로 적용하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에서, 상기 토탈 이미지 에러블록의 경계면 차이를 계산하는 것은, 토탈 이미지 에러블록 경계면의 좌/우 및 상/하 픽셀들의 차를 더하여 계산되는 것을 특징으로 한다.

본 발명에서,상기 DCT 기본 패턴값은 수평 코사인 함수와 수직 코사인 함수의 조합으로 구성된 DCT 패턴값인 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하면 다음과 같다.

도 1은 본 발명에 따른 동영상 부호화를 위한 인코더 및 디코더를 나타내는 구성도이다.

도 1을 참조하면, DCT(Discrete Cosine Transform)부(11)는 공간적 상관성을 제거하기 위해 8 ×8 화소 블록 단위로 입력되는 영상 데이터에 대해 DCT 연산을 수행하고, 양자화부(Quantization: Q)(12)는 DCT부(11)에서 얻어진 DCT 계수에 대해 양자화를 수행하여, 몇 개의 대표 값으로 표현함으로써 고효율 손실 압축을 수행하며 상기 양자화를 수행할 때 양자화 에러가 발생한다.

역양자화부(Inverse Quantization: IQ)(13)는 양자화부(12)에서 양자화된 영상 데이터를 역양자화한다. IDCT부(14)는 역양자화부(13)에서 역양자화된 영상 데이터에 대해 IDCT(Inverse Discrete Cosine Transform) 변환을 수행한다.

프레임 메모리부(15)는 IDCT부(14)에서 IDCT 변환된 영상 데이터를 프레임 단위로 저장한다.

움직임 추정 및 보상부(Motion Estimation and Compensation: ME/MC)(16)는 입력되는 현재 프레임의 영상 데이터와 프레임 메모리부(15)에 저장된 이전 프레임의 영상 데이터를 이용하여 매크로 블록당 움직임 벡터(MV)와 블록정합오차(block matching error)에 해당하는 SAD(sum of absolute difference)를 추정한다.

가변 길이 부호화부(variable length coding: VLC)(17)는 움직임추정부(16)에서 추정된 움직임 벡터(MV)에 따라 DCT 및 양자화 처리된 데이터에서 통계적 중복성을 제거한다.

상기 인코더(10)에 의해 부호화된 비트 스트림은 가변 길이 복호화부(21), 역양자화부(22), IDCT부(23), 프레임 메모리부(24) 및 움직임 보상부(25)로 이루어진 디코더(20)에 의해 복호화 된다.

본 발명은 상기 양자화를 수행할 때 발생하는 양자화 에러의 에러 측정값(Error Measure)을 계산하여 필터링값을 구하고 디코딩시 상기 필터링값을 사용하 여 필터링함으로써 블록화 현상을 줄일 수 있는 방법을 제안한다.

자세히 설명하면, 도 2a와 같이 매크로 블록(4x4를 기준으로 설명한다) 단위로 DCT 변환을 수행하여 DCT 계수를 얻는다.

상기 DCT 변환된 매크로 블록에 대해 양자화를 수행하면 도2b와 같이 고주파 부분의 AC 계수 값이 0으로 변환되고, 상기 양자화된 매크로 블록에 대해 다시 역양자화를 수행하여 도2c와 같은 계수값을 얻는다.

상기 역양자화를 수행하여 얻어진 계수값과 상기 DCT 변환을 수행하여 얻어진 DCT 계수값 중 0이 아닌 계수값의 차를 계산하여 도 2d와 같이 양자화 에러 계수값으로 구성된 DCT 에러 블록(DCT Error Block)을 얻는다.

상기 DCT 에러 블록은 도 3a와 도3b와 같이 양자화 에러 계수값의 위치에 대응하는 DCT 기본 패턴에 대해 상기 계수값을 곱하여 양자화 에러가 영상에 미치는 이미지 에러 블록들(Image Error Blocks)을 얻는다.

여기서, 상기 DCT 기본 패턴값은 수평 코사인 함수와 수직 코사인 함수의 조합으로 구성되어 있으며 도 4와 같이 8x8 기본 패턴, 4x4 DCT 기본 패턴으로 정해져 있다.

따라서, 상기 DCT 기본 패턴의 각 패턴에 대해 대응하는 양자화 에러 계수값을 곱한 후 이 패턴들을 결합하여 재구성할 수 있으며, 도 3c와 같이 각 이미지 에러 블록들을 결합하여(예:A₀₀+B₀₀+C₀₀, A₀₁+B₀₁+C₀₁) 토탈 이미지 에러블록(Total Image Error Block)을 얻는다.

상기 토탈 이미지 에러블록을 이용하여 양자화된 매크로 블록간의 경계면에서 어느정도 에러가 발생했는지 대한 에러 측정값을 수치로 계산할 수 있게 된다.

즉, 상기 토탈 이미지 에러블록을 이용하여 매크로 블록의 좌우 경계면인 경우는 도 5a와 같이 Error measure = abs(a₁₀-A₁₀)+abs(b₂₀-B₂₀)+abs(c₃₀-C₃₀)+abs(d₄₀-D₄₀)로 구할 수 있으며, 상기 매크로 블록의 상하 경계면인 경우는 도5b와 같이 Error measure = abs(a₀₁-A₀₁)+abs(b₀₂-B₀₂)+abs(c₀₃-C₀₃)+abs(d₀₄-D₀₄)로 구할 수 있다.

상기와 같이 구해진 에러 측정값은 도 6과 같은 에러 측정에 따른 필터링 강도 그래프를 이용하여 필터링 강도(Filtering Strength)값으로 변환되고 상기 필터링 강도값이 디코딩시 필터링에 사용되는 필터링값이 된다. 즉, 디코딩시에 디코더에서 예측한 값으로 필터링하는 대신 본 발명에서 제안한 인코딩 과정에서 정확하게 블럭 경계의 에러값을 계산하여 구해진 필터링값을 적용한다.

따라서 본 발명에 따른 필터링값이 적용되어 디코딩되는 영상은 기존의 예측에 의한 필터링 방법보다 블럭화 현상을 제거하면서 이미지 원본에 더 충실하게 복원할 수 있다.

도 7은 본 발명의 실시 예에 따른 블록화 제거 방법을 보여주는는 플로우 차트이다.

도 7을 참조하면, DCT부(11)를 통해 압축할 이미지를 매크로 블록(4x4를 기준으로 설명한다) 단위로 DCT 변환을 수행하여 DCT 계수를 얻고, 양자화부(Quantization: Q)(12)를 통해 상기 DCT 변환된 매크로 블록에 대해 양자화를 수행 한다(S11). 따라서 도2b와 같이 고주파 부분의 AC 계수 값이 0으로 변환된 블록을 얻는다.

상기 양자화된 매크로 블록에 대해 역양자화부(13)를 통해 역양자화를 수행하여 도2c와 같은 계수값을 얻는다(S12).

이후, IDCT부(14)를 통해 상기 역양자화를 수행하여 얻어진 계수값과 상기 DCT 변환을 수행하여 얻어진 DCT 계수값 중 0이 아닌 계수값의 차를 계산하여 도 2d와 같이 양자화 에러 계수값으로 구성된 DCT 에러 블록(DCT Error Block)을 얻는다(S13).

샹기 DCT 에러 블록은 도 3a와 도3b와 같이 DCT 에러 블록 계수값의 위치에 대응하는 DCT 기본 패턴에 대해 상기 계수값을 적용하여 양자화 에러가 영상에 미치는 계수값으로 구성된 이미지 에러 블록들(Image Error Blocks)을 얻는다(S14).

즉, 상기 DCT 기본 패턴의 각 패턴에 대해 대응하는 양자화 에러 계수값을 곱한 후 이 패턴들을 결합하여 재구성할 수 있으며, 도 3c와 같이 각 이미지 에러 블록들을 결합하여(예:A₀₀+B₀₀+C₀₀, A₀₁+B₀₁+C₀₁) 토탈 이미지 에러블록(Total Image Error Block)을 얻고, 상기 토탈 이미지 에러블록 경계면의 각 좌/우 및 상/하 픽셀값의 차를 더하여 양자화된 매크로 블록간의 경계면에서 어느정도 에러가 발생했는지 값을 수치로 계산하여 에러 측정값을 구한다(S15).

여기서, 상기 DCT 기본 패턴값은 수평 코사인 함수와 수직 코사인 함수의 조합으로 구성되어 있으며 IDCT부(14)에 저장되어 있다.

상기와 같이 구해진 에러 측정값은 도 6과 같은 에러 측정에 따른 필터링 강도 그래프를 이용하여 필터링 강도(Filtering Strength)값으로 변환되고 상기 필터링 강도값이 디코딩시 필터링에 사용되는 필터링값으로 적용한다(S16).

즉, 디코딩시에 디코더(20)의 역양자화부(22)에서는 상기 인코딩 과정에서 정확하게 블럭 경계의 에러값을 계산하여 구해진 필터링값을 적용한다.

상기 에러 측정값은 도 6과 같은 에러 측정에 따른 필터링 강도 그래프를 이용하여 필터링 강도(Filtering Strength)값으로 변환되고, 디코딩시에 디코더의 예측값으로 필터링하는 대신 본 발명에서 제안한 방법으로 구해진 필터링 강도값을 디코더의 필터링값으로 사용한다.

따라서 본 발명에 따른 필터링 강도값이 적용되어 디코딩되는 이미지는 기존의 예측에 의한 필터링 방법보다 블럭화 현상을 제거하면서 이미지 원본에 더 충실하게 복원할 수 있다. 또한 본 발명은 소프트웨어 알고리즘으로도 구현할 수 있다.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

본 발명에 따른 블록화 현상 제거 방법은, 인코딩시 블록간 경계면에 발생하는 에러값을 계산하여 필터링값으로 변환하고 디코딩시에 상기 필터링값을 적용하 여 디코딩함으로써 오차로 인한 블록화 현상 등의 영상 열화를 방지하고 영상 원본에 더 충실하게 복원할 수 있도록 하는 효과가 있다.

Claims (3)

1. 영상을 매크로 블록단위로 나누어 DCT 변환하고 양자화를 수행하는 단계;

   상기 양자화된 매크로 블록에 대해 다시 역양자화를 수행하는 단계;

   상기 DCT 변환을 수행하여 얻어진 DCT 계수값과 상기 역양자화를 수행하여 얻어진 계수값과의 차를 계산하여 DCT 에러 계수값을 구하는 단계;

   상기 DCT 에러 계수값을 DCT 기본 패턴의 위치에 대응되는 패턴에 적용하여 상기 각 패턴에 대한 이미지 에러 블록을 구하는 단계;

   상기 구해진 각 패턴에 대한 이미지 에러 블록을 더하여 토탈 이미지 에러블록을 구하고, 상기 토탈 이미지 에러블록의 경계면 차이를 계산하여 에러 측정값을 구하는 단계;

   상기 에러 측정값을 필터링 강도값으로 변환하고 디코딩시에 상기 필터링 강도값을 필터링값으로 적용하는 단계;를 포함하는 것을 특징으로 하는 블록화 현상 제거 방법.
2. 제 1항에 있어서,

   상기 토탈 이미지 에러블록의 경계면 차이를 계산하는 것은, 토탈 이미지 에러블록 경계면의 좌/우 및 상/하 픽셀들의 차를 더하여 계산되는 것을 특징으로 하는 블록화 현상 제거 방법.
3. 제 1항에서 있어서,

   상기 DCT 기본 패턴값은 수평 코사인 함수와 수직 코사인 함수의 조합으로 구성된 DCT 패턴값인 것을 특징으로 하는 블록화 현상 제거 방법.

Images