KR20030027424A

KR20030027424A - 비디오 코더의 블록화 현상 제거 방법

Info

Publication number: KR20030027424A
Application number: KR1020010060661A
Authority: KR
Inventors: 홍민철
Original assignee: 엘지전자 주식회사
Priority date: 2001-09-28
Filing date: 2001-09-28
Publication date: 2003-04-07
Also published as: KR100464000B1

Abstract

본 발명은 비디오 코더의 블록화 현상 제거 방법에 관한 것으로 특히, 루프(loop) 필터를 보정하는 양자화 크기(압축 부호화 율)에 따라 적응적으로 루프(loop) 필터링함으로써 H.26L 압축 동영상의 블록화 현상을 제거하여 화질을 개선하고자 함에 목적이 있다. 이와같은 목적의 본 발명은 각 4x4 블록의 부호화 형태에 따라 처리될 블록의 강도(Strength)를 결정하는 제1 과정과, 상기에서 결정된 각 블록의 강도(Strength)에 따라 필터링될 화소를 결정하는 제2 과정과, 상기에서 결정된 블록 강도, 필터링될 화소 및 양자화 크기에 따라 적응적 필터링을 수행하는 제3 과정과, 상기에서 필터링된 화소에 대해 블록의 양자화 크기 및 블록 활동성에 따라 투영 연산하여 최종 필터링된 영상을 얻는 제4 과정을 수행함을 특징으로 한다.

Description

비디오 코더의 블록화 현상 제거 방법{BLOCKING PHENOMENON ELIMINATING METHOD FOR VIDEO CODER}

본 발명은 비디오 코더에 관한 것으로 특히, ITU-T 주관 하에 개발되고 있는 H.26L 비디오 코더의 루프(Loop) 필터에 있어서 블록화 현상 제거 방법에 관한 것이다.

1997년 이후 차세대 동영상 압축 방식으로 개발되어 온 H.26L 방식은 기존의 H.263 및 MPEG4 방식보다 성능면에서 우월성이 입증되었다.

차세대 동영상 압축 방식인 H.26L 방식은 4*4블록 기반의 변환 및 부호화를 사용하고 변환 블록 크기의 움직임 추정 및 보상을 실시하며 그리고 한 개의 가변장 부호기(VLC ; Variable Length Code)를 사용한다는 점이 기존의 H.263 및 MPEG4와의 주요 차이점이다.

상기에서 언급한 바와 같이 H.26L 방식은 성능면에서 기존의 동영상 표준화 방식보다 우월하지만, 인코더(Encoder)의 계산량이 많고 4*4 블록 크기를 기반으로 한 변환 방식이므로 기존의 표준화 방식보다 블록화 현상이 두드러져 보이는 단점이 있다.

이러한 블록화 현상을 제거하기 위해 현재 H.26L 부호화 방식에서는 루프(loop) 필터를 사용하고 있다.

그러나, 현재 H.26L 부호화 방식에서 루프 필터를 사용하여 블록화 현상을제거하고 있지만, 시각적인 측면, 부호화 효율 측면 및 계산량의 측면을 고려하면 아직 최적화되었다고 할 수 없다.

따라서, 본 발명은 상기의 문제점을 해결하기 위하여 루프(loop) 필터를 보정하는 양자화 크기(압축 부호화 율)에 따라 적응적으로 루프(loop) 필터링함으로써 H.26L 압축 동영상의 블록화 현상을 제거하여 화질을 개선하고자 창안한 비디오 코더의 블록화 현상 제거 방법을 제공함을 목적으로 한다.

또한, 본 발명의 다른 목적은 블록화 현상 제거를 위하여 적응적으로 루프 필터링함으로써 계산량을 줄이도록 하는 것이다.

도1은 본 발명의 실시예에서 수평 및 수직축 방향의 블럭 위치를 보인 예시도.

도2는 본 발명의 실시예에서 블록 강도(strength) 결정을 위한 블록 예시도.

도3은 본 발명의 실시예에서 인접 블록의 화소 위치를 보인 예시도.

도4는 본 발명의 실시예에서 필터 화소 결정을 위한 임계치 테이블을 보인 표.

도5는 본 발명의 실시예에서 블록 활동성에 따른 필터링 화소 결정을 위한 표.

도6 및 도7은 본 발명의 실시예에서 양자화 크기에 따른 필터 계수를 보인 표.

도8은 본 발명의 실시예에서 양자화 크기에 따른 clip를 보인 표.

도9는 본 발명의 실시예에서 블록화 현상 필터링을 위한 동작 순서도.

본 발명은 상기의 목적을 달성하기 위하여 각 4x4 블록의 부호화 형태에 따라 처리될 블록의 강도(Strength)를 결정하는 제1 과정과, 상기에서 결정된 각 블록의 강도(Strength)에 따라 필터링될 화소를 결정하는 제2 과정과, 상기에서 결정된 블록 강도, 필터링될 화소 및 양자화 크기에 따라 적응적 필터링을 수행하는 제3 과정과, 상기에서 필터링된 화소에 대해 블록의 양자화 크기 및 블록 활동성에 따라 투영 연산하여 최종 필터링된 영상을 얻는 제4 과정을 수행함을 특징으로 한다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

TML8(Test Model Long Term Number 8) 동영상 압축 방식은 부호화 부에서 공간적, 시간적 과잉 정보를 제거하는 기법을 사용하여 시,공간적으로 압축된 정보와 복호화에 필요한 부가 정보를 전송한다.

복호화부는 부호화부의 동작에 대해 역순으로 실행하도록 구성된다.

본 발명은 화소 사이의 상관 관계(correlation)를 복호화부에서 이용 가능한 양자화 변수(QP), 코드화 블록 패턴(Coded Block Pattern) 및 움직임 벡터 크기에 따라 원 영상을 예측하여 블록화 및 링현상을 제거하는 실시간 처리 기법을 제안하는 것이다.

본 발명에서 제안된 루프(loop) 필터링 방법은 수평축 방향으로 실행하여 수평축 방향으로 블록화 현상이 제거된 영상을 얻고 이 영상에 대해 수직축 방향으로 실행하여 수직축 방향의 블록화 현상이 제거된 영상을 얻도록 실행된다.

여기서, 수평축 및 수직축 방향의 블록 위치는 도1(a))(b)의 예시도와 같다.

이러한 루프 필터링 방법은 각 4x4 블록의 부호화 형태에 따라 처리될 블록의 강도(Strength)를 결정하는 과정과, 상기에서 결정된 각 블록의 강도(Strength)에 따라 필터링될 화소를 결정하는 과정과, 상기 과정에서 결정된 내용(블록 강도, 필터링될 화소) 및 양자화 크기에 따라 적응적 필터링을 수행하는 과정과, 상기에서 필터링된 화소가 정의될 수 있는 투영 연산자를 이용하여 최종 필터링된 영상을 얻는 과정으로 이루어진다.

이하, 본 발명의 실시예에서의 루프 필터링 방법을 각 과정별로 설명하기로 한다.

우선, 각 4 x 4 블록의 부호화 형태에 따라 처리될 블록의 강도(Strength)를 결정하게 되며, 이 과정을 설명하면 다음과 같다.

H.26L 표준화 방식을 이용한 압축 영상의 블록화 현상의 정도는 각 블록의부호화 형태, 양자화 스텝 크기 및 움직임 벡터의 크기에 따라 다르게 발생하므로 아래와 같은 과정으로 필터링 상태를 전처리 과정으로 결정하게 된다.

도2에서 각 블록의 강도(strength)는 Strength()로 표현된다. 예로, 블록C의 강도(strength)는 Strength(C)라 표현된다.

1. 각 4x4 블록의 강도(Strength)를 '0'으로 초기화 한다.

2. 각 4x4 블록이 인트라 부호화(intra-coded) 블록 또는 '0'이 아닌 변환 계수(nonzero transform 계수)를 갖고 있는 블록이면로 표현된다.

예로, 도2에서 각 블록의 강도(Strength())는 아래와 같이 정의된다.

Strength(C) = max(Strength(C)+2),

Strength(A) = max(Strength(A),1),

Strength(B) = max(Strength(B), 1),

Strength(D) = max(Strength(D),1),

Strength(E) = max(Strength(E), 1)

3. 도1에 도시된 블럭(block1)(block2)간의 움직임 벡터 차가 '1' 이상이면로 표현된다.

예로, 도2에서 블록(A)(C)간의 움직임 벡터 차가 '1'이상이면 블록 강도는 아래와 같이 표현된다.

Strength(A) = max(Strength(A),1)

Strength(C) = max(Strength(C),1)

여기서, max(a,b)는 a 및 b의 최대값을 의미하는 것이다.

그리고, 상기와 같은 과정으로 블록의 강도가 결정되면 루프 필터링될 화소를 결정하게 되며 이 과정을 설명하면 다음과 같다.

이 과정에서 블록(block1)(block2)의 강도가 '0'이 아닌 블록들에 대해 필터링하고자 하는 화소들을 선택하도록 한다.

이는 시각적으로 블록화 현상을 발생시키는 화소들 만을 선택적으로 처리하여 계산량을 줄일 수 있도록 하는 잇점이 있다.

이러한 동작을 수평 방향으로의 필터링을 위해 선택되는 화소를 예를 들어 설명하기로 한다.

먼저, 화소 선택을 위해 도4에 예시된 테이블과 같이 양자화 크기에 따른 임계치를 설정한다.

이 후, 인접하는 2개의 블록의 활동성(activity)을 결정한다. 이 블록의 활동성은 필터링될 화소를 결정하는 매개변수로 활용된다.

블록의 활동성을 구하는 과정을 수평 방향으로의 필터링을 위해 선택되는 화소를 예로 들어 설명하기로 한다.

도3에서 블록(block2)의 활동성(activity)은 아래 식에 의해 결정된다.

즉, 블록(block2)의 활동성은 아래 식을 만족시키는 최소값의 변수(i)에 의해 정의된다.

여기서,는 양자화 크기에 따른 임계치이다.

또한, 블록(block2)의 강도가 '1'보다 작거나 같은 경우 변수(i)는 최대 '2'의 값을 갖도록 하며 '1'보다 큰 경우 최대 '3'의 값을 갖도록 정의한다.

이 후, 상기의 과정으로 블록(block2)의 활동성이 계산되면 블록(block2)에서 필터링될 화소를 결정하게 되며 이는 도5에 예시된 테이블과 같다.

즉, 도3에서 블록(block2)의 활동성이 계산되었을 때 그 값이 '1'이면 화소(r1)(r2)가 모두 필터링되지 않는 화소로 결정되고 '2'이면 화소(r1)만이 필터링될 화소로 결정되며 '3'이면 화소(r1)(r2)가 모두 필터링될 화소로 결정된다.

이러한 과정은 수직 방향으로의 필터링될 화소의 결정에서도 동일하게 적용된다.

이 후, 상기 과정에서 결정된 블록의 강도(Strength()) 및 양자화 크기에 따라 필터링 과정이 적응적으로 실행되며 이를 도3에서 설명하면 다음과 같다.

현재 TML8에 적용되고 있는 필터링 방식은 양자화 크기에 무관한 저주파 통과 필터를 사용하여 저 압축률 영상의 윤곽선 부분을 열화시키는 단점이 있다.

본 발명에서는 저 압축률 영상의 윤곽선 부분에서의 열화 현상을 방지하고자 양자화 크기, 블록 활동성 및 블록 경계 영역에서의 신호 불균일 크기에 따른 필터링 방식을 제안한다.

일반적으로 블록(block1)(block2)의 활동성 값이 '3'이고 블록 경계에서의 신호 불균일 값이 [-(2-QP/4),(2-QP/4)]에 위치하는 경우 블록 윤곽선 부분에 블록화 현상이 심한 경우이므로 아래의 식과 같이 정의되는 저주파 필터를 사용하여 블록화 현상을 제거한다.

L1 = (fcoef2*(l3+r2)+fcoef1*(l2+l1+r1)+64)/128

L2 = (fcoef2*(l4+r1)+fcoef1*(l3+l2+l3)+64)/128

L3 = (fcoef2*(l3+l1)+fcoef1*(l4+l3+l2)+64)/128

R1 = (fcoef2*(l2+r2)+fcoef1*(l1+r1+r2)+64)/128

R2 = (fcoef2*(l1+r4)+fcoef1*(r1+r2+r3)+64)/128

R3 = (fcoef2*(r1+r3)+fcoef1*(r2+r3+r3)+64)/128

이때, 상기 필터 계수(fcoe1)는 도6에 예시된 테이블과 같이 설정되어 양자화 크기(QP)에 따라 적응적으로 선택되며 상기 필터 계수(fcoe2)는 아래 식에 의해 구해된다.

그리고, 상기의 경우에 해당되지 않는 블록들의 화소는 아래의 식과 같이 정의되는 저주파 필터를 사용한다.

R1 = (fcoef2*(l1+r2)+fcoef1*r1+32)/64

L1 = (fcoef2*(l2+r1)+fcoef1*l1+32)/64

R2 = (fcoef2*(r1+r3)+fcoef1*r2+32)/64

L2 = (fcoef2*(l3+l1)+fcoef1*l2+32)/64

이 경우 필터 계수(fcoe1)는 도7에 예시된 테이블과 같이 결정되어 양자화 크기(QP)에 따라 선택되며 필터 계수(fcoe2)는 아래의 식에 의해 구해진다.

이 후, 마지막으로 적응적 필터링된 화소에 대해 투영 연산하여 최종 필터링된 화소를 구하게 된다.

본 발명의 투영 연산 과정은 L2, L3 및 R2, R3 에 대해 적용된다.

예로, 투영 연산을 R2에 적용하는 경우 아래와 같이 정의된다.

상기 알고리즘에서 'clip'는 R2가 해당되는 블록의 양자화 크기, 블록 활동성 등에 의해 도8에 예시된 테이블과 같이 결정된다.

상기에서 상세히 설명한 바와 같이 본 발명은 H.26L 동영상 압축 기법이 사용되는 디지털 영상기기에서 블록화 현상 제거를 실시간 처리하여 선명한 화질을 제공할 수 있는 효과가 있다.

특히, 본 발명을 디지털 영상 기기에 적용하면 저비트율 또는 고속 처리가 요망되는 압축 영상의 화질을 개선할 수 있는 효과가 있다.

Claims

각 4x4 블록의 부호화 형태에 따라 처리될 블록의 강도(Strength)를 결정하는 제1 과정과, 상기에서 결정된 각 블록의 강도(Strength)에 따라 필터링될 화소를 결정하는 제2 과정과, 상기에서 결정된 블록 강도, 필터링될 화소 및 양자화 크기에 따라 적응적 필터링을 수행하는 제3 과정과, 상기에서 필터링된 화소에 대해 블록의 양자화 크기 및 블록 활동성에 따라 투영 연산하여 최종 필터링된 영상을 얻는 제4 과정을 실행함을 특징으로 하는 비디오 코더의 블록화 현상 제거 방법.
제1항에 있어서, 제2 과정은 양자화 크기에 따라 임계치를 설정하는 제1 단계와, 상기에서 설정된 임계치를 참조하여 블록 활동성을 결정하는 제2 단계와, 상기에서 결정된 활동성에 따라 필터링될 화소를 결정하는 제3 단계로 이루어짐을 특징으로 하는 비디오 코더의 블록화 현상 제거 방법.
제2항에 있어서, 블록 활동성은 아래 식을 만족하는 최소값의 변수(i)에 의해 정의되는 것을 특징으로 하는 비디오 코더의 블록화 현상 제거 방법.

여기서,는 양자화 크기에 따른 임계치이다.
제2항 또는 제3항에 있어서, 블록 활동성의 값은 블록의 강도가 '1'보다 작거나 같은 경우 최대 '2'의 값을 갖도록 하고 '1'보다 큰 경우 최대 '3'의 값을 갖도록 함을 특징으로 하는 비디오 코더의 블록화 현상 제거 방법.
제1항에 있어서, 제3 과정은 인접하는 2개 블록의 활동성이 '3'이고 블록 경계에서 신호 불균일이에 위치하는 경우 아래의 식과 같이 정의되는 저주파 필터링을 적용하는 것을 특징으로 하는 비디오 코더의 블록화 현상 제거 방법.

L1 = (fcoef2*(l3+r2)+fcoef1*(l2+l1+r1)+64)/128

L2 = (fcoef2*(l4+r1)+fcoef1*(l3+l2+l3)+64)/128

L3 = (fcoef2*(l3+l1)+fcoef1*(l4+l3+l2)+64)/128

R1 = (fcoef2*(l2+r2)+fcoef1*(l1+r1+r2)+64)/128

R2 = (fcoef2*(l1+r4)+fcoef1*(r1+r2+r3)+64)/128

R3 = (fcoef2*(r1+r3)+fcoef1*(r2+r3+r3)+64)/128
제5항에 있어서, 필터 계수(fcoe1)는 실험적으로 구하여 양자화 크기에 따라 적응적으로 선택하고 필터 계수(fcoe2)는 아래 식과 같은 연산으로 구하는 것을 특징으로 하는 비디오 코더의 블록화 현상 제거 방법.
제1항에 있어서, 제3 과정은 인접하는 2개 블록의 활동성이 '3'이고 블록 경계에서 신호 불균일이에 위치하는 경우에 해당하지 않는 블록의 화소라면 아래의 식과 같이 정의되는 저주파 필터링을 적용하는 것을 특징으로 하는 비디오 코더의 블록화 현상 제거 방법.

R1 = (fcoef2*(l1+r2)+fcoef1*r1+32)/64

L1 = (fcoef2*(l2+r1)+fcoef1*l1+32)/64

R2 = (fcoef2*(r1+r3)+fcoef1*r2+32)/64

L2 = (fcoef2*(l3+l1)+fcoef1*l2+32)/64
제7항에 있어서, 필터 계수(fcoe1)는 실험적으로 구하여 양자화 크기에 따라 적응적으로 선택하고 필터 계수(fcoe2)는 아래 식과 같은 연산으로 구하는 것을 특징으로 하는 비디오 코더의 블록화 현상 제거 방법.