KR100523551B1 - 이미지 화소 필터링 방법 - Google Patents

Abstract

본 발명은 이미지 화소 필터링 방법에 관한 것으로 특히, H.26L 표준화 방식를 구현함에 있어서 계산량을 줄여 실시간 처리가 용이하도록 함은 물론 화소의 위치, 부호화 블록 패턴(Coded Block Pattern), 양자화 스텝 크기(Quantization Step Size) 및 움직임 벡터 크기에 따라 압축 동영상의 블록화 및 링 현상을 제거하여 일정 수준의 화질을 보장하도록 함을 목적으로 한다. 이러한 목적의 본 발명은 이미지의 블록 경계 영역의 화소를 필터링 하는 방법에 있어서, 적어도 이미지의 한 영역에 대한 필터링 강도를 결정하는 단계와, 상기 결정된 필터링 강도에 근거하여 적어도 이미지의 한 영역에 대해 제1 방향으로 제1 필터링을 수행하는 단계와, 제1 필터링이 완료된 후 상기 결정된 필터링 강도에 근거하여 제2 방향으로 제2 필터링을 수행하는 단계를 수행하도록 구성함을 특징으로 한다.

Description

이미지 화소 필터링 방법{FILTERING METHOD FOR PIXEL OF IMAGE}

본 발명은 동영상 압축 기술에 관한 것으로 특히, 이미지 화소 필터링 방법에 관한 것이다.

1997년 이후 차세대 동영상 압축 방식으로 개발되어 온 H.26L 방식은 기존의 H.263 및 MPEG4 방식보다 성능면에서 우월성이 입증되었다.

차세대 동영상 압축 방식인 H.26L 방식은 4*4블록 기반의 변환 및 부호화를 사용하고 변환 블록 크기의 움직임 추정 및 보상을 실시하며 그리고 한 개의 가변장 부호기(VLC)를 사용한다는 점이 기존의 H.263 및 MPEG4와의 주요 차이점이다.

상기에서 언급한 바와 같이 H.26L 방식은 성능면에서 기존의 동영상 표준화 방식보다 우월하지만, 인코더(Encoder)의 계산량이 많고 4*4 블록 크기를 기반으로 한 변환 방식이므로 기존의 표준화 방식보다 블록화 현상이 두드러져 보이는 단점이 있다.

이러한 블록화 현상을 제거하기 위한 필터 형태는 인코더 및 디코더의 내부에서 처리하는 루프(loop) 필터 방식, 디코더 다음단에서 처리하는 포스트(post) 필터 그리고, 위의 두 방식을 합친 방식으로 구성할 수 있다.

일반적으로 루프 필터 방식으로 블록화 현상을 제거하면 입력 영상과 움직임 영상의 차이 값에 영향을 주어 부호화 율이 특정한 경우에 높아지는 반면에 비디오 코더 내부에 설치되어 있으므로 부호화부의 복잡성을 증가시킨다.

즉, 루프 필터는 필터 탭수 및 알고리즘의 구현 가능성에 따라 복잡성이 결정되므로 이상적인 루프 필터로는 작은 필터 탭수를 가지며 알고리즘이 단순한 방식이 바람직한 방식이라 할 수 있다.

또한, 블록화 현상을 제거하기 위한 포스트 필터는 루프 필터와는 반대인 장점 및 단점을 가진다.

그런데, 각 필터 방식의 장,단점에도 불구하고 현재 H.26L 표준화 기구에서는 루프 필터만을 표준화에 고려하고 있다.

따라서, 본 발명은 H.26L 표준화 방식를 구현함에 있어서 계산량을 줄여 실시간 처리가 용이하도록 함은 물론 압축 동영상의 블록화 및 링 현상을 제거하여 일정 수준의 화질을 보장하도록 창안한 이미지 화소 필터링 방법을 제공함에 목적이 있다.

특히, 본 발명은 이미지의 블록 경계 영역에 대해 화소의 위치, 코드화 블록 패턴(Coded Block Pattern), 양자화 스텝 크기(Quantization Step Size) 및 움직임 벡터 크기에 따라 블록화 및 링 현상을 제거하도록 함을 목적으로 한다.

본 발명은 상기의 목적을 달성하기 위하여 이미지의 블록 경계 영역의 화소를 필터링 하는 방법에 있어서, 적어도 이미지의 한 영역에 대한 필터링 강도를 결정하는 단계와, 상기 적어도 이미지의 한 영역에 대해 상기 결정된 필터링 강도에 근거하여 제1 방향으로 제1 필터링을 수행하는 단계와, 제1 필터링이 완료된 후 상기 결정된 필터링 강도에 근거하여 제2 방향으로 제2 필터링을 수행하는 단계를 포함하여 수행하도록 구성함을 특징으로 한다.

상기 필터링 강도는 변환계수 또는 움직임벡터 크기에 따라 결정되는 것을 특징으로 한다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

TML5(Test Model Long Term Number 5) 동영상 압축 방식은 부호화부에서 공간적, 시간적 과잉 정보를 제거하는 기법을 사용하여 시간적, 공간적으로 압축된 정보와 복호화에 필요한 부가 정보를 전송한다.

복호화부는 부호화부의 동작에 대해 역순으로 실행되도록 구성한다.

우선, 화소 사이의 상관 관계(correlation)를 복호화부에서 이용 가능한 양자화 변수(QP), 부호화 블록 패턴(Coded Block Pattern) 및 움직임 벡터 크기에 따라 원영상을 예측하여 블록화 및 링현상을 제거하는 실시간 처리 기법을 설명하기로 한다.

원 영상 f가 압축된 형태로 전송될 때, 복호화단에서 재 구성된 영상은 다음과 같은 식으로 표현할 수 있다.

---------------- (식1-1)

상기 (식1-1)에서 g,f,n은 스캐닝 순서로 재 배열된 압축 영상, 원 영상 그리고 양자화 오차의 열 벡터를 의미한다.

상기 (식1-1)을 화소 단위의 처리를 위하여 각 화소의 관계를 표현하는 아래의 식(1-2)와 같이 표현할 수 있다.

-------------- (식1-2)

원 화소에 대한 신뢰도와 각 화소에 대한 1차원 평탄화(smoothing) 함수를 정규화 기법과 같이 이용할 때 다음의 식(1-3)과 같은 부가 함수를 정의할 수 있다. 우선 수평 방향을 고려한다.

-----------(식1-3)

상기 (식1-3)에서 , 은 화소 f(i,j)에 대한 좌측, 우측 방향으로의 신뢰도 평탄화 정도를 나타내는 함수이며, 이 함수들은 다음과 같이 정의된다.

-----(식1-4)

상기 (식1-4)의 각 함수들 우측항의 첫째 항들은 화소 에 대한 인접 화소와의 불규칙을 나타내고, 둘째 항들은 원 화소에 대한 신뢰도를 나타낸다.

또한, , 은 각 함수에 정의된 불규칙 항과 신뢰도 항의 비율을 나타내는 일종의 정규화 매개 변수들을 의미한다.

상기와 같은 방식으로 동 영상의 각 화소마다 부가 함수가 정의되며, 수직 방향으로의 함수 정의는 상기 (식1-4)의 변수 j 대신 i를 변화시켜 정의한다.

이 후, 블록화 및 링 현상을 제거한 복원 영상을 구하기 위해 각 화소마다 정의된 상기 (식1-4)의 부가함수에 미분을 취하면 다음과 같은 결과를 얻게 된다.

---------------------(식1-5)

상기 (식1-5)에서,

----(식1-6)

상기 (식1-5),(식1-6)으로부터 수평 방향으로 복원될 화소 f(i,j)를 다음과 같이 구할 수 있다.

-----------(식1-7)

상기 (식1-7)의 정규화 매개 변수는 0과 1 사이의 값을 가지므로 (식1-7)은 다음과 같이 정의할 수 있다.

-----------(식1-8)

상기 (식1-8)을 살펴보면 압축 영상의 블록화 제거 영상은 (i,j)번째 영상을 기준으로 좌,우 두 개의 화소값 및 정규화 매개 변수에 의해 결정된다.

좌,우 두 개의 화소값은 부호화 및 블록화부에서 이용 가능한 값이므로, 복원 영상을 얻기 위해서는 2개의 정규화 매개 변수값을 설정하면 된다.

이를 위해 set theoretic 이론을 화소 단위의 복원 방식에 적용하면 정규화 계수들은 다음과 같이 표현할 수 있다.

-------------(식1-9)

상기 (식1-9)의 , 은 블록 경계 및 블록 내부의 화소간의 불균일 정도가 다르기 때문에 화소의 위치에 의해 결정되는 적응 매개 변수로서 통계적으로 결정되며, QP는 f(i,j)가 속한 매크로 블록의 양자화 매개 변수이다.

상기 (식1-8) 및 (식1-9)를 이용하여 블록화 현상을 제거한 복원 영상을 얻을 수 있으나, 정규화 매개 변수의 값이 플로팅 포인트(floating-point) 연산을 요구하므로 계산량 측면에서 문제가 될 수 있다.

따라서, 정수 연산을 위해 상기 (식1-8) 및 (식1-9)를 다음과 같이 변형시킨다.

---- (식1-10)

그리고,

----------(식1-11)

본 발명의 알고리즘은 정규화 매개 변수를 상기 (식1-11)을 사용하여 정수 형태로 생성한 후 룩업테이블 형태로 저장하여 사용된다.

그러므로, 블록화 필터링을 위한 상기 (식1-10)은 화소 f(i,j) 및 주변의 두 화소의 위치 및 양자화 매개 변수값을 알면 구할 수 있는 형태가 된다.

한편, 본 발명의 루프 필터링 과정은 수평축 방향으로 실행하여 수평축 방향으로 블록화 현상이 제거된 영상을 얻고 이 영상에 대해 수직축 방향으로 실행하여 수직축 방향의 블록화 현상이 제거된 영상을 얻도록 실행되는데, 각각의 수평, 수직축 방향 처리시 도4의 동작 순서도에 도시한 바와 같이, 각 4*4블록의 부호화 패턴 및 양자화 스텝 크기에 따라 처리될 블록의 강도를 결정하는 제1 단계와, 상기 단계에서 결정된 각 블록의 강도에 따라 루프 필터링 과정을 수행하는 제2 단계와, 매크로 블록의 경계 영역에는 상대적으로 큰 블록화 현상이 존재하므로 매크로 블록의 경계 영역에서 별도의 블록화 현상을 제거하는 제3 단계를 실행한다.

여기서, 수평축 및 수직축 방향의 블록 위치는 도1(a)(b)의 예시도와 같다.

우선, 블록 강도(St) 및 필터링 상태를 결정하는 제1 단계를 설명하면 다음과 같다.

이는 H.26L 방식을 표준화 방식으로 결정하기 위한 과정으로, 현재 TML(Test Model Long Term)이 진행 중에 있으며 현재 TML을 4*4 블록 기준으로 영상을 압축하게 된다.

물론, 시간 영역 상의 과잉 정보를 제거하기 위해서는 기존의 MPEG 및 H.263 방식의 움직임 보상 방식을 사용하게 된다.

이와같은 TML 방식의 기본 메커니즘을 이용하여 블록화 현상을 제거하기 위한 기법은 일반적으로 4*4 블록 단위에서 처리하게 된다.

본 발명에서 블록화 현상을 제거하기 위한 방식은 상기와 같은 기존의 방식을 따르지만, 블록화 현상의 정도는 각 블록의 부호화 패턴, 양자화 스텝 크기 및 움직임 벡터의 크기에 따라 다르게 발생하므로 필터링 상태를 다음과 같은 전처리 과정으로 결정하게 된다.

1. 각 4*4 블록의 강도()를 '0'으로 초기화한다. ()

2. 각 4*4 블록이 인트라-부호화(coded) 블록이거나 논-제로(non-zero) 변환 계수를 갖고 있으면

3. 도1의 예시도에서 2개 블록(block1)(block2)의 움직임 벡터 차가 '1' 이상이면

여기서, 는 a 및 b의 최대값을 의미한다.

또한, 상기와 같이 각 블록의 강도()를 결정한 후 각 블록의 양자화 크기에 따라 루프 필터링을 실행하게 된다.

루프 필터링을 수행하는 경우는 도1의 예시도에서 2개의 블록(block1)(block2)의 양자화 크기가 다음과 같은 경우이다.

1. 블록(block1)의 양자화 값이 '21' 보다 작고 2개의 블록(block1)(block2)의 강도(St)가 모두 '0'이 아닌 경우

2. 블록(block1)의 양자화 값이 '20' 보다 크고 2개의 블록(block1)(block2)중 하나의 강도(St)가 '0'이 아닌 경우

이와 같이 양자화 크기에 따라 필터링 상태를 다르게 결정한 이유는 양자화 크기가 큰 경우에 블록화 현상이 두드러지게 보이므로 이에 대해 적응적인 처리를 하기 위한 것이다.

따라서, 상기 전처리 과정의 조건이 만족되면 블록화 현상을 제거하기 위한 제2 단계의 루프 필터링 과정을 아래와 같이 수행하게 된다.

2개의 블록(block1)(block2)의 화소 위치가 도2의 예시도에 도시한 바와 같은 경우 상기에서 정의된 각 블록의 필터링 상태를 만족할 때 화소 c,d,e 및 f 값은 다음과 같은 식(2-1)에 의해 계산하게 된다.

----------------------- 식(2-1)

상기 식(2-1)에서 는 다음과 같이 정의된다.

------- 식(2-2)

여기서, 는 다음과 같이 정의된다.

---------------- 식(2-3)

그리고, 는 아래의 식(2-4)와 같이 정의되므로 도3의 표에 예시된 값을 대입하여 구할 수 있다.

--------------- (2-4)

그런데, 상기 식(1-11)와 식(2-2)는 동일한 식으로서, 식(1-11)의 , (또는 ), 각각은 식(2-2)의 , , 각각과 동일한 파라메터이다.

따라서, 상기에서 정의된 매개 변수를 이용하여 화소 c,d,e,f의 필터링된 값은 다음과 같이 계산한다.

---------------- 식(2-5)

상기 식(2-5)에서 은 비트 시프트(bit shift)를 의미한다.

그런데, 상기와 같은 과정으로 처리된 결과 영상은 만족스럽게 블록화 및 링 현상을 제거시키는 효과를 가져 오지만, 16*16 블록 단위로 구성된 매크로 블럭의 경계 영역에서는 미소하나마 아직 블록화 현상이 존재함을 확인할 수 있다.

이를 해결하기 위해 매크로 블록 경계에 위치한 화소에 대해서 아래의 식(2-6)과 같은 별도의 필터링 처리를 수행하는 제3 단계를 실행하게 된다.

------------------- 식(2-6)

단, if and (d,e) are macroblock boundary pixels.

상기에서 상세히 설명한 바와 같이 본 발명은 H.26L 동영상 압축 기법이 사용되는 디지털 영상 기기에서 화소의 위치, 부호화 블록 패턴, 양자화 스텝 크기 및 움직임 벡터 크기에 따라 블록화 및 링 현상을 제거하는 동작을 실시간 처리함으로써 저 비트율 또는 고속 처리가 요망되는 압축 영상의 화질을 개선할 수 있는 효과가 있다.

도1은 본 발명의 실시예에서 수평 및 수직축 방향의 블럭 위치를 보인 예시도.

도2는 본 발명의 실시예에서 인접 블럭의 화소 위치를 보인 예시도.

도3은 본 발명의 실시예에서 를 결정하기 위한 값을 보인 표.

도4는 본 발명의 실시예를 위한 동작 순서도.

Claims (7)

1. 이미지의 블록 경계 영역의 화소를 필터링 하는 방법에 있어서,

   적어도 이미지의 한 영역에 대한 필터링 강도를 결정하는 단계와;

   상기 적어도 이미지의 한 영역에 대해 제1 방향으로 제1 필터링을 수행하는 단계와,

   제1 필터링이 완료된 후 제2 방향으로 제2 필터링을 수행하는 단계를 포함하며,

   상기 제 1 및 제 2 필터링 단계는 상기 결정된 필터링 강도에 근거하여 수행되는 것을 특징으로 하는 이미지 화소 필터링 방법.
2. 제 1항에 있어서, 상기 필터링 강도는 블록 경계 영역의 화소를 필터링 하기 위한 필터링 강도인 것을 특징으로 하는 이미지 화소 필터링 방법.
3. 제 1항에 있어서, 상기 필터링 강도는 움직임 벡터 또는 변환 계수 정보에 근거하여 결정하는 것을 특징으로 하는 이미지 화소 필터링 방법.
4. 제1항에 있어서, 상기 제1, 제2 필터링은 적어도 상기 필터링 강도가 0(zero)이 아닐 때 수행되는 것을 특징으로 하는 이미지 화소 필터링 방법.　
5. 제4항에 있어서, 상기 이미지의 한 영역 상에서 블록 경계를 이루는 블록들 중 적어도 하나의 블록이 논-제로 변환계수를 가지는지를 판단하여 필터링 강도를 결정하는 것을 특징으로 하는 이미지 화소 필터링 방법.
6. 제4항에 있어서, 상기 이미지의 한 영역상에서 블록 경계를 이루는 제1 블록의 움직임 벡터와 제2 블록의 움직임 벡터의 차(difference)의 크기에 따라서 필터링 강도를 결정하는 것을 특징으로 하는 이미지 화소 필터링 방법.
7. 제2항에 있어서, 상기 블록 경계를 이루는 각 블록은 4X4 블록임을 특징으로 하는 이미지 화소 필터링 방법.