KR100535994B1 - 율-제한 움직임 추정 방법 - Google Patents

Abstract

본 발명은 블록 기간의 비디오 압축기에서 시간적 중복성을 제거하기 위한 율-제한 움직임 추정 방법에 관한 것으로서, 특히 비디오 압축 부호기에서 시-중복성 제거에 사용되는 움직임 추정부의 효율적인 구현을 통한 압축 효율의 개선을 주된 목적으로 한다.

이에, 본 발명에 의하면 블록 기반의 비디오 압축기에서 시간적 중복성을 제거하기 위한 율-제한 움직임 추정 방법에 있어서, 율-제한 움직임 추정에서의 최적 가중 요소를 선택하는 단계와; 상기 최적의 가중 요소를 이용하여 움직임 벡터를 추정하는 단계와; 상기 움직임 벡터 추정 결과의 잔여신호 부호화에 대한 통계적 특성을 반영하는 단계와; 상기 통계적 특성의 반영 결과를 이용하여 제로 움직임 벡터 선호를 수행하는 단계를 포함하는 것을 특징으로 하는 율-제한 움직임 추정 방법을 제시한다.

따라서, 본 발명에서와 같이 새로운 율-제한 움직임 추정 장치의 개발로 낮은 비트 율 및 중간 비트 율에서 일반적인 MPEG-4 기반 비디오 압축 장치에 비해 보다 높은 압축 효율을 얻을 수 있다.

Description

율-제한 움직임 추정 방법{Method for rate- constrained motion estimation}

본 발명은 블록 기간의 비디오 압축기에서 시간적 중복성을 제거하기 위한 율-제한 움직임 추정 방법에 관한 것이다.

대부분의 비디오 압축 표준에서 추정된 움직임 벡터는 주변 블록들과의 상호 연관성을 이용하여 매우 효율적으로 부호화되기 때문에 이를 부호화 하는데 소요되는 비트양은 매우 적은 편이다. 하지만, 움직임 벡터를 제외한 다른 부분의 데이터양이 어느 정도인지에 따라 움직임 벡터의 상대적인 중요도가 결정된다.

일반적으로 비트 율이 높은 부호화(MPEG-1, MPEG-2)에서는 움직임 벡터의 데이터양이 상대적으로 매우 적은 반면에 비트 율이 낮은 응용을 대상으로 하는 H.263, MPEG-4 등의 부호화에서는 움직임 벡터가 차지하는 비율이 전체 데이터의 50% 이상이 될 수도 있다. 따라서, 낮은 비트 율에서의 비디오 압축에서 효율적인 움직임 벡터의 추정 기법은 발생하는 비트 양을 줄이거나 같은 발생 비트에서 보다 높은 화질을 제공하는데 매우 중요한 역할을 수행하게 된다.

압축 효율 증대를 위한 움직임 추정은 추정에 사용되는 측도의 개량에서 얻어질 수 있는데 최근 개발된 율-제한 움직임 추정 기법이 그것이다. 율-제한 움직임 추정은 기존의 움직임 추정에서 사용되던 유사도 측도인 SAD(Sum of Absolute Difference)에 움직임 벡터 부호화에 소요되는 발생 비트를 가중 합하여 새로운 형태의 움직임 추정 측도를 통해 움직임 벡터를 결정하는 방법으로서 이러한 새로운 형태의 추정 측도는 다음과 같이 정의된다.

여기서, λ는 일종의 가중 요소(weighting factor)로 많은 비트 발생을 비용으로 약간의 유사도가 증가하는 현상을 제한하는 역할을 한다.

이와 같은 율-제한 움직임 추정 기법은 낮은 비트 율에서의 비디오 압축 부호화에 최대 20% 정도의 율-왜곡 이득(Rate-Distortion Gain)을 제공할 수 있는 것으로 알려져 있는데, 그 실제 이득은 가중 요소의 적절한 선택에 따라 크게 달라질 수 있다. 기존의 율-제한 움직임 추정 기법에서의 가중 요소 선택은 부호기의 모드 결정 부분 율-왜곡 해석을 확대하여 다음과 같은 수학식 2의 형태로 사용된다.

이 값은 움직임 추정의 직접적 해석 없이 실험적으로 선택된 값이기 때문에 이를 율-왜곡 입장에서 최적화 함으로써 보다 높은 성능의 부호기 효율을 기대할 수 있다.

또한, 일반적인 움직임 추정기에서 제로 움직임 벡터는 다른 움직임에 비해 특별히 선호되는데 이는 제로 움직임 벡터가 부호화에 적은 비트를 사용할 뿐 아니라 잔여 신호 부호화에 비트를 사용하지 않는 경우 일반적인 압축 표준에서 제공하는 특별한 고압축의 효율을 얻을 수 있기 때문이다.

이와 같은 제로 움직임 벡터 선호의 구현은 일반적으로 차감(offset) 기법을 통해 이루어지는데 이는 잔여 신호의 통계적 특성을 반영하여 그 부호를 예측하는 방법을 통해 압축 효율 개량이 가능하다.

본 발명은 상기한 문제점을 해결하기 위한 것으로서 본 발명은 비디오 압축 부호기에서 시-중복성 제거에 사용되는 움직임 추정부의 효율적인 구현을 통한 압축 효율 개량을 주된 목적으로 한다.

상기한 본 발명의 목적을 달성하기 위한 기술적 사상으로서 본 발명은

블록 기반의 비디오 압축기에서 시간적 중복성을 제거하기 위한 율-제한 움직임 추정 방법에 있어서,

율-제한 움직임 추정에서의 최적 가중 요소를 선택하는 단계와;

상기 최적의 가중 요소를 이용하여 움직임 벡터를 추정하는 단계와;

상기 움직임 벡터 추정 결과의 잔여신호 부호화에 대한 통계적 특성을 반영하는 단계와;

상기 통계적 특성의 반영 결과를 이용하여 제로 움직임 벡터 선호를 수행하는 단계를 포함하는 것을 특징으로 하는 율-제한 움직임 추정 방법을 제공한다.

이하, 본 발명의 실시 예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.

1) 율 제한 움직임 추정에서의 가중 요소

율-제한 움직임 추정에서의 가중 요소 결정을 위해 다음과 같은 율-왜곡 모델을 생각해 보자.

여기서, D(Q)는 압축 부호화를 마친 후 발생하는 전체 손실을 나타내는 왜곡 함수이고, B(Q)는 양자기 Q를 선택할 경우 발생하는 잔여 신호 부호 비트 수를 의미한다. 또한, 수학식 4에서 A는 율-함수 B(Q)의 모델 파라미터 이고, MAD는 Mean Absolute Difference를 뜻한다.

이제, 이 모델을 기반으로 움직임 추정 후 잔여 신호 부호화가 끝난 상태에서의 최종 발생 비트 수 및 왜곡을 생각해 보자. 이는 움직임 추정이 그 자체로 부호화를 마치는 것이 아니고, 움직임 추정으로 발생하는 잔여 신호를 DCT (Discrete Cosine Transform)변환한 후 양자화, 엔트로피 부호화를 거쳐 부호화함으로써 압축 부호화가 완료되기 때문이다.

율-왜곡 관점에서의 발생한 왜곡 및 율의 최적화는 다음과 같은 비용 함수를 최적화 함으로써 수행될 수 있다.

상기 수학식 3,4에서 주어진 모델을 기반으로 수학식 5의 비용함수를 생각해 보면, 일단 양자기 Q가 고정되는 경우 왜곡 D(Q)는 일정한 값을 가지게 되고, 따라서 수학식 5를 최적화 하도록 움직임을 추정하는 문제는 결국 발생하는 총 비트 B(Q)가 최소로 되도록 수행하면 된다. 즉, 수학식 5를 최소로 하는 움직임 추정 문제는 다음과 같이 생각할 수 있다.

상기의 수학식 6에서 H는 각 매크로블록의 헤더를 부호화하는데 발생하는 비트 수를 나타내며, 는 k번째 후보 움직임 벡터를 부호화 하는데 필요한 비트 수를 뜻한다. 그리고, 마지막으로 B(Q)는 양자기 Q를 선택하는 경우 발생하는 잔여 신호 부호화에 필요한 비트 수를 뜻하며, 수학식 4와 같이 모델링 된다.

수학식 6이 결과적으로 의미하는 움직임 추정이란, 양자기 Q를 선택하는 경우 움직임 벡터와 잔여신호 부호화에 가장 작은 비트를 발생시키는 움직임 벡터는 무엇인가를 탐색하는 것으로, 수학식 6에서의 MAD는 움직임 복원 후 발생하는 잔여 신호의 mean absolute difference를 의미하는 것이다. 이는 다시 수학식 7과 같이 표현할 수 있는데, 이를 수학식 1과 비교해 보면 움직임 추정의 왜곡 측도를 SAD나 SSD 대신 을 사용하고 있음을 알 수 있다.

결과적으로, 수힉식 7에서 나타내고 있는 율-제한 움직임 추정은 왜곡 측도로 을 사용하고, 가중 요소 λ로 를 사용하는 경우, 같은 화질 (같은 전체 왜곡)에서 최소의 비트 발생을 보장하는 움직임 추정 기법이다. 기존의 율-제한 움직임 추정의 비용함수에서 사용했던 수학식 2에서와 같은 가중 요소의 사용은 잔여 신호 부호화 결과로 발생하는 비트를 나타내는 모델 B(Q)를 수학식 8과 같이 설정한 결과에 상응된다.

이는 기존의 TM5에서 설정했던 비트 모델로 수학식 4의 최근 모델에 비해 그 모델 성능이 떨어지는 것으로 알려져 있다.

2) 제로 움직임 벡터 선호 기법

일반적인 비디오 클립에는 카메라가 정지한 상태에서 영상 내 물체들만이 움직이는 이른바 " 정지 영역(stationary portion) "이 많이 존재한다. 이러한 경우, 부호화하는 기본 처리 블록을 이전 프레임의 같은 위치에서 복사함으로써 압축 효율의 증대를 꾀할 수 있는데, 높은 압축 율을 목적으로 하는 H.263, MPEG-4등의 규격에서 매크로블록 처음 비트(COD)가 이러한 정보를 표현한다.

따라서, 움직임 추정 시에 다른 움직임 벡터를 사용하는 경우 보다 약간의 오차가 더 유발되더라도 (0,0) 벡터를 사용하는 것이 이와 같은 압축 효율 증대에 도움이 될 수 있다. 이는 제로 움직임 벡터를 가지면서 부호화 할 잔여 신호가 존재하지 않을 경우 이전 프레임에서의 복사가 이루어지기 때문이다. 이를 위해 일반적인 부호기 구현에는 (0,0) 움직임 벡터를 사용할 경우 발생하는 왜곡 측도에서 일정한 값을 빼 줌으로써 제로 움직임 벡터 선호를 구현하고 있다.

하지만, 이와 같이 일정한 값을 강제로 빼줌으로써 제로 움직임 벡터 선호를 구현할 경우, 부호화에서 고려하는 비트 율에 따른 적응적 압축효율 증대를 취할 수 없는 단점을 가지게 되는데, 이는 다음과 같은 경우이다.

우선, 현재 부호화 대상인 기본 처리 블록의 최적 움직임 벡터가 발생시킨 SAD가 500이고, (0,0) 벡터를 사용할 경우의 SAD가 524라고 가정해 보자.

제로 움직임 벡터 선호를 구현하기 위해 제로 벡터에서 빼 주는 일정한 값이 128(일반적인 구현사항) 이었다고 하면, 일반적인 부호기 구현에서는 (0,0)벡터를 사용할 경우의 SAD를 396으로 처리하여(0,0) 벡터를 움직임 추정의 최종 결과벡터로 산출하게 될 것이다.

이러한 경우, 만약 부호화의 대상 비트 율이 충분히 높아 잔여 신호 부호에 사용되는 양자기가 매우 낮은 값을 사용하게 되었다면, 분명히 잔여 신호의 부호화에 비트를 사용하게 되어 최적 움직임 벡터를 사용하여 잔여 신호를 부호화 하는 경우보다 부호 효율이 떨어지게 될 것이다. 물론, 부호화의 대상 비트 율이 낮아(예를 들어 양자기 값으로 25를 사용하는 경우) 잔여 신호의 부호가 발생하지 않는 경우라면 이와 같은 구현이 압축 효율에 도움이 될 수 있다.

따라서, 현재 부호기가 가진 비디오 신호의 부호화 대상 비트 율에 따라, 적응적으로 제로 벡터 선호를 구현해야 할 필요가 있는데, 이를 위해 움직임 추정 이후 산출된 SAD 값의 범위에 따라 잔여 신호 부호가 어떻게 영향을 받는지를 관찰하였는데, 도 1에 그 결과를 표시하였다.

도 1의 (a),(b)의 결과는 실험 영상 'Foreman' 부호화 하여 얻은 것으로서 양자기를 각각 10 (도 1a), 20 (도 1b) 으로 고정한 후 잔여 신호가 부호화 된 블록과 부호화되지 않은 블록의 수를 SAD 범위에 따라 나타낸 것이다. 이 결과로부터 얻을 수 있는 결론은 SAD가 보다 작은 블록에서는 잔여 신호 부호가 발생하지 않는다는 가정이 99% 이상의 신뢰도를 보장할 수 있다는 것이다.

따라서, 본 발명에서 제안하는 제로 벡터 선호의 구현은 최적 움직임 벡터의 SAD값에 상관없이 (0,0) 움직임 벡터의 SAD가 보다 작은 경우 그 기본 처리 블록의 움직임 추정을 (0,0)으로 수행하도록 하였다. 이와 같은 구현은 움직임 추정의 추가적 계산을 요구하지 않으면서도 중간 비트 율에서 비디오 압축을 수행하는 경우 상당한 율-왜곡 이득을 보장할 수 있다.

3) 제안 율-제한 움직임 추정 장치

본 발명에서 제안하는 율-제한 움직임 추정 방법을 도 2에 나타내었다. 즉, 율-제한 움직임 추정에서의 최적 가중 요소를 선택하는 단계(S10)와; 상기 최적의 가중 요소를 이용하여 움직임 벡터를 추정하는 단계(S20)와; 상기 움직임 벡터 추정 결과의 잔여신호 부호화에 대한 통계적 특성을 반영하는 단계(S30)와; 상기 통계적 특성의 반영 결과를 이용하여 제로 움직임 벡터 선호를 수행하는 단계(S40)를 거치게 된다.

기존의 움직임 추정기와의 차이점은 수학식 10으로 표현되는 가중 요소를 사용하며, 수학식 9를 이용하여 제로 움직임 벡터 선호를 수행한다는 점이다.

수학식 10에서 A는 양자기 선택에서 사용되는 율-모델을 참고하여 설정하거나 혹은 수학식 2에서와 같이 실험적으로 특정한 값을 설정할 수도 있다.

이상에서와 같이 본 발명에 의한 율-제한 움직임 추정 방법에 따르면, 율-왜곡 관점에서 비디오 압축 부호기를 분석하는 새로운 방법을 제시하고, 그 결과를 율-제한 움직임 추정 기법에서 사용되는 가중 요소에 적용함으로써 비트 효율 및 추정 결과의 정확도 사이에서 최적의 trade-off를 얻을 수 있다.

또한, 보다 효율적인 새로운 제로 움직임 벡터 선호 구현을 위해 잔여 신호 부호화의 통계적 특성을 사용된 양자기와의 관계에 따라 분석하고, 그 결과를 제로 움직임 선호에 적용함으로써, SKIP 모드를 통한 압축 부호화 효율을 극대화할 수 있다.

따라서, 이와 같은 새로운 율-제한 움직임 추정 장치의 개발로 낮은 비트 율 및 중간 비트 율에서 일반적인 MPEG-4 기반 비디오 압축 장치에 비해 보다 높은 압축 효율을 얻을 수 있다.

도 1a 및 도 1b는 본 발명에 의한 잔여 신호 부호/비부호에 따른 최소 SAD 관계 히스토그램을 나타낸 도면이다.

도 2는 본 발명에 따른 율-제한 움직임 추정 과정을 나타낸 순서도이다.

Claims (2)

1. 블록 기반의 비디오 압축기에서 시간적 중복성을 제거하기 위한 율-제한 움직임 추정 방법에 있어서,

   율-제한 움직임 추정에서 움직임 추정의 왜곡 측도로 을 사용하고, 가중 요소 λ로 를 사용하여 아래의 수학식을 만족하는 가중 요소를 선택하는 단계와;

   상기 가중 요소를 이용하여 움직임 벡터를 추정하는 단계와;

   상기 움직임 벡터 추정 결과의 잔여신호 부호화에 대한 통계적 특성을 반영하는 단계와;

   상기 통계적 특성의 반영 결과를 이용하여 제로 벡터의 유사도 측도 SAD 값이 보다 작은 경우 제로 움직임 벡터 선호를 수행하는 단계를 포함하는 것을 특징으로 하는 율-제한 움직임 추정 방법.
2. 삭제