KR20020046060A - 움직임 추정 최적화 방법 및 장치 - Google Patents

Abstract

본 발명은 움직임 추정 최적화 방법 및 장치에 관한 것으로 특히, 정수화소 움직임 벡터와 반화소 움직임 벡터의 상관성을 이용하여 적응적으로 탐색 화소를 정함으로써 화질의 저하를 막으면서 수행 속도를 향상시키도록 함에 목적이 있다. 이러한 목적의 본 발명은 매크로 블럭에 대해 정수 화소 단위의 움직임 추정을 수행하여 움직임 방향을 판단하는 단계와, 상기에서 판단한 움직임 방향에 대해서만 탐색 영역을 결정하는 단계와, 상기에서 결정된 탐색 영역에서 인접 화소를 이용하여 반화소 움직임 추정을 수행하는 단계로 이루어짐을 특징으로 한다.

Description

움직임 추정 최적화 방법 및 장치{AN OPTIMIZATION OF MOTION ESTIMATION METHOD AND APPARATUS}

본 발명은 동영상 처리에 관한 것으로 특히, 고속 인터넷망용 비디오 폰에 있어서 움직임 추정 최적화 방법 및 장치에 관한 것이다.

현재 고속 인터넷 망을 통한 멀티미디어 응용 서비스에 대한 관심 증대와 더불어 ADSL(Asymmetric Digital Subscriber Line : 비대칭 디지털 가입자 회선) 망을 이용한 동영상 서비스의 필요성이 증대되고 있다.

ADSL 망은 현재의 전화선을 그대로 사용하면서 고속 데이터 통신과 일반 전화를 동시에 이용할 수 있는 것이 특징이다.

따라서, ADSL 망을 통한 동영상 서비스를 위해서는 고속의 비디오 코덱 구현이 필수적이다.

비디오 코덱은 현재 표준화가 진행중인 MPEG4 및 영상 전화 시스템용 비디오 압축 표준인 ITU-T H.26x(H.263, H.263+, H.263++, H.26L), MPEG2 등으로 구현 가능하며 이러한 기법들은 모두 영상의 시간적 상관성을 이용하기 위해서 움직임 추정 방법을 이용한다.

일반적으로 움직임 추정 방법은 정수 화소 단위의 움직임 추정, 각각의 매크로 블럭에 대한 모드 결정 및 반화소 단위의 움직임 추정 등의 일련의 과정을 수행한다.

특히, 반화소 단위의 움직임 추정은 움직임의 정확도(Motion Accuracy) 측면에서 일반적으로 사용하는 기술이며 복잡도 측면에서 정수 화소 단위의 움직임 추정에비하여 절반 정도의 계산량을 필요로 하므로 전체 코덱 성능 즉, 초당 부호화할 수 있는 프레임 수를 향상시키기 위해 반드시 최적화해야 할 기술이다.

현재 표준화되었거나 표준화되고 있는 대부분의 동영상 부호화기는 첫번째 프레임을 이산 코사인 변환(DCT), 양자화(Quantization), 가변장 부호화(VLC ; Variable Length Coding) 과정을 거쳐 부호화하고 나머지 프레임들을 움직임 추정 및 보상을 하는 일련의 과정을 포함한다.

움직임 추정 과정은 H.263+ 프로토콜을 적용하는 경우 도1의 동작 순서도와 동일한 과정으로 이루어지게 된다.

즉, 일반적으로 각각의 매크로 블럭 예로, 16*16 크기의 각 매크로 블럭에 대해 정수 화소 단위의 움직임 추정을 행한 후 그 매크로 블럭에 대해 INTRA 모드인지 또는 INTER 모드인지를 판단하게 된다.

이에 따라, INTRA 모드로 판단되면 16*16 매크로 블럭에 대해 I-프레임 부호화와 동일한 방법으로 부호화하며, 이 경우 움직임 추정 및 보상은 필요없다.

반대로, INTER 모드로 결정되면 소정 영역의 정수 화소들 예로, 도2의 경우라면 화소(A)를 기준으로 수직, 수평 및 대각 방향의 화소(B,C,D)간에 아래의 식과 같은 보간(interpolation) 연산을 수행함으로써 각각의 반화소(a,b,c,d)를 구하게 된다.

이 후, 도3(a)와 같이 임의의 정수 화소를 중심으로 주변위치의 8개의 반화소로 이루어진 탐색 영역에 대해 도3(b)와 같이 수직, 수평 및 대각 방향으로 움직임 추정을 행하게 된다.

여기서, 반화소 단위의 움직임 추정은 INTER 모드로 결정된 매크로 블럭에 대해 이전에 재구성된 영상의 매크로 블럭의 휘도 성분(Luma ; Y-Component)에서 행하게 된다.

따라서, 인접 반화소를 이용하여 움직임 추정을 수행함에 의해 1개의 움직임 벡터 또는 4개의 움직임 벡터를 추정하게 된다.

그러나, 종래에는 정수 화소 움직임 벡터와 반화소 움직임 벡터의 상관성을 전혀 고려하지 않으므로 화질 및 처리 속도가 저하되는 단점이 있다.

따라서, 본 발명은 종래의 단점을 개선하기 위하여 정수화소 움직임 벡터와 반화소 움직임 벡터의 상관성을 이용하여 적응적으로 탐색 화소를 정함으로써 화질의 저하를 막으면서 수행 속도를 향상시키도록 창안한 움직임 추정 최적화 방법 및 장치를 제공함에 목적이 있다.

도1은 종래의 움직임 추정 과정을 보인 동작 순서도.

도2는 도1에서 반화소 삽입을 보인 예시도.

도3은 종래의 움직임 추정 영역을 보인 예시도.

도4는 본 발명의 일실시예에서 움직임 추정 영역을 보인 예시도.

도5는 본 발명의 다른 실시예에서 움직임 추정 영역을 보인 예시도.

도6은 본 발명의 실시예에서 움직임 추정 과정을 보인 동작 순서도.

본 발명은 상기의 목적을 달성하기 위하여 매크로 블럭에 대해 정수 화소 단위의 움직임 추정을 수행하여 움직임 방향을 판단하는 단계와, 상기에서 판단한 움직임 방향에 대해서만 움직임 추정 영역을 결정하는 단계와, 상기에서 결정된 움직임 추정 영역에서 인접 화소를 이용하여 반화소 움직임 추정을 수행하는 단계로 이루어짐을 특징으로 한다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

도4는 본 발명의 일실시예에서 움직임 추정 영역의 예시도로서, 도4(a)는 수직/수평 방향의 움직임 추정 영역의 예시도이고 도4(b)는 대각 방향의 움직임 추정 영역의 예시도이다.

도5는 본 발명의 다른 실시예에서 움직임 추정 영역의 예시도로서, 도5(a)는 초기 움직임 벡터를 보인 예시도이고 도5(b)는 초기 움직임 벡터와 동일한 축 상에서 움직임 추정을 보인 예시도이다.

도6은 본 발명의 실시예에서 움직임 추정 과정을 보인 동작 순서도로서, 정수 화소 단위의 초기 움직임 벡터의 방향을 판단하는 단계와, 상기에서 판단된 초기 움직임 벡터의 방향과 동일한 방향으로 움직임 추정 영역을 결정하는 단계와, 상기에서 결정된 움직임 추정 영역에서 반화소 단위의 움직임 추정을 수행하는 단계로 이루어진다.

이와같은 구성한 본 발명의 실시예에 대한 동작 및 작용 효과를 도면을 참조하여 설명하면 다음과 같다.

먼저, 각각의 매크로 블럭에 대해 정수 화소 단위의 움직임 추정을 행한 후 그 매크로 블럭에 대해 INTRA 모드인지 또는 INTER 모드인지를 판단하게 된다.

이에 따라, INTRA 모드로 판단되면 16*16 매크로 블럭에 대해 정수 화소 단위의 움직임 벡터를 추정하게 된다.

반대로, INTER 모드로 결정되면 정수 화소 움직임 추정에서 구한 정수 화소를 기준으로 수직, 수평 및 대각 방향의 정수 화소간에 보간(interpolation) 연산을 수행함으로써 상기 기준 화소에 대해 수직, 수평 및 대각 방향의 반화소를 구하게 된다.

이 후, 반화소 단위의 움직임 추정시 초기 움직임 벡터 즉, 정수 화소 움직임 추정시의 움직임 벡터의 방향이 수평, 수직 또는 대각 성분인지를 미리 알 수 있으므로 그 초기 벡터의 방향을 참조하여 반화소 단위의 움직임 추정 영역을 적응적으로 결정하게 된다.

이때, 반화소 단위의 움직임 추정 영역은 도4의 예시도와 같이 결정하는데, 도4(a)는 정수 화소 움직임 벡터가 수직 또는 수평 방향일 경우 그리고, 도4(b)는 정수 화소 움직임 벡터가 대각 방향일 경우의 영역을 보인 것이다.

즉, 정수 화소 움직임 벡터와 반화소 움직임 벡터는 공간적 상관성이 높으므로 반화소 움직임 추정시 정수 화소 움직임 벡터의 방향에 따라 적응적으로 움직임 추정 영역을 정하는 것이다.

이는 정수 화소 움직임 벡터가 수평/수직 성분의 움직임 벡터라면 반화소 움직임 벡터는 수직/수평 성분일 확률이 높고 정수 화소 움직임 벡터가 대각 성분이라면 마찬가지로 반화소 움직임 벡터도 대각 성분의 확률이 높기 때문이다.

따라서, 움직임 추정 영역에서 인접 화소를 이용하여 반화소 움직임을 추정함으로써 종래 기술에 비하여 계산량을 1/2 줄이면서 화질의 저하를 최소화할 수 있다.

또한, 본 발명의 일실시예에서 정수 화소 움직임 벡터의 수직/수평 또는 대각 방향에 따라 움직임 추정 영역을 결정하였으나, 다른 실시예로서 초기 움직임 벡터를기준으로 그 움직임 방향의 축 상에서 인접한 2개의 화소만을 이용하여 반화소 움직임을 추정하도록 구성할 수 있다.

이는 현재 표준화가 진행중인 H.26L 프로토콜에서 1/2, 1/4, 1/8 등의 다양한 해상도 움직임 추정이 고려되고 있음으로

초기 움직임 벡터를 기준으로 같은 움직임 방향의 축 상에서 2개의 화소 탐색 영역만을 고려한다면 반화소 움직임 추정을 위한 계산량을 줄일 수 있는 것이다.

예를 들어, 반화소 움직임 추정시 초기 움직임 벡터가 도5(a)와 같다면 그 움직임 벡터 방향의 동일 축 상에서 인접한 2개의 화소만을 탐색 영역으로 하여 도5(b)와 같이 반화소 움직임을 추정하게 된다.

이러한 본 발명의 다른 실시예를 적용하는 경우 1/2 해상도에서 1/4의 계산량, 1/4 해상도에서 1/16의 계산량, 1/8 해상도에서 1/32의 계산량이 소요된다.

한편, 상기와 같은 본 발명의 실시예를 구현하기 위하여 움직임 추정 장치에 있어서, 정수 화소 움직임 벡터를 추정하는 수단과, 임의의 정수 화소를 기준으로 수직, 수평 및 대각 방향의 반화소를 구하는 수단과, 상기에서의 정수 화소 움직임 벡터의 방향을 참조하여 수직/수평 또는 대각 방향의 반화소만으로 반화소 움직임 추정을 위한 탐색 영역을 결정하는 수단과, 상기에서 결정된 탐색 영역에서 반화소 움직임을 추정하는 수단을 구비하여 구성한다.

상기에서 상세히 설명한 바와 같이 본 발명은 정수 화소 움직임 벡터의 방향으로 탐색 영역을 결정하고 그 결정된 탐색 영역에서 인접 화소를 이용하여 움직임을 추정함으로써 처리 속도를 향상시키면서 화질 저하를 최소화할 수 있는 효과가 있다.

이러한 효과의 본 발명은 고속망(ADSL) 뿐만 아니라 저속망(PSTN)을 통한 영상 전화 시스템에도 적용할 수 있다.

Claims (6)

1. 동영상 부호화를 위한 움직임 추정 방법에 있어서, 매크로 블럭에 대해 정수 화소 단위의 움직임 추정을 수행하여 움직임 방향을 판단하는 제1 단계와, 상기에서 판단한 움직임 벡터의 방향에 대해서만 움직임 추정 영역을 결정하는 제2 단계와, 상기에서 결정된 움직임 추정 영역에서 반화소 단위의 움직임 추정을 수행하는 제3 단계로 이루어짐을 특징으로 하는 움직임 추정 최적화 방법.
2. 제1항에 있어서, 움직임 추정 영역은 정수 화소 움직임 벡터와 반화소 움직임 벡터의 상관성을 참조하여 수직/수평 또는 대각 방향의 화소만으로 결정하는 것을 특징으로 하는 움직임 추정 최적화 방법.
3. 제1항에 있어서, 움직임 추정 영역은 수직 또는 수평 또는 대각 바양의 화소만으로 결정하는 것을 특징으로 하는 움직임 추정 최적화 방법.
4. 제1항 또는 제3항에 있어서, 반화소 단위의 움직임 추정은 정수 화소 움직임 벡터 방향과 동일한 축상에서 인접하는 2개의 화소만을 이용하는 것을 특징으로 하는 움직임 추정 최적화 방법.
5. 움직임 부호화를 위한 움직임 추정 장치에 있어서, 정수 화소 움직임 벡터를 추정하는 수단과, 임의의 정수 화소를 기준으로 수직, 수평 및 대각 방향의 반화소를 구하는 수단과, 상기에서의 정수 화소 움직임 벡터의 방향을 참조하여 수직 또는 수평 또는 대각 방향의 반화소만으로 움직임 추정 영역을 결정하는 수단과, 상기에서 결정된 움직임 추정 영역에서 반화소 움직임을 추정하는 수단을 구비하여 구성함을 특징으로 하는 움직임 추정 최적화 장치.
6. 제5항에 있어서, 반화소 움직임을 추정하기 위한 수단은 정수 화소 움직임 벡터 방향과 동일한 축상에서 인접하는 2개의 화소만을 이용하여 움직임을 추정하도록 구성함을 특징으로 하는 움직임 추정 최적화 장치.