KR19990025488A

KR19990025488A - 엠팩(mpeg)-4의 움직임벡터 코딩방법

Info

Publication number: KR19990025488A
Application number: KR1019970047149A
Authority: KR
Inventors: 나종범; 김성득; 이영수
Original assignee: 구본준; 엘지반도체 주식회사
Priority date: 1997-09-12
Filing date: 1997-09-12
Publication date: 1999-04-06
Also published as: DE19825042A1; KR100249223B1; JPH11112994A; DE19825042C2; GB9815047D0; US6498810B1; GB2329295B; GB2329295A

Abstract

본 발명은 효율적인 움직임벡터 부호화(Coding)을 위해 3개의 후보 움직임벡터중 가장 적은 비트율을 갖는 것을 찾아 그 움직임벡터의 차분치와 모드비트를 디코더쪽으로 보냄으로써 전체적으로 비트율을 줄이기 위한 MPEG-4의 움직임벡터 부호화방법에 관한 것으로서, 3개의 움직임벡터 후보중에서 움직임벡터 코딩에 가장 적은 비트율을 가지는 하나의 후보를 선택하는 스텝과, 움직임벡터 예측에러와 예측모드 정보를 디코더쪽으로 전송하는 스텝과, 움직임벡터 차분치를 코딩하기 위한 최소비트율을 추측하는 스텝과, 최소율 예측을 이용하여 X 및 Y성분에 대한 움직임벡터를 코딩하는 스텝을 포함하여 이루어지는 것을 특징으로 한다.

Description

엠팩(MPEG)-4의 움직임벡터 코딩방법

본 발명은 동영상의 부호화방법에 관한 것으로서 특히, 현재 표준화가 진행되고 있는 MPEG(Moving Picture Experts Group)-4 비디오 VM(Verification Model)에서 움직임벡터(Motion Vector)의 코딩효율성을 향상시키는데 적당한 MPEG-4의 움직임벡터 코딩방법에 관한 것이다.

일반적으로 시간에 따라 변화하는 비디오 시퀀스(Video Sequence)를 효율적으로 압축하기 위해서는 영상 데이터가 갖고 있는 2차원 공간상의 중복성뿐만 아니라 시간축의 중복성제거가 절대적으로 필요하다.

MPEG에서는 2차원 공간상의 중복성을 제거하기 위하여 DCT(Discrete Cosine Transform)를 이용하며 시간축의 중복성을 제거하기 위해 움직임 보상방법을 이용한다.

DCT는 2차원 축변환을 통해서 데이터의 상관성을 제거하는 방법으로 픽쳐(Picture)를 블록(block)단위로 나눈 후 각각의 블록을 DCT식에 따라 축변환시킨다.

이렇게 축변환된 데이터들은 한쪽방향(저역쪽)으로 몰리는 경향이 있는데 이렇게 몰려진 데이터들만을 양자화해서 전송하게 된다.

시간축으로 연속된 picture들은 주로 화면의 중앙부분에서 사람이나 물체의 움직임이 있기 때문에 움직임 보상방법에서는 이러한 성질을 이용하여 시간축의 중복성을 제거한다.

즉, 화면의 변하지 않는 부분이나 움직였다 하더라도 비슷한 부분을 바로 전 picture에서 가져와서 채움으로써 전송해야 할 데이터량을 큰 폭으로 줄일 수 있다.

이렇게 picture사이에서 가장 비슷한 블록을 찾는 일을 움직임 예측(motion estimation)이라고 하며, 얼마만큼 움직였는지를 나타내는 변위를 움직임벡터라 한다.

다시말해서, 움직임벡터란 영상의 움직임 보상을 위해서 현재의 픽쳐(Picture)나 필드(Field)의 좌표로부터 기준프레임(reference frame)이나 기준필드의 좌표의 오프셋을 나타내주는 2차원 벡터를 말한다.

현재 표준화가 진행중인 MPEG-4에서 완전한 픽셀의 움직임 예측(integer pixel motion estimation)시에 수행되는 8×8 블록별 탐색은 16×16 움직임벡터를 중심으로 ±2픽셀(pixel)의 탐색윈도우(search window)내에서 수행한다.

따라서, 특정 메크로블록(macroblock)이 8×8 모드로 선택되었을 때, 메크로블록내의 4블록에 대한 각 움직임벡터는 일정한 바운드내에 모두 들어오게 된다.

도 1은 종래기술에 따른 8×8 모드(mode)로 선택된 메크로블록(macroblock)의 4개의 블록 움직임벡터가 가리킬 수 있는 바운드(bound)를 나타내었다.

이러한 4개의 움직임벡터들의 바운드는 움직임벡터의 코딩효율을 올리는데 크게 기여한다.

움직임벡터는 메크로블록당 최대 4개까지 나올 수 있는데 이를 그냥 전송하게 되면 비트량이 많기 때문에 바로 전 메크로블록의 움직임벡터와의 치이만을 가변길이 부호화(VLC:Variable Length Coding)하여 전송한다.

이때 움직임벡터의 차이를 MVD(Motion Vector Difference)로 표시한다.

도 2에서와 같이 4개의 각 블록에 해당하는 움직임벡터의 성분들은 인접한 3개의 후보 움직임벡터의 중간값을 예측값으로 하여 차성분(MVD_X,MVD_Y)이 부호화된다.

이를 식으로 표현하면

P_X= Median(MV1_X,MV2_X,MV3_X)

P_Y= Median(MV1_Y,MV2_Y,MV3_Y),

MVD_X= MV_X-P_X, MVD_Y= MV_Y-P_Y이다.

도 1에서 움직임벡터 추정의 제한 범위를 나타내었으나 이는 다음의 사항을 이유로 하여 완벽하게 MPEG-4의 VM(Verification Model)을 지원하지 못한다.

도 2에서와 같이 8×8 모드 메크로블록에서의 움직임벡터 예측 부호를 보면 중간값 예측치로 사용되는 움직임벡터값이 8×8 모드에서의 움직임벡터 제한범위를 넘게되는 경우는 블록1을 제외하면 블록2에 해당하는 MVD2뿐이다.

이 경우에 세 개의 움직임벡터 예측후보중 단 하나만의 8×8 모드로 선택된 메크로블록내에 속해 있으므로 중간값으로 구해진 예측치로부터 얻어지는 MVD2의 절대치는 제한범위 5.0을 넘을 수 있다.

움직임벡터 제한 범위를 넘게되는 경우 즉, 중간값으로 인한 예측치가 제한 범위 밖에 있는 경우가 발생하는데, 블록2의 MV를 MV_{CURRENT BLOCK}(해당블록의 움직임벡터)로, 블록2의 MV1을 MV_{Inside MV Prediction}(바운드내의 움직임벡터 예측값)로, 블록2의 중간값 예측치 Median(MV1,MV2,MV3)를 MV_{Median Prediction}로 정의하였을 경우 도 3에서와 같이 MV_{Median Prediction}가 제한 범위를 넘어 바로 인접한 점에 놓인 경우를 보인다.

여기서 도 3은 움직임벡터의 중간값 예측에서 제한범위를 넘는 경우의 예를 나타낸 구성도이다.

이와같이 종래 움직임벡터 코딩방법은 하나의 움직임벡터를 예측하기 위해서는 인접한 3개의 후보 움직임벡터의 중간값을 이용한다.

그러나 상기와 같은 종래 움직임벡터 코딩방법은 모든 픽셀에 대해 일률적으로 3개의 후보 움직임벡터의 중간값으로 예측하게 되면 옵티멀(optimal)하지 않기 때문에 보다 복잡한 움직임 시퀀스(motion sequence)에서는 부호화 효율이 현저하게 감소되는 문제점이 있었다.

본 발명은 상기한 문제점을 해결하기 위해 안출한 것으로서, 3개의 후보 움직임벡터중 가장 차이가 적은 값을 찾아 그 차이값과 모드비트(mode bit)를 전송함으로써 전체적인 비트율을 감소시켜 부호화 효율을 향상시키는데 적당한 MPEG-4의 움직임벡터 부호화방법을 제공하는데 그 목적이 있다.

도 1은 종래기술에 따른 8×8 모드(mode)로 선택된 메크로블록(macroblock)의 4개의 블록 움직임벡터가 가리킬 수 있는 바운드(bound)를 나타낸 도면

도 2는 종래기술에 따른 8×8 모드 메크로블록에서의 움직임벡터 예측후보를 도시한 도면

도 3은 종래 움직임벡터의 중간값 예측에서 제한범위를 넘는 경우의 예를 나타낸 구성도

도 4는 본 발명의 움직임벡터 부호화방법에 따른 움직임벡터 부호화에서 MVD코드비트와 모드비트의 비트스트림 신텍스(bitstream systanx)

도 5a 내지 5b는 본 발명의 움직임벡터 부호화에 따른 모드비트 감소의 일예를 엔코더 및 디코더측면에서 도시한 도면

도 6은 본 발명의 MPEG-4의 움직임벡터 부호화방법을 설명하기 위한 플로우챠트

상기의 목적을 달성하기 위한 본 발명의 MPEG-4의 움직임벡터 부호화방법 3개의 움직임벡터 후보중에서 움직임벡터 코딩에 가장 적은 비트율을 가지는 하나의 후보를 선택하는 스텝과, 움직임벡터 예측에러와 예측모드 정보를 디코더쪽으로 전송하는 스텝과, 움직임벡터 차분치를 코딩하기 위한 최소비트율을 추측하는 스텝과, 최소율 예측을 이용하여 X 및 Y성분에 대한 움직임벡터를 코딩하는 스텝을 포함하여 이루어지는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 MPEG-4의 움직임벡터 부호화방법을 설명하기로 한다.

먼저, 본 발명의 움직임벡터 부호화방법은 3개의 후보 움직임벡터 중에서 움직임벡터의 코딩에 가장적은 비트율을 가지는 하나의 후보 움직임벡터를 선택한다.

그리고 움직임벡터 예측에러(실제 움직임벡터와 예측한 움직임벡터와의 차이값)와 예측모드정보를 보낸다.

이때, 예측후보의 수는 대부분 3개이고 움직임벡터 차이값을 코딩하는 비트율은 쉽게 추측할 수 있다.

도 4은 본 발명의 움직임벡터 부호화방법에 따른 움직임벡터 부호화에서 MVD코드비트와 모드비트의 비트스트림 신텍스(bitstream systanx)을 도시하였다.

움직임벡터 부호화(CODING)은 X와 Y에 대해서 각각 실시한다.

그리고 모드비트는 MVD를 코딩할 때, 3개의 후보 움직임벡터중 어느 후보를 사용하였는지를 가리킨다.

여기서,모드비트에 앞서는 MVD최소비트율은 MVD최소비트 정보를 이용함으로서 감소시킬 수 있다.

이와같이 최소율 예측을 사용한 움직임벡터 X성분은 아래와 같이 코딩하고 Y(휘도)성분도 동일한 방법으로 코딩한다.

MR_{_}MVD_{_}coding(MV_{x_}code,*vlc_{_}mag,*residual,*bitstream)

{

/*Find the minimum rate predictor among three neighboring candidate,*/

R1_x= RATE(MV_x- MV1_x),

R2_x= RATE(MV_x- MV2_x),

R3_x= RATE(MV_x- MV3_x),

R_{x_}min = MIN(R1_x, R2_x, R3_x).

P_{x_}min_{_}rate =MVi_xcorresponding to R_{X_}min.

(At the same rate, the median has the highest priority for P_{x_}min_{_}rate)

MVD_{x_}min_{_}rate = MV_x-P_{x_}min_{_}rate

/*Coding MVD_{x_}min_{_}rate

MVD_{_}encoding(MVD_{x_}min_{_}rate,f_{_}code,vlc_{_}code_{_}mag,residual,bitsteram);

}

한편, 도 5a 내지 5b는 본 발명의 움직임벡터 부호화에 따른 모드비트 감소의 일예를 엔코더 및 디코더측면에서 도시하였다.

먼저, 도 5a는 엔코더 측면에서 도시한 것으로서, MV1=0, MV2=0, MV3=3 이고 현재블록의 움직임벡터 MV=5일 경우, MV5에서 멀리떨어진 MV1과 MV2보다 더 가까운 MV3를 하나의 후보 움직임벡터로 선택한다.

이때 최소율 움직임벡터 차이값(MVD_{_}min_{_}rate)은 2가 된다.

상기한 바와같이 엔코더는 최소율 예측에 의해 MVD_{_}min_{_}rate를 코딩한다. 그 다음 엔코더는 디코더가 실제 움직임벡터를 검출할 수 있는지를 최소의 정보로 조사한다.

이어 도 5b는 디코더 측면에서 도시한 것으로서, 본 발명의 실시예에서는 단지 두 개의 후보가 있음을 알 수 있다.

그러나 후보 1은 엔코더로부터 받은 MVD_{_}min_{_}rate로 디코딩해보면 실제 MVD_{_}min_{_}rate와는 차이가 있으므로 실제 움직임벡터가 아님을 알 수 있다.

따라서, 이 경우에 엔코더는 3개의 후보 움직임벡터 중에서 실제 움직임벡터을 찾기 위한 모드비트를 디코더에 보낼 필요가 없다.

여기서 본 발명의 움직임벡터 부호화방법에 따른 알고리즘은 아래와 같다.

max = MAX(MV1_x, MV2_x, MV3_x)

min = MIN(MV1_x, MV2_x, MV3_x)

inside mv cnt=The number of neighboring candidates

whose corresponding blocks are inside of the VOP

distinct_{_}mv_{_}cnt=The number of distinct neighboring candidates.

(e.g. distinct_{_}mv_{_}cnt=2,if MV1_x=0,MV2_x=0,and MV3_x)

if(｜max-min｜＞＝THR inside_{_}mv_{_}cnt＞＝2 distinct_{_}mv_{_}cnt==3)

{ /* Minimum rate prediction is applied */

/* Minimum rate prediction and the corresponding MVD_{x_}min rate coding */

MR_{_}MVD_{_}coding(MV_x, f_{_}code, vlc_{_}code_{_}mag, residual, bs);

/* Determine MODE */

/* Step1 : Evaluate three MV candidates. */

Candidate1_x= MVD_{_}decoding(f_{_}code, vlc_{_}code_{_}mag, residual, MV1_x)

Candidate2_x= MVD_{_}decoding(f_{_}code, vlc_{_}code_{_}mag, residual, MV2_x)

Candidate3_x= MVD_{_}decoding(f_{_}code, vlc_{_}code_{_}mag, residual, MV3_x)

/* Step2 : Check if vlc_{_}code_{_}mag_{_}ts and resulting from

Candidate i_x(i=1,2,and 3)encoding, have the same values as

vlc_{_}code_{_}mag andresidual, respectively. */

Candidate_{_}num = 0

MR_{_}MVD_{_}coding(Candidate1_x,f_{_}code,vlc_{_}code_{_}mag,ts,residual_{_}ts,ts);

if(vlc_{_}code_{_}mag,ts==vlc_{_}code_{_}mag,,residualts==residual) candidatenum++;

MR_{_}MVD_{_}coding(Candidate2_x,f_{_}code,vlc_{_}code_{_}mag,ts,residual_{_}ts,ts);

MR_{_}MVD_{_}coding(Candidate3_x,f_{_}code,vlc_{_}code_{_}mag,ts,residual_{_}ts,ts);

/* Step3 : Determine the MODE_xand code it. */

if (candidate_{_}num == 1)

No bit allocated for MODE_x;

else if (candedate_{_}num == 2)

1 bit for MODE_x;

else if (candidate_{_}num == 3)

1∼2 bit for MODE_x;

}

else

{ /* Median prediction is applied. */

No bit allocated for MODE_x;

}

이와같은 알고리즘을 이용한 본 발명의 MPEG-4의 움직임벡터 부호화방법을 플로우챠트를 참조하여 설명하기로 한다.

도 6는 본 발명에 따른 MPEG-4의 움직임벡터 부호화방법을 설명하기 위한 플로우챠트이다.

도 6에 도시한 바와같이 3개의 움직임벡터 후보중에서 움직임벡터 코딩에 가장 적은 비트율을 가지는 하나의 후보를 선택한다.

이어, 움직임벡터 예측에러와 예측모드 정보를 디코더쪽으로 전송한다. 여기서, 움직임벡터 예측에러란 실제의 움직임벡터와 예측한 움직임벡터와의 차이값을 말한다.

이어, 움직임벡터 차분치를 코딩하기 위한 최소비트율을 추측한다.

최소율 예측을 이용하여 X 및 Y성분에 대한 움직임벡터를 코딩하면 본 발명의 MPEG-4의 움직임벡터 부호화가 이루어진다.

이와같은 본 발명의 MPEG-4의 움직임벡터 부호화방법은 움직임벡터의 부호화시 효율성을 향상시키기 위해 주위의 후보 움직임벡터 3개중에서 움직임베터와 가장 차이가 적은 것을 찾아 그 차분치와 모드비트를 보냄으로써 전체적으로 비트율을 감소시켜 동영상의 압축율을 높이는 효과가 있다.

Claims

3개의 움직임벡터 후보중에서 움직임벡터 코딩에 가장 적은 비트율을 가지는 하나의 후보를 선택하는 스텝과,

움직임벡터 예측에러와 예측모드 정보를 디코더쪽으로 전송하는 스텝과,

움직임벡터 차분치를 코딩하기 위한 최소비트율을 추측하는 스텝과,

최소율 예측을 이용하여 X 및 Y성분에 대한 움직임벡터를 코딩하는 스텝을 포함하여 이루어지는 것을 특징으로 하는 MPEG-4의 움직임벡터 부호화방법.
제 1 항에 있어서,

상기 X성분에 대한 움직임벡터 부호화는

MR_{_}MVD_{_}coding(MV_{x_}code,*vlc_{_}mag,*residual,*bitstream)

{

/*Find the minimum rate predictor among three neighboring candidate,*/

R1_x= RATE(MV_x- MV1_x),

R2_x= RATE(MV_x- MV2_x),

R3_x= RATE(MV_x- MV3_x),

R_{x_}min = MIN(R1_x, R2_x, R3_x).

P_{x_}min_{_}rate =MVi_xcorresponding to R_{X_}min.

(At the same rate, the median has the highest priority for P_{x_}min_{_}rate)

MVD_{x_}min_{_}rate = MV_x-P_{x_}min_{_}rate

/*Coding MVD_{x_}min_{_}rate

MVD_{_}encoding(MVD_{x_}min_{_}rate,f_{_}code,vlc_{_}code_{_}mag,residual,bitsteram);

}

과 같은 알고리즘으로 통해 이루어지는 것을 특징으로 하는 MPEG-4의 움직임벡터 부호화방법.
제 1 항에 있어서,

상기 Y성분의 움직임벡터 부호화방법은 상기 X성분의 부호화방법과 동일하게 이루어지는 것을 특징으로 하는 MPEG-4의 움직임벡터 부호화방법.