KR19990058929A - 움직임벡터 코딩방법 - Google Patents

Abstract

본 발명은 2개의 후보 움직임벡터중 실제 움직임벡터와 가장 근접한 값을 선택하여 그 차분치와 모드비트를 코딩하여 동영상 압축에 따른 비트율을 감소시킴으로써 압축율을 향상시키는데 적당한 움직임벡터 코딩방법을 제공하기 위한 것으로서, MPEG-4의 움직임벡터 코딩에 있어서, 상호 연관성이 가장 높은 인접한 2개의 움직임벡터를 후보 움직임벡터로 정의한 후, 상기 정의된 2개의 후보 움직임벡터중에서 코딩시 가장 적은 비트량을 갖는 하나를 최종 후보 움직임벡터로 선택하는 스텝과, 선택된 최종 후보 움직임벡터와 실제 움직임벡터와의 차분치를 구하고, 구해진 움직임벡터 차분와 예측모드정보를 디코더쪽으로 전송하는 스텝과, 상기 움직임벡터 차분치를 코딩하기 위한 최소비트율을 추측한 후, 상기 최소비트율을 이용하여 X성분 및 Y성분에 대한 움직임벡터 차분치를 코딩하는 스텝을 포함하여 이루어지는 것을 특징한다.

Description

움직임벡터 코딩방법

본 발명은 MPEG(Moving Picture Experts Group)-4에 관한 것으로 움직임 벡터 코딩에 있어서 2개의 후보 움직임벡터중 실제 움직임벡터와 가장 근접한 값을 선택하여 그 차분치와 모드비트를 코딩하여 동영상 압축에 따른 비트율을 감소시킴으로써 압축율을 향상시키는데 적당한 움직임벡터 코딩방법에 관한 것이다.

일반적으로 시간에 따라 변화하는 비디오 시퀀스(Video Sequence)를 효율적으로 압축하기 위해서는 영상데이터가 갖고 있는 2차원 공간상의 중복성(redundancy)뿐만 아니라 시간축상의 중복성 제거가 절대적으로 필요하다.

MPEG(Moving Picture Experts Group)에서는 2차원 공간상의 중복성을 제거하기 위하여 DCT(Discrete Cosine Transform)를 이용하고, 시간축상의 중복성을 제거하기 위하여 움직임 보상방법을 이용하고 있다.

DCT는 2차원 공간변환을 통해서 데이터의 상관성을 제거하는 방법으로서 픽쳐(Picture)를 공간변환시킴에 있어서, 블럭(block)단위로 나뉘어진 각각의 블럭을 DCT를 이용하여 공간변환시킨다.

공간변환된 데이터들은 한쪽 방향으로 몰리는 경향이 있는데 몰려진 데이터들만을 양자화하여 전송하게 된다.

시간축상으로 연속된 Picture들은 주로 화면의 중앙부분에서 사람이나 물체의 움직임이 있기 때문에 움직임 보상방법에서는 이러한 성질을 이용하여 시간축상의 중복성을 제거한다.

즉, 화면의 변하지 않는 부분(혹은 움직였다고 하더라도 변화가 아주 작은부분)은 비슷한 부분을 바로 전 Picture에서 가져와서 채움으로서 전송하여야 할 데이터량을 최소화 할 수 있다.

이렇게 Picture 사이에서 가장 비슷한 블럭을 갖는 일을 움직임예측(Motion Estimation)이라고 하며, 움직임의 정도를 변위로 나타낸 것을 움직임벡터(Motion Vetor)라고 한다.

다시말해서, 움직임벡터란 영상의 움직임보상을 위해서 현재의 픽쳐나 필드(fiele)의 좌표로부터 기준프레임(reference frame)이나 기준필드의 좌표의 오프셋을 나타내주는 2차원 벡터를 말한다.

현재 표준화가 진행중인 MPEC-4에서 완전한 픽셀의 움직임 예측(inerger pixel motion estimation)시에 수행되는 8×8 블록별 탐색은 16×16 움직임벡터를 중심으로 ±2픽셀의 탐색윈도우(search window)내에서 수행한다.

따라서 특정 메크로블륵(macroblock)이 8×8모드로 선택되었을 때, 메크로블록내의 4블록에 대한 각 움직임벡터는 일정한 바운드(boundary)내에 모두 들어오게 된다.

도 1은 종래기술에 따른 8×8 모드로 선택된 메크로블록의 4블록에 대한 움직임벡터가 가리킬 수 있는 바운드를 나타내었다.

이러한 4개의 움직임벡터들의 바운드는 움직임벡터의 코딩효율을 높이는데 크게 기여한다.

움직임벡터는 메크로블록당 최대 4개까지 나올 수 있는데 이를 그냥 전송하게 되면 비트량이 많기 때문에 바로 전메크로블록의 움직임벡터와의 차이만을 가변길이 부호화(VLC : Variable Length Coding)하여 전송한다.

즉, 인접한 메크로블록간 움직임벡터는 상호 연관성이 많기 때문에 메크로블록 개개의 움직임벡터를 고딩하는 것 보다 이전의 움직임벡터와의 차분치를 코딩하는 것이 비트량을 줄일 수 있기 때문이다.

또한, 현재 표준화가 진행중인 MPEG-4에서는 보다 효율적으로 움직임벡터를 코딩하기 위해서 단순히 이전의 메크로블록의 움직임벡터와의 차분치를 구해 코딩을 하는 것이 아니라 주변 움직임벡터와의 연관성을 더욱 이용하기 위해 도 2에서와 같이 3개의 후보 움직임벡터를 정의하고, 이중에서 중간값을 선택하여 현재의 메크로블록의 움직임벡터와의 차분치를 코딩하는 방법을 사용하고 있다.

그 이유는 MPEG-2에서의 움직임벡터 코딩방법을 이용할 경우, 화상의 경계부분과 같이 메크로블록간의 연관성이 떨어지는 부분에서 이전의 메크로불록의 움직임벡터와 현재 메크로블록의 움직임벡터의 차분치가 커질경우가 발생하여 코딩효율을 저하시키기 때문이다.

따라서, MPEG-4에서는 후보 움직임벡터를 3개로하여 그중 중간값을 최종 후보 움직임벡터로 선택하여 차분치를 구함으로써 움직임벡터간의 상호연관성을 향상시키고자 하였다.

도 2는 종래기술에 따른 메크로블록 내에서의 움직임벡터를 예측하기 위한 3개의 후보 움직임벡터를 나타내었다.

도 2에서와 같이, 4개의 각 블록에 해당하는 움직임벡터의 성분들은 인접한 3개의 후보 움직임벡터의 중간값을 예측값으로하여 차성분이 부호화된다.

이를 수식으로 표현하면 아래와 같다.

P_X= Median(MV1_X, MV2_X, MV3_X)

P_Y= Median(MV1_Y, MV2_Y, MV3_Y)

MVD_X= MV_X-P_X

MVD_Y= MV_Y-P_Y

여기서, 상기 MVD는 움직임벡터의 차분치를 포시한다.

도 2에서와 같이 8×8 모드에서의 움직임벡터 예측부호를 보면 중간값 예측치로 사용되는 움직임벡터값이 8×8 모드에서의 움직임벡터 제한범위를 넘게되는 경우는 블록1을 제외하면 블록2에 하당하는 MVD₂뿐이다.

이 경우에 세 개의 움직임벡터 예측 후보중 단 하나만의 8×8모드로 선택된 메크로블록내에 속해 있으므로 중간값으로 구해진 예측기로부터 얻어지는 MVD₂의 절대치는 제한범위를 넘을 수 있다.

이와같이, 제한범위를 넘게되는 경우 즉, 중간값으로 인한 예측치가 제한범위밖에 있는 경우가 발생하는데, 도 3은 움직임벡터의 중간값 예측에서 제한범위를 넘는 경우의 예를 나타낸 구성도이다.

이상과 같이, 종래 움직임벡터 코딩방법은 하나의 움직임벡터를 예측하기 위해서는 인접한 3개의 움직임벡터의 중간값을 최종 후보 움직임벡터로 선택하여 차분치를 구하므로써 움직임벡터간의 상호연관성을 향상시킨다.

그러나 종래기술에 따른 움직임벡터 코딩방법은 다음과 같은 문제점이 있었다.

기존의 MPEG-2에서 사용하는 코딩방법에 비해 움직임벡터의 차분치를 최소화하기 위해 3개의 인접한 후보 움직임벡터중 중간값을 최종 후보 움직임벡터로 선택하여 움직임벡터의 차분치를 최소화하는 잇점이 있었다. 하지만, 일률적으로 중간값을 선택하는 것이 최소의 차분치를 구하는 것은 아니기 때문에 움직임이 많고, 복잡한 영상에 있어서는 코딩의 효율성이 저하되는 문제점이 있었다.

본 발명은 상기한 문제점을 해결하기 위해 안출한 것으로서, 후보 움직임벡터를 3개에서 2개로 정의하고, 그중 모션벡터의 코딩에 적은 비트량을 갖는 하나를 최종적으로 후보 움직임벡터로 선택하여 코딩함으로써, 코딩량을 최소화하여 압축효율을 높이는 움직임벡터 코딩방법을 제공하는데 그 목적이 있다.

도 1은 종래기술에 따른 8×8모드로 선택된 메크로블록의 4개의 블록 움직임벡터가 가리킬 수 있는 바운드를 나타낸 도면

도 2a 내지 2d는 종래기술에 따른 8×8모드 메크로블록에서의 움직임벡터 예측후보를 도시한 도면

도 3은 종래 움직임벡터의 중간값 예측에서 제한범위를 넘는 경우의 예를 나타낸 구성도

도 4 본 발명에 따른 움직임벡터 예측후보를 나타낸 도면

도 5는 본 발명의 움직임벡터 코딩방법에 따른 움직임벡터 코딩에서 MVD코드비트와 모드비트의 비트스트림 신텍스(syntax)

도 6a 내지 6b는 본 발명의 움직임벡터 코딩방법에 따른 모드비트 감소의 예를 엔코더 및 디코더 측면에서 나타낸 도면

도 7은 본 발명의 움직임벡터 코딩방법을 설명하기 위한 플로우챠트

상기의 목적을 달성하기 위한 본 발명의 움직임벡터 코딩방법은 MPEG-4의 움직임벡터 코딩에 있어서, 상호 연관성이 가장 높은 인접한 2개의 움직임벡터를 후보 움직임벡터로 정의한 후, 상기 정의된 2개의 후보 움직임벡터중에서 코딩시 가장 적은 비트량을 갖는 하나를 최종 후보 움직임벡터로 선택하는 스텝과, 선택된 최종 후보 움직임벡터와 실제 움직임벡터와의 차분치를 구하고, 구해진 움직임벡터 차분치와 예측모드정보를 디코더쪽으로 전송하는 스텝과, 상기 움직임벡터 차분치를 코딩하기 위한 최소비트율을 추측한 후, 상기 최소비트율을 이용하여 X성분 및 Y성분에 대한 움직임벡터 차분치를 코딩하는 스텝을 포함하여 이루어지는 것을 특징한다.

이하, 본 발명의 움직임벡터 코딩방법을 첨부된 도면을 참조하여 설명하기로 한다.

먼저, 본 발명에 따른 움직임벡터 코딩방법에 의하면, 2개의 후보 움직임벡터중에서 움직임벡터의 코딩에 가장 적은 비트율을 가지는 하나를 선택하여 최종후보 움직임벡터로 정의한다.

그리고 움직임벡터 차분치(실제움직임벡터와 정의된 움직임벡터와의 차이값)와 예측모드정보를 보낸다.

도 4는 본 발명에 따른 2개의 후보 움직임벡터를 도시한 것이다.

도 4에 도시한 바와같이, 현재의 움직임벡터 주변의 2개의 후보 움직임벡터중 하나를 선택하게 된다.

여기서, MV는 현재의 움직임벡터이고, MV1은 이전의 움직임벡터이다. 그리고 MV2는 이후의 움직임벡터를 나타낸다.

한편, 도 5는 본 발명에 따른 MVD코드비트와 모드비트의 비트스트림 신텍스(bitstream syntax)를 도시하였다.

움직임벡터의 코딩은 X와 Y성분에 대해서 각각 실시한다.

그리고 모드비트는 MVD를 코딩할 때 2개의 후보 움직임벡터중에서 어느 후보를 사용하였는지를 가리킨다.

여기서, 모드비트에 앞서는 MVD최소비트율은 MVD최소비트 정보를 이용함으로써 감소시킬 수 있다.

이와같은 모드비트의 감소의 예를 도 6에 도시하였다.

도 6a 내지 6b는 본 발명의 움직임벡터 부호화에 따른 모드비트 감소의 일예를 엔코더 및 디코더측면에서 도시하였다.

먼저, 도 6a는 엔코더측면에서 도시한 것으로서, MV1=0, MV2=3 그리고 현재 블록의 움직임벡터 MV=5일 경우, MV에서 멀리떨어진 MV1과 MV2중 상기 MV와 가장 가까운 MV2를 최종 후보 움직임벡터로 선정한다.

따라서, 최소율 움직임벡터 차이값(MVD min rate)은 2가 된다.

상기한 바와같이, 엔코더는 최소율 예측에 의해 MVD min rate를 코딩한다.

그 다음, 엔코더는 디코더가 실제 움직임벡터를 검출할 수 있는지를 최소의 정보로 조사한다.

이어, 도 6b는 디코더측면에서 도시한 것으로써, 본 발명의 실시예에서는 단지 2개의 후보가 있음을 알 수 있다.

그러나 후보 1은 엔코더로부터 받은 MVD min rate로 디코딩해보면, 실제 MVD min rate와는 차이가 있으므로 실제 움직임벡터가 아님을 알 수 있다.

따라서, 이 경우에 엔코더는 2개의 후보 움직임벡터중에서 실제 움직임벡터을 찾기 위한 모드비트를 디코더에 보낼 필요가 없다.

또한, 2개의 후보 움직임벡터가 같은 값을 가진 경우에도 추가 모드비트를 보낼 필요가 없다.

그리고, 2개의 움직임벡터 차분치를 코딩할 때 발생하는 비트량이 같을경우에는 우선순위를 한 쪽에 주므로써, 추가 모드비트를 보낼필요가 없게 된다.

이상과 같이 추가 모드비트없이 디코딩이 가능한 경우에 한해서는 추가 모드비트를 발생시키지 않게하여 쓸데없는 비트량 증가를 억제한다.

한편, 본 발명에 따른 최소율 예측을 사용한 움직임벡터 X성분은 아래와 같다.

상기의 알고리즘은 최소율 예측을 이용한 X성분의 코딩방법이고, Y성분의 코딩방법 또한 X성분의 코딩방법과 동일하다.

이상과 같은 본 발명의 전반적인 움직임벡터 코딩방법은 다음과 같다.

max=MAX(MV1_X, MV2_X)

min=MIN(MV1_X, MV2_X)

이상과 같은 알고리즘에 따른 본 발명의 움직임벡터 코딩방법을 플로우챠트를 참조하여 설명하면 다음과 같다.

도 7은 본 발명의 움직임벡터 코딩방법을 설명하기 위한 플로우챠트이다.

도 7에 도시한 바와같이, 상호 연관성이 가장 높은 인접한 2개의 움직임벡터를 후보 움직임벡터로 정의한다(S701).

이후, 상기 정의된 2개의 후보 움직임벡터중에서 코딩시 가장 적은 비트량을 갖는 하나를 최종 후보 움직임벡터로 선택한다(S702).

이어, 최종 후보 움직임벡터와 실제 움직임벡터와의 차분치를 구하고(S703), 구해진 움직임벡터 차분치와 예측모드정보를 디코더쪽으로 전송한다(S704).

그리고 상기 움직임벡터 차분치를 코딩하기 위한 최소비트율을 추측한 후(S705), 상기 최소비트율을 이용하여 X성분 및 Y성분에 대한 움직임벡터 차분치를 코딩(S705)하면, 본 발명에 따른 움직임벡터의 코딩이 이루어진다.

이상 상술한 바와같이 본 발명의 움직임벡터 코딩방법은 2개의 후보 움직임벡터중에서 최종 후보 움직임벡터를 선택한 후, 그 차분치와 모드비트를 코딩하게되므로 코딩량이 감소하게 되어 동화상 압축에 있어서 비트율을 줄여 압축율을 높이는 효과가 있다.

Claims (3)

1. MPEG-4의 움직임벡터 코딩에 있어서, 상호 연관성이 가장 높은 이접한 2개의 움직임벡터를 후보 움직임벡터로 정의한 후, 상기 정의된 2개의 후보 움직임벡터중에서 코딩시 가장 적은 비트량을 갖는 하나를 최종 후보 움직임벡터로 선택하는 스텝과, 선택된 최종 후보 움직임벡터와 실제 움직임벡터와의 차분치를 구하고, 구해진 움직임벡터 차분치와 예측모드정보를 디코더쪽으로 전송하는 스텝과, 상기 움직임벡터 차분치를 코딩하기 위한 최소비트율을 추측한 후, 상기 최소비트율을 이용하여 X성분 및 Y성분에 대한 움직임벡터 차분치를 코딩하는 스텝을 포함하여 이루어지는 것을 특징으로 하는 움직임벡터 코딩방법.
2. 제 1 항에 있어서, 상기 2개의 후보 움직임벡터가 같은 값을 가진 경우에는 추가 모드비트를 보내지 않는 것을 포함하여 이루어지는 특징으로 하는 움직임벡터 코딩방법.
3. 제 1 항에 있어서, 2개의 움직임벡터 차분치를 코딩할 때 발생하는 비트량이 같을 경우에는 우선 순위를 한 쪽에 주어 추가 모드비트를 보내지 않는 것을 포함하여 이루어지는 것을 특징으로 하는 움직임벡터 코딩방법.