KR20030073141A

KR20030073141A - Ｍｐｅｇ-4 비디오 코덱에서 움직임 벡터 코딩을 위한움직임 벡터 메모리 최소화 방법

Info

Publication number: KR20030073141A
Application number: KR1020020012540A
Authority: KR
Inventors: 지석만
Original assignee: 주식회사 엘지이아이
Priority date: 2002-03-08
Filing date: 2002-03-08
Publication date: 2003-09-19

Abstract

본 발명은 MPEG-4 비디오 코덱에서 움직임 벡터 코딩을 위한 움직임 벡터 메모리 최소화 방법에 관한 것으로 특히, 비디오 코덱에 있어서 더블 버퍼링 방식을 사용하여 현재 블록군(GOB)과 이전 블록군(GOB)의 움직임 벡터만을 저장하도록 함으로써 메모리 용량을 최소화하도록 함을 목적으로 한다. 이러한 목적을 달성하기 위한 본 발명은 비디오 코덱의 현재 블록의 예측 움직임 벡터 저장 방법에 있어서, VOP(Video Object Plane)을 n개의 블록군(GOB)으로 분할하는 제1 단계와, 상기에서 분할된 각 블록군(GOB)의 움직임 벡터를 예측하는 제2 단계와, 상기에서 예측된 움직임 벡터들을 2개의 버퍼에 더블 버퍼링 방식으로 순차 저장하는 제3 단계와, 상기에서 더블 버퍼링 방식으로 저장된 움직임 벡터에 대해 움직임 벡터 코딩을 수행하는 제4 단계를 반복적으로 수행함을 특징으로 한다.

Description

ＭＰＥＧ-4 비디오 코덱에서 움직임 벡터 코딩을 위한 움직임 벡터 메모리 최소화 방법{MOTION VECTOR MEMORY MINIMIZATION METHOD FOR CODING OF MOTION VECTOR IN VIDEO CODEC OF MPEG-4 PROTOCOL}

본 발명은 비디오 코덱에 관한 것으로 특히, MPEG-4 비디오 코덱에서 움직임 벡터 코딩을 위한 움직임 벡터 메모리 최소화 방법에 관한 것이다.

현재 DSP(Digital Signal Processor)와 같이 작은 용량의 메모리를 사용하는 하드웨어 환경에서 멀티미디어를 위한 소프트웨어를 구현하는 경우 최소한의 메모리 사용이 요구되고 있다.

MPEG-4 비디오 인코더는 주변 블록들의 움직임 벡터를 사용하여 예측 움직임 벡터(PMV ; Predictive Motion Vector)를 찾은 후 이 예측 움직임 벡터(PMV)와 현재 블록의 움직임 벡터와의 차이(MVD ; Motion Vector Difference)를 인코딩한다.

그리고, MPEG-4 비디오 디코더는 예측 움직임 벡터(PMV)와 움직임 벡터 차이(MVD)를 합하여 현재 블록의 움직임 벡터를 디코딩한다.

도1은 INTER mode에서 매크로블록의 움직임 벡터의 예측을 위한 주변 매크로 블록을 보인 예시도이다.

여기서, MV는 현재 움직임 벡터, MV1은 현재 움직임 벡터(MV)에 대해 이전 움직임 벡터, MV2는 현재 움직임 벡터(MV)에 대해 상부 움직임 벡터, MV3는 현재 움직임 벡터(MV)에 대해 상부의 우측 움직임 벡터이다.

이로부터 예측 움직임 벡터(PMV)는 [수학식 1]과 같은 연산으로 구하고, 그 예측 움직임 벡터(PMV)와 현재 블록의 움직임 벡터간의 차(MVD)는 [수학식 2]와 같은 연산에 의해 구하게 된다.

도2는 INTER4V mode에서 블록 움직임 벡터의 예측을 위한 주변 블록을 보인 예시도이다.

여기서, 예측 움직임 벡터()와 움직임 벡터 차()는 상기 [수학식 1]과 [수학식 2]에 의해 동일하게 구하게 된다.

이때, MPEG4 비디오 코덱은 한 블록의 움직임 벡터를 코딩하기 위해 이전 블록들의 움직임 벡터를 알아야 하고, 최대한 한 프레임의 움직임 벡터를저장하기 위한 메모리 용량을 필요로 한다.

예를 들어, 영상의 크기가이고 벡터 성분을 저장하기 위해 16 bit data type을 사용한다면 움직임 벡터를 저장하기 위한 메모리의 용량은이다.

여기서, M은 1라인 내의 픽셀수이고 N은 VOP 내의 라인수이다.

그러나, DSP와 같이 제한된 메모리를 사용하여야 하는 경우 움직임 벡터를 저장하기 위한 메모리 용량을 최소화하여야 하지만, 종래 기술에서는 전체 움직임 벡터를 저장함으로 인해 메모리의 사용 용량을 최소화하기 어려운 단점이 있었다.

따라서, 본 발명은 종래의 문제점을 해결하여 움직임 벡터의 인코딩/디코딩시의 메모리 사용을 최소화하도록 창안한 MPEG-4 비디오 코덱에서 움직임 벡터 코딩을 위한 움직임 벡터 메모리 최소화 방법을 제공함에 목적이 있다.

즉, 본 발명은 더블 버퍼링 방식을 사용하여 현재 블록군(GOB)과 이전 블록군(GOB)의 움직임 벡터만을 저장하도록 함으로써 메모리 용량을 최소화하도록 함을 제1 목적으로 한다.

또한, 본 발명은 선입선출 메모리(FIFO)를 사용하여 1GOB+1MB(Macro Block) 크기의 움직임 벡터만을 저장하도록 함으로써 메모리 용량을 최소화하도록 함을 제2 목적으로 한다.

도1은 INTER mode에서 매크로블록의 움직임 벡터 예측을 위한 주변 매크로 블록을 보인 예시도.

도2는 INTER4V mode에서 매크로 블록의 움직임 벡터 예측을 위한 주변 블록을 보인 예시도.

도3은 본 발명의 일실시예에서 VOP 단위의 움직임 벡터 메모리 최소화를 위한 동작 순서도.

도4는 본 발명의 일실시예에서 움직임 벡터 예측 및 저장을 보인 예시도.

도5는 본 발명의 다른 실시예에서 VOP 단위의 움직임 벡터 메모리 최소화를 위한 동작 순서도.

도6은 본 발명의 다른 실시예에서 움직임 벡터 예측 및 저장을 위한 예시도.

본 발명은 상기의 제1 목적을 달성하기 위하여 블록군(GOB)의 움직임 벡터를 저장하기 위한 2개의 버퍼(,)를 구비함에 의해 그 2개의 버퍼에 현재 블록군(GOB)과 이전 블록군(GOB)의 움직임 벡터만을 더블 버퍼링(double buffering) 방식으로 저장하고 그 저장된 움직임 벡터를 코딩하도록 구성함을 특징으로 한다.

즉, 본 발명은 비디오 인코더/디코더의 현재 블록의 움직임 벡터 저장 방법에 있어서, VOP(Video Object Plane)을 n개의 블록군(GOB)으로 분할하는 단계와, 상기에서 분할된 각 블록군(GOB)의 움직임 벡터를 찾는 단계와, 상기에서 찾아진 움직임 벡터들을 2개의 버퍼에 더블 버퍼링 방식으로 순차 저장하는 단계와, 상기에서 더블 버퍼링 방식으로 저장된 움직임 벡터에 대해 움직임 벡터 코딩을 수행하는 단계는 반복적으로 수행하여 제1 목적을 달성하도록 구성함을 특징으로 한다.

또한, 본 발명은 상기의 제2 목적을 달성하기 위해 매크로 블록의 움직임 벡터를 저장하기 위한 선입선출 메모리(FIFO)를 구비하여 그 선입선출 메모리(FIFO)에 매크로 블록의 움직임 벡터를 선입선출 방식으로 (1GOB + 1Mbyte) 만큼 저장하고 그 저장된 움직임 벡터를 코딩하도록 구성함을 특징으로 한다.

즉, 본 발명은 비디오 인코더/디코더의 현재 블록의 예측 움직임 벡터 저장 방법에 있어서, VOP(Video Object Plane)을 (M/16)+1개의 매크로 블록(MB)으로 분할하는 단계와, 상기에서 분할된 각 매크로 블록(MB)의 움직임 벡터를 예측하는 단계와, 상기에서 예측된 각 매크로 블록(MB)의 움직임 벡터를 선입선출 메모리에 순차적으로 저장하는 단계와, 상기에서 선입선출 메모리에 저장된 움직임 벡터에 대해 움직임 벡터 코딩을 수행하는 단계는 반복적으로 수행하여 제2 목적을 달성하도록 구성함을 특징으로 한다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

본 발명의 일실시예는 더블 버퍼링 방식의 메모리 최소화 방법에 관한 것으로 이를 도3의 동작 순서도 및 도4의 더블 버퍼링을 설명한 예시도를 참조하여 설명하면 다음과 같다.

본 발명의 일실시예를 위한 움직임 벡터의 더블 버퍼 메모리는와이며 각각의 블록군(GOB ; Group of Block)의 움직임 벡터를 저장한다.

여기서, 블록군(GOB)은 매크로 블록(MB) 1행으로 구성되며 매크로 블록(MB)은 4개의 블록으로 구성된다.

우선, 초기화 과정이 실행되면 VOP(Vedio Object Plane)을 N개의 블록군(GOB ; Group of Block)으로 나누어 각 블록군(GOB(0)~GOB(n))의 움직임 벡터를 구한다.

이때, 초기화 과정에서는 비어 있는 상태가 유지되며에는 첫번째 블록군(GOB(0))의 움직임 벡터가 저장된다.

이후,와를 교환(swapping)하여 현재의에 두번째 블록군(GOB(1))의 움직임 벡터를 저장한다. 이때,에는 첫번째 블록군(GOB(0))의 움직임 벡터가 저장되어 있는 상태이다.

즉,와를 절환하면서 순차적으로 현재 블록군(GOB)의 움직임 벡터를 현재의에 저장하게 된다.

이에 따라, 현재 블록군(GOB)의 움직임 벡터가 저장되면 현재 블록군을 구성하는 블록들의 움직임 벡터 예측과 움직임 벡터 코딩을 수행한다.

이때, 움직임 벡터 예측과 움직임 벡터 코딩이 실행된 후 블록의 위치가 VOP(Video Object Plane)의 끝이 아니면 'n'을 '1' 증가시킨 후 다음 블록군(GOB)에 대해 움직임 벡터 예측과 움직임 벡터 코딩을 수행한다.

즉, 현재 VOP의 마지막 블록군(GOB)이 될 때까지 움직임 벡터 예측 및 움직임 벡터 코딩을 위하여와를 절환하면서 현재 블록군을 구성하는 블록들의 움직임 벡터를 저장하게 된다.

이를 도4의 예시도를 참조하여 설명하면, 블록의 움직임 벡터가 순차적으로 저장되어 n번째 블록군(GOB(n))이 되었을 때 도4(a)와 같이에는 이전 블록군(GOB(n-1))의 움직임 벡터가 저장되고에는 현재 블록군(GOB(n))의 움직임 벡터가 저장된다. 이에 따라, 현재 n번째 블록군(GOB(n))의 움직임 벡터 예측 및 코딩을 수행하게 된다.

이후, 현재 n번째 블록군(GOB(n))의 움직임 벡터 코딩이 끝나면 도4(b)와 같이와를 절환(swapping)하며 이에 따라, 현재의에는 다음 블록군(GOB(n+1))의 움직임 벡터가 저장된다.

따라서, 영상의 크기가이고 벡터 성분을 16bit 데이터 타입으로 저장한다고 가정하면 움직임 벡터를 저장하기 위한 메모리의 용량은 종래에는이지만, 본 발명의 일실시예에서는만큼의 메모리 용량을 필요로 하므로 종래의 기술보다 (32/N)의 메모리 용량만을 필요로 한다.

예를 들어,의 동영상이라면 N=144이므로 종래 기술보다 (2/9) 만큼의 메모리 용량만을 사용하고,의 동영상이라면 N=288이므로 종래 기술보다 (1/9) 만큼의 메모리 용량만을 사용한다.

한편, 본 발명의 다른 실시예는 선입선출(FIFO) 방식의 메모리 최소화 방법에 관한 것으로 이를 도5의 동작 순서도 및 도6의 움직임 벡터 예측을 위한 예시도를 참조하여 설명하면 다음과 같다.

VOP의 크기가일 때 선입선출(FIFO) 메모리는 (M/16+1)개의 매크로 블록 움직임 벡터 메모리로 구성한다.

1개의 매크로 블록 움직임 벡터 메모리는 4개 블록의 움직임 벡터가 저장되도록 구성된다.

우선, 초기화 과정이 실행되면 VOP(Vedio Object Plane)를 각 매크로 블록(MB)으로 나누고 각 매크로 블록(MB)의 4개의 블록에 대해 움직임 벡터를 구한다.

이후, 선입선출(FIFO) 메모리의 첫번째 분할 메모리(FIFO(0))에는 VOP의 첫번째 매크로 블록(MB)의 4개 블록의 움직임 벡터가 저장되며 그 나머지 분할 메모리(FIFO(1), FIFO(2),...,FIFO(16/M))는 비어있다.

이후, 두번째 매크로 블록(MB)의 4개 블록(GOB)의 움직임 벡터가 분할 메모리(FIFO(1))에 저장된다.

즉, 선입선출(FIFO) 메모리에는 VOP의 각 매크로 블록(MB)의 움직임 벡터가 순차적으로 저장된다.

이에 따라, 선입선출 메모리에 현재 매크로 블록(MB)의 움직임 벡터가 저장될 때마다 현재 블록의 움직임 벡터 예측과 움직임 벡터 코딩을 수행한다.

이때, 움직임 벡터 예측과 움직임 벡터 코딩이 실행된 후 VOP(Video ObjectPlane)의 끝이 아니면 'k'를 '1' 증가시킨 후 현재 매크로 블록(MB)에 대해 움직임 벡터 예측과 움직임 벡터 코딩을 수행한다.

즉, 현재 VOP의 마지막 매크로 블록(MB)이 될 때까지 움직임 벡터 예측 및 움직임 벡터 코딩을 수행하기 위하여 현재 매크로 블록(MB)의 4개 블록의 움직임 벡터를 순차적으로 저장하게 된다.

이를 도6의 예시도를 참조하여 설명하면, 각 매크로 블록(MB)의 움직임 벡터를 저장하여 k번째 매크로 블록(MB(k))이 되었을 때 분할 메모리(FIFO(0))에 현재 매크로 블록(MB(k))의 움직임 벡터가 저장되어 있고 (k-1)부터 (k-16/M)까지의 매크로 블록(MB(k-1) ~MB(k-16/M)의 움직임 벡터는 FIFO(1)부터 FIFO(16/M)에 각기 저장된다.

이때, 현재 매크로 블록(MB(k))의 움직임 벡터 예측과 움직임 벡터 코딩을 수행되면 매크로 블록(MB(K-16/M))의 움직임 벡터는 선입선출 메모리로부터 지워지고 분할 메모리(FIFO(n))에 저장되어 있던 움직임 벡터가 분할 메모리(FIFO(n+1))에 저장된다. ()

그리고, 매크로 블록(MB(k+1))의 움직임 벡터가 분할 메모리(FIFO(0)에 저장된다.

따라서, 영상의 크기가이고 벡터 성분을 16bit 데이터 타입으로 저장한다고 가정하면 움직임 벡터를 저장하기 위한 메모리의 용량은 종래에는이지만, 본 발명의 다른 실시예를 적용하면 움직임 벡터를 저장하기 위한 선입선출 메모리의 크기는만큼 필요로 한다.

즉, 본 발명의 다른 실시예는 종래 기술보다만큼의 메모리 용량만을 필요로 한다.

예를 들어,의 동영상은 N=144이므로 종래 기술보다 1/9의 메모리 용량만을 사용하며의 동영상은 N=288이므로 종래 기술보다 약1/18만큼의 메모리 용량을 사용하는 것이다.

상기에서 설명한 바와 같이 본 발명은 MPEG-4 비디오 코덱에서 움직임 벡터 인코딩/디코딩에 사용되는 메모리 용량을 최소화하는 효과가 있다.

또한, 본 발명은 DSP에 MPEG-4 비디오 코덱을 구현할 때 움직임 벡터 코딩에 사용되는 메모리를 최소화할 수 있으므로 효과적인 코딩을 할 수 있는 이점이 있다.

Claims

비디오 코덱의 움직임 벡터 저장 방법에 있어서, VOP(Video Object Plane)을 n개의 블록군(GOB)으로 분할하는 제1 단계와, 상기에서 분할된 각 블록군(GOB)의 움직임 벡터를 찾는 제2 단계와, 상기에서 찾아진 움직임 벡터들을 블록군(GOB) 단위로 순차 저장하는 제3 단계와, 상기에서 저장된 움직임 벡터에 대해 움직임 벡터 코딩을 수행하는 제4 단계는 반복적으로 수행하도록 구성함을 특징으로 하는 메모리 최소화 방법.
제1항에 있어서, 제3 단계는 현재 블록군과 이전 블록군의 움직임 벡터만을 더블 버퍼링(double buffering) 방식으로 2개의 버퍼에 순차 저장하는 것을 특징으로 하는 메모리 최소화 방법.
제1항 또는 제2항에 있어서, 더블 버퍼링 용량은임을 특징으로 하는 메모리 최소화 방법. 여기서, M은 픽셀, N은 라인이다.
비디오 코덱의 움직임 벡터 저장 방법에 있어서, VOP(Video Object Plane)을 n개의 매크로 블록(MB)으로 분할하는 제1 단계와, 상기에서 분할된 각 매크로 블록(MB)의 움직임 벡터를 예측하는 제2 단계와, 상기에서 예측된 움직임 벡터를 선입선출 메모리에 순차적으로 저장하는 제3 단계와, 상기에서 선입선출 메모리에저장된 움직임 벡터에 대해 움직임 벡터 코딩을 수행하는 제4 단계를 반복적으로 수행하도록 구성함을 특징으로 하는 메모리 최소화 방법.
제4항에 있어서, 선입선출 메모리는 (1GOB + 1MB) 크기로 구성함을 특징으로 하는 메모리 최소화 방법.