KR20100011628A - 코딩 방법 및 코딩 장치 - Google Patents

Abstract

본 발명에 따른 멀티미디어 영상 코덱의 움직임 벡터의 코딩 방법은 영상 데이터를 구성하는 인접한 움직임 벡터들 간의 차이인 차분 벡터들을 산출하는 과정과, 산출된 차분 벡터들의 중심 축을 기준으로 상기 차분 벡터들의 축을 변환하는 과정을 포함한다.

멀티미디어, 영상 코덱, 벡터, 코딩

Description

코딩 방법 및 코딩 장치{METHOD OF CODING AND APPARATUS FOR CODING}

본 발명은 멀티미디어 영상 코덱에서의 움직임 벡터의 코딩 방법에 관한 발명으로서, 특히 움직임 벡터의 코딩을 위한 비트 할당에 관한 발명이다.

근래에는 영상을 전송할 수 있는 다양한 형태의 영상 매체들이 보급되고 있으며, 상술한 영상 매체들은 서로 다른 각각의 전송 속도로 영상을 전송할 수 있다. 또한, 영상 매체로부터 영상을 제공받는 단말기들도 영상을 사용자에게 제공하는 해상도가 다양하기 때문에 단말기에 맞는 전송률을 갖는 영상 데이터가 필요하다. 이를 위해 영상 데이터 제공자가 각각의 해상도에 따른 다수의 영상 데이터를 보유하고 제공하는 방법이 가능하지만, 상술한 방법은 저장 공간의 제약으로 인해 한계가 있다.

반면에, 영상 데이터가 영상 압축 표준으로 부호화(인코딩;encoding)되어 있다면, 각 매체의 전송 속도와 사용자의 해상도에 맞게 영상 데이터를 추출해서 사용자에게 제공될 수 있다. 상술한 바와 같이 데이터를 압축하거나, 압축을 풀어내기 위한 소프트웨어(software) 또는 알고리즘을 코덱(Codec)이라 지칭한다.

특히 정지 화상이나 동화상의 멀티미디어 분야의 영상 코덱은 인접한 움직임 벡터들 간의 차를 의미하는 차분 벡터(mvd) 값을 코딩하는데 있어서 영상의 특징에 상관없이 (mvd_x, mvd_y)=(0,0)인 경우를 기준으로 비트(bit) 수를 적게 할당하는 정적인 형태의 비트 할당이 적용하고 있다.

화상이나 동화상과 같은 멀티미디어 분야의 영상 데이터는 화면을 구성하는 움직임 벡터들 간의 차이를 차분 벡터(mvd)라고하며, 상술한 움직임 벡터와 그 차분 벡터(mvd)는 통상적으로 2차원 좌표 상의 x, y축에 따라서 (mvd_x, mvd_y)로 표시될 수 있다.

종래의 영상 코덱의 움직임 벡터를 코딩하는 방법은 차분 벡터가 거의 존재하지 않는다는 가정 하에 비트 할당을 적용하고 있으나, 이는 사진 촬영 시 패닝(Panning; 움직이는 물체를 빠른 셔터로 촬영하는 사진 촬영 기법) 또는 줌잉(Zooming; 카메라의 초점을 이동시키며 촬영하는 사진 기법)과 같이 카메라(또는 인코더; Encoder)가 움직이거나 피사체에 움직임이 발생된 경우(차분 벡터가 거의 0값을 가지지 않는 경우)는 비트 코딩(bit coding)의 효율이 저하되는 문제가 있다.

종래의 움직임 벡터의 코딩 방법은 인접한 움직임 벡터들 간의 차분 벡터가 0인 경우를 기준으로 차분 벡터가 0인 경우에 가장 작은 비트(bit)의 용량을 할당하고, 차분 벡터가 0보다 커질수록 할당되는 비트의 용량이 커지는 배분 방법에 의한다. 상술한 바와 같은 종래의 움직임 벡터의 코딩 방법은 차분 벡터가 0인 경향을 갖는 영상 데이터의 경우는 코딩 시 용량에 별다른 차이가 없으나, 영상 데이터가 0 이상의 차분 벡터들을 많이 포함하는 경향을 갖는 경우는 코딩 시 용량이 증 가하게 되는 문제가 있다.

본 발명은 촬영된 영상의 차분 벡터와 같은 특성에 따라서 비트 할당을 적용함으로서, 향상된 영상 데이터 코딩 방법을 제공하고자 한다.

본 발명에 따른 멀티미디어 영상 코덱의 움직임 벡터의 코딩 방법은,

영상 데이터를 구성하는 인접한 움직임 벡터들 간의 차이인 차분 벡터들을 산출하는 과정과;

산출된 차분 벡터들의 중심 축을 기준으로 상기 차분 벡터들의 축을 변환하는 과정을 포함한다.

본 발명에 따른 움직임 벡터의 코딩 방법은 인코딩 시 해당 영상의 움직임 벡터들 간의 차분 벡터가 집중되는 중심 축을 선정(차분 벡터들의 경향을 산출)하고, 선정된 중심 축을 기준으로 차분 벡터를 축 변환시킴으로써, 차분 벡터가 0이 아닌 경우에 코딩 효율을 향상시킬 수 있다. 또한, 본 발명에 따라서 코딩된 데이터를 디코딩 시 축 변환 이전의 차분 벡터로 재 변환시킴으로써 코딩에 따른 압축 용량을 최소화시킬 수 있다.

아래의 <표 1>는 종래 기술에 따른 VLC와 UVLC의 코딩 방법과, 본 발명에 따른 VLC와 UVLC의 코딩 방법을 비교한 표이다. 아래의 <표 1>를 참조하면, 종래 기술에 비해서 본 발명에 따른 코딩 방법에 따른 요구 용량은 종래에 비해 VLC이 7% 정도 절감되고, UVLC는 약 5% 정도 절감됨을 알 수 있다.

비교	VLC 코딩		UVLC
	종래 기술	본 발명	종래 기술	본 발명
비트(Bit) 수	383	357	404	387
기존 대비(%)	100%	93%	100%	95%

또한, 본 발명은 동영상의 코덱 종류에 관계없이 적용될 수 있으며, 필요로 하는 비트 수를 최소화시킴으로써 고효율의 코덱을 구현할 수 있다. 그 외도, 본 발명은 대상이 되는 영상 데이터 내에서도 차분 벡터들의 경향에 따라서 구분해서 코딩하는 것도 가능하다.

이하에서는 첨부도면들을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지기능, 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.

본 발명은 비트 코딩의 효율을 향상시키기 위한 발명으로서, 비트 코딩의 대상이 되는 영상 데이터를 구성하는 움직임 벡터들의 인접한 움직임 벡터들 간의 차분 벡터들의 특성에 따라서 비트 할당을 다르게 적용하는 코딩 방법에 관한 발명이다.

차분 벡터(mvd_x, mvd_y)는 영상 데이터(다수의 프레임들로 구성된 동영상 또는 정지영상)들에 포함된 인접한 움직임 벡터들 간 차를 의미하며, 영상 코덱의 압축률을 향상시키기 위해 이용된다.

도 1은 본 발명에 따른 움직임 벡터의 차분치를 인코더와 디코더에 적용한 예를 설명하기 위한 순서도로서, 도 1의 (a)는 인코더 측에서의 코딩 방법에 대한 순서도이고, 도 3의 (b)는 디코더 측에서의 디코딩 방법에 대한 순서도이다.

도 3의 (a)는 코딩 대상이 되는 영상 데이터의 차분 벡터들을 산출하고, 산출된 차분 벡터들의 경향성을 파악하는 과정(S1)과, 상기 차분 벡터들이 0 이외의 값을 포함하는 경향을 갖는 경우에, 차분 벡터에 따른 함수를 이용해서 변환하는 과정(S2)과, 변환된 차분 벡턱들을 이용한 비트 코딩 과정(S3) 및 기존의 비트 코드를 대체하는 과정(S4)을 포함한다.

상기 차분 벡터들의 경향성을 파악하기 위한 과정은 차분 벡터들이 0의 값을 포함하는 경우는 경향성이 없는 경우로서, 종래와 같이 0 값을 포함하는 차분 벡터에 최소의 비트를 할당하고, 0보다 점차 커질수록 더 큰 비트를 할당하는 방법이 적용될 수 있다.

상기 차분 벡터들의 경향성은 상기 차분 벡터들의 분포를 의미하며, 이는 도 2 내지 도 4의 예들을 통해서 설명될 수 있다.

도 2 및 도 3은 차분 벡터의 경향성 및 예를 설명하기 위한 그래프로서, 도 2 및 도 3의 (a)는 다수의 차분 벡터들이 도식적으로 표현된 영상 데이터의 예이고, 도 2 및 도 3의 (b)는 해당 도면의 차분 벡터들이 분포된 경향성을 좌표 상에 표시한 그래프이다.

도 2의 (a)와 도 3의 (a)에 도시된 화살표들은 차분 벡터들로서, 인접한 프레임 또는 인접한 픽셀 간 움직임 벡터들의 차를 도식적으로 표시한 예이다. 도 2 의 (a)를 살펴 보면, 차분 벡터들(화살표)의 방향이 서로 다름은 쉽게 알 수 있다.

2차원 영상 데이터에 대한 차분 벡터는 x와 y축으로 구성된 좌표 축 상에 표시할 수 있으며, 도 2의 (b)는 도 2의 (a)의 차분 벡터들의 분포를 표시한 예이다. 도 2의 점들은 차분 벡터들 각각을 의미하고, 도 2의 (a)에 도시된 차분 벡터들의 주된 경향성은 점선의 타원 형태와 같이 나타남을 알 수 있다.

반대로, 도 3의 (a)에 도시된 차분 벡턱들은 일정한 방향으로 정렬되어 있음을 알 수 있으며, 이를 반영한 도 3의 (b)에 도시된 그래프를 살펴보면 x, y 좌표계의 원점을 중심으로 분포되어 있음을 알 수 있다.

인코딩 중에 각 영상 데이터로부터 얻어진 움직임 벡터는 표준에 따라 코딩될 수 있다. 이 때, 움직임 벡터들 간의 차분 벡터는 별도의 메모리 영역에 저장되어 데이터 베이스(database)로 이용될 수 있으며, 누적된 차분 벡터의 데이터를 이용해서 도 2의 예와 같은 형태를 갖는 차분 벡터들의 경향성을 파악할 수 있다. 차분 벡터의 경향성은 좌표계를 중심으로 양의 상관 관계 혹은 음의 상관관계 혹은 y축에 대한 차분 벡터와 x축에 대한 차분 벡터의 함수가 동일한 형태(mvd_y=func(mvd_x))로도 나타날 수 있다.

만약, 도 3에 도시된 바와 같이 차분 벡터들이 0을 포함하는 경우(좌표계의 원점을 중심으로 분포되는 경향)는 본 발명에 따른 인코딩 거치지 않고 종래 방법에 따라 처리될 수 있다. 즉, 도 3의 경우는 차분벡터의 경향성이 없는 경우로서, 본 발명에 따른 차분 벡터들의 축 변환을 거치지 않고 종래와 동일한 코딩 방법에 의해 처리될 수 있다.

반면에, 차분 벡터들이 0과 다른 값을 갖는 경향성의 경우에, 차분 벡터들의 중심 축을 선정하고, 선정된 중심 축을 기준으로 차분 벡터들의 축을 변환시킬 수 있다. 상기 차분 벡터의 경향성에 따른 변환 과정(S2)에 대한 예는 다음과 같이 설명될 수 있다. 영상 데이터는 3차원이 될 수도 있으나, 통상은 2차원이므로 x 및 y축으로 구성된 2차원 좌표계를 기준으로 설명한다.

차분 벡터들은 x축 성분(mvd_x)과, y축 성분(mvd_y)으로 구성될 수 있으며, 앞의 차분 벡터 산출 과정(S1)에서 얻어진 차분 벡터들의 경향성에 따라서 아래의 <수학식 1>을 이용한 좌표 변환될 수 있다.

(a)

(b)

위의 <수학식 1>에 의해 축 변환된 차분 벡터들의 좌표는 VLC 코딩(S3)을 통해 코드 값을 갖도록 재변환되고, 이 코드들은 기존 차분 벡터들의 코드(S4)를 대체한다.

변환된 차분 벡터들을 이용해서 비트 코딩해서 기존의 비트 코드를 대체함으로써 인코딩 방법이 종료될 수 있다.

도 1의 (b)는 본 발명에 따른 디코딩 과정을 설명하기 위한 순서도 이다. 도 1의 (b)를 참조하면, 디코딩 방법은 비트 디코딩 과정(S5)과, 경향성 존재시 차분 벡터로를 변환하는 과정(S6)과, 차분 벡터의 경향성이 없는 경우는 움직임 벡터를 산출하는 과정을 포함해서 진행될 수 있다.

상기 비트 디코딩 과정(S5)은 상기 인코딩 과정에서 코딩된 영상 데이터를 VLD 코딩을 통해 변환하는 과정이다. 만약, 상기 디코딩 과정(S5)에서 차분 벡터들의 경향성이 없는 경우(종래 차분 벡터들이 주로 0을 포함하는 경우)는 아래의 <수학식 2>를 통해서 움직임 벡터를 산출해 낼 수 있다.

위의 <수학식 2>에서 mv는 움직임 벡터를 의미하고, mvd는 차분 벡터를 의미한다.

상기 디코딩 과정(S5)에서 차분 벡터들이 좌표계의 원점을 중심으로 분포되는 경우(차분 벡터들이 0을 포함하는 경우)를 갖는 이외의 경향성을 갖는 차분 벡터들로 코딩된 영상 데이터는 아래의 <수학식 3>을 통해서 차분 벡터로 변환될 수 있다.

(a)

(b)

위의 <수학식 3>에서 demod 함수는 인코딩 과정에서의 mod함수의 역함수이다.

도 2와 도 3은 임의의 영상 데이터에 적용한 결과로서, 도 2의 (a)는 차분 벡터들은 도 2의 (b)와 같은 양의 상관관계를 갖는다. (인코더 또는 인코딩 과정 중에 양의 상관관계를 갖는 영역 내에 존재하는 점의 개수가 전체 점의 개수에 비해 상대적으로 많을 경우 양의 상관 관계를 갖는다고 정의)

도 2의 (b)와 같은 형태로 차분 벡터들이 경향성을 갖는 경우는 차분 벡터들 중 y축 성분(mvd_y)는 종래의 값을 그대로 유지하고, x축 성분(mvd_x)는 기존의 x축 성분(mvd_x)을 x축 성분과 y축 성분의 차(mvd_x - mvd_y)로 대체될 수 있다.

도 2는 아래의 함수로 정의되어 변환될 수 있다.

(a)

(b)

즉, 도 2의 (b)에 도시된 바와 같은 경향성을 갖는 차분 벡터들(mvd_x, mvd_y)는 위의 <수학식 4>에 예시된 바와 같은 형태의 차분 벡터들(mvd_x' = mvd_x -mvd_y, mvd_y' = mvd_y)로 변환될 수 있다.

위의 <수학식 4>에 예시된 바와 같이 변환된 차분 벡터들을 이용해서 위의 <수학식 2>에 의해서 움직임 벡터들이 구해질 수 있다.

구체적인 예를 들자면, 차분 벡터가 (3,2)인 경우에 위의 <수학식 4>를 적용하면 (1,2)로 변환될 수 있고, 차분 벡터가 (-7,-5)인 경우는 위의 <수학식 4>에 따라서 (-2,-5)로 변환될 수 있다.

차분 벡터가 (3,2)인 경우는 3을 표시하기 위해서 VLC가 5비트(bit) 필요하 나, 차분 벡턱가 (1,2)로 변환됨으로써 1을 표현하기 위해서 3비트(bit)가 사용될 수 있다. 결국 2비트 만큼의 용량을 줄일 수 있으며, 동일하게 (-7,-5)의 차분벡터를 (-2, -5)로 변환함으로써 8비트가 4비트로 줄어드는 효과를 얻을 수 있다.

도 4는 차분 벡터들의 또 다른 경향성을 설명하기 위한 그래프이다. 도 4를 참조하면, 해당 영상 데이터의 차분 벡터들은 크게 두 개의 경향성을 갖는 분포를 갖게됨을 알 수 있다. 도 4와 같이 서로 다른 경향성이 하나의 영상 데이터에 다수 존재하는 경우는 본 발명에 따른 차분 벡터의 변환을 경향성에 따라서 각각 다르게 적용할 수 있다.

즉, 코딩 대상이 되는 하나의 영상 데이터 내에 차분 벡터들이 각각 서로 다른 경향성을 갖는다면, 하나의 영상 데이터 내에서 각각의 경향성에 따라서 서로 다르게 변환된 차분 벡터들을 코딩에 적용할 수 있다.

도 5는 본 발명에 따른 코딩 장치의 개략적 구조를 도시한 블록도이다. 도 5를 참조하면, 본 발명에 따른 영상 데이터의 코딩을 위한 장치(100)는 움직임 벡터들 간의 차분 벡터들을 산출하고, 상기 차분 벡터들의 중심 축을 기준으로 상기 차분 벡터들을 축 변환해서 코딩하거나 또는 상기 움직임 벡터들을 코딩하는 인코딩 부(110)와, 상기 인코딩 부(110)에서 코딩된 상기 차분 벡터들을 축 변환 이전의 값으로 재 변환해서 디코딩하거나 또는 상기 움직임 벡터들을 디코딩하는 디코더(120)를 포함한다.

상기 인코딩 부(110)는 영상 데이터의 움직임 벡터들 또는 축 변환된 차분 벡터들을 인코딩하기 위한 인코더(112)와, 상기 인코더(112)에서 제공된 움직임 벡 터들을 저장하는 메모리(113)와, 상기 메모리(113)에 저장된 움직임 벡터들로부터 상기 움직임 벡터들 간 차분 벡터를 산출하고, 상기 차분 벡터들의 중심 축을 중심으로 상기 차분 벡터들을 축 변환해서 상기 인코더(112)로 제공하기 위한 연산부(111)를 포함한다.

도 1은 본 발명에 따른 움직임 벡터들 간의 차분 벡터를 인코더와 디코더에 적용한 예를 설명하기 위한 순서도,

도 2 및 도 3은 차분 벡터의 경향성 및 예를 설명하기 위한 그래프,

도 4는 본 발명의 또 다른 예를 설명하기 위한 도면,

도 5는 본 발명에 따른 코딩 장치의 개략적 구조를 도시한 블록도.

Claims (6)

1. 영상 코덱의 코딩 방법에 있어서,

   영상 데이터를 구성하는 인접한 움직임 벡터들 간의 차이인 차분 벡터들을 산출하고 저장하는 과정과;

   저장된 차분 벡터들의 중심 축을 선정하는 과정과;

   차분 벡터들의 중심 축을 기준으로 상기 차분 벡터들을 변환하는 과정과;

   축 변환된 차분 벡터들을 이용한 비트 코딩 과정을 포함함을 특징으로 하는 영상 코덱의 코딩 방법.
2. 제1 항에 있어서, 영상 코덱의 코딩 방법은,

   중심 축을 기준으로 축 변환된 차분 벡터들을 축 변환 이전의 차분 벡터들로 변환시키는 디코더 과정을 더 포함함을 특징으로 하는 영상 코덱의 코딩 방법.
3. 제2 항에 있어서,

   코딩 대상이 되는 영상 데이터를 구성하는 차분 벡터들이 각각의 경향성을 갖도록 변환됨을 특징으로 하는 영상 코덱의 코딩 방법.
4. 제1 항에 있어서,

   상기 차분 벡터들이 0을 포함하는 차분 벡터에 최소의 비트를 할당함을 특징으로 하는 영상 코덱의 코딩 방법.
5. 영상 데이터의 코딩을 위한 장치에 있어서,

   움직임 벡터들 간의 차분 벡터들을 산출하고, 상기 차분 벡터들의 중심 축을 기준으로 상기 차분 벡터들을 축 변환해서 코딩하는 인코딩 부와;

   상기 인코딩 부에서 코딩된 상기 차분 벡터들을 축 변환 이전의 값으로 재 변환해서 디코딩하는 디코더를 포함함을 특징으로 하는 영상 데이터의 코딩 장치.
6. 제5 항에 있어서, 상기 인코딩 부는,

   영상 데이터의 움직임 벡터들 또는 축 변환된 차분 벡터들을 인코딩하기 위한 인코더와;

   차분 벡터들과 상기 인코더에서 제공된 움직임 벡터들을 저장하는 메모리와;

   상기 메모리에 저장된 움직임 벡터들로부터 상기 움직임 벡터들 간 차분 벡터를 산출해서 상기 메모리에 제공하고, 상기 차분 벡터들의 중심 축을 중심으로 상기 차분 벡터들을 축 변환해서 상기 인코더로 제공하기 위한 연산부를 포함함을 특징으로 하는 영상 데이터의 코딩 장치.

Images