KR100364779B1 - 영상 부호화기에서 움직임 벡터의 부호화 방법 - Google Patents

Abstract

본 발명은 블럭(Block) 기반의 움직임 추정(Motion Prediction)을 이용한 동영상 부호화에 있어서, 움직임 벡터(Motion Vector)의 효율적 부호화를 위한 움직임 벡터 부호화 방법에 관한 것이다.

본 발명은 블럭기반 영상 부호화에 있어서, 각 블럭의 움직임 벡터를 구하는 단계와, 현재 부호화 하고자 하는 블럭의 움직임 벡터 추정치를 알파-트림-평균(α-Trim-Mean) 기법으로 구하는 단계와, 상기 각 단계에서 구해진 현재 블럭의 움직임 벡터 추정치와 인접 블럭의 움직임 벡터의 차를 부호화하는 단계로 이루어지는 것을 특징으로 하며, 현재 부호화 하고자 하는 블럭의 움직임 벡터 추정치를 인접 블럭과의 상관성의 차이를 고려하여, 인접 블럭의 움직임 벡터에 대하여 서로 다른 가중치(Weight)를 적용함으로써, 보다 효율적인 움직임 벡터의 부호화를 가능하게 한다.

Description

영상 부호화기에서 움직임 벡터의 부호화 방법{Method Of Motion Vector Encoding Of Video Encoder}

본 발명은 블럭(Block) 기반의 움직임 추정(Motion Prediction)을 이용한 동영상 부호화에 있어서, 움직임 벡터(Motion Vector)의 효율적 부호화를 위한 움직임 벡터 부호화 방법에 관한 것으로서, 특히 알파-트림-평균(α-trim-mean) 기법을 이용해서 현재의 움직임 벡터의 추정치(Motion Vector Predictor)를 계산하고, 또한 현재 블럭에 대한 인접한 블럭들의 상관성의 차이를 고려하여 인접 블럭의 움직임 벡터들에 서로 다른 중요도(가중치:Weight)를 적용하여 움직임 벡터를 보다 효율적으로 부호화할 수 있도록 한 움직임 벡터 부호화 방법에 관한 것이다.

동영상 혹은 정지영상을 압축 부호화하기 위한 다양한 기술들과 표준안들이 제시되고 있으며, 동영상 혹은 정지영상을 압축 부호화하기 위한 표준안 들에서는보다 효율적이고 높은 성능으로 영상을 압축 부호화하는 것을 궁극의 목적으로 두고 있다.

현재 동영상 혹은 정지영상 등의 영상 부호화에 관련된 표준안으로 MPEG-1, MPEG-2, MPEG-4 및 H.261, H.263, H.26L 등이 제안되었거나 제안(채택)되고 있다.

이와같은 여러 국제표준들과 같이 H.26L 표준에서도 움직임 추정을 행하고, 이 결과로 나타난 잔류신호(Residual Signlal)를 부호화 하기 위해서 영상신호를 시/공간적 변환(Transform) 및 지그재그 스캐닝(Zig-Zag Scanning)에 이은 양자화(Quantization)의 과정으로 부호화를 수행함을 근간으로 할 수 있다.

이와같은 영상 부호화에 있어서는 블럭 기반으로 영상을 부호화하고 있는데, 예를 들어 영상입력(INPUT)에 대하여 시/공간적 변환(예를 들어 DCT 변환 등)을 수행하고, 이 변환계수들을 양자화하며, 양자화된 변환계수들을 단일 스캔 혹은 이중 스캔 등의 적절한 기법으로 스캐닝하여 가변장 부호화(VLC)를 수행함으로써 압축 부호화된 영상신호를 출력(OUTPUT)하고 있다.

이와같이 블럭 기반 움직임 추정을 통하여 동영상 혹은 정지영상을 압축 부호화함에 있어, 영상 프레임(Frame) 내의 각 블럭은 하나의 움직임 벡터를 가지게 되는데, 인접한 블럭의 움직임 벡터 사이에는 어느 정도의 상관성이 존재하게 된다.

따라서, 각 블럭의 움직임 벡터를 부호화 하기 위해서 인접한 이전 프레임의 블럭들의 움직임 벡터를 이용해서 현재 부호화할 블럭에 대한 움직임 벡터 예측치(Prediction Vector)를 구하고, 이 것과 상기 인접한 블럭들의 움직임 벡터와의 차(Difference Vector)를 부호화 하는 방법이 블럭기반 영상부호화 방법에서 보다 효율적 부호화 기법으로 사용되고 있다.

도1은 종래 여러 동영상 부호화 표준에서 사용되고 있는 움직임 벡터의 예측방법을 나타낸다.

도1의 (a)는 H.261, MPEG-1, MPEG-2 등에서 사용하고 있는 움직임 벡터의 예측방법이며, 도1의 (b)는 H.263, MPEG-4 등에서 사용하고 있는 움직임 벡터의 예측방법이다.

도1의 (a)와 같은 방법은, 현재 블럭의 움직임 벡터(MVc)를 바로 이전 블럭의 움직임 벡터(MV1)만을 예측치(Predictor)로 사용하는 방법이며, 도1의 (b)와 같은 방법은 현재 블럭의 움직임 벡터(MVc)를 현재 블럭 주변의 인접한 세 블럭의 움직임 벡터들(MV1,MV2,MV3)로부터 수평과 수직방향 각 성분에 대한 중간값(Median)을 구하여 예측치로 사용하는 방법이다.

그러나, 도1의 (a)와 같은 방법은 바로 이전 블럭의 움직임 벡터만을 예측치로 사용하기 때문에 현재 블럭의 움직임 벡터를 계산하는데 있어서는 구해진 값의 신뢰도를 보장하기 어렵다.

또한, 도1의 (b)와 같은 경우는 인접한 세 블럭의 움직임 벡터를 이용하기 때문에 전자보다 다소 효율적이기는 하지만, 중간값 연산자가 홀수 개의 파라미터만을 가지기 때문에 인접한 4개의 블럭 중에서 3개의 블럭의 움직임 벡터(MV1,MV2, MV3)만을 이용하며, 따라서 인접 블럭들의 움직임 벡터들을 최대한 활용하지 못하게 된다.

또한 이 방법에서는 3개의 인접 블럭의 움직임 벡터를 동등하게 이용하는데, 실제로 인접 블럭들의 움직임 벡터들은 현재 블럭의 움직임 벡터와의 상관성에 있어서 차이를 갖는다.

예를 들면, 현재 블럭의 움직임 벡터(MVc)는 현재 블럭에 인접한 세개의 블럭들 중에서 바로 인접한 블럭의 움직임 벡터(MV1,MV2)가 움직임 벡터(MV3) 보다 상대적으로 더 높은 상관성을 가질 수도 있으나, 종래에는 이러한 점이 고려되지 않고 있어서 부호화의 효율성에 제약이 따른다.

본 발명은 블럭 기반의 영상 압축 부호화에 있어서, 현재 블럭의 움직임 벡터의 추정치를 계산할 때 인접한 이전 움직임 벡터들을 고려하고, 인접한 이전 움직임 벡터들에 대해서 알파-트림-평균 기법으로 현재 블럭의 움직임 벡터를 추정함으로써, 움직임 벡터 예측 방법의 성능을 향상시킬 수 있도록 한 영상 부호화기에서 움직임 벡터의 부호화 방법을 제공한다.

또한 본 발명은 블럭 기반의 영상 압축 부호화에 있어서, 현재 블럭의 움직임 벡터의 추정치를 계산할 때 인접한 이전 움직임 벡터들을 고려하고, 인접한 이전 움직임 벡터들에 대해서 현재 블럭과의 상관성이 차이를 고려하여 서로 다른 가중치로 인접 블럭 움직임 벡터를 이용함으로써, 움직임 벡터 부호화의 효율을 높일 수 있도록 한 영상 부호화기에서 움직임 벡터의 부호화 방법을 제공한다.

도1은 종래의 움직임 벡터 부호화 방법의 예를 나타낸 도면

도2는 본 발명의 움직임 벡터 부호화 방법의 예를 나타낸 도면

도3은 본 발명에서 알파-트림-평균 기법을 설명하기 위한 도면

본 발명은 블럭기반 영상 부호화에 있어서, 각 블럭의 움직임 벡터를 구하는단계와, 현재 부호화 하고자 하는 블럭의 움직임 벡터 추정치를 알파-트림-평균 기법으로 구하는 단계와, 상기 각 단계에서 구해진 현재 블럭의 움직임 벡터 추정치와 인접 블럭의 움직임 벡터의 차를 부호화하는 단계로 이루어지는 것을 특징으로 하는 영상 부호화기에서 움직임 벡터의 부호화 방법이다.

또한 본 발명은 블럭기반 영상 부호화에 있어서, 각 블럭의 움직임 벡터를 구하는 단계와, 현재 부호화 하고자 하는 블럭의 움직임 벡터 추정치를 인접 블럭과의 상관성의 차이를 고려하여, 인접 블럭의 움직임 벡터에 대하여 서로 다른 가중치를 적용하는 단계와, 상기 가중치 적용된 인접 블럭의 움직임 벡터와 현재 블럭의 움직임 벡터 추정치와의 차를 부호화하는 단계로 이루어지는 것을 특징으로 하는 영상 부호화기에서 움직임 벡터의 부호화 방법이다.

또한 본 발명에서, 상기 알파-트림-평균 기법은; 현재 블럭과 인접하여 고려되는 n개의 인접 블럭 움직임 벡터를 오름/내림차순으로 정렬하여 중심 α개의 평균을 구할 때, α값이 가변적인 것을 특징으로 한다.

또한 본 발명에서, 상기 알파-트림-평균 기법은; 현재 블럭과 인접하여 고려되는 n개의 인접 블럭 움직임 벡터를 오름/내림차순으로 정렬하여 중심 α개의 평균을 구할 때, α값과 함께 각 블럭요소에 대한 가중치를 가변적으로 설정함을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.

도2는 본 발명에 의한 움직임 벡터 부호화 방법의 일예를 나타낸다.

현재 블럭에 대한 움직임 벡터(추정치)(MVc)를 구하는데 있어서, 현재 블럭의 움직임 벡터는 이미 부호화된 인접한 4개(n=4)의 블럭의 움직임 벡터(MV1,MV2, MV3,MV4)를 고려한다.

현재 블럭의 움직임 벡터와 인접한 4개의 블럭의 움직임 벡터는 앞에서 언급한 바와같이, 일반적으로 어느 정도의 상관성을 갖게 된다.

따라서, 이 4개의 인접 움직임 벡터(MV1,MV2,MV3,MV4)를 최대한 이용하면 현재 움직임 벡터를 예측하여 보다 효율적인 부호화를 행할 수 있는데, 움직임 벡터는 수평과 수직 두 방향의 성분을 갖는 2차원 벡터이지만, 이하의 설명에서는 이 두 성분을 독립적으로 각각 1차원 벡터로 처리하는 것을 예로써 설명한다.

먼저, 블럭기반 영상 부호화를 위해서 각 블럭의 움직임 벡터(MV1∼MV4)들을 구한다.

그리고, 현재 블럭의 움직임 벡터(MVc) 추정을 위해서 인접한 4개 블럭의 움직임 벡터(MV1∼MV4)를 알파-트림-평균 기법으로 고려한다.

알파-트림-평균 기법은 도3에 나타낸 바와같이, n개의 시퀀스(X1∼Xn)를 오름차순(혹은 내림차순)으로 정렬하고, 중심의 α개의 평균값을 구하는 기법이다.

따라서, 만약 α=n 이면 알파-트림-평균은 n개의 시퀀스 전부에 대한 산술평균값과 같게 될 것이고, n이 홀수개인 경우에 α=1 이면 알파-트림-평균은 중간값과 같게 된다.

이 알파-평균-기법을 도2에 적용하여, 인접한 4개 블럭의 움직임 벡터(MV1∼MV4)를 오름차순(혹은 내림차순)으로 정렬한다.

정렬된 시퀀스가 MV1',MV2',MV3',MV4' 로 되었다면, 여기서 중심 α개의 평균을 고려한다.

예를 들어, α=2(2-트림-평균) 로 고려한다면, 알파-트림-평균은 상기 오름차순(혹은 내림차순)으로 정렬된 4개의 움직임 벡터들 중에서 중심의 2개의 움직임 벡터인 MV2', MV3' 의 평균이 될 것이다.

이 값을 현재 블럭의 움직임 벡터(MVc)를 계산하는데 사용하면, 기존의 도1의 (b)와 같은 방법에 따랐을 때, MV2,MV3,MV4 만을 이용하는 중간값 예측치에 비해서 움직임 벡터(MV1)-대각방향의 또다른 블럭 까지 이용하게 되므로, 움직임 벡터 추정의 성능을 높일 수 있게 되는 것이다.

한편, 본 발명에서는 앞에서도 언급한 것 처럼, 현재 블럭에 대한 인접한 블럭들의 상관성의 차이를 고려하여 인접 블럭 움직임 벡터들에 서로 다른 가중치를 적용한다.

도2에서 움직임 벡터(MV1)와 움직임 벡터(MV3) 즉, 대각방향의 인접블럭에 비하여, 움직임 벡터(MV2)와 움직임 벡터(MV4) 즉, 수직과 수평방향의 인접블럭이 현재 블럭의 움직임 벡터(MVc)와 더 큰 상관성을 가진다고 볼 수 있으므로, 본 발명에서는 움직임 벡터(MV2,MV4)에 움직임 벡터(MV1,MV3) 보다 더 큰 가중치를 부여해서 움직임 벡터 추정을 수행한다.

이 것을 앞에서 설명한 알파-트림-평균 기법에 적용하여 가중-알파-트림-평균(Weighted-α-Trim-Mean) 으로 중요도(가중치) 차이를 고려할 수 있다.

즉, 도2에서 인접 블럭 움직임 벡터(MV1,MV2,MV3,MV4) 들로부터 6개의 움직임 벡터(MV1,MV2,MV2,MV3,MV4,MV4)를 크기 순으로 정렬하여 MV1',MV2',MV3',MV4',MV5',MV6' 을 구한다.

그리고, α=2 라면, 가중-알파-트림-평균은 움직임 벡터(MV3', MV4')의 평균과 같고, α=4 라면, 가중-알파-트림-평균은 움직임 벡터(MV2',MV3',MV4',MV5')의 평균과 같다.

이러한 값들을 예측치로 사용하면 인접 움직임 벡터들을 동등하게 사용하는 기존의 방법에 비해서 움직임 벡터 추정의 성능을 높일 수 있다.

즉, 현재 블럭에 대해서 상관성이 더 큰 인접 블럭의 움직임 벡터를 더 중요한 값으로 고려하게 되므로, 현재 블럭의 움직임 벡터 계산을 보다 빠르고 또 높은 신뢰성을 갖는 움직임 벡터로 계산해 낼 수 있는 것이다.

상기한 바와같이 현재 블럭에 대한 움직임 벡터를 추정하여 인접 블럭 움직임 벡터와의 차를 부호화함으로써 영상 부호화는 이루어진다.

본 발명은 블럭기반 영상 부호화에 있어서, 인접한 블럭의 움직임 벡터들을 현재 블럭의 움직임 벡터를 계산하는데 보다 중요한 의미를 가지는 것으로 추려서 고려할 수 있고, 또한 현재 블럭과의 상관성의 차이를 고려하여 인접 블럭의 움직임 벡터들에 서로 다른 가중치를 적용하여 그 중요도를 고려할 수 있기 때문에, 종래 방법에 비해서 움직임 벡터 예측의 성능을 높일 수 있다.

또한 본 발명은 움직임 벡터의 부호화를 위한 예측과정 뿐만 아니라, 움직임 벡터의 추정시, 정해진 탐색범위에 대해서 보다 나은 탐색결과를 얻을 수 있도록 최적의 중심 탐색점을 정하는데에도 사용될 수 있다.

즉, 인접한 블럭들에 대해서 그 중요도에 따라 가변적으로 적용할 수 있는 블럭기반 움직임 추정환경이 가능하게 되므로, 움직임 벡터를 추정하기 위한 탐색범위에 대해서 본 발명을 이용해서 최적의 중심 탐색점을 정할 수 있게 된다.

또한, 본 발명은 가변 블럭 움직임 추정의 경우에 있어서, 인접 움직임 벡터의 수가 가변적이고, 현재 블럭과의 거리 뿐만 아니라 각 인접 블럭의 크기에 따라서 해당 움직임 벡터들에 서로 다른 중요도(가중치)를 적용하는 것이 타당하다는 점에 적응되고, 따라서 가중-알파-트림-평균에 의한 움직임 벡터 계산을 사용하면 가변블럭 움직임 추정의 경우에도 움직임 벡터를 보다 효율적으로 예측해 낼 수 있게 된다.

Claims (6)

1. 블럭기반 영상 부호화에 있어서,

   각 블럭의 움직임 벡터를 구하는 단계와,

   현재 부호화하고자 하는 블럭과 인접한 다수개의 이미 부호화된 블록의 움직임 벡터에 대해 알파-트림-평균 기법을 적용하여 현재 부호화 하고자 하는 블럭의 움직임 벡터 추정치를 구하는 단계와,

   상기 각 단계에서 구해진 현재 블럭의 움직임 벡터 추정치와 인접 블럭의 움직임 벡터의 차를 부호화하는 단계로 이루어지는 것을 특징으로 하는 영상 부호화기에서 움직임 벡터의 부호화 방법.
2. 블럭기반 영상 부호화에 있어서,

   각 블럭의 움직임 벡터를 구하는 단계와,

   현재 부호화하고자 하는 블럭과 인접한 다수개의 이미 부호화된 블록의 움직임 벡터에 대해 현재 부호화하고자 하는 블록과의 상관성의 차이를 고려하여 서로 다른 가중치를 적용하고, 가중치가 적용된 다수개의 움직임 벡터에 대해 알파-트림-평균 기법을 적용하여 현재 부호화 하고자 하는 블럭의 움직임 벡터 추정치를 구하는 단계와,

   상기 각 단계에서 구해진 현재 블럭의 움직임 벡터 추정치와 인접 블럭의 움직임 벡터의 차를 부호화하는 단계로 이루어지는 것을 특징으로 하는 영상 부호화기에서 움직임 벡터의 부호화 방법.
3. 제 1 항 또는 제 2 항에 있어서, 현재 블럭과 인접하여 고려되는 n개의 이미 부호화된 인접 블럭 움직임 벡터를 크기의 순으로 정렬하고 중심 α개의 평균을 구하여 현재 블럭의 움직임 벡터 추정을 행하며, α값이 가변적인 것을 특징으로 하는 영상 부호화기에서 움직임 벡터의 부호화 방법.
4. 제 1 항 또는 제 2 항에 있어서, 현재 블럭과 인접하여 고려되는 n개의 이미 부호화된 인접 블럭들의 움직임 벡터를 크기의 순으로 정렬할 때, 현재 블록과의 상관성 차이를 고려하여 특정 인접 블록의 움직임 벡터는 적어도 두번 이상 가중 횟수를 적용하여 m(n<m)개의 움직임 벡터에 대해 크기 순으로 정렬한 후, 중심 α개의 평균을 구하여 현재 블럭의 움직임 벡터 추정을 행하며, α값과 함께 인접한 각 블록의 움직임 벡터의 가중 횟수를 가변적으로 설정함을 특징으로 하는 영상 부호화기에서 움직임 벡터의 부호화 방법.
5. 제 1 항 또는 제 2 항에 있어서, 상기 현재 블록과 인접하여 고려되는 n개의 이미 부호화된 인접 블록은 현재 블록의 바로 상측, 좌측에 위치한 인접 블록, 그리고 현재 블록의 좌상 대각선 방향 및 우상 대각선 방향에 위치한 인접 블록인 것을 특징으로 하는 영상 부호화기에서 움직임 벡터의 부호화 방법.
6. 제 4 항에 있어서, 상기 현재 블록과의 상관성 차이를 고려하여 가중 횟수가 부여되는 움직임 벡터는 현재 블록의 바로 상측 및 좌측에 위치한 인접 블록의 움직임 벡터인 것을 특징으로 하는 영상 부호화기에서 움직임 벡터의 부호화 방법.