KR100296097B1

KR100296097B1 - 제어 그리드 보간방식에 따른 영상부호화에서 제어점의 움직임벡터를 구하는 방법 및 그 장치

Info

Publication number: KR100296097B1
Application number: KR1019990006496A
Authority: KR
Inventors: 장동일
Original assignee: 전주범; 대우전자주식회사
Priority date: 1999-02-26
Filing date: 1999-02-26
Publication date: 2001-07-12
Also published as: KR20000056813A

Abstract

본 발명은 영상신호의 압축 부호화 기술에서 제어그리드보간(Control grid interpolation ) 방식에 의한 움직임 추정시에 벡터양자화 기술을 이용하여 제어점의 움직임 벡터(Motion Vector)를 검출하는 기술에 관한 것이다.

이러한 본 발명은 입력영상을 프레임 단위로 저장하기 위한 프레임 메모리, 프레임 메모리로부터 소정 크기의 블럭단위로 영상 데이터를 입력받아 블럭정합알고리즘(BMA)에 따라 움직임 벡터를 구하는 블럭정합알고리즘 처리부, 블럭정합알고리즘 처리부에서 산출된 움직임 벡터를 저장하기 위한 움직임 벡터 메모리, 소정의 입력벡터에 대한 출력벡터를 저장하고 있는 코드북, 및 움직임 벡터 메모리로부터 소정 수의 입력벡터들을 입력받아 코드북을 이용하여 제어점의 움직임 벡터를 출력하는 벡터 양자화 부호기를 포함한다.

따라서 본 발명은 영상부호화 기술에 제어그리드보간(CGI) 방식을 적용하여 움직임 추정을 할 경우에 종래와 같이 순환반복적인 검색을 필요로 하지 않고 벡터양자화 기술을 이용하여 간단하게(즉, 계산량을 줄이면서) 제어점의 움직임 벡터를 구할 수 있는 효과가 있다.

Description

제어 그리드 보간방식에 따른 영상부호화에서 제어점의 움직임 벡터를 구하는 방법 및 그 장치{Method of and apparatus for acquiring motion vectors of control points in control grid interpolation}

본 발명은 영상신호의 압축 부호화 기술에서 시간적 중복성을 제거하기 위한 움직임 추정기술에 관한 것으로 특히, 제어그리드보간(Control grid interpolation ) 방식에 의한 움직임 추정시에 벡터양자화 기술을 이용하여 제어점(Control point )의 움직임 벡터(Motion Vector)를 검출하는 기술에 관한 것이다.

일반적으로, 영상신호 처리기술에서 '움직임 추정(motion estimation)'이란 연속되는 영상신호에서 현재 프레임(current frame)의 화소(pixel)들이 이전 프레임(previous frame)에 비해 어느 정도 움직였는지를 벡터로 표시한 움직임 벡터 (motion vector)를 추정하여, 전체 영상을 전송하는 대신에, 이들 움직임 벡터를 전송함으로써 전송정보를 줄이는 기술(즉, 영상압축)을 말하는 것이다.

이러한 움직임 추정에서 널리 사용되는 블럭 정합 알고리즘(BMA: Block Matching Algorithm)은 도 1에 도시된 바와 같이, 화면의 움직임이 수평 또는 수직으로 평행 이동한 것으로 가정하여, 움직임이 일어난 프레임(즉, 현재 프레임)의 블럭영상이 움직임이 일어나기전 프레임(즉, 이전 프레임)의 어느 위치에 있는 블럭영상과 가장 일치하는가를 추정하여 그 위치를 움직임 벡터로서 추정하는 방법이다. 이때, 블럭의 크기로는 8 x 8, 16 x 16( 가로 픽셀 수 x 세로 픽셀 수 )을 주로 사용한다. 여기서, 현재 프레임의 레퍼런스 블럭(reference block 혹은 current block)과 가장 유사한 이전 블럭을 찾기 위하여 이전 프레임(previousframe)에서 레퍼런스 블럭의 위치를 중심으로 일정 범위 안을 찾게 되는데, 이러한 범위를 '서치 윈도우(search window 혹은 area)'라 하고, 이러한 서치 윈도우안에서 각 후보블럭(candidate block)과의 차를 디스토션(distortion; 또는 절대에러(AE)라고도 한다)이라 하며, 두 블럭간의 유사정도를 나타낸다.

또한, 서치 윈도우안의 모든 후보블럭과 레퍼런스 블럭을 비교하는 것을 '풀 서치 블럭매칭(full search block matching algorithm)'이라 하며, 수식적으로 가장 일치하는 블럭을 찾기 위하여 연속된 두 프레임의 영상중에서, 이전 프레임을 f₁(x,y), 현재 프레임을 f₂(x,y)라 했을 때, f₂(x,y)와 f₁(x-a, y-b)에서 a,b를 변화시켜 가면서 f₁(x-a,y-b)와 f₂(x,y)의 차를 구하여, 그 차가 최소가 되는 (a,b)를 움직임 벡터로 예측한다. 이와 같이 블럭간의 최소오차를 구하는 방법을 평균절대오차(MAE:Mean Absolute Error) 방법이라 한다.

그런데 이러한 블럭매칭알고리즘(BMA)은 널리 알려진 바와 같이, 블럭단위로 획일적으로 움직임 벡터를 구하기 때문에 구획효과(Blocking effect)가 발생되어 화질이 열화되는 문제점이 있다.

한편, 움직임 추정을 블럭이 아닌 화소(pixel) 단위로 할 경우에 구획효과( Blocking effect)는 방지되나 각 화소의 움직임 벡터를 산출하기 위하여 계산량이 막대하게 증가하기 때문에 실제 사용되기 어려운 문제점이 있다.

따라서 이와 같은 블럭단위의 움직임 추정과 화소단위의 움직임 추정이 갖는 장점들을 결합하여, 계산량을 줄이면서도 화소별로 각각의 움직임 벡터를 구할 수있는 제어 그리드 보간(Control Grid Interpolation) 기술이 제안되어 널리 연구되고 있다. 즉, 제어 그리드 보간( CGI: Control Grid Interpolation)기법은 기존의 블럭 정합 알고리즘(BMA:Block Matching Algorithm)기법과 비교하여 구조는 복잡하나 다양한 모델의 움직임을 표현할 수 있고, 구획효과를 방지할 수 있다는 장점이 있다.

이러한 제어 그리드 보간법은 도 2a에 도시된 바와 같이, 한 프레임의 영상을 소정 단위의 영역으로 구분하여 제어점(CP11~CP67)을 설정하고, 제어점들의 움직임 벡터를 구하는 것이다. 그리고 제어점들의 움직임 벡터가 구해지면 도 2b에 도시된 바와 같이 제어점 사이의 픽셀들의 움직임 벡터를 보간에 의해서 산출한다. 도 2a,b에서 CP11~CP67은 제어점을 나타낸다.

이와 같이 제어그리드보간법은 각 픽셀들의 움직임 벡터를 일일이 구하는 것이 아니라 제어점들의 움직임 벡터만을 구한 후, 보간에 의해 제어점 사이의 픽셀들의 움직임 벡터를 구하므로써 BMA보다는 실제적인 움직임 벡터를 구할 수 있다. 이때 제어점은 NxN 블럭의 경계점으로 정의할 수 있으며, 인접한 제어점의 움직임 벡터 값에 영향을 받는다. 따라서 제어점의 움직임 벡터를 구하기 위해서는 각 제어점에 초기값을 부여한 후, 프레임의 시작부분부터 끝부분까지 순차적으로 최적화 과정을 진행한다. 이때 최적화된 제어점의 움직임 벡터값도 다음 제어점의 움직임 벡터값이 최적화되면서 변함에 따라 다시 최적화될 필요가 있기 때문에, 제어점들에 대한 최적화가 진행되면서 이전 제어점들의 움직임 벡터값도 연쇄적으로 변하게 된다. 즉, 종래에는 제어점의 움직임 벡터를 최적화하는 과정에서 인접하는 제어점의 값이 변함에 따라 한 프레임의 전체 제어점에 대한 최적화가 완료될 때까지 순환반복적인 검색이 필요하게 되어 계산량이 증가하게 되는 문제점이 있다.

이와 같이, 제어그리드 보간법을 사용하기 위해서는 각 제어점에서의 최적 움직임 벡터를 계산하기 위해서 많은 계산을 필요로하기 때문에 이용에 문제점이 있다. 이러한 문제점을 보완하기 위하여 기존의 BMA에 사용되었던 기법을 비롯하여 순환반복검색의 회수를 효과적으로 줄일 수 있는 기법 등이 제안되었으나 기존의 기법 모두 순환반복검색의 틀안에서 움직임 벡터를 추출하기 위한 시도로서 계산량절감에 한계가 있다. 따라서 실제 응용에서 제어 그리드 보간(CGI) 기술을 사용하기 위해서는 순환반복검색이 불필요한 새로운 움직임 벡터 추출기법이 요구된다.

이에 본 발명은 상기와 같은 문제점을 해소하기 위하여 안출된 것으로, 제어그리드 보간 기법에 따른 제어점(control points)들의 움직임 벡터들을 벡터 양자화 (VQ: vector quantization) 기술을 이용하는 구하는 방법 및 그 장치를 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 방법은, 입력영상 화소들을 소정 크기의 단위블럭으로 구분하여 블럭매칭알고리즘(BMA)에 따라 각 단위블럭들의 움직임 벡터를 산출하는 단계; 상기 입력영상 화소들의 블럭에서 제어점(control point)을 설정하는 단계; 산출하고자 하는 제어점에 인접한 각 단위블럭들의 움직임 벡터들로 입력벡터를 형성하는 단계; 및 코드북으로부터 상기 형성된 입력벡터에 가장 근접한 벡터의 인덱스를 찾아 벡터 부호화하는 단계로 구성된다.

그리고 상기와 같은 목적을 달성하기 위한 본 발명에 따른 장치는, 입력영상을 프레임 단위로 저장하기 위한 프레임 메모리; 상기 프레임 메모리로부터 소정 크기의 블럭단위로 영상 데이터를 입력받아 블럭정합알고리즘(BMA)에 따라 움직임 벡터를 구하는 블럭정합알고리즘 처리부; 상기 블럭정합알고리즘 처리부에서 산출된 움직임 벡터를 저장하기 위한 움직임 벡터 메모리; 소정의 입력벡터에 대한 출력벡터를 저장하고 있는 코드북; 및 상기 움직임 벡터 메모리로부터 소정 수의 입력벡터들을 입력받아 상기 코드북을 이용하여 제어점의 움직임 벡터를 출력하는 벡터 양자화 부호기를 포함하는 것을 특징으로 한다.

도 1은 블럭정합알고리즘(BMA)을 설명하기 위하여 도시한 개념도,

도 2a,b는 제어그리드보간(CGI) 방식에 따른 움직임 추정 기술을 설명하기 위하여 도시한 개념도,

도 3a,b는 본 발명에 따라 제어점의 움직임 벡터를 구하는 개념을 도시한 도면,

도 4는 본 발명에 따라 제어점의 움직임 벡터를 구하는 장치의 구성을 도시한 블럭도,

도 5는 본 발명에 따라 제어점의 움직임 벡터를 구하는 방법을 도시한 흐름도이다.

* 도면의 주요부분에 대한 부호의 설명

10: 프레임 메모리20: BMA처리부

30: 움직임 벡터 메모리40: 벡터양자화 엔코더

50: 코드북60: 제어부

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 자세히 설명하기로 한다.

먼저, 본 발명의 이해를 위하여 벡터 양자화 기술에 대해 간단히 설명한다.벡터양자화(VQ)는 K 공간의 벡터를 유한개의 코드북(codebook)에 매핑(mapping)시키는 방식으로서, 특히 복호기(Decoder)의 구조가 간단하다. 이러한 VQ는 벡터의 차원이 커질수록 그 성능이 향상되나, 실제 부호화 과정상에서 계산량이 차원의 증가에 따라 급격히 증가하고, 코드북의 설계가 어려워지기 때문에 벡터의 차원은 적정 수준으로 제한된다.

앞서 설명한 바와 같이, VQ는 K공간의 벡터를 유한개의 코드북으로 매핑시키는 것이므로, 다음 수학식<1>과 같이 표현된다.

상기 수학식<1>에서 k= 1....N 이고, min^-1은 왜곡치를 최소화하는 코드북(codebook)상의 X_k를 나타내며, d는 왜곡계수(distortion measure)를 나타낸다.

VQ 엔코더는 상기 수학식<1>과 같이 입력벡터 X에 대해 코드북으로부터 왜곡치가 최소인 부호벡터 X_k를 찾아(search) 입력벡터 X나 부호벡터 X_k대신에 부호벡터 X_k를 표시하는 지표(INDEX)를 송신하여 고도의 압축을 이룩하게 되고, 수신측의 VQ 디코더에서는 수신된 지표(INDEX)로부터 룩업테이블을 사용하여 송신측과 동일한 코드북으로부터 해당 부호벡터 X_k를 찾아 원래의 정보를 복원하게 된다. 이때, VQ 엔코더는 입력벡터 X로부터 왜곡치가 최소인 부호벡터 X_k를 찾기 위한 과정이 복잡하나 VQ 디코더는 지표(INDEX)로부터 해당 부호를 꺼내기만 하므로 간단하게 구현될 수 있다.

한편, 상기 수학식<1>로 주어지는 VQ의 코드북(codebook)을 만드는 일반적인 방법으로는 LBG(Linde, Buzo 및 Gray: 인명임)알고리즘이 널리 사용되는데, LBG알고리즘의 개요는 부호벡터는 입력벡터에 가장 가까운(distortion 측면에서) 부호벡터이어야 한다는 조건(nearest neighbor condition)과 같은 부호벡터로 부호화되는벡터들의 중심점(distortion 측면에서)이 부호벡터이어야 한다는 조건(centroid condition)의 두가지 제한 조건에 따라 반복적으로 코드북을 만들어 나가는 것이다. 이와 같이 코드북이 완성된 후, VQ 엔코더는 입력벡터와 코드북의 부호벡터를 비교하여 왜곡치를 최소로 하는 부호벡터를 찾아 지표(INDEX)를 구한다.

도 3a,b는 본 발명에 따른 움직임 벡터 추정 개념을 도시한 개념도이다. 도 3a를 참조하면, 4개의 블럭이 만나는 경계점에 하나의 제어점(CP)이 있고, 이 제어점(CP)은 인접한 4개 블럭의 움직임 벡터(MV1,MV2,MV3,MV4)에 영향을 받는다. 즉, 4개 블럭의 움직임 벡터를 각각 MV1, MV2, MV3, MV4라 할 때, 제어점(CP)의 움직임 벡터는 본 발명에 따라 4개의 움직임 벡터를 입력벡터로 하는 벡터 양자화(VQ) 기술에 의해 구해진다. 이러한 본 발명의 개념은 몇 개의 부분블럭을 단위블럭으로 형성한 후에 각 단위블럭에 대해서도 그대로 적용될 수 있다.

도 3b를 참조하면, 제어점에 인접한 4개의 움직임 벡터를 입력벡터 {MV1,MV2,MV3,MV4}로 하면 벡터양자화 엔코더가 코드북을 이용하여 해당 제어점의 움직임 벡터 혹은 그 값에 대응하는 인덱스를 출력한다. 이때 각 블럭의 움직임 벡터는 BMA방식에 따라 미리 구해진 것이고, 코드북은 제어점에 인접한 블럭의 움직임 벡터들의 값과 해당 제어점의 움직임 벡터 값의 관계를 미리 저장하고 있다.

도 4는 본 발명에 따라 제어점의 움직임 벡터를 구하는 장치의 구성을 도시한 블럭도로서, 이 장치는 프레임 메모리(10), BMA처리부(20), 움직임 벡터 메모리(30), 벡터 양자화 엔코더(40), 코드북(50), 제어부(60)로 구성되어 있다.

도 4를 참조하면, 프레임 메모리(10)는 부호화를 위한 현재 프레임의 영상과이전 프레임의 영상을 프레임 단위로 저장하고 있고, BMA처리부(20)는 프레임 메모리(10)로부터 레퍼런스블럭을 입력받아 이전 프레임의 후보블럭과 비교하여 그 블럭의 움직임 벡터를 산출한다. 움직임 벡터 메모리(30)는 블럭정합알고리즘(BMA) 처리부(20)의 움직임 벡터(MV)를 순서대로 저장하고 있고, 벡터양자화 부호기(40)는 움직임 벡터 메모리(30)로부터 산출하고자 하는 제어점에 인접한 블럭들의 움직임벡터({MV})를 입력받아 코드북(50)을 참조하여 제어점의 움직임 벡터값을 출력한다. 이때 제어점의 움직임 벡터값을 직접 출력하지 않고, 대응하는 인덱스를 출력할 수도 있다. 코드북(50)은 제어점에 인접한 블럭의 움직임 벡터들의 값과 해당 제어점의 움직임 벡터 값의 관계를 미리 저장하고 있다. 그리고 제어부(60)는 마이크로프로세서로 구현되어 각 블럭들을 제어한다.

도 5는 본 발명에 따른 움직임 추정방법의 흐름을 도시한 흐름도이다. 본 발명의 방법은 입력영상 화소들을 소정 크기의 단위블럭으로 구분하여 블럭매칭알고리즘(BMA)에 따라 각 단위블럭들의 움직임 벡터를 산출하는 단계(S1)와, 입력영상 화소들의 블럭에서 제어점(control point)을 설정하는 단계 (S2), 산출하고자 하는 제어점에 인접한 각 단위블럭들의 움직임 벡터들로 입력벡터를 형성하는 단계(S3), 및 코드북으로부터 상기 형성된 입력벡터에 가장 근접한 벡터를 찾아 벡터 양자화하여 제어점의 움직임 벡터를 구하는 단계로 구성된다 (S4).

도 5를 참조하면, 단계 S1에서는 입력영상을 프레임 메모리(10)에 저장한 후, 단위블럭으로 구분하여 각 단위 블럭의 움직임 벡터를 BMA에 따라 구한다. 이때, 단위블럭의 크기는 필요에 따라 N x N 혹은 N/2 x N/2등으로 다양하게 구할수 있다.

이어 단계 S2 에서는 프레임 메모리의 블럭 경계점에 제어점(CP:control point)을 설정하고, 단계 S3에서는 제어점에 인접한 블럭들의 움직임 벡터로 입력벡터를 형성한다. 도 3a,b와 같은 경우에 입력벡터는 {MV1,MV2,MV3,NV4}로 이루어진다. 단계 S4에서는 벡터 양자화 엔코더(40)가 코드북(50)을 이용하여 입력벡터에 대응하는 제어점의 움직임 벡터를 출력한다. 이때 제어점의 움직임 벡터에 해당되는 인덱스를 출력할 수도 있다.

이상의 실시예에서는 제어그리드보간(control grid interpolation)법을 적용함에 있어 제어점의 움직임 벡터를 구하기 위하여 단위블럭의 움직임 벡터를 BMA방법에 의해 구한 후 이들을 이용하여 벡터 양자화하였으나, 픽셀단위로 움직임 벡터를 구한 후 벡터 양자화를 적용하여 제어점의 움직임 벡터를 적용하는데도 본 발명은 적용될 수 있고, 중복(overlapped) BMA와 같이 반복순환검색을 요구하는 다른 기술에도 본 발명은 적용되어 계산량을 줄이면서 원하는 움직임 벡터를 구할 수 있다.

이상에서 살펴본 바와 같이, 본 발명은 영상부호화 기술에 제어그리드보간(CGI) 방식을 적용하여 움직임 추정을 할 경우에 종래와 같이 순환반복적인 검색을 필요로 하지 않고 벡터양자화 기술을 이용하여 간단하게(즉, 계산량을 줄이면서) 제어점의 움직임 벡터를 구할 수 있는 효과가 있다.

Claims

입력영상 화소들을 소정 크기의 단위블럭으로 구분하여 블럭매칭알고리즘 (BMA)에 따라 각 단위블럭들의 움직임 벡터를 산출하는 단계(S1);

상기 입력영상 화소들의 블럭에서 제어점(control point)을 설정하는 단계(S2);

산출하고자 하는 제어점에 인접한 각 단위블럭들의 움직임 벡터들로 입력벡터를 형성하는 단계(S3); 및

코드북으로부터 상기 형성된 입력벡터에 가장 근접한 벡터를 찾아 벡터 양자화에 의해 상기 제어점의 움직임 벡터를 구하는 단계를 포함하는 제어 그리드 보간방식에 따른 영상부호화에서 제어점의 움직임 벡터를 구하는 방법.
입력영상을 프레임 단위로 저장하기 위한 프레임 메모리;

상기 프레임 메모리로부터 소정 크기의 블럭단위로 영상 데이터를 입력받아 블럭정합알고리즘(BMA)에 따라 움직임 벡터를 구하는 블럭정합알고리즘 처리부;

상기 블럭정합알고리즘 처리부에서 산출된 움직임 벡터를 저장하기 위한 움직임 벡터 메모리;

소정의 입력벡터에 대한 출력벡터를 저장하고 있는 코드북; 및

상기 움직임 벡터 메모리로부터 소정 수의 입력벡터들을 입력받아 상기 코드북을 이용하여 제어점의 움직임 벡터를 출력하는 벡터 양자화 부호기를 포함하는 제어그리드 보간방식에 따른 영상부호화기에서 제어점의 움직임 벡터를 구하는 장치.
제2항에 있어서, 상기 벡터양자화 부호기는 제어점의 움직임 벡터에 대응하는 인덱스를 출력하는 것을 특징으로 하는 제어 그리드 보간방식에 따른 영상부호화기에서 제어점의 움직임 벡터를 구하는 장치.