KR0178228B1 - 이미지 신호 복호화용 개선된 움직임 벡터 추정 방법 및 장치 - Google Patents

Abstract

본 발명의 장치는 이전 프레임으로 선택된 특징점들에 대한 움직임 벡터들을 추정한다. 먼저, 움직임 벡터 검출기는 특징점들에 대한 한 세트의 초기 움직임 벡터를 결정한다. 그 다음에, 변위 발생기는 사전 결정된 N개의 변위들을 선택된 특징점의 초기 움직임 벡터에 제공하여 N개의 후보 움직임 벡터들을 갖는 한 서브세트를 발생한다. 그런 후, 예측기는 인접하는 특징점들과 초기 움직임 벡터들을 이용하여 의사 특징점들이 현재 프레임으로부터 제공하며, 그리고 N개의 후보 움직임 벡터들을 이용하여 N개의 선택된 의사 특징점들의 한 세트를 선택된 특징점으로부터 발생한다. 그리고 가중치 팩터 발생기는 현재의 육각형에서 각 픽셀과 각각의 목표 의사 특징점의 위치데이터에 의거하여 다수개의 가중치 팩터들로부터 하나를 선택적으로 발생한다. 마지막으로, 움직임 벡터 선택기는 현재와 이전 육각형들간에 가중치 팩터들을 이용하여 구한 N개의 에러로부터 최소의 에러값을 야기하는 각 세트의 6개 삼각형에 대응하는 움직임 벡터를 N개의 후보 움직임 벡터들로부터 결정한다.

Description

이미지 신호 복호화용 개선된 움직임 벡터 추정 방법 및 장치

제1도는 본 발명의 신규한 움직임 추정 장치를 이용하는 이미지 신호 부호화 시스템의 블록도.

제2도는 제1도에 도시된 움직임 추정 장치의 상세 블록도.

제3도는 프레임내에서 특징점을 규정하는 예시적인 도면.

제4도는 본 발명의 바람직한 실시예에 따라 특징점을 선택하기 위해 이용된 이전 프레임상에 사상된 육각형 그리드를 예시하는 도면.

제5a도 및 제5b도는 이전과 현재 프레임들에서의 육각형들의 포메이션을 예시하는 도면.

* 도면의 주요부분에 대한 부호의 설명

105 : 이미지 신호 부호화기 107 : 엔트로피 부호화기

113 : 이미지 신호 복호화기 126 : 현재 프레임 움직임 벡터 검출기

130 : 움직임 보상기 200 : 움직임 추정 장치

210 : 특징점 선택기 212 : 특징점 움직임 벡터 검출기

252 : 움직임 벡터 변위 발생 장치 230 : 현재 육각형 신호 예측기

290 : 움직임 벡터 선택 장치

본 발명은 이미지 신호 부호화용 움직임 벡터 추정 방법 및 장치에 관한 것으로서, 특히 개선된 특징점 기반 움직임 추정기법을 이용하여 선택된 특징점들에 대한 움직임 벡터들을 정확하게 추정하는 방법 및 장치에 관한 것이다.

주지된 바와 같이, 디지털 이미지 신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 이미지 신호가 디지털 형태로 표현될 때, 특히 고화질 텔레비젼의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나 종래의 전송 채널의 사용가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다. 다양한 압축 기법들 중에서, 확률적 부호화 기법과 함께 시간적, 공간적 압축기법을 결합한 하이브리드 부호화(hybrid coding) 기법이 가장 효율적인 것으로 알려져 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT계수의 양자화, VLC(가변장부호화)등을 이용한다. 움직임보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측된 현재 프레임간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를 들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12(1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Sche me for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1(1982년, 1월)에 기재되어 있다.

상술하면, 움직임보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.

물체의 변위를 추정하는 데에는 여러 가지 접근방법이 있다. 이들은 일반적으로 두 개의 타입으로 분류되는데 하나는 블록단위 방법이고 또 하나는 화소단위 움직임 추정이다.

블록단위 움직임 추정에서는, 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적 정합블록을 결정한다. 이로부터, 전송되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)가 추정된다. 그러나, 블록단위 움직임 추정에서는 움직임 보상과정에서 블록경계에 블록킹 효과(blocking effect)가 발생할 수 있다.

한편, 화소단위 방법을 이용하면, 변위는 각각의 화소 전부에 대해 구하여진다. 이 방법은 화소값을 더 정확히 추정할 수 있고 스케일 변화(예를들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다. 그러나 화소단위 방법에서는, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에 사실상 모든 움직임 벡터를 수신기에 전송하는 것은 불가능하다.

그러므로, 선택된 한 세트의 화소, 즉, 특징점에 대한 움직임 벡터를 수신측에 전송하는데, 이러한 특징점은 인접 화소들을 대표할 수 있는 화소로서, 비 특징점의 움직임 벡터는 그 특징점의 움직임 벡터로부터 복원될 수 있다. 기본적으로, 본 발명은 특징점을 이용하는 움직임 추정에 관한 것이다. 특징점에 기초한 움직임 추정을 채택하는 부호화기에 있어서, 먼저 이전 프레임내에 포함된 모든 화소로부터 다수의 특징점이 선택된다.

그 다음, 선택된 각각의 특징점의 움직임 벡터가 결정되는데, 여기서 각각의 움직임 벡터는 이전 프레임내 하나의 특징점과 현재 프레임내에서 대응하는 정합점, 즉, 가장 유사한 화소간의 공간적 변위이다. 상세히 말해서, 특징점 각각에 대한 정합점은 현재 프레임내에서 해당 특징점의 위치를 둘러싸는 기설정 영역으로 규정되는 탐색 영역에서 탐색된다. 그러나, 상술한 바와 같은 특징점을 이용한 움직임 벡터의 추정에 있어서, 블록내의 모든 화소가 한 방향으로 이동하지 않는 경우, 특징점의 정확한 움직임을 추정할 수 없다는 단점을 갖는다.

특징점들에 대한 움직임 벡터들을 추정하는데 이용하기 위해 고안된 또 다른 움직임 추정 기법은 본 출원인에 의해 출원되어 계류중인 미합중국 출원번호 제08/446,351호의 선택된 픽셀들에 대한 진실한 움직임 벡터들을 결정하기 위한 방법 및 장치(METHOD AND APPARATUS FOR DETERMINING TRUE MOTION VECTORS FOR SELECTED PIXELS)에 개시된다.

이전 프레임에 포함된 특징점들에 대한 진실한 움직임 벡터들을 결정하는 개시된 방법 및 장치에 있어서, 먼저, 특징점들에 대한 한 세트의 초기 움직임 벡터가 결정된다. 그 다음에, 사전 결정된 N개의 변위들이 선택된 특징점의 초기 움직임 벡터에 제공되어 N개의 후보 움직임 벡터들을 갖는 한 서브세트가 발생된다. 상기에서, 선택된 특징점은 4개의 삼각형을 갖는 한 세트의 이전의 마름모형을 형성하기 위해 예로써 상기 선택된 특징점의 4개의 인접하는 특징점들로 둘러싸인다. 그리고, 인접하는 특징점들과 초기 움직임 벡터들을 이용하여 의사 특징점들이 현재 프레임에서 제공되며, N개의 후보 움직임 벡터들에 의거하여 N개의 선택된 의사 특징점들의 한 세트가 선택된 특징점으로부터 발생된다. 상기에서, 4개의 의사 특징점들은 N개의 선택된 의사 특징점들로 규정된 4개의 삼각형으로 이루어진 N세트들을 갖는 현재의 마름모형을 구성한다. 마지막으로, 진실한 움직임 벡터가 전술한 서브세트의 N개의 후보 움직임 벡터들에서 결정된다. 상기에서, 진실한 움직임 벡터는 현재와 이전 마름모형들간에서 최소의 에러값을 초래하는 현재의 마름모형에서의 4개 삼각형들에 대응하는 서브세트에서의 후보 움직임 벡터를 나타낸다.

그러나, 종래 기술의 장치는 전술한 세트에서 선택된 의사 특징점의 위치와 현재의 마름모형에 포함된 각 픽셀의 위치간의 거리를 고려하지 않고 최소 에러값을 구하였기 때문에, 선택된 의사 특징점에 대응하는 특징점에 대한 진실한 움직임 벡터를 항상 제공할 수 없다는 문제점을 갖는다.

그러므로, 본 발명의 주 목적은 개선된 특징점 기반 움직임 벡터 추정기법을 이용하여 특징점들에 대한 움직임 벡터들을 정확하게 추정함으로써 이미지 신호 부호화 시스템의 성능을 향상시킬 수 있도록 한 개선된 방법 및 장치를 제공하는 것이다.

본 발명의 일 실시예에 따르면, 특징점들에 대한 한 세트의 움직임 벡터를 추정하는 이미지 신호 복호화 시스템용 방법으로서, 상기 각각의 특징점은 이전 프레임에 배치된 육각형 그리드의 노드점에 위치된 픽셀의 위치로 규정되는 상기 방법에 있어서,

(a) 상기 특징점들의 각각을 순차적으로 목표 특징점으로 할당하며, 상기에서 목표 특징점은 그 특징점에 인접하는 6개의 특징점들로 둘러싸여 이전의 육각형을 규정하고, 이전의 육각형은 6개 삼각형 영역들의 한 세트를 가지며, 삼각형들의 각각은 상기 목표 특징점과 그 특징점에 인접하는 2개의 특징점들을 연결함으로써 형성되는 단계와;

(b) 현재와 상기 이전 프레임들간에서 특징점들에 대한 제1세트의 초기 움직임 벡터를 검출하는 단계와;

(c) 상기 제1세트의 초기 움직임 벡터를 저장하는 단계와;

(d) 상기 각 이전의 육각형에 대응하는 현재의 육각형을 상기 제1세트의 초기 움직임 벡터를 이용하여 상기 현재 프레임에서 규정하는 단계와;

(e) 상기 각 목표특징점에 대응하는 상기 초기 움직임 벡터를 N개의 변위들에 제공하여 하나의 초기 움직임 벡터당 N개의 후보 움직임 벡터들을 갖는 세트를 발생하는 단계와;

(f) 상기 각각의 현재 육각형내에서 상기 6개의 삼각형으로 구성된 각 세트에 포함된 각각의 픽셀에 대한 예측된 픽셀값을 상기 이전 프레임으로부터 추출하고 상기 추출된 각 픽셀값의 위치 데이터를 발생하는 단계와;

(g) 상기 현재의 육각형내의 각 픽셀의 픽셀값에서 그 픽셀값에 대응하는 예측된 픽셀값을 감산하여 상기 6개의 삼각형으로 구성된 각 세트에 포함된 상기 각 픽셀에 대한 차분 픽셀값을 발생하는 단계와;

(h) 상기 각 세트내의 각 픽셀의 위치 데이터와 상기 N개의 후보 움직임 벡터들의 각각에 대응하는 상기 현재 육각형에서의 특징점의 위치 데이터에 응답하여 사전결정된 가중치 팩터를 순차적으로 할당하는 단계와;

(i) 상기 차분 픽셀값과 그 픽셀값에 대응하는 가중치 벡터를 승산하여 가중된 차분 픽셀값을 발생하는 단계와;

(j) 상기 각각의 현재 육각형에 대응하는 차분 픽셀값들을 평균하여 상기 현재 육각형에서 6개의 삼각형들로 구성된 상기 N개의 세트에 대한 N개의 에러값들을 구하는 단계와;

(k) 상기 N개의 에러값들을 비교하여 가장 최소의 에러를 발생하는 하나의 에러값을 선택하는 단계와;

(l) 상기 선택된 최소 에러값에 대응하는 움직임 벡터를 상기 N개의 후보 움직임 벡터로부터 선택하는 단계와;

(m) 상기 목표 특징점에 대한 상기 저장된 움직임 벡터를 상기 선택된 움직임 벡터로 갱신하는 단계와;

(n) 상기 모든 초기 움직임 벡터가 갱신될 때까지 상기 단계들(d 내지 m)을 반복하는 단계를 포함한다.

본 발명의 다른 실시예에 따르면, 특징점들에 대한 한 세트의 움직임 벡터를 추정하는 이미지 신호 복호화 시스템용 장치로써, 상기 각각의 특징점은 이전 프레임에 배치된 육각형 그리드의 노드점에 위치된 픽셀의 위치로 규정되는 상기 장치에 있어서, 상기 특징점들의 각각을 순차적으로 목표 특징점으로 할당하며, 상기에서 목표 특징점은 그 특징점에 인접하는 6개의 특징점들로 둘러싸여 이전의 육각형을 규정하고, 이전의 육각형은 6개 삼각형 영역들의 한 세트를 가지며, 삼각형들의 각각은 상기 목표 특징점과 그 특징점에 인접하는 2개의 특징점들을 연결함으로써 형성되는 수단과; 현재와 상기 이전 프레임들간에서 특징점들에 대한 제1세트의 초기 움직임 벡터를 검출하는 수단과; 상기 제1세트의 초기 움직임 벡터를 저장하는 수단과; 상기 각 이전의 육각형에 대응하는 현재의 육각형을 상기 제1세트의 초기 움직임 벡터를 이용하여 상기 현재 프레임에서 규정하는 수단과; 상기 각 목표특징점에 대응하는 상기 초기 움직임 벡터를 N개의 변위들에 제공하여 하나의 초기 움직임 벡터당 N개의 후보 움직임 벡터들을 갖는 세트를 발행하는 수단과; 상기 각각의 현재 육각형내에서 상기 6개의 삼각형으로 구성된 각 세트에 포함된 각각의 픽셀에 대한 예측된 픽셀값을 상기 이전 프레임으로부터 추출하고 상기 추출된 각 픽셀값의 위치 데이터를 발생하는 수단과; 상기 현재의 육각형내의 각 픽셀의 픽셀값에서 그 픽셀값에 대응하는 예측된 픽셀값을 감산하여 상기 6개의 삼각형으로 구성된 각 세트에 포함된 상기 각 픽셀에 대한 차분 픽셀값을 발생하는 수단과; 상기 각 세트내의 각 픽셀의 위치 데이터와 상기 N개의 후보 움직임 베터들의 각각에 대응하는 상기 현재 육각형에서의 특징점의 위치 데이터에 응답하여 사전결정된 가중치 팩터를 순차적으로 할당하는 수단과; 상기 차분 픽셀값과 그 픽셀값에 대응하는 가중치 팩터를 승산하여 가중된 차분 픽셀값을 발생하는 수단과; 상기 각각의 현재 육각형에 대응하는 차분 픽셀값들을 평균하여 상기 현재 육각형에서 6개의 삼각형들로 구성된 상기 N개의 세트에 대한 N개의 에러값들을 구하는 수단과; 상기 N개의 에러값들을 비교하여 가장 최소의 에러를 발생하는 하나의 에러값을 선택하며, 상기 선택된 최소 에러값에 대응하는 움직임 벡터를 상기 N개의 후보 움직임 벡터로부터 선택하는 수단과; 상기 목표 특징점에 대한 상기 저장된 움직임 벡터를 상기 선택된 움직임 벡터로 갱신하는 수단과; 상기 모든 초기 움직임 벡터가 갱신될 때 갱신된 움직임 벡터들을 상기 움직임 벡터들의 세트로써 검색하는 수단을 포함을 포함한다.

이하, 본 발명은 첨부도면을 참조하여 다음과 같이 상세히 설명될 것이다.

제1도에는 본 발명의 신규한 움직임 추정 장치(200)를 이용하는 이미지 신호 부호화 시스템의 블록도가 도시되어 있다. 입력 디지털 이미지 신호는 현재 프레임으로써 제1프레임 메모리(100)에 저장된다.

움직임 추정 장치(200)에서는, 제1프레임 메모리(100)로부터 검색된 라인(L10)상의 현재 프레임 신호와 제2프레임 메모리(124)로부터 라인(L12)상의 재구성된 이전 프레임 신호를 처리하여 특징점들에 대한 추정된 제1세트의 움직임 벡터와 특징점들의 위치 데이터를 결정한다. 움직임 추정 장치(200)의 상세한 것은 제2도를 참조하여 상세히 설명한다. 움직임 추정 장치(200)로부터 라인(L20)상에 제공되는 움직임 벡터는 현재 프레임 움직임 벡터 검출기(126)와 엔트로피 부호화기(107)에 입력되는 동안에 특징점들에 대한 위치 데이터들은 라인(L25)을 통하여 현재 프레임 움직임 벡터 검출기(126)에 공급된다.

현재 프레임 움직임 벡터 검출기(126)에서는, 움직임 추정 장치(200)로부터 제공된 라인들(L20 및 L25)상의 제1세트의 정확한 움직임 벡터와 위치 데이터들을 이용하여 라인(L10)상의 현재 프레임에서의 모든 픽셀들에 대한 제2세트의 움직임 벡터가 결정된다. 제2세트의 움직임 벡터를 결정하기 위해서, 먼저, 의사(quasi)-특징점들이 결정된다. 이러한 의사 특징점들은 이전 프레임의 특징점들로부터 제1세트의 움직임 벡터들만큼 이동된 현재 프레임의 픽셀들을 나타낸다. 의사 특징점들이 결정된 후에, 현재 프레임에서의 잔여 픽셀점들인 비 특징점들에 대한 움직임 벡터들이 다음과 같이 결정된다.

먼저, 의사 특징점들을 연결하는 라인 세그먼트들에 의해 다수개의 다각형들, 예를들면, 육각형들이 규정된다. 그런 후, 각 다각형을 형성하는 의사 특징점들과 그들의 각각에 대응하는 특징점들간의 공간 상관성들에 의거하여 현재 프레임의 각 다각형에 포함된 각 픽셀에 대한 예측된 위치가 결정된다. 그 다음, 예측된 위치에 의거하여 각 픽셀에 대한 예측된 픽셀값이 이전 프레임으로부터 얻어지며, 그리고 현재 프레임에서의 픽셀과 이전 프레임으로부터 예측된 픽셀간의 변위에 의해 현재 프레임에서의 각 픽셀에 대한 움직임 벡터가 결정된다. 결정된 제2세트의 움직임 벡터는 픽셀단위로 현재 프레임을 예측하는 움직임 보상기(130)로 제공된다.

움직임 보상기(130)는 예측된 현재 프레임에 포함될 픽셀들의 각 값을 제2세트에 포함된 움직임 벡터들의 각각을 이용하여 제2프레임 메모리(124)로부터 검색하여 라인(L30)을 통하여 감산기(102)와 가산기(115)로 제공한다.

감산기(102)는 라인(L11)상의 현재 프레임에서 라인(L30)상의 예측된 현재 프레임을 감산하여, 감산된 결과 데이터, 즉, 현재와 예측된 현재 프레임들간의 차분 픽셀값들을 나타내는 프레임 차분 신호를 이미지 신호 부호화기(105)로 전달하는데, 여기서 프레임 차분 신호는, 예로써, 이산 코사인 변환(DCT)과 알려진 양자화 기법을 이용하여 양자화된 변환 계수들의 세트로 부호화된다.

그런 후, 양자화된 변환 계수들은 엔트로피 부호화기(107)과 이미지 신호 복호화기(113)로 전송된다. 엔트로피 부호화기(107)에서는, 이미지 신호 부호화기(105)로 부터의 양자화된 변환 계수들과 라인(L20)을 통해 공급된 제1세트의 움직임 벡터들이 효과적으로 전송되도록, 예로써, 런-냉스와 가변길이 부호화 기법들을 통해 부호화 된다. 한편, 이미지 신호 복호화기(113)는 이미지 신호 부호화기(105)로 부터의 양자화된 변환 계수들을 역 양자화와 역이산 코사인 변환들을 통해 재구성된 프레임 차분 신호로 다시 변환한다.

이미지 신호 복호화기(113)로 부터의 재구성된 프레임 차분 신호와 라인(L30)상의 예측된 프레임 신호는 가산기(115)에서 조합되어 제2프레임 메모리(124)상에 이전 프레임 신호로써 기록될 재구성된 프레임 신호가 발생된다.

본 발명의 움직임 추정 장치를 제외한 상술한 이미지 신호 부호화 시스템의 상세한 설명은 본 명세서에서 참조문헌으로서 인용한 동일 출원인의 미합중국 출원번호 제08/434, 808호의 이미지 신호를 부호화/복호화하는 방법 및 장치에 개시된다.

비 특징점에 대한 움직임 벡터들을 결정하는 이미지 신호 부호화 장치의 다른 예는 역시 본 명세서에서 참조문헌으로써 인용한 동일 출원인에 의해 1994년 12월 30일에 출원된 미합중국 출원번호 제08/367,520호의 픽셀 단위 움직임 예측을 이용하여 이미지 신호를 부호화하는 방법 및 장치에 개시된다. 상기 이미지 신호 부호화 장치에 있어서는, 움직임 벡터를 구할려는 어떤 픽셀 위치에 가장 근접한 의사 특징점과 움직임 벡터를 계산하는데 이용될 다른 의사 특징점들을 포함하는 사전 결정된 확장된 반경과의 거리의 합으로 규정된 소정의 반경을 갖는 원 경계내에 위치된 비 특징점들을 평균함으로써 비 특징점들에 대한 상기 픽셀 위치의 움직임 벡터가 결정된다.

이제, 제2도를 참조하면, 제1도에 도시된 본 발명의 움직임 추정장치의 상세 블록도가 도시된다. 제2도에 도시된 바와같이, 라인(L12)상의 이전 프레임 신호는 특징점 선택기(210), 특징점 움직임 벡터 검출기(220) 및 현재의 육각형 신호 예측기(260)에 입력된다. 그리고 라인(L10)상의 현재 프레임 신호는 저장을 위해 제3프레임 메모리(270)에 입력된다.

특징점 선택기(210)에서는, 이전 프레임에 포함된 픽셀들중에서 다수개의 특징점들이 선택된다. 특징점들의 각각은 상기 이전 프레임에서 물체의 움직임을 나타낼 수 있는 픽셀 위치로써 규정된다.

제3도에는 10×7 픽셀들의 예시적인 프레임이 도시된다. 상기 프레임의 중심 근처에 움직임 물체가 있고, 그리고 움직임 물체의 움직임이 픽셀들(511 내지 519)의 한 세트로 잘 표현된다고 가정하면, 이들 픽셀들은 그 프레임의 특징점들로써 선택된다.

본 발명의 바람직한 실시예에 있어서, 다양한 유형의 그리도 예를들어 제4도에 도시된 육각형 그리드를 이용하여 특징점들이 결정된다. 제4도에 예시된 바와같이, 특징점들은 상기 그리드의 노드점들에 위치된다.

제2도를 다시 참조하면, 특징점 선택기(210)로 부터의 선택된 특징점들의 위치 데이터는 라인(L25)을 통하여 제1도에 도시된 현재 프레임 움직임 벡터 검출기(126)로 공급되는 동시에, 특징점 움직임 벡터 검출기(220)와 저장을 위해 육각형 위치 데이터 선택기(240)에 입력된다.

특징점 움직임 벡터 검출기(220)에서는, 특징점 선택기(210)로 부터의 특징점들의 위치 데이터와 제3프레임 메모리(270)로부터 검색된 현재 프레임에 의거하여 선택된 특징점들에 대한 제1세트의 초기 움직임 벡터들이 결정된다. 제1세트의 각 초기 움직임 벡터는 이전 프레임에서의 특징점과 현재 프레임에서의 상기 특징점에 가장 유사한 픽셀간의 공간 변위를 나타낸다. 픽셀 단위로 움직임 벡터들을 검출하기 위해, 수많은 처리 알고리즘들이 제안되어 있다. 본 발명의 바람직한 실시예에 있어서는 블록 매칭 알고리즘이 이용된다. 즉, 특징점 선택기(210)로부터 특징점의 위치 데이터가 수신될 때, 대상특징점을 갖는 이전 프레임의 M×M 특징점 블록의 중앙에 위치되며, M은 기수이다. 그런 후, 특징점 블록에 대한 움직임 벡터가 에러 함수, 예를들어, 평균절대 에러(MAE) 또는 평균 자승 에러(MSE)로부터 구한 유사성 계산에 의거하여 결정되며, 상기에서 에러함수는 특징점 블록과 제3프레임 메모리(270)로부터 검색된 현재 프레임의 대체로 큰 탐색영역, 예로써, 10×10 픽셀들에 포함된 동일 크기를 갖는 각 블록간의 편차를 나타내며, 그리고 움직임 벡터는 특징점 블록과 최소의 에러함수를 야기시키는 후보블록간의 변위를 나타낸다.

결정된 움직임 벡터는 특징점의 초기 움직임 벡터로써 설정된다. 모든 특징점들에 대한 초기 움직임 벡터들을 결정한 후에, 초기 움직임 벡터들은 제1세트의 초기 움직임 벡터로써 저장을 위해 움직임 벡터 메모리(230)에 인가된다.

반면에, 육각형 위치 데이터 선택기(240)는 저장된 특징점들의 각각을 대상 특징점으로써 순차적으로 할당한다. 제5a도에 예시된 바와 같이, 목표 특징점(517)이 센터에 위치하여 6개의 삼각형 영역들(521 내지 526)을 제공하는 이전의 육각형, 예를들어, 500을 형성하기 위해, 목표 특징점, 예로써, 517은 그 순간에 목표 특징점으로써 선택되지 않은 6개의 인접하는 특징점들(511 내지 516)로 둘러 싸인다. 이전 육각형(500)을 형성하는 목표 특징점들의 각각, 예로써, 517과 그 목표 특징점에 인접하는 6개의 특징점들(511 내지 516)에 대한 위치 데이터는 움직임 벡터 메모리(230)로 전송된다. 육각형 위치 데이터 선택기(240)로부터 움직임 벡터 메모리(230)로의 위치 데이터의 전송은 콘트롤러(300)로 부터의 제1제어신호(CS1)에 의해 제어된다.

움직임 벡터 메모리(230)에 저장된 초기 움직임 벡터들의 저장 상태를 모니트하는 콘트롤러(300)는 제1 및 제2 제어신호들(CS1 및 CS2)을 육각형 위치 데이터 선택기(240)과 움직임 벡터 변위 발생 장치(250)로 제공함으로써 그들의 동작을 제어한다.

반면에, 육각형 위치 데이터 선택기(240)로 부터의 목표 특징점의 위치 데이터에 응답하여, 움직임 벡터 메모리(230)에 저장된 대응하는 초기 움직임 벡터가 사전 결정된 수만큼 순차로 움직임 벡터 변위 발생 장치(250)로 검색되며, 목표 특징점에 인접하는 6개의 특징점들에 대한 위치데이터에 응답하여, 대응하는 움직임 벡터들은 판독되어 현재의 육각형 신호 예측기(260)로 전송된다.

움직임 벡터 변위 발생기(252)와 가산기(254)를 포함하는 움직임 벡터 변위 발생 장치(250)는 각 목표 특징점의 초기 움직임 벡터당 N개의 후보 움직임 벡터들을 갖는 한 세트를 발생하며, 상기에서 N은 양수이다. 상세하게는, 콘트롤러(300)로 부터의 제2제어신호(CS2)에 응답하여, 움직임 벡터 변위 발생기(252)에 사전 저장된 사전 결정된 N개의 변위들이 순차적으로 판독되어 가산기(254)에 인가된다. 본 발명의 바람직한 실시예에 있어서는, 각 초기 움직임 벡터에 대한 변위가 수평 및 수직 방향으로 (0,0)부터 (±2, ±2)까지의 범위내에서 바람직하게 설정된다. 그러므로, 이 경우에 상기 N은 25이다. 그 다음, N개의 변위들과 각 목표 특징점의 초기 움직임 벡터는 가산기(254)에서 순차적으로 가산되어 하나의 초기 움직임 벡터당 N개의 후보 움직임 벡터들을 갖는 한 세트가 발생된다. 상기 세트는 현재의 육각형 신호 예측기(260)와 움직임 벡터 선택 장치(290)로 제공된다.

현재의 6각형 신호 예측기(260)에서는 라인(L12)상의 이전 프레임 신호로부터 현재의 육각형에 포함된 모든 픽셀들에 대한 예측된 픽셀값들이 구해진다. 예측된 픽셀값들을 구하기 위해, 먼저, 움직임 벡터 메모리(230)로부터 이전의 육각형(500)을 형성하는 6개의 꼭지점들에 대한 움직임 벡터들을 판독하고 6개의 특징점들, 즉, 이전의 육각형(500)상에서 6개의 꼭지점들(511 내지 516)로부터 그들의 각각에 대응하는 초기 움직임 벡터들만큼 이동된 현재 프레임의 픽셀들을 나타내는 의사 특징점들, 예를들면, 제5b도에 도시된 511' 내지 516'을 결정한다. 의사 특징점들을 결정한 후에, 6개의 의사 특징점들, 511' 내지 516'을 연결함으로써 제5b도에 도시된 현재의 육각형(500')이 규정된다.

그 후, 이전의 육각형(500)에서의 목표 특징점에 대한 N개의 후보 움직임 벡터들의 세트에 의해 현재의 프레임에서 발생된 픽셀들을 나타내는 N개의 목표 의사 특징점들의 세트가 결정된다. 의사 특징점들과 N개의 목표 의사 특징점들을 결정한 후에, N개 목표 의사 특징점들의 각각과 그 각각에 인접하는 2개의 의사 특징점들을 연결함으로써 N개의 목표 의사 특징점들의 각각에 대한 6개 삼각형들로 구성된 한 세트가 결정된다. 제5b도에는 6개의 의사 특징점들, 511' 내지 516'을 연결하여 현재의 육각형, 예로, 500'을 발생하는 프로세스가 예시된다. 현재의 육각형(500')은 목표 의사 특징점(517')을 가짐으로써, 예로써, 제5a도 또는 제5b도에 도시된 바와 같이 이전 육각형(500)에 대응하는 6개 삼각형들의 한 세트(521' 내지 526')를 형성한다. 비록, 도면에는 상세하게 도시되지 않았지만, 각각의 현재 육각형은 이전의 육각형(500)에서의 목표 특징점(517)으로부터 구한 N개의 후보 움직임 벡터들로 인해 6개 삼각형들을 갖는 N개의 세트를 가지게 될 것이다.

그 다음, N개의 목표 의사 특징점들의 각각에 대해서 아핀 변환 기법을 이용하여 각각의 현재 육각형내의 모든 픽셀들에 대한 예측이 수행된다. 본 기술분야에 잘 알려진 바와같이, 움직임 물체의 회전, 변환 및 크기변경등의 임의적인 순차는 아핀 변환 기법으로 표현될 수 있다.

제5b도에 예시된 바와 같이, 현재의 육각형(500')에서 3개의 픽셀들, 즉, 2개의 꼭지점들(511', 512')과 하나의 목표 특징점(517')이 이전의 육각형에서 그들 각각의 특징점들(511 내지 517)에 대응하는 특징점들이라고 가정하면, 현재의 육각형(500')의 삼각형(521')에서의 픽셀들은 다음과 같은 아핀 변환으로 이전 육각형의 삼각형(521)의 픽셀들에 상관된다.

상기 식에서, (x, y)는 현재 프레임내 픽셀의 움직임 벡터이고 (x', y')는 예측된 현재 프레임내의 대응하는 픽셀의 움직임 벡터이며, 여섯 개의 a, b, c, d, e, f는 아핀 변환 계수이다.

아핀 변환 알고리즘에 따르면, 여섯 개의 아핀 변환 계수는 특징점과 의사 특징점들의 3개의 세트들, 즉, 511-511', 512-512', 517-517'로부터 얻어진 6개의 선형 방정식을 계산함으로써 얻을 수 있다. 일단 6개의 아핀 변환 계수들이 구해지면, 삼각형(521')내의 나머지 각 픽셀들은 아핀 변환 방정식을 통해 삼각형(521)내의 한 픽셀로 사상된다. 이러한 방법으로, 현재의 육각형(500')내에 포함된 각 삼각형내의 픽셀들은 이전의 육각형(500)으로부터 예측된다. 2개의 인접하는 삼각형들의 경계상에서의 예측은 2개 삼각형들중의 어느 하나로부터 예측될 수 있다. 6개 삼각형들로 이루어진 N개의 세트들이 모두 처리될 때까지 현재의 육각형내의 픽셀들의 예측은 반복적으로 수행된다. 현재의 육각형을 형성하는 원래의 목표 의사 특징점과 그 특징점에 인접하는 6개의 의사 특징점들의 위치 데이터와 현재의 육각형에 포함된 모든 픽셀들에 대한 위치 데이터는 현재의 육각형 신호를 발생하기에 적합한 현재의 육각형 신호 발생기(280)로 제공된다. 그리고, N개의 목표 의사 특징점들의 각각과 현재의 육각형에 포함된 각 픽셀에 대한 위치 데이터는 움직임 벡터 선택 장치(290)로 제공된다. 그 다음에, 6개의 삼각형들로 이루어진 각 세트에 대응하는 예측된 픽셀값들의 각각은 움직임 벡터 선택 장치(290)로 공급된다.

현재의 육각형 신호 발생기(280)는 현재의 육각형 신호 예측기(260)로 부터의 각 픽셀의 위치 데이터에 응답하여 현재 육각형에 포함된 대응하는 각 픽셀값을 제3프레임 메모리(270)로부터 순차적으로 검색하여 움직임 벡터 선택 장치(290)로 제공한다. 움직임 벡터 선택 장치(290)는 감산기(292), 가중치 팩터 발생기(294), 승산기(296), 에러값 계산기(297), 비교기(298) 및 움직임 벡터 선택기(299)를 포함한다.

그 다음, 감산기(292)는 현재의 육각형 신호 발생기(280)로부터 발생된 각각의 현재 육각형에 대한 픽셀값들을 현재의 육각형 신호 예측기(260)에서 제공된 예측된 픽셀값들만큼 감산함으로써, 현재 육각형에 대한 6개 삼각형들의 각 세트에 대한 차분 픽셀값들을 구한다. 감산기(292)에서 구한 차분 픽셀값들은 승산기(296)로 순차적으로 제공된다.

한편, 현재의 육각형 신호 예측기(260)로 부터의 현재의 육각형에 포함된 각 픽셀과 N개의 목표 의사 특징점들의 각각에 대한 위치 데이터에 응답하여, 본 발명의 가중치 팩터 발생기(294)는 사전 결정되어 저장된 다수개의 가중치들로부터 어느 하나를 선택적으로 발생한다. 본 발명에 따르면, 현재의 육각형내의 각 픽셀들이 N개의 목표 의사 특징점들의 각각에 가까울수록 상기 픽셀은 큰 가중치를 갖는다는 개념에 의거하여, 가중치 팩터들은 바람직하게 설정된다. 왜냐하면 목표 의사 특징점에 대응하는 특징점에 대한 움직임 벡터를 구하는데 있어서는 그 목표 의사 특징점에 가까운 픽셀들이 멀리 떨어진 픽셀들보다 중요하기 때문이다. 본 발명의 바람직한 실시예에 있어서, 가중치 팩터는 0.4 내지 1 범위내에서 결정된다. 가중치 팩터들은, 예로써, 다음표와 같이 나타낼 수 있다(여기서, 범위 간격들은 1.9이고 가증치 팩터의 범위는 0.4로부터 1까지 범위로 가정된다).

상기 표로부터 알 수 있는 바와 같이, 각 목표 의사특징점의 위치와 현재의 육각형에서 각 픽셀의 위치간의 거리가 0 내지 1.9 사이에 있으면, 가중치 팩터는 1로써 선택되며, 그리고 그들간의 거리가 4 내지 5.9 사이에 있으면, 가중치 팩터는 0.6으로써 선택된다. 그 다음, 감산기(292)로 부터의 각 차분 픽셀값과 그 값에 대응하는 가중치 팩터 발생기(294)로 부터의 가중치 팩터가 승산기(296)로 동시에 공급된다.

승산기(296)는 감산기(292)로 부터의 차분픽셀값과 가중치 팩터 발생기(294)로 부터의 대응하는 가중치 팩터를 승산한 후, 가중된 차분픽셀값을 에러값 계산기(297)로 제공한다. 에러값 계산기(297)에서는 6개 삼각형들의 각 세트에 대응하는 차분 픽셀값들을 평균하여 현재 육각형의 상기 각 세트에 대한 에러값을 계산하여 각각의 예측된 현재의 육각형에 대해서 N개의 에러값들을 갖는 한 세트를 발생한다. 그 다음, 각 세트의 N개 에러값은 비교기(298)로 제공된다.

비교기(298)은 상기 각 세트의 N개 에러값을 비교하여 최소의 에러를 초래하는 에러값을 선택한다. 비교처리를 통해, 비교기(298)는 각 현재의 육각형에 대해 최소의 에러값을 나타내는 선택신호를 발생하여 움직임 벡터 선택기(299)에 인가한다. 움직임 벡터 선택기(299)는 비교기(298)로 부터의 선택신호에 응답하여 저장된 N개의 후보 움직임 벡터들로부터 선택된 최소의 에러값에 대응하는 움직임 벡터를 선택된 특징점들의 각각에 대한 움직임 벡터로써 선택한다. 그 다음, 특징점들의 각각에 대한 선택된 움직임 벡터는 라인(L20)을 통해 제1도에 도시된 현재 프레임 움직임 벡터 검출기(126)로 제공되는 동시에 움직임 벡터 메모리(230)에 제공되어 저장된 목표 특징점에 대한 움직임 벡터를 선택된 움직임 벡터로 갱신시킨다. 목표 특징점에 대한 갱신된 움직임 벡터는 그 특징점에 인접하는 특징점들에 대한 움직임 벡터들을 구하는데 있어서 기준 움직임 벡터로써 이용된다.

전술한 바와같이, 비록 본 발명이 특정 실시예를 참조하여 기술하였지만, 본 기술분야에서 통상의 지식을 가진자라면 다음의 특허청구범위의 사상과 범주를 벗어나지 않고도 다양하게 변경하여서 실시할 수 있음을 이해할 것이다.

Claims (6)

1. 특징점들에 대한 한 세트의 움직임 벡터를 추정하는 이미지 신호 복호화 시스템용 방법으로서, 상기 각각의 특징점은 이전 프레임에 배치된 육각형 그리드의 노드점에 위치된 픽셀의 위치로 규정되는 상기 방법에 있어서, (a) 상기 특징점들의 각각을 순차적으로 목표 특징점으로 할당하며, 상기 목표 특징점은 그 특징점에 인접하는 6개의 특징점들로 둘러싸여 이전의 육각형을 규정하고, 이전의 육각형은 6개 삼각형 영역들의 한 세트를 가지며, 삼각형들의 각각은 상기 목표 특징점과 그 특징점에 인접하는 2개의 특징점들을 연결함으로써 형성되는 단계와; (b) 현재와 상기 이전 프레임들간에서 특징점들에 대한 제1세트의 초기 움직임 벡터를 검출하는 단계와; (c) 상기 제1세트의 초기 움직임 벡터를 저장하는 단계와; (d) 상기 각 이전의 육각형에 대응하는 현재의 육각형을 상기 제1세트의 초기 움직임 벡터를 이용하여 상기 현재 프레임에서 규정하는 단계와; (e) 상기 각 목표특징점에 대응하는 상기 초기 움직임 벡터를 N개의 변위들에 제공하여 하나의 초기 움직임 벡터당 N개의 후보 움직임 벡터들을 갖는 세트를 발생하는 단계와; (f) 상기 각각의 현재 육각형내에서 상기 6개의 삼각형으로 구성된 각 세트에 포함된 각각의 픽셀에 대한 예측된 픽셀값을 상기 이전 프레임으로부터 추출하고 상기 추출된 각 픽셀값의 위치 데이터를 발생하는 단계와; (g) 상기 현재의 육각형내의 각 픽셀의 픽셀값에서 그 픽셀값에 대응하는 예측된 픽셀값을 감산하여 상기 6개의 삼각형으로 구성된 각 세트에 포함된 상기 각 픽셀에 대한 차분 픽셀값을 발생하는 단계와; (h) 상기 각 세트내의 각 픽셀의 위치 데이터와 상기 N개의 후보 움직임 베터들의 각각에 대응하는 상기 현재 육각형에서의 특징점의 위치에 데이터에 응답하여 사전 결정된 가중치 팩터를 순차적으로 할당하는 단계와; (i) 상기 차분 픽셀값과 그 픽셀값에 대응하는 가중치 펙터를 승산하여 가중된 차분 픽셀값을 발생하는 단계와; (j) 상기 각각의 현재 육각형에 대응하는 차분 픽셀값들을 평균하여 상기 현재 육각형에서 6개의 삼각형들로 구성된 상기 N개의 세트에 대한 N개의 에러값들을 구하는 단계와; (k) 상기 N개의 에러값들을 비교하여 가장 최소의 에러를 발생하는 하나의 에러값을 선택하는 단계와; (l) 상기 선택된 최소 에러값에 대응하는 움직임 벡터를 상기 N개의 후보 움직임 벡터로부터 선택하는 단계와; (m) 상기 목표 특징점에 대한 상기 저장된 움직임 벡터를 상기 선택된 움직임 벡터로 갱신하는 단계와; (n) 상기 모든 초기 움직임 벡터가 갱신될 때까지 상기 단계들(d 내지 m)을 반복하는 단계를 포함하는 방법.
2. 제1항에 있어서, 상기 현재의 육각형을 규정하는 단계(d)는; 상기 특징점들과 그 특징점들의 움직임 벡터들에 의거하여 상기 현재 프레임에서 의사 특징점들을 결정하며, 상기 현재의 육각형은 상기 이전의 육각형을 규정하는 특징점들에 대응하는 의사 특징점들을 연결함으로써 형성되는 단계를 포함하는 방법.
3. 제2항에 있어서, 상기 픽셀값을 추출하는 단계(f)는; 상기 각 삼각형을 형성하는 의사 특징점들과 상기 의사 특징점들에 대응하는 특징점들간의 위치 상관관계에 의거하여 상기 각 픽셀에 대한 예측된 위치를 상기 이전 프레임상에서 결정하는 단계와; 상기 각 픽셀에 대한 예측된 픽셀값을 상기 예측된 위치에 의거하여 제공하는 단계를 포함하는 방법.
4. 특징점들에 대한 한 세트의 움직임 벡터를 추정하는 이미지 신호 복호화 시스템용 장치로써, 상기 각각의 특징점은 이전 프레임에 배치된 육각형 그리드의 노드점에 위치된 픽셀의 위치로 규정되는 상기 장치에 있어서, 상기 특징점들의 각각을 순차적으로 목표 특징점으로 할당하며, 상기에서 목표 특징점은 그 특징점에 인접하는 6개의 특징점들로 둘러싸여 이전의 육각형을 규정하고, 이전의 육각형은 6개 삼각형 영역들의 한 세트를 가지며, 삼각형들의 각각은 상기 목표 특징점과 그 특징점에 인접하는 2개의 특징점들을 연결함으로써 형성되는 수단과; 현재와 상기 이전 프레임들간에서 특징점들에 대한 제1세트의 초기 움직임 벡터를 검출하는 수단과; 상기 제1세트의 초기 움직임 벡터를 저장하는 수단과; 상기 각 이전의 육각형에 대응하는 현재의 육각형을 상기 제1세트의 초기 움직임 벡터를 이용하여 상기 현재 프레임에서 규정하는 수단과; 상기 각 목표특징점에 대응하는 상기 초기 움직임 벡터를 N개의 변위들에 제공하여 하나의 초기 움직임 벡터당 N개의 후보 움직임 벡터들을 갖는 세트를 발생하는 수단과; 상기 각각의 현재 육각형내에서 상기 6개의 삼각형으로 구성된 각 세트에 포함된 각각의 픽셀에 대한 예측된 픽셀값을 상기 이전 프레임으로부터 추출하고 상기 추출된 각 픽셀값의 위치 데이터를 발생하는 수단과; 상기 현재의 육각형내의 각 픽실의 픽셀값에서 그 픽셀값에 대응하는 예측된 픽셀값을 감산하여 상기 6개의 삼각형으로 구성된 각 세트에 포함된 상기 각 픽셀에 대한 차분 픽셀값을 발생하는 수단과; 상기 각 세트내의 각 픽셀의 위치 데이터와 상기 N개의 후보 움직임 베터들의 각각에 대응하는 상기 현재 육각형에서의 특징점의 위치 데이터에 응답하여 사전결정된 가중치 팩터를 순차적으로 할당하는 수단과; 상기 차분 픽셀값과 그 픽셀값에 대응하는 가중치 팩터를 승산하여 가중치 차분 픽셀값을 발생하는 수단과; 상기 각각의 현재 육각형에 대응하는 차분 픽셀값들을 평균하여 상기 현재 육각형에서 6개의 삼각형들로 구성된 상기 N개의 세트에 대한 N개의 에러값들을 구하는 수단과; 상기 N개의 에러값들을 비교하여 가장 최소의 에러를 발생하는 하나의 에러값을 선택하며, 상기 선택된 최소 에러값에 대응하는 움직임 벡터를 상기 N개의 후보 움직임 벡터로부터 선택하는 수단과; 상기 목표 특징점에 대한 상기 저장된 움직임 벡터를 상기 선택된 움직임 벡터로 갱신하는 수단과; 상기 모든 초기 움직임 벡터가 갱신될 때 갱신된 움직임 벡터들을 상기 움직임 벡터들의 세트로써 검색하는 수단을 포함하는 장치.
5. 제4항에 있어서, 상기 현재의 육각형을 규정하는 수단은; 상기 특징점들과 그 특징점들의 움직임 벡터들에 의거하여 상기 현재 프레임에서 의사 특징점들을 결정하며, 상기 현재의 육각형은 상기 이전의 육각형을 규정하는 특징점들에 대응하는 의사 특징점들을 연결함으로써 형성되는 수단을 포함하는 장치.
6. 제5항에 있어서, 상기 픽셀값을 추출하는 수단은; 상기 각 삼각형을 형성하는 의사 특징점들과 상기 의사 특징점들에 대응하는 특징점들간의 위치 상관관계에 의거하여 상기 각 픽셀에 대한 예측된 위치를 상기 이전 프레임상에서 결정하는 수단과; 상기 각 픽셀에 대한 예측된 픽셀값을 상기 예측된 위치에 의거하여 제공하는 수단을 포함하는 장치.