KR0178231B1 - 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치 - Google Patents

Abstract

본 발명은 시분할 다중 계층구조 움직임 추정을 이용하여 현재 프레임과 프레임 구간내의 선행 프레임간의 움직임 벡터들을 결정하는 방법으로써, 후보블럭들은 최고 계층으로부터 최저 계층사이에서 다른 계층들을 갖는 다수개의 계층 탐색영역들로 그룹되며 움직임 추정은 모든 탐색 블럭들에 대한 최고 계층에서 처음으로 수행된다. 다음 단계에서 상기 움직임 추정은 최고 계층의 임계값보다 더 큰 최소 에러 함수들을 갖는 선택된 각 탐색들에 대한 저 계층에서 수행된다. 저장된 최소 에러 함수와 저장된 포텐셜 움직임 벡터들은 저장된 최소 에러 함수와 대응하는 움직임 벡터들 사이에서 다른 것들보다 작거나 같은 값을 갖는 선택된 최소 에러 함수로 갱신된다. 그 다음 단계에서, 상기 선택된 각 탐색 블럭에 대한 선택된 최소 에러 함수는 상기 저 계층의 임계값과 비교된다. 새롭게 선택된 탐색블럭들은 다음 저 계층에 대한 움직임 추정과 갱신 처리시에 사용된다. 마지막 단계에서, 사전 결정된 최저 계층에 대해서 저장된 포텐셜 움직임 벡터에 대한 갱신 처리가 수행되거나 한 프레임의 처리 시간이 경과될 때까지 상기 저장된 포텐셜 움직임 벡터들이 현재프레임의 움직임 벡터들로써 제공된다.

Description

계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치

제1도는 본 발명의 움직임 추정기를 포함하는 부호화 장치의 블럭도.

제2도는 제1도에 도시된 움직임 추정기의 상세 블럭도.

제3도는 본 발명에 이용된 계층구조의 탐색영역을 나타내는 예시도.

본 발명은 움직임 벡터를 결정하기 위한 방법 및 장치에 관한 것으로, 특히, 시분할 계층적인(time-sharing hierarchical) 움직임 추정 방법을 이용하여 두 개의 연속하는 비디오 프레임으로부터 움직임 벡터를 결정하기 위한 개선된 방법 및 장치에 관한 것이다.

일반적으로, 비디오 영상을 디지탈화하여 전송함으로써, 아날로그 형태의 전송에 비해 보다 나은 화질을 가진 비디오 영상을 전송할 수 있게 된다. 이러한 전송을 위해, 일련의 프레임들로 구성된 영상신호를 디지탈 형태로 변환하는 경우, 특히, 고화질 텔레비젼 시스템의 경우 상당히 큰 데이타가 발생하는 반면, 통상적인 전송채널의 이용가능한 주파수 대역은 제한되어 있다. 제한된 채널 폭을 통해 상당히 큰 전술하는 영상 데이타를 전송하기 위해서는 전송데이타의 양을 줄이는 것이 필수적이다. 데이타양을 줄일 수 있는 기법으로서, 시간 및 공간 압축 기법을 이용하는 하이브리드 부호화 기법과 통계적 부호화 기법이 효과적인 것으로 알려져 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(differential pulse code modulation), 2차원 DCT(discrete cosine transform), DCT 계수의 양자화 및 VLC(variable length coding)를 이용한다. 움직임 보상 DPCM은 현재 프레임과 그의 이전 프레임 사이의 객체의 움직임을 검출하는 과정과 검출된 객체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 그의 예측 프레임간의 차를 나타내는 차 신호를 발생하는 과정을 포함한다.

움직임 보상 DPCM 데이타와 같은 영상데이타들간의 공간적인 중복성을 제거하는 이차원 DCT는 한 블럭의 디지탈 영상데이타 예를 들면, 8×8 픽셀 블럭을 한 세트의 변한 계수 데이타로 변환한다. 이러한 기법은 Chen 및 Pratt의 Scene Adaptive Coder, IEEE Transactions on Communications, COM-32, No. 3, pp.225-232(March 1984). 양자화기 zig zag 스캔 및 VLC를 이용하여 그와 같은 변환 계수 데이타를 처리함으로써, 전송될 데이타는 효과적으로 압축된다.

특히, 움직임 보상 DPCM에 있어서, 현재 프레임 데이타는 현재 및 이전 프레임간의 움직임 평가에 근거하여 이전 프레임 데이타로부터 예측된다. 추정된 움직임은 이전 및 현재 프레임간의 픽셀 변위를 나타내는 2차원 움직임 벡터로 표시된다.

영상신호내의 객체의 변위를 추정하는데 주로 이용되는 방법중의 하나로는 블럭 매칭 기법이 있다. 블럭 매칭 기법에 따르면, 현재 프레임은 다수의 탐색 블럭으로 분할되며, 하나의 탐색 블럭의 크기는 전형적으로 8×8 픽셀 내지 32×32 픽셀이다. 현재 프레임 내의 탐색 블럭을 위해 움직임 벡터를 결정하기 위하여, 현재 프레임의 탐색 블럭과 일반적으로 보다 큰 크기를 가진 이전 프레임의 탐색 영역에 포함된 다수의 동일한 크기의 후보 블럭들 사이에서 유사성이 계산된다. 그 경우, 평균 절대값 에러 또는 자승에러가 이용되며, 이러한 에러함수는 현재 프레임의 탐색 블럭과 탐색영역의 각각의 후보 블럭간의 유사성 측정에 이용된다. 또한, 정의에 의하면, 움직임 벡터는 탐색 블럭과 후보 블럭간의 변위를 나타내는 것으로, 최소의 에러 함수를 가진 것으로 표시된다. 탐색블럭이 탐색 블럭에 대응하는 탐색영역내의 모든 가능한 후보 블럭과 비교되기 때문에, 상당히 많은 계산량이 요구되며, 이로 인하여, 실시간 처리를 위해서는 많은 수의 처리기 뿐만 아니라, 고속 처리를 위해서는 복잡한 하드웨어를 필요로 하게 된다.

풀 탐색 블럭 매칭 방법을 수행하는 과정에서 요구되는 심각한 양의 계산양에 관련하여, 간략화된 알고리듬이 J. R. Jain 등의 Displacement Measurement and Its Application in Interframe Image Coding, IEEE Transcation of Communication COM-29, No. 12, pp.1799-1808(December 1981)라는 논문에 제안되었다. 이 논문에서 제안된 간략화된 알고리듬은 최소 왜곡을 가져오는 움직임의 방향을 탐색하며, 이러한 탐색 작업은 탐색영역을 순차적으로 좁혀나감으로써 이루어진다. 초기 단계는 탐색 영역내의 기설정된 위치에 있는 5개의 후보 블럭중에서 최소의 에러 함수를 갖는 후보 블럭에 대한 탐색하는 단계로 이루어진다. 후보 블럭을 검출한 후에, 다음 단계로서 전술하는 단계는 검출된 후보 블럭에 의해 결정된 탐색 영역상의 기설정된 위치에 있는 5개의 후보 블럭에 대해 반복된다. 이러한 단계는 또한 탐색영역이 3×3 크기의 후보 블럭으로까지 줄여질때까지 계속된다. 최종단계에서, 9개의 후보 블럭중의 최소 에러 함수를 발생하는 후보 블럭이 탐색 블럭의 가장 유사한 후보 블럭으로 결정되며, 이 경우, 그들간의 변위가 탐색블럭의 움직임 벡터로서 정해진다.

비록 이러한 간략화된 탐색 방법에 의해 계산상의 부담이나 하드웨어 부담을 줄일 수는 있으나, 결정된 움직임 벡터가 풀 탐색 블럭 매칭 기법에 의해 결정될 수 있는 가장 유사한 후보 블럭이라기보다는 국부적인 최소 에러 함수를 가진 후보 블럭을 반영하는 것이라 할 수 있기 때문에 실질적으로 블럭 매칭 알고리듬의 최적구현이라고 볼 수는 없을 것이다.

따라서, 본 발명의 목적은 시 분할 계층 움직임 평가 방법을 이용하여 하드웨어의 부담을 줄일 수 있는 움직임 벡터 검출 방법 및 장치를 제공하는데 있으며, 여기서 각각의 계층 구조에 있어서, 탐색 블럭의 움직임 벡터는 탐색 블럭의 대응 탐색 영역에 포함된 기설정된 탐색 영역내에서 탐색된다.

본 발명에 따르면, 시분할 다중 계층구조 움직임 추정을 이용하여 현재 프레임과 상기 현재 프레임의 처리 시간내의 선행 프레임간의 움직임 벡터들을 결정하는 방법으로써, 상기 방법에서 현재 프레임은 동일한 크기를 갖는 다수개의 탐색 블럭들로 분할되고 상기 선행 프레임은 대응하는 탐색블럭들로 분할되며, 상기 각 탐색블럭은 동일한 크기를 갖는 다수개의 후보 블럭들로 더 분할되고 상기 후보블럭들은 최고 계층으로부터 최저 계층사이에서 다른 계층들을 갖는 다수개의 탐색영역들로 그룹되는 것으로써, 상기 방법은:

상기 현재 프레임 내에서 상기 각 탐색 블럭에 대응하는 상기 최고 계층의 탐색 영역에 대해서 상기 각 탐색블럭의 움직임을 추정하여 각 탐색 블럭에 대한 포텐셜 움직임 벡터와 최소 에러 함수를 제공하며, 상기 포텐셜 움직임 벡터는 각 탐색 블럭과 상기 최소 에러 함수를 발생하는 후보 블럭간의 변위를 나타내는 제1단계와;

상기 각 탐색 블럭에 대한 최소 에러 함수와 포텐셜 움직임 벡터를 저장하는 제2단계와;

상기 각 탐색 블럭에 대한 최소 에러 함수와 상기 최고 계층의 임계값을 비교하여상기 최고 계층의 임계값보다 더 큰 최소 에러 함수를 갖는 탐색블럭들을 선택된 탐색 블럭들로써 선택하는 제3단계와;

상기 선택된 각 탐색 영역에 대응하는 저 계층의 탐색 영역에 대해서 상기 선택된 각 탐색영역의 움직임을 추정하여 상기 선택된 각 탐색 블럭에 대한 상기 저 계층의 포텐셜 움직임 벡터와 최소 에러 함수를 제공하며, 상기 포텐셜 움직임 벡터는 상기 선택된 각 탐색 블럭과 상기 저 계층의 상기 최소 에러 함수를 발생하는 후보 블럭간의 변위를 나타내는 제4단계와;

상기 탐색된 각각의 블럭에 대해서 상기 선택된 각 탐색블럭에 대응하는 상기 저장된 최소 에러 함수와 상기 저 계층의 최소 에러 함수에서 작은 값을 갖는 최소 에러 함수를 선택하고, 상기 선택된 탐색 블럭들에 대한 상기 선택된 최소 에러 함수들을 나타내는 선택 신호를 발생하는 제5단계와;

상기 선택된 탐색 블럭들에 대한 상기 저장된 최소 에러 함수들을 상기 선택된 최소 에러 함수들로 갱신하는 제6단계와;

상기 선택신호에 응답하여 상기 선택된 최소 에러 함수들에 대응하는 상기 포텐셜 움직임 벡터들을 상기 선택된 탐색 블럭들에 대한 선택된 포텐셜 움직임 벡터들로써 선택하는 제7단계와;

상기 선택된 탐색 블럭들에 대한 상기 저장된 포텐셜 움직임 벡터들을 상기 선택된 포텐셜 움직임 벡터들로 갱신하는 제8단계와;

상기 선택된 각 탐색 블럭에 대한 상기 선택된 최소 에러 함수와 상기 저 계층의 임계값을 비교하여 상기 저 계층의 임계값보다 더 큰 선택된 최소 에러 함수들을 갖는 탐색 블럭들을 다음 저 계층에 대한 상기 선택된 탐색 블럭들로써 선택하는 제9단계와;

상기 제8단계에서의 상기 갱신 처리가 상기 최저 계층에 대한 상기 저장된 포텐셜 움직임 벡터들에 대해 수행되거나 상기 프레임 구간이 모두 처리될 때까지 상기 제9단계에서 선택된 탐색 블럭들을 상기 제4단계로부터 상기 제9단계까지 적용하는 제10단계와;

상기 저장된 포텐셜 움직임 벡터들을 상기 현재 프레임의 움직임 벡터들로써 제공하는 제11단계를 포함한다.

제1도를 참조하면, 디지탈 비디오 신호를 압축하기 위한 부호화 시스템은 본 발명의 움직임 추정기 12를 포함한다.

현재 프레임 데이타는 입력 디지탈 비디오 신호로써 감산기 18 및 움직임 추정기 12에 공급된다. 실질적으로, 입력 디지탈 비디오 신호는 입력 메모리(도시안됨)로부터 블럭단위로 판독되며, 비디오 신호의 각 프레임은 블럭단위의 처리를 위해 픽셀 데이타의 연속 블럭으로 메모리에 사전저장된다. 입력 디지탈 비디오 신호의 블럭 사이즈는 전형적으로 8×8 내지 32×32 픽셀사이즈를 가진다.

본 발명의 움직임 추정기 12는 신규한 시분할 계층 구조 움직임 추정방법 및 장치를 이용하여 각각의 탐색 블럭에 대한 움직임 벡터를 결정하며, 이러한 방법 및 장치는 제2도 및 제3도를 참조하여 설명될 것이다. 현재 프레임의 전체 탐색 블럭에 대한 움직임 벡터를 결정하고 난 다음, 결정된 움직임 벡터들은 움직임 보상기 14 및 가변길이 부호화(VLC) 부호기 34에 공급된다.

각각의 움직임 벡터에 응답하여, 예측 신호, 즉, 움직임 벡터에 대응하는 후보 블럭의 픽셀 데이타가 움직임 보상기 14에 의해 메모리 16로부터 추출되어, 감산기 18 및 가산기 28에 제공된다. 움직임 보상기 14로부터의 예측 신호는 감산기 18에서 입력 디지탈 비디오 신호로부터 감산되며, 결과의 데이타, 즉, 에러신호는 변환 부호기, 예를 들면, DCT 부호기 20에 제공된다. 여기서, 예를 들면, 8×8 픽셀 데이타의 블럭은 에러 신호의 블럭은 변환계수 데이타로 부호화된다. 당업자라면, 본 발명에 개시된 DCT 부호기 대신 다른 변환 부호화 기법을 이용할 수 있을 것이다.

양자화기 22에서, DCT 부호기 20으로부터의 변환 계수는 한 세트의 양자화된 DCT 계수로 양자화되며, 이러한 한 세트의 양자화계수는 순차적으로 스캐너 30 및 역 양자화기(IQ) 24에 제공된다. 양자화된 DCT 계수는 IQ 24에서 한 세트의 DCT 계수로 변환된다. 한세트의 재생된 DCT 계수는 그다음 역 이산코사인 변환기(IDCT) 26에 제공되어, 한 블럭의 재생된 픽셀 데이타로 변환된다. 가산기 28에서, 움직임 보상기 14로부터의 예측신호와 IDCT 26으로부터의 재생된 픽셀 데이타의 블럭이 가산되어, 프레임 메모리 16에 기록될 현재 프레임의 재생된 블럭으로 제공된다. 프레임 메모리 16는 현재 및 이전 프레임 데이타를 저장하기 위한 2개의 프레임 메모리를 가진다. 가산기 28로부터의 출력 신호는 픽셀 데이타 블럭들을 포함한다. 현재 프레임을 나타내는 블럭들이 모두 프레임 메모리 16에 저장되어 있을 경우, 새로운 데이타가 현재 프레임이 되고 프레임 메모리 16에 이전에 저장된 현재 프레임 데이타는 이전 프레임이 된다.

한편, 양자화기 22로부터의 양자화된 DCT 계수들은 양자화된 DCT 계수들을 스캐닝하는 스캐너 30로 전송된다. 스캐너 30의 스캐닝 방식은, 예를들어 VLC 부호기 34와 같은 통계적 부호기에 적합한 지그재그형이며 DCT 계수들의 DC성분에 대응하는 값으로부터 스캐닝을 시작한다. VLC 부호기 34는 스캐닝된 데이타를 가변길이 부호화된 데이타의 세트로 변환한다. VLC 부호기 34는 실질적으로 양자화된 DCT 계수들의 제로 런-렝쓰 및 레벨의 각 세트와 그것의 가변길이 코드간의 관계를 규정하는 다수의 코드세트를 갖는 룩업 테이블이다. 여기서, 레벨은 영이 아닌 값을 갖는 양자화된 DCT 계수이고 제로 런-렝쓰는 스캐닝 시이퀀스에서 레벨에 선행하는 연속으로 영인 값을 갖는 것들의 총 개수를 말한다. 본 발명에 기술된 VLC 대신 다른 통계적 부호화 기법이 사용될 수 있음을 주목할 필요가 있다. 또한, 움직임 보상기 12로부터의 움직임 벡터들도 또한 VLC 부호기 34에 의해 부호화된다.

제2 및 제3도를 참조하면, 본 발명의 시분할 계층구조 움직임 추정이 기술되어 있다. 제2도에는 제1도에 도시된 움직임 추정기 12의 블럭도가 도시되어 있다. 입력 디지탈 비디오 신호는 제1프레임 메모리 210에 현재 프레임으로 저장되고, 제2프레임 메모리 212에 이전 프레임으로 저장된다. 본 발명에 따르면, 현재 프레임의 움직임 추정은 탐색 영역내의 후보블럭들을 다수의, 예를 들어 5개의 계층구조 탐색영역으로 그룹화하므로써 수행된다.

통상의 블럭매칭 알고리즘에 따르면, 현재 프레임은, 예를 들어 16×16 픽셀사이즈를 갖는 동일한 크기의 다수의 탐색블럭들로 분할된다. 탐색 블럭에 대한 움직임 벡터를 결정하기 위해 유사계산(similarity calculation)이 탐색블럭과 이전프레임내 일반적으로 크기가 탐색 블럭보다 더 큰 탐색영역에 포함된 동일한 크기를 갖는 다수의 각 후보블럭 사이에서 수행되며, 탐색영역은 수평 및 수직방향으로 소정의 범위, 예를들어 +/-12 픽셀의 범위를 갖도록 정의된다.

제3도를 참조하면, 본 발명의 움직임 추정에서 사용된 계층구조 탐색영역이 예시적으로 도시되어 있다. 도면에서 라인으로 에워싸인 각각의 사각형은, 예를들어 탐색영역에 포함된 후보블럭의 좌측 최상단의 픽셀을 나타내며, 또한 탐색영역 300에 포함된 후보블럭을 나타낸다. 본 발명의 바람직한 실시예에 따르면, 최대 탐색범위는 수평으로 방향으로 +/-12 픽셀, 수직방향으로 +/-6 픽셀이며, 탐색영역 300은 탐색범위에 의해 정의되는 영역으로부터 4개의 코너 후보블럭을 제외하고 321개의 후보블럭들을 포함한다. 탐색영역 300은 분할되어, 즉 321개의 후보블럭들이 본 발명에 따른 시분할 계층구조 움직임 추정을 수행하도록 다수의, 예를 들어 5개의 탐색영역으로 그룹화되며, 탐색영역 300 내부에 도시된 숫자 0 내지 4는 계층구조 탐색영역의 각 레벨을 나타낸다. 본 발명의 바람직한 실시예에 따르면, 도면에서 0으로 도시된 레벨-0 탐색영역은 탐색블럭과 동일한 위치에 있는 하나의 후보블럭을 포함하고, 나머지 레벨-1 내지 레벨-4 탐색영역은 각기 80개의 후보블럭을 포함한다. 본 발명은, 예를 들어 상술한 바와 다르게 상이한 개수의 후보블럭들을 갖도록 각각의 서치 에어리어를 구성하므로써 다른 방식으로 실시할 수도 있다.

제2도를 다시 참조하면, 현재 프레임에 대한 본 발명의 계층구조 움직임 추정은 각각의 탐색블럭을 대응하는 레벨-0 서치 에어리어에 대하여 움직임 추정하므로써 개시된다. 레벨 -0 움직임 추정을 수행하기 위해 메모리 제어 220는 각각의 탐색블럭에 대한 판독 어드레스를 블럭위치 메모리 222로, 레벨-0 정보를 라인 L20 상으로 발생시킨다. 판독 어드레스는 각각의 탐색블럭에 대한 위치 데이타가 블럭위치 메모리 222에 있는 어드레스를 나타낸다. 처리될 탐색블럭에 대한 위치 데이타는 판독 어드레스에 응답하여 블럭위치메모리 222로부터 프레임 어드레스 발생기 242, 버퍼 240, MSE(평균제곱에러) 및 MV(움직임 벡터) 발생기 224로 인출된다. 위치데이타가 또한, 버퍼 240에 제공되어 일시 저장된다.

다음에, 각 탐색블럭에 대한 위치 데이타와 라인 L20 상의 레벨-0 정보에 응답하여, 프레임 어드레스 발생기 242는 탐색블럭의 어드레스 데이타와, 대응하는 레벨-0 서치 에어리어내의 후보블럭의 어드레스 데이타를 제1 및 제2 프레임 메모리 210 및 212에 각각 제공한다. 가산기 216에서는, 제1프레임 메모리 210로부터 인출된 탐색블럭의 픽셀 데이타로부터 제2프레임 메모리 212로부터 인출된 후보블럭의 픽셀 데이타가 감산되고; 감산된 데이타, 즉 차분 신호는 MSE 블럭 218으로 제공되어 에러함수, 예를 들어 차분신호의 MSE가 계산된다. 각각의 탐색블럭에 대한 MSE는 스위치 SW1의 입력단자 A에 제공되며, 스위치의 라인 L20상의 레벨-0 정보에 응답하여 입력단자 A를 출력단자 C에 결합한다. 한편, 스위치 SW2의 입력 및 출력단자 A 및 C도 또한 라인 L20상의 레벨-0 정보에 의해 함께 결합되어 입력단자 A의 값이 영인 각 탐색블럭에 대한 움직임 벡터가 MV 메모리 234에 입력되도록 인에이블된다. 여기서, 영화된 움직임 벡터는 각 탐색블럭에 대한 포텐셜 움직임 벡터로서 저장된다.

MSE MV 어드레스 발생기 224는 블럭위치 메모리 222로부터의 위치 데이타에 응답하며, 필요한 어드레스 데이타를 MSE 메모리 226 및 MV 메모리 234로 발생시켜 스위치 SW1 및 SW2의 출력단자 C의 데이타를 메모리 226 및 234의 적절한 저장 영역에 각기 저장하도록 적용한다.

비교기 230에서는 각각의 탐색블럭에 대한 레벨-0 MSE값을 임계치 갱신기 228로부터의 레벨-0 임계치와 비교한다. 본 발명의 바람직한 실시예에 따르면, 임계치 갱신기 228는 소정의 레벨-0 임계치를 제공하지만, 다른 레벨들에 대한 갱신된 임계치를 대신 발생시킨다. 갱신된 임계치들은 처리될 잡(job)의 양에 대해 정해지는 잡 프로세스(job process)에 따라 적응적으로 조절되며, 잡 프로세스에 대해서는 차후에 상세히 기술될 것이다. 그러나, 레벨-0 임계치는, 움직임 벡터들을 보다 잘 추정할 수 있게 하는 입력 디지탈 비디오 신호의 특성, 예를들어 분산에 따라 조절될 수 있음을 주목해야 한다.

본 발명의 비교기 230은 스위치 SW1의 출력단자 C의 MSE 값이 레벨-0 임계치보다 크면, 로직 하이 비교 신호를, 그렇지 않으면, 로직 로우 비교 신호를 임계치 갱신기 228, 버퍼 240 및 메모리 제어 220로 발생시킨다. 비교기 230로부터의 로직 하이 비교 신호와 라인 L20 상의 레벨-0 정보에 응답하여, 임계치 갱신기 228는 임계치보다 큰 MSE값을 갖는 탐색 블럭의 개수를 계수한다. 계수치는 다음 레벨 즉, 레벨-1의 임계치를 갱신하는데 이용된다. 다음 레벨의 임계치를 갱신하기 위한 상세한 계획은 다음에 설명될 것이다.

비교기 230로부터의 비교 신호가 로직 하이이면, 메모리 제어 220는 블럭위치 메모리 222로 기록 어드레스를 발생시켜 버퍼 240에 일시적으로 저장된 레벨-0 임계치보다 큰 MSE값을 갖는 탐색블럭 각각에 대한 위치 데이타를 블럭위치 메모리 222에 기록하도록 인에이블된다. 상술한 바와 같은 방식으로 현재 프레임내의 모든 탐색블럭에 대한 레벨-0 움직임 추정을 수행한 후, MSE 메모리 226 및 MV 메모리 234는 MSE 값과 값이 영인 각 탐색블럭에 대한 포텐셜 움직임 벡터를 각기 저장하고; 블럭위치 메모리 222는 소정의 레벨-0 임계치보다 큰 레벨-0 MSE값을 갖는 탐색블럭의 위치 데이타를 저장한다.

본 발명의 블럭위치 메모리 222는 레벨-0 움직임 추정과정동안 모든 탐색블럭의 기저장된 위치 데이타를 가지며, 다음 레벨의 움직임 추정에서 처리될 탐색블럭들에 대한 위치 데이타를 임시로 저장하기 위한 부가적인 메모리 공간을 갖는다 본 발명의 바람직한 실시예에 따르면, 다음 레벨의 움직임 추정에 사용될 사전저장된 위치 데이타와 임시적으로 저장된 데이타는 효율적인 메모리 액세스에 관련된 기술분야에 잘 알려져 있는 원형 큐 방식(circular queue fashion)으로 블럭위치 메모리 222에 저장된다.

모든 탐색블럭에 대한 레벨-0 움직임 추정의 완료시 메모리 제어 220는 레벨-1 정보를 라인 L20으로 제공하고, 소정의 레벨-0 임계치보다 더 큰 레벨-0 MSE 값을 발생된 탐색블럭들에 대한 위치 데이타를 순차적으로 인출하기 위한 판독 어드레스를 발생시킨다. 레벨-1 움직임 추정과정에서 처리될 탐색블럭 각각에 대한 위치 데이타는 블럭위치 메모리 222로부터 인출되어 프레임 어드레스 발생기 242 버퍼 240 및 MSE MV 어드레스 발생기 224로 제공된다.

블럭위치 메모리 222로부터의 위치 데이타와 라인 L20상의 레벨-1 정보에 응답하여, 프레임 어드레스 발생기 242는 탐색블럭에 대응하는 제1세트의 어드레스 데이타와 상기 탐색블럭의 대응하는 레벨-1 탐색 영역내의 후보블럭들의 픽셀 데이타를 인출하기 위한 제2세트의 어드레스 데이타를 제1 및 제2프레임 메모리로 각기 발생시킨다. 통상의 움직임 추정 기법을 사용하므로써, 움직임 추정 유니트 214는 제1프레임 메모리 210로부터의 탐색블럭의 픽셀 데이타와 대응하는 레벨-1 서치 에어리어내의 후보블럭들의 픽셀 데이타에 의거한 탐색블럭의 레벨-1 움직임 추정을 수행하여 가장 작은 레벨-1 MSE 값과 대응하는 탐색블럭의 레벨-1 움직임 벡터를 MSE 선택기 232 및 MV 선택기 236로 각각 제공한다.

그 다음, MSE 선택기 232는 최저 레벨-1 MSE과 MSE값과 움직임 벡터 어드레스 발생기 224에 의해 MSE 메모리(226)로부터 검색된 동일 탐색 블럭의 레벨-0 MSE값을 비교하여 그들 두 개의 MSE값들 사이에서 작은 MSE값을 선택한 후, 스위치(SW1)의 입력단(B)으로 제공하고, 그리고 선택된 MSE값을 나타내는 선택신호 움직임 벡터 선택기(236)로 제공한다. 이들 두 MSE 값이 동일한 값을 갖는 경우, 보다 순위가 높은 계층의 MSE, 즉, 레벨-0의 MSE 선택된 MSEMSE값으로 결정된다. MSE 선택기 232로부터의 선택신호에 응답하여, 움직임 벡터 선택기(236)는 움직임 추정 유니트(214)로부터의 레벨-1 움직임 벡터와 MSE 및 MSEMV 어드레스 발생기 224에 의해 움직임 벡터 메모리(234)로부터 검색된 영값 포텐셜 움직임 벡터사이에서 작은 움직임 벡터를 선택하여 스위치(SW2)의 입력단(B)으로 제공한다.

본 발명의 바람직한 실시예에 있어서, 레벨-0 움직임 추정 처리에 대해서 전술한 바와 같이, 레벨-0 외의 다른 레벨들의 하나를 나타내는 레벨 정보에 응답하여 스위치들(SW1 및 SW2)의 각각의 출력단들(C)과 입력단들(B)이 결합되기 때문에, 출력단들(C)상의 선택된 MSE값과 움직임 벡터는 메모리 232 및 234에 각각 결합되어 레벨-1 MSE 값과 포텐셜 움직임 벡터로써 각기 저장된다.

이때, 비교기 230에서, 스위치 SW1의 단자 C에서의 탐색블럭의 선택된 MSE 값은 임계치 갱신블럭 228으로부터 제공되는 갱신 레벨-1 임계치와 비교된다. 레벨-0의 움직임 추정과정에서와 같은 형태에 있어서, 본 발명의 비교기 230는 스위치 SW1의 출력단자 C에서의 MSE 값이 레벨-1 임계치보다 클 경우 논리 하이 비교신호를, 반대의 경우에는 논리 로우 비교신호를 임계치 갱신블럭 228, 버퍼 240 및 메모리 제어부 220으로 제공한다. 임계치 갱신 블럭 228으로 제공된 논리 하이 비교신호 및 레벨-1 정보는 레벨-1 임계치보다 큰 선택된 MSE 값을 갖는 탐색블럭의 개수를 카운팅하는데 이용된다. 비교기 230로부터 제공되는 비교신호가 논리 하이신호인 경우, 메모리 제어부 220는 기록 어드레스를 블럭위치 메모리 222로 제공하여, 레벨-1 임계치보다 큰 선택된 MSE 값을 갖는 탐색블럭 각각에 대한, 버퍼 240에 일시적으로 저장되어 있는 위치 데이타가 블럭위치 메모리 222에 기록될 것이다.

레벨 2 내지 4 움직임 추정은, 움직임 추정이 각 레벨의 대응되는 탐색영역에 대해 움직임 추정부 214에서 수행된다는 것을 제외하고는, 레벨-1 움직임 추정에서 수행되었던 것과 동일한 방법으로 수행된다. 레벨-4 움직임 추정이 완료된 후, MV 메모리 234에 저장되어 있는 포텐셜 움직임 벡터는 현재 프레임의 탐색블럭의 움직임 벡터로서 라인 L12를 통해 제1도에 도시된 움직임 보상기 14로 제공된다.

전체 움직임 추정시 프레임 처리시간(예를들어, 30프레임/SEC의 프레임률을 갖는 비디오신호의 경우 33.3ms)내에 완전히 수행되지 않거나, 또는 프레임 처리시간이 본 발명의 시분할 움직임 추정의 어느 단계에서 모두 소요된다면, 그 순간에 움직임 추정은 중단되고, MV 메모리 234에 저장된 포텐셜 움직임 벡터는 현재 프레임의 움직임 벡터로서 제공되며, 움직임 추정은 다음 프레임에 대해 다시 시작된다.

본 발명의 바람직한 실시예에 있어서, 레벨-1 내지 레벨-4에 대한 각각의 임계치는 이전 레벨중의 어느 하나에서 결정된 움직임 벡터가 결정되는 탐색블럭의 개수에 의해 갱신된다. 예를들어, 400개 탐색블럭의 움직임 벡터가 현재 프레임의 총 1000개 탐색블럭으로부터 기설정된 임계치 TH(0)를 갖는 레벨-0의 움직임 추정, 즉, 레벨-0의 계수값이 600인 동안 결정되고 레벨-i(i=1, 2, 3 및 4)에 대한 임계치 TH(i)가 TH(i) = TH(0) + (현재 프레임의 탐색블럭의 총 개수 - 이전 레벨에서 움직임 벡터가 결정되는 탐색블럭의 개수)/100에 의해 결정되는 경우, 레벨 1의 임계치는 TH(1)는 TH(0)+6으로 결정된다. 이러한 경우, 레벨 1의 움직임 추정에서 500개의 움직임 벡터가 더 결정된다면, 레벨 2의 임계치 TH(2)는 TH(1)+1이 된다. 임계치 갱신 방법을 보다 세밀하게 하기 위한 본 발명에 따른 또다른 바람직한 실시예에 있어서, 이전 레벨의 움직임 추정동안 소요되는 프로세싱 시간은 임계치 결정에 또한 이용될 수 있다.

Claims (6)

1. 시분할 다중 계층구조 움직임 추정을 이용하여 현재 프레임과 상기 현재 프레임의 처리 시간내의 선행 프레임간의 움직임 벡터들을 결정하는 방법으로써, 상기 방법에서 현재 프레임은 동일한 크기를 갖는 다수개의 탐색 블럭들로 분할되고 상기 선행 프레임은 대응하는 탐색블럭들로 분할되며, 상기 각 탐색블럭은 동일한 크기를 갖는 다수개의 후보 블럭들로 더 분할되고 상기 후보블럭들은 최고 계층으로부터 최저 계층사이에서 다른 계층들을 갖는 다수개의 탐색영역들로 그룹되는 것으로써, 상기 방법은; 상기 현재 프레임 내에서 상기 각 탐색 블럭에 대응하는 상기 최고 계층의 탐색 영역에 대해서 상기 각 탐색블럭의 움직임을 추정하여 각 탐색 블럭에 대한 포텐셜 움직임 벡터와 최소 에러 함수를 제공하며, 상기 포텐셜 움직임 벡터는 각 탐색 블럭과 상기 최소 에러 함수를 발생하는 후보 블럭간의 변위를 나타내는 제1단계와; 상기 각 탐색 블럭에 대한 최소 에러 함수와 포텐셜 움직임 벡터를 저장하는 제2단계와; 상기 각 탐색 블럭에 대한 최소 에러 함수와 상기 최고 계층의 임계값을 비교하여 상기 최고 계층의 임계값보다 더 큰 최소 에러 함수를 갖는 탐색블럭들을 선택된 탐색 블럭들로써 선택하는 제3단계와; 상기 선택된 각 탐색 영역에 대응하는 저 계층의 탐색 영역에 대해서 상기 선택된 각 탐색영역의 움직임을 추정하여 상기 선택된 각 탐색 블럭에 대한 상기 저 계층의 포텐셜 움직임 벡터와 최소 에러 함수를 제공하며, 상기 포텐셜 움직임 벡터는 상기 선택된 각 탐색 블럭과 상기 저 계층의 상기 최소 에러 함수를 발생하는 후보 블럭간의 변위를 나타내는 제4단계와; 상기 탐색된 각각의 블럭에 대해서 상기 선택된 각 탐색블럭에 대응하는 상기 저장된 최소 에러 함수와 상기 저 계층의 최소 에러 함수에서 작은 값을 갖는 최소 에러 함수를 선택하고, 상기 선택된 탐색 블럭들에 대한 상기 선택된 최소 에러 함수들을 나타내는 선택 신호를 발생하는 제5단계와; 상기 선택된 탐색 블럭들에 대한 상기 저장된 최소 에러 함수들을 상기 선택된 최소 에러 함수들로 갱신하는 제6단계와; 상기 선택신호에 응답하여 상기 선택된 최소 에러 함수들에 대응하는 상기 포텐셜 움직임 벡터들을 상기 선택된 탐색 블럭들에 대한 선택된 포텐셜 움직임 벡터들로써 선택하는 제7단계와; 상기 선택된 탐색 블럭들에 대한 상기 저장된 포텐셜 움직임 벡터들을 상기 선택된 포텐셜 움직임 벡터들로 갱신하는 제8단계와; 상기 선택된 각 탐색 블럭에 대한 상기 선택된 최소 에러 함수와 상기 저 계층의 임계값을 비교하여 상기 저 계층의 임계값보다 더 큰 선택된 최소 에러 함수들을 갖는 탐색 블럭들을 다음 저 계층에 대한 상기 선택된 탐색 블럭들로써 선택하는 제9단계와; 상기 제8단계에서의 상기 갱신 처리가 상기 최저 계층에 대한 상기 저장된 포텐셜 움직임 벡터들에 대해 수행되거나 상기 프레임 구간이 모두 처리될 때까지 상기 제9단계에서 선택된 탐색 블럭들을 상기 제4단계로부터 상기 제9단계까지 적용하는 제10단계와; 상기 저장된 포텐셜 움직임 벡터들을 상기 현재 프레임의 움직임 벡터들로써 제공하는 제11단계를 포함하는 방법.
2. 제1항에 있어서, 상기 최고 계층의 상기 탐색 영역이 하나의 후보 블럭을 포함하며 나머지 탐색 영역들의 각각이 동일한 수의 후보벡터들을 구비하는 방법.
3. 제2항에 있어서, 상기 최고 계층의 임계값이 소정의 임계값을 가지며 상기 저 계층의 임계값은 그것보다 더 큰 계층의 임계값보다 작거나 같은 에러 함수들을 갖는 다수의 탐색블럭들에 의거하여 결정되는 방법.
4. 시분할 다중 계층구조 움직임 추정을 이용하여 현재 프레임과 상기 현재 프레임의 처리 시간내의 선행 프레임간의 움직임 벡터들을 결정하는 장치로써, 상기 장치에서 현재 프레임은 동일한 크기를 갖는 다수개의 탐색 블럭들로 분할되고 상기 선행 프레임은 대응하는 탐색블럭들로 분할되며, 상기 각 탐색블럭은 동일한 크기를 갖는 다수개의 후보 블럭들로 더 분할되고 상기 후보블럭들은 최고 계층으로부터 최저 계층사이에서 다른 계층들을 갖는 다수개의 탐색영역들로 그룹되는 것으로써, 상기 장치는; 상기 현재 프레임 내에서 상기 각 탐색 블럭에 대응하는 상기 최고 계층의 탐색 영역에 대해서 상기 각 탐색블럭의 움직임을 추정하여 각 탐색 블럭에 대한 포텐셜 움직임 벡터와 최소 에러 함수를 제공하며, 상기 포텐셜 움직임 벡터는 각 탐색 블럭과 상기 최소 에러 함수를 발생하는 후보 블럭간의 변위를 나타내는 제1움직임 추정 수단과; 상기 각 탐색 블럭에 대한 최소 에러 함수와 포텐셜 움직임 벡터를 저장하는 수단과; 상기 각 탐색 블럭에 대한 최소 에러 함수와 상기 최고 계층의 임계값을 비교하여 상기 최고 계층의 임계값보다 더 큰 최소 에러 함수를 갖는 탐색블럭들을 선택된 탐색 블럭들로써 선택하는 제1비교수단과; 상기 선택된 각 탐색 영역에 대응하는 저 계층의 탐색 영역에 대해서 상기 선택된 각 탐색영역의 움직임을 추정하여 상기 선택된 각 탐색 블럭에 대한 상기 저 계층의 포텐셜 움직임 벡터와 최소 에러 함수를 제공하며, 상기 포텐셜 움직임 벡터는 상기 선택된 각 탐색 블럭과 상기 저계층의 상기 최소 에러 함수를 발생하는 후보 블럭간의 변위를 나타내는 제2 움직임 추정 수단과; 상기 탐색된 각각의 블럭에 대해서 상기 선택된 각 탐색블럭에 대응하는 상기 저장된 최소 에러 함수와 상기 저 계층의 최소 에러 함수에서 작은 값을 갖는 최소 에러 함수를 선택하고, 상기 선택된 탐색 블럭들에 대한 상기 선택된 최소 에러 함수들을 나타내는 선택 신호를 발생하는 제1선택수단과; 상기 선택된 탐색 블럭들에 대한 상기 저장된 최소 에러 함수들을 상기 선택된 최소 에러 함수들로 갱신하는 제1갱신 수단과; 상기 선택신호에 응답하여 상기 선택된 최소 에러 함수들에 대응하는 상기 포텐셜 움직임 벡터들을 상기 선택된 탐색 블럭들에 대한 선택된 포텐셜 움직임 벡터들로써 선택하는 제2선택수단과; 상기 선택된 탐색 블럭들에 대한 상기 저장된 포텐셜 움직임 벡터들을 상기 선택된 포텐셜 움직임 벡터들로 갱신하는 제2갱신수단과; 상기 선택된 각 탐색 블럭에 대한 상기 선택된 최소 에러 함수와 상기 저 계층의 임계값을 비교하여 상기 저 계층의 임계값보다 더 큰 선택된 최소 에러 함수들을 갖는 탐색 블럭들을 다음 저 계층에 대한 상기 선택된 탐색 블럭들로써 선택하는 제2비교수단과; 상기 갱신 동작들이 상기 최저 계층에 대한 상기 저장된 포텐셜 움직임 벡터들에 대해 수행되거나 상기 프레임 구간이 모두 처리될 때까지 상기 저장된 포텐셜 움직임 벡터들을 상기 현재 프레임의 움직임 벡터들로써 제공하는 수단을 포함하는 장치.
5. 제4항에 있어서, 상기 최고 계층의 상기 탐색 영역이 하나의 후보 블럭을 포함하여 나머지 탐색 영역들의 각각의 동일한 수의 후보벡터들을 구비하는 장치.
6. 제5항에 있어서, 상기 최고 계층의 임계값이 사전 결정된 임계값을 가지며 상기 저 계층의 임계값은 그것보다 더 큰 계층의 임계값보다 작거나 같은 에러 함수들을 갖는 다수의 탐색블럭들에 의거하여 결정되는 장치.