KR0185940B1

KR0185940B1 - 미세한 움직임 추정 방법 및 그 장치

Info

Publication number: KR0185940B1
Application number: KR1019960000452A
Authority: KR
Inventors: 정제창; 전병우; 안우연
Original assignee: 김광호; 삼성전자주식회사
Priority date: 1996-01-11
Filing date: 1996-01-11
Publication date: 1999-04-15
Also published as: GB2309135B; KR970060161A; MY121586A; GB2309135A; GB9700425D0

Abstract

동보상 방법은 인접 프레임들간의 영상신호를 비교하여 영상의 움직임을 추정하기 위하여, 현재 영상 프레임의 일부를 나타내는 제1영상세그먼트와 인접 프레임의 복수개의 영상세그먼트들을 갖는 제2영상세그먼트를 형성하는 단계, 상기 제2영상세그먼트의 상기 복수개의 영상세그먼트들과 제 1영상세그먼트내의 영상신호를 비교하여, 다수의 에러값들을 발생하는 단계, 발생된 에러값들을 사용하여 한 해상도 스케일의 제 1동벡터를 검출하는 단계, 제1동벡터에 의해 가리켜진 기준세그먼트에 관련한 에러값 및 선택된 방향(들)로 개별적으로 선택된 해상도의 한 단위씩 이동된 기준세그먼트에 대응하는 에러값들을 출력하는 단계, 출력된 에러값들을 사용하여 정교한 해상도 스케일의 제2동벡터를 발생하는 단계, 및 제1동벡터 및 제2동벡터를 합산하는 단계를 포함한다.

Description

미세한 움직임 추정 방법 및 그 장치

제1도는 반화소 움직임추정을 위하여 사용된 종래의 장치를 나타낸 블록도,

제2도는 화소단위 및 반화소단위를 보여주는 개념도,

제3a도는 본 발명의 바람직한 일 실시예에 따른 움직임 추정 장치를 나타낸 블록도,

제3b도는 본 발명의 바람직한 다른 일 실시예에 따른 움직임 추정장치를 나타낸 블록도,

제4도는 제3a도~제3b도의 수평 반화소 제어기를 나타낸 상세 블록도,

제5a도 및 제5b도는 수평 반화소 제어기의 반화소 움직임벡터를 결정하기 위한 방법을 보여주는 개념도.

*도면의 주요부분에 대한 부호의 설명

31 : 영상세그먼트형성기 32 : 탐색영역형성기

33 : 탐색부 34 : 반화소제어부

35 : 수평반화소제어기 36 : 수직반화소제어기

37 : 합산부

본 발명은 움직임 추정 방법 및 장치에 관한 것으로, 보다 상세하게는 보다 정교한(fine) 해상도 스케일에서 동벡터(들)을 추정하기 위하여, 동벡터(들)의 추정에서 발생된 에러값들을 낮은 해상도 스케일 특히 디지탈 영상신호를 부호화하는 동보상된 DPCM(Differential Pulse Code Modulation) 방식에 사용하는 극히 미세한 움직임 추정을 위한 방법 및 장치에 관한 것이다.

일반적으로, 고품위 텔레비젼(High Definition Television; HDTV), 디지탈 VTR 및 멀티미디어(multi-media) 등과 같이, 연속적인 디지탈 영상신호들을 사용하는 영상신호 처리 장치는 전송데이터를 보다 효과적으로 합축하기 위하여 여러 가지 부호화 방법들을 사용한다. 그 중의 하나인 DPCM방식은 영상신호의 인접 프레임들간에 존재하는 데이터 상관성을 이용하여 디지탈 영상신호를 부호화 한다.

DPCM방식을 사용하여 시간적으로 인접하는 프레임들간의 차이신호를 부호화하는 경우, 프레임(frame)간에 움직임이 많은 영역은 움직임이 없는 영역보다 많은 데이터가 발생하게 된다. 그러나, 인접 프레임의 어떤 세그먼트로부터 현재 프레임의 특정 세그먼트로의 이동위치 즉, 현재 프레임의 특정 영역의 영상과 인접 프레임에서의 가장 유사한 영역을 찾아서 두 영역의 차이값을 부호화하면 데이터량을 줄일 수 있고, 이런 방식을 동보상된 DPCM(differential pulse code modulation)방식이라 한다. 따라서, 동보상된 DPCM방식에서는, 현재 프레임의 기설정된 영상세그먼트와 인접 프레임의 대응 영상세그먼트간의 차이 데이터가 부호화되어져, 전송 효율이 향상되어 진다. 동추정방식에서, 동벡터는 현재 프레임의 영상세그먼트와 인접 프레임의 대응 영상세그먼트 주변을 탐색하여 두 프레임간에 차이신호가 가장 적게되는 영상세그먼트의 움직임 방향 및 움직임 크기를 나타낸다.

화소단위의 움직임 추정을 위한 여러 가지 방식들이 제시되어 있다. 일반적으로, 시간적으로 다른 두 프레임들간의 움직임은 정수화소 단위보다 작을 수 있으므로, 정수화소 단위의 동벡터를 사용하여 동보상을 수행하는 동안 원하는 보다 효과적인 데이터압축이 이루어지지 않는 경우가 있다. 그러므로, 부(sub)화소 단위의 동벡터를 사용하면 프레임간 차이값들이 정수화소단위의 동벡터를 사용했을 때 보다 줄어들 수 있다. 부화소 단위중의 하나인 반화소 단위의 추정방법은 동추정을 위해 통상적으로 사용된다. 기존의 방식에 따른 반화소 단위를 사용한 동추정방법을 간략히 설명하면 다음과 같다.

제1도의 장치는, 현재 프레임의 영상신호를 수신하며 복수개의 화소들로 구성된 영상세그먼트들을 형성하는 영상세그먼트 형성기(1), 인접 프레임의 영상신호를 수신하며 복수개의 화소들로 구성된 영상세그먼트를 형성하는 탐색영역형성기(2), 영상세그먼트형성기(1) 및 탐색영역형성기(2)로부터 출력하는 영상신호들을 수신하며 화소단위의 제1동벡터(MV1)를 검출하는제1탐색부(3), 탐색영역형성기(2) 및 제1탐색부(3)로부터 출력하는 영상신호들을 수신하며 제1탐색부(3)로부터의 검출된 제1동벡터(MV1)에 의해 결정된 인접 프레임내의 기준 세그먼트가 되는 영상세그먼트와 그 주변 화소들을 사용하여 기준화소들 주변의 반화소 위치들에서의 영상신호값들을 계산하는 반화소 보간부(4), 영상세그먼트 형성기(1) 및 반화소 보간부(4)로부터 출력하는 영상신호들을 수신하며 반화소 단위의 제2동벡터(MV2)를 출력하는 제2탐색부(5), 및 제1탐색부(3) 및 제2탐색부(5)로부터의 개별적인 출력 신호들(MV1, MV2)을 수신 및 합산하며 동벡터(MV)를 출력하는 합산부(6)를 포함한다.

영상세그먼트 형성기(1)는 현재 프레임의 영상신호를 수신하며 세그먼트들의 형태로 입력 신호를 저장한다. 현재 프레임의 영상신호가 입력하는 것과 동시에, 탐색영역형성기(2)는 인접 프레임의 해당 세그먼트 주위의 영상신호를 수신하여 탐색영역 세그먼트를 형성한다. 제1탐색부(3)는 현재 프레임의 세그먼트에 가장 필적하는 세그먼트를 탐색영역 세그먼트내에서 탐색한다. 두 세그먼트들간의 화소단위의 데이터 비교에 의해, 제1탐색부(3)로부터 발생된 정수화소 단위의 제1동벡터(MV1)는 합산부(6)및 반화소보간부(4)로 출력한다. 반화소 보간부(4)는 정수화소 단위의 제1동벡터(MV1)를 사용하여 인접 프레임내에서 지정된 세그먼트의 기준 화소들과 그 주변화소들을 선형적으로 보간하여, 계산된 값들을 제2탐색부(5)로 출력한다.

위의 기존의 시스템에서, 영상세그먼트는 N₁×N₂화소들로 구성된 블록형태이며, 탐색영역은 M₁×M₂화소들로 구성된다. 또 다른 형태로는, 영상세그먼트들 및 탐색영역이 영상내의 대상체(object)들의 모양 및 크기(size)에 따라 형성되어 질 수도 있다. 게다가, MPEG의 P-프레임 또는 역방향 예측만을 수반하는 B-프레임과 같이 기준프레임으로 하나의 인접프레임만을 요구하는 단방향 예측의 경우, 현재 프레임의 영상세그먼트는 이전(previous) 또는 이후(future) 프레임내에서 구성된 탐색영역내의 영상세그먼트와 비교된다. 그러나, 전술한 동추정 역시 이전 및 이후 프레임들 둘 다를 수반한 양방향 예측에 적용할 수 있다. MPEG의 B-프레임에서와 같은 양방향 예측의 경우, 현재 프레임의 영상세그먼트는 이전 프레임 및 이후 프레임 내에서 형성된 탐색영역들내의 영상세그먼트들과 비교된다.

영상세그먼트와 탐색영역을 형성하기 위한 다른 기존의 방법은 영상내의 대상체들에 일치되게 이루어진다. 따라서, 형성된 영상세그먼트 및 탐색 영역세그먼트는 어떠한 크기 및 모양도 가질 수 있게 된다.

제2도에서, ''○''는 화소단위 간격을 나타낸 것이며, ×는 반화소 단위 간격을 나태낸 것이다. 제2탐색부(5)는 정수화소 단위의 제1동벡터(MV1)에 대응하는 인접 프레임의 영상세그먼트를 모든 방향에 대하여 각각 반화소 단위로 이동시키며, 얻어진 8개의 반화소 동벡터들 및 제1동벡터(MV1)에 대한 위치들(×)중에서 최소의 동보상에러를 갖는 위치를 탐색하고, 벡터성분들(-1/2, 0, 1/2)중의 하나 즉, 반화소 단위로 세세하게 제어된 값을 출력한다. 합산부(6)는 제1탐색부(3)로부터 출력하는 정수화소단위의제1동벡터(MV1)와 제2탐색부(5)로부터 출력하는 반화소 단위의 제2동벡터(MV2)를 합산하여, 동추정을 위한 완전한 동벡터(MV)를 발생한다. 예를들면, 합산부(6)는 제2탐색부(5)로부터의 반화소 단위의 제2동벡터(MV2)의 수평성분(-1/2)과 제 1탐색부(3)로부터의 화소단위의 동벡터(MV1=(x,y))를 합산하여 동벡터(MV=(x-1/2, y))를 결정한다.

이전 및 이후의 인접하는 프레임들을 수반하는 양방향 동추정의 경우, 동일한 절차가 전방향(forward) 및 후방향(backword) 예측 모두에 적용된다.

상술한 기존의 방법은 화소간격단위의 동벡터를 사용하여 세그먼트의 위치를 결정하며, 결정된 세그먼트와 그 세그먼트의 주변 화소들을 사용하여 반화소 위치들에서의 대응 화소값들을 선형적으로 보간한다. 이 방법은 보간된 반화소값들과 정수화소 단위의 동벡터에 의해 결정된 현재 프레임의 세그먼트 화소값들을 사용하며, 8개의 반화소 움직임 위치들 즉, 제2도의 ×들중에서 가장 유사한 세그먼트를 선택한다. 따라서, 이러한 기존의 방법은 반화소 단위의 동벡터를 추정하기 위한 데이터처리가 너무 많아지는 결점을 갖는다. 이러한 결점은 반화소단위의 동벡터 추정의 경우에만 한정되는 것이 아니라, 화소단위보다 정교한 해상도에서 동벡터 추정을 하는 경우에 대한 일반적인 문제가 된다.

전술의 문제점을 해결하기 위한 본 발명의 목적은, 극단적으로 상세한 움직임의 효과적인 보상을 가능하게 하는 움직임 추정방법을 제공하기 위한 것으로, 한 해상도 스케일에서의 에러값들을 보다 상세한 해상도 스케일에서의 동벡터들의 추정을 위해 사용하며, 한 해상도 스케일의 동벡터를 검출하기 위하여 현재 프레임내의 기설정된 영상세그먼트와 탐색영역내의 영상세그먼트간의 데이터비교의 결과로 발생된 에러값들을 비교하여 정교한 해상도의 동벡터를 추정하는 움직임추정방법을 제공함에 있다.

본 발명의 다른 목적은, 현재 영상세그먼트들내의 기설정된 영상세그먼트와 인접 프레임 (들)간의 데이터 비교에 의해 발생되며 프레임들간 동벡터들의 추정을 위해 사용된 한 해상도 스케일에 대응하는 에러값들을 채용하여, 발생된 에러값들을 비교하여 정교한 스케일의 동벡터를 추정하는, 극단적으로 상세한 움직임의 효과적인 보상을 가능하게 하는 동추정 장치를 제공함에 있다.

본 발명에 따른 이러한 목적들, 특징들 및 이점들은 인접 프레임들간의 영상신호를 비교하며 그 영상의 움직임들을 추정하는 방법에 의해 성취된다. 이 방법은 현재 영상프레임의 일부의 영상신호를 나타내는 제1영상세그먼트 및 인접 프레임의 영상신호를 가지며 탐색영역세그먼트로 간주되는 제2영상세그먼트를 형성하는 단계, 탐색영역세그먼트내에 존재하는 복수개의 영상세그먼트들의 영상신호와 제1영상세그먼트내의 영상신호를 비교하며 다수의 에러값들을 발생하는 단계, 제1동벡터에 의해 지적되며 기준세그먼트로 간주되는 세그먼트에 관련된 에러값 및 선택된 방향(들)로 선택된 해상도로 한 단위씩 자리이동된 기준세그먼트에 대응하는 에러값들을 출력하는 단계, 출력 에러값들을 사용하여 정교한 해상도 스케일의 제2동벡터를 발생하는 단계, 및 제1 및 제2동벡터를 합산하는 단계를 포함한다.

본 발명에 따른 이러한 목적들, 특징들 및 이점들은 인접 프레임들간의 영상신호를 비교하며 그 영상의 움직임을 추정하는 장치에 의해 성취된다. 이 장치는 현재 프레임의 영상신호를 수신하며 제1영상세그먼트를 형성하는 수단, 인접 프레임의 영상신호를 수신하며 제2영상세그먼트를 형성하는 수단, 제1영상세그먼트 형성수단 및 제2영상세그먼트 형성수단으로부터 출력하는 개별 영상신호를 수신하며, 하나의 선택된 해상도 스케일 단위의 제1동벡터를 검출하며, 검출된 제1동벡터에 의해 지적되는 인접 프레임내의 기준영상세그먼트를 선택된 방향(들) 각각으로 상기 선택된 스케일의 한 단위씩의 이동에 의해 발생된 주변 영상세그먼트들 및 기준영상세그먼트의 영상신호들을 제1영상세그먼트의 영상신호와 비교하고, 개별비교의 결과로 얻어진 에러값들을 출력하는 탐색수단, 탐색수단으로부터 출력하는 에러들을 수신하며 선택된 스케일보다 정교한 해상도를 갖는 제2동벡터를 발생하는 제어수단, 및 제1 및 제2동벡터를 수신하며 수신된 동벡터들을 가산 및 출력하는 합산수단을 포함한다.

이하, 첨부된 도면들을 참조하여 본 발명을 구현한 바람직한 실시예들을 상세히 설명하면 다음과 같다.

상세한 설명은 제1동벡터를 위한 단위 스케일과 제2동벡터를 위한 정교한 스케일이 각각 화소단위 해상도 및 반화소단위 해상도가 되도록 선택된 경우를 위하여 이루졌어으나, 이러한 예가 본 발명을 한정하는 것은 아니므로 다르게 선택된 스케일들에도 적용할 수 있다.

인접 프레임내의 한 세그먼트에 대응하는 현재 프레임내의 기설정된 세그먼트의 동벡터는 MV=(x,y)로 표현되었다. 여기서, 동벡터(MV)는 동벡터의 수평성분(x) 및 수직성분(y)를 갖는다.

제3a도는 본 발명의 바람직한 일 실시예에 따른 동추정 장치를 나타낸 블록도이다.

제3a도의 장치는, 현재 프레임의 영상신호를 수신하며 복수개의 화소들로 구성된 영상세그먼트들을 형성하는 영상세그먼트형성기(31); 인접 프레임의 영상신호를 수신하며 복수개의 화소들로 구성된 영상세그먼트들을 형성하는 탐색영역형성기(32); 영상세그먼트형성기(31) 및 탐색영역형성기(32)로부터 출력하는 영상신호들을 수신하며, 탐색영역형성기(32)에 의해 형성된 탐색영역세그먼트내의 영상세그먼트들과 현재 프레임내의 영상세그먼트간의 영상신호들을 비교함에 의해 화소단위의 제1동벡터(MV1)를 검출하며, 검출된 제1동벡터(MV1)에 의해 가리켜진 기준 세그먼트로 불리우는 영상세그먼트와 이 기준 세그먼트를 수평 및 수직 방향들로 한 화소씩 이동하여 발생된 영상세그먼트들에 대응하는 에러값들을 출력하는 탐색부(33);탐색부(33)로부터 출력하는 에러값들을 수신하며 수직 및 수평으로 각각 반화소간격의 제 2동벡터(MV2)를 계산하는 반화소제어부(34); 탐색부(33)로부터의 제 1동벡터(MV1) 및 반화소제어부(34)로부터의 제 2동벡터(MV2)를수신하며, 개별 벡터들을 합산하여 결과 동벡터(MV)를 출력하는 합산부(37)를 포함한다.

반화소제어부(34)는 제2동벡터(MV2)의 수평성분을 검출하기 위한 수평반화소제어기(35)와 제2동벡터(MV2)의 수직성분을 검출하기 위한 수직반화소제어기(36)를 구비한다.

시간적으로 구분되는 두 인접 프레임들을 위한 영상신호들 중에서, 영상세그먼트형성기(31)는 현재 프레임의 영상신호를 수신하며 입력 신호를 제1세그먼트로 저장한다. 현재 프레임의 영상신호가 입력함과 동시에, 탐색영역형성기(32)는 인접 프레임의 영상신호를 수신하며 수신된 영상신호를 유용하게는 제1세그먼트보다 큰 제2세그먼트로 저장한다. 탐색부(33)는 탐색영역형성기(32) 및 영상세그먼트형성기(31)로부터 각각 출력하는 저장된 제2세그먼트 및 제1세그먼트의 영상신호들을 개별적으로 수신한다. P-프레임의 경우, 비교는 현재 프레임과 이전 프레임간에 이루어진다. 그러나, B-프레임의 경우, 비교는 현재 프레임과 이전 프레임간의 비교에 더하여 현재 프레임과 이후 프레임간에 이루어진다. 그러므로, B-프레임의 경우, 탐색영역형성기(32)는 이전 프레임의 제2세그먼트 및 이후 프레임의 제3세그먼트를 형성한다. 따라서, 비교는 현재 프레임과 이전 프레임간에 먼저 이루어진 다음 현재프레임과 이후프레임간에 이루어지거나, 그 반대로 이루어지거나 또는 비교들이 제3b도에서 보인 것 처럼 동시에 일어날 수 있다.

이후로는 제1세그먼트와 제2세그먼트가 각각 N₁×N₂화소들 및 M₁×M₂화소들의 형태를 갖는 경우를 설명한다. 더욱이, 설명의 단순화를 위하여, 정수화소 단위가 하나의 해상도 스케일로 선택되며 반화소 단위가 정교한 해상도 스케일로 선택된다. 이러한 본 발명은 다르게 선택된 해상도 스케일들의 경우에도 적용할 수 있음은 물론이다.

정수화소 단위의 동벡터를 추정함에 의해 얻어진 움직임추정에러는 P₀로 표현되며, 추정된 동벡터에 근거하여 한 화소씩 수평 및 수직방향으로 이동함에 의해 발생된 움직임 추정에러들은 각각 P₁', P_-1', P_-1, and P₁로 표현된다. 평균절대오차(Mean Absolute Error; MAE) 또는 평균제곱오차(Mean Squared Error; MSE)는 동추정에러들의 계산을 위하여 유용하게 사용되어질 수 있다. MAE에 의한 수평 동추정에러들(P₀, P_l, P_-1)의 계산을 위하여 바람직하게 사용할 수 있는 식들은 다음과 같다.

여기서 Y는 현재 프레임의 영상신호를 나타내며, Y'는 인접 프레임의 영상신호를, 그리고 N₁=N₂=N은 세그먼트의 크기(size)를 나타낸다. 위의 식들에서, (k,l)은 프레임들의 왼쪽 상단으로부터 (k,l)인 위치를 나타낸다. 수직 움직임추정에러들(P_l', P_-1')은 위에서 열거된 식들을 사용한 마찬가지 방법으로 계산되어질 수 있다.

탐색부(33)는 화소단위로, 현재 프레임의 영상세그먼트와 인접 프레임의 탐색영역내에 존재하며 비슷한 크기를 갖는 복수개의 인접 영상세그먼트들간을 비교하며, 개별 비교의 결과인 움직임 추정에러들을 계산한다. 정수화소 단위의 제1동벡터(MV1)는 움직임추정에러가 최소가되는 세그먼트위치로 결정되며, 합산부(37)로 출력된다. 탐색부(33)는 반화소제어부(34)로 정수화소 단위의 제1동벡터(MV1)에 의해 결정된 인접 프레임내의 기준 영상세그먼트 및 기준 영상세그먼트 주변에 존재하며 한 화소씩 자리이동된(shifted) 다수의 영상세그먼트들에 대응하는 움직임추정에러들(P_-1, P_l, P₀, P_-1', P_l')을 출력한다. 유용하게는, 본 발명은 반화소 단위의 동벡터의 수평 및 수직성분들을 동시에 독자적으로 결정한다. 그러나, 수평반화소제어기(35) 및 수직반화소제어기(36)는 동일한 방식을 사용하므로, 반화소 단위 동벡터의 수평성분을 결정하는 방법만을 설명한다.

한방향 동예측의 경우, 현재 프레임과 인접 프레임의 비교결과인 움직임추정에러(P_-1, P₁, P₀, P_-l', P_l')값들은 위에서 설명한 것처럼 탐색부(33)로부터 반화소제어부(34)로 출력한다. 그러나, B-프레임과 같은 양방향 동예측에 대해서는 현재 프레임과 이전 프레임의 비교결과에 의한 에러값들과 현재 프레임과 이후 프레임의 비교결과에 의한 움직임 추정에러값들이 탐색부(33)로부터 반화소제어부(34)로 출력된다.

제3b도는 두 개의 인접하는 프레임들이 동시에 그 시스템으로 입력하는 것을 제외하면 제3a도와 유사하다. B-프레임의 경우, 이후 프레임과 이전 프레임은 동시에 그 시스템으로 입력한다.

제4도는 제3a도 또는 제3b도의 수평반화소제어기를 나타낸 상세 블록도이다.

제4도의 기기는 동추정에러들(P₁, P₀, P_-1)을 수신하기 위한 세 개의 입력단들(41, 42, 43);제1입력단(41)의 입력신호(P₁)와 제2입력단(42)의 입력신호(P₀)를 가산하여 출력하는 제1가산기(Al); 제2입력단(42)의 입력신호(P₀)와 제3입력단(43)의 입력신호(P_-l)를 가산하여 출력하는 제2가산기(A2); 제1가산기(A1)의 출력단에 결합된 기설정된 입력단을 가지며, 개별 입력신호들을 비교하는제1비교기(CMP1); 제2가산기(A2)의 출력단에 결합된 기설정된 입력단을 가지며, 개별 입력신호들을 비교하는 제2비교기(CMP2); 제2가산기(A2)의 출력신호에 기설정된 계수를 곱하며 곱해진 값을 제1비교기(CMP1)로 출력하는 제1곱셈기(M1); 및 비교기들(CMP1,CMP2)로부터의 개별 출력신호들을 부정논리합하는 NOR게이트(NOR)를 구비한다.

탐색부(33)로부터 출력하는 동추정에러들(P₁, P₀, P_-1,)은 반화소제어부(34)의 수평반화소제어기(35)로 입력한다. 그러면, 제1가산기(A1)는 제1입력단(41)을 통한 입력신호(P1)로부터 제2입력단(42)를 통한 입력신호(P₀)를 감산한다.제2가산기(A2)는 제3입력단(43)을 통한 입력신호(P_-1)로부터 제2입력단(42)를 통한 입력신호(P₀)를 감산한다. 제1 및 제2곱셈기들(M1, M2)은 가산기 출력신호들 각각에 기설정된 각 계수를 곱하며, 곱해진 결과를 곱셈기들의 출력단에 각각 연결된 비교기들(CMP1, CMP2)로 출력한다. 유용하게는, P₀및 P_-1간의 차이값(a) 및 P₀및 P₁간의 차이값(b)은 제2비교기(CMP2) 및 제1비교기(CMP1)로 개별적으로 입력한다. 바람직하게는, 제1비교기(CMP1)는 제1가산기(A1) 및 제1곱셈기(M1)의 출력신호들을 비교 및 출력한다. 제2비교기(CMP2)는 제2가산기(A2) 및 제2곱셈기(M2)의 출력신호들을 비교 및 출력한다.

제5a도 및 제5b도는 수평반화소제어기(35)에서의 반화소단위 움직임벡터 결정방법을 보여주는 개념도이다. 제5a도는 반화소단위의 동벡터(MV2)가 화소단위의 동벡터(MV1)에 대하여 왼쪽에 존재함을 보여주며, 제5b도는 반화소단위의 동벡터(MV2)가 화소단위의 동벡터(MV1)에 대하여 오른쪽에 존재함을 보여준다.

제5a도에서, P₁이 P_-1보다 크다(즉, b가 a보다 크다)는 것은 움직임벡터(MV)가 화소단위의 제1동벡터(MV1)으로부터 왼쪽으로 대략 1/2인 거리에 위치함을 표시한다. 제5b도에서, P₀를 기준으로 P_-1이 P1보다 크다(즉, a가 b보다 크다)는 것은 동벡터(MV)가 화소단위의 제1동벡터(MV1)으로부터 오른쪽으로 대략 1/2인 거리에 위치한다는 것을 나타낸다.

제5a도에서, P₁이 P₀를 기준하여 P_-1보다 큰 경우에 대하여, 제1비교기(CMP1)의 출력(44)만이 ''하이가 된다. 따라서, 수평반화소제어기(35)는 제2동벡터(MV2)의 수평성분값인 -1/2을 출력한다. 제5b도에서, P_-1이 P₀를 기준하여 P₁보다 큰 경우에 대하여, 제2비교기(CMP2)의 출력(46)만이 하이 가 된다. 따라서, 수평 반화소제어기(35)는 제2동벡터(MV2)의 수평성분값인 1/2을 출력한다. P₀를 기준한 P₁및 P_-1이 서로 동일할때, 두 비교기들(CMP1, CMP2)의 출력신호들은 둘다가 로우가 된다. 그러므로, NOR게이트(NOR)는 로우값들을 수신하여 하이인 신호를 출력한다. 따라서, 제2동벡터(MV2)의 수평성분은 0이 된다.

합산부(37)는 제2동벡터(MV2)를 수신하여 그것을 탐색부(33)에 의해 얻어진 화소단위의 제1동벡터(MV1)에 가산하고, 그것에 의하여 반화소단위의 동벡터(MV)를 추정하게 된다.

본 발명에 따른 움직임 추정 방법 및 장치는 선택된 해상도 스케일에서 동벡터를 검출하기 위하여 현재 프레임내의 선택된 세그먼트와 인접 프레임내의 세그먼트들의 영상신호들을 비교하며, 선택된 동벡터에 따른 동벡터들의 방향들에서 계산된 에러값들을 발생한다.

발생된 에러값들을 수직 비교함에 의하여, 정교한 해상도 스케일에서의 동벡터의 수직성분이 검출된다. 발생된 에러값들을 수평 비교함에 의하여, 정교한 해상도 스케일에서의 동벡터의 수평성분이 검출된다. 따라서, 본 발명은 정교한 해상도 스케일에서의 동벡터의 검출을 위하여 처리되어야 할 데이터 량을 줄임으로써 동추정의 효율을 크게 높일 수 있게 한다.

본 발명은 특정 형태를 갖는 영상세그먼트와 탐색영역을 이용하여 설명되었으나, 영상세그먼트와 탐색영역이 대상체들의 모양들 및 크기들에 따라 형성되는 한 그 영상세그먼트와 탐색영역은 어떠한 모양 및 크기로 만들 수 있다. 게다가, 현재 프레임에서의 세그먼트의 비교가 현재 프레임으로부터 시간적으로 한 프레임 이상 떨어진 이전 또는 이후 프레임들 뿐만 아니라 바로 이전 프레임 또는 바로 이후 프레임과도 이루어 질 수 있다. 더욱이, 비교는 하나 이상의 인접하는 프레임들이 비교되는 MPEG시스템에서 사용된 B-프레임과 같은 위에서 언급된 프레임들의 어떠한 결합에 대해서도 이루어 질 수 있다.

Claims

인접 프레임들간의 영상신호를 비교하여 영상의 움직임을 추정하는 방법에 있어서, 현재 영상 프레임의 일부를 나타내는 제1영상세그먼트와 인접 프레임의 복수개의 영상세그먼트들을 갖는 제2영상세그먼트를 형성하는 단계; 상기 제2영상세그먼트의 상기 복수개의 영상세그먼트들과 제1영상세그먼트내의 영상신호를 비교하여, 다수의 에러값들을 발생하는 단계; 발생된 에러값들을 사용하여 한 해상도 스케일의 제1동벡터를 검출하는 단계; 제1동벡터에 의해 가리켜진 기준세그먼트에 관련한 에러값 및 선택된 방향(들)로 개별적으로 선택된 해상도의 한 단위씩 이동된 기준세그먼트에 대응하는 에러값들을 출력하는 단계; 출력된 에러값들을 사용하여 정교한 해상도 스케일의 제2동벡터를 발생하는 단계; 및 제1동벡터 및 제2동벡터를 합산하는 단계를 포함하는 방법.
제1항에 있어서, 상기 발생단계는 상기 기준영상세그먼트의 에러값과 상기 기준영상세그먼트의 중심에 대하여 제1방향으로 위치된 상기 주변영상세그먼트들의 에러값들을 사용하여 상기 제2동벡터의 상기 제1방향으로의 성분을 검출하는 단계; 및 상기 기준영상세그먼트의 에러값과 상기 기준영상세그먼트의 중심에 대하여 제2방향으로 위치된 상기 주변영상세그먼트들의 에러값들을 사용하여 상기 제2동벡터의 상기 제2방향으로의 성분을 검출하는 단계를 포함하는 방법.
제2항에 있어서, 상기 제1방향 및 제2방향은 각각 수평방향 및 수직 방향인 방법.
제2항에 있어서, 상기 제1방향으로의 상기 제2동벡터의 상기 성분 및 상기 제2방향으로의 상기 제2동벡터의 상기 성분은 최소에러값에 대응하는 영상세그먼트의 위치를 표시하는 방법.
제1항에 있어서, 상기 인접 프레임은 이전 프레임인 방법.
제5항에 있어서, 상기 이전 프레임은 상기 현재 프레임에 대한 바로 이전 프레임인 방법.
제5항에 있어서, 상기 이전 프레임은 상기 현재 프레임으로부터 시간적으로 구분되는 복수개의 프레임들인 방법.
제1항에 있어서, 상기 인접 프레임은 이후 프레임인 방법.
제8항에 있어서, 상기 이후 프레임은 상기 현재 프레임에 대한 바로 이후 프레임인 방법.
제8항에 있어서, 상기 이후 프레임은 상기 현재 프레임으로부터 시간적으로 구분되는 복수개의 프레임들인 방법.
제1항에 있어서, 상기 제2영상세그먼트의 상기 복수개의 영상세그먼트들 각각은 상기 제 1영상세그먼트와 동일한 세그먼트 크기를 갖는 방법.
제1항에 있어서, 상기 한 해상도 스케일은 한 화소 단위이며 상기 정교한 해상도 스케일은 반화소 단위인 방법.
인접 프레임들간의 영상신호를 비교하여 영상의 움직임을 추정하는 장치에 있어서, 현재 프레임의 영상신호를 수신하여 제1영상세그먼트를 형성하는 수단; 인접 프레임의 영상신호를 수신하여 제2영상세그먼트를 형성하는 수단; 제1영상세그먼트 형성기 및 제2영상세그먼트 형성기로부터 개별적으로 출력하는 영상신호들을 수신하여, 한 선택된 해상도 스케일단위의 제1동벡터를 검출하며, 상기 제1동벡터에 일치하는 상기 제2영상세그먼트내의 기준영상을 결정하며, 기준영상세그먼트를 선택된 해상도 스케일의 한 단위씩 선택된 방향(들)로 이동함에 의해 발생된 주변영상세그먼트들 및 기준영상세그먼트의 영상신호들과 제1영상의 영상신호를 비교하고, 개별 비교들의 결과로 얻어진 에러값들을 출력하는 탐색수단; 탐색수단으로부터 출력하는 에러값들을 수신하여 상기 선택된 스케일보다 정교한 해상도 스케일의 제2동벡터를 발생하는 제어수단; 및 제1 및 제2동벡터들을 수신하여 그것들을 가산 및 출력하는 합산수단을 포함하는 방법.
제13항에 있어서, 상기 제어수단은 상기 기준영상세그먼트의 상기 에러값과 상기 기준영상세그먼트의 중심에 대하여 제1방향으로 위치된 상기 주변영상세그먼트들의 에러값들을 비교하여 상기 제2동벡터의 상기 제1방향에서의 벡터성분을 검출하는 제1제어기; 및 상기 기준영상세그먼트의 상기 에러값과 상기 기준영상세그먼트의 중심에 대하여 제2방향으로 위치된 상기 주변영상세그먼트들의 에러값들을 비교하여 상기 제2동벡터의 상기 제2방향에서의 벡터성분을 검출하는 제2제어기를 포함하는 장치.
제14항에 있어서, 상기 제1방향 및 상기 제2방향은 각각 수평방향 및 수직방향인 장치.
제14항에 있어서, 상기 제어기는 상기 기준영상세그먼트의 한 쪽(side)에 위치된 상기 주변영상세그먼트들에 대응하는 에러값들로부터 상기 기준영상세그먼트에 대응하는 에러값을 감산하는 제1감산기; 상기 기준영상세그먼트의 다른 한 쪽에 위치된 상기 주변영상세그먼트들에 대응하는 에러값들로부터 상기 기준영상세그먼트에 대응하는 에러값을 감산하는 제2감산기; 상기 제2감산기의 개별적인 제1출력신호에 기설정된 계수를 곱하여 제1곱해진 값을 생성하는 제1곱셈기; 상기 제1감산기의 개별적인 제 2출력신호에 기설정된 계수를 곱하여 제2곱해진 값을 생성하는 제2곱셈기; 상기 제2출력신호 및 상기 제1곱해진 값을 수신하며, 수신된 입력들의 개별 크기들을 비교하여 비교결과로 제1이진신호를 제공하는 제1비교기; 상기 제1출력신호 및 상기 제2곱해진 값을 수신하며, 수신된 입력들의 개별 크기들을 비교하여 비교결과로 제2이진신호를 제공하는 제2비교기; 및 상기 제1 및 제2비교기들로부터의 상기 제1 및 제2이진신호들을 개별적으로 수신하며, 부정논리합연산하여 상기 제2동벡터를 나타내는 연산된 값을 생성하는 NOR게이트를 포함하는 장치.
제13항에 있어서, 상기 인접 프레임은 이전 프레임인 장치.
제17항에 있어서, 상기 이전 프레임은 상기 현재 프레임에 대한 바로 이전 프레임인 장치.
제17항에 있어서, 상기 이전 프레임은 상기 현재 프레임으로부터 시간적으로 구분되는 복수개의 프레임들인 장치.
제13항에 있어서, 상기 인접 프레임은 이후 프레임인 장치.
제20항에 있어서, 상기 이후 프레임은 상기 현재 프레임에 대한바로 이후 프레임인 장치.
제20항에 있어서, 상기 이후 프레임은 상기 현재 프레임으로부터 시간적으로 구분되는 복수개의 프레임들인 장치.
제14항에 있어서, 상기 제2영상세그먼트는 복수개의 영상세그먼트들을 갖는 장치.
제23항에 있어서, 상기 제2영상세그먼트의 상기 복수개의 영상세그먼트들 각각은 상기 제 1영상세그먼트와 동일한 세그먼트 크기를 갖는 장치.
제13항에 있어서, 상기 한 해상도 스케일은 한 화소단위이며 상기 정교한 해상도 스케일은 반화소단위인 장치.