KR0160901B1 - 경계 매칭 움직임 추정장치 - Google Patents

Abstract

본 발명은 경계매칭기법을 사용하여 움직임 벡터를 정확하게 검출할 수 있는 개선된 움직임 추정장치에 관한 것으로, 비디오 신호의 현재프레임과 이전프레임 사이의 범위를 나타내는 움직임 벡터를 결정하기 위한 장치는 블록매칭부로 부터 계산된 에러함수들을 서로 비교하여 크기가 작은 순서로 M 개의 에러함수를 선택하는 에러 검출기와, 후보블럭 형성부로 부터 발생된 변위벡터들중에서 M 개의 변위벡터를 선택하는 변위벡터 선택기와, M 개의 후보블럭을 선택하기 위한 후보블럭 선택기와, M 개 세트의 경계차를 발생시키는 경계매칭부와, M 개 세트의 경계차들중 한 세트내에 있는 경계차들을 소정의 값과 비교하여 소정의 값보다 더 큰 값을 갖는 경계차들의 갯수를 카운트하는 비교 및 카운팅부와, 카운트된 값이 최소인 것을 선택하여 M 개의 변위벡터들중 선택된 카운트값에 대응하는 하나의 변위벡터를 탐색블럭에 대한 움직힘 벡터로 결정하는 최적움직임 벡터 선택기를 포함한다.

Description

경계 매칭 움직임 추정장치

제1도는 1a 및 1b도를 포함하며, 움직임 벡터를 검출할 수 있는 본 발명에 따른 경계 매칭 움직임 추정장치를 개략적으로 도시한 블럭도.

제2도는 후보 블럭에 대한 경계매칭동작을 설명하기 위한 예시적 비디오 프레임을 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

10 : 현재프레임 블럭형성부 15 : 탐색영역 형성부

21,22,29 : 후보블럭 형성부 41,42,49 : 블럭매칭부

50 : 에러 검출기 60 : 변위벡터 선택기

70 : 후보블럭 선택기 82,82,86 : 경계매칭부

92,94,96 : 비교 및 카운팅부 100 : 최적움직임 벡터 선택기

본 발명은 움직임 벡터를 결정하기 위한 장치에 관한 것으로, 특히 경계매칭 기법(boundary matching technique)을 사용하여 움직임 벡터를 결정하는 개선된 움직임 추정장치에 관한 것이다.

일반적으로 고선명 텔레비젼 및 비디오 전화 시스템과 같은 다양한 전자/전기적 응용분야에 있어서, 영상신호는 디지탈 형태로 전송될 필요가 있다. 영상신호가 디지탈 형태로 표현될 때, 상당한 양의 디지탈 데이터가 발생된다. 그러나, 통상의 전송채널의 이용가능한 주파수 대역폭이 제한적이므로, 영상신호를 통상의 전송채널을 통해 전송하기 위해서는 전송데이타량을 압축하거나 줄여야한다. 다양한 압축기법중에서, 움직임 보상 인터프레임 부호화 기법이 효과적인 압축기법중의 하나로 알려져 있는데, 이것은 신호의 압축을 위해 두 인접 비디오 프레임 사이의 비디오 신호의 시간적 리던던시를 사용한다.

움직임 보상 인터프레임 부호화 기법에 있어서, 현재 프레임 데이터는 현재 프레임과 이전 프레임사이의 움직임 추정에 의거하여 이전 프레임으로 부터 예측된다. 이러한 추정된 움직임은 이전 프레임과 현재 프레임 사이의 화소들의 변위를 나타내는 2 차원 움직임 벡터로 나타낼 수 있다. 본 기술 분야에 제안되어 있는 움직임 벡터 추정 기법중의 하는 블럭매칭 알고리즘이다(Sec, e, g . , J. R. Jain et al. , Displacement Measurement and Its Application in Interframe Image Coding, IEEE Transactions on Commuaications COM-29, No, 12(December 1981)).

블럭매칭 알고리즘에 따르면, 현재 프레임은 다수의 동일한 크기의 탐색블럭들로 분할된다. 탐색블럭의 크기는 전형적으로 8 × 8 과 32 × 32 화소사이의 범위를 갖는다. 현재프레임내의 탐색블럭에 대한 움직임벡터를 결정하기 위해서는 현재프레임의 탐색블럭과, 탐색블럭과 동일한 크기를 갖는 다수의 각 후보블럭사이에서 유사계산(similarity calculation)이 수행된다. 상기 후보블럭은 이전 프레임내의 탐색영역에 포함되며, 탐색영역의 크기는 일반적으로 탐색블럭보다 더 크다. 절대평균에러(mean absolute error) 또는 제곱평균에러(mean square error)와 같은 에러함수가 현제 프레임의 탐색블럭과 탐색영역내 각 후보블럭 사이의 유사성을 측정하기 위해 사용된다. 그리고, 움직임 벡터는 정의에 의해 탐색블럭과 최적매칭블럭, 즉 최소 에러 또는 차이를 유발하는 후보블럭 사이의 변위를 나타낸다.

이러한 움직임 추정에서는 탐색블럭에 대응하는 전 탐색영역에 단지 하나의 최소 절대평균에러를 찾는 것이 바람직하거나 편리하다. 그러나, 때때로 블럭매칭중에 동일한 최소 에러를 갖는 것이 다수 발견될 수 있다. 이러한 경우, MPEG(Moving

Pictures Expert Group)에서는, 비록 표준으로서 제시하지는 않았지만 최고 우선순위를 갖는 최소 에러, 즉 처음 발견된 하나를 제외하고는 다른 모든 동일한 최소 에러를 버린다. 따라서, 이러한 기법으로는 탐색블럭과 대응하는 탐색영역 사이의 움직임 벡터를 정확하게 검출하기 어렵다.

따라서 본 발명의 주된 목적은 경제매칭기법을 사용하여 움직임 벡터를 정확하게 검출할 수 있게 개선된 움직임 추정장치를 제공하는 것이다.

본 발명은 상기 목적을 달성하기 위하여 비디오 신호의 현재프레임과 이전프레임 사이의 범위를 나타내는 움직임 벡터를 결정하기 위한 장치가 제공되는데, 상기 현재 프레임은 동일한 크기를 갖는 다수의 탐색블럭으로 분할되고, 상기 이전프레임은 상기 탐색블럭보다 더 큰 다수의 탐색영역을 가지며, 각각의 탐색영역은 상기 탐색블럭과 동일한 크기를 갖는 다수의 후보블럭을 포함하며, 상기 장치는: 상기 현재 프레임내의 탐색블럭과 상기 탐색블럭에 대응하는 상기 다수의 후보블럭들 사이의 변위벡터와 에러함수들을 검출하는 수단과; 상기 에러함수들을 서로 비교하여 크기가 작은 순서로 M 개의 에러함수들을 선택하여, 여기서 M 은 1 보다 큰 정수인 수단과; 상기 검출된 변위벡터들로 부터 상기 M 개의 에러함수에 각각 대응하는 M 개의 변위벡터를 선택하는 수단과; 상기 다수의 후보블럭으로 부터 상기 M 개의 선택된 변위벡터에 각각 대응하는 M 개의 후보블럭을 선택하는 수단과; M 개 세트의 경계차(boundary differences)들을 발생시키며, 상기 M 개 세트의 경계차들의 각각은 각각의 상기 M 개 후보블럭내의 경계화소들과 상기 현재 프레임내에 포함되어 있으며 상기 경계화소들에 이웃하는 화소들 사이의 차이를 나타내는 수단과; M 개의 비교 및 카운팅부를 가지며, 각각의 상기 비교 및 카운팅부는 상기 M 개 세트의 경계차들중 어느하나의 세트내에 있는 각각의 경계차들 소정의 값과 비교하여 상기 소정의 값보다 더 큰 값을 갖는 경계차의 갯수를 카운트하는 수단과; 카운트된 값이 최소인 것을 선택하여 상기 M 개의 변위벡터들중 상기 선택된 카운트값에 대응하는 하나의 변위벡터를 상기 탐색블럭에 대한 움직임 벡터로 결정하는 수단을 포함하여 구성함을 특징으로 한다.

본 발명의 상기 목적과 다른 목적 및 특징들은 첨부한 도면과 결합하여 제공된 바람직한 실시예를 설명하므로써 명백해질 것이다.

제1도를 참조하면, 연속적인 프레임을, 즉 현재 프레임과 그것의 이전 프레임 사이의 리던던시를 사용하여 상당한 양의 데이터를 압축하는데 이용되는 움직임 추정 시스템에서 사용하기 위한 경계매칭 움직임 추정장치의 개략적인 블럭도가 도시되어 있다. 즉, 현재 프레임과 이전 프레임 사이에는 피사체의 변위 또는 움직임에 의해 차이가 발생된다. 그러나, 이러한 차이는 프레임내의 비교적 작은 영역에 국한될 수 있다. 그러므로, 현재 프레임의 모든 영상 데이터를 수신기(도시않됨)로 전송할 필요가 없다. 대신에, 변위정보, 즉 움직임 벡터들을 전송하면 된다. 수신기는 움직임 벡터들을 사용하여 이전 프레임으로 부터 현재 프레임을 재구성하여, 이전 프레임의 영상 데이터는 수신기내의 프레임 메모리에 저장되어 있다.

제1도에 도시된 바와 같이, 현재 프레임 신호(12)는 현재 프레임 블럭 형성부(10)로 제공된다. 현재 프레임 블럭 형성부(10)에서는 현재 프레임의 소정의 위치와 P × Q 화소들의 크기를 갖는 탐색블럭들로 분할된다. 여기서, P 및 Q 는 2 보다 큰 동일한 정수, 예를들어 4 이다.

프레임 메모리(도시않됨)에 저장되어 있는 이전 프레임 신호(22)는 탐색영역 형성부(15)로 제공된다. 탐색영역 형성부(15)는 이전 프레임의 탐색영역들을 규정하며, 이로써 탐색 또는 비교가 수행될 것이다. 각 탐색영역의 크기는 서로 동일하며, 일반적으로 탐색블럭보다 더 크다.

탐색영역 형성부(15)에서 탐색영역이 결정된 후에, 탐색영역 데이터는 대응하는 수의 후보블럭 형성부(21 내지 29)로 제공된다. 각각의 후보블럭 형성부(21 내지 29)에서는, P × Q 화소들의 후보블럭이 탐색영역으로 부터 발생되고, 현재 프레임내 탐색블럭의 위치에 대한 후보블럭들의 변위들의 후보블럭들의 변위벡터(31 내지 39)로서 출력된다. P × Q 화소들의 크기를 갖는 모든 가능한 후보블럭들은 결정된 탐색영역내에 형성되어 각각의 후보블럭에 대응하는 변위벡터가 얻어진다.

각각의 후보블럭의 화소데이타도 또한 각 후보블럭의 형성부(21 내지 29)로 부터 각각의 블럭매칭부(41 내지 49)로 제공된다. 각각의 블럭매칭부(41 내지 49)에서는 현재 프레임 블럭 형성부(10)로 부터의 탐색블럭과 각각의 후보블럭 형성부(21 내지 29)로 부터의 후보블럭들 사이의 에러함수가 계산된다. 탐색블럭 및 각각의 후보블럭내에 있는 대응하는 화소들 사이에서, 예를들어 루미넌스(luminance)가 비교되어 상기 각 후보블럭에 대한 에러함수가 생성된다. 에러함수는 탐색블럭과 상기 각 후보블럭 사이의 유사성의 정도를 나타낼 것이다.

블럭매칭부(41 내지 49)로 부터의 모든 에러함수는 에러 검출기(50)로 제공된다. 에러 검출기(50)는 에러함수들을 서로 비교하여 크기가 작은 순서로 M 개의 에러함수를 선택한다. 여기서, M 은 1 보다 큰 정수, 예를들어 3 이다.

에러 검출기(50)는 가장 작은 에러함수, 두번째 및 세번째로 작은 에러함수에 대응하는 블럭들을 나타내는 선택신호들을 변위벡터 선택기(60)로 출력한다. 또한, 후보블럭 형성부(21 내지 29)로 부터 얻어진 변위벡터(31 내지 39)가 변위벡터 선택기(60)로 송신된다. 다음에, 변위벡터 선택기(60)는 인가된 변위벡터들(31 내지 39)의 세트로 부터 3 개의 변위벡터를 선정한다. 선정된 이들 3 개의 변위벡터는 가장 작은 에러함수, 두번째 및 세번째 에러함수에 각각 대응한다. 즉, 변위벡터 선택기(60)는 에러 검출기(50)로 부터 제공된 선택신호에 응답하여 변위벡터들(31 내지 39)로 부터 3 개의 변위벡터를 선택한다. 선택된 변위벡터(62, 64 및 66)는 후보블럭 선택기(70) 및 최적 움직임 벡터 선택기(100)로 제공된다. 최적 움직임 벡터 선택기(100)는 선택된 변위벡터(62, 64 및 66)중에서 탐색블럭에 대한 움직임 벡터를 선택한다. 후보블럭 형성부(21 내지 29)로 부터 제공되는 화소 데이터(111 내지 119)도 또한 후보블럭 선택기(70)로 제공된다. 후보블럭 선택기(70)에서는, 탐색블럭에 대응하는 탐색영역에 포함된 모든 후보블럭들로 부터 선택된 변위벡터(62, 64 및 66)에 각각 대응하는 3 개의 후보 블럭이 선택된다. 선택된 후보블럭들은 경계매칭부(82, 84 및 86)로 각각 제공된다. 또한, 현재 프레임 데이터(13)도 경계매칭 동작을 위해 각각의 경계매칭부(82, 84 및 86)로 제공된다. 각 경계매칭부(82, 84 및 86)의 동작은 실질적으로 동일하다. 그러므로, 경계매칭부(82)의 동작이 제2도를 참조하여 예시적으로 기술될 것이다. 제2도에서는 후보블럭의 경계화소들과 상기 경계화소들에 인접하여 현재프레임내에 포함된 화소들 사이의 경계매칭동작을 기술하기 위해 예시적인 비디오 프레임이 도시되어 있다.

본 발명의 바람직한 실시예에 따르면, 경계매칭부(82)는 현재 프레임으로부터 탐색영역을 제거하고 제거된 탐색블럭 자리에 최소 에러함수를 생성하는 후보블럭을 위치시켜 후보블럭(100)의 경계 화소들, 예를들어 A 내지 L 과 후보블럭(100)의 경계화소에 이웃하는 화소들, 예를들어 현재 프레임내의 제거된 탐색블럭 자리에 위치한 A' 내지 A'' 사이의 경계차를 계산하여 경계차들의 절대값을 비교 및 카운팅부(92)로 발생시킨다. 다시말하면, 경계차를, 예를들어 A-A' A-A''의 절대값이 비교 및 카운팅부(92)로 제공된다. 비교 및 카운팅부(92)는 절대값들을 소정의 값과 비교하고 소정의 값을 경계치들의 갯수를 카운트하여 카운트된 수를 최적 움직임 벡터 선택기(100)로 제공한다. 마찬가지로, 경계매칭부(84 및 86)은 두번째 및 세번째로 작은 에러함수를 생성하는 후보블럭에 대해 경계매칭부(82)의 동일한 동작을 수행한다. 또한, 비교 및 카운팅부(84 및 96)도 비교 및 카운팅부(92)와 동일한 동작을 수행한다. 최적 움직임 벡터 선택기(100)는 카운트된 값이 최소인 것을 선택하여 상기 3 개의 변위벡터들중 상기 선택된 카운트값에 대응하는 하나의 변위벡터를 상기 탐색블럭에 대한 움직임 벡터로 결정한다.

상기한 바와 같이 본 발명은 비디오 신호의 현재프레임과 이전프레임 사이의 변위를 나타내는 움직임 벡터를 결정할 때, 몇 개의 후보블럭을 선정하고 선정된 각각의 후보블럭에 대한 경계매칭값이 최적인 후보블럭의 변위벡터를 움직임 벡터로 선택한다. 그러므로, 움직임 벡터를 정확하게 결정할 수 있다.

Claims (1)

1. 비디오 신호의 현재프레임과 이전프레임 사이의 범위를 나타내는 움직임 벡터를 결정하기 위한 장치로서, 상기 현재 프레임은 동일한 크기를 갖는 다수의 탐색블럭으로 분할되고, 상기 이전프레임은 상기 탐색블럭보다 더 큰 다수의 탐색영역을 가지며, 각각의 탐색영역은 상기 탐색블럭과 동일한 크기를 갖는 다수의 후보블럭을 포함하는 상기 장치에 있어서; 상기 현재 프레임내의 탐색블럭과 상기 탐색블럭에 대응하는 상기 다수의 후보블럭들 사이의 변위벡터와 에러함수들을 검출하는 수단과; 상기 에러함수들을 서로 비교하여 크기가 작은 순서로 M 개의 에러함수들을 선택하며, 여기서 M 은 1 보다 큰 정수인 수단과; 상기 검출된 변위벡터들로 부터 상기 M 개의 에러함수에 각각 대응하는 M 개의 변위벡터를 선택하는 수단과; 상기 다수의 후보블럭으로 부터 상기 M 개의 선택된 변위벡터에 각각 대응하는 M 개의 후보블럭을 선택하는 수단과; M 개 세트의 경계차(boundary differences)들을 발생시키며, 상기 M 개 세트의 경계차들의 각각은 각각의 상기 M 개 후보블럭내의 경계화소들과 상기 현재 프레임내에 포함되어 있으며 상기 경계화소들에 이웃하는 화소들 사이의 차이를 나타내는 수단과; M 개의 비교 및 카운팅부를 가지며, 각각의 상기 비교 및 카운팅부는 상기 M 개 세트의 경계차들중 어느하나의 세트내에 있는 각각의 경계차들 소정의 값과 비교하여 상기 소정의 값보다 더 큰 값을 갖는 경계차의 갯수를 카운트하는 수단과; 카운트된 값이 최소인 것을 선택하여 상기 M 개의 변위벡터들중 상기 선택된 카운트값에 대응하는 하나의 변위벡터를 상기 탐색블럭에 대한 움직임 벡터로 결정하는 수단을 포함함을 특징으로 하는 장치.