KR0132037B1 - 평균 피라미드를 이용한 계층적 고속 이동 벡터 추정장치 - Google Patents

Abstract

본 발명은 동영상에서의 프레임간 이동벡터 탐색시 블럭 정합 알고리즘의 고속 연산 처리 및 성능 개선을 위한 평균 피라미드를 이용한 계층적 고속 이동 벡터 추정에 관한 것이다.

이동 벡터 생성 수단(100)은 저역 필터(11,13)을 이용하여 현재 프레임 및 이전 프레임의 화소 데이터를 필터링한 후, 이에 대한 제 3 이동 벡터를 출력하고, 이동 벡터 생성 수단(200)은 저역 필터(21,23)를 이용하여 현재 프레임 및 이전 프레임의 화소 데이터를 필터링하고, 제 3 이동 벡터에 대응하는 영역에 대한 제 2 이동 벡터를 검출한다. 이동 벡터 생성 수단(300)은 이 제 2 이동 벡터에 대응하는 영역에 대한 제 1 이동 벡터를 검출하여 출력한다.

Description

평균 피라미드를 이용한 계층적 고속 이동 벡터 추정장치

도면은 본 발명의 평균 피라미드를 이용한 계층적 고속 이동 벡터 추정 장치의 개락 블럭도.

*도면의 주요부분에 대한 부호의 설명*

11,13 : 저역 필터12,14 : 메모리

15 : 블럭 메모리16 : 탐색 영역 메모리

17 : 연산기18 : 탐색 지점 결정기

19 : 비교기20 : 승산기

본 발명은 평균 피라미드(mean pyramid)를 이용한 계층적 고속 이동 벡터 추정 장치(fast hierarchical motion vector estimation apparatus and method)에 관한 것으로, 특히 동영상에서의 프레임간(interframe) 이동 벡터 탐색시 블럭 정합 알고리즘(block matching algorithm ; BMA)에서의 연산을 고속으로 하며, 성능을 보다 개선하는 평균 피라미드를 이용한 계층적 고속 이동 벡터 추정 장치에 관한 것이다.

일반적으로 동영상의 데이터 전송에 있어서 전송 데이터량을 줄이기 위한 방법으로는, 프레임간 부호화가 보다 효율적이다. 특히, 연속하는 영상간의 움직임을 고려한 이동 보상형 내삽(motion compensated interpolation ; MCI)과 이동 보상형 예측(motion compensated prediction ; MCP)의 이동 보상 방법은 동영상 부호화의 효율을 증대시킨다. 이와같은 움직임 보상 방법은화소 단위로 움직임을 추정해 나가는 화소 순화 알고리즘(pixel recursive algorithm ; PRA)과 소정의 크기의 블럭 단위로 움직임을 추정하는 BMA로 분류할 수 있으며, BMA는 블록 단위로 이동 벡터를 찾아 시간적으로 중복되는 영역들을 제거함으로써 PRA보다 첨두 신호대 잡음비(peak signal to noise ration ; PSNR) 성능은 다소 떨어지는 반면에 연산량이 비교적 적고, 하드웨어 구성이 용이함으로 널리 이용되고 있다.

BMA의 전형적인 방법으로는 제한된 크기의 탐색 영역내의 모든 점들을 움직임의 후보점으로 하여 이동 벡터를 추정하는 전체 탐색 알고리즘(full search algorithm ; FSA)이 제안되고 있다. 그러나 이 방법은 모든 BMA 중에서 추정 오차 측면에서는 최적이나 연산량이 방대하다는 등의 문제점이 있다.

이와 같은 방대한 연산량을 줄이기 위한 방법으로 제안된 것들이 최소 일그러짐 방향(direction of minimum distortion ; DMD)과 삼단계 탐색법(three step search ; TSS) 등의 고속 블럭 정합 알고리즘이다.

DMD는 중심점의 사방을 추적하면서 탐색 영역내에서 최적의 이동을 찾는 방법이고, TSS는 중심점으로부터 예를 들면, 각 단계별로 3,2,1의 간격을 두고 9개의 지점에 대해서 최적의 움직임을 추정해나가는 방식으로서, DMD에 비해서 하드웨어의 구현이 보다 용이하므로 많이 이용되고 있다. 따라서 CCITT에서 TSS를 처음의 이동 변위를 4로 교체하여 보다 큰 움직임에도 이동 검출이 효율적인 TSS를 권하고 있다.

따라서 본 발명의 목적은 전술한 CCITT에서 권고하는 삼단계 탐색법과 같은 변위 즉, 계층별로 이동 벡터의 변위를 4,2,1로 유지하면서 빠른 속도의 움직임 추정 및 보다 개선된 신호대 잡음비, 보다 간단한 하드웨어를 구현하는 평균 피리미드를 이용한 계층적 고속 이동 벡터 추정 장치를 제공하는데 있다.

이러한 목적을 달성하기 위한 본 발명은, 동영상에서의 프레임간 이동 벡터 탐색시 블럭 정합 알고리즘(BMA)의 고속 연산 처리 및 성능 개선을 위한 평균 피라미드를 이용한 계층적 고속 이동 벡터 추정 장치에 있어서, 제 1 이동 벡터를 출력하기 위하여, 현재 프레임의 입력 데이터를 저장하는 제 1 메모리와, 이전 프레임의 입력 데이터를 저장하며, 제 2 이동 벡터에 대응하는 추정 영역의 데이터를 출력하는 제 2 메모리(31)와, 제 1 메모리의 데이터들중 움직임을 추정할 블럭의 영상 데이터를 저장하는 블럭메모리(block memory ; BM)와, 메모리 제 2 의 출력 데이터를 제 1 블록 메모리에 있는 데이터의 움직임 추정을 위한 추정 영역에 속하는 기준 영상 데이터로서 저장하는 제 1 탐색 영역 메모리(search areamemory : SAM)와 제 1 BM 및 제 1 SAM으로부터의 두 입력의 데이터의 예측 오차를 연산하는 평균 절대 차(mean absolute difference ; MAD) 연산기와, 제 1 SAM 및 제 1 BM(34)내의 화소값을 결정하는 제 1 탐색 지점 결정기(search point determination ; SPD)와, 제 1 MAD 연산기를 거쳐 연산된 MAD중 최소의 MAD값을 갖는 탐색지점을 알리는 제 1 이동 벡터를 출력하는 제 1 비교기를 구비하는 제 1 이동 벡터생성 수단과 ; 이동 벡터 수단에 제 2 이동 벡터를 이동 벡터 수단에 제공하기 위하여, 제 1 메모리내 정방향 형태의 화소들 4개의 평군을 구하는 제 1 저역 필터와, 제 1 메모리내 정방형 형태의 화소들 4개의 평균을 구하는 제 2 저역 필터와, 제 1 저역 필터의 데이터를 저장하고, 제 3 이동 벡터에 대응하는 추정 영역의 데이터를 출력하는 제 3 메모리와, 제 2 저역 필터의 데이터를 저장하는 제 4 메모리와, 제 4 메모리의 데이터들중 움직임을 추정할 블럭의 영상 데이트를 저장하는 제 2 BM와, 제 3 메모리의 추정 영역 데이터를 제 2 BM에 있는 데이터의 움직임 추정을 위한 추정 영역에 속하는 기준 영상 데이터로서 저장하는 SAM과, 제 2 BM(26) 및 제 2 SAM으로부터의 두 입력의 데이터의 예측 오차를 연산하는 제 2 평균 절대 차(mean absolute difference ; MAD) 연산기와, 제 2 SAM 및 제 2 BM(34)내의 화소값을 결정하는 제 2 SPD와 제 2 MAD 연산기를 거쳐 연산된 MAD중 최소의 MAD 값을 갖는 탐색 지점을 알리는 상기 제 4 이동 벡터를 출력하는 제 2 비교기와, 제 4 이동 벡터를 2로 승산하여 상기 제 2 이동 벡터로서 출력하는 제 1 승산기를 구비하는 제 2 이동 벡터 생성수단과 ; 제 3 이동 벡터를 제공하기 위하여 제 3 메모리내 정방향 형태의 화소들 4개의 평균을 구하는 제 3 저역 필터와, 제 4 메모리내 정방향 형태의 화소들 4개의 평균을 구하는 제 4 저역 필터와, 제 4 저역 필터의 데이터를 저장하는 제 5 메모리와 ; 제 3 저역 필터의 테이터를 저장하고 소정 추정 영역의 데이터를 출력하는 제 6 메모리와, 제 5 메모리의 데이터들중 움직임을 추정할 블럭의 영상 데이터를 저장하는 제 3 BM과, 제 6 메모리의 추정 영역 데이터를 제 2 BM에 있는 데이터의 움직임 추정을 위한 추정 영역에 속하는 기준 영상 데이터로서 저장하는 제 3 SAM과, 상기 제 1 BM 및 제 1 SAM으로부터의 두 입력의 데이터의 예측 오차를 연산하는 제 3 MAD 연산기와, 제 3 SAM 및 제 3 BM내의 화소값을 결정하는 제 3 SPD와, 제 3 MAD 연산기를 거처 연산된 MAD중 최소의 MAD값을 갖는 탐색 지점을 알리는 상기 제 5 이동 벡터를 출력하는 제 3 비교기와, 제 5 이동 벡터를 2로 승산하여 제 3 이동 벡터로 출력하는 제 3 승산기를 구비하는 제 3 이동 벡터 생성 수단을 구비한다.

이하, 본 발명을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도면은 본 발명의 평균 피라미드를 이용한 계층적 고속 이동 벡터 추정 방법을 구현하는 블럭도로서, 계층 2이동 벡터 생성부(100), 계층 1이동 벡터 생성부(200) 및 계층 0 이동 벡터 생성부(300)를 포함한다.

본 발명은 각 블럭별로 평균 절대 차 (mean absolute difference ; MAD)를 연산하게 되는데, 이때 각 계층(계층 0 내지 계층 2)별로 독립적으로 연산이 가능하므로 병렬 연산 처리가 가능하다.

도시된 바와같이, 계층2, 계층1 및 계층0 이동 벡터 생성부(100)(200)(300)의 각각은 동알한 구성 요소로 이루어지므로, 계층 1 및 계층 0 이동 벡터 생성부(200)(300)의 상세한 설명은 생략하며, 단지 계층 2 이동 벡터 생성부(100)를 상세히 설명하기로 한다.

다만, 본 발명에서 계층 1 이동 벡터 생성부(200) 및 계층 2 이동 벡터 생성부(100)내에는 저역 필터(11,13,21,23)들이 구성되어 있는 바, 이 필터(11,13,21,23)들은 정방형 형태의 화소들 4개의 평균을 출력하게 된다.

여기서, 계층 2 이동 벡터 생성부(100)는 메모리(12)(14), 저역 필터(11)(13), 탐색 영역 메모리(search area memory ; SAM)(16), 블럭 메모리(block memory ; BM)(15), MAD 연산기(17), 탐색 지점 결정기(search point determination ; SPD)(18), 비교기(19) 및 승산기(20)를 포함한다.

메모리(12)(14)는 영상 데이터를 저장하는 곳으로써, 애를들어, M(f,h)인 경우 f번째 영상에 있어서 h-1번째 계층 데이터들의 평균을 이용하여 재구성된 영상 데이터를 저장하는 장치이다. 저역 필터(11)(13)는 상술한 바와 같이 정방형 형태의 화소들 4개의 평균을 수행하는 저역 여과 장치이다. BM(15)은 현재 영상에서 움직임 추정할 블럭의 영상 데이터를 저장하며, SAM(16)은 BM(15)에 있는 데이터의 움직임 추정을 위한 추정 영역에 속하는 기준 영상 데이터를 저장한다.

또한, MAD연산기(17)는 두입력의 데이터를 화소당 차이의 절대치, 즉 예측오차를 계산하는 장치이다. SPD(18)는 SAM(16)내의 블럭과 BM(15)의 화소값을 결정하며, 비교기(19)는 이전에 저장되어 있는 최소의 MAD 값과 MAD 연산기(17)를 거쳐 MAD를 연산한 값을 비교하므로써 최소의 MAD값을 갖는 지점의 주소를 갖게 된다. 송신기(20)는 한 블럭에 대한 탐색이 끝나면 상위 계층에서 추정된 이동벡터를 하위 계층에서 이동 벡터 추정의 초기값으로 사용할 수 있도록 이동 벡터값을 두배로 승산하고 하위 계층(200)으로 전달한다.

이를 보다 상세히 설명하면 계층 2 이동 벡터 생성부(100)는 K번째 프레임과 (K-1)번째 프레임이 입력되면 각각의 프레임을 저역필터(11)(13)를 사용하여, 크기가 전체적으로 1/4(가로 1/2, 세로 1/2)인 영상을 메모리(12)(14)에 각각 저장한다. 이때 입력 영상이 K×L의 크기를 갖고 계층 L에서의 K번째 프레임의 메모리를 M L K라고 하면, 메모리 M 2 K, M 1 K, M 0 K을 위해 각각 KL/16과 KL/4, KL크기의 메모리가 요구되므로 영상 피라미드를 구성하여 각 프레임의 처리가 끝나기까지는 2×(KL/16+KL/4+KL)의 메모리가 요구된다. 이와같이 구성된 피라미드 영상으로부터 탐색할 블럭에 대한 정보를 바탕으로, BM(15)에는 현재 프레임의 탐색할 블록, SAM(16)에는 이전 프레임의 탐색 영역을 저장한다.

또한 SPD(18)에 의해 연산된 SAM(16)내의 블럭과 BM(15)의 화소값들이 MAD연산기(17)를 거쳐 MAD를 연산하고, 이값은 비교기(19)에 저장되어 있던 최소의 MAD값과 비교하여 최소의 MAD값을 갖는 지점의 주소를 갖게 된다.

전술한 바와같이 한 블럭에 대한 탐색이 끝나면 결정된 이동벡터의 두배에 해당되는 지점의 주소를 하위계층 즉, 계층 1 이동 벡터 생성부(200)의 M1 K-1(22)으로 전달한다.

계층 1 이동 벡터 생성부(200)는 상기 계층 2 이동 벡터 생성부(100)로부터의 해당되는 지점의 주소를 전달받아 이점을 중심으로 하는 탐색 영역이 SAM(25)에 저장되고, 동시에 BM(26)에도 현재 프레임에서의 값이 저장되어 상기 블럭(100)에서와 같은 동일한 동작 과정을 통해 하위계층 즉, 계층 0 이동 벡터 생성부(300)의 M0 K-1(31)으로 이동 벡터를 전송하게 된다.

마지막으로, 최하 계층, 즉 계층 0 이동 벡터 생성부(300)에서는 전술한 바와 같은 연산을 통해 탐색블럭의 이동 벡터를 검출한다. 이때, 처음의 두 블럭에 대한 탐색이 끝난후에는 동시에 3계층에서의 이동벡터 검출이 가능해지므로 한 블록에 대한 이동 벡터 검출을 위해서는 최고의 해상도인 최하 계층에서 후보의 개수×9개의 지점에 대해서 MAD계산을 통해 이동벡터를 검출하는 것과 같은 계산량만이 요구되므로, 본 발명의 계층적인 이동벡터 검출기를 병렬 처리가 가능한 형태로 구성할 경우 더욱 고속으로 이동벡터의 검출이 가능하다는 이점이 있다.

따라서, 본 발명은 전술한 바와같이 구성된 평균 피라미드를 이용하여 상위 계층부터 예측 오차가 최소가 되는 이동 벡터를 연산하며, 상위 계층에서 구해진 이동벡터는 하위 계층의 이동벡터 추정의 초기치로 이용된다. 그러므로 하위 계층의 SAM블럭의 데이터는 이 초기치로부터 탐색 범위내의 데이터로 구성된다. 이와 같이 구성된 본 발명은 상위 계층들에서 예측오차가 같은 것들 중 다수를 이동 벡터 후보값으로 사용할 경우 PSNR 성능을 더욱 개선시킬 수 있으며, 연산량도 훨씬 줄어든다는 커다란 이점이 있다.

Claims (1)

1. 동영상에서의 프레임간 이동 벡터 탐색시 블럭 정합 알고리즘(BMA)의 고속 연산 처리 및 성능 개선을 위한 평균 피라미드를 이용한 계층적 고속 이동 벡터 추정 장치에 있어서, 제 1 이동 벡터를 출력하기 위하여, 현재 프레임의 입력 데이터를 저장하는 제 1 메모리(32)와, 이전 프레임의 입력 데이터를 저장하며, 제 2 이동 벡터에 대응하는 추정 영역의 데이터를 출력하는 메모리(31)와, 메모리(32)의 데이터들중 움직임을 추정할 블럭의 영상 데이터를 저장하는 블럭메모리(block memory ; BM)(34)와, 메모리(31)의 출력 데이터를 상기 BM(34)에 있는 데이터의 움직임 추정을 위한 추정 영역에 속하는 기준 영상 데이터로서 저장하는 탐색 영역 메모리(search areamemory : SAM)(33)와 상기 BM(34) 및 SAM(33)으로부터의 두 입력의 데이터의 예측 오차를 연산하는 평균 절대 차(mean absolute difference ; MAD) 연산기(35)와, SAM(33) 및 BM(34)내의 화소값을 결정하는 제 1 탐색 지점 결정기(search point determination ; SPD)(36)와, MAD 연산기(35)를 거쳐 연산된 MAD중 최소의 MAD값을 갖는 탐색지점을 알리는 제 1 이동 벡터를 출력하는 비교기(37)를 구비하는 이동 벡터 생성 수단(300)과 ; 상기 제 2 이동 벡터를 제공하기 위하여, 상기 메모리(31)내 정방향 형태의 화소들 4개의 평균을 구하는 저역 필터(21)와, 상기 메모리(32)내 정방형 형태의 화소들 4개의 평균을 구하는 저역 필터(23)와, 상기 저역 필터(21)의 데이터를 저장하고, 제 3 이동 벡터에 대응하는 추정영역의 데이터를 출력하는 메모리(22)와, 상기 저역 필터(23)의 데이터를 저장하는 메모리(24)와 ; 상기 메모리(24)의 데이터들중 움직임을 추정할 블럭의 영상 데이터를 저장하는 BM(26)과, 상기 메모리(22)의 추정 영역 데이터를 상기 BM(26)에 있는 데이터의 움직임 추정을 위한 추정 영역에 속하는 기준 영상 데이터로서 저장하는 SAM(25)와, 상기 BM(26) 및 SAM(25)으로부터의 두 입력의 데이터의 예측 오차를 연산하는 평균 절대 차(mean absolute difference ; MAD) 연산기(27)와, 상기 SAM(25) 및 BM(26)내의 화소값을 결정하는 SPD(28)와 상기 MAD 연산기(27)를 거쳐 연산된 MAD중 최소의 MAD 값을 갖는 탐색지점을 알리는 상기 제 4 이동 벡터를 출력하는 비교기(29)와, 제 4 이동 벡터를 2로 승산하여 상기 제 2 이동 벡터로서 출력하는 승산기(30)를 구비하는 이동 벡터 생성수단(200)과 ; 제 3 이동 벡터를 제공하기 위하여 상기 메모리(22)내 정방향 형태의 화소들 4개의 평균을 구하는 저역 필터(13)와, 상기 메모리(24)내 정방향 형태의 화소들 4개의 평균을 구하는 저역 필터(11)와, 상기 저역 필터(11)의 데이터를 저장하는 메모리(12)와 ; 상기 저역 필터(13)의 테이터를 저장하고 소정 추정 영역의 데이터를 출력하는 메모리(14)와, 상기 메모리(12)의 데이터들중 움직임을 추정할 블럭의 영상 데이터를 저장하는 BM(15)와, 상기 메모리(14)의 추정 영역 데이터를 상기 BM(26)에 있는 데이터의 움직임 추정을 위한 추정 영역에 속하는 기준 영상 데이터로서 저장하는 SAM(16)와, 상기 BM(15) 및 SAM(16)으로부터의 두 입력의 데이터의 예측 오차를 연산하는 MAD 연산기(17)와, 상기 SAM(16) 및 BM(15)내의 화소값을 결정하는 SPD(18)와, 상기 MAD 연산기(17)를 거처 연산된 MAD중 최소의 MAD값을 갖는 탐색지점을 알리는 상기 제 5 이동 벡터를 출력하는 비교기(19)와, 상기 제 5 이동 벡터를 2로 승산하여 상기 제 3 이동 벡터로 출력하는 승산기(20)를 구비하는 이동 벡터 생성 수단(100)을 구비하는 평균 피라미드를 이용한 계층적 고속 이동 벡터 추정 장치.