KR20030034271A

KR20030034271A - 저전송율 동영상 부호화에 적합한 움직임 추정 방법

Info

Publication number: KR20030034271A
Application number: KR1020010054458A
Authority: KR
Inventors: 송병철
Original assignee: 삼성전자주식회사
Priority date: 2001-09-05
Filing date: 2001-09-05
Publication date: 2003-05-09
Also published as: US6823012B2; KR100408294B1; US20030063671A1

Abstract

본 발명은 블록 기반 동영상 부호화 방법에 관한 것으로서 특히, 저전송률 부호화를 위한 고속의 움직임 벡터 추정 방법에 관한 것이다.

본 발명에 따른 움직임 벡터 추정 방법은 블록 정합에 의해 최적의 오류 척도를 가지는 블록을 탐색하여 움직임 벡터를 추정하는 방법에 있어서, 현재 블록 및 탐색 영역의 탐색 블록들에 대하여 합 피라미드를 구성하는 과정; a) 초기을로 하는 과정(여기서,는 다음과 같이 결정되는 계층l에서의 오류 척도이며,,l과는 각각 0과 (0,0)으로 한다); b)l이 L이면 c)로 진행하고,이면 raster scanning 방식으로 탐색 영역 내의 다음 MV 후보를 가지고l을 0으로 한 후 b)를 수행하며((0,0) 및제외), 그렇지 않으면l을l+1로 한 후 b)로 진행하는 과정; c)이면을로 갱신하며,가 마지막 MV 후보이면 d)로 진행하고, 그렇지 않으면 다음 후보를 가지고 l을 0으로 한 후 b)로 진행하는 과정; 및 d)을 갖는 움직임 벡터를 최적 정합자로 하는 과정을 포함하는 것을 특징으로 한다.

본 발명에 따른 움직임 벡터 추정 방법은 움직임 벡터의 비중이 상대적으로 높은 저전송률 부호화기에 적용하여 실시간으로 움직임 벡터를 추정하는 것이 가능하게 하는 효과를 가진다.

Description

저전송율 동영상 부호화에 적합한 움직임 추정 방법{Method adapted for low bit-rate moving picture coding}

전형적인 블록 기반 동영상 부호화기에 있어서 전송 비트율의 대부분을 움직임 보상된 프레임 잔차(residual)와 움직임 벡터 정보가 차지한다. 특히 저전송율 부호화에 있어서는 움직임 벡터의 비율이 더욱 더 커진다. 그것은, 저전송률을 달성하기 위해 프레임 잔차 성분을 줄이지만 움직임 벡터 정보는 줄이지 않기 때문에 상대적으로 움직임 벡터의 비율이 커지는 때문이다.

저전송율 동영상 부호화의 효율을 높이기 위해 최근에는 단순히 부호화 왜곡(distortion)을 최소화하는 움직임 추정 방식보다는 제한된 비트율 조건하에서 왜곡을 최소화하는 움직임 추정 방식들이 개발되고 있는 추세이다.

그러나, 이러한 움직임 추정 방식들에 있어서 정확한 움직임 벡터를 추정하기 위해서는 전역 탐색 방식을 사용하여야 하며, 그 계산량이 방대하여, 실시간 동영상 부호화가 불가능한 실정이다.

본 발명은 상기의 문제점을 해결하기 위하여 안출된 것으로서 전역 탐색 방식에 의해 움직임 벡터를 추정하면서도 계산 속도가 빠른 개선된 움직임 벡터 추정 방법을 제공하는 것을 그 목적으로 한다.

도 1은 블록 정합 기법을 도식적으로 보이기 위하여 도시된 것이다.

도 2는 SAD를 구하는 방법을 도식적으로 보이기 위해 도시된 것이다.

도 3은 합 피라미드를 도식적으로 보이기 위해 도시된 것이다.

도 4는 합 피라미드를 이용한 블록 정합 과정을 도식적으로 보이기 위해 도시된 것이다.

상기의 목적을 달성하는 본 발명에 따른 움직임 벡터 추정 방법은

블록 정합에 의해 최적의 오류 척도를 가지는 블록을 탐색하여 움직임 벡터를 추정하는 방법에 있어서,

현재 블록 및 탐색 영역의 탐색 블록들에 대하여 합 피라미드를 구성하는 과정;

a) 초기을로 하는 과정(여기서,는 다음과 같이 결정되는 계층l에서의 오류 척도이며,

l과는 각각 0과 (0,0)으로 한다);

b)l이 L이면 c)로 진행하고,이면 라스터 스캔(raster scan) 방식으로 탐색 영역 내의 다음 MV 후보를 가지고l을 0으로 한 후 b)를 수행하며((0,0) 및제외), 그렇지 않으면l을l+1로 한 후 b)로 진행하는 과정;

c)이면을로 갱신하며,가 마지막 MV 후보이면 d)로 진행하고, 그렇지 않으면 다음 후보를 가지고l을 0으로 한 후 b)로 진행하는 과정; 및

d)을 갖는 움직임 벡터를 최적 정합자로 하는 과정을 포함하는 것을 특징으로 한다.

이하 첨부된 도면들을 참조하여 본 발명의 구성 및 동작을 상세히 설명하기로 한다.

움직임 추정을 위한 기존의 블록 정합 기법(Block Matching Algorism; BMA)에서 각 움직임 벡터(Moving Vector; MV)는 비트율과는 무관하게 부호화 왜곡을 최소화하는 방향으로 선택되어졌다.

도 1은 블록 정합 기법을 도식적으로 보이기 위하여 도시된 것이다. 도 1에 도시된 바와 같이 어떤 블록 k의 움직임 벡터 MV는 현재 프레임(t)의 블록(102)과 이전 프레임(t-1)의 정합 블록(104)과의 좌표 차이로서 나타난다. 정합 블록은 현재 블록을 중심으로 하는 탐색 영역(106) 내에서 찾아진다. 통상 블록 크기 W가 NxN이라면, 탐색 영역(106)의 크기 Ω는 (2W+1)x(2W+1)의 크기를 가진다.

탐색 영역(106)내의 정합 블록은 cost(비용이 아니라 오류의 척도라는 의미로 널리 사용됨)가 최소가 되는 블록이며, 통상 라스터 스캔(raster scan) 방식에 의해 탐색된다.

일반적으로 절대차합(Sum of Absolute Differences; SAD)이 왜곡의 척도로서 자주 이용된다.

즉, 탐색 영역(106)에의 블록들 중에서

를 만족하는 블록이 정합 블록으로 결정된다.

여기서,이고,는 프레임 t의 위치에서의 밝기값(휘도)이다.

도 2는 SAD를 구하는 방법을 도식적으로 보이기 위해 도시된 것이다. SAD는 블록과 탐색영역 내의 임의의 블록에 있어서 각 대응되는 화소들의 밝기값의 차를 합산한 것이다.

즉, 도 2에 도시된 바와 같이 16x16 크기의 블록에 대하여 SAD를 구하려면 16x16번의 뺄셈 연산, (16x16)-1번의 덧셈, 그리고 16x16번의 절대치 연산이 필요하다. 또한, 전역 탐색 방법에 의해 탐색 영역 내의 정합 블록을 탐색하기 위해서는 이러한 SAD연산을 탐색 영역 내의 모든 블록에 대하여 반복하여야 한다. 그러므로 전역 탐색 방법은 연산량이 매우 방대하게 된다.

각 프레임이 K개의 NxN 블록들로 나누어져 있고,가 블록 k의 MV를 의미하는 것으로 가정하면, 최적 비트율 제한의 움직임 추정 기법은 왜곡 뿐만 아니라 비트율을 동시에 최소화하는 움직임 벡터 장(MV field)을 찾는 것이다.

즉,

를 만족하는 움직임 벡터장을 찾는 것이다.

여기서,과 λ는 각각 블록 k의 움직임 벡터 비트량과 Lagrange 계수이다. Lagrange 최소화 기법은 이런 종류의 최적화 문제를 풀기위한 대표적인 방법이다.

실제로은 H.263의 Huffman 부호책(code book) 등을 이용해서 얻어진다. 그러나 MV들이 Huffman 부호책을 이용해 차등 부호화(differencial coding) 방식으로 부호화되기 때문에 수학식 2의 해를 구하는 것이 매우 어렵고 또한 많은 계산량을 요구한다.

그래서, 본 발명에서는 문제를 단순화하기 위해, MV 들이 차등화 방식으로 부호화되더라도 마치 그들이 독립걱으로 부호화되는 것처럼 다룬다. 그러면 수학식 2는 다음과 같이 블록별로 제정의가 가능하다.

수학식 3에서이다.

결국, 수학식 3의 해는 전역적인 최적 해법(global optimal solution)이 아니라 지역적인 최적해법(locally optimal solution)이 된다.

MV 탐색에 있어서 전역 탐색 방법(Full Search Algorithm; FSA)을 이용하면, 가장 좋은 성능을 내지만 계산량이 방대하여 실시간 동영상 부호화가 필요할 경우 문제가 발생한다. Coban과 Mersereau는 이러한 문제를 해결하기 위해 삼각형 부등식을 이용하였다.

삼각형 부등식은 어떤 두 수의 차의 절대값은 각 수의 절대값의 차보다 항상 크거나 같다는 것이다.()

이러한, 삼각형 부등식을 수학식 2에 적용하면,

과

이 동시에 성립한다.

수학식 4의 왼쪽 변의 첫번째 항은 R로, 두번째 항을라 하고, 오른쪽변의 첫번째 항은라 하면 수학식 4와 5는 다음과 같이 재정리할 수 있다.

과

현재까지인이 있다고 가정하면, 더 작은 cost를 갖는 MV는 다음 식을 만족하여야 한다.

과

수학식 8 및 9를 재정리하면 다음과 같다.

과

탐색 영역 내에 있는 모든 MV 들을 수학식 11에 적용하여 성립 여부를 판단함으로써 적합하지 않은 MV들을 사전에 제거할 수 있다. 결국 적은 연산량으로 불필요한 정합과정을 피함으로써 전체 계산량이 감소된다.

먼저, 도 3에 도시된 바와 같은 각 탐색 블록의 합 피라미드를 구성한다. 각 탐색 블록의 크기가 NxN이고,이다.

도 3을 참조하면 가장 마지막 레벨의 블록이 16x16라면 그 상위 레벨의 블록은 8x8(=16/2 x 16/2)의 크기를 가지며, 차 상위 레벨의 블록은 4x4(= 8/2 x 8/2)가 되며, 다음은 2x2, 그리고 최상의 레벨의 블록의 크기는 1이 된다.

상위 레벨은 그 하위 레벨의 4개의 화소의 화소값을 합한 것에 해당하는 화소값을 가진다.

이때,의 합 피라미드는로 정의된다. 여기서,는의 크기를 가지며,는

를 통해 얻어진다.

계층 l에서의 SAD 즉는 다음과 같이 정의된다.

여기서,는의 계층 ㅣ의 피라미드에 해당하는 블록이다.

수학식 13의 정의로부터 다음의 부등식이 항상 성립한다.

즉, 상위 계층에서의 SAD는 항상 하위 계층에서의 SAD보다 같거나 작다.

이러한 합 피라미드는 탐색 영역 내의 모든 탐색 블록들에 대하여 구성되며, 움직임 벡터 MV를 추정하고자 하는 블록 k에 대해서도 구성된다.

수학식 14에만 의존한 움직임 추정은 다음과 같이 수행된다.

먼저, 탐색에 앞서 합 피라미드가 구성된다.(s402) 첫번째 움직임 추정 대상 프레임에 한해서 현재 프레임과 이전 프레임들의 합 피라미드가 계산된다. 그 이후의 프레임들에 대해서는 현재 프레임의 합 피라미드들만이 계산되면 된다.

전역 탐색에 의해 움직임 추정을 수행한다.(s404)

전역 탐색을 수행함에 있어서 먼저, 블록별 합 피라미드의 가장 상위 계층의 SAD가 비교된다. 가장 상위 계층의 SAD가 현재까지의 최소SAD(가장 하위 계층에서 구해진 SAD임)보다 크다면 그 블록의 최하위 계층의 SAD가 현재까지의 최소SAD 보다 더 적은 값을 가질 수 없으므로 다음 탐색 블록으로 넘어가서 탐색을 계속한다.

블록별 합 피라미드의 가장 상위 계층의 SAD가 현재까지의 최소SAD보다 같거나 적을 경우에만 그 블록의 최하위 계층의 SAD가 현재까지의 최소SAD 보다 더 적은 값을 가질 수 있으므로 차하위 계층의 SAD를 비교하게 된다.

도 4에는 3계층의 합 피라미드가 예시되어 있다. 왼쪽을 현재 블록의 합 피라미드라 하고, 오른쪽을 탐색 블록의 합 피라미드라고 가정한다.

상위 계층의 SAD는 하위 계층의 SAD보다 같거나 작으므로 상위 계층의 SAD만을 비교함에 의해 cost가 적은 블록을 판별할 수 있게 된다.

예를 들면 도 4에 도시된 바에 있어서 layer 0에서의 SAD가 현재까지의 최소SAD보다 크다면, 가장 낮은 레벨(lay 2)에서의 SAD는 현재까지의 최소SAD보다 크다. 가장 낮은 레벨(lay 2)에서의 SAD는 수학식 2에 도시된 바에 의해 얻어지며 많은 연산량을 차지한다. 따라서, 이러한 연산을 제외시킴에 의해 움직임 추정을 위한 연산량을 줄일 수 있게 된다.

반대로 layer 0에서의 SAD가 현재까지의 최소SAD보다 같거나 작다면, 가장 낮은 레벨(lay 2)에서의 SAD는 현재까지의 최소SAD보다 작을 가능성이 있다. 이 경우에는 차하위 레벨에서의 SAD를 비교한다.

차하위 레벨에서의 SAD가 현재까지의 최소SAD보다 크다면, 최하위 레벨(lay 2)에서의 SAD는 현재까지의 최소SAD보다 크다. 따라서, 최하위 레벨(lay 2)에서의 SAD연산을 제외할 수 있다.

반면, 차하위 레벨에서의 SAD가 현재까지의 최소SAD보다 같거나 작다면, 최하위 레벨(lay 2)에서의 SAD는 현재까지의 최소SAD보다 작을 가능성이 있다. 이 경우에만 비로소 최하위 레벨에서의 SAD를 연산하게 된다.

이와 같이 간단한 연산에 의해 합 피라미드에서 상위 계층의 SAD가 현재까지의 최소SAD보다 큰 블록에 대한 연산을 제외시키게 됨으로써 블록 탐색을 위한 연산량이 크게 감소된다.

NxN의 크기를 가지는 블록에 대해 합 피라미드 구성하기 위한 연산량은 대략개의 덧셈이다. 각 블록 정합 과정이개의 연산을 필요로 하기 때문에 이 오버헤드는 대략 4번의 블록 정합에 해당된다.

그러나, Coban과 Mersereau의 방법이 단순히 FSA를 적용한 것보다는 계산량을 많이 줄일 수 있다고 하더라도 수학식 11에 의존한 1회에 걸친 조건 적용으로는 아직까지 만족할 만한 탐색 속도를 보이지 못하며, 실시간의 저전송률 부호화를 행하기에는 속도가 느리다.

여기서, 계층l에서의 Lagrangian 비용(cost)을 다음과 같이 정의할 수 있다.

최종적으로 수학식 15로부터 다음의 부등식이 얻어진다.

수학식 16을 고려하여, 본 발명에 따른 비트율 제한적인 고속 전역 탐색 기법(rate-constrained fast full search algorithm; RC-FFS)를 유도할 수 있다.

본 발명에 따른 움직임 추정 방법을 상세히 설명하면 다음과 같다.

먼저, 현재 블록에 대한 예측 움직임 벡터()를 정의한다.(s502)

에 대응하는 비용(cost)을 현재까지의 최소 비용이라 한다.의 결정은 전체 연산 속도에 미치는 영향이 크기 때문에 매우 중요하다.

예를 들어 H.263의 움직임 벡터 부호화에서처럼 median filtering을 통해을 정할 수 있다. 그러면 특정한 λ에 대해 RC-FFS가 다음과 같이 정리될 수 있다.

초기을로 한다.l과는 각각 0과 (0,0)으로 한다.(s504)

l이 L이면 s508로 간다.이면 raster scanning 방식으로 탐색 영역 내의 다음 MV 후보를 가지고 l을 0으로 한 후 s506을 다시 수행한다.((0,0) 및제외), 그렇지 않으면l을l+1로 한 후 s506을 다시 수행한다. (s506)

이면을로 갱신한다.가 마지막 MV 후보이면 s510으로 간다. 그렇지 않으면 다음 후보를 가지고l을 0으로 한 후 s506으로 복귀한다. (s508)

을 갖는 움직임 벡터를 최적 정합자로 한다.(s510)

표 1은 모의 실험 결과를 보이는 그래프이다. 실험은 두 개의 QCIF(Quadrature CIF) 영상들에 대해 행해졌다. (foreman과 car-phone) 각 시퀀스는 300프레임으로 구성된다. 부호화 프레임율은 15Hz이다. 매크로 블록의 크기가16x16이므로 l은 4이고, 움직임 탐색 영역은 31x31이다. 움직임 벡터의 비트량은 H.263의 Huffman code 테이블로부터 얻어진다.

RC-FFS을 Coban과 Mersereau의 기법(Coban-Mersereau Algorithm;이하 CMA라 함)과 비트율 제한적인 전역 탐색 기법(RC-FSA)과 비교하였다.

	foreman	car-phone
	RS-FFS	RC-FSA	CMA	RC-FFS	RC-FSA	CMA
λ= 0	MV bit-rate	441	389
	PSNR(dB)	33.2	33.9
	ANOP	52.7	2347	431.6	62.4	2347	362.9
λ= 10	MV bit-rate	370	329
	PSNR(dB)	33.1	33.9
	ANOP	39.6	2347	340.6	36.5	2347	245.5
λ= 20	MV bit-rate	338	311
	PSNR(dB)	33.1	33.9
	ANOP	35.6	2347	271.6	31.7	2347	180.7
λ= 30	MV bit-rate	318	297
	PSNR(dB)	33.0	33.8
	ANOP	23.8	2347	220.7	29.2	2347	141.7

화소당 평균 연산량(ANOP)는 덧셈과 절대치의 합으로부터 얻어진다. ANOP는 합 피라미드 구성을 위한 연산량 오버헤드를 포함한다. 위의 세 기법들의 MV 비트량과 PSNR들은 모두가 전역 탐색이기 때문에 동일하다.

λ가 증가함에 따라 MV 비트율이 미미한 PSNR 감소(01. - 0.2 dB)와 함께 중어드는 경향이 있음에 주목할 필요가 있다.

RC-FSA의 ANOP는 항상 2347이다. 그러나, 다른 두 기법의 ANOP는 영상의 특헝 혹은 λ에 따라 변한다. λ=0인 경우, RC-FFS의 ANOP는 RC_FSA의 2.2-2.7%에 불과할 뿐만 아니라, CMA의 12.2-15.5%밖에 되지 않는다. 또한 MV 비트량과 비슷하게, λ가 증가함에 따라 RC-FFS와 CMA의 ANOP는 더욱 감소한다. 예를 들어 λ=30인경우 RC-FFS의 ANOP는 RC-FSA의 단지 1.2-1.4%밖에 되지 않는다.

λ를 결정하는 데 반복적인 방법같은 최적의 방법을 이용할 수도 있으나, 그 계산량이 너무 방대하다. 대신에 실험을 통해 얻어진 통계적인 λ의 값들을 이용하는 것이 바람직할 수 있다. 실제로 λ의 값에 따라 PSNR이 크게 변하지 않음을 실험을 통해 알 수 있었다. 한 예로서 모든 프레임에 대해 하나의 λ값을 적용하여 움직임 추정을 수행할 수도 있다.

본 발명에 따른 움직임 벡터 추정 방법은 Coan과 Merserean의 기법보다 최대 8배정도 빠르며, 3단계 탐색(three step search) 방법보다도 최대 4-5배정도 빠르다.

따라서, 본 발명에 따른 움직임 벡터 추정 방법은 움직임 벡터의 비중이 상대적으로 높은 저전송률 부호화기에 적용하여 실시간으로 움직임 벡터를 추정하는 것이 가능하게 하는 효과를 가진다.

Claims

블록 정합에 의해 최적의 오류 척도를 가지는 블록을 탐색하여 움직임 벡터를 추정하는 방법에 있어서,

현재 블록 및 탐색 영역의 탐색 블록들에 대하여 합 피라미드를 구성하는 과정;

a) 초기을로 하는 과정(여기서,는 다음과 같이 결정되는 계층l에서의 오류 척도이며,

l과는 각각 0과 (0,0)으로 한다);

b)l이 L이면 c)로 진행하고,이면 raster scanning 방식으로 탐색 영역 내의 다음 MV 후보를 가지고l을 0으로 한 후 b)를 수행하며((0,0) 및제외), 그렇지 않으면l을l+1로 한 후 b)로 진행하는 과정;

c)이면을로 갱신하며,가 마지막 MV 후보이면 d)로 진행하고, 그렇지 않으면 다음 후보를 가지고l을 0으로 한 후 b)로 진행하는 과정; 및

d)을 갖는 움직임 벡터를 최적 정합자로 하는 과정을 포함하는 움직임 벡터 추정 방법.
제1항에 있어서, 상기 a) 과정의 현재 오류 척도는 median filtering에 의해 결정되는 것을 특징으로 하는 움직임 벡터 추정 방법.
제1항에 있어서,

이때, 어떤 블록의 합 피라미드는로 정의되며,

는

를 통해 얻어지는 것을 특징으로 하는 움직임 벡터 추정 방법.
제3항에 있어서,

는의 크기를 가지는 것을 특징으로 하는 움직임 벡터 추정 방법.
제1항에 있어서,

상기 오류 척도는

이며,

여기서,이고,는 프레임 t의 위치에서의 밝기값(휘도)이며,과 λ는 각각 Huffman code book에 의해 결정되는 블록 k의 움직임 벡터 비트량 및 Lagrange 계수인 것을 특징으로 하는 움직임 벡터 추정 방법.
제5항에 있어서, 상기 λ는 실험을 통하여 얻어진 통계적인 값임을 특징으로 하는 움직임 벡터 추정 방법.