KR100230031B1

KR100230031B1 - 움직임 벡터 검출장치

Info

Publication number: KR100230031B1
Application number: KR1019920003982A
Authority: KR
Inventors: 카쯔지 이가라시
Original assignee: 이데이 노부유끼; 소니 가부시키가이샤
Priority date: 1991-04-12
Filing date: 1992-03-11
Publication date: 1999-11-15
Also published as: US5452377A; DE69208131D1; EP0508706B1; DE69208131T2; JPH04314290A; KR920020965A; JP2861462B2; EP0508706A1

Abstract

본 발명은 동화상의 고능률 부호화 등에 사용되는 움직임 벡터 검출장치에 관한 것으로, 하프 화소 피치의 정밀도의 움직임 벡터를 생성하는데 있다.

즉, 제1도에서, 메모리(5)에는 시간적으로 연속하는 2프레임간에 대응하는 위치의 화소값차의 절대치(나머지차)가 기억되고, 최소치 검출회로(6)에 의해 이 나머지차로 부터 1화소피치의 해벡터가 검출되고, 보간회로(9)는 해벡터와 대응하는 나머지차와 그 주변의 나머지차를 메모리로 부터 받아들여 횡·종·경사의 각 방향에 관한 극값을 추정한다. 이 극값중에서 최소치가 최소치 검출회로(10)에서 검출되고, 검출된 최소치와 대응하는 하프 화소 피치의 보정치가 생성되며, 가산회로(7)에서 해벡터에 대한 보정치가 가해져 하프 화소 피치의 움직임 벡터가 얻어진다.

따라서, 적은 연산량과 간단한 구성에 의해 움직임 벡터를 1화소 피치의 절반 피치의 정밀도로 검출할 수 있다.

Description

움직임 벡터 검출장치

제1도는 본 발명의 일실시예의 블록도이다.

제2도는 본 발명의 일실시예의 동작설명에 이용되는 개략선도이다.

제3도는 본 발명의 일실시예의 동작설명에 이용하는 개략선도이다.

제4도는 종래의 움직임 벡터 검출을 설명하기 위한 개략선도이다.

* 도면의 주요부분에 대한 부호의 설명

2A. 2B : 프레임 메모리 5 : 나머지 차를 기억하는 메모리

9 : 복수방향의 극값을 구하는 보간회로

본 발명은 동화상(動畵像)의 고능률 부호화 등에 사용되는 움직임 벡터 검출장치에 관한 것으로, 특히 하프(half) 화소 피치의 정밀도의 움직임 벡터를 생성하는 데 있다.

종래, 동화상을 고능률 부호화 하는 것의 하나로써는, 프레임간의 화소데이타차를 DCT변화(Discretd Cosine Transform)하고, 이 DCT변환 출력을 가변길이 부호화 하는 방식이 제안되고 있으며, 동화상을 효율 좋게 압축하기 위하여 움직임 벡터 검출기가 설치되어, 검출된 움직임 벡터를 전송하고 있다. 또, 프레임간의 차를 형성하기 위하여 이전 프레임의 예측 값을 생성하는 로컬 디코더(local decoder)가 설치되고, 이 로컬 디코더에 대하여 검출된 움직임 벡터가 주어진다.

움직임 벡터의 검출방법으로서는 예를 들어 블록 맷칭(block matching)이 사용되며, 제4(a)도는 이전 프레임의 화면 내를 분할하여 얻어진 다수의 블록의 하나인 (3×3) 블록(BLO)을 나타내고, 이 블록(BLO)에는 (B11), (B12), …, (B33)의 화소데이터가 포함된다. 제4(b)도는 현재 프레임 화면내의 화소데이터(A11), (A12), …(A33)를 포함하고, 움직임 벡터를 구하고자 하는 블록(ALO)을 나타낸다. 움직임벡터의 서어치 범위내에서, 상기 현재 프레임의 블록(ALO)의 위치가 이전 프레임으로부터 예측된다.

최초에, 시간적으로 2프레임간에 대응하는 위치의 화소값 차의 절대치(ABS)(나머지 차라 한다)가 연산되고, 이 나머지 차가 블록마다 가산되어, 나머지 차의 총함(ΔF)이 구해진다.

즉, ΔF=ABS{(A11-B11)+(A12-B12)+ …+(A33-B33)}

이 나머지 차의 총합(ΔF)은 움직임 벡터의 서어치 범위에 있어서 복수개 얻진다. 복수의 ΔF중에서 최소치가 검출되고, 그 최소치의 위치(x, y)가 움직임 벡터로서 검출된다. 이 움직임 벡터(x, y)는 화소간 거리(1화소 피치)의 분해능인 것이다.

상술한 바와 같은 고능률 부호화 방법에서는 움직임 벡터의 정밀도가 높은 만큼, 부호화의 불일치를 적게 할 수 있다. 따라서, 1화소 피치의 절반 피치(하프 화소 피치라 한다)의 정밀도로 움직임 벡터를 검출하는 것이 제안되고 있다. 이것은 2점 혹은 4점 평균치를 연산함으로서 예측블록을 형성하고, 이 예측블록에 관하여 블록맷칭의 처리를 행하는 것이다.

즉, 1화소 피치로 구해진 이전 프레임과 대응하는 블록을 BLO라 하면, 이 BLO에 대하여 1화소 피치 벗어난 블록과의 평균치를 연산함으로서, 하프 화소 피치를 벗어난 이하의 예측블록을 연산한다.

(x+0.5, y)의 예측블록 BL1;

{(B11~B33)+(B12~B34)}/2

(x-0.5, y)의 예측블록 BL2;

{(B11~B33)+(B10~B32)}/2

(x+0.5, y+0.5)의 예측블록 BL3;

{(B11~B33)+(B12~B34)}+(B21~B43)+(B22~B44)}/4

(x-0.5, y+0.5)의 예측블록 BL4;

{(B11~B33)+(B10~B32)}+(B20~B42)+(B21~B43)}/4

(x+0.5, y-0.5)의 예측블록 BL5;

{(B11~B33)+(B12~B34)}+(B01~B23)+(B02~B32)}/4

(x-0.5, y-0.5)의 예측블록 BL6;

{(B11~B33)+(B10~B32)}+(B01~B23)+(B00~B22)}/4

(x, y+0.5)의 예측블록 BL7;

{(B11~B33)+(B21~B43)}/2

(x, y-0.5)의 예측블록 BL8;

{(B11~B33)+(B01~B23)}/2

현재 프레임의 블록(ALO)과 예측블록(BLi)(i=0, 1, 2 …, 8)과의 차분의 절대치 총합이 최소인 예측블록(Bi)을 검출하고, 이 검출된 예측블록(Bi)에 대한 벡터가 하프 화소 피치의 정밀도의 움직임 벡터가 된다. 이러한 하프 화소 피치의 움직임 벡터를 구하는 방법의 계산량을 조사하면 이하의 것이 된다.

여기서는, 1블록의 크기가(N×N)이라 하고, 1화소 피치의 움직임 벡터가 구해진 이하의 연산량을 조사한다. 우선 예측블록의 계산은 가산만으로 한정하면,

(2점 평균의 예측을 위한 가산)+(4점 평균의 예측을 위한 가산)

=4N²+6×2N²=16N²

차분의 절대치를 구하기 위해서는, 상술한 바와 마찬가지로, 2점평균의 예측과 4점평균의 예측의 각각에 관하여 4N²의 감산과 4N²의 절대치화 연산이 필요하기 때문에,

(감산)+(절대치화)=(8N²)+(8N²)=16N²

절대치 차분의 총합을 블록마다 구하기 위해서는, 각 예측블록에 관하여 (N²-1)의 가산이 필요하기 때문에, 전체로서 (8N²-8)의 연산이 필요하다. 실제로는 (N=16)으로 되는 것이 많음으로, 그 경우에는 4096회의 가산, 2048회의 감산과 절대치화, 2040회의 가산을 1블록당에서 필요로 하고, 또한, 각 화소데이타를 메모리로부터 액세스하는 시간을 포함하면, 리얼타임으로 처리하기 곤란하며, 고속처리를 위하여 병렬화 처리 등의 하드웨어 구성을 채용할 때에는 하드웨어의 규모가 커지는 문제가 발생한다.

따라서, 본 발명의 목적은 종래 보다 적은 연산회수로 하프 화소 피치의 움직임 벡터를 검출할 수 있는 움직임 벡터 검출장치를 제공하는데 있다.

본 발명은, 시간적으로 연속하는 2프레임간의 대응하는 위치의 화소값차의 절대치인 나머지 차를 구하고, 이 나머지 차를 블록마다 합계하여, 이 합계치의 최소치로부터 1화소 피치의 정밀도로 블록의 해벡터(解 Vector)를 구하는 수단(3, 4, 6)과, 1화소 피치의 해벡터 주변의 나머지 차를 사용하여 보간(補間)을 행함으로서, 복수방향의 각각에 있어서 하프 화소 피치의 극값을 추정하고, 극값 중에서 최소치를 검출하여, 최소치와 대응하는 보정치를 생성하는 수단(9,10)과, 1화소 피치의 해백터에 대하여 보정치가 가해진 출력 벡터를 생성하는 수단(7)으로 이루어진 움직임 벡터 검출장치이다.

1화소 피치의 해벡터가 검출되고, 이 해벡터의 주변의 나머지 차가 사용되어, 복수방향에 있어서의 극값이 보간에서 구해지며, 이 복수의 극값 중에서 최소치가 검출되어 보정치로 되고, 1화소 피치의 해벡터에 대하여 보정치가 가해짐으로서, 하프 화소 피치의 움직임 벡터가 얻어진다.

[실시예]

이하, 본 발명의 일실시예에 대하여 도면을 참조하여 설명하면 다음과 같다. 본 발명의 일실시예에 있어서의 움직임 벡터 검출은, 화소 피치로 구해진 해벡터의 주변의 나머지 차로부터 복수방향에 있어서의 하프 화소 피치의 극값을 보간추정하고, 이 극값의 최소치를 보정치로 하여 1화소 피치의 해백터에 대하여 가해짐으로서, 하프 화소 피치의 정밀도의 움직임 벡터를 얻는 것이다.

제1도는 본 발명의 일실시예의 개략적인 블록도를 나타내며, 제1도에서 (1)로 표시한 입력단자에 디지털 비디오 데이터가 입력된다. 이 입력 비디오 데이터의 각 프레임의 스위치회로(SW)에 의해 프레임 메모리(2A) 및 (2B)에 교대로 기억되고, 이 프레임 메모리(2A)에 저장된 이전 프레임과 프레임 메모리(2B)에 저장된 현재 프레임으로부터 각각 독출된 화소데이터가 감산회로(3)에 공급된다.

상기 감산회로(3)로부터 화소마다의 프레임 차가 절대치화 회로(4)에 공급되어 절대치로 변환되고, 이 프레임 차의 절대치, 즉 나머지 차가 메모리(5)에 기억된다. 상기 메모리(5)에 기억되어 있는 나머지 차가 최소치 검출회로(6)에 공급되고, 이 최소치 검출회로(6)에서는 블록맷칭에 의한 1화소 피치의 해벡터가 검출된다. 이 방법은 종래의 블록 맷칭에 의한 움직임 벡터 검출과 마찬가지로써, 움직임 서어치 범위가 종 및 횡 모두 M 이라면, (-M, -M)의 위치로부터 (+M, +M)의 범위에 관한 나머지 차중에서 최소치가 해벡터로써 검출되고, 이 해벡터가 메모리(5) 및 가산회로(7)에 공급된다.

상기 메모리(5)로부터는 상술한 해벡터의 주변의 복수의 나머지 차가 독출되며, 제2도는 해벡터(x, y)를 중심으로 하는 (3×3=9)개의 나머지 차(D00~D22)를 나타낸다. 이 나머지차(D00~D22)가 보간회로(9)에 공급되고, 보간회로(9)는 4방향에 관한 극값을 추정한다.

제3도를 참조하여 보간회로(9)의 보간동작에 관하여 설명하면 다음과 같다. 제3도에 있어서, (L1)(L2)(L3)(L4)의 각각은 횡방향·종방향 및 경사방향인 보간방향을 표시한다. 예를 들면 경사방향(L4)에 관해서는 나머지 차(D02)(D11)(D20)가 존재한다. 횡축이 L4의 방향의 위치이고, 종축이 값 V인 제3(b)도에 나타낸 바와 같이, 만약, D20＞D02라고 한다면, d02=D02-{(D20-D11)/2}의 보간연산에 의해 L4의 방향에 있어서의 하프 화소 피치의 극값(d02)을 추정한다. 만약, D20D02라고 한다면, d21=D20-{(D02-D11)/2}의 보간연산에 의해 L4의 방향에 있어서의 하프 화소 피치의 극값(d21)을 추정한다. 이러한 제3(b)도에 나타낸 바와 같은 V자형의 보간연산을 다른 방향(L1)(L2) 및 (L3)의 각각에 관해서도 마찬가지로 행하고, 각 방향에 관하여 추정된 극값을 검출한다.

상기 보간회로(9)에 의해 추정된 4개의 하프 화소 피치의 극값이 최소치 검출회로(10)에 공급되고, 이 최소치 검출회로(10)는 대소비교에 의해 이 4개의 극값중에서 최소치를 검출하고, 검출된 극값이 D11보다 작은 조건을 만족할 때 최소치와 대응하는 값을 하프 화소 피치의 보정치로서 채용한다. 만약, 검출된 극값이 D11이상의 경우에는 보정치를 발생하지 않는다(즉, 보정치가 0임). 일 예로써, 보간회로(9)에 제3(a)도 중에서 (d00)(d01)(d02)(d10)이 극값으로서 추정되고, 그 중에서 (d00)이 최소치로서 최소치 검출회로(10)에 의해 검출되고, 또한, d00＜D11인 경우에는, (-0.5, -0.5)의 보정치가 생성된다.

이 최소치 검출회로(10)로부터의 보정치가 가산회로(7)에 공급되며, 가산회로(7)에 있어서 화소 피치의 해벡터(x, y)에 대하여 보정치가 가산되고, 출력단자(8)에는 하프 화소 피치의 정밀도의 움직임 벡터를 얻을 수 있다. 본 실시예에서는 1블록에 관하여, 4회값의 비교와, 8회의 감산과 4회의 시프트에 의한 나눗셈과, 최소치 판별의 처리에 의해, 하프 화소 피치의 움직임 벡터를 산출할 수 있다.

1화소 피치의 해벡터를 구하기 위하여, 그 연산량을 적게 하기 위한 여러 가지의 고안 예를 들면 3단계 탐색법을 사용하여도 좋다. 또한, 해벡터의 주변의 나머지 차를 사용하여 복수방향의 극값을 구하기 위한 보간방법으로서는, 상술한 일실시예에 한정되지 않는다.

본 발명은, 종래와 같이 하프 화소 피치로 복수의 예측블록을 형성할 필요가 없으므로, 종래 보다 연산량을 대폭적으로 적게 할 수 있다.

또한, 본 발명은 앞에서 구해진 나머지 차를 이용하여 간단한 보정연산을 행하고, 그 최소치로부터 보정치를 검출함으로, 회로구성이 간단한 이점이 있다.

Claims

시간적으로 연속하는 2프레임간에 대응하는 위치의 화소값차의 절대치인 나머지 차를 구하고, 이 나머지 차를 블록마다 합계하여, 이 합계치의 최소치로부터 1솨소 피치의 정밀도로 상기 블록의 해벡터를 구하는 수단과, 상기 1화소 피치의 해벡터의 주변의 상기 나머지 차를 사용하여 보간을 행함으로서, 복수방향의 각각에 있어서, 하프 화소 피치의 극값을 추정하고, 상기 극값 중에서 최소치를 검출하여, 상기 최소치와 대응하는 보정치를 생성하는 수단과, 상기 1화소 해벡터에 대하여 상기 보정치가 가해진 출력벡터를 생성하는 수단으로 이루어진 움직임 벡터 검출장치.