KR100269129B1

KR100269129B1 - 부화소단위의움직임추정방법및이를위한장치

Info

Publication number: KR100269129B1
Application number: KR1019970062046A
Authority: KR
Inventors: 전병우
Original assignee: 윤종용; 삼성전자주식회사
Priority date: 1997-11-21
Filing date: 1997-11-21
Publication date: 2000-10-16
Also published as: KR19990041461A

Abstract

본 발명에는 동영상을 부호화하는 동영상 부호화기를 위한 부화소 단위의 움직임 추정 방법과 이를 위한 장치가 개시되어 있다. 소정 크기의 블록으로 분할된 현재 프레임의 각 블록에 대해 이전 또는 이후의 기준 프레임의 소정 크기의 블록을 화소 단위로 탐색해서 두 블록간의 화소차가 최소가 되는 정화소 단위의 움직임 벡터를 추정하는 제1 추정기 및 정화소 단위의 움직임 벡터와 상기 정화소 단위의 움직임 벡터 추정시 발생하는 화소간 에러값을 이용하여, 최적의 부화소 단위의 움직임 벡터를 추정하는 제2 추정기를 포함하는 본 발명은 화소간의 보간을 사용하지 않으면서도 좋은 성능을 유지함으로써 계산량이 획기적으로 감소하고 이에 따른 계산 시간의 감소와 하드웨어 복잡성이 감소된다.

Description

부화소 단위의 움직임 추정 방법 및 이를 위한 장치{Motion estimation method using subpixel-by-subpixel basis and apparatus therefor}

본 발명은 영상 부호화 분야에 관한 것으로, 특히 화소간 보간을 필요로 하지 않는 간단한 부화소 단위의 움직임 추정 방법 및 이를 위한 장치에 관한 것이다.

화상회의, 고화질 텔레비젼, 주문형 비디오(VOD) 수신기, MPEG(Moving Picture Experts Group) 영상을 지원하는 퍼스널 컴퓨터, 게임기, 지상파 디지털 방송 수신기 디지털 위성 방송 수신기 및 케이블 텔레비젼(CATV)등에서 사용되는 디지털 영상 데이터는 영상 자체의 특성과 아날로그 신호를 디지털화하는 과정에서 데이터량이 크게 늘어나기 때문에 그대로 사용되기 보다는 효율적인 압축방법에 의해 압축된다.

디지털 영상 데이터의 압축은 크게 3가지 방법을 이용하고 있다. 시간적인 중복성(temporal redundancy)을 줄이는 방법과 공간적인 중복성(spatial redundancy)를 줄이는 방법 그리고 발생 부호의 통계적 특성을 이용하여 줄이는 방법이 주로 이용된다. 이중에서 시간적인 중복성을 줄이는 대표적인 방법이 바로 움직임 추정 및 보상 방법이다.

현재 화면의 특정 부분에 대해 이전 또는 이후의 기준 화면으로부터 가장 유사한 부분을 찾고, 두 부분의 차이성분만을 전송하는 움직임 추정 및 보상 방법은, 가능한 한 움직임 벡터를 정밀하게 찾을수록 전송할 차이성분이 줄어들어 데이터를 더욱 효과적으로 줄일 수 있지만 이전 또는 이후의 화면에서 가장 유사한 부분을 찾기 위해서는 상당한 추정시간과 계산량이 요구되어진다. 따라서, 동영상의 부호화시 시간이 가장 많이 소요되는 움직임 추정시간을 줄이는 노력이 계속되고 있다.

한편, 움직임 추정 방법은 크게 화소 단위(pixel-by-pixel basis)의 추정방법과 블록 단위(block-by-block basis)의 추정방법이 있다.

화소 단위의 추정 방법 중 먼저, 정화소(integer pixel) 단위로 움직임 벡터를 찾는 방법으로 2차원 대수적 탐색법(Logarithmic Search), 3단계 탐색법(Three Step Search) 등이 제안되었지만 국부 최소값(local minimum)에 빠질 수 있는 가능성과 부화소(sub-pixel) 단위로까지 더 세밀하게 움직임 벡터를 찾아야 할 필요성 때문에 MPEG-2 등에서는 통상 전역 탐색법(Full Search)을 사용하고 있다.

다음, 움직임 벡터가 화소 단위가 아닐 가능성에 대응하기 위해서 정화소와 정화소 사이를 보간에 의해 더욱 정밀하게 추정하는 부화소 단위의 움직임 추정 방법은 현재 MPEG-2 등에서 채택되어 사용되어지고 있지만 화소간 보간에 의한 계산량과 부호화시간의 증가는 개선되어야할 여지가 많다.

부화소 단위의 움직임 추정 방법의 일예로 MPEG에서 사용되고 있는 반화소(half-pixel)단위의 움직임 추정인 경우, 16

16 화소 크기를 갖는 매크로 블록 단위의 휘도성분으로 움직임을 추정해서 보상하는 데 먼저 인접한 매크로 블록에서 전역 탐색법에 의해 최적의 정화소 단위의 움직임 벡터를 찾는다. 찾은 정화소 단위의 움직임 벡터 근처에서 다시 반화소 단위로 움직임 벡터를 추정하게 되는 데 이때 찾아야 할 최적의 반화소 단위의 움직임 벡터의 후보가 되는 8개의 반화소들은 모두 정화소들간의 보간(반올림 평균)에 의해 구해지게 된다.

따라서, 16

16 화소 크기의 매크로 블록에서는 8

16

16 반화소들을 보간에 의해 계산해야 하므로 정화소 단위의 움직임 추정보다도 월등히 많은 계산량과 계산 시간이 요구되는 문제점이 있었다.

본 발명의 목적은 계산 시간과 계산량이 줄어드는 부화소 단위의 움직임 벡터를 추정하는 방법을 제공하는 데 있다.

본 발명의 다른 목적은 하드웨어 복잡성을 감소시키는 부화소 단위의 움직임 벡터를 추정하는 장치를 제공하는 데 있다.

상기한 목적을 달성하기 위하여, 본 발명에 의한 부화소 단위의 움직임 추정 방법은 동영상 부호화를 위한 움직임 추정 방법에 있어서, 소정 크기의 블록으로 분할된 현재 프레임의 각 블록에 대해 이전 또는 이후의 기준 프레임의 소정 크기의 블록을 화소 단위로 탐색해서 두 블록간의 화소차가 최소가 되는 정화소 단위의 움직임 벡터를 추정하는 단계 및 정화소 단위의 움직임 벡터와 상기 정화소단위의 움직임 벡터 추정시 발생하는 화소간 에러값을 이용하여 최적의 부화소 단위의 움직임 벡터를 추정하는 단계를 포함함을 특징으로 한다.

상기한 다른 목적을 달성하기 위하여, 본 발명에 의한 부화소 단위의 움직임 추정 장치는 동영상을 부호화하는 동영상 부호화기를 위한 움직임 추정기에 있어서, 소정 크기의 블록으로 분할된 현재 프레임의 각 블록에 대해 이전 프레임의 소정 크기의 블록을 화소 단위로 탐색해서 두 블록간의 화소차가 최소가 되는 정화소 단위의 움직임 벡터를 추정하는 제1 추정기 및 정화소 단위의 움직임 벡터와 상기 정화소 단위의 움직임 벡터 추정시 발생하는 화소간 에러값을 이용하여 최적의 부화소 단위의 움직임 벡터를 추정하는 제2 추정기를 포함함을 특징으로 한다.

도 1은 본 발명이 적용되는 동영상 부호화기의 블록도이다.

도 2는 본 발명에 의한 움직임 추정기의 개략적인 블록도이다.

도 3은 본 발명의 이해를 돕기 위한 정화소와 반화소의 상대적인 좌표이다.

도 4는 본 발명의 일 실시예에 따른 움직임 추정 방법에서 생성되는 에러값을 평면적으로 나타낸 도면이다.

도 5는 본 발명의 다른 실시예에 따른 움직임 추정 방법에서 생성되는 에러값을 평면적으로 나타낸 도면이다.

도 6은 본 발명의 또 다른 실시예에 따른 움직임 추정 방법을 설명하기 위한 정화소와 이웃하는 상,하,좌,우 화소에 가중치를 준 것을 보인 도면이다.

도 7은 본 발명의 또 다른 실시예에 따른 움직임 추정 방법에서 생성되는 에러값을 평면적으로 나타낸 도면이다.

도 8의 (a) 내지 (d)는 도 7에 적용되는 움직임 추정 방법에 의해 추정된 움직임 보상 에러곡선을 보인 도면이다.

도 9의 (a) 내지 (c)는 본 발명의 또 다른 실시예에 따른 움직임 추정 방법에 필요한 보간 횟수를 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명에 의한 부화소 단위의 움직임 추정 방법 및 이를 위한 장치의 바람직한 실시예를 설명하기로 한다.

본 발명이 적용되는 동영상 부호화기의 블록도인 도 1에 있어서, 이 동영상 부호화기는 프레임내(intra-frame) 압축 및 프레임간(inter-frame) 압축을 하며, 예를 들어 I,P,B 프레임 압축의 시퀀스에 따라 행한다.

일반적으로, I 프레임 화소 데이터는 감산기(102)의 영향을 받지 않고 그대로 이산코사인변환(DCT) 연산기(104)로 출력된다. DCT 연산기(104)는 DCT를 8

8 화소 블록단위로 행하고, 양자화기(106)는 DCT 데이터를 양자화하고, 가변장 부호화기(108)는 양자화된 데이터를 런길이 부호화해서 통계적 부호화를 행하고, 또한, 통계적 부호화된 영상 데이터, 움직임 추정기(122)로부터의 인가되는 움직임 벡터 그리고 매크로블록타입과 같은 부가정보를 다중하여 출력한다. 버퍼(110)는 다중화된 영상 데이터의 비트레이트를 조절하기 위해 일시 저장한다.

양자화기(106)로부터 출력되는 압축된 I 프레임은 역양자화기(112)에서 역양자화되고, 역 DCT 연산기(114)는 역양자화된 I프레임에 대해 역 DCT를 수행하여 압축해제된 I 프레임을 가산기(116)에 인가한다. 압축해제된 I 프레임은 가산기(114)의 영향을 받지 않고 그대로 버퍼역할을 하는 프레임 메모리(118)에 전송되고, 이후 P 및 B 프레임을 예측압축하기 위하여 프레임 메모리(150)에 저장된다. P 및 B 프레임의 예측부호화도 유사하며, P 프레임 압축에 대해 설명한다. 프레임 메모리(118)에 저장된 영상 프레임들은 움직임 추정기(120)에 공급된다.

움직임 추정기(120)는 현재 입력되는 영상 데이터와 프레임 메모리(118)에 저장된 이전 또는 이후의 기준 프레임의 영상 데이터를 이용하여 움직임 벡터를 계산해서 가변장 부호화기(108) 및 움직임 보상기(122)에 출력한다.

움직임 보상기(122)는 움직임 추정기(120)에서 추정된 움직임벡터에 상응하는 블록을 프레임 메모리(118)로부터 독출하여 감산기(102)에 공급한다. 감산기(102)는 현재 압축해제될 프레임에 대응하는 블록으로부터 움직임 보상기(122)를 통해 프레임 메모리(118)로부터의 예측된 블록을 감산하는 데, 화소 대 화소 단위로 감산한다. 감산기(102)의 감산에 의해 얻어진 차 또는 나머지(residue)는 DCT 수행기(104)에 인가된다.

한편, 압축 P 프레임은 역 양자화기(112) 및 역 DCT 연산기(114)에서 복호화되고, 복호화된 데이터는 가산기(116)의 제1 입력단에 인가된다. 동시에 현재 프레임을 예측하기 위해 프레임 메모리(118)에 저장된 기준 영상 프레임의 각각의 블록을 억세스하여 억세스된 블록은 움직임 보상기(122)를 통해 가산기(116)의 제2 입력단에 인가된다. 가산기(116)는 부호화된 나머지 또는 차와 움직임 보상기(122)로부터 출력되는 데이터를 가산해서 실제의 이미지를 복원한다. 가산기(116)로부터의 복원된 P 프레임은 이후 P 및 B 프레임을 예측 부호화/복호화하기 위하여 프레임 메모리(118)에 저장된다.

도 2는 본 발명에 의한 움직임 추정기의 개략적인 블록도로서, 이 움직임 추정기(200)는 도 1에 적용될 수 있다. 도 2에 있어서, 움직임 추정기(200)는 정화소 단위의 움직임 벡터(MV)를 추정하는 제1 추정기(210)와 찾아낸 정화소의 움직임 벡터를 근거로 하여 최적의 부화소 단위의 움직임벡터(MV')를 추정하는 제2 추정기(220)로 구성된다.

제1 추정기(210)는 압축될 현재의 프레임을 매크로블록으로 분할하고, 분할된 현재 프레임에 대해 이전 또는 이후의 기준 프레임의 탐색 영역에서 화소 단위로 탐색하고, 그때마다 평균에러를 계산하여 이 평균에러가 최소가 되는 위치를 찾음으로써 정화소 단위의 움직임 벡터(MV)를 추정하여 출력한다. 제2 추정기(220)는 정화소 단위의 움직임 벡터를 근거로하여 이하 설명될 부화소 단위의 움직임 추정 방법에 의해 최적의 부화소 단위의 움직임 벡터(MV')를 추정한다.

이하, 본 발명에서 제안하는 부화소 단위의 움직임 추정 방법에 대하여 설명하기로 한다.

먼저, 도 3에서

표시된 곳은 정화소의 위치들이고,

표시된 곳은 반화소의 위치들을 도시하고 있다. 이중 (0,0)좌표는 이미 전역 탐색법에 의해서 찾아진 정화소 단위의 움직임 벡터가 가르키는 곳을 의미한다. 따라서, 반화소 단위의 움직임 벡터는 (0.0) 좌표 자신일 수도 있고, (0,0) 좌표 주변의 8개의 반화소의 좌표 중 하나일 수 있다.

(ⅰ) 일반적인 역 매트릭스법(generalized inverse matrix solution)

도 3에서 3

3 화소들로 구성된 평면은 수학식 1과 같은 2차 방정식으로 모델링될 수 있으며, 9개의 미지의 계수로 구성된다.

f(x,y) =c_1 x^2 y^2 + c_2 x^2 y+ c_3 x^2 + c_4 x y^2 + c_5 xy+ c_6 x + x_7 y^2 + c_8 y + c_9

수학식 1에 나타나 있는 방정식은 x나 y 어느 한 값을 고정하면 그 지점의 2차 방정식이 된다. 고정된 x나 y가 변할 때마다 그래프의 기울기가 변하는 2차 곡선이 될 것이다. 전역 탐색 과정에서 이미 찾은 정화소 단위의 움직임 벡터인 (0,0)에서의 에러 차분의 합과 주변 8개의 정화소에서의 에러 차분의 합이 모두 9개이므로 9개의 계수 값을 구할 수 있다. 왼쪽 위 정화소(좌표 (-1,-1))부터 오른쪽 아래 정화소(좌표(1,1))까지 차례로 수학식 1에 대입했을 때, 행렬 형식으로 나타내면 수학식 2와 같이 나타낼 수 있다.

여기서, f(n)은 에러 차분의 합을 나타내며, n=1의 경우 좌표(-1,-1)을 표시하고, 정화소 좌표 (0,-1), (1,-1), (-1,0), (0,0), (1,0),(-1,1), (0,1),(1,1)까지 차례로 n=2, ...,9를 의미한다. 움직임 벡터를 구할 경우, 두 영상의 차를 절대값으로 하여 합을 계산하거나 또는 두 영상의 차의 제곱의 합을 계산할 수 있는 데, 본 발명에서는 양쪽 모두를 일반적으로 에러차분의 합으로 표시한다.

위 수학식 1을 풀기 위해서는 수학식 2의 9

9 행렬의 역행렬을 구해야 하는 데 이 행렬은 특이하지 않으므로(non-singular) 수학식 3과 같이 역행렬이 구해진다.

매 매크로블록에서 언제나 도 3과 같이 정화소 단위의 움직임 벡터가 (0,0)으로 설정되고, 주변은 그 상대적인 값(-1,0 또는 1)으로 설정되기 때문에 매번 역행렬을 구할 필요없이 위 수학식 3과 같이 고정된 값을 사용할 수가 있어서 9

9 행렬의 역행렬로 인한 계산량의 증가는 전혀 고려할 필요가 없게 된다. 게다가 위 수학식 3의 9

9 행렬은 성긴 행렬(sparse matrix)이고 규칙적이어서 계산량에 있어서 유리하게 작용할 수 있다.

수학식 3에 의해 구해진 9개의 계수들 c1

c9을 가지고 수학식 1을 완성하여 도 3의 반화소의 각 좌표들을 대입하여 그 좌표에서의 에러 차분의 합의 값을 추정한다. 수학식 4에서 보여진 것처럼 이때도 각 반화소들에 의해 구성되는 9

9 행렬은 고정적이고 성긴 행렬이며 어느 정도 규칙성이 있음을 알 수 있다.

f(x,y) = c_1 x^2 y^2 + c_2 x^2 y +c_3 x^2 + c_4 xy^2 + c_5 xy +c_6 x +c_7 y^2 + c_8 y + c_9

=

(ⅱ) 최소 자승법(least square solution)

(ⅰ) 방법에서는 9개의 미지수를 가진 방정식을 풀기 위해 9개 좌표의 에러 차분의 합을 이용하였는 데, 좀 더 간단한 방법으로서 위 수학식 1에서 x2y2, x2y, xy2항을 없애면 수학식 5와 같이 주어진다.

f(x,y) = c_1 x^2 + c_2 xy + c_3 y^2 +c_4 x + c_5 y +c_6

위 수학식 1에 의해 구해지는 3차원적 에러 차분의 합을 도 4에 도시된 바와 같이 등고선처럼 표시할 때, x,y축에 대하여 대각선방향으로 기울어진 타원형으로 나타낼 수 있다면 위 수학식 5에 의해 구해지는 3차원적 에러 차분의 합은 도 5에 도시된 바와 같이 x축 또는 y축에 수평한 방향으로 찌그러진 형태의 타원만으로 표시되므로 수학식 5는 수학식 1에 비해 보다 간단화된 식이라고 할 수 있다.

이 수학식 5는 미지수가 6개이므로 필요한 좌표의 수는 6개이지만 주어진 9개의 좌표 중 어느 것을 선택해야 더 정확한 결과를 낼지는 알 수가 없다. 따라서, 수학식 6에서 알 수 있듯이 미지수가 6개이고 주어진 좌표값이 9개일 때 본 발명에서는 수학식 7에 나타나 있는 최소자승법을 사용하게 된다. 그때의 의사 역행렬(pseudo inverse matrix)된 결과는 수학식 8과 같이 주어진다.

여기서, f는 각 좌표의 에러 차분의 합이고, A는 위 수학식 6에 나타나 있는 6

9 행렬이고, c는 미지 계수 c1

c6를 나타낸다.

이렇게 해서 구해진 계수값을 가지고 (ⅰ) 방법에서 했던 것과 동일하게 수학식 5를 완성하고 수학식 9와 같이 반화소의 각 좌표들을 대입하여 그 좌표에서의 에러 차분의 합의 값을 추정해서 가장 작은 값을 갖는 부화소를 부화소 단위의 움직임 벡터로 추정한다.

f(x,y) = c_1 x^2 + c_2 xy + c_3 y^2 + c_4 x + c_5 y +c_6

=

(ⅲ) 가중치 최소 자승법

수학식 5의 해를 구하는 데 있어서, 도 3의 9개의 좌표를 그냥 이용하기 보다는 (0,0)에서 더 가까운 좌표에 가중치를 주어서 계수값을 구하는 방법이다. 이 방법은 (ⅱ) 방법의 수학식 5에 가중치 행렬(W)를 곱하는 단계가 부가된다.

도 6에 도시된 바와 같이 전역 탐색법에 의해서 이미 찾은 정화소의 좌표로부터 가까울수록 에러가 작은 것이므로 가까운 좌표에 의한 영향을 더 크게 하여 정확성을 높이기 위함이다. 도 6에 있어서, ■ 부분이 가중치를 준 좌표이다. 즉, (0,-1), (-1,0), (1,0), (0,1)에는 s(side)배의 가중치를 적용하고, (0,0)에는 c'(center)배의 가중치를 적용하면 가중치 행렬(W)은 수학식 10과 같다. c'와 s의 값은 모두 1보다 작고, c'값은 s값보다 작다. 이때, 가중치 최소 자승법(least square solution)을 식으로 나타내면 수학식 11과 같다.

(ⅳ) 간단화된 고속 알고리즘(simplified fast algorithm)

이 방법은 (ⅱ) 방법보다도 더 간단히 xy항을 없애 버린 것으로 수학식 12를 이용한다.

f(x,y) = c_1 x^2 + c_2 x + c_3 y^2 + c_4 y+ c_5

이 수학식 12에 의해 구해지는 에러 차분의 합이 도 7에 도시된 바와 같이 원형의 등고선의 형태가 된다. 또한, 이것은 도 3에서 (0,0)자신과 (0,0)으로부터 가장 가까운 거리에 있는 4점 즉, (0,-1), (-1,0), (1,0), (0,1)만을 이용하므로 정방행렬(square matrix)이 된다. x,y가 분리가능(separable)하다고 가정하면 움직임 보상 에러 E(x)는 수학식 13와 같이 주어질 수 있다.

E(x) = a vert x-b vert^r + c

여기서, gamma = 2, a ＞ 0, vert b vert < 1 그리고 c ＞= 0 이다. b는 정확한 움직임 벡터이며, x는 b 주변의 벡터 중 하나라고 하다면 도 8에 도시된 바와 같이 나타낼 수 있다.

도 8의 (a)에 있어서, P0는 아래 수학식 14와 같이 나타내어지는 정화소 움직임 벡터(m0,n0)의 움직임 보상 에러의 자승평균(square mean)이고, Y(m,n)과 Y'(m,n)은 각각 현재 프레임과 이전 프레임의 휘도(luminance)값이다. 움직임 벡터의 수평방향(즉, x축 방향)만을 예로 설명하고, 수직방향(즉, y축 방향)은 x,y가 분리가능(separable)하기 때문에 같은 방법으로 구하면 된다.

도 8에서 정화소 단위의 움직임 벡터로부터 좌, 우로 한 화소만큼 이동시킬 때의 움직임 보상 에러의 자승 평균을 P1과 P-1 이라 정의하면 이 P1과 P-1도 위와 같은 계산방법으로 구해낼 수 있다.

한편, 모션 보상 예측 에러(prediction error)인 P0,P1,P-1을 이용하여 다음과 같이 나타낼 수 있다.

위 수학식 15에서 (P1-P0)/(P-1-P0)는 정확한 움직임 벡터 b의 값에 의해 결정되므로, 변수 b에 대한 함수 g(b)라고 쓸 수 있다. 이때, (P1-P0)와 (P-1-P0)의 상대 크기에 의해, 찾고져하는 반화소 단위의 최적 움직임 벡터의 x축 성분(MVx')이 m0-0.5, m0, m0+0.5의 어느 것인지를 알 수 있다.

즉, (P1-P0)가 (P-1-P0)에 비해 충분히 크면 도 8의 (b)에 도시된 바와 같이, MVx'은 m-0.5가 되며, 반대로 (P-1-P0)가 (P1-P0)에 비해 충분히 크면 도 8의 (d)에 도시된 바와 같이 MVx'은 m+0.5가 된다. 위 두 경우를 제외한 경우는 도 8의 (c)에 도시된 것처럼 MVx'은 m0가 된다. 이를 수식으로 나타내면 수학식 16과 같다.

여기서, MVx'는 수평방향(x축 방향)의 새로운 움직임 벡터이고, 또 다른 수직방향의 움직임 보상 에러 2개를 사용하여 같은 방법으로 수직평향(y축 방향)의 새로운 움직임 벡터를 구할 수 있다. 이와 비슷한 방법에 의해서 4분화소(quarter-pixel) 단위와 같은 다른 정밀도(precision)의 부화소도 쉽게 유도될 수 있다.

이러한 간단화된 고속 알고리즘은 화소간의 차에 대한 에러값이 일반적으로 수학식 13과 같이 모델링되며, 이를 이용하여 직접 반화소 위치에서의 에러값을 계산하는 대신, 정화소 단위 움직임 추정시 이미 계산되어진 에러값을 이용하여, 반화소위치에서의 에러값을 추정해 낼 수 있다는 점을 이용한 것이다.

gamma = 2 일 때 수학식 16는 수학식 17와 같이 간단히 표현되어진다.

또한, gamma = 1일 때 수학식 16는 수학식 18로 간단히 표현되어진다.

수학식 18에서 2에 의한 곱셈은 1비트 이동 연산자(shift operation)에 의해 쉽게 구현될 수 있고, 수학식 17에서 3에 의한 곱셈도 1비트 이동 연산자(shift operation)에 의한 2배 곱셈후 1번 더하면 되므로 이 방법에 의한 곱셈은 단 한번도 없게 된다.

(ⅴ) 수정된 가중치 최소 자승법

위 수학식 12을 사용함에 있어서 도 3에 도시된 9개의 좌표를 모두 이용하되, (ⅳ)) 방법에서 사용되었던 5개의 좌표(0,-1),(-1,0), (0,0), (1,0), (0,1)에 가중치를 주어 최소 자승법(least square solution)을 사용한다. 구하는 과정은 (ⅲ)과 같다.

(ⅵ) 부분 보간법(partial interpolation solution)

곱셈에 의한 복잡성(complexity)이 전혀 없는 (ⅳ) 방법에 의해 우선 반화소를 먼저 찾은 후 정확도를 높이기 위해 바로 그 반화소에서 제일 거리가 가까운 반화소와 (ⅳ) 방법에 의해 찾아진 반화소만을 보간에 의해 다시 에러차분의 합을 구한 후, 그 값들을 비교한다.

따라서, 도 9의 (a) 내지 (c)에 도시된 바와 같이 3가지 경우가 있을 수 있다. 도 9에 있어서, 정화소의 위치 (0,0)에서의 에러차분의 합은 이미 정화소 단위로 움직임을 찾을 때 구했으므로 그대로 이용한다.

는 (ⅳ) 방법에 의해 구해진 반화소이고,

는 보간에 의해 다시 에러차분의 합을 구해야 하는 반화소이다.

반화소 추정을 위해 전역 탐색(full search)시 필요한 보간은 정화소 주변의 8개의 반화소인데 비해 제안하는 방법에 의해 필요한 보간은 도 9의 (a) 및 (b)의 경우에는 3개, 도 9의 (c)의 경우에는 4개가 필요하므로 보간을 이용한 전역 움직임 추정과 거의 같은 성능에 비해 계산량은 절반이하가 된다.

즉, 찾아진 반화소가 정화소 단위의 움직임 벡터의 좌 또는 우측인 경우 보간해야할 반화소는 3개이고, 찾아진 반화소가 정화소 단위의 움직임 벡터의 대각선 방향인 경우 보간해야할 반화소도 3개이고, 찾아진 반화소가 정화소 단위의 움직임 벡터의 상, 하, 또는 그 자신인 경우 보간해야할 반화소는 4개이다.

본 발명의 구현은 응용 분야에 따라서 소프트웨어에 의할 수도 있고, 고속 실시간 처리를 위해 하드웨어에 의할 수 있다.

본 발명은 화소간의 보간을 사용하지 않으면서도 좋은 성능을 갖는 부화소 단위의 움직임 추정 방법으로서, 계산량이 획기적으로 감소하고 이에 따른 계산 시간의 감소와 하드웨어 복잡성이 감소되는 효과가 있다.

Claims

동영상 부호화를 위한 움직임 추정 방법에 있어서:

(a) 소정 크기의 블록으로 분할된 현재 프레임의 각 블록에 대해 이전 또는 이후의 기준 프레임의 소정 크기의 블록을 화소단위로 탐색해서 두 블록간의 화소차가 최소가 되는 정화소 단위의 움직임 벡터를 추정하는 단계; 및

(b) 상기 정화소 단위의 움직임 벡터와 그 주위의 8개의 정화소들로 구성된 평면을 나타내는 아래 식을 위한 계수들을 상기 정화소들에 대한 화소간 에러값들을 이용하여 계산하고, 계산된 계수들과 상기 정화소 단위의 움직임 벡터 주위의 부화소들의 각 좌표들을 아래 식에 대입하여 부화소들의 각 좌표에서의 에러 차분의 합의 값을 추정한 후, 각 좌표에서의 에러 차분의 합이 가장 작은 값을 갖는 위치를 최적의 부화소 단위의 움직임 벡터로 추정하는 단계를 포함함을 특징으로 하는 움직임 추정방법.

f(x,y) =c_1 x^2 y^2 + c_2 x^2 y+ c_3 x^2 + c_4 x y^2 + c_5 xy+ c_6 x + x_7 y^2 + c_8 y + c_9 --(1)
제1항에 있어서, 상기 (b)단계는,

(b11) 상기 정화소 단위의 움직임 벡터와 그 주위의 정화소들중 최소 자승법을 이용하여 제1 소정수의 정화소들을 선택하는 단계;

(b12) 상기 제1 소정수의 정화소에 대한 상기 화소에러값들을 이용하여 아래 식을 위한 상기 제1 소정수의 계수들을 계산하는 단계;

f(x,y) = c_1 x^2 + c_2 xy + c_3 y^2 +c_4 x + c_5 y +c_6 ---(2)

(b13) 상기 제1 소정수의 계수들과 상기 정화소 단위의 움직임 벡터 주위의 부화소들의 각 좌표들을 상기 식(2)에 대입하여 부화소들의 각 좌표에서의 에러 차분의 합의 값을 추정하는 단계; 및

(b14) 각 좌표에서의 에러 차분의 합이 가장 작은 값을 갖는 위치를 최적의 부화소 단위의 움직임 벡터로 결정하는 단계를 포함함을 특징으로 하는 움직임 추정 방법.
제3항에 있어서, 상기 (b11)단계에서는 상기 정화소 단위의 움직임 벡터와 그 주위의 정화소들 중 일부의 정화소들에 가중치를 주어 최소 자승법을 이용하여 제1 소정수의 정화소들을 선택하는 것을 특징으로 하는 움직임 추정 방법.
제4항에 있어서, 상기 정화소 단위의 움직임 벡터의 좌표에는 제1 소정값의 가중치를 적용하고, 상기 정화소 단위의 움직임 벡터의 상,하,좌,우 정화소의 좌표에는 제2 소정값의 가중치를 적용하며, 상기 제1 가중치는 제2 가중치보다 작고, 제1 및 제2 가중치는 "1" 보다 작은 값임을 특징으로 하는 움직임 추정 방법.
제1항에 있어서, 상기 (b)단계는,

(b21) 상기 정화소 단위의 움직임 벡터로부터 수평 및 수직 방향으로 주변화소위치에서의 움직임 보상 에러치를 각각 산출하는 단계; 및

(b22) 상기 산출된 움직임 보상 에러치들을 상기 정화소 단위의 움직임 벡터의 움직임 보상 에러치에 근거하여 비교해서 최적의 부화소 단위의 움직임 벡터를 추정하는 단계를 포함함을 특징으로 하는 움직임 추정 방법.
제6항에 있어서, 상기 (b22)단계에서는,

이후 기준 프레임의 블록(이전 블록)과 현재 프레임의 블록(현재 블록)간의 움직임 보상 에러치가 이전 기준 프레임의 블록(이후 블록)과 현재 블록간의 움직임 보상 에러치보다 충분히 크면 상기 정화소의 좌측 및 하측에 있는 반화소가 최적의 부화소 단위의 움직임 벡터의 x성분 및 y성분으로 추정하고, 반대로 이전 블록과 현재 블록간의 움직임 보상 에러치가 이후 블록과 현재 블록간의 움직임 보상 에러치보다 충분히 크면 상기 정화소의 우측 및 상측에 있는 반화소가 최적의 부화소 단위의 움직임 벡터의 x성분 및 y성분으로 추정하고, 그렇지 않으면 상기 정화소를 부화소 단위의 움직임 벡터로 추정하는 것을 특징으로 하는 움직임 추정 방법.
제6항에 있어서, 상기 (b)단계는,

(b31) 상기 정화소 단위의 움직임 벡터와 그 주위의 정화소들 중 상기 정화소 단위의 움직임 벡터의 상, 하, 좌, 우 정화소의 좌표값에 가중치를 주어 최소 자승법을 이용하여 제2 소정수의 정화소들을 선택하는 단계;

(b32) 상기 제2 소정수의 정화소들에 대한 화소간 에러값을 이용하여 아래 식을 위한 상기 제2 소정수의 계수들을 계산하는 단계;

f(x,y) = c_1 x^2 + c_2 x + c_3 y^2 + c_4 y+ c_5 ---(3)

(b33) 상기 제2 소정수의 계수와 상기 정화소 단위의 움직임 벡터 주위의 부화소들의 각 좌표들을 상기 식(3)에 대입하여 부화소의 각 좌표에서의 에러 차분의 합의 값을 추정하는 단계; 및

(b34) 각 좌표에서의 에러 차분의 합이 가장 작은 값을 갖는 위치를 최적의 부화소 단위의 움직임 벡터로 결정하는 단계를 포함함을 특징으로 하는 움직임 추정 방법.
제8항에 있어서, 상기 정화소 단위의 움직임 벡터의 좌표에는 제1 소정값의 가중치를 적용하고, 상기 정화소 단위의 움직임 벡터의 상,하,좌,우 정화소의 좌표에는 제2 소정값의 가중치를 적용하며, 상기 제1 가중치는 제2 가중치보다 작고, 제1 및 제2 가중치는 "1" 보다 작은 값임을 특징으로 하는 움직임 추정 방법.
제8항에 있어서, 상기 (b)단계는,

(b35) 상기 (b34)단계에서 찾아진 부화소와 이 찾아진 부화소에서 제일 거리가 가까운 부화소들을 보간에 의해 에러차분의 합을 구하는 단계; 및

(b36) 상기 (b35)단계에서 구해진 에러 차분의 합들을 비교해서 가장 작은 값을 갖는 위치를 최적의 부화소 단위의 움직임 벡터로 결정하는 단계를 더 포함함을 특징으로 하는 움직임 추정 방법.
제10항에 있어서, 상기 (b35)단계에서는 상기 (b34)단계에서 찾아진 부화소가 정화소 단위의 움직임 벡터의 좌, 우, 또는 대각선 방향에 위치하는 경우 보간해야할 부화소의 개수는 3개이고, 찾아진 부화소가 정화소 단위의 움직임 벡터의 상, 하 또는 그 자신일 경우 보간해야 할 부화소수의 개수는 4개임을 특징으로 하는 움직임 추정 방법.
동영상을 부호화하는 동영상 부호화기를 위한 움직임 추정기에 있어서:

소정 크기의 블록으로 분할된 현재 프레임의 각 블록에 대해 이전 또는 이후의 기준 프레임의 소정 크기의 블록에서 화소 단위로 탐색해서 두 블록간의 화소차가 최소가 되는 정화소 단위의 움직임 벡터를 추정하는 제1 추정기; 및

(b) 상기 정화소 단위의 움직임 벡터와 그 주위의 8개의 정화소들로 구성된 평면을 나타내는 아래 식을 위한 계수들을 상기 정화소들에 대한 화소간 에러값들을 이용하여 계산하고, 계산된 계수들과 상기 정화소 단위의 움직임 벡터 주위의 부화소들의 각 좌표들을 아래 식에 대입하여 부화소들의 각 좌표에서의 에러 차분의 합의 값을 추정한 후, 각 좌표에서의 에러 차분의 합이 가장 작은 값을 갖는 위치를 최적의 부화소 단위의 움직임 벡터로 추정하는 제2 추정기를 포함함을 특징으로 하는 움직임 추정기.

f(x,y) =c_1 x^2 y^2 + c_2 x^2 y+ c_3 x^2 + c_4 x y^2 + c_5 xy+ c_6 x + x_7 y^2 + c_8 y + c_9
제12항에 있어서, 상기 제2 추정기는,

상기 정화소 단위의 움직임 벡터와 그 주위의 정화소들 중 최소 자승법을 이용하여 제1 소정수의 정화소들을 선택하는 선택기;

상기 제1 소정수의 정화소들에 대한 상기 화소간 에러값을 이용하여 아래 식을 위한 상기 제1 소정수의 계수들을 계산하는 계산기; 및

f(x,y) = c_1 x^2 + c_2 xy + c_3 y^2 +c_4 x + c_5 y +c_6

상기 제1 소정수의 계수들과 상기 정화소 단위의 움직임 벡터인 부화소와 그 주위의 부화소들의 각 좌표들을 이용하여 부화소들의 각 좌표에서의 에러 차분의 합중 가장 작은 값을 갖는 위치를 최적의 부화소 단위의 움직임 벡터로 결정하는 결정기를 포함함을 특징으로 하는 움직임 추정기.
제14항에 있어서, 상기 선택기는 상기 정화소 단위의 움직임 벡터와 그 주위의 정화소들중 일부의 정화소들에 가중치를 주어 최소 자승법을 이용하여 제1 소정수의 정화소들을 선택하는 것을 특징으로 하는 움직임 추정기.
제15항에 있어서, 상기 정화소 단위의 움직입 벡터의 좌표에는 제1 소정값의 가중치를 적용하고, 상기 정화소 단위의 움직임 벡터의 상,하,좌,우 정화소의 좌표에는 제2 소정값의 가중치를 적용하며, 상기 제1 가중치는 제2 가중치보다 작고, 제1 및 제2 가중치는 "1" 보다 작은 값임을 특징으로 하는 움직임 추정기.
제12항에 있어서, 상기 제2 추정기는,

상기 정화소 단위의 움직임 벡터로부터 수평 및 수직 방향으로 주변 화소위치에서의 움직임 보상 에러치를 각각 산출하는 계산기; 및

상기 산출된 움직임 보상 에러치들을 상기 정화소 단위의 움직임 벡터의 움직임 보상 에러치에 근거하여 비교해서 최적의 부화소 단위의 움직임 벡터를 결정하는 결정기를 포함함을 특징으로 하는 움직임 추정기.
제17항에 있어서, 상기 결정기는,

이후 기준 프레임의 블록(이전 블록)과 현재 프레임의 블록(현재 블록)간의 움직임 보상 에러치가 이전 기준 프레임의 블록(이후 블록)과 현재 블록간의 움직임 보상 에러치보다 충분히 크면 상기 정화소의 좌측 및 하측에 있는 반화소가 최적의 부화소 단위의 움직임 벡터의 x성분 및 y성분으로 결정하고, 반대로 이전 블록과 현재 블록간의 움직임 보상 에러치가 이후 블록과 현재 블록간의 움직임 보상 에러치보다 충분히 크면 상기 정화소의 우측 및 상측에 있는 반화소가 최적의 부화소 단위의 움직임 벡터의 x성분 및 y성분으로 결정하고, 그렇지 않으면 상기 정화소를 부화소 단위의 움직임 벡터로 결정하는 것을 특징으로 하는 움직임 추정기.
제17항에 있어서, 상기 제2 추정기는,

상기 정화소 단위의 움직임 벡터와 그 주위의 정화소들 중 일부의 정화소의 좌표값에 가중치를 주어 최소 자승법을 이용하여 제2 소정수의 정화소들을 선택하는 선택기;

상기 제2 소정수의 정화소들에서의 화소간 에러값을 이용하여 아래 식을 위한 상기 제2 소정수의 계수들을 계산하는 계산기; 및

f(x,y) = c_1 x^2 + c_2 x + c_3 y^2 + c_4 y+ c_5

상기 제2 소정수의 계수와 상기 정화소 단위의 움직임 벡터인 부화소와 그 주위의 부화소들의 각 좌표들을 이용하여 부화소의 각 좌표에서의 에러 차분의 합 중 가장 작은 값을 갖는 위치를 최적의 부화소 단위의 움직임 벡터로 결정하는 결정기를 포함함을 특징으로 하는 움직임 추정기.
제19항에 있어서, 상기 정화소 단위의 움직입 벡터의 좌표에는 제1 소정값의 가중치를 적용하고, 상기 정화소 단위의 움직임 벡터의 상,하,좌,우 정화소의 좌표에는 제2 소정값의 가중치를 적용하며, 상기 제1 가중치는 제2 가중치보다 작고, 제1 및 제2 가중치는 "1" 보다 작은 값임을 특징으로 하는 움직임 추정기.
제19항에 있어서, 상기 제2 추정기는,

상기 결정기에서 찾아진 부화소와 이 찾아진 부화소에서 제일 거리가 가까운 부화소들을 보간에 의해 에러차분의 합을 구하는 보간기; 및

상기 보간기에서 구해진 에러 차분의 합들을 비교해서 가장 작은 값을 갖는 위치를 최적의 부화소 단위의 움직임 벡터로 결정하는 비교기를 더 포함함을 특징으로 하는 움직임 추정기.
제21항에 있어서, 상기 보간기는 상기 결정기에서 찾아진 부화소가 정화소 단위의 움직임 벡터의 좌, 우 또는 대각선 방향에 위치한 경우 보간해야할 부화소의 개수는 3개이고, 찾아진 부화소가 정화소 단위의 움직임 벡터의 상, 하 또는 그 자신일 경우 보간해야 할 부화소수의 개수는 4개임을 특징으로 하는 움직임 추정기.