KR20030080419A - 모션벡터결정방법 - Google Patents

Abstract

본 발명은 동영상 코딩에서의 모션벡터결정방법에 관한 것으로서, 특히 모션벡터를 빠르고 정확하게 결정하는 것을 목적으로 한다. 이를 위해 본 발명은 현재 프레임과 이전 프레임간 소정의 픽셀을 기준으로 N step search에 의해 최소 SAD를 결정하여 모션벡터를 구하는 제 1단계와, 상기 제 1단계에서 구한 모션벡터가 (0, 0)일 때 이것을 최종의 모션벡터로 결정하고, (0, 0)이 아닐 때 상기 소정의 픽셀을 기준으로 N/2 pixel search, N/4 pixel search, …, 1 pixel search에 의해 각각 9개의 SAD를 구하여 그 중 최소 SAD를 결정하는 제 2단계와, 상기 제 1단계의 최소 SAD 및 상기 제 2단계의 최소 SAD 중 최소 SAD를 결정하는 제 3단계와, 상기 제 3단계에서 결정된 최소 SAD가 상기 제 1단계의 최소 SAD이거나 상기 제 2단계에서 1 pixel search에 의한 최소 SAD인 경우 해당하는 위치에서 최종의 모션벡터를 결정하는 제 4단계와, 상기 제 3단계에서 결정된 최소 SAD가 상기 제 2단계에서 m pixel search(m≠1)에 의한 최소 SAD인 경우 m/2 step search에 의해 최종의 모션벡터를 결정하는 제 5단계를 포함하여 구성된 것을 특징으로 한다. 따라서, 적은 계산량으로도 full search에 가까운 정밀도의 모션벡터를 구할 수 있어서 실제 영상처리에 적용할 수 있는 효과가 있다.

Description

모션벡터결정방법{METHOD FOR FINDING MOTION VECTOR}

본 발명은 동영상 코딩에서의 모션벡터결정방법에 관한 것으로서, 특히 모션벡터를 빠르고 정확하게 결정하기 위한 모션벡터결정방법에 관한 것이다.

동영상 코딩(압축)에 있어서 모션벡터(Motion Vector)는 화면에 표시되는 하나의 점이 가지고 있는 프레임 사이의 방향성을 나타내는 정보이다. 이러한 모션벡터의 검출은 프레임간의 시간적 중복을 줄이는데 필수적 과정으로서 영상의 화질 및 압축속도에 결정적인 영향을 끼친다.

모션벡터는 현재 프레임의 소정의 좌표에 있는 블록(매크로블록)을 기준으로 하여 이전 프레임상의 가장 근사한 블록의 위치를 찾음으로써 결정된다.

시간적으로 인접한 두 장의 프레임간에 어긋난 부분을 서치영역(search range)이라고 하며, 이러한 서치영역은 이전 프레임상에 위치해 있다. 이 서치영역에서 현재 프레임의 매크로블록과 가장 근사한 블록의 위치를 찾게 된다.

서치영역에서 가장 근사한 블록의 위치를 찾아 모션벡터를 결정하는 방법은 이전 프레임의 서치영역내의 화소와 현재 프레임의 매크로블록을 이루는 화소간의 차이를 구해 그 차이의 절대값을 모두 더한 후(이를 SAD라고 함), 이 SAD(Sum of Absolute difference) 중 가장 작은 값에 대응하는 위치를 찾아 모션벡터를 결정하는 것이다. 즉, 현재 프레임의 매크로블록의 기준점이 (x, y)이고, 이전 프레임의 서치영역에서 매크로블록과 가장 근사한 블록의 기준점이 (x+u, y+v)일 때 모션벡터는 (u, v)으로 결정된다.

그러나, 상기와 같은 종래 기술에 있어서, 모션벡터를 산출하기 위해서는 서치영역의 각 화소에 대하여 감산, 절대치산출 및 합산을 하여야 하기 때문에(이를 full search라고 함) 계산량이 많아 소프트웨어만으로는 처리할 수 없는 등 실제적으로 적용하는데 있어서 많은 문제점이 있다.

이 때문에 계산량을 줄이기 위한 Three Step Search 등의 방법이 제안되었으나, 모션벡터의 정밀도가 낮아서 복원된 영상의 화질이 많이 떨어지는 문제점이 있다.

따라서, 본 발명은 상기와 같은 문제점을 감안하여 창안한 것으로, 적은 계산량을 가지면서도 Full Search에 가까운 정밀도의 모션벡터를 얻을 수 있는 모션벡터결정방법을 제공함에 그 목적이 있다.

도 1은 본 발명의 모션벡터결정방법의 순서도.

도 2는 본 발명의 모션벡터결정방법에서 단계별 픽셀을 나타내는 예시도.

상기와 같은 목적을 달성하기 위한 본 발명은, 현재 프레임과 이전 프레임간 소정의 픽셀을 기준으로 N step search에 의해 최소 SAD를 결정하여 모션벡터를 구하는 제 1단계와, 제 1단계에서 구한 모션벡터가 (0, 0)일 때 이것을 최종의 모션벡터로 결정하고, (0, 0)이 아닐 때 상기 소정의 픽셀을 기준으로 N/2 pixel search, N/4 pixel search, …, 1 pixel search에 의해 각각 9개의 SAD를 구하여 그 중 최소 SAD를 결정하는 제 2단계와, 제 1단계의 최소 SAD 및 제 2단계의 최소 SAD 중 최소 SAD를 결정하는 제 3단계와, 제 3단계에서 결정된 최소 SAD가 제 1단계의 최소 SAD이거나 제 2단계에서 1 pixel search에 의한 최소 SAD인 경우 해당하는 위치에서 최종의 모션벡터를 결정하는 제 4단계와, 제 3단계에서 결정된 최소 SAD가 제 2단계에서 m pixel search(m≠1)에 의한 최소 SAD인 경우 m/2 step search에 의해 최종의 모션벡터를 결정하는 제 5단계를 포함하여 이루어진 것을 특징으로 한다.

이하, 본 발명을 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 의한 모션벡터결정방법의 순서도이다.

도 2는 본 발명에 의한 모션벡터결정방법의 단계별 픽셀을 나타내는 예시도 이다.

본 발명의 설명을 용이하게 하기 위해 서치영역(search range)이 -8∼7(16x 16)픽셀인 경우를 예로 들어 설명한다.

도 2의 (a)에 도시된 바와 같이, 우선 픽셀 중 (0, 0)을 기준으로 하여 4픽셀의 간격으로 9개의 위치(검은색)에서 SAD를 구한다. 이중 최소 SAD를 가지는 위치(검은색 픽셀 중에서 좌측상단의 픽셀)를 중심으로 2픽셀의 간격으로 9개의 위치(흰색)에서 SAD를 구한다. 역시 최소 SAD를 가지는 위치(흰색 픽셀 중에서 우측 가운데의 픽셀)를 중심으로 9개의 위치(회색)에서 SAD를 구한 후, 이중 최소 SAD를 가지는 위치(여기서는 회색 픽셀 중 우측상단의 픽셀)에서 모션벡터를 결정한다. 여기까지의 과정은 도 1에서 도시한 순서도의 단계(S1)에 해당하는 것으로 기존의 three step search와 동일하다.

본 명세서에서는 N픽셀 간격, N/2픽셀 간격, …, 1픽셀 간격으로 threestep search를 하는 것을 N step search라고 한다. 따라서, 상기 16x16 픽셀에서 4픽셀 간격, 2픽셀 간격 및 1픽셀 간격으로 three step search를 하였기 때문에 4 step search가 될 것이다.

도 1을 참조하여, 단계(S2)에서는 단계(S1)에서 결정한 모션벡터가 (0, 0)인지를 판단한다. 단계(S1)에서의 모션벡터가 (0, 0)일 경우 단계(S8)로 진행하여 이것을 모션벡터로 결정한 후 단계를 종료하지만, 만약 (0, 0)이 아니면 단계(S3)로 이동하여 도 2의 (b)에서 도시한 바와 같은 과정을 거치게 된다.

도 2의 (b)를 참조하여, 단계(S3)에서는 우선 (0, 0)을 중심으로 하여 2픽셀의 간격으로 9개의 위치(검은색)와 1픽셀의 간격으로 9개의 위치(흰색)에서 각각의 SAD를 구한다.

이것을 본 명세서에서는 각각 2 pixel search와 1 pixel search라고 하며, 이를 일반화해서 말하면 N pixel search란 2차원 영상 내의 임의의 위치에서 자신을 포함하여 N 픽셀의 간격으로 9개의 위치에서 SAD를 구하는 것을 의미한다.

단계(S4)에서는 단계(S3)에서 구한 18개의 위치(중복되는 위치를 포함한다)에서의 SAD 및 단계(S1)에서 구한 최소 SAD 중에서 최소의 SAD를 결정한다.

다음 단계(S5)에서, 상기 단계(S4)에서 결정된 최소의 SAD가 단계(S1)에서 구한 최소 SAD(즉 three step search에 의해 결정된 최소 SAD)인지 여부를 판단하여 그러한 경우 단계(S8)로 가서 그 위치에서 최종적으로 모션벡터를 결정하고 단계를 종료한다.

만약, 그렇지 않은 경우에는 단계(S6)로 이동하여 최소 SAD가 (0, 0)를 중심으로 1픽셀 떨어져 있는지 여부(즉 1 pixel search에 의한 것인지 여부)를 판단한다.

단계(S6)에서 1픽셀 떨어져 있는 것으로 판단되면 역시 단계(S8)로 가서 그 위치에서 최종적으로 모션벡터를 결정하여 단계를 종료하고, 그렇지 않은 경우(2픽셀 떨어져 있는 경우 즉 2 pixel search에 의한 경우)에는 단계(S7)로 이동한다.

단계(S7)에서는 다시 주변의 9개의 위치에서 SAD를 구한 뒤 최소의 SAD를 결정하고(1 step search), 단계(S8)로 진행하여 그 위치에서 최종적으로 모션벡터를 결정하여 단계를 종료한다.

본 발명은 16x16 픽셀을 예로 들어 설명하였으나 이에 한정되는 것은 아니며 32x32 픽셀 등 그 이상의 픽셀로 확장될 수 있다. 따라서, 32x32 픽셀의 경우를 예로 든다면 단계(S1)에서 8 step search가 수행되고, 단계(S3)에서는 4 pixel search, 2 pixel search 및 1 pixel search가 각각 수행되며, 단계(S7)에서는 2 step search가 수행될 것이다.

이상에서 상세히 설명한 바와 같이, 본 발명은 적은 계산량으로도 full search에 가까운 정밀도의 모션벡터를 구할 수 있어서 실제 영상처리에 적용할 수 있는 효과가 있다.

Claims (1)

1. 현재 프레임과 이전 프레임간 소정의 픽셀을 기준으로 N step search에 의해 최소 SAD를 결정하여 모션벡터를 구하는 제 1단계와,

   상기 제 1단계에서 구한 모션벡터가 (0, 0)일 때 이것을 최종의 모션벡터로 결정하고, (0, 0)이 아닐 때 상기 소정의 픽셀을 기준으로 N/2 pixel search, N/4 pixel search, …, 1 pixel search에 의해 각각 9개의 SAD를 구하여 그 중 최소 SAD를 결정하는 제 2단계와,

   상기 제 1단계의 최소 SAD 및 상기 제 2단계의 최소 SAD 중 최소 SAD를 결정하는 제 3단계와,

   상기 제 3단계에서 결정된 최소 SAD가 상기 제 1단계의 최소 SAD이거나 상기 제 2단계에서 1 pixel search에 의한 최소 SAD인 경우 해당하는 위치에서 최종의 모션벡터를 결정하는 제 4단계와,

   상기 제 3단계에서 결정된 최소 SAD가 상기 제 2단계에서 m pixel search(m≠1)에 의한 최소 SAD인 경우 m/2 step search에 의해 최종의 모션벡터를 결정하는 제 5단계를 포함하여 이루어진 것을 특징으로 하는 모션벡터결정방법.