KR100699821B1 - 가변 탐색창을 이용한 고속 움직임 추정방법 - Google Patents

Abstract

동영상 압축에서 움직임 추정에 필요한 계산량을 감소시켜 동영상 압축에 소모되는 전력을 감소시킬 수 있는 방법이 제공된다. 매크로 블록단위로 계층적으로 움직임을 추정하는 방법은 기준 매크로 블록과 소정의 크기를 갖는 탐색창을 4:1로 데시메이션 (decimation)하고, 움직임 벡터를 추정하는 제1단계; 상기 기준 매크로 블록과 상기 탐색창을 2:1로 데시메이션하고, 적어도 하나이상을 움직임 벡터를 추정하는 제2단계; 및 상기 기준 매크로 블록과 상기 탐색창을 사용하고, 상기 제2단계에서 하나의 움직임 벡터를 추정한 경우 추정된 움직임 벡터를 중심으로 수평과 수직방향으로 각각 -N₁₁부터 +N₁₂까지의 범위에 대하여 전역탐색 움직임 추정을 수행하여 움직임 벡터를 추정하고, 상기 제2단계에서 두 개의 움직임 벡터를 추정한 경우 추정된 움직임 벡터를 중심으로 수평과 수직방향으로 각각 -N₂₁부터 +N₂₂까지의 범위에 대하여 전역 탐색 움직임 추정을 수행하여 움직임 벡터를 추정하는 제3단계를 구비한다. 본 발명에 따른 움직임 추정방법은 동영상 압축을 위한 계산량을 감소시키므로 동영상 압축 전체의 효율을 향상시킨다.

블록-정합 알고리즘

Description

가변 탐색창을 이용한 고속 움직임 추정방법{Method for high speed motion estimation using variable search window}

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.

도 1은 움직임 벡터를 추정하기 위한 일반적인 블록 정합방법을 예시하는 도면이다.

도 2는 본 발명에 따른 움직임 추정과정을 나타낸다.

도 3은 종래의 방법에 따른 움직임 추정방법과 본 발명에 따른 움직임 추정방법에 따른 화질을 비교한 표이다.

본 발명은 움직임 추정방법에 관한 것으로, 보다 상세하게는 탐색창의 크기를 가변하여 고속으로 움직임을 추정하는 방법에 관한 것이다.

움직임 추정(Motion estimation)은 비디오 전송 및/또는 비디오 압축에서 중요한 역할을 한다. MPEG와 H.261 표준에서 추천되고 있는 움직임 추정을 위한 기술은 블록 정합 알고리즘(block matching algorithm; BMA)이다.

일반적으로, 블록 정합 알고리즘(BMA)의 기본적인 아이디어는 영상들을 블록들로 나누고, 주어진 정합 표준(matching criterion)에 따라 현재 프레임의 각 블록에 대하여 이전 프레임에서 가장 잘 정합되는 블록을 찾는 것이다.

동영상 압축에서 움직임 추정은 가장 많은 계산량(computations)을 필요로 한다. 따라서 효률적으로 그리고 저전력을 소비하면서 움직임을 추정하기 위하여 움직임 추정에 필요한 계산량을 줄이는 방법이 필요하다.

따라서 본 발명이 이루고자 하는 기술적인 과제는 동영상 압축에서 움직임 추정에 필요한 계산량을 감소시켜 동영상 압축에 소모되는 전력을 감소시킬 수 있는 방법을 제공하는 것이다.

상기 기술적 과제를 달성하기 의한 매크로 블록단위로 계층적으로 움직임을 추정하는 방법은 기준 매크로 블록과 소정의 크기를 갖는 탐색창을 4:1로 데시메이션 (decimation)하고, 움직임 벡터를 추정하는 제1단계; 상기 기준 매크로 블록과 상기 탐색창을 2:1로 데시메이션하고, 적어도 하나이상을 움직임 벡터를 추정하는 제2단계; 및 상기 기준 매크로 블록과 상기 탐색창을 사용하고, 상기 제2단계에서 하나의 움직임 벡터를 추정한 경우 추정된 움직임 벡터를 중심으로 수평과 수직방향으로 각각 -N₁₁부터 +N₁₂까지의 범위에 대하여 전역탐색 움직임 추정을 수행하여 움직임 벡터를 추정하고, 상기 제2단계에서 두 개의 움직임 벡터를 추정한 경우 추 정된 움직임 벡터를 중심으로 수평과 수직방향으로 각각 -N₂₁부터 +N₂₂까지의 범위에 대하여 전역 탐색 움직임 추정을 수행하여 움직임 벡터를 추정하는 제3단계를 구비한다.

상기 N₁₁은 상기 N₂₁보다 작고, 상기 N₁₂는 상기 N₂₂보다 작은 것이 바람직하다. 상기 제3단계는 상기 제1단계에서 추정된 움직임 벡터와 상기 기준 매크로 블록에 인접하는 매크로 블록들의 움직임 벡터의 중간값을 상기 제2단계에서 소정의 값으로 스케일링한 값이 동일한 경우, 상기 추정된 움직임 벡터를 중심으로 수평과 수직방향으로 각각 -N₁₁부터 +N₁₂까지의 범위에 대하여 전역탐색 움직임 추정을 수행하여 움직임 벡터를 추정한다.

상기 기술적 과제를 달성하기 위한 매크로 블록단위로 계층적으로 움직임을 추정하는 방법은 기준 매크로 블록과 소정의 크기를 갖는 탐색창을 4:1로 데시메이션 (decimation)하고, 데시메이션된 상기 기준 매크로 블록과 상기 탐색창을 토대로 전역 탐색 움직임 추정을 수행하고, 가장 작은 SAD(sum of absolute difference)를 갖는 움직임 벡터를 추정하는 제1단계; 상기 기준 매크로 블록과 상기 탐색창을 2:1로 데시메이션하고, 상기 제1단계에서 추정된 움직임 벡터를 중심으로 소정 범위에 대하여 전역탐색 움직임 추정을 수행하고, 제1움직임 벡터 및/또는 제2움직임 벡터를 추정하는 제2단계; 및 상기 기준 매크로 블록과 상기 탐색창을 사용하고, 상기 제2단계에서 상기 제1움직임 벡터를 추정한 경우 추정된 움직임 벡터를 중심으로 수평과 수직방향으로 각각 -N₁₁부터 +N₁₂까지의 범위에 대하여 전역 탐색 움직임 추정을 수행하여 움직임 벡터를 추정하고, 상기 제2단계에서 상기 제1움직임 벡터 및 상기 제2움직임 벡터를 추정한 경우 상기 제1움직임 벡터 및 상기 제2움직임 벡터중에서 더 작은 SAD를 갖는 움직임 벡터를 중심으로 수평과 수직방향으로 각각 -N₂₁부터 +N₂₂까지의 범위에 대하여 전역 탐색 움직임 추정을 수행하여 움직임 벡터를 추정하는 제3단계를 구비한다.

상기 제2단계에서 상기 제2움직임 벡터는 상기 제1단계에서 추정된 움직임 벡터와 상기 기준 매크로 블록에 인접하는 매크로 블록들의 움직임 벡터의 중간값을 상기 제2단계에서 소정의 값으로 스케일링한 값이 서로 다른 경우 추정된다. 상기 N₁₁은 상기 N₂₁보다 작고, 상기 N₁₂는 상기 N₂₂보다 작은 것이 바람직하다.

상기 기술적 과제를 달성하기 위한 매크로 블록단위로 계층적으로 움직임을 추정하는 방법은 기준 매크로 블록과 소정의 크기를 갖는 탐색창을 4:1로 데시메이션 (decimation)하고, 데시메이션된 상기 기준 매크로 블록과 상기 탐색창을 토대로 전역 탐색 움직임 추정을 수행하고, 가장 작은 SAD(sum of absolute difference)를 갖는 움직임 벡터를 추정하는 제1단계; 상기 기준 매크로 블록과 상기 탐색창을 2:1로 데시메이션하고, 상기 제1단계에서 추정된 움직임 벡터를 중심으로 소정 범위에 대하여 전역탐색 움직임 추정을 수행하고 제1움직임 벡터를 추정하거나, 또는 상기 제1단계에서 추정된 움직임 벡터와 상기 기준 매크로 블록에 인접하는 매크로 블록들의 움직임 벡터의 중간값을 상기 제2단계에서 소정의 값으로 스케일링한 값이 서로 다른 경우 제2움직임 벡터를 더 추정하고 상기 제1움직임 벡 터와 상기 제2움직임 벡터중에서 더 작은 SAD를 가지는 움직임 벡터를 추정하는 제2단계; 및 상기 기준 매크로 블록과 상기 탐색창을 사용하고, 상기 제2단계에서 상기 제1움직임 벡터만을 추정한 경우 추정된 움직임 벡터를 중심으로 수평과 수직방향으로 각각 -N₁₁부터 +N₁₂까지의 범위에 대하여 전역탐색 움직임 추정을 수행하여 움직임 벡터를 추정하고, 상기 제2단계에서 상기 제2움직임 벡터를 더 추정한 경우 상기 더 작은 SAD를 가지는 움직임 벡터를 중심으로 수평과 수직방향으로 각각 -N21부터 +N22까지의 범위에 대하여 전역 탐색 움직임 추정을 수행하여 움직임 벡터를 추정하는 제3단계를 구비한다. 상기 N₁₁은 상기 N₂₁보다 작고, 상기 N₁₂는 상기 N₂₂보다 작은 것이 바람직하다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 움직임 벡터를 추정하기 위한 일반적인 블록 정합방법을 예시하는 도면이다.

도 1을 참조하면, 탐색범위의 크기는 수평과 수직방향으로 각각 -16에서 +15까지로 가정한다. 따라서 이전 프레임의 탐색창(search window)의 크기는 48×48이 고, 현재 프레임의 움직임 벡터가 추정될 기준 매크로블록(또는 기준창(reference window))의 크기는 16×16이다. 탐색범위의 크기는 수평과 수직방향으로 임의적으로 설정될 수 있다.

도 2는 본 발명에 따른 움직임 추정과정을 나타낸다.

도 2를 참조하면, 본 발명에 따른 움직임 추정방법 또는 알고리즘은 3단계의 계층구조(hierarchical)를 가지며, 가장 많은 계산량이 요구되는 제3단계에서 탐색창의 크기는 가변된다.

제1단계에서, 움직임 추정기(motion estimator; 도시하지 않음) 또는 MCU (main control unit; 도시하지 않음)는 48×48의 크기를 갖는 탐색창과 16×16의 크기를 갖는 기준창을 각각 수평과 수직방향으로 4:1로 데시메이션(decimation)한다.

그 결과 기준매크로블록은 4×4블록이고, 탐색창은 12×12 블록이 된다. 4:1로 데시메이션(decimation)된 상태에서의 탐색범위(search range)는 수평과 수직방향으로 각각 -4에서 +3까지가 된다.

움직임 추정기 또는 MCU는 12 ×12블록과 4×4블록들을 토대로 전역 탐색 움직임 추정(full search motion estimation)을 수행하여 가장 작은 SAD(Sum of Absolute Difference)를 가지는 위치, 즉 4×4블록과 가장 잘 정합(matching)되는 탐색창에서의 4×4블록을 1단계에서의 움직임 벡터(motion vector)로 결정한다.

여기서, 제1단계에서 추정된 움직임 벡터를 (x1, y1)이라고 하면, 움직임 벡터의 범위는 -4≤x1, y1 ≤3이다. 따라서 SAD에 필요한 절대차이(absolute difference)연산의 수는 16×64가 된다.

제2단계에서, 움직임 추정기 또는 MCU는 48×48의 크기를 갖는 탐색창과 16×16의 크기를 갖는 기준 창을 각각 수평과 수직방향으로 2:1로 데시메이션(decimation)한다. 이때 기준매크로블록(또는 기준창)은 8×8블록이고, 탐색창은 24×24 블록이 된다.

움직임 추정기는 제1단계에서 계산된 움직임벡터(x1, y1)를 중심으로 수평과 수직방향으로 각각 -2에서 +2까지의 범위에 대하여 전역탐색 움직임 추정을 수행하여 움직임벡터를 결정한다. 이때 추정된 움직임 벡터를 (x21, y21)이라고 하면, 움직임 벡터의 범위는 -2≤ x21, y21 ≤2이다.

또한, 움직임 추정기는 제2단계에서 움직임 추정성능을 높이기 위하여 부가적으로 다른 움직임 벡터를 하나 더 추정할 수 있다. 기준매크로블록과 인접한 매크로블록들에 대하여 이미 움직임 벡터가 추정되어 있으므로, 움직임 추정기는 이미 추정된 움직임 벡터의 중간값(median value; xt, yt)을 제2단계의 공간으로 스케일링한 값 또는 투영한 값을 기준으로 수평과 수직방향으로 각각 -2에서 +2까지의 범위에 대해서 전역탐색 움직임 추정을 수행해서 움직임벡터를 결정할 수 있다.

이때 추정된 움직임 벡터를 (x22, y22)이라고 하면, 움직임 벡터의 범위는 -2≤ x22, y22 ≤2이다. 단, 인접한 매크로블록들의 움직임벡터의 중간값(xt, yt)과 제1단계에서 추정된 움직임 벡터(x1, y1)가 다를 경우에만, 즉 (2x1, 2y1) ≠ (0.5xt, 0.5yt)일 때만, 움직임 벡터(x22, y22)를 추정한다. 여기서 2 및 0.5는 제2단계의 공간으로 스케일링하기 위한 또는 제2단계 공간으로 투영하기 위한 스케 일링 상수를 의미한다.

움직임 추정기 또는 MCU는 2단계에서 움직임 벡터(x21, y21)와 움직임 벡터(x22, y22)중에서 더 작은 SAD를 가지는 벡터를 최종 움직임 벡터로 선택하고, 제2단계에서의 최종 움직임 벡터를 (x2, y2)라 한다. 따라서, 하나의 움직임 벡터를 추정하는 경우 SAD에 필요한 절대차이(absolute difference)연산의 수는 64×25이고, 두 개의 움직임 벡터를 추정하는 경우 SAD에 필요한 절대차이 연산의 수는 64×25×2이다.

제3단계에서 움직임 추정기는 데시메이션(decimation)되지 않은 원영상을 사용한다. 이때 기준 매크로블록은 16×16블록이고, 탐색창은 48×48 블록이 된다. 제2단계에서 움직임 벡터(x2, y2)를 하나만 계산한 경우, 움직임 추정기는 제2단계에서 계산된 움직임벡터(x2, y2)를 중심으로 수평과 수직방향으로 각각 -N₁₁에서 +N₁₂까지의 범위에 대해서 전역탐색 움직임 추정을 수행해서 움직임벡터를 결정한다. 이때 추정된 움직임 벡터를 (x3, y3)이라고 라면, 움직임 벡터의 범위는 -N₁₁≤ x3, y3 ≤N₁₂이다. 예컨대 N₁₁과 N₁₂는 각각 1로 할 수 있다.

만약, 제2단계에서 움직임 벡터를 2개 계산한 경우, 움직임 추정기는 제2단계에서 계산된 움직임벡터(x2, y2)를 중심으로 수평과 수직방향으로 각각 -N₂₁에서 +N₂₂까지의 범위에 대해서 전역탐색 움직임 추정을 수행해서 움직임벡터를 결정한다. 이때 추정된 움직임 벡터를 (x3, y3)이라고 하면, 움직임 벡터의 범위는 -N₂₁≤ x3, y3 ≤N₂₂이다. 예컨대 N₂₁과 N₂₂는 각각 2로 할 수 있다. 따라서 N ₂₁은 N₁₁보다 크고, N₂₂는 N₁₂보다 큰 것이 바람직하다.

따라서, 제2단계에서 움직임 벡터를 하나만 계산한 경우의 SAD에 필요한 절대차이 연산의 수는 256×9이고, 2단계에서 움직임 벡터를 2개 계산한 경우의 SAD에 필요한 절대차이 연산의 수는 256×25이다.

최종적으로 결정된 움직임 벡터(x,y)는 수학식 1과 같다.

여기서 각 4 및 2는 스케일 상수를 나타낸다.

따라서, 제2단계에서 움직임 벡터를 하나만 계산한 경우 최종적으로 결정된 움직임 벡터(x,y)를 추정하기 위한 절대차이연산의 수는 4928이다. 그러나 제2단계에서 움직임 벡터를 2개 계산한 경우 최종적으로 결정된 움직임 벡터(x,y)를 추정하기 위한 절대차이연산의 수는 10624가 된다.

도 3은 종래의 방법에 따른 움직임 추정방법과 본 발명에 따른 움직임 추정방법에 따른 화질을 비교한 표이다. 도 3은 H.263 베이스라인 인코더(baseline encoder)에서 제안한 방법을 적용하여 동영상 압축을 수행했을 때의 화질(video quality)을 PSNR(Peak Signal Noise Ratio)으로 나타낸 것이다.

비교 기준은 QCIF(Quarter Common Interface Format) 영상을 15frames/sec 및 64Kbps로 압축한 경우에 해당한다. 본 발명에 따른 고속 움직임 추정방법은 전 역탐색 알고리즘을 이용한 움직임 추정방법보다 우수한 화질을 보인다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

상술한 바와 같이 본 발명에 따른 움직임 추정방법은 동영상 압축을 위한 계산량을 감소시키므로 동영상 압축 전체의 효율을 향상시킨다.

Claims (8)

1. 입력 탐색창 및 입력 기준 매크로 블록을 A:1(여기서, A는 자연수)로 1차 데시메이션 하는 단계;

   상기 1차 데시메이션된 상기 기준 매크로 블록으로부터, 상기 1차 데시메이션된 상기 탐색창 내의 다수의 블록들 중에서 상기 1차 데시메이션된 상기 기준 매크로 블록과 매칭되는 블록까지의 움직임을 나타내는 제1 벡터를 결정하는 단계;

   상기 입력 탐색창 및 상기 입력 기준 매크로 블록을 B:1(여기서, B는 자연수)로 2차 데시메이션 하는 단계;

   상기 2차 데시메이션된 상기 기준 매크로 블록으로부터, 상기 2차 데시메이션된 상기 탐색창 내의 다수의 블록들 중에서 상기 2차 데시메이션된 상기 기준 매크로 블록과 매칭되는 블록까지의 움직임을 나타내는 제2 벡터를 결정하는 단계;

   인접 매크로 블록의 해당 움직임 벡터의 중간값과 상기 제1 벡터가 상기 2차 데시메이션된 공간 상으로 스케일링된 값들이 서로 같은지를 비교하는 단계;

   상기 비교 결과에 따라 선택적으로, 상기 스케일링된 중간값을 기준으로 상기 2차 데시메이션된 공간 범위 내에서 해당 블록과 매칭되는 블록까지의 움직임을 나타내는 제3 벡터를 결정하는 단계;

   상기 비교에서 서로 같은 경우에, 상기 제2 벡터를 기준으로 상기 입력 탐색창 공간 범위 상의 다수의 블록들 중에서 상기 입력 기준 매크로 블록과 매칭되는 블록까지의 움직임을 나타내는 제4 벡터를 결정하고, 상기 제1 벡터의 A배, 상기 제2 벡터의 B배 및 상기 제4 벡터를 합산하여 합산된 값을 최종 움직임 벡터로서 생성하는 단계; 및

   상기 비교에서 서로 다른 경우에, 상기 제2 벡터 또는 상기 제3 벡터 중 어느 하나를 선택하여 선택된 벡터를 기준으로 상기 입력 탐색창 공간 상의 다수의 블록들 중에서 상기 입력 기준 매크로 블록과 매칭되는 블록까지의 움직임을 나타내는 제 5벡터를 결정하고, 상기 제1 벡터의 A배, 상기 선택된 벡터의 B배 및 상기 제5 벡터를 합산하여 합산된 값을 상기 최종 움직임 벡터로서 생성하는 단계를 구비하고,

   상기 매칭되는 블록은 SAD가 최소인 블록인 것을 특징으로 하는 계층적 움직임 추정방법.
2. 제 1항에 있어서, 상기 비교에서 서로 다른 경우에, 상기 제2 벡터 또는 상기 제3 벡터 중 더 작은 SAD를 가지는 쪽이 선택되는 것을 특징으로 하는 계층적 움직임 추정방법.
3. 제 1항에 있어서, 상기 A 및 B는 서로다른 2^N(여기서, N은 자연수)의 값을 가지는 것을 특징으로 하는 계층적 움직임 추정방법.
4. 제 3항에 있어서, 상기 A는 4인 것을 특징으로 하는 계층적 움직임 추정방법.
5. 제 3항에 있어서, 상기 B는 2인 것을 특징으로 하는 계층적 움직임 추정방법.
6. 삭제
7. 삭제
8. 삭제

Images