KR101324352B1 - 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법 - Google Patents

Abstract

주변 블록의 움직임벡터와 현재 블록의 움직임 추정의 탐색 중심점과의 차이가 크면 넓은 범위를 탐색하고, 주변 블록의 움직임벡터와 현재 블록의 움직임 추정의 탐색 중심점과의 차이가 작으면 좁은 범위를 탐색함으로써 계산량을 크게 감소시키기 위한 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법이 개시된다. 본 발명은 부호화를 수행하는 현재 블록을 둘러싼 주변 블록의 움직임 벡터(

)를 입력받는 단계; 현재 블록의 움직임 벡터의 예측 벡터(MVP)를 입력 받고, 입력된 주변 블록의 움직임 벡터와 상기 예측 벡터(MVP)의 차이를 계산하여 차벡터를 얻는 단계; 획득된 차벡터의 평균을 계산하고 차벡터의 평균을 이용하여 x방향과 y방향의 탐색범위를 설정하는 단계; 그리고, 설정된 탐색범위를 탐색범위로 하는 움직임을 추정하는 단계를 포함한다.

Description

인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법{ Method for fast motion estimation using motion vectors of neighboring blocks}

본 발명은 영상 부호화기에서 움직임 추정(motion estimation)의 속도를 향상시키기 위한 방법에 관한 것으로, 주변 블록의 움직임벡터와 현재 블록의 움직임 추정의 탐색 중심점과의 차이가 크면 넓은 범위를 탐색하고, 주변 블록의 움직임벡터와 현재 블록의 움직임 추정의 탐색 중심점과의 차이가 작으면 좁은 범위를 탐색함으로써 계산량을 크게 감소시키기 위한 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법에 관한 것이다.

일반적으로, 블록단위로 부호화가 이루어지는 국제 표준 영상 부호화기에 있어서, 그 블록은 인트라블록(intra-block)과 인터블록(inter-block)으로 분류된다. 고속의 움직임벡터 추정 방법은 인터블록의 부호화 방법에 관련되며, 국제 표준 영상 부호화기에서 움직임 추정의 탐색 중심점을 MVP(motion vector prediction)벡터로 하고, 이 중심점을 중심으로 좌우상하 방향으로 탐색범위를 설정한 뒤 탐색하게 된다.

도 1은 국제 표준 동영상 부호화기의 대표적인 사례인 H.264/AVC 동영상 부호기의 블록 다이아그램이다. 도1에서 보는 바와 같이, 입력된 현재 영상(110)은 인터예측(112)과 인트라예측(114)이 모두 수행되고 그 중 우수한 예측방식을 선택적으로 사용하게 되며, 도 1의 스위치(100)가 그 역할을 수행하게 된다. 단, 인트라 픽쳐(intra picture)의 경우에는 항상 인트라예측을 수행하게 된다. 인터 또는 인트라예측으로 얻어진 예측 영상과의 차이 영상은 DCT변환(116)과 양자화(118)를 거쳐 엔트로피 부호화(119)된다. 또한 이 부호화기에서 역양자화(122), 역DCT변환(124)을 통해 복원된 차이 영상은 인터 또는 인트라예측으로 얻어진 예측 영상과의 합을 통해 복원된 영상이 얻어지고 이 복원된 영상은 인트라예측에 활용되며, 복원된 영상에 대해 디블록킹필터 처리된 영상은 인터예측에 활용된다.

도 1의 표준 영상 부호화기에서는 전체 영상 단위로 부호화하는 대신에 한 장의 영상을 일정한 크기의 블록(예컨대, 가로방향으로 M 화소, 세로 방향으로 N 화소(통상적으로 MㅧN으로 표시))의 화소(picture element 또는 pixel)의 집합 단위로 부호화를 수행하는데, 블록의 크기는 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 등이 될 수 있다. 16×16 크기의 블록을 '매크로블록(macroblock)' 이라고 부르며, 그 외의 크기의 블록을 그냥 '블록(block)'이라고 부른다. 또한 블록은 '매크로블록'과 '블록'의 통칭으로 사용되기도 한다. 따라서 본 명세서에서 언급하는 블록은 이러한 다양한 크기의 블록을 통칭하여 사용한다.

이와 같은 인터 예측 부호화에서는 현재 블록과 이전에 부호화된 프레임의 블록과의 움직임을 추정하여 그 차이 영상의 데이터와 움직임벡터를 부호화 하게 된다. 단순히 움직임벡터를 부호화 하는 것은 많은 비트를 필요로 하기에 영상 부호화기에서는 주변블록의 움직임벡터를 참고로 하여 현재 블록의 움직임 추정의 탐색 중심점(Motion Vector Prediction; 이하 MVP라함)을 추정하고, 현재 블록의 움직임벡터와의 차이(Motion Vector Difference ; 이하 MVD라함)만을 부호화함으로써 부호화 효율을 높이는 방법을 사용하고 있다. 즉, 움직임 벡터 대신 움직임 벡터차가 부호화되어 부호화 효율을 높이는 방법을 사용하고 있는 것이다.

종래의 동영상 압축 부호기에서는, 움직임 추정을 위한 탐색범위를 사용자가 입력하게 되면 MVP를 중심으로 그 탐색범위만큼 탐색하여 가장 우수한 움직임 벡터를 선정하게 된다. 이 방법은 작은 탐색범위로 설정하여도 성능저하가 발생하지 않는 움직임이 많지 않은 영상에 대해서도 그대로 적용됨으로써 계산량을 낭비하는 문제점을 가지고 있다.

또한 종래의 동적탐색방법에서는 현재 블록의 움직임 탐색 범위가 움직임 벡터 차와 밀접한 관계가 있다는 점을 고려하지 못하고, 단순히 주변 블록의 움직임 벡터 크기에 비례하도록 탐색범위를 설정함으로써 계산량 감축에 있어서 효율성이 높지 않다는 문제점을 가지고 있다.

따라서 영상의 특성에 따라 탐색범위를 가변적으로 변화시킬 수 있고, 탐색 범위와 밀접한 관계가 있는 움직임 벡터 차이 값에 기반하여 탐색범위를 줄임으로써 계산량을 효과적으로 감축하는 방법의 필요성이 대두되었다.

주변 블록의 움직임 벡터와 상관되어 현재 블록의 탐색범위를 제한함으로서 계산량을 감축하고자 하는 종래 방법에는 동적탐색방법 (dynamic search method)이 있다. 이 방법은 국제 표준화 기구인 ISO/IEC와 ITU-T의 Joint Video Team의 기고서 (JVT-Q088)에 제출된 방법으로서 주변 블록의 움직임 벡터의 크기의 최대값에 비례하여 현재 블록의 탐색범위를 제한하여 계산량을 감축하도록 하였다. 이 방법은 블록에 따라 다른 탐색범위를 적용한다는 점에서 본 발명에서 제시될 방법과 유사한 부류에 속하는 방법이나, 본 발명에서는 탐색범위가 현재 블록의 움직임 벡터 보다는 움직임 벡터 차이와 보다 밀접하게 관련있다는 점을 고려하여 주변 블록의 움직임 벡터 차의 크기를 이용하여 현재 블록의 탐색범위를 제한한다는 점에 차별화된다.

본 발명은 상기의 필요성을 감안하여 발명된 것으로, 영상부호화기에서 주변 블록의 움직임 벡터와 상관되어 현재 블록을 탐색하는 탐색범위는 MVP를 중심좌표로 하여 설정되므로 움직임 벡터보다는 움직임 벡터 차와 밀접한 관계가 있음을 주목한다. 따라서, 본 발명은 현재 블록의 움직임 탐색범위를 설정함에 있어서, 이미 부호화된 주변 블록의 움직임 벡터와 현재 블록의 MVP의 차와, 이전 프레임의 동일 위치의 블록의 움직임 벡터와 현재 블록의 MVP의 차를 이용하여 현재 블록의 움직임 탐색범위를 실제 움직임 벡터가 존재할 가능성이 높은 영역을 설정함으로써 계산량을 대폭 감소시키는 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법을 제공하는 데 그 목적이 있다.

이와 같은 목적을 수행하기 위한 본 발명은,

부호화를 수행하는 현재 블록을 둘러싼 주변 블록의 움직임 벡터(

)를 입력받는 단계;

현재 블록의 움직임 벡터의 예측 벡터(MVP)를 입력 받고, 입력된 주변 블록의 움직임 벡터와 상기 예측 벡터(MVP)의 차이를 계산하여 차벡터를 얻는 단계;

획득된 차벡터의 평균을 계산하고 차벡터의 평균을 이용하여 x방향과 y방향의 탐색범위를 설정하는 단계; 그리고,

설정된 탐색범위를 탐색범위로 하는 움직임을 추정하는 단계를 포함하는 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법이다.

본 발명의 바람직한 실시예에서는 평균을 계산하는 단계는 부호화를 수행하는 현재 블록을 둘러싼 5개의 주변 블록의 움직임 벡터의 전체의 평균을 계산하는 방법 또는 현재 블록을 둘러싼 5개의 주변 블록의 움직임 벡터에서 일부만을 취하여 평균을 계산하는 방법중에 선택되는 하나의 방법임을 특징으로 한다.

본 발명에 따른 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법은 주변 블록의 움직임벡터와 현재 블록의 MVP와의 차이가 크면 현재 블록의 움직임 벡터 차가 크다고 볼 수 있으므로 넓은 범위를 탐색하고, 반대로 그 차이가 작으면 현재 블록의 움직임 벡터 차가 작다고 볼 수 있으므로 좁은 범위를 탐색함으로써 계산량을 크게 감소시킬 수 있다.

본 발명에 따른 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법을 움직임이 적은 영상에 적용하여 보았을 때, 화질 저하없이 계산량을 크게 감소시킴을 알 수 있으며, 이는 사용자에 의해 입력된 탐색범위를 모두 탐색하지 않고도 본 발명의 방법이 움직임 추정을 효율적으로 처리함을 알 수 있었다.

도 1은 종래의 동영상 부호기 구조를 보여주기 위한 블록도이다.
도 2는 움직임 벡터를 이용한 움직임 추정 방법에서 현재 블록과 주변 블록을 정의를 보여주는 도면이다.
도 3은 움직임 벡터를 이용한 움직임 추정 방법에서 동일위치 블록의 정의를 보여주는 도면이다.
도 4는 본 발명에 따른 움직임 벡터를 이용한 움직임 추정방법을 설명하기 위한 흐름도이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.

도 2를 참조하면 영상 부호기 표준에서, 현재 블록(X)의 효과적인 압축을 위해 사용되는 주변 블록(A, B, C, D)의 정의를 나타낸다. MVP는 A, B, C블록의 움직임벡터를 사용하며, C가 유효하지 않은 경우에는 D가 사용된다. 각 방향(X축 방향, Y축 방향)에 따라 3개의 움직임벡터의 중간값을 취하게 된다. 이 중간값을 중심점으로 하여 현재 블록과 가장 유사한 블록을 이전에 부호화된 프레임에서 탐색하게 되며 가장 유사한 블록과 현재 블록과의 상대적인 위치를 움직임 벡터라고 한다. 이처럼 움직임 벡터를 찾는 과정을 움직임 추정이라고 하며, 움직임 벡터를 찾는 범위를 탐색범위라고 한다. 여기서 탐색범위는 사용자에 의해 주어지는 입력에 의해 결정된다.

움직임 추정은 MVP를 탐색의 중심 좌표로 설정하고 이 중심 좌표를 중심으로 사용자에 의해 주어진 탐색범위의 범위 만큼 움직임 벡터를 탐색하는 것이다. 따라서 탐색 범위 내에서 찾아진 최적 포인트의 좌표와 MVP를 더함으로써 실제 움직임 벡터를 얻게 되며, 부호화 시에는 MVP로부터 움직임 벡터가 얼마나 떨어져 있는지(MVD에 해당됨)를 부호화 하게 된다.

본 발명에 따른 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법에서는 MVP를 중심으로 탐색 범위가 설정되므로 이 탐색 범위는 움직임 벡터 보다는 움직임 벡터 차 (MVD)와 직접적으로 관련된다는 점을 주목하고 이에 대하여 움직임 추정방법을 제시한다.

여기서 이전 프레임의 동일 위치의 블록을 '동일위치블록'이라고 칭하며, 도 3은 동일위치블록을 도식적으로 보여준다.

도2에 나타난 주변 블록 A, B, C, D, 그리고 도3에 나타난 동일위치블록 E의 움직임 벡터를 각각

라고 할 때, 현재 블록 X의 움직임 벡터는 통계적으로

들과 유사할 가능성이 높다. 따라서 이 벡터들과 현재 블록의 MVP와의 차이는 실제 부호화할 움직임벡터의 차벡터와 유사할 가능이 높다.

본 발명에 따른 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법은 움직임 탐색범위는 현재 블록의 움직임 벡터의 크기가 아니라 차벡터 MVD가 포함될 수 있도록 움직임 탐색범위를 설정해야 한다는 점이다. 따라서, 본 발명에서는 차벡터 MVD의 크기가 크면 탐색범위를 크게 하고 MVD의 크기가 작으면 탐색범위 작게 설정하는 것이다.

도 4는 본 발명에 따른 움직임 벡터를 이용한 움직임 추정방법을 설명하기 위한 흐름도이다.

도 4에서 보는 바와 같이 본 발명에 따른 움직임 추정방법은 현재블럭의 주변 블록의 움직임 벡터(

)를 입력받고, (단계 S101) 현재 블록의 움직임 벡터의 예측 벡터(MVP)를 입력 받는다.(단계 S102) 입력된 주변 블록의 움직임 벡터와 예측 벡터의 차이를 계산하여 차벡터를 얻은 다음(단계 S103) 차벡터의 평균을 계산한다.(단계 S104)

차벡터의 평균을 이용하여 x방향과 y방향의 탐색범위를 결정하고 난 다음(단계 S105) 단계 S105에서 결정된 탐색범위를 탐색 범위로하는 움직임 추정단계(S106)로 구성된다.

먼저 본 발명에 따른 움직임 추정방법은 현재 블럭의 주변 블록의 움직임 벡터(

)를 입력받고, 현재 블록의 움직임 벡터의 예측 벡터(MVP)를 입력 받는다. 입력된 주변 블록의 움직임 벡터와 예측 벡터의 차이를 계산하여 MVP로부터 움직임 벡터가 얼마나 떨어져 있는지를 나타내는 차벡터(MVD)를 획득한다.

현재 블록의 움직임 벡터가 매우 크다고 하더라도 MVP가 이 움직임 벡터와 유사하다면 MVD는 작은 값이 나오게 되고 좁은 탐색범위로도 현재 블록의 움직임 벡터를 성공적으로 찾아낼 수 있다. 따라서 MVD의 크기가 얼마인지를 가늠해내는 것이 중요한 데, 종래 방법에는 동적탐색방법은 이점을 고려하지 못하고 움직임 벡터 자체의 크기만을 고려하였다. 이에 따라 현재 블록의 MVD와 통계적으로 유사하다고 판단되는 MVP와의 차이 벡터 5개를 도입하여 탐색영역을 설정하는데 활용한다. 하기 <수학식1>은 이 차이 벡터 5개를 정의한다. 하기의 수학식들에서

는 현재 블록을 둘러싼 주변 블록의 움직임 벡터이고, MVP는 현재 블록의 움직임 벡터의 예측 벡터이며, MVD는 MVP로부터 움직임 벡터가 얼마나 떨어져 있는지를 나타내는 차벡터이다.

,

,

,

<수학식1>의 5개의 벡터의 크기의 평균으로 현재 블록의 MVD가 어느 정도의 크기를 가질 것인지 추측할 수 있다. 벡터의 크기는 x방향과 y방향에 대해 각각 별도로 적용되며, x방향의 평균과 y방향의 평균은 각각

,

로 나타내며 <수학식2>와 같다. 여기서 5개의 벡터에 대해 평균을 취하였지만 5개 중 일부만을 취할 수도 있다.

<수학식2>에서 A, C, D에 대한 차벡터는 블록의 위치에 따라 존재하지 않을 수 있으며, 이 경우 <수학식2>에 포함시키지 않는다. 즉, 만약 D에 대한 차벡터 (

)가 존재하지 않는 경우에는 나머지 4개 벡터를 이용하여 평균을 계산한다. 차벡터의 평균은 <수학식2>에서 보는 바와 같이 구할 수 있을 뿐만 아니라 <수학식2>에 나타난 5개의 벡터의 일부 벡터들에 대한 평균으로도 구할 수 있으며 그 방법은 제한할 필요가 없다. 그래서 차벡터의 평균을 구하는 또 다른 방법의 예로서 <수학식3>이 있다.

<수학식2> 또는 <수학식3>과 유사한 방법에 의해 얻어진 차벡터의 평균을 기반으로 x방향과 y방향의 움직임 탐색범위를 설정한다. 즉, x방향과 y방향의 탐색범위

,

는 <수학식4>와 같이 설정할 수 있다.

<수학식4>에서 max{ㆍ,ㆍ}는 두 개의 값 중 큰 값을 취하는 연산자이며,

는 MVD의 평균보다 몇 배의 범위까지 탐색범위를 확장할 것을 결정해주는 상수이며,

는 MVD가 0인 경우 탐색범위가 0이 되는 현상을 방지해주기 위한 최소 탐색 범위를 나타내는 상수이다.

를 크게 함으로써 실제 MVD가 탐색범위에 포함될 가능성이 커지는 반면 탐색범위가 넓어져 계산량이 보다 더 요구된다. 한편으로는

를 통해 움직임 추정기의 계산량을 제어할 수도 있다. 적은 계산량이 요구되는 상황이라면

를 작게 설정함으로써 성능 저하를 일부 감수하면서 계산량을 감소할 수 있게 된다.

그러므로, 주변 블록의 움직임벡터와 현재 블록의 움직임 추정의 탐색 중심점과의 차이가 크면 즉, 차벡터가 크면 넓은 범위를 탐색한다. 또한, 주변 블록의 움직임벡터와 현재 블록의 움직임 추정의 탐색 중심점과의 차이가 작으면 즉, 차벡터가 작으면 좁은 범위를 탐색함으로써 계산량을 크게 감소시키는 것이다.

이상에서 본 발명의 바람직한 실시예를 상세히 설명하였으나, 본 발명은 이에 한정되는 것이 아니며 본 발명의 기술적 사상의 범위내에서 당업자에 의해 그 개량이나 변형이 가능하다.

Claims (3)

1. ⅰ)부호화를 수행하는 현재 블록을 둘러싼 주변 블록의 움직임 벡터(

   

   )를 입력받는 단계;
   ⅱ)현재 블록의 움직임 벡터의 예측 벡터(MVP)를 입력 받고, 입력된 주변 블록의 움직임 벡터와 상기 예측 벡터(MVP)의 차이를 계산하여 차벡터를 얻는 단계;
   ⅲ)상기 단계에서 획득된 차벡터의 평균을 계산하고 차벡터의 평균을 이용하여 x방향과 y방향의 탐색범위를 설정하는 단계; 그리고,
   ⅳ)상기 ⅲ단계에서 설정된 탐색범위를 탐색범위로 하는 움직임을 추정하는 단계를 포함하되,
   상기 ⅲ)단계에서 차벡터의 평균을 계산하는 단계는 부호화를 수행하는 현재 블록을 둘러싼 5개의 주변 블록의 움직임 벡터의 전체의 평균을 계산하는 방법 또는 현재 블록을 둘러싼 5개의 주변 블록의 움직임 벡터에서 일부만을 취하여 평균을 계산하는 방법중에 선택되는 하나의 방법임을 특징으로 하는 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법.
2. 삭제
3. 청구항 1에 있어서, 상기 ⅲ)단계에서 차벡터의 평균을 기반으로 x방향과 y방향의 움직임 탐색범위를 설정하는 것은 차벡터의 평균에 비례하도록 하기 수학식 1에 의하여 수행됨을 특징으로 하는 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법.
   

   

   
   

   

   수학식 1
   상기 수학식 1에서

   

   ,

   

   는 x방향과 y방향의 탐색범위, max{ㆍ,ㆍ}는 두 개의 값 중 큰 값을 취하는 연산자,

   

   는 MVD의 평균보다 몇 배의 범위까지 탐색범위를 확장할 것을 결정해주는 상수이며,

   

   는 MVD가 0인 경우 탐색범위가 0이 되는 현상을 방지해주기 위한 최소 탐색 범위를 나타내는 상수임.

Images