KR20110065105A

KR20110065105A - 서브 픽셀 정밀도를 갖는 모션 추정 방법 및 장치, 이를 이용한 비디오 인코더

Info

Publication number: KR20110065105A
Application number: KR1020090121954A
Authority: KR
Inventors: 정제창; 서정욱; 조준상
Original assignee: 한양대학교 산학협력단
Priority date: 2009-12-09
Filing date: 2009-12-09
Publication date: 2011-06-15
Also published as: KR101505815B1

Abstract

본 발명은 비디오 인코딩에 사용되는, 프레임간 시간적 중복성을 제거하는 서브 픽셀 정밀도의 모션 추정 과정에 있어서 연산량을 감소시키는 기술에 관한 것이다. 서브 픽셀 정밀도를 갖는 모션 추정 방법은, 입력 프레임의 복수의 블록들로 분할하는 단계와, 상기 블록들 중 현재 블록에 대하여, 참조 프레임의 소정의 탐색 영역 내에서 정수 픽셀 단위로 모션 벡터를 탐색하는 단계와, 상기 모션 벡터가 지시하는 위치에 있는 현재 픽셀과 상기 현재 픽셀에 인접한 픽셀들이 갖는 기준값들을 기초로 결정되는 제1 모델링 함수에 따라 하프 픽셀 정밀도의 제1 위치를 선택하는 단계와, 상기 제1 위치의 기준값을 연산하는 단계와, 상기 현재 픽셀의 기준값과, 상기 인접한 픽셀들 중 하나의 기준값과, 상기 제1 위치의 기준값을 기초로 결정되는 제2 모델링 함수에 따라 쿼터 픽셀 정밀도의 제2 위치를 선택하는 단계와, 상기 선택된 제2 위치에 따라 최종 모션 벡터를 결정하는 단계를 포함한다.

모션 추정, SAD, 서브 픽셀, 모델링 함수

Description

서브 픽셀 정밀도를 갖는 모션 추정 방법 및 장치, 이를 이용한 비디오 인코더{Motion estimation method and appartus providing sub-pixel accuracy, and video encoder using the same}

본 발명은 비디오 압축 방법에 관한 것으로, 보다 상세하게는, 비디오 인코딩에 사용되는 프레임간 시간적 중복성을 제거하는 서브 픽셀 정밀도의 모션 추정 과정에 있어서 연산량을 감소시키는 기술에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송 시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복 이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다.

이러한 동영상 압축 기법의 표준화를 위하여, MPEG(Moving Picture Experts Group)-2, MPEG-4, H.264 등 다양한 비디오 코딩 표준들이 등장하고 있다. 도 1에 도시된 바와 같이, 모든 비디오 코딩 기술들은 인접한 비디오 프레임들 간의 시간적 중복성을 제거하기 위하여 블록 모션 추정(block motion estimation)이라는 기법을 채택하고 있다.

예를 들어, 현재 프레임(10) 내의 어떤 블록(12)을 부호화하기 위해서는, 현재 프레임(10)과 다른 시간적 위치에 있는 참조 프레임(15)에서 상기 블록(12)과 매칭되는 블록(17)을 찾는다. 이 후, 현재 프레임(10)의 블록(12)과 참조 프레임(15)의 블록(17) 간의 차분(residual)를 구한 후, 이 차분을 부호화함으로써 부호화 효율을 높이는 것이다. 여기서, 블록들 간의 변위는 모션 벡터로서 표시되며, 모션 벡터에 의하여 참조 프레임(15)에 관한 모션 보상이 이루어진다.

이와 같이 모션 보상된 프레임을 예측 영상으로 하여, 원래의 영상으로부터 이를 차분함으로써 코딩될 데이터의 크기를 감소시킬 수 있는 것이다.

종래의 모션 추정은 통상적으로 두 가지 단계로 이루어진다. 첫째는 픽셀(정수) 단위의 모션 추정이고, 둘째는 서브 픽셀(1/2, 1/4) 단위의 모션 추정이다. 제1 단계에서 일단 정수 픽셀 단위로 모션 벡터를 탐색하여 정수 픽셀 단위의 최적의 모션 벡터가 구한다. 그 다음, 제2 단계에서 상기 최적의 모션 벡터가 가리키는 위치의 주변으로 8개의 서브 픽셀까지 확장하여 1/2(하프) 픽셀 단위로 다시 한번 모션 벡터를 탐색하여, 하프 픽셀 단위의 최적의 모션 벡터를 구한다. 마찬가지로, 하프 픽셀 단위의 최적의 모션 벡터가 가리키는 위치의 주변을 다시 확장하면 1/4(쿼터) 픽셀 단위의 최적의 모션 벡터, 즉 최종 모션 벡터를 구할 수 있게 된다.

도 2는 이와 같은 종래의 1/4 픽셀 단위의 모션 추정의 과정을 개략적으로 보여주는 도면이다.

정수 픽셀 단위로 모션 벡터 탐색을 수행한 결과, 픽셀(E)가 최적으로 선택되었다고 하면, 다시 픽셀(E) 주변의 8개의 하프 픽셀(1 내지 8)을 대상으로 다시 모션 벡터 탐색을 수행하게 된다. 이 때, 만약 하프 픽셀(6)이 선택되었다고 하면, 상기 하프 픽셀(6)의 주변의 8개의 쿼터 픽셀(a 내지 h)에 대하여 다시 모션 벡터 탐색을 수행하게 된다. 그 결과 9개의 후보(a 내지 h, 및 6) 중에서 최적인 하나를 선택하게 되면, 1/4 픽셀 정밀도를 갖는 최종 모션 벡터를 구할 수 있는 것이다.

그런데, 상기 단계들에서 최적의 모션 벡터를 탐색하는 과정은, 실제로 다수의 후보군에 대하여 일일이 판단 기준을 위한 연산(예: SAD(Sum of Absolute Difference))을 수행하여야 하기 때문에, 비디오 인코딩에 있어서, 매우 많은 연산량을 소요하게 된다. 따라서, 모션 추정 기술, 특히 1/4 픽셀 단위까지 모션 벡터를 탐색하는 H.264와 같은 표준 코덱에서의 모션 추정 기술이 최종적으로 복원된 영상의 화질을 향상시키는 데에 기여를 하고 있지만, 반면에 그로 인하여 비디오 인코딩에 있어서의 연산 복잡성은 급격히 증가하게 된다.

본 발명은 상기한 문제점을 감안하여 창안된 것으로, 서브 픽셀 단위까지 모션 벡터를 탐색하는 모션 추정 기술에 있어서, 화질의 저하를 일으키지 않으면서도 연산량을 감소시키는 것을 목적으로 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 서브 픽셀 정밀도를 갖는 모션 추정 방법은, (a) 입력 프레임의 복수의 블록들로 분할하는 단계; (b) 상기 블록들 중 현재 블록에 대하여, 참조 프레임의 소정의 탐색 영역 내에서 정수 픽셀 단위로 모션 벡터를 탐색하는 단계; (c) 상기 모션 벡터가 지시하는 위치에 있는 현재 픽셀과 상기 현재 픽셀에 인접한 픽셀들이 갖는 기준값들을 기초로 결정되는 제1 모델링 함수에 따라 하프 픽셀 정밀도의 제1 위치를 선택하는 단계; (d) 상기 제1 위치의 기준값을 연산하는 단계; (e) 상기 현재 픽셀의 기준값과, 상기 인접한 픽셀들 중 하나의 기준값과, 상기 제1 위치의 기준값을 기초로 결정되는 제2 모델링 함수에 따라 쿼터 픽셀 정밀도의 제2 위치를 선택하는 단계; 및 (f) 상기 선택된 제2 위치에 따라 최종 모션 벡터를 결정하는 단계를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 서브 픽셀 정밀도를 갖는 모션 추정 장치는, 입력 프레임의 복수의 블록들로 분할하는 블록 분할부; 상기 블록들 중 현재 블록에 대하여, 참조 프레임의 소정의 탐색 영역 내에서 정수 픽셀 단위로 모션 벡터를 탐색하는 모션 탐색부; 상기 모션 벡터가 지시하는 위치에 있는 현재 픽셀과 상기 현재 픽셀에 인접한 픽셀들이 갖는 기준값들을 기초로 결정되는 제1 모델링 함수에 따라 하프 픽셀 정밀도의 제1 위치를 선택하는 하프 픽셀 선택부; 상기 제1 위치의 기준값을 연산하는 기준값 연산부; 상기 현재 픽셀의 기준값과, 상기 인접한 픽셀들 중 하나의 기준값과, 상기 제1 위치의 기준값을 기초로 결정되는 제2 모델링 함수에 따라 쿼터 픽셀 정밀도의 제2 위치를 선택하는 쿼터 픽셀 선택부; 및 상기 선택된 제2 위치에 따라 최종 모션 벡터를 결정하는 모션 벡터 결정부를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 비디오 인코더는, 입력 프레임의 복수의 블록들로 분할하는 블록 분할부; 상기 블록들 중 현재 블록에 대하여, 참조 프레임의 소정의 탐색 영역 내에서 정수 픽셀 단위로 모션 벡터를 탐색하는 모션 탐색부; 상기 모션 벡터가 지시하는 위치에 있는 현재 픽셀과 상기 현재 픽셀에 인접한 픽셀들이 갖는 기준값들을 기초로 결정되는 제1 모델링 함수에 따라 하프 픽셀 정밀도의 제1 위치를 선택하는 하프 픽셀 선택부; 상기 제1 위치의 기준값을 연산하는 기준값 연산부; 상기 현재 픽셀의 기준값과, 상기 인접한 픽셀들 중 하나의 기준값과, 상기 제1 위치의 기준값을 기초로 결정되는 제2 모델링 함수에 따라 쿼터 픽셀 정밀도의 제2 위치를 선택하는 쿼터 픽셀 선택부; 상기 선택된 제2 위치에 따라 최종 모션 벡터를 결정하는 모션 벡터 결정부; 상기 입 력 프레임에서, 상기 결정된 최종 모션 벡터에 의해 상기 참조 프레임을 보상한 모션 보상 프레임을 차분하여 잔차 프레임을 얻는 차분기; 상기 잔차 프레임을 주파수 도메인으로 변환하여 변환 계수를 생성하는 공간적 변환부; 상기 변환계수를 양자화하는 양자화부; 및 상기 양자화의 결과와 상기 모션 벡터를 무손실 부호화하는 엔트로피 부호화부를 포함한다.

본 발명에 따르면 종래의 모션 추정 기법에 비하여, 모션 추정의 에러를 크게 발생시키지 않으면서도 연산량을 상당히 감소시킬 수 있는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

전술한 바와 같이, 서브 픽셀 단위의 모션 추정은 많은 연산량을 소요하므로 화질의 저하없이 이러한 연산량을 줄일 수 있는가가 관건이다. 만약, H.264와 같이 쿼터 픽셀 정밀도의 모션 추정을 수행하고자 하면, 정수 픽셀, 하프 픽셀, 쿼터 픽 셀에 대하여 각각 모션 벡터 탐색을 수행하여야 한다. 또한, 설령, 정수 픽셀 정밀도의 모션 벡터 탐색을 완료한 후에, 적절한 추정 방법을 통하여 하프 픽셀 정밀도 및 쿼터 픽셀 정밀도의 모션 벡터를 추정할 수 있다고 하더라도, 여기에는 2번의 추정(하프 픽셀 단위 및 쿼터 픽셀 단위)이 사용되기 때문에 최종 복원된 영상의 화질의 저하를 피할 수 없을 것이다.

따라서, 본 발명에서는 영상의 화질 저하 없이 신속한 서브 픽셀 단위의 모션 추정을 수행하기 위하여, 도 3에 예시한 바와 같은 방식을 채택한다.

먼저, 종래와 마찬가지로, 정수 픽셀 단위로 모션 탐색을 수행한다. 상기 모션 탐색이란 참조 프레임 상의 소정의 탐색 영역 내에서 복수의 후보(다수의 정수 픽셀 위치들) 중에서 최적의 위치를 결정하는 것이다. 이와 같은 최적의 값으로서는 통상적으로 "절대 차이의 합(Sum of Absolute Difference, SAD)"이 많이 사용된다. 이하 본 발명에서는 상기 SAD를 기준으로 최적을 판단하는 것으로 설명할 것이지만, 당업자라면 R-D(rate-distortion) 비용 등 다양한 기준에 의하여 최적을 판단할 수 있을 것이다. 이하 본 발명에 있어서는, 이와 같이 최적의 위치를 결정하는 데에 사용되는 기준을 "기준값"이라고 명명하기로 한다. 상기 기준값으로서, 특히, SAD는 현재 매크로블록과 참조 프레임의 영상 간의 에러(또는 차이)를 나타내는 지표이기 때문에 SAD는 낮을수록 최적이라고 볼 수 있다.

이와 같이, 정수 픽셀 단위의 모션 벡터 탐색이 완료되면 이에 대응하는 픽셀이 결정될 것이다. 예를 들어, 도 3에서 픽셀 E가 최적으로 즉, 최저의 SAD를 갖는다고 가정한다. 물론, 다른 픽셀이 최적으로 결정되더라도 화면을 이동하여 그 픽셀을 가운데에 위치하기 한다면 결국 도 3과 같이 최적의 픽셀을 중심으로 한 구성을 얻을 수 있을 것이다.

그 다음, 픽셀 E를 중심으로 수평 방향 및 수직 방향으로 모델링 함수를 구한다. 이와 같은, 모델링 함수는 예를 들어 다음의 수학식 1과 같이 표현될 수 있다.

상기 지수 γ는 다양한 정수 값을 가질 수 있겠으나, 본 발명에서는 실험 결과에 따라 상기 지수 γ는 1 또는 2로 설정하기로 한다. 수학식 1과 같은 모델링 함수는 세 개의 개수를 포함하고 있으므로, 적어도 3개 이상의 점들의 함수 값이 결정되어야 할 것이다.

도 4는 알려진 3개의 정수 픽셀의 SAD 값을 바탕으로 구한 모델링 함수(γ=2)의 일 예를 보여준다. 도 3에서의 수평 방향을 예로 들면, 픽셀 D, E, F는 각각 x축의 좌표 -1, 0, 1에 대응된다. 또한, P_-1은 픽셀 D가 갖는 SAD 값을, P₀는 픽셀 E가 갖는 SAD 값을, P₁은 픽셀 F가 갖는 SAD 값을 각각 나타낸다.

도 4와 같은 모델링 함수에 따르면, 최소의 SAD는 픽셀 D와 E 사이, 보다 정확히는 x 좌표의 -0.5와 0 사이에서 발생된다. 이와 같은 모델링 함수를 이용하면, 다음 단계에서 적어도 x가 -0.5 위치의 하프 픽셀이 고려되어야 하는지, 0.5 위치의 하프 픽셀이 고려되어야 하는지가 선택될 수 있다. 도 4와 같은 예에서는 당연 히 그 다음 단계에서는 -0.5 위치의 하프 픽셀이 고려되면 될 것이다.

한편, 수학식 1에서의 모델링 함수에서 γ을 1로 하면, 도 4의 그래프는 도 5와 같이 변경될 것이다. 도 4 및 5 중에서 어떠한 모델링 함수를 사용하는가는 실험 결과에 따라, 또는 당업자의 경험적 선택에 의하여 결정될 수 있을 것이다.

다시 도 3을 참조하면, 이와 같이, 수평 방향의 정수 픽셀 D, E, F의 SAD와 모델링 함수를 이용하면 그 다음 단계에서 하프 픽셀 4가 고려되어야 하는지 하프 픽셀 5가 고려되어야 하는지, 아니면 정수 픽셀 E가 선택되어야 하는지를 결정할 수 있다. 이러한 세 가지 경우의 판단에 대한 구체적인 판단식은, 수학식 2 및 3을 참고하여 후술하기로 한다. 만약, 상기 과정에서 정수 픽셀 E가 선택되었다면, 추가적인 연산(즉, 쿼터 픽셀 단위의 추가 모델링) 없이 픽셀 E가 수평 방향에 대한 최종 위치가 된다.

한편, 상기 과정에 의하여 하프 픽셀 4가 선택되었다고 하면, 그 다음 단계로서, 쿼터 픽셀 a 및 b 중에서 하나를 선택한다.

그런데, 픽셀 D, E는 실제로 SAD가 구해져 있으나, 하프 픽셀 4는 실제의 SAD는 구해져 있지 않고 도 4의 추정 값만 있을 뿐이다. 따라서, 쿼터 픽셀의 선택에 있어서 이러한 추정 값을 사용한다면 그 선택의 정확성은 낮아질 수 밖에 없을 것이다. 즉, 도 4의 그래프에서 직접 쿼터 픽셀을 선택하는 것이나 마찬가지이다. 이러한 문제를 고려하여, 본 발명에서는 상기 선택된 하프 픽셀 4에 대해서는 실제로 SAD를 계산한다(물론, 하프 픽셀 5에 대한 SAD 계산은 불필요하다).

결국, 픽셀 D, 하프 픽셀 4 및 픽셀 E에 대한 SAD는 모두 계산되어 있으므 로, 여기에 다시 제2의 모델링 함수를 적용하여 쿼터 픽셀 a 및 b 중에서 최적인 것을 선택한다. 다시 말하면, 도 4의 그래프에서 픽셀 D, 하프 픽셀 4 및 픽셀 E를 각각 x축의 위치 -1, 0, 1에 대응되도록 하면, 최종적으로 쿼터 픽셀 a와 b 중에서 최적인 하나가 선택되는 것이다. 여기서 선택된 쿼터 픽셀이 수평 방향에 대한 최종 위치가 된다.

한편, 이상에서는 수평 방향(픽셀 D, E, F)에 대하여 쿼터 픽셀 정밀도로 최종 픽셀을 선택하는 과정에 대하여 설명하였지만, 수직 방향(픽셀 B, E, H)에 대해서도 마찬가지의 과정이 수행되며, 이러한 과정을 통하여 수직 방향에 대한 최종 위치가 결정될 수 있다.

이와 같이, 쿼터 픽셀의 정밀도로 수평 방향의 최종 위치와 수직 방향의 최종 위치가 모두 결정되면, 쿼터 픽셀의 정밀도를 갖는 모션 벡터를 결정할 수 있다. 예를 들어, 수평 방향에서 쿼터 픽셀 a가 결정되고 수직 방향에서 하프 픽셀 2가 결정되었다면, 최종 모션 벡터의 위치는 위치 α가 된다. 또한, 수평 방향에서의 픽셀 E가 결정되고, 수직 방향에서는 쿼터 픽셀 d가 결정되었다면 최종 모션 벡터의 위치는 픽셀 d가 된다. 이와 같이, 쿼터 픽셀 정밀도로 수평 방향 및 수직 방향의 픽셀(또는 서브 픽셀)을 각각 결정함으로써 그 조합에 의하여 모든 쿼터 픽셀 정밀도가 표현될 수 있는 것이다.

이상에서, 정수 픽셀 단위의 모션 벡터 탐색에서 사용된 SAD 연산 이외에 추가적인 SAD 연산이라면 가로 방향으로 1회, 세로 방향으로 1회, 총 2회에 불과하다. 이와 같이, 쿼터 픽셀의 정밀도로 모션 추정을 수행하면서도, 연산량 증가의 원인이 되는 SAD 연산은 정수 픽셀의 정밀도로 모션 추정을 수행하는 경우에 비하여 2회만이 증가되므로, 원하는 화질을 유지하면서도 연산량의 증가를 억제할 수 있는 것이다.

이상에서는 하프 픽셀의 선택 과정에서 사용되는 모델링 함수와, 쿼터 픽셀의 선택 과정에서 사용되는 모델링 함수는 동일할 수도 있고 상이할 수도 있다. 실험을 통한 결과를 고려하면 바람직하게는 상기 하프 픽셀 선택 과정에서의 모델링 함수는 도 5와 같은 1차 함수를 이용하는 것이 바람직하고, 쿼터 픽셀의 선택 과정에서의 모델링 함수는 도 4와 같은 2차 함수를 이용하는 것이 바람직하지만, 이에 한하지는 않는다. 다만, 이하에서는 이와 같이 1차 함수 및 2차 함수가 순차적으로 사용되는 것을 예로 하여 설명할 것이다.

도 6은 본 발명의 일 실시예에 따른 모션 추정 방법을 구현하는 비디오 인코더(100)의 구성을 도시한 블록도이다. 비디오 인코더(100)는 모션 추정 장치(105), 모션 보상부(160), 차분기(165), 공간적 변환부(170), 양자화부(180) 및 엔트로피 부호화부(190)를 포함하여 구성될 수 있다.

상기 모션 추정 장치(105)는 다시 블록 분할부(110), 모션 탐색부(120), 하프 픽셀 선택부(130), 기준값 연산부(140), 쿼터 픽셀 선택부(150), 모션 벡터 결정부(155)를 포함하여 구성될 수 있다.

블록 분할부(110)는 입력 프레임을 모션 벡터의 할당 단위인 블록, 즉 매크로블록 또는 서브 매크로블록의 크기로 분할한다. 상기 매크로블록은 16x16의 픽셀 크기를 갖는 블록(16x16 블록)이고, 상기 서브 매크로블록은 그 보다 작은 크기의 블록이다. H.264에서 상기 서브 매크로블록에는 16x8 블록, 8x16 블록 및 8x8 블록이 존재하며, 상기 8x8 블록은 다시 8x4 블록, 4x8 블록 및 4x4 블록으로 나뉘어질 수 있다(예: H.264). 물론, 블록 분할부(110)는 이와 같은 가변 블록 크기가 아니라 고정된 크기로 전체 프레임을 분할할 수도 있다(예: MPEG-4).

모션 탐색부(120)는 상기 블록들 중 현재 블록에 대하여, 참조 프레임의 소정의 탐색 영역 내에서 정수 픽셀 단위로 모션 벡터를 탐색한다. 이와 같이 정수 픽셀 단위로 모션 벡터를 탐색하는 과정은 예를 들면, 정수 픽셀 단위로 움직이면서 각각의 위치에서 비교를 위한 기준값, 예를 들어, SAD(Sum of Absolute Difference)를 구하고, 상기 SAD가 최소인 픽셀이 나타내는 변위를 모션 벡터로 결정하는 것이다.

하프 픽셀 선택부(130)는 상기 모션 벡터가 지시하는 위치에 있는 현재 픽셀과 상기 현재 픽셀에 인접한 픽셀들이 갖는 기준값들을 기초로 결정되는 제1 모델링 함수(예: 도 5와 같은 1차 함수)에 따라 하프 픽셀 정밀도의 제1 위치를 선택한다. 예를 들면, 도 4에서와 같이, 상기 인접 픽셀들이 갖는 기준값들 중에서 작은 값을 갖는 인접 픽셀(x=-1)에 근접한 하프 픽셀 위치(x=-0.5)를 상기 제1 위치로 선택한다. 물론, 특정 조건을 만족하는 경우에는 현재 픽셀의 위치가 제1 위치로 선택될 수 있다.

다음의 수학식 2는 이상과 같이 제1 위치를 판단하는 구체적인 기준의 예를 표시한다.

수학식 2에서, m₀ 및 n₀는 상기 현재 픽셀의 위치를 나타내는 x 좌표 및 y 좌표이다. 수학식 2에서 첫번째 조건을 만족하면 좌측 구간의 하프 픽셀(도 4에서 x=-0.5)이 선택됨을 의미하고, 두번째 조건을 만족하면 우측 구간의 하프 픽셀(도 4에서 x=0.5)이 선택됨을 의미하며, 그 이외에는 상기 현재 픽셀이 선택됨을 의미한다. 이상의 판단에서, 상기 현재 픽셀이 선택되면, 추가적인 연산(즉, 후술하는 쿼터 픽셀 단위의 선택) 없이 현재 픽셀이 수평 방향에 대한 최종 위치가 된다는 점에 유의할 필요가 있다.

이상은 현재 픽셀을 중심으로 가로 방향을 상정한 것이지만, 세로 방향에 대해서도 마찬가지로 적용될 수 있다는 것은 당업자라면 당연히 이해할 수 있을 것이다.

다시 도 6을 참조하면, 기준값 연산부(140)는 상기 제1 위치의 기준값을 연산한다. 예를 들어, 도 3에서 하프 픽셀 4의 위치가 선택되었다면 기준값 연산부(140)는 상기 하프 픽셀 4에 대한 기준값, 예를 들어 SAD를 한다. 하프 픽셀 단위의 SAD를 구하려면, 영상을 2배의 업샘플링하기 위한 보간이 필요하다. 통상, 하프 픽셀의 업샘플링에는 FIR 필터가 사용되지만 이에 한정될 필요는 없다. 이와 같 이 2배의 업샘플링 후에는 하프 픽셀이 정수 픽셀이 되었으므로 상기 SAD를 구할 수 있게 된다.

쿼터 픽셀 선택부(150)는 상기 현재 픽셀의 기준값과, 상기 인접한 픽셀들 중 하나의 기준값과, 상기 제1 위치의 기준값을 기초로 결정되는 제2 모델링 함수(예: 도 4와 같은 2차 함수)에 따라 쿼터 픽셀 정밀도의 제2 위치를 선택한다. 여기서, 상기 현재 픽셀 및 인접한 픽셀들의 기준값들은 모션 탐색부(120)의 모션 벡터 탐색 과정에서 이미 얻어져 있고, 상기 제1 위치의 기준값은 상기 기준값 연산부(140)에 의해서 별도로 계산되어 있다.

쿼터 픽셀 선택부(150)는 특히, 상기 제2 모델링 함수가 최소값을 갖는 위치에 가장 근접한 쿼터 픽셀 위치를 상기 제2 위치로 선택한다.

상기 제2 모델링 함수도 제1 모델링 함수와 마찬가지로 1차 함수일 수 있지만, 2차 함수와 같은 다른 형태의 함수를 사용하여도 무방하다. 만약, 제2 모델링 함수로서 1차 함수를 사용한다면, 전술한 수학식 2에서의 판단법과 마찬가지 방식으로 쿼터 픽셀 선택할 수 있을 것이다. 그러나, 제2 모델링 함수로 2차 함수를 사용한다면 수학식 2에서의 판단 기준은 다음의 수학식 3과 같이 변경되어야 할 것이다.

물론, 여기서는 쿼터 픽셀 단위로 연산을 하는 것이므로 수학식 3에서 다소간의 수정(예: 0.5를 0.25로 변경)이 필요하기는 하지만, 3개의 기준점들이 각각 x=-1, 0, 1에 위치한 것으로 생각하면 수학식 3을 그대로 이용할 수 있다. 예를 들어, 도 3에서 픽셀 D, E와 하프 픽셀 4를 이용하여 쿼터 픽셀을 선택한다고 하면, 픽셀 D를 x=-1, 픽셀 E를 x=1, 그리고 하프 픽셀 4를 x=0의 위치에 있는 것으로 생각하면 된다.

물론, 쿼터 픽셀의 선택 과정도 가로 방향뿐만 아니라 세로 방향에 대해서도 마찬가지로 수행될 수 있음은 당업자에게는 자명하다.

모션 벡터 결정부(155)는 상기 선택된 제2 위치에 따라 최종 모션 벡터를 결정한다. 하프 픽셀 선택부(130), 기준값 연산부(140) 및 쿼터 픽셀 선택부(150)의 동작들은 각각 수평 방향의 인접한 픽셀들과, 수직 방향의 인접한 픽셀들에 대하여 별도로 수행되기 때문에, 모션 벡터 결정부(155)는 상기 수평 방향으로 결정된 쿼터 픽셀 정밀도의 위치와, 수직 방향으로 결정된 쿼터 픽셀 정밀도의 위치를 조합하여, 쿼터 픽셀 정밀도를 갖는 최종 모션 벡터를 결정한다. 예를 들어, 도 3에서 수평 방향으로는 쿼터 픽셀 a의 위치(쿼터 픽셀 정밀도의 위치)가 선택되고 수직 방향으로는 하프 픽셀 2의 위치(쿼터 픽셀 정밀도의 위치)로 선택되었다면, 최종 위치는 위치(α)가 된다.

다시 도 6을 참조하면, 모션 보상부(160)는 모션 추정 장치(105)로부터 제공되는, 블록들에 대한 모션 벡터들을 이용하여 참조 프레임에 대하여 모션 보상을 수행함으로써 모션 보상 프레임(motion compensated frame)을 얻는다.

또한, 차분기(165)는 상기 입력 프레임에서, 상기 모션 벡터에 의해 참조 프레임을 보상한 모션 보상 프레임을 차분하여 잔차 프레임(residual frame)을 얻는다. 본 발명의 일 실시예에 있어서, 상기 잔차 프레임을 부호화하는 수단으로는 공간적 변환부(170), 양자화부(180) 및 엔트로피 부호화부(190)가 사용된다.

공간적 변환부(170)는 소정의 공간적 변환법을 이용하여, 상기 잔차 프레임을 주파수 도메인으로 변환한다. 이러한 공간적 변환법으로는 주로 DCT(Discrete Cosine Transform)가 사용되며, 때로는 웨이브렛 변환(wavelet transform)이 사용되기도 한다. 공간적 변환 결과 구해지는 계수들을 변환 계수라고 하는데, 공간적 변환으로 DCT를 사용하는 경우 DCT 계수라고 하고, 웨이브렛 변환을 사용하는 경우 웨이브렛 계수라고 한다.

양자화부(180)는 공간적 변환부(170)에서 구한 변환 계수를 양자화한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 소정의 인덱스로 매칭(matching)시키는 과정을 의미한다. 특히, 공간적 변환 방법으로 웨이브렛 변환을 이용하는 경우에는 양자화 방법으로서 임베디드 양자화(embedded quantization)가 이용되기도 한다.

엔트로피 부호화부(190)는 양자화부(180)에 의하여 양자화된 변환 계수와, 모션 추정 장치(105)에 의하여 제공되는 모션 벡터를 무손실 부호화하여 출력 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding), 허프만 부호화 등이 있다.

지금까지 도 6의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.

다음의 표 1은 종래의 MPEG4에서 쿼터 픽셀 정밀도의 모션 추정을 수행한 시뮬레이션 결과와, 본 발명에 따라 쿼터 픽셀 정밀도의 모션 추정을 수행한 시뮬레이션 결과를 비교하여 보여준다.

상기 실험은 각각 40개의 픽쳐와 352x288 해상도를 갖는 7개의 표준 비디오 시퀀스를 대상으로 수행되었다. 본 발명은 MPEG4에 비하여, 연산 속도에 있어서는 대략 12%(비디오 코딩 전체 과정 기준) 이상의 향상을 나타내었으나 PSNR에 있어서는 MPEG4와 유사하거나 경우에 따라서는 더 나은 결과를 나타내기도 한다. 이러한 실험에서도 알 수 있듯이, 본 발명에 따른 모션 추정 알고리즘은 복원되는 영상의 화질을 저하시키지 않고서도, 비디오 코딩시의 연산량을 상당히 감소시켜 준다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

도 1은 통상의 블록 모션 추정의 개념을 보여주는 도면.

도 2는 종래의 쿼터 픽셀 단위의 모션 추정의 과정을 개략적으로 보여주는 도면.

도 3은 본 발명의 일 실시예에 따른 쿼터 픽셀 단위의 모션 추정의 과정을 개략적으로 보여주는 도면.

도 4는 알려진 3개의 정수 픽셀의 SAD 값을 바탕으로 구한 모델링 함수의 일 예를 보여주는 도면.

도 5는 도 4의 모델링 함수의 다른 예를 보여주는 도면.

도 6은 본 발명의 일 실시예에 따른 모션 추정 방법을 구현하는 비디오 인코더의 구성을 도시한 블록도.

(도면의 주요부분에 대한 부호 설명)

100: 비디오 인코더 110: 블록 분할부

120: 모션 탐색부 130: 하프 픽셀 선택부

140: 기준값 연산부 150: 쿼터 픽셀 선택부

155: 모션 벡터 결정부 160: 모션 보상부

165: 차분기 170: 공간적 변환부

180: 양자화부 190: 엔트로피 부호화부

Claims

(a) 입력 프레임의 복수의 블록들로 분할하는 단계;

(b) 상기 블록들 중 현재 블록에 대하여, 참조 프레임의 소정의 탐색 영역 내에서 정수 픽셀 단위로 모션 벡터를 탐색하는 단계;

(c) 상기 모션 벡터가 지시하는 위치에 있는 현재 픽셀과 상기 현재 픽셀에 인접한 픽셀들이 갖는 기준값들을 기초로 결정되는 제1 모델링 함수에 따라 하프 픽셀 정밀도의 제1 위치를 선택하는 단계;

(d) 상기 제1 위치의 기준값을 연산하는 단계;

(e) 상기 현재 픽셀의 기준값과, 상기 인접한 픽셀들 중 하나의 기준값과, 상기 제1 위치의 기준값을 기초로 결정되는 제2 모델링 함수에 따라 쿼터 픽셀 정밀도의 제2 위치를 선택하는 단계; 및

(f) 상기 선택된 제2 위치에 따라 최종 모션 벡터를 결정하는 단계를 포함하는, 서브 픽셀 정밀도를 갖는 모션 추정 방법.
제1항에 있어서, 상기 기준값은

SAD(Sum of Absolute Difference)인, 서브 픽셀 정밀도를 갖는 모션 추정 방법.
제2항에 있어서, 상기 (c) 단계에서

상기 현재 픽셀의 위치가 상기 제1 위치로 선택되는 경우에는, 상기 단계 (d) 및 (e)를 수행할 필요 없이 상기 현재 픽셀이 최종적인 상기 제2 위치로 선택되는, 서브 픽셀 정밀도를 갖는 모션 추정 방법.
제1항에 있어서, 상기 (c) 내지 (e) 단계는 각각 수평 방향의 인접한 픽셀들과, 수직 방향의 인접한 픽셀들에 대하여 각각 수행되고,

상기 (f) 단계는 상기 수평 방향으로 결정된 제2 위치와, 수직 방향으로 결정된 제2 위치를 조합하여 최종 모션 벡터를 결정하는 단계를 포함하는, 서브 픽셀 정밀도를 갖는 모션 추정 방법.
제4항에 있어서,

상기 제1 위치의 기준값을 연산하는 단계는, 상기 수평 방향 및 수직 방향의 각각에 대하여 1회씩, 총 2회가 수행되는, 서브 픽셀 정밀도를 갖는 모션 추정 방법.
제1항에 있어서,

상기 제1 및 제2 모델링 함수는 2차 함수인, 서브 픽셀 정밀도를 갖는 모션 추정 방법.
제2항에 있어서, 상기 (c) 단계는

상기 현재 픽셀과 상기 인접 픽셀들 중에서, 상기 제1 모델링 함수가 최소값을 갖는 위치에 가장 근접한 하프 픽셀 위치를 상기 제1 위치로 선택하는 단계를 포함하는, 서브 픽셀 정밀도를 갖는 모션 추정 방법.
제7항에 있어서, 상기 (e) 단계는

상기 제2 모델링 함수가 최소값을 갖는 위치에 가장 근접한 쿼터 픽셀 위치를 상기 제2 위치로 선택하는 단계를 포함하는, 서브 픽셀 정밀도를 갖는 모션 추정 방법.
입력 프레임의 복수의 블록들로 분할하는 블록 분할부;

상기 블록들 중 현재 블록에 대하여, 참조 프레임의 소정의 탐색 영역 내에서 정수 픽셀 단위로 모션 벡터를 탐색하는 모션 탐색부;

상기 모션 벡터가 지시하는 위치에 있는 현재 픽셀과 상기 현재 픽셀에 인접한 픽셀들이 갖는 기준값들을 기초로 결정되는 제1 모델링 함수에 따라 하프 픽셀 정밀도의 제1 위치를 선택하는 하프 픽셀 선택부;

상기 제1 위치의 기준값을 연산하는 기준값 연산부;

상기 현재 픽셀의 기준값과, 상기 인접한 픽셀들 중 하나의 기준값과, 상기 제1 위치의 기준값을 기초로 결정되는 제2 모델링 함수에 따라 쿼터 픽셀 정밀도의 제2 위치를 선택하는 쿼터 픽셀 선택부; 및

상기 선택된 제2 위치에 따라 최종 모션 벡터를 결정하는 모션 벡터 결정부 를 포함하는, 서브 픽셀 정밀도를 갖는 모션 추정 장치.
제9항에 있어서, 상기 기준값은

SAD(Sum of Absolute Difference)인, 서브 픽셀 정밀도를 갖는 모션 추정 장치.
제10항에 있어서,

상기 현재 픽셀의 위치가 상기 제1 위치로 선택되는 경우에는, 상기 기준값 연산부와 상기 쿼터 픽셀 선택부에서의 동작을 수행할 필요 없이 상기 현재 픽셀이 최종적인 상기 제2 위치로 선택되는, 서브 픽셀 정밀도를 갖는 모션 추정 장치.
제9항에 있어서, 상기 하프 픽셀 선택부, 상기 기준값 연산부 및 상기 쿼터 픽셀 선택부의 동작들은 각각 수평 방향의 인접한 픽셀들과, 수직 방향의 인접한 픽셀들에 대하여 별도로 수행되고,

상기 모션 벡터 결정부는 상기 수평 방향으로 결정된 제2 위치와, 수직 방향으로 결정된 제2 위치를 조합하여 최종 모션 벡터를 결정하는, 서브 픽셀 정밀도를 갖는 모션 추정 장치.
제12항에 있어서, 상기 기준값 연산부에서 수행되는 기준값의 연산은

상기 수평 방향 및 수직 방향의 각각에 대하여 1회씩, 총 2회가 수행되는, 서브 픽셀 정밀도를 갖는 모션 추정 장치.
제9항에 있어서,

상기 제1 및 제2 모델링 함수는 2차 함수인, 서브 픽셀 정밀도를 갖는 모션 추정 장치.
제10항에 있어서, 상기 하프 픽셀 선택부는

상기 현재 픽셀과 상기 인접 픽셀들 중에서, 상기 제1 모델링 함수가 최소값을 갖는 위치에 가장 근접한 하프 픽셀 위치를 상기 제1 위치로 선택하는, 서브 픽셀 정밀도를 갖는 모션 추정 장치.
제15항에 있어서, 상기 쿼터 픽셀 선택부는

상기 제2 모델링 함수가 최소값을 갖는 위치에 가장 근접한 쿼터 픽셀 위치를 상기 제2 위치로 선택하는, 서브 픽셀 정밀도를 갖는 모션 추정 장치.
입력 프레임의 복수의 블록들로 분할하는 블록 분할부;

상기 블록들 중 현재 블록에 대하여, 참조 프레임의 소정의 탐색 영역 내에서 정수 픽셀 단위로 모션 벡터를 탐색하는 모션 탐색부;

상기 모션 벡터가 지시하는 위치에 있는 현재 픽셀과 상기 현재 픽셀에 인접한 픽셀들이 갖는 기준값들을 기초로 결정되는 제1 모델링 함수에 따라 하프 픽셀 정밀도의 제1 위치를 선택하는 하프 픽셀 선택부;

상기 제1 위치의 기준값을 연산하는 기준값 연산부;

상기 현재 픽셀의 기준값과, 상기 인접한 픽셀들 중 하나의 기준값과, 상기 제1 위치의 기준값을 기초로 결정되는 제2 모델링 함수에 따라 쿼터 픽셀 정밀도의 제2 위치를 선택하는 쿼터 픽셀 선택부; 및

상기 선택된 제2 위치에 따라 최종 모션 벡터를 결정하는 모션 벡터 결정부;

상기 입력 프레임에서, 상기 결정된 최종 모션 벡터에 의해 상기 참조 프레임을 보상한 모션 보상 프레임을 차분하여 잔차 프레임을 얻는 차분기; 및

상기 잔차 프레임을 부호화하는 수단을 포함하는, 비디오 인코더.
제17항에 있어서, 상기 잔차 프레임을 부호화하는 수단은,

상기 잔차 프레임을 주파수 도메인으로 변환하여 변환 계수를 생성하는 공간적 변환부;

상기 변환계수를 양자화하는 양자화부; 및

상기 양자화의 결과와 상기 모션 벡터를 무손실 부호화하는 엔트로피 부호화부를 포함하는, 비디오 인코더.