KR20080041630A - 추정된 움직임 벡터 결정 방법 및 컴퓨터 판독가능한 기록매체 - Google Patents

Abstract

본 발명은 이미지 신호에서 추정되는 움직임 벡터의 결정에 관한 것이다. 추정되는 움직임 벡터의 정확성을 향상시키기 위해, 신호의 한 이미지 내의 적어도 한 픽셀에 대해 둘 이상의 후보 움직임 벡터가 만들어지고, 후보 움직임 벡터들 각각에 대해 둘 이상의 오차 기준이 계산되며, 오차 기준의 비선형 함수를 최소화시키는 후보 움직임 벡터가 적어도 한 픽셀에 대해 추정된 움직임 벡터로서 선택된다.

Description

추정된 움직임 벡터 결정 방법{MOTION ESTIMATION}

본 특허 출원은 전체적으로 개구 문제(the aperture problem)를 해결하기 위한 향상된 움직임 추정과 관련된 것이다.

비디오 처리 분야의 새로운 기술 도입으로, 움직임 보상 비디오 알고리즘은 고화질 비디오 처리를 위해 필요할 뿐만 아니라 가능하게 되었다. 고화질 비디오 처리를 위해, 다양한 움직임 보상 애플리케이션이 제공된다. 예컨대, 노이즈 감소를 위한 움직임 보상(MC) 필터링, 코딩을 위한 MC 예측, 인터레이스 포맷(interlace format)을 프로그레시브 포맷(progressive format)으로 변환하기 위한 MC 디인터레이싱(de-interlacing), 또는 MC 화상 비율 변환 등과 같은 애플리케이션들이 알려져 있다. 이들 애플리케이션은 움직임 추정(MC) 알고리즘을 이용하는데, 이러한 알고리즘으로서 다양한 방법이 알려져 있다.

비디오 포맷 변환에서 움직임 추정 알고리즘의 한 예로서, 블록 기반 움직임 추정은 3차원의 반복적인 탐색(3D RS) 블록 정합(block-matcher)으로 알려져 있다.

움직임 추정 알고리즘은 픽셀의 휘도나 색도값이 위치의 선형함수로 어림될 수 있다는 가정에 근거했다. 이 가정은 변위가 작은 경우에만 올바르게 적용될 수도 있다. 그러나, 이러한 제한은 픽셀 기반 움직임 추정 방법(PEL-recursive methods)에 의해 해결된다.

움직임 추정의 구현은 블록 추정도 포함한다. 블록 정합 움직임 추정 알고리즘에서, 변위 벡터

는 현재 필드 n에 있는 픽셀들의 블록

의 중심

로 할당되는데, 이는 중심은

이나 예를 들면 n-1,n+1과 같이 공간적으로 인접하는 필드에 있는 탐색 구역

내에 있는 유사 블록을 탐색함으로써 이루어진다. 유사 블록은 중심을 갖는데, 이 중심은 할당된

에 대해 변위

만큼 쉬프트 되어있을 수 있다.

를 찾기 위해 후보 벡터들

의 집합에 대한 평가가 수행된다. 후보 벡터 집합

를 평가하기 위하여, 블록 유사도를 정량화하는 오차 척도

가 계산된다.

탐색 구역

내에서

에 대해 가능한 모든 변위를 나타내는 후보 벡터들

의 집합은 다음과 같이 나타낼 수 있는데,

여기서 상수 N,M은 탐색 구역

를 한정한다.

전체 탐색 블록 정합 처리에서 비롯된 변위 벡터

는 적어도 하나의 오차 함수

의 최소값을 산출하는 후보 벡터

이다. 이는 다음과 같이 나타낼 수 있다.

보통 가장 작은 정합 오차 값을 갖는 벡터

가 블록

내의 모든 위치

에 할당된다. 주어진 후보 벡터

에 대한 오차 값은 블록

전체에 대해 합산된 현재 블록 내의 픽셀의 휘도 값과 이전 필드에서 쉬프트된 블록 내의 픽셀의 휘도 값의 함수가 될 수 있다. 또한, 오차 값은 픽셀 값의 임의의 다른 함수가 될 수 있고, 비용함수의 합계로 나타낼 수 있는데,

일반적으로 비-인터레이스(non-interlaced) 신호는 p=1, 인터레이스 신호는 p=2를 갖는다. 비용 함수는, 예를 들면, 두 픽셀 블록 사이의 절대값 차이의 합이 될 수 있다.

주어진 후보 벡터의 오차 값은 비용 함수 혹은 제한 함수로 생각할 수도 있다. 이미지의 움직임의 특성과 관계 있는 제한 함수, 예를 들면 세기 보존 제한(intensity conservation constraint) 혹은 공간의 상관관계 제한(spatial coherence constraint)일 수 있다. 제한의 선택은 제한이 서로 독립적으로 직교 부분공간 해를 도출하는 경우가 최선이다. 이미지 내용으로부터, 가능한 움직임 벡터의 집합에 움직임의 연속 정도(smoothness), 물체의 관성 등과 같은 물리적 제한을 부과할 수도 있다. 수학적으로, 이들 제한들은 움직임 파라미터/움직임 벡터(움직임 파라미터/움직임 벡터에 대한 제한)를 변수로 하는 방정식의 형태를 취할 수 있으며, 이 방정식은 최소화될 비용 함수에 추가되거나 이와 결합될 수 있다.

도 1은 전술한 블록 정합 움직임 추정 알고리즘을 도시한다. 그림은 두 시간접(n-1, n)에서의 한 이미지 시퀀스(2)를 나타낸다. 이미지 시퀀스(2)에서, 수평 위치

와 수직 위치

에서 서로 다른 블록들(4)이 결정되어 있다. 블록(4)의 변위 벡터

를 결정하기 위해, 여러 후보 벡터

(8)가 전술한 오차 척도

를 이용하여 평가될 수 있다. 가능한 오차 함수로서 추정된 절대값 차의 합(SAD)일 수도 있으며, SAD는

인데, 여기서

은 블록(4)내의 픽셀의 휘도 값이다. 변위 벡터

는 이전 혹은 다음 이미지 내에 있고 중심

를 갖는 검색 블록

(6) 내에서 유사 블록(10)을 탐색함으로써 현재 이미지의 픽셀 위치

의 블록(4)의 중심

에 할당된다. 이는 시간상으로 이전 혹은 다음의 이미지나 필드일 수 있다. 따라서 두 블록(4,10) 사이의 상호 관계는 위치 벡터

를 결정하기에 최적화될 수 있다.

다른 오차 기준들로, 평균 제곱 오차, 정규화된 교차 상관 함수 등을 사용할 수 있다. 특히 정규 상관 계수 함수는 푸리에 도메인에서 계산하는 경우 사용할 수 있다. 다른 오차 기준의 예로 완전히 다른 픽셀의 수(the number of significant different pixels)도 오차 기준이 될 수 있다. 상기 기준들은 비용 함수가 될 수 있다. 경계 조건과 같은 물리적 제한은 독립 비용 함수에 대한 새로운 후보를 제공할 수 있다.

블록 정합 방법은 실제 움직임 벡터에 근접한 후보 벡터들을 찾을 수 있게 해준다. 일관성을 더하기 위해, 예측의 타입에 따라, 다시 말하면 시간적 예측인지 공간적 예측인지에 따라, 오차 함수에 페널티 값을 더하는 페널티 시스템을 채택하였다.

그러나, 전술한 오차/비용 함수가 2차원 움직임 파라미터를 완전히 결정하는 것은 아니다. 이런 비용 함수들은 소위 개구 문제(aperture problem)라 불리는 문제 때문에 어려움을 겪을 수도 있다. 이 문제를 해결하기 위해, 이미지 내용, 예를 들면 움직임이 연속적인지 여부, 물체가 관성을 갖는지 여부 등의 물리적 제한에 대한 추가 정보들이 필요할 수도 있다. 예를 들면, 에지(edges)와 같이 단 방향성을 갖는 시퀀스에서 하나의 에지를 향하는 같은 벡터 성분을 갖는 후보 벡터들은 같은 비용 함수를 가질 수도 있다. 따라서, SAD는 움직임의 2차원 성분을 완전히 결정하지 않고, 단지 에지에 수직한 한 성분을 결정할 뿐이다. SAD만을 사용하는 움직임 추정은 열화하는데, 상기 시퀀스에서, 예를 들면, 에지와 같이, 한 방향으로 접하는 상수로만 결정되기 때문이다. 이런 문제도 움직임 보상에서는 개구 문제라고 한다.

이 문제는 경계조건이나, 비디오 장면의 움직임 특성과 관계된 제한과 같은 추가 오차 함수를 동시에 사용함으로써 해결되었다. 움직임 벡터를 결정함에 있어서 열화를 없애기 위해 필요한 조건은 각각의 제한이 상호 직교 부분공간 해를 도출해야 한다는 것이다. 움직임 벡터 해의 공간에 부과된 물리적 제한들(연속 움직임, 물체의 관성, 경계 조건 등)은 해의 전체 공간을 부분 공간으로 나눌 수 있다. 한 부분 공간에서 각각의 움직임 벡터는 적어도 하나의 제한을 따른다. 두 개의 물리적 제한이 독립적이면, 그것에 상응하는 부분공간도 상호 독립한 벡터를 포함하는데, 다시 말하면 상응하는 부분공간이 서로 수직하다는 것이다. 수직 부분공간

내의 후보 움직임 벡터의 집합이 사용될 수 있다. 일반적으로, 오차 함수

을 갖는 m 개의 제한 요소들의 집합은 모든 제한이 충족될 수 있다면, 움직임 추정된 벡터

의 해를 도출할 수 있다. 이런 움직임 추정된 벡터에 대해, 전체 비용 함수는 최소값을 갖는다. 전체 비용 함수는 다음과 같이 계산될 수 있는데

여기서

은 임의의 곱셈 계수이다. 그러나, 최소값을 갖는 전체 비용 함수가 필연적으로 모든 개개의 제한을 충족하게 되지는 않는다.

예를 들면, 어떤 비용 함수는 후보 움직임 벡터

에 대해 여러 극소값들과 하나의 최소값을 가지면서 열화될 수 있다. 전체 비용 함수는 어떤 제한의 극소값에서 이 제한요소에 대한 극소값을 가질 수 있다. 만약 어떤 제한의 국부적 최소값이 다른 제한의 극소값들보다 훨씬 더 작다면, 다른 비용 함수들로부터의 최소값이 아닌 기여분은 보상될 수 있다. 따라서, 전체 오차 함수는 잘못된 최소값에 이르고, 이런 경우 모든 개개의 제한 요소들에 대한 최소값이 아닐 수도 있다. 그러한 경우, 다음과 같은 부등식

은

이 다음 부등식을 만족시킬 정도로 충분하게 크다면 성립한다.

그러므로, 본 발명의 하나의 목적은 비용 함수의 열화를 해결할 수 있는 해법을 제공하는 것이다. 본 발명의 다른 목적은 이것으로 개구 문제를 해결할 수 있는 움직임 추정을 제공하는 것이다. 본 발명의 또 다른 목적은 향상된 움직임 벡터의 추정을 제공하는 움직임 추정을 제공하는 것이다.

이들 문제점 중 하나 이상의 문제들을 해결하기 위하여, 본 발명은 한 관점에 따라 이미지 신호 내의 추정된 움직임 벡터를 결정하는 방법을 제공하는데, 이 방법은 한 이미지 신호에서 한 픽셀 당 적어도 둘 이상의 후보 움직임 벡터를 만들어 내는 단계와, 상기의 후보 움직임 벡터 각각에 대해 적어도 둘 이상의 오차 기준을 계산하는 단계와, 상기 오차 기준의 비선형 함수를 최소화시키는 후보 움직임 벡터를 적어도 한 픽셀에 대해 상기 추정된 움직임 벡터로 선택하는 단계를 포함한다.

일 실시예에 따르면 신호는 임의의 이미지 시퀀스, 예를 들면 비디오 시퀀스 같은 것도 될 수 있다. 신호 내의 이미지들은 픽셀로 구성되어 있다. 픽셀은 이미지 특정 부분의 휘도와 색도를 나타내는 이미지 구성요소가 될 수 있다. 이미지 내에 서로 인접한 다수의 픽셀은 픽셀 블록으로 여겨질 수 있다.

이미지 내의 구성 요소들은 여러 프레임의 움직임에 종속될 수 있다. 구성 요소의 움직임은 움직임 벡터들로 나타낼 수 있다. 움직임 벡터는 특정 픽셀 혹은 픽셀 블록의 움직임의 방향과 속도를 나타낼 수 있다.

움직임 추정은 움직임 개연성을 계산하는 것으로 생각될 수 있다. 이미지 내에서 실제 움직임을 가장 비슷하게 나타내는 움직임 벡터는 움직임 추정을 사용하여 계산될 수 있다. 이런 움직임 벡터로, 다음 프레임의 이미지들을 예측하는 것이 가능하다. 추정된 움직임 벡터는 인터레이스(interlace) 방식으로 된 이미지들을 디인터레이싱(de-interlacing)하는 데에도 사용될 수 있다.

후보 움직임 벡터는 가능한 픽셀 혹은 픽셀 블록의 움직임을 나타낼 수 있는 벡터의 집합이 될 수 있다. 후보 움직임 벡터의 집합은 이미지 내에서 실제 움직임에 가장 적합한 하나의 추정된 움직임 벡터를 결정하는 데에 사용될 수 있다. 예를 들면, 예컨대 디인터레이싱과 시간상의 업 컨버젼(up-conversion)과 같은 고화질 비디오 포맷 변환 알고리즘과, 컴퓨터 화면 애플리케이션 및 비디오 압축은 움직임 추정을 필요로 할 수 있다. 움직임 추정 동안의 개구 문제는 장면의 움직임의 특성에 대한 추가 지식이 없어서 생긴다. 예를 들면 에지처럼 단 방향만을 포함하는 신호로부터, 2차원의 움직임 성분은 결정되지 않거나 에지에 접하는 방향으로의 상수로만 결정된다.

이러한 불확실성은 비용 함수에서의 복수의 최소값을 도출할 수도 있고 움직임 추정의 열화로 이어질 수도 있다. 이 열화로 인해 움직임 벡터가 잘못 평가될 수 있는데, 이는 비디오 포맷 변환에서의 결함이 된다. 일 실시예에 따르면 이 문제는 움직임의 특성과 관련된 다양한 제한 요소를 갖는 여러 오차 함수를 부과함으로써 해결된다. 그러한 제한은 강도 보존이나 공간의 상관관계가 될 수 있다. 이러한 제한들은 서로 독립하여 직교 해를 갖도록 선택하는 것이 바람직하다.

후보 움직임 벡터의 집합에 대해 가장 비용이 많이 드는 제한을 최소화하는 여러 오차 함수를 비선형 조합하면 최적화된 움직임 추정이 될 수 있다. 가장 비용이 많이 드는 비용 함수는 최대값을 취할 수 있다. 모든 비용 함수들의 최대값을 최소화함으로써, 가장 비용이 많이 드는 비용 함수를 최소화하는 것이 가능해진다.

실시예들에 따르면 둘 이상의 후보 움직임 벡터는 탐색 구역 내의 가능한 픽셀의 변위를 나타낸다. 그런 변위는 x,y 평면에 있을 수 있다. 벡터들은 움직임의 방향을 x와 y 성분들로써 나타낼 수 있다. 움직임의 속도는 벡터의 절대값에 의해 나타낼 수 있다.

둘 이상의 후보 움직임 벡터는 실시 형태에 따라 공간 및/또는 시간의 예측을 하여 만들어진다. 예를 들면, 주사된 이미지 라인(image line)을 제공하는 주사된 이미지에서, 유인성(causality)으로 인해 아직 전송되지 않은 이미지의 블록에서는 공간 예측을 사용할 수 없다. 대신, 시간 예측은 가능하다.

오차 기준은 적어도 절대값 차의 합 기준, 평균 제곱 오차 기준, 정규화된 교차 상관 기준, 혹은 중요한 픽셀의 수 기준 중 하나일 수 있다. 이런 오차 기준은 제한으로 이해될 수 있다.

비선형 함수 다음과 같은 오차 기준의 최대값이다.

여기서

는 위치

에 있는 후보 벡터

의 m번째(m>1)오차 기준

이다. 이에 의해, 가장 비용이 많이 드는 제한은 상기 후보 움직임 벡터의 집합에 대해 최소화될 수 있다. 이런 비선형 함수는 오차 기준의 중앙값(median)이 될 수 있다. 게다가, 오차 기준 중 적어도 하나는 보간 픽셀의 절대값 차로부터 계산할 수 있다. 오차 기준 중 적어도 하나는 외삽 보간된 픽셀과 내삽 보간된 픽셀의 절대값의 차이로부터 계산된다. 또한, 상기 오차 기준 중 적어도 하나는 현재 프레임 혹은 필드로부터의 한 픽셀과 이전 혹은 다음의 디인터레이스(de-interlace)된 프레임 혹은 필드로부터의 움직임 보상 보간 픽셀 사이의 절대값의 차이로부터 계산된다.

인터레이스(interlace)된 신호에 대해 향상된 움직임 추정을 제공하기 위해, 일반화된 샘플링 이론(generalized sampling theorem)을 사용하여 인터레이스(interlace) 신호로부터의 픽셀 값을 계산하는 것이 제공된다.

본 발명의 다른 측면은 이미지 신호 내에서 추정 움직임 벡터를 결정하는 컴퓨터 프로그램을 제공하는데, 프로세서가 한 이미지의 신호 내의 적어도 한 픽셀 당 둘 이상의 상기 후보 움직임 벡터를 생성하는 단계와, 상기 후보 움직임 벡터 각각에 대해 둘 이상의 오차 기준을 계산하는 단계와, 상기 오차 기준의 비선형 함수를 최소화하는 후보 움직임 벡터를 적어도 한 픽셀에 대해 추정 움직임 벡터로 선택하는 단계를 수행가능하게 하는 인스트럭션을 포함한다.

또 다른 측면은 프로세서가 한 이미지의 신호에서 적어도 한 픽셀 당 두 개의 후보 움직임 벡터를 만들어 내는 단계와, 각각의 후보 움직임 벡터들을 위해 적어도 2개의 기준을 계산하는 단계와, 에러 기준의 비선형 함수를 최소화하는 후보 움직임 벡터를 적어도 한 픽셀을 위해 추정된 움직임 벡터로 선택하는 단계를 수행하게 하는 인스트럭션을 구비하는 프로그램이 수록된, 이미지 신호에서 추정된 움직임 벡터를 결정하는 기능을 하는 컴퓨터 프로그램 제품이다.

본 발명의 이런 측면 및 다른 측면은 후속하는 실시 형태에 관한 설명으로부터 명백해지고 뚜렷하게 설명될 것이다.

도 1은 블록 정합을 도시한 도면.

도 2a-b는 반복적인 탐색을 하는 블록 정합기의 후보 벡터 집합을 나타낸 도면.

도 3은 단 방향 시퀀스에 대한 블록 정합을 도시한 도면.

도 4는 유일한 해에 이르는 직교 해 부분 공간을 나타낸 도면.

도 5는 비용 함수의 여러 기준을 도시한 도면.

도 1에 도시된 블록 정합기는 상술된 바와 같다. 현재 이미지 n에 있는 블록(4)과 이전 이미지 n-1의 탐색 구역(6) 내에 있는 테스트 블록(10)은 후보 벡터

(8)를 사용하여 연결되어 있다. 상관도 척도인, 두 블록 (4,10) 사이의 정합 오차는 가장 적합한 후보 벡터

(8)를 결정하기 위해 최적화될 수 있다. 그에 의해, 다른 후보 벡터

(8)를 사용하여 다른 테스트 블록(10)이 테스트될 수 있고 정합 오차는 가장 적합하게 정합되는 후보 벡터에 대해 최소화될 수 있다.

블록 정합기에서 정합 기준의 최소값을 찾는 것은, 많은 해를 갖는 2차원의 최적화 문제이다. 하나의 가능한 구현은 3단계 블록 정합기(three-step block-matcher), 2차원 로그 좌표(2D logarithmic), 교차 탐색 방법(cross search method), 혹은 순차 탐색 블록 정합(one-at-a-time-search block-matching)을 사용하는 것이다. 다른 블록 정합 전략은 G.de Haan, "소비자 비디오 포맷 변환을 위한 움직임 추정의 발전(Progress in Motion Estimation for Consumer Video Format Conversion)",IEEE transactions on consumer electronics, vol.46, no.3, August 2000. pp449-459에 개시되어 있다.

최적화 전략의 하나의 가능한 구현은 3차원의 반복 탐색 블록 정합기(3D RS)일 수 있다. 이 3D RS는 블록보다 큰 물체에 대해, 공간적으로 이웃한 픽셀 혹은 블록에 가장 적합한 후보 벡터가 나타날 수 있다고 설명한다.

도 2a에 도시된 것처럼, 왼쪽에서 오른쪽, 그리고 위에서 아래 방향으로 주사하는 것을 가정할 때, 유인성으로 인해 현재 블록 Dc (4a)의 오른쪽 아래에 있는 공간 예측 벡터 4 Ds를 사용할 수 없게 된다. 대신, 시간적 예측 벡터 Dt (4c)는 사용될 필요가 있다. 탐색 구역 (2)안의 현재 블록 Dc (4a)에 대해, 공간 예측 벡터 Ds (4b)와 시간 예측 벡터 Dt (4c)가 이용 가능하다. 이미 주사된 블록만 현재 블록 Dc (4a)의 공간 예측에 사용될 수 있으므로, 공간 예측은 블록 Ds(4b)에 대해서만 가능하다. 탐색 구역 (2)에 대한 이전의 시간적 예에서와 같이 시간 예측은 블록 Dt (4c)에 대해 가능하며, 블록 Dt (4c)에 대한 정보가 이용가능해 진다.

도 2b는 현재의 블록 (4a)을 예측하여 얻은 두 개의 공간 예측 벡터 Ds (4b)와 한 개의 시간 예측 벡터 Dt (4c)의 사용을 도시하고 있다.

탐색 범위 내의 모든 가능한 벡터를 평가하는 것은 불가능하다는 것이 밝혀졌다. 다음과 같이 공간적으로 이웃한 블록으로부터 취해진 벡터를 평가하는 것만으로도 이미 충분할 수도 있다.

여기서

는 다음과 같이 이전 이미지 내의 탐색 구역

내에 있는 벡터

에 대한 모든 가능한 변위(픽셀 그리드 상의 정수 또는 비정수)를 나타내는 후보 벡터

의 집합으로 정의되어 있다.

여기서 n과 m은

를 한정하는 상수이다. 상기의 계산량을 줄이기 위해, 공간적으로 이웃한 블록

로부터 얻어진 벡터

만을 평가하는 것으로 충분할 수도 있 다. x, y는 각각 블록의 폭과 높이를 정의할 수 있다. 유인과 구현시의 파이프라이닝의 필요로 인해 모든 이웃한 블록이 사용가능할 수는 없으며, 초기화 시에 모든 벡터는 0일 수 있다.

벡터의 이용가능성을 해결하기 위해, 현재 이미지에서 아직 계산되지 않은 벡터는 이전 벡터 필드 내의 상응하는 지역으로부터 취해질 수도 있다. 도 2a는 현재 블록 Dc (4a)와 결과 벡터가 취해진 블록의 상대적 위치를 후보 벡터 Ds (4b), Dt (4c)로 도시한다. 블록이 좌상에서부터 우하로 주사되는 경우, 후보 집합은 다음과 같이 정의될 수도 있다.

이 후보 집합

는 내재적으로 공간 및/또는 시간적 일관성을 가정하고 있다.

0벡터의 초기화시 문제점은 업데이트된 벡터를 추가함으로써 해결할 수 있다. 후보 집합으로부터 공간-시간상의 예측을 생략하는 가능한 구현은 도 2b에 도시되어 있는데, 여기서 후보 집합

는 다음과 같이 정의될 수 있고

여기서 업데이트된 벡터

과

는 교대로 이용 가능하며, 한정된 고정 정수, 혹은 비 정수, 다음과 같이 업데이트된 집합으로부터 취해질 수 있다.

단순한 물체의 병진(translation)이 아닌, 예를 들면 회전, 혹은 스케일링과 같은 좀더 복잡한 물체의 움직임을 나타낼 수 있는 모델은 개별 물체들의 이미지를 세그먼트화 하고, 이들 물체 각각을 위한 움직임 파라미터 집합을 추정하는 것이다. 통상 블록의 개수는 물체의 개수를 수십배 초과하므로, 이미지마다 계산될 필요가 있는 움직임 파라미터의 개수는 감소한다. 그러나, 계산의 복잡도는 증가한다.

실시예에 따라, 픽셀의 그룹이라고 할 수 있는 픽셀 블록의 물체가 결정될 수 있다. 움직임 파라미터, 예를 들면, 각 픽셀 그룹에 대한 움직임 벡터가 결정될 수 있다. 후보 벡터는 현재 이미지의 픽셀 그룹의 휘도 값과 시간적으로 바로 다음 으로 이웃한 이미지에 있는 상응하는 움직임 보상된 휘도 값 사이의 절대값 차의 합을 계산함으로써 테스트될 수 있다. 두 시간적 예는 국부적 픽셀 그룹의 움직임 파라미터 집합을 추정하기 위하여 사용될 수 있다.

전술한 절대값 차의 합 기준이나 다른 단일 기준을 사용하여 후보 움직임 벡터로부터 움직임 벡터를 추정하면, 2차원의 움직임 파라미터를 완전히 결정하지 못한다. 도 3에 개략적으로 도시된 것처럼, 비디오 내용은 하나의 에지(12)를 포함할 수 있다. 이미지 내의 움직임은 단일 에지(12)의 움직임이 될 수 있다. 하나의 단일 블록(4)에 대한 움직임 추정은 후보 움직임 벡터(8a-8c)을 사용하여 행해질 수 있다. 후보 움직임 벡터(8a-8c)에 대한 테스트 블록 (10a-10c)은 비용 함수에 있어서 같은 값을 갖게 된다. 그 결과, 하나의 단일 비용 함수를 사용하는 것은 2차원의 움직임 성분을 완전히 결정하지 못하고, 단지 에지에 수직한 성분만을 결정한다. 하나의 단일 비용 함수를 제공하면 에지에 접하는 방향으로의 상수로만 결정되므로 열화한다. 이런 문제는 움직임 추정에서 개구 문제라고도 불릴 수 있다.

이 문제를 해결하기 위해, 서로 다른 비용 함수들이 동시에 해결될 수 있다. 이러한 비용 함수들은 경계 조건, 혹은 비디오 장면에서 움직임 특성과 관련된 제한이 될 수도 있다. 움직임 벡터를 결정하는데 있어 열화를 제거하는 한가지 중요한 조건은 각각의 비용함수가 상호 직교 부분공간 해를 가져야 한다는 것이다.

도 4는 후보 움직임 벡터 집합

의 그런 수직의 부분공간을 나타내며, 서로 다른 비용 함수

과

로 최소화하고 있다. 비용 함수

은 후보 벡터(18a-18e)로 나타낼 수 있다. 비용 함수

는 후보 벡터(19a-19d)로 나타낼 수 있다. 각 부분 공간은 모든 부분 공간의 구성 요소가 동등하고, 에지에 수직하는 방향으로 잘 정의된 움직임 성분을 갖는다는 사실을 특징으로 한다. 이런 두 가지 제한의 부분공간 해가 서로 직교한다면, 동시에 두 가지 제한을 부과하여 유일한 해를 도출할 수 있다. 유일한 해는 후보 벡터(18c, 19c)이다.

일반적으로, m개의 제한의 집합이 후보 벡터의 집합에 동시에 부과될 수 있다. 이러한 제한은 다음과 같을 수 있다.

만약 모든 제한이 만족된다면, 예를 들어 어떤 값

대해 절대 최소값을 갖는다면, 전체 비용 함수

도 최소값을 갖게 되는데, 여기서

>0이다. 그러나, 전체 비용 함수가 최소값을 갖는다고 해서, 각각의 제한이 꼭 충족되는 것은 아니다. 이는 움직임 추정에서의 결함이 될 수 있다.

이 문제를 해결하기 위해, 본 발명은 전체적인 비용 함수를 더 견실하게 만든다. 이는 다음과 같이 비용 함수의 비선형 조합으로 행해질 수도 있다.

이러한 비선형성은 오차의 영향을 덜 받을 수 있다. 게다가, 값

은 나머지 제한이 극소값 혹은 최소값에 근사한 경우에만 전체 비용 함수의 최소가 될 수 있다. 다음 부등식은 전술한 비선형 조합에 대해 성립한다.

도 5는 따로 계산되었을 때, 전체 비용에 대한 개개의 비용 함수

,

의 효과를 도시한다. 곡선 (20a, 20b)은 개개의 비용 함수를 나타낸다. 곡선(20a)은 두 개의 극소값과 한 개의 최소값을 갖는다. 비용 함수(20b)는 한 개의 최소값을 갖는다.

비용 함수(20)의 선형 조합으로, 전체 비용 함수 (

,

)/2 (22)는 비용 함수들 중 하나의 최소값에서 최소값을 갖는다. 도시된 비용 함수는 두 임의의 제한인

과

의 후보 벡터 집합에 따른 변화를 보여준다. 선형 비용 함수는 제한

의 극소값 중 하나에 해당한다. 비용 함수의 비선형 조합인

는 곡선 (24)로 도시된다. 이 전체 비용 함수의 최소값은 두 개의 제한 모두의 공통된 극소값에 가까운 값을 취하게 된다. 이 예로부터 전체 비용 함수는 선형 조합보다 각 제한의 극소값에 가깝게 놓인다는 것이 명백해진다.

인터레이스(interlace)된 비디오에 대해 제한의 비선형 조합을 적용하면 인터레이스 단계에 따라 인터레이스(interlace)된 픽셀들이 사용가능하지 않을 수도 있다는 문제가 발생한다.

예를 들어 하나의 픽셀이 사용될 수 없는 경우, 위치

에 존재하는 누락 픽 셀(missing pixel)은 디인터레이싱(deinterlacing) 알고리즘에 의해 그 위치에서 계산된 휘도 값에 영향을 미칠 수 있다. 이 픽셀 값을 계산하기 위해, 누락 픽셀은 일반화된 샘플링 이론(GST) 보간 필터를 사용하여 재구성될 수 있는데, 이는

,

필드, 혹은

,

필드에서 사용된 샘플일 수 있다.

과

와

필드를 이용한 GST의 결과, 제곱된 절대값 차의 오차 함수는 다음과 같이 될 수 있다.

이 첫 번째 제약은 견실한 전체 비용 함수를 만들기 충분치 않다.

2개의 연속적인 필드 사이에 짝수 개의 픽셀 변위에서 잘못된 움직임 벡터가 나나지 않게 하기 위해, 두 번째 제약이 부과될 수 있다. 이 두 번째 제약은 이미 디인터레이스된(de-interlaced) 이전의 프레임

을 이용한다. 이는 현재 필드에 있는 기존의 픽셀 값을 추정하는 움직임 보상된 양선형 보간(a motion compensated bilinear interpolation) 수행을 허용한다. 양선형 보간기의 결과는

으로 주어지는데, 이는 두 번째 오차 함수를 다음과 같이 만들 수 있게 한다.

이 두 번째 제약 하나만으로는 역시 견실한 전체 비용 함수를 만들 수 없다. 이런 오차 함수들의 선형 조합은 이런 기준들 중 하나의 해로부터 움직임 추정 기 준의 단순한 변경을 초래한다. 그러나, 본 발명에 의해 제공되는 오차 함수의 비선형 조합은 훨씬 더 견실한 움직임 추정을 가져온다.

본 발명은 다양한 비디오 포맷 변환 알고리즘에 적용될 수 있는 견실한 움직임 추정 해법을 제공한다. 직교 해를 도출하는 다양한 움직임 추정 기준들 사이의 비선형 조합에 의한 움직임 추정이 제안된다.

Claims (13)

1. 이미지 신호에서 추정된 움직임 벡터를 결정하는 방법에 있어서,

   상기 신호의 하나의 이미지 내의 적어도 하나의 픽셀에 대해 적어도 둘 이상의 후보 움직임 벡터를 생성하는 단계와,

   상기 각각의 후보 움직임 벡터에 대해 둘 이상의 오차 기준을 계산하는 단계와,

   상기 오차 기준에 대한 비선형 함수를 최소화시키는 후보 움직임 벡터를 상기 적어도 하나의 픽셀에 대한 상기 추정된 움직임 벡터로서 선택하는 단계

   를 포함하는 방법.
2. 제 1 항에 있어서,

   상기 적어도 둘 이상의 후보 움직임 벡터들은 탐색 구역(a search area) 내에 있는 하나의 픽셀의 가능한 변위를 나타내는 방법.
3. 제 1 항에 있어서,

   상기의 적어도 둘 이상의 후보 움직임 벡터가 공간 및/또는 시간 예측을 사용하여 생성되는 방법.
4. 제 1 항에 있어서,

   상기의 오차 기준이

   a) 절대값 차의 합 기준(a summed absolute difference criterion)과,

   b) 평균 제곱 오차 기준(a mean square error criterion)과,

   c) 정규화된 교차 상관 기준(a normalized cross correlation criterion)과,

   d) 중요한 픽셀의 수 기준(a number of significant pixels criterion)

   중 적어도 하나인 방법.
5. 제 1 항에 있어서,

   상기 오차 기준이 상호 직교 부분공간 해(reciprocally orthogonal subspace solutions)를 유도하는 제한을 부과하는 방법.
6. 제 1 항에 있어서,

   상기 비선형 함수가 다음과 같은 오차 기준의 최대값을 가지며,

   

   여기서

   

   은 위치

   

   에 있는 후보 벡터

   

   의 m번째(m>1) 오차 기준

   

   를 나타내는 방법.
7. 제 1 항에 있어서,

   상기 비선형 함수는 오차 기준의 중앙값(median)인 방법.
8. 제 1 항에 있어서,

   상기 오차 기준 중 적어도 하나는 보간된 픽셀들(interpolated pixels) 사이의 절대값의 차(absolute differences)로부터 계산되는 방법.
9. 제 1 항에 있어서,

   상기 오차 기준 중 적어도 하나는 외삽 보간된 픽셀(an interpolated pixel)과 내삽 보간된 픽셀(an intra-field interpolated pixel)의 절대값의 차이로 계산되는 방법.
10. 제 1 항에 있어서,

    상기 오차 기준 중 적어도 하나는 현재 프레임 혹은 필드의 한 픽셀과 이전 혹은 다음 디인터레이스 된(de-interlaced) 프레임 혹은 필드의 움직임 보상된 보간 픽셀의 절대값의 차이로부터 계산되는 방법.
11. 제 1 항에 있어서,

    일반화된 샘플링 이론을 사용한 인터레이스 신호(an interlace signal)로부터 픽셀 값을 계산하는 단계를 더 포함하는 방법.
12. 이미지 신호에서 추정된 움직임 벡터를 결정하는 컴퓨터 프로그램에 있어서,

    상기 프로그램은 프로세서로 하여금,

    상기 신호의 하나의 이미지 내의 적어도 한 픽셀에 대해 둘 이상의 후보 움직임 벡터를 만들고,

    상기 후보 움직임 벡터 각각에 대해 둘 이상의 오차 기준을 계산하며,

    상기 오차 기준의 비선형 함수를 최소화시키는 움직임 벡터를 상기 적어도 한 픽셀에 대해 추정된 움직임 벡터로서 선택하게 하는

    인스트럭션을 포함하는 컴퓨터 프로그램.
13. 이미지 신호에서 추정된 움직임 벡터를 결정하는 컴퓨터 프로그램 제품에 있어서,

    상기 컴퓨터 프로그램 제품은 인스트럭션을 구비하는 프로그램을 실제로 저장하고,

    상기 인스트럭션은 프로세서로 하여금,

    상기 신호의 하나의 이미지 내의 적어도 한 픽셀에 대해 둘 이상의 후보 움직임 벡터를 만들고,

    상기 후보 움직임 벡터 각각에 대해 둘 이상의 오차 기준을 계산하며,

    상기 오차 기준의 비선형 함수를 최소화시키는 움직임 벡터를 상기 적어도 한 픽셀에 대해 추정된 움직임 벡터로서 선택하게 하는

    컴퓨터 프로그램 제품.

Images