KR20040050906A

KR20040050906A - 모션 추정을 위한 장치 및 방법

Info

Publication number: KR20040050906A
Application number: KR10-2004-7005132A
Authority: KR
Inventors: 룬터게랄드에이; 펠라고티안나
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-10-08
Filing date: 2002-09-27
Publication date: 2004-06-17
Also published as: US20030081682A1; JP2005505841A; CN1565118A; WO2003032628A1; EP1438839A1

Abstract

모션 추정 유닛(100)은, 픽셀들의 블록(116)과 다른 영상(120)의 픽셀들(122)의 다른 블록에 대한 매칭 기준으로서 미리 결정된 비용 함수를 최소화함으로써 시작 모션 벡터(110)를 계산하는 블록-매쳐(102)를 포함한다. 모션 추정 유닛(100)은, 시작 모션 벡터(110)에 기초하여, 갱신 모션 벡터(111)를 계산하는 광 흐름 분석기(104)를 더 포함하며, 광 흐름 분석기(104)는 픽셀들의 블록(116)의 각각의 픽셀들에 대응하는 광 흐름 방정식들의 세트와 연관된 에러들의 합계를 최소화하도록 지정된다. 최종적으로, 모션 추정 유닛(100)의 선택기(106)는, 시작 모션 벡터(110)와 갱신 모션 벡터(111)를 비교함으로써, 모션 벡터(126)를 선택한다.

Description

모션 추정을 위한 장치 및 방법{Device and method for motion estimation}

모션 보상에 대해, 두 가지 주요 기술들, 즉 일치-기반 방법들(correspondence-based methods) 및 광 흐름- 기반 방법들(optical flow-based methods)이 구별된다. 전자는 큰 모션에 적합하다. 광 흐름-기반 방법들은 작은 모션에 적합하며, 빠르고 정확하다. 광 흐름-기반 방법들의 개념은 모션 벡터를 계산하기 위하여 광 흐름 방정식(OFE : Optical Flow Equation)을 이용하는 것이다. OFE는 단순히, 모션 궤적을 따라 휘도가 일정하다는 가설을 설명하는 방정식의 선형화이다. 일정한 휘도 가설은 다음과 같이 기록될 수 있다:

고정 x 및 ν에 대해,

모션 벡터 v=(u,v)로, t에 대한 미분이 산출된다.

또는, 다르게 기록된다.

블록-매칭 방법들은 일치-기반 방법들에 속한다.

개시부에 설명된 종류의 모션 추정 유닛의 실시예는 WO99/17256으로부터 공지되어 있다. 상기 문서에서, 이웃하는 공간-시간 후보들(spatio-temporal candidates)은 블록-순환 매칭 처리를 위한 입력으로서 이용된다. 그 외에도, 다른 갱신 벡터는 블록-순환 매칭 처리의 최상의 후보에 대해 검사된다. 이러한 갱신 벡터는 국부적, 픽셀-순환 처리를 현재 블록에 대해 적용함으로써 계산되고, 시작 벡터로서 블록-순환 매칭 처리의 최상의 후보를 이용한다. 픽셀 순환 처리는 광 흐름 방정식들에 기초한다. 최종 출력 벡터는, 픽셀 순환으로부터의 갱신 벡터를 블록-순환 처리로부터의 시작 벡터와 비교하고, 최상으로 매칭하는 하나를 선택함으로써 얻어진다. 종래 기술에 따른 모션 추정 유닛은 광 흐름 부분에 관련된 두 가지 단점들을 가진다. 첫째, 픽셀-순환 방식은 본질적으로 미리 예측할 수 없는 메모리 액세스를 유발하며, 이는 하드웨어 구현들에 바람직하지 않다. 두 번째, 개구 문제(aperture problem)를 해결하기 위해 선택된 기술은 노이즈에 취약한 방법을 이용한다. 개구 문제는, 두개의 미지수들을 가진 단일 강 흐름 방정식이 풀어져야 함을 의미하며, 방정식 2에서 u 및 v 모두가 알려지지 않았다.

본 발명은, 영상의 픽셀들의 블록에 대응하는 모션 벡터를 발생하는 모션 추정 유닛에 관한 것으로서, 상기 모션 추정 유닛은,

- 픽셀들의 블록과 다른 영상의 픽셀들의 다른 블록을 매칭하는 매칭 기준으로서 미리 결정된 비용 함수를 최소화함으로써 시작 모션 벡터를 계산하는 블록-매쳐(block-matcher);

- 시작 모션 벡터에 기초하고 픽셀들의 블록의 하나의 픽셀에 대한 광 흐름 방정식에 기초하여, 갱신 모션 벡터를 계산하는 광 흐름 분석기(optical flow analyzer); 및

- 시작 모션 벡터의 매칭 기준의 제 1 값과 갱신 모션 벡터의 매칭 기준의 제 2값을 비교함으로써, 시작 모션 벡터 또는 갱신 모션 벡터를 모션 벡터로서 선택하기 위한 선택기를 포함한다.

본 발명은 또한, 영상의 픽셀들의 블록에 대응하는 모션 벡터를 발생하는 모션 추정 방법에 관한 것으로서, 상기 모션 추정 방법은,

-픽셀들의 블록과 다른 영상의 픽셀들의 다른 블록을 매칭하는 매칭 기준으로서 미리 결정된 비용 함수를 최소화함으로써 시작 모션 벡터를 계산하기 위해 블록-매칭하는 단계;

- 시작 모션 벡터에 기초하고 픽셀들의 블록의 하나의 픽셀에 대한 광 흐름 방정식에 기초하여, 갱신 모션 벡터를 계산하기 위해 광 흐름 분석하는 단계; 및

- 시작 모션 벡터의 매칭 기준의 제 1 값과 갱신 모션 벡터의 매칭 기준의 제 2값을 비교함으로써, 시작 모션 벡터 또는 갱신 모션 벡터를 모션 벡터로서 선택하는 단계를 포함한다.

본 발명은 또한, 영상 처리 장치에 관한 것으로서, 상기 영상 처리 장치는,

- 디스플레이될 영상들을 표현하는 신호를 수신하기 위한 수신 수단;

- 상기 모션 추정 유닛; 및

- 모션 보상된 영상 처리 유닛을 포함한다.

도 1a는 모션 추정 유닛의 실시예를 개략적으로 도시한 도면.

도 1b는 보다 자세한 모션 추정 유닛의 실시예를 개략적으로 도시한 도면.

도 1c는 신뢰도 유닛을 포함하는 모션 추정 유닛의 실시예를 개략적으로 도시한 도면.

도 2는 영상 처리 장치의 실시예를 개략적으로 도시한 도면.

참조 번호들은 모든 도면들과 동일한 의미를 갖는다.

본 발명의 제 1 목적은, 상대적으로 높은 품질 모션 벡터 필드를 추정하도록 설계되는, 개시부에 설명된 종류의 모션 추정 유닛을 제공하는 것이다.

본 발명의 제 2 목적은, 상대적으로 높은 품질 모션 벡터 필드를 추정하기 위해 개시부에 설명된 종류의 모션 추정 방법을 제공하는 것이다.

본 발명의 제 3 목적은, 상대적으로 높은 품질 모션 벡터 필드에 기초하여 모션 보상된 영상 처리를 수행하도록 설계되는, 개시부에 설명된 종류의 영상 처리 장치를 제공하는 것이다.

본 발명의 제 1 목적은, 광 흐름 분석기가 픽셀들의 블록의 각각의 픽셀들에 대응하는 광 흐름 방정식들의 세트와 연관된 에러들의 합계를 최소화하도록 지정된다는 점으로 성취된다. 종래 기술에 따른 모션 추정 유닛과 본 발명에 따른 모션 추정 유닛 사이의 주요 차이점은 본 발명에 따른 모션 추정 유닛의 광 흐름 분석기가 순환적이 아니라 블록에 기초한다는 점이다. 종래 기술에 따른 모션 추정 유닛에서, 픽셀들의 블록의 각 픽셀에 대응하는 광 흐름 방정식의 해(solution)는 개개로 추정되고 다음 픽셀에 대응하는 광 흐름 방정식의 해를 추정하는데 이용된다.본 발명에 따른 모션 추정 유닛에서, 다중 픽셀들에 대응하는 광 흐름 방정식들의 세트가 풀어지며, 즉 픽셀들의 블록의 다중 픽셀들에 대응하는 광 흐름 방정식들의 세트와 연관된 에러들의 합계가 최소화된다. 이로 인해, 잡음의 영향들이 억제된다. 그 결과 모션 벡터 필드가 상대적으로 정확해진다. 이것은, 예컨대, 더 적은 오차 영상 데이터(less residual image data)로 인한 코딩 적용들의 이점들을 가진다. 높은 품질 모션 벡터 필드로부터의 이점을 갖는 다른 응용은 디-인터리빙(de-interlacing)이며, 여기에서 모션 벡터 필드의 서브-픽셀 정확도가 중대하기 때문이다. 다른 장점은, 양호한 후보들이 잘못된 모션 벡터 후보일 것 같게 하는, 즉 참인 모션에 대응하는 것이 아니라, 낮은 매칭 에러가 선택되는 것을 우연히 나타내는 모션 추정 유닛을 안정화한다는 점이다.

본 발명에 따른 모션 추정 유닛의 실시예는, 특정 픽셀에 대응하는 특정 광 흐름 방정식이 만족되는 경우에 특정 에러가 제로가 된다는 것을 특징으로 한다. 다음의 표시가 도입된다:

- 픽셀들의 블록에서의 픽셀들은 i에 의해 인덱싱된다.

-및;

- L_i는 i 인덱스를 가진 블록에서의 픽셀의 휘도값이다.

- X_i는 그 픽셀에서 L의 x-도함수이다;

- Y_i는 그 픽셀에서 L의 y-도함수이다;

- T_i는 그 픽셀에서 L의 t-도함수이다;

특정 픽셀 i에 대해, 광 흐름 방정식 2는 다음과 같이 기록된다:

u 및 v의 정확한 값들에 대해서만, 방정식 4가 만족된다: 왼쪽 항은 오른쪽 항과 같으며, 즉 제로이다. 이상적인 것은, u 및 v의 값들의 추정들이 잘못될수록, 왼쪽 항은 제로로부터 점점 더 벗어나기 때문에, 왼쪽 항을 에러 항으로서 이용하는 것이다. 제로의 제곱은 제로임을 주지한다.

픽셀들의 블록의 픽셀들은 두 미지수들이 있는 광 흐름 방정식들의 과도하게 결정된 세트(over-determined set)에 대한 증가(rise)를 제공한다. 동시에 다중 방정식들을 푸는 대신에, 방정식들에서 만들어진 에러들이 최소화되어, 모션 벡터의 유일해를 얻는다. 계산의 단순화로 인해, 에러들의 시퀀스들 합계가 최소화되어야 함이 바람직하다. 전체 제곱 에러는:

u 및 v에서의 합계를 최소화하기 위해, 도함수들이 취해져 제로가 된다. 그 다음, u 및 v에 대한 해가 산출된다.

광 흐름 방정식들의 해에 대한 일반적인 방식은 구경 문제를 극복하기 위해 제한된 평탄화(smoothness)를 부가한다. 이러한 방식의 예는, 1981년 Artificial Intelligence의 17권 185 내지 203 페이지의 Horn 및 Schunk에 의한 논문 "Determining optical flow"에 개시되어 있다. 평탄화 제약 항은 비-선형이며, 방정식들을 풀기 위해 반복 처리를 유발한다.

본 발명에 따른 모션 추정 유닛의 실시예에서, 광 흐름 분석기는 픽셀들의 블록의 픽셀들의 일부에 기초하여 갱신 모션 벡터를 계산하도록 지정된다. 광 흐름 방정식들을 정의하기 위하여 픽셀들의 블록의 모든 픽셀들을 고려하는 대신에, 이러한 실시예는 픽셀들의 블록을 서브-샘플링한다. 예를 들면, 4 내지 8의 서브-샘플링 인자가 적용된다. 갱신 모션 벡터의 정확도가 여전히 상대적으로 높으면서, 계산 수가 감소된다는 이점이 있다.

본 발명의 실시예에 따른 모션 추정 유닛의 실시예에서, 광 흐름 분석기는, 프레위트 그래디언트 연산자(Prewitt gradient operator)에 따른 휘도 그래디언트들을 계산하도록 지정된 그래디언트 계산기를 포함한다. x-도함수를 계산하기 위해, 다음의 커넬(kernel)이 이용된다:

-1		1
-1		1
-1		1

그리고, y-도함수를 계산하기 위해, 다음의 커넬(kernel)이 이용된다:

-1	-1	-1

1	1	1

본 발명에 따른 모션 추정 유닛의 실시예에서, 광 흐름 분석기는 소벨 그래디언트 연산자(Sobel gradient operator)에 따른 휘도 그래디언트들을 계산하도록 지정된 그래디언트 계산기를 포함한다. x-도함수를 계산하기 위해, 다음의 커넬(kernel)이 이용된다:

-1		1
-2		2
-1		1

-1	-2	-1

1	2	1

본 발명에 따른 모션 추정 유닛의 실시예에서, 광 흐름 분석기는 로버트 그래디언트 연산자(Robert gradient operator)에 따른 휘도 그래디언트들을 계산하도록 지정된 그래디언트 계산기를 포함한다. x-도함수를 계산하기 위해, 다음의 커넬(kernel)이 이용된다:


-1		1

	-1

	1

여기에서, 숫자는 대응하는 픽셀 위치들에서 휘도값들에 대한 승수들, 즉 커넬 계수들이다. 예를 들어, 로버트의 그래디언트 연산자는,

에 대응한다. 간단히 표시하기 위해, 로버트, 소벨 및 프레위트 그래디언트 연산자각각에 대한 1/2, 1/8 및 1/6의 전체 스케일링 인자들이 생략되었다.

본 발명에 따른 모션 추정 유닛의 실시예에서, 블록-매쳐는 순환적이다. 반복적인 양호한 모션 추정 유닛은, 1993년 10월 IEEE Transactions on circuits and systems for video technology의 3권 제 5 번에서, G. de Haan 등에 의한 논문 "True-Motion Estimation with 3-D Recursive Search Block Matching"로부터 공지되어 있다. 그 3DRS 블록-매쳐는 대체로, 최대 1/4 픽셀들까지 정확하다. 이러한 정확도는 실제로, 변환 모션(translation motion)을 갖는 큰 텍스트 영역들, 예컨대 카메라 판에서 성취될 수 있다. 그러나, 작은 영역들 또는 보다 정교한 모션을 가진 영역들, 예컨대 줌(zooming)에서 이러한 정확도를 성취하기 위하여, 3DRS 매쳐는 많은 갱신 후보들을 선택해야 하며, 이것은 일반적으로 공간 밀도의 계조를 가져오기 때문에 바람직하지 않다. 그러한 이유로, 갱신 후보들은 패널티들에 의해 억제된다. 이것은 공간적 및 시간적으로 안정한 벡터 필드에 이르지만, 또한 서브-최적 안정도(sub-optimal accuracy)에도 이른다. 본 발명에 따른 이러한 실시예는 블록-매칭 방법 및 광 흐름 기반 방법 모두의 양호한 측면들을 조합한다. 이상적인것은 블록-매쳐가 매체 정확도를 올리기 위해 시작 벡터 필드를 찾는데 이용된다는 것이다. 오차 모션 벡터(residual motion vector)는 광 흐름 방법이 광 흐름 분석기에 의해 적용되도록 허용하기에 충분히 작다. 종래 기술에 따른 3DRS 블록-매쳐와 비교하여, 모션의 추적이 주로 광 흐름 분석기에 의해 행해지기 때문에, 더 적은 갱신 후보들이 고려되어야 한다. 이것은 모션 추적 유닛의 효율을 개선시킨다.

본 발명에 따른 모션 추정 유닛의 실시예에서, 광 흐름 분석기는 갱신 모션 벡터가 신뢰할 수 있는지를 확인하는 신뢰도 유닛을 포함한다. 때때로, 광 흐름 방정식들의 세트는, 예를 들면 모든 그래디언트들이 한 방향을 가리키도록 단지 한 에지만이 픽셀들의 블록에 있기 때문에, 불완전하게 결정된다. 이러한 경우가 발생하면, 방정식 6에서의 분모는와 비교하여 작게 된다. 갱신 모션 벡터의 신뢰도의 측정에 따라, 다음 수가 계산되고:

90 또는 95의 임계값은 블록-매쳐에 대한 후보 벡터로서 갱신 모션 벡터를 수용한다.

영상 처리 장치의 수정들 및 변형들은 기술된 모션 추정 유닛의 수정들 및 변형들에 대응할 수 있다. 영상 처리 장치는 추가 구성 요소들, 예컨대 영상들을 표현하는 신호를 수신하는 수신 수단과, 처리된 영상들을 디스플레이하는 디스플레이 장치를 포함할 수 있다. 모션 보상된 영상 처리 유닛은 하나 이상의 다음 영상 처리 유형들을 지원할 수 있다:

- 디-인터레이싱: 인터레이싱은 홀수 또는 짝수인 영상 라인들을 교대로 전송하기 위한 공통 비디오 방송 절차이다. 디-인터레이싱은 전체 수직 해상도를 복구하도록 시도하며, 즉 홀수 및 짝수 라인들이 각 영상에 대해 동시에 이용 가능하게 할 수 있다;

- 업-컨버젼: 원 입력 영상들의 시리즈로부터, 출력 영상들의 더 큰 시리즈들이 계산된다. 출력 영상들은 두개의 원 입력 영상들 사이에 일시적으로 위치된다; 및

- 일시적 노이즈 감소. 이것은 또한 공간 처리를 포함할 수 있으며, 공간-시간 노이즈 감소를 유발한다.

본 발명에 따른 영상 처리 방법 및 장치의 모션 추적 유닛의 이들 및 다른 측면들은 이후에 기술되는 실시예들 및 구현들과 첨부 도면들을 참조하여 더욱 명백해질 것이다.

도 1a는 본 발명에 따른 모션 추정 유닛(100)의 실시예를 개략적으로 도시한 도면이다. 모션 추정 유닛(100)은 영상(118)의 픽셀들의 블록(116)에 대응하는 모션 벡터(126)를 생성하도록 지정된다. 한 영상의 모든 모션 벡터들은 모션 벡터 필드(124)라 불린다. 모션 추정 유닛(100)은 다음을 포함한다:

- 픽셀들의 블록(116)과 다른 영상(120)의 픽셀들(122)의 다른 블록과의 매칭 기준으로서 미리 결정된 비용 함수를 최소화함으로써 시작 모션 벡터(110)를 계산하는 블록-매쳐(102);

- 시작 모션 벡터(110)에 기초하여 갱신 모션 벡터(111)를 계산하는 광 흐름 분석기(104)로써 픽셀들의 블록(116)의 각각의 픽셀들에 대응하는 광 흐름 방정식들의 세트와 연관된 에러들의 합계를 최소화하도록 설계되는 상기 광 흐름 분석기(104);

및

- 시작 모션 벡터(110)의 매쳐준의 제 1값과 갱신 모션 벡터(111)의 매쳐준의 제 2값을 비교함으로써, 모션 벡터(126)로서 시작 모션 벡터(110) 또는 갱신 모션 벡터(111)를 선택하는 선택기(106).

모션 추정 유닛(100)의 입력은 영상들을 포함하며 입력 접속기(112)에 제공된다. 모션 추정 유닛(100)의 출력은 모션 벡터 필드들(124)이며 출력 접속기(114)에 제공된다.

도 1b는 도 1a를 참조하여 보다 자세하게 설명된 모션 추정 유닛(100)의 실시예를 개략적으로 도시한 것이다. 블록-매쳐(102)의 거동(behavior)은 다음과 같다. 첫 번째 발생 수단(202)은 픽셀들의 블록(116)에 대해 후보 모션 벡터들의 세트를 발생한다. 그 후, 블록-매칭 에러 계산기(206)는 이들 후보 모션 벡터들에 대해 매칭 에러들을 계산한다. 그 다음, 선택기(204)는 이들 매칭 에러들에 기초하여 후보 모션 벡터들의 세트로부터 시작 모션 벡터(110)를 선택한다. 그 매칭 에러가 가장 낮은 값을 갖기 때문에, 이러한 시작 모션 벡터(110)가 선택된다. 블록-매칭 에러 계산기(206)에 의해 계산되는 매칭 에러는 SAD에 대응한다: 영상(118)의 픽셀들의 블록(116)의 픽셀들과, 후보 모션 벡터에 의해 시프트된 픽셀들의 블록(116)에 대응하는 다음 영상(120)에서의 다른 블록(112)의 픽셀들과의 절대 휘도차들의 합계.

광 흐름 분석기(104)의 거동은 다음과 같다. 그래디언트 연산자들(208, 210 및 212)은 각각 x, y 및 시간 방향으로 휘도 그래디언트들을 계산한다. 통상적으로 픽셀들의 블록의 모든 픽셀들의 그래디언트들이 계산된다. 픽셀들의 블록의 일부만이 광 흐름 방정식들에 이용되는 경우에, 더 적은 그래디언트들이 계산되어야 한다. 고려되어야 할 픽셀들에 기초하여, 방정식 2에 따른 광 흐름 방정식들의 세트가 정의된다. 최적화기(optimizer; 214)는 광 흐름 방정식들의 세트와 연관된 에러들의 합계를 최소화하도록 지정된다. 본 발명에 따른 모션 추정 유닛의 양호한 실시예는 방정식 6에 따라 갱신 모션 벡터(116)를 계산하기 위하여,의 값들을 축적하는 실행 카운터 들(running counters)을 포함한다.

최종적으로, 블록-매쳐(102)에 의해 계산되는 시작 모션 벡터(110)와 광 흐름 분석기 104에 의해 계산되는 갱신 모션 벡터(111)인 두 모션 벡터들은 모션 벡터(126)를 선택하기 위하여 선택기(106)에 의해 분석된다. 이를 성취하기 위하여 블록-매칭 에러 계산기(216)는, 절대차들의 합계에 기초하여 두 모션 벡터들에 대한 매칭 에러들을 계산한다. 그 다음, 선택기(218)는 매칭 에러들에 기초하여 모션 벡터(126)를 선택한다. 선택된 모션 벡터(126)는 다른 블록들에 대한 가능한 모션 벡터 후보들이다. 따라서, 선택된 모션 벡터(126)는 블록-매쳐(102)의 발생 수단(202)에 제공된다.

도 1c는, 갱신 모션 벡터(111)가 신뢰할 수 있는지를 확인하기 위하여, 신뢰도 유닛(220)을 포함하는 모션 추정 유닛(101)의 실시예를 개략적으로 도시한 것이다. 때때로, 광 흐름 방정식들의 세트는, 모든 그래디언트들이 한 방향을 가리키도록 단지 한 에지만이 픽셀들의 블록에 있기 때문에, 불완전하게 결정된다. 이러한 경우가 발생하면, 방정식 6에서의 분모는와 비교하여 작게 된다.

갱신 모션 벡터의 신뢰도의 측정에 따라, 신뢰도 측정은 방정식 8에 지정된 대로 계산된다. 특정 갱신 모션 벡터의 신뢰도 측정의 값이 규정된 임계값 이하, 예컨대 90 또는 95이면, 특정 갱신 모션 벡터가 신뢰할 수 없고 선택기(106)가 그에 관에 통지된다고 추정된다.

도 2는 영상 처리 장치(200)의 소자들을 개략적으로 도시한 것이며, 영상 처리 장치(200)는,

- 어떤 추리가 수행된 후에, 디스플레이될 영상들을 표현하는 신호를 수신하는 수신 수단(201)으로서, 상기 신호는 안테나 또는 케이블을 통해 수신되는 방송 신호일 수도 있지만, VCR(비디오카세트 레코더) 또는 디지털 비디오 디스크(DVD)와 같은 저장 장치로부터의 신호일 수도 있으며, 입력 접속기(207)에 제공되는, 상기 수신 수단(201);

- 도 1a 및 도 1b를 참조하여 기술된 모션 추정 유닛(100);

- 모션 보상된 영상 처리 유닛(203); 및

- 처리된 영상들을 디스플레이하기 위한 디스플레이 장치(205)로서, 이러한 디스플레이 장치는 선택적인, 상기 디스플레이 장치(205)를 포함한다. 모션 보상된 영상 처리 유닛(203)은 그 입력으로서 영상들 및 모션 벡터들을 필요로 한다.

상술된 실시예들은 본 발명을 제한하기보다는 예시하기 위한 것이며, 당업자는 첨부된 청구항들의 범위를 벗어나지 않고 대안적인 실시예들을 설계할 수 있음을 주지해야 한다. 청구항들에서, 괄호 안에 있는 임의의 참조 부호들은 청구항을 제한하는 것으로 구성되어서는 안 된다. 단어 '포함하는'은 청구항에 나열되지 않은 소자들 또는 단계들의 존재를 배제하지 않는다. 소자들 앞의 단어 '한(a 또는 an)'은 복수의 그러한 소자들의 존재를 배제하지 않는다. 본 발명은 여러 개의 개별 소자들을 포함하는 하드웨어 및 적절히 프로그램된 컴퓨터에 의해 구현될 수 있다. 여러 수단을 열거한 단위 청구항들(unit claims)에서, 이들 여러 수단은 하나또는 하드웨어의 동일 항목에 의해 구체화될 수 있다. 블록-매칭 에러 계산기들(216 및 206)의 기능들이 유사함을 주지한다. 선택적으로, 이들 중 하나는 두 가지 작업을 수행할 수 있다. 선택기들(204 및 218)에 대해 동일하게 유지된다.

Claims

영상(118)의 픽셀들의 블록(116)에 대응하는 모션 벡터(126)를 발생하는 모션 추정 유닛(100)에 있어서,

-상기 픽셀들의 블록(116)과 다른 영상(120)의 픽셀들의 다른 블록(122)을 매칭하는 매칭 기준으로서 미리 결정된 비용 함수를 최소화함으로써 시작 모션 벡터(110)를 계산하는 블록-매쳐(102);

- 상기 시작 모션 벡터(110)에 기초하고 상기 픽셀들의 블록(116)의 한 픽셀에 대한 광 흐름 방정식에 기초하여, 갱신 모션 벡터(111)를 계산하는 광 흐름 분석기(optical flow analyzer; 104); 및

- 상기 시작 모션 벡터(110)의 상기 매칭 기준의 제 1 값과 상기 갱신 모션 벡터(111)의 상기 매칭 기준의 제 2값을 비교함으로써, 상기 시작 모션 벡터(110) 또는 상기 갱신 모션 벡터(111)를 상기 모션 벡터(126)로서 선택하기 위한 선택기(106)를 포함하고,

상기 광 흐름 분석기(104)는 상기 픽셀들의 블록(116)의 각각의 픽셀들에 대응하는 광 흐름 방정식들의 세트와 연관된 에러들의 합계를 최소화하도록 설계되는 것을 특징으로 하는, 모션 추정 유닛(100).
제 1 항에 있어서,

특정 픽셀에 대응하는 특정 광 흐름 방정식이 만족되는 경우에 특정 에러는제로인 것을 특징으로 하는, 모션 추정 유닛(100).
제 1 항에 있어서,

상기 광 흐름 분석기(104)는 상기 픽셀들의 블록(116)의 상기 픽셀들의 일부에 기초하여 갱신 모션 벡터(111)를 계산하도록 설계되는 것을 특징으로 하는, 모션 추정 유닛(100).
제 1 항에 있어서,

상기 광 흐름 분석기(104)는, 프레위트 그래디언트 연산자(Prewitt gradient operator)에 따라 휘도 그래디언트들을 계산하도록 설계되는 그래디언트 계산기(208 내지 212)를 포함하는 것을 특징으로 하는, 모션 추정 유닛(100).
제 1 항에 있어서,

상기 광 흐름 분석기(104)는, 소벨 그래디언트 연산자(Sobel gradient operator)에 따라 휘도 그래디언트들을 계산하도록 설계되는 그래디언트 계산기(208 내지 212)를 포함하는 것을 특징으로 하는, 모션 추정 유닛(100).
제 1 항에 있어서,

상기 광 흐름 분석기(104)는, 로버트 그래디언트 연산자(Robert gradient operator)에 따라 휘도 그래디언트들을 계산하도록 설계되는 그래디언트계산기(208 내지 212)를 포함하는 것을 특징으로 하는, 모션 추정 유닛(100).
제 1 항에 있어서,

상기 블록-매쳐(102)는 재귀적인 것을 특징으로 하는, 모션 추정 유닛(100).
제 1 항에 있어서,

상기 광 흐름 분석기(104)는, 상기 갱신 벡터(111)가 신뢰할 수 있는지의 여부를 확인하기 위한 신뢰도 유닛(214)을 포함하는 것을 특징으로 하는, 모션 추정 유닛.
영상(118)의 픽셀들의 블록(116)에 대응하는 모션 벡터(126)를 발생하는 모션 추정 방법에 있어서,

-상기 픽셀들의 블록(116)과 다른 영상(120)의 픽셀들의 다른 블록(122)을 매칭하는 매칭 기준으로서 미리 결정된 비용 함수를 최소화함으로써 시작 모션 벡터(110)를 계산하기 위해 블록-매칭하는 단계;

- 상기 시작 모션 벡터(110)에 기초하고 상기 픽셀들의 블록(116)의 한 픽셀에 대한 광 흐름 방정식에 기초하여, 갱신 모션 벡터(111)를 계산하기 위해 광 흐름 분석하는 단계; 및

- 상기 시작 모션 벡터(110)의 상기 매칭 기준의 제 1 값과 상기 갱신 모션 벡터(111)의 상기 매칭 기준의 제 2값을 비교함으로써, 상기 시작 모션 벡터(110)또는 상기 갱신 모션 벡터(111)를 상기 모션 벡터(126)로서 선택하는 단계를 포함하고,

상기 광 흐름 분석에서, 상기 픽셀들의 블록의 각각의 픽셀들에 대응하는 광 흐름 방정식들의 세트와 연관된 에러들의 합계가 최소화되는 것을 특징으로 하는, 모션 추정 방법.
영상 처리 장치(200)에 있어서,

- 디스플레이될 영상(118)를 표현하는 신호를 수신하는 수신 수단(201);

- 상기 영상(118)의 픽셀들의 블록(116)에 대응하는 모션 벡터(126)를 발생하는 모션 추정 유닛(100); 및

- 모션 보상된 영상 처리 유닛(203)을 포함하며, 상기 모션 추정 유닛(100)은,

-상기 픽셀들의 블록(116)과 다른 영상(120)의 픽셀들의 다른 블록(122)을 매칭하는 매칭 기준으로서 미리 결정된 비용 함수를 최소화함으로써 시작 모션 벡터(110)를 계산하는 블록-매쳐(102);

- 상기 시작 모션 벡터(110)에 기초하고 상기 픽셀들의 블록(116)의 한 픽셀에 대한 광 흐름 방정식에 기초하여, 갱신 모션 벡터(111)를 계산하는 광 흐름 분석기(104); 및

- 상기 시작 모션 벡터(110)의 상기 매칭 기준의 제 1 값과 상기 갱신 모션 벡터(111)의 상기 매칭 기준의 제 2값을 비교함으로써, 상기 시작 모션 벡터(110)또는 상기 갱신 모션 벡터(111)를 상기 모션 벡터(126)로서 선택하는 선택기(106)를 포함하고,

상기 광 흐름 분석기(104)는 상기 픽셀들의 블록(116)의 각각의 픽셀들에 대응하는 광 흐름 방정식들의 세트와 연관된 에러들의 합계를 최소화하도록 설계되는 것을 특징으로 하는, 영상 처리 장치(200).
제 10 항에 있어서,

상기 모션 보상된 영상 처리 유닛(203)은 상기 영상(118)에서의 노이즈를 감소시키도록 설계되는 것을 특징으로 하는, 영상 처리 장치(200).
제 10 항에 있어서,

상기 모션 보상된 영상 처리 유닛(203)은 상기 영상(118)를 디-인터레이싱(de-interlace)하도록 설계되는 것을 특징으로 하는, 영상 처리 장치(200).
제 10 항에 있어서,

상기 모션 보상된 영상 처리 유닛(203)은 업-컨버젼(up-conversion)을 수행하도록 설계되는 것을 특징으로 하는, 영상 처리 장치(200).