KR19990035896A

KR19990035896A - 모션 벡터를 추정하는 방법, 장치 및 그 장치를 포함하는 비디오 디스플레이 장치

Info

Publication number: KR19990035896A
Application number: KR1019980700557A
Authority: KR
Inventors: 한 게라드 드; 바울 빌렘 알베르트 코르넬리스 비에젠; 로베르트 얀 스츄튼
Original assignee: 요트. 게. 아 롤페즈; 필립스 일렉트로닉스 엔. 브이
Priority date: 1996-05-24
Filing date: 1997-05-14
Publication date: 1999-05-25
Also published as: JPH11510937A; WO1997046022A2; EP0840982A2; DE69710413D1; US6278736B1; DE69710413T2; JP4159606B2; WO1997046022A3; EP0840982B1; KR100482898B1

Abstract

모션 벡터를 추정하는 방법에 있어서, 모션 파라미터(p₁-p₄)는 영상 신호의 주어진 필드(n-1)에 대해 결정(PC)된다; 그리고 상기 영상 신호의 필드(n)에 대한 모션 벡터 는 적어도 하나의 예정된 모션 벡터 x-X, y-Y, n), x+X, y-Y, n), x, y+2Y, n-1))와 상기 모션 파라미터(P1-P4)로부터 얻어진 (PG) 적어도 하나의 부가의 모션 벡터 에 따라서 결정된다.

Description

모션 벡터를 추정하는 방법, 장치 및 그 장치를 포함하는 비디오 디스플레이 장치

EP-B-0,410,826[1]은 기준 영상과 현재 영상 사이에서 회귀적 모션 추정을 수행하는 방법을 개시하고 있으며 이는, 고정된 숫자의 반복을 실현하는데 각 반복은 다음의 단계, 즉,

각 반복에서 증가하는 해상도를 가진 두개의 영상을 추출하는 단계와,

기준 영상에서 특성 표본을 검출하는 단계와,

기분 영상에서의 각 특성 표본에 대한 로칼 모션 벡터(local motion vector) 추정하는 단계로서, 현재 반복 바로 이전의 반복 동안에 얻어진 글로벌 모션(global motion) 추정으로부터 나온 변위 벡터로 추정이 시작되는 로칼 모션 벡터 추정 단계와,

현재의 영상의 글로벌 모션 추정을 수행하는 단계로서, 모형의 파라미터 값이 가장 최근의 반복에서의 로칼 모션 벡터 추정에 기초해서 계산되는 글로벌 모션 추정을 수행하는 단계로 이루어진다.

글로벌 모션을 추정하기 위해, 모션 모형을 규정하는 a1부터 a8까지의 8개의 파라미터 값은 좌표 X, Y를 가지는 표본이 좌표 X', Y'로 치환되는 방법으로 계산되어진다. 여기서,

X' = (a1.X + a2.Y + a3)/(a7.X + a8.Y + 1)이고

Y' = (a4.X + a5.Y + a6)/(a7.X + a8.Y +1)이다.

a1부터 a8까지 8개의 파라미터는 특성 표본을 위해 쓰여진, 상기 두가지 관계에 의해 이루어지는 8개의 미지수를 가진 방정식 체계를 푸는 것에 의해 계산되어지며, 좌표 X', Y'는 이러한 표본 각각에 대해 추정된 로칼 모션 벡터의 함수와 고려중에 있는 표본의 좌표 X, Y의 함수로써 결정된다.

현재 영상의 각 특성 표본에 대한 로칼 모션 벡터를 추정하기 위해, 다음 단계들이 수행된다: 즉,

고려중에 있는 특성 표본에 중심이 있는, 기준 영상에서의 하나의 제 1 블럭의 표본들을 정의하는 단계와,

고려중에 있는 특성 표본에 대응하는 표본들에 중심이 있고, 그러나 검사될 복수의 벡터들 만큼 이동된, 현재 영상에서의 복수의 제 2 블럭동안에 만들어진 모션의 글로벌 추정값과 복수의 예정된 부가의 변위에서 얻어진 부가의 변위로부터 계산되는, 고려중인 특성 표본의 초기 변위의 벡터합에 의해 구성되는 제2 블럭들의 표본들을 정의하는 단계와,

로칼 모션 벡터를 얻기 위하여 각 두번째 블럭과 첫번째블럭 사이에서 최적합을 형성하는, 검사될 벡터를 선택하는 단계가 수행된다.

따라서 종래의 기술에서는, 최고의 해상도에 대응하는 최종 모션 벡터를 얻기 위하여 같은 영상들 간에 복수의 반복이 수행되어진다고 생각된다.

본 발명은 모션 벡터(motion vector)를 추정하는 방법과 장치, 그리고 그러한 장치를 포함하는 비디오 디스플레이 장치에 관한 것이다.

도 1은 주밍(zooming)에 의해 선형적으로 변화하는 모션 속도를 보여준다.

도 2은 모션 벡터 추정량의 시간적 예측 메모리로부터 얻은 9개의 벡터를 보여준다.

도 3은 새로운 파라메트릭 벡터 후보를 가질때와 가지지 않을 때의 3D-RS 블럭 매칭 모션 벡터(3D-RS block matching motion vector) 추정에 대한 잔차 제곱 평균(MSF)를 보여준다.

도 4는 파라메트릭 후보를 가지지 않을 때 (제 4 도의 상단)와 가질때(도 4의 하단)의 벡터 X-성분을 보여준다.

도 5는 파라메트릭 후보를 가지지 않을 때 (제 5 도의 상단)와 가질때(도 5의 하단)의 벡터 X-성분을 보여준다.

도 6는 본 발명에 따른 모션 벡터 추정장치를 포함하는 디스플레이 장치의 양태를 보여준다.

도 7는 도해의 형태로 본 발명에 따른 모션 벡터 제공 장치를 가진 영상 디스플레이 장치의 다양한 양태를 설명한다.

특히, 본 발명의 목적은 덜 복잡한 모션 벡터 추정법을 제공하는 것이다. 이것 때문에, 본 발명의 첫번째 측면은 제1항에서 규정된 대로 모션 벡터를 추정하는 방법을 제공한다. 본 발명의 두번째 측면은 제10항에서 규정된 대로 모션 벡터 추정 장치를 제공한다. 본 발명의 세번째 측면은 제11항에서 규정된 대로 비디오 디스플레이 장치를 제공한다. 유리한 실시예들이 종속항에 규정된다.

본 발명의 첫번째 측면에 따른 모션 벡터를 추정하는 방법에서, 모션 파라미터는 영상 신호의 주어진 필드(n-1)에 대해 결정된다; 그리고, 상기 영상 신호의 필드(n)에 대한 모션 벡터는 적어도 하나의 소정의 모션 벡터와 상기 모션 파라미터로부터 얻어진 적어도 하나의 부가의 모션 벡터에 의해 결정된다.

본 발명의 이러한 그리고 다른 측면들은 이하에서 설명되는 실시예에 따라 명백해질 것이다.

I. 소개

모션 추정량은 영상의 모든 위치에 대한 가능한 다양한 모션 벡터중의 하나를 선택하는, 때로는 복잡하지만 종종 간단한, 표준 함수를 최소화하거나 최대화한다. 그들은 소모적인 조사 방법 즉, 표준함수의 전체적인 최적도를 얻기 위해 미리 정해진 범위내에서 모든 가능한 벡터를 시도하거나 또는 효과적인 접근중의 하나를 사용해서 단지 제한된 숫자의 후보 벡터만을 검사한다[9, 10, 11, 13]. 좀 더 진보한 효과적인 모션 추정 방법에서는 이러한 제한된 후보 집합이 가장 가망이 있는 예측 벡터를 보유한다. 이러한 가망성은 주파수 영역에서의 분석[15, 16, 17]에 의해 좀 더 높은 계층 레벨에 있는 영상의 분석[2, 14]에 기초할 수 있고, 또는 후보 집합에 있는 벡터들의 공간적 그리고/또는 시간적 근접성[4, 5, 6, 12, 19]에 기초한다.

비디오 영상에서의 모션은 객체의 이동에 기인하거나 카메라 이동에 의해 일어난다. 객체의 크기는 공간적인 영역에서 모션 벡터들의 상관 관계를 일으키고 반면에, 객체의 이너시아(inertia)는 벡터 필드의 시간적인 상관 관계를 설명한다. 카메라 모션의 범주는 팬(pan), 틸트(tilt), 카메라의 트래블(travel) 그리고 렌즈에 의한 주밍(zooming)을 포함한다. 이러한 형태의 모션은 공간적인 그리고 시간적인 영역에서 대체로 매우 유연한 속도를 일으킨다. 카메라 렌즈에 의한 줌(zoom)은, Vv가 선형적으로 변화하는 연직 속도를 가리키고 Vh가 선형적으로 변화하는 수평 속도를 가리키는 제 1 도에서 설명된 것과 같이, 공간적 위치에 따라서 선형적으로 변화하는 모션 벡터를 초래한다. 반면에 팬, 틸트, 카메라의 트래블은 전체 텔레비젼 스크린에서 균일한 모션 벡터를 일으킨다. 이러한 형태의 모션은 전에 언급되어진 것처럼 세개의 파라미터 모형으로 설명될 수 있다[3]. 또한 거친 모션 벡터 필드로부터 그러한 모형의 파라미터를 추출하는 방법이 그 문헌에 제시되어 있다[1]. 여덟개의 파라미터가 필요한 것보다 좀 더 복잡한, 즉 회전과 같은 글로벌 모션도 파라메트릭 모형으로 설명될 수 있다[18]. 이 명세서에서, 우리는 영상의 모든 위치에 대한 부가의 예측 벡터를 생성하기 위하여 이러한 필드에 대한 간단한 파라메트릭 설명으로 이전 영상의 모션 벡터 필드의 대략적인 추정값을 사용하는 것을 제안한다. 이 예측은 진보된 효율적인 블럭-매쳐(block-matcher)의 후보 집합에 포함되어지고, 더 나아가 시간적 그리고 공간적 예측 벡터와 그것에 관한 갱신을 포함한다[4, 6]. 파라메트릭 모형은 요구된다면, 서브-픽셀(sub-pixel) 정확도로 영상의 경계에 있는 벡터의 계산도 가능하게 하기 때문에, 특히 시간적 그리고 공간적 예측값이 때때로 실패하는 영상의 경계 근처에 작은 또는 저-콘트라스트(low-contrast) 디테일을 가지는 영역이 있다면, 그 모형은 카메라 모션의 경우에 상당한 향상을 가져올 수 있다.

이 명세서의 섹션 II는 우리의 기호법을 소개하고 우리가 우리의 향상을 유효하게 하는 기초로 사용했던 [6]의 모션 추정 알고리즘을 요약한다. 섹션 III은 파라메트릭 모형과 이전에 계산되어진 모션 벡터 필드로부터의 부가의 후보의 추출을 소개한다. 섹션 IV 임계응용(디-인터레이싱(de-interlacing))에 있어서의 향상을 평가하고 섹션 V는 MPEG 모션 벡터의 응용성이 본 발명의 원리를 사용하는 것에 의해 어떻게 확장될 수 있는지 설명하며 섹션 VI는 우리의 결론을 요약한다.

II. 3-D 회귀적 서치 블럭-매쳐(The 3-D Recursive Search Block-Matcher)

우리는 진보된 모션 추정량의 완전함이 가장 흥미롭다고 생각하기 때문에 [6]의 높은 질의 방법을 사용했다. 이 알고리즘은 4분의 1 픽셀의 정확도를 가져오고 또한 주사율 변환에 적절한 실제-모션 벡터 필드에 가까운 것을 이끌어낸다[4, 5]. 더 나아가 이 알고리즘은 아주 효율적이어서, 그것은 현재 유일한 단일칩의 실제-모션 추정량이다[7, 8].

블럭-매칭 모션 추정 알고리즘에서, 변위 벡터는, X에 중심이 있고 그러나 이전 필드 n-1에 있는 조사 영역 SA(X)내에서 비슷한 블럭을 조사함으로써, 현재 필드 n에서 한 블럭의 픽셀 B(X)의 중심 X에 할당된다. 비슷한 블럭은 X에 관하여 변위 벡터 D(X, n)만큼 이동된 중심을 가진다. D(X, n)을 찾기 위해서, 많은 후보 벡터들 C는 블럭 유사성을 재기 위해 오차 측정값 e(C, X, n)을 사용해서 평가되어진다.

좀더 공식적으로, CS^max는 이전 영상에서 조사 영역 SA(X)내에서 X에서 관하여 모든 가능한(대체로 정수) 변위를 설명하는 후보 벡터 C의 집합으로 정의된다:

여기서 N과 M은 SA(X)를 한정하는 상수이다. 더 나아가 현재 필드 n에서 픽셀 위치 X를 포함하고, 가로 X, 세로 Y의 크기를 가지며, X에 중심이 있는 블럭 B(X)는 이제 고려되어진다:

블럭-매칭 프로세스로부터 나온 변위 벡터 D(X, n)은 오차 함수 e(C, X, n)의 최소값을 생성하는 후보 벡터 C이다:

흔한 경우에, 가장 작은 매칭 오차를 가지는 벡터 D(X, n)이 단지 중심 픽셀이 아닌 블럭 B(X)의 모든 픽셀 위치 x에 할당된다면:

계산 과정이 많이 축소된다. 결과적으로, 연속적인 블럭 B(X)는 오버랩되지 않는다.

주어진 후보 벡터 C에 대한 오차값은 블럭 B(X)에 대해서 총계된, 현재 블럭의 픽셀에 대한 휘도값과 이전 필드로부터 이동된 블럭의 픽셀에 대한 휘도값의 함수이다. 우리가 사용할 보통의 선택은 절대차의 합(sum of the Absolute Differences: SAD)이다:

선택적으로, 잔차 제곱 평균(Mean Square Error: MSE) 또는 정규화된 교차 상관관계 함수(Normalized Cross Correlation Function: NCCF)가 사용되어질 수 있다.

[6]의 3-D 회귀적 서치 블럭-매쳐는 모든 가능한 후보 벡터를 계산하기 보다는 3차원 근방으로부터 공간적 그리고/또는 시간적 "예측 벡터"와 하나의 갱신된 예측 벡터를 취한다. 이것은 내재적으로 공간적 그리고/또는 시간적 일관성을 가정한다. 갱신 프로세스는 공간적 예측의 어느 하나에 더해진 갱신을 필요로 한다. 우리는 후보 벡터 C를 보유하는 후보 집합 CS(X, n)을 사용했으며, 여기서 블럭-매쳐는 다음과 같이 정의된 그것의 결과 벡터 D를 선택한다:

여기서 후보 벡터 C₁에 대한 두가지 옵션은 블럭 토대로 교대하고, 갱신 벡터 U(X, n)은 제한된 고정 정수 갱신 벡터 집합 US_i로부터 얻어진다. 우리의 경우 다음과 같다:

서브-픽셀 정확도를 실현하기 위해서, 방정식(7)의 갱신 집합은 분수의 갱신값으로 확장된다. 우리는 갱신 집합에 다음의 분수 벡터를 더함으로써 4분의 1 픽셀 해상도를 실현했다:

작은 숫자의 후보 벡터들 때문에, 이 방법은 매우 효과적이다. 게다가 내재적인 평활함 구속(smoothness constraint)때문에, 그것은 대상의 실제-모션(true-motion)에 꼭 맞게 대응하는 매우 코히어런트한(coherent) 벡터 필드를 형성한다. 이것은 특히, 주사 형식 변환에 적당하다.

III. 카메라 모션과 파라메트릭 모형

카메라 모션은 패닝(panning), 틸팅(tilting), 라이딩(riding), 그리고 카메라의 주밍(zooming)에 의한 모션을 포함한다. 이러한 형태의 모션은 대상의 모션과 비교해 매우 부드러운 속도 즉, 모션 벡터를 일으키는 매우 규칙적인 특성을 가진다. 카메라의 주밍은 제 1 도에서 설명된 것처럼 공간적 위치에 따라 선형적으로 변화하는 모션 벡터를 생성한다. 반면에, 패닝, 틸팅 또는 라이딩은 전체 텔레비젼 스크린에 대해 균일한 모션 벡터를 생성한다.

III. 1. 세 파라미터 모델

이러한 형태의 모션은 이전에 언급되어진 것처럼 세 파라미터 모형으로 설명되어질 수 있다[3]:

여기서 p₁은 패닝을, p₂는 틸팅을, p₃는 카메라의 주밍을 나타낸다. 이 모형은 블럭들이 영상면에서 정확히 정사각형일 때만 유효하다. 적어도 텔레비젼에서, 블럭들이 픽셀 그리드(pixel grid)에서 정사각형일 때에도 고정된 추출 도수를 가진 다양한 종횡비의 사용 때문에 이러한 가정은 종종 유효하지 않다.

이러한 경우에 네 파라미터 모형이 다음에 따라서 사용될 수 있다:

여기서 고정비는 p₂와 p₄사이에서 결과를 나타내며 그것은 수평(H)와 수직(V) 샘플링 밀도의 비에 의해 결정된다. 만약 비 p₃/p₄가 H와 V 샘플링 밀도의 비에 부합하지 않는다면, 추출된 파라미터들은 신뢰성이 없는 것임에 틀림없다. 따라서 이러한 비를 측정함으로써 부가의 후보가 모션 추정량에서 사용되지 않는 것이 더 좋은지의 상황을 파악하는 것이 가능하다.

이 모형을 여섯 파라미터 모형으로 확장하는 것은 회전을 포함시키는 것을 가능하게 한다. 그러나 이러한 형태의 모션은 텔레비젼 방송자료에 있을 것 같지는 않고 따라서 본 명세서에는 더 이상 고려되지는 않는다(비록 청구항으로부터 배제되어 있지는 않지만).

III. 2. 파라메트릭 후보를 가진 3-D RS 블럭-매쳐의 향상

이 제안의 수행은, 섹션 II에 정의된 집합 CS (X, n)에 모든 블럭의 하나의 후보 벡터를 더함으로써 이루어질 수 있고, 여기서 블러 B(X)에 대한 이러한 부가의 후보 C(X, n)은 방정식(10)의 네 파라미터 모형에 따라서 계산되어진다. 즉 결과는 다음과 같다:

모션 추정량에 후보 벡터를 더하는 것보다는, (예를 들면, 블럭 베이스에서) 이러한 부가의 후보를 또다른 후보 벡터로 교체하는 것이 가능하다. 이러한 경우에 추정량의 연산 회수는 거의 증가하지 않고, 반면에 그 이점은 필적할 만한 것으로 밝혀졌다. 결과적으로, 방정식(6)의 후보벡터 는 다음과 같이 변경된다:

좀더 세련된 생각은, 파라메트릭 모형 후보의 발생 빈도수를 그 모형의 신뢰성에 따르게 하는 것이다. 우리의 수행에서, 이것은 다음과 같이 의 더 나아간 변경을 가져온다:

다음 서브섹션에서 그러한 신뢰성 척도를 허락하는 파라메트릭 모형 추출 프로시져를 설명할 것이다.

III. 3. 영상 데이타(image data)로부터 파라미터 추출

추정된 모션 벡터 필드에서 글로벌 모션 모형의 파라미터를 추출하는 데는 많은 옵션이 있다. 모형이 3-D RS 블럭-매쳐에서 완성되어지는 우리의 경우에 있어서는 이미 이용가능한 모션 벡터 즉, 시간적인 예측 메모리에서 이용가능한 벡터로부터 출발하는 것이 사리에 맞다. 연산회수를 더 낮게 유지하기 위해서는, 오로지 이 메모리에서만 이용가능한 제한된 벡터들의 집합을 사용하는 것이 더 매력적이다.

예측 메모리로부터의 벡터를 사용하는 선택의 결과로, 파라메트릭 모형에 대해 생성된 후보들의 유효성은 이러한 접근의 회귀성 때문에 시간에 따라 증가한다. 만약 파라메트릭 모형이 영상의 중요한 부분에서 유효하다면 부가의 후보는 좀 더 자주 추정량 장치에 의해 선택될 것이며, 그것은 다음 필드에서, 시간적 예측 메모리에서의 벡터로부터 추출된 파라미터의 질을 향상시킬 것이다. 이것은 다시 생성된 부가의 후보의 정확도를 향상시키고, 그것은 좀 더 자주 선택될 것이며, 그 모형은 좀 더 향상되어질 것이다.

글로벌 모션을 설명하는 모형의 파라미터를 추정하기 위해, 우리는 아홉개의 모션 벡터를 포함하는 표본 집합 S(n)을 취했는데, 아홉개의 모션 벡터는 다음과 같이 시간적 벡터 예측 메모리로부터 폭 WX 이고 높이 HY 인 영상에서 중심에 있는, 가로가 (W-2m)X 이고 세로가 (H-2q)Y인 윈도우의 블럭 그리드에 있는 서로 다른 위치 X로부터의 이다:

여기서 m 과 q 는 작고, 영상의 블럭 갯수에 따라 달라진다. 제 2 도는 표본 집합에서 벡터들이 택해지는 영상의 위치를 설명한다. m 과 q 를 작게 선택하는 것은 일반적으로 줌 파라미터 p₃와 p₄의 좀 더 정확한 추정값을 생성한다. 그러나 영상 경계에 너무 가까운 벡터는 빠른 카메라 모션의 경우에 믿을만하지 못할 수 있다. 특정한 경우에 있어서 좋은 것으로 판명될 수 있는 다른 선택이 있다는 것은 명백하지만, 비슷한 크기의 또다른 집합에 대해 체계적인 향상을 가져온다는 명백한 이유를 발견할 수 없다. 더 큰 표본 집합이 결과를 향상시킬 수 있지만 또한 계산에 관한 부담을 증가시킨다.

네 파라미터 모형은 네개의 방정식 즉, 두개의 "독립적인" 표본 벡터로 해결 수 있다. 여기서 독립적이란, 이러한 벡터들이 영상의 같은 수평적인 또는 수직적인 위치로부터 택해지지 않는다는 것을 의미한다. S 개로 된 집합에서 r 개의 표본을 선택하는 조합의 수는 기초통계로부터 알 수 있다:

우리의 경우에 S=9 이고 r=2 이며, 이는 모델을 선택하는 36-18=18 개의 옵션이 있다는 것을 의미하는데, 왜냐하면 아홉개에서 두개를 선택하는데는 서른 여섯가지 조합이 있고, 열여덟쌍의 "종속적인" 표본 즉, 같은 행이나 열에 있는 표본이 있기 때문이다. 세개의 행과 세개의 열이 있으며, 각각이 이용가능한 세개의 벡터로부터 선택된 세쌍의 두개 벡터를 가능하게 하며 따라서 2x3x3=18 개의 종속적인 쌍이 있다.

S(n)에 있는 독립적인 표본 벡터들의 i 번째 쌍, 과 으로부터의 파라미터 추출은 간단하다:

그리고:

반면에

그리고 마지막으로:

이제 두개의 독립적인 표본 벡터들의 모든 쌍에 대해서, 네개의 파라미터로 된 하나의 집합이 이용가능하고, 가장 좋은 파라미터 집합이 선택되어져야 한다. 우리는 여기서 마지막 모형 파라미터까지 각 파라미터에 대한 모든 옵션의 중앙값을 지정하기로 제안한다. 따라서, i=1 에서부터 i=18 까지 우리는 다음과 같이 개개의 파라미터 값에 순위를 정한다:

그리고 다음과 같이 모형 파라미터들의 마지막 값을 이끌어낸다:

마지막으로, 모형의 신뢰성을 검사하기 위해 p₃와 p₄의 비가 계산되어진다. 실험에서 우리는 명목값으로부터 25% 편차를 허용했다. 파라미터들이 이 검정을 통과하고 비가 H 와 V 샘플링 밀도(섹션 III, 1을 보라)에 따라서 P₃/P₄=R 이 된다면, 다른 샘플링 밀도로 수정한 후에 p₃와 p₄를 그들의 평균값으로 바꾸어놓는 것에 의해 모형의 정확도를 좀 더 향상시키는 것이 가능하다. (p₃는 (p₃+R·p₄)/2가 되고, p₄는 (p₄+1/R·p₃)/2가 된다). 이러한 세련된 방법이 평가된 알고리즘에서 사용되어졌다.

방정식 (20)과 (21)의 중앙값 알고리즘보다 더 적은 계산을 요구하기 때문에 바람직한 대체적인 실시예에서는, 두개의 독립적인 표본 벡터의 모든 쌍에 대해서 네개의 파라미터로 된 집합이 다음과 같은 방법으로 사용된다. 열 여덟개의 다른 파라미터 집합은 모형이 신뢰될 때까지 즉, 올바른 p₃/p₄비가 얻어질 때까지 주기적으로 사용된다(각 필드에 한쌍씩). 올바른 p₃/p₄비를 생성했던 집합은 p₃/p₄비가 더이상 올바르지 않은 것처럼 보일 때까지 유지된다. 그 경우에, 파라미터 집합은 올바른 p₃/p₄비가 더이상 올바르지 않은 것처럼 보일 때까지 유지된다. 그 경우에, 파라미터 집합은 올바른 p₃/p₄비가 다시 얻어질 때까지 주기적으로 다시 사용되어진다.

추정된 모션 벡터 필드로부터 글로벌 모션 모형의 파라미터를 추출하는데에는 많은 옵션이 있다. 게다가 그러한 파라메트릭 모션 모형과 함께 생성된 부가의 후보 벡터가 사용되어질 수 있는 많은 가능한 모션 추정 알고리즘이 있다. [6]의 3-D RS 블럭-매칭 모션 추정량에서 본 발명의 또다른 가능한 이행이 아래에서 설명될 것이다.

글로벌 모션 모형의 파라미터를 추정하기 위해서, 영상에서 서로 다른 위치에 할당된 아홉개의 벡터 은 제 2도에서 설명된 것처럼 시간적 벡터 예측 메모리로부터 꺼내진다. 그 파라미터를 계산하기 위해 네개의 벡터값이 이 벡터 집합으로부터 선택될 것이다. 파라메트릭 모형에 대한 가장 믿을 만한 베이스를 선택하기 위해 (아홉개의 가능한 벡터들 중에서 가장 좋은 네개의 벡터), 처음 세개의 평균 x-성분 D_AX[q]이 다음과 같이 계산된다:

이러한 평균들의 각각에 대해 퀄리티 매주어(quality measure) Diff_x[q]가 다음을 사용하여 지정된다:

이러한 퀄리티 매주어의 배경은 만약 벡터들이 오로지 글로벌 모션(팬 또는 카메라의 주밍)에 기인한 것이라면 계산된 차이는 0 이 되어야 한다는 것이다. 어떤 차이가 더 클수록, 대응하는 벡터가 그 파라메트릭 모형에 대해 불충분한 베이스가 될 기회가 더 크다. 비슷한 계산이 y-성분에 대해서도 요구된다:

그리고:

가장 작은 차이에 속하는 벡터 x 또는 y 성분값이 다음과 같이 새로운 파라메트릭 서브픽셀 벡터 후보를 보간하거나/보외하기 위해 사용된다:

각각 벡터 x-성분과 벡터 y-성분에 대한 줌의 중심을 지시하는 파라미터 p₁, p₂뿐만 아니라 모형의 기울기 p₃도 계산되어져야 한다. 기울기 p₃는 패닝과 주밍 특성 때문에 x-성분과 y-성분에 대해서 같다. 기울기는 따로따로 계산되어져야 한다. 따로따로의 기울기가 현저하게 다를 때 파라메트릭 벡터 후보들은 믿을만하지 못한 것으로 간주될 것이고, 이러한 정보는 상기 언급된 것처럼 파라메트릭 후보의 발생빈도수를 변경하는데 사용될 수 있다. 작은 골칫거리를 없애기 위해 두개의 기울기는 최종 기울기 p₃를 만들도록 평균되어져야 한다.

여기서 N_x와 N_y는 기울기 계산의 기초가 되었던 벡터들의 위치 사이에 있는 블럭 그리드에서 측정된 수평 그리고 수직거리이다. 파라미터 p₁과 p₂는 보간이 벡터 필드의 가장자리에서 출발하는 것을 확실히 하면서, 보외에 의해 발견될 수 있다.:

여기서 X[5]와 Y[5]는 블럭 그리드에 있는 [5]의 좌표이다. 파라메트릭 벡터 후보(블럭당 하나)는 다음과 같이 계산될 수 있다.:

그리고 이것은 어떤 모션 추정 알고리즘의 후보 벡터 집합에도 더해질 수 있다. 카메라와 모션 추정량 사이에 처리에 있어서 기하학적 왜곡이 있는 경우에는 상기 언급된 신뢰성 기준이 수정되어져야 한다는 것을 인식하는 것이 좋다. 이러한 왜곡(예를 들어, 수평적 압축이나 수직적 신장)은 때때로 와이드-스크린 텔레비젼을 위한 회로에 의해 소개되어진다.

IV. 향상의 평가.

우리 제안의 기대되는 이점은 카메라 모션의 경우에 추정된 모션 벡터의 증가된 정확도이었다. 본래의 3-D RS 블럭-매칭 알고리즘은 이미 매우 정확하기 때문에 임계적 응용은 향상을 보여주기 위해서 요구된다. 우리는 이미 [6]의 초기 단계에서 디-인터레이싱(de-interlacing)이 모션 추정량으로부터 고도의 정확도를 요구한다는 것 즉, 추정값의 서브-픽셀 단편이 디-인터레이싱의 질에 중요한 역할을 한다는 것을 알았다. 따라서, 여기에서 다시 우리는 파라메트릭 후보 벡터의 장점을 증명하기 위해 Wang et al.[20]의 시간-회귀적 디-인터레이싱 알고리즘의 3-D RS 블럭-매쳐를 이용했다. 우리는 모션 벡터의 질의 척도를 얻기 위해 우리가 [6]에서 사용했던 것과 비슷하게 근본적으로 모션 보상된 예측 잔차 제곱 평균을 계산한다.

좀더 정확하게, MSE 는 제 2 도에서 설명된, 가로 (W-2m)X 이고 세로(H-2q)Y인, 픽셀들의 측정 윈도우 MW 에서, 현재 입력 필드의 휘도 과 추정된 변위 벡터 만큼 이동된, 이전에 계산된 연속적인 주사 영상의 휘도 사이에서 계산된다.

여기서 는 홀수 입력 필드에서 홀수 라인에 있는 픽셀 그리드의 측정 윈도우의 모든 위치에 걸쳐 있으며, 짝수 입력 필드의 경우에는 짝수 라인의 모든픽셀 위치에 걸쳐 있다.

제 3 도에서 우리는 [6]의 추정량에서 파라메트릭 후보 벡터가 있을 때(곡선 b)와 없을 때(곡선 a)의 많은 필드들(수평축)에 대한 MSE(n)값(수직축)을 보여준다. 첫 번째 필드들에서는 두 개의 알고리즘이 한점에서 모이고, 나중의 필드들에서는 파라메트릭 후보가 실행에 있어서 현저한 향상을 가져온다는 것이 명백히 보여진다. 영상들은 임계적인 검정 자료를 제공하기 위해 선택되어졌다. 검사될 시퀀스는 많은 수직적 그리고 수평적 디테일을 가진 큰 영역과 카메라의 주밍 때문에 많은 숫자의(서브-픽셀) 속도를 가진 다양한 방향에서의 이동을 포함한다. 카메라 모션이 존재하지 않는 경우에 부가의 후보가 성능을 저하시키지 않는 것처럼 보였다. 우리는 주밍 또는 패닝 영상 자료에서의 MSE 값이 새로운 파라메트릭 후보를 가진 경우에는 약 12% 더 낮다는 것을 알았다.

재 4 도와 제 5 도는 제안의 결과를 보여준다. 이러한 그림들에서 시뮬레이션 결과가 보여지는데 파라메트릭 후보 벡터가 있을 때(제 4 도와 5 도의 하단)와 없을 때(제 4 도와 5 도의 상단)의 속도를 가리킨다. 벡터 x-성분은 제 4 도에서 보여지고 벡터 y-성분은 제 5 도에서 보여진다. 제 4 도에서 1 부터 6 까지, 제 5 도에서 1 부터 5 까지 다른 회색의 명암은 상호적으로 다른 모션 벡터 성분값을 가리킨다. 이경우에 모형에 대한 입력은 제 1 도에서 보여진대로 수평과 수직 양방향에서 선형적으로 변화하는 속도를 나타내야 하는 카메라줌이었다. 제 4 도와 제 5 도의 상단과 하단의 비교로부터 본 발명의 수단에 의해 모션 추정량 정확도가 상당히 향상되었다는 결과가 나온다.

제 6 도는 본 발명에 따른 모션 벡터 추정 장치로 이루어진 디스플레이 장치의 한 양태를 보여준다. 안테나 A 에 의해 받아진 텔레비젼 신호는 동조, 복조 그리고 당업자에게 잘 알려진 영상 신호 처리 작업을 위해서 프로세싱 회로 P 에 가해진다. 프로세싱 회로 P 의 출력은 두배의 필드 주파수에서 영상 신호를 얻기 위해 첫 번째 필드 메모리 FM1 에 가해진다. 첫 번째 필드 메모리 FM1 의 출력은 하나의 필드-지연된 영상 신호를 얻기 위해 두 번째 필드 메모리에 가해진다. 두 번째 필드 메모리 FM2 의 입력과 출력은 모션 벡터 을 얻기 위해 모션 벡터 추정 장치 ME 에 가해진다. 모션 벡터 와 두 번째 필드 메모리 FM2 의 입력과 출력은 모션-보상된 보간기 I 에 가해지고, 그것의 출력은 디스플레이 장치 D_p에 가해진다.

모션 벡터 추정기 ME 는 블록 주파수 클럭 신호 N_b1이 가해지는 계수 P 카운터를 포함하는 갱신 제네레이터 UG 를 포함한다. 카운터 C 의 출력은 상기 설명된 대로 갱신 벡터 과 증가하는 갱신 벡터 길이와 함께 증가하는 갱신-종속된 페널티(update-dependent penalty)P(U)를 얻기 위하여 검사 테이블 LUT 에 가해진다. 갱신 벡터 은 영벡터 , 파라메트릭 후보 발생기 PG 로부터 나온 파라메트릭 후보 벡터 , 그리고 예측 메모리 PM 으로부터 나온 이전에 결정된 벡터 과 을 또한 받아들이는 갱신 및 멀티플렉스 회로 UP-MUX 에 가해진다. 갱신 및 멀티플렉스 회로 UP-MUX 는 예측 메모리 PM 으로부터 벡터 를 또한 받아들이는 베스트 매칭 벡터 셀렉터(best matching vector selector)SEL 에 세 개의 후보 벡터를 가한다. 베스트 매칭 벡터 셀렉터 SEL 은 더 나아가 두 번째 필드 메모리 FM2 의 입력과 출력을 받아서 현재 필드에 있는 블록과 이전 필드에서 대응하는 한그룹의 픽셀 사이에서 가장 좋은 벡터 을 결정한다. 가장 좋은 벡터 은 예측 메모리 PM 에 가해지고 또한, 블록 의 각 픽셀 에 대한 모션 벡터 을 얻기 위해 블록 침식 회로(block erosion circuit) BE 에 가해진다. 예측 메모리 PM 으로부터 나온, 제 2 도에서 보여진 표본 벡터들은 파라메트릭 후보 발생기 PG 에 가해지는 네 개의 모션 파라미터를 얻기 위해서 파라미터 계산기 PC 에 가해진다.

V. MPEG 모션 벡터 응용성의 확장

DE-A-195·10·389[21]은 코드화된 영상 신호를 받아들이는 방법과 회로 장치를 개시한다. 그 방법은, 예를들면, MPEG2-표준에 따라서 코드화된 압축된 리던던시(redundancy)를 가진 일련의 영상을 보유하는 영상 신호에 관련한다. 모션 디코딩이 처음으로 수행된다. 모션-디코드된 필드의 포스트-프로세싱은, 이는 근본적으로 보간을 포함하는데, 플리커를 제거하는 프로세싱과 함께 다음에 수행된다. 유리하게 모션 디코딩에서 구해진 모션벡터는 또한 플리커 제거를 위해 사용된다.

상기 언급된 대로, 모션 추정은 최적화 문제로써 보여질 수 있다: 때로는 복잡하지만 대체로 간단한 표준 함수는 출력 모션 벡터를 찾기 위해서 최소화되거나 최대화되어져야 한다. 표준 함수의 글로벌 옴티멈(global opimum)을 얻는 것을 확실히 하기 위해 예정된 범위내에서 단순히, 가능한 모든 벡터를 시도하는 주먹구구식 방법이 있다. 또한 가장 가망성있는 모션 벡터만을 검정하는 효율적인 접근이 있다. 이러한 가망성은 대체로 공간적 그리고 시간적인 근접성에 의해 결정되고, 따라서 시간적 그리고 공간적 예측 벡터가 효율적인 모션 추정 알고리즘에서 인기있다. 사용된 모션 추정 알고리즘에 따라서 결과의 모션 벡터 필드의 특성이 달라지며, 따라서 다양한 모션 추정 알고리즘의 응용 영역도 다르다. 모션 벡터는, 모션 보상된 주사변환, 모션 보상된 잡음 축소, 그리고 영상 코딩과 같이 높은 질의 영상 신호 프로세싱에서 사용될 수 있다. 의도된 프로세싱은 모션 벡터의 다양한 질 양상에 구속을 준다. 예를들어, 높은 질의 모션 보상된 주사전환은 벡터들이 영상 시퀀스 내에서 실제의 모션 벡터(즉, 실제의 방향과 속도)를 대표하는 모션 벡터 필드를 요구한다. 코딩응용에 대해서 이것은 부적적한데, 왜냐하면 유일한 질의 표준이 낮은 평균 예측 오차이기 때문이다.

모두 조사하는 블럭 매칭과 같은 주먹구구식 방법은 실제 모션 벡터를 주지 않는 경향이 있다. 대신에 모두 조사하는 블럭 매칭은 블럭들 간의 오차를 최소화하며 따라서 그것의 벡터들은 이러한 두 블럭들간의 최소오차를 가지는 두개의 블럭들을 연결할 것이며, 이는 코딩응용에 있어서 예측 오차를 최소화하는데 적합하다. 이러한 최소오차는 MPEG와 같은 압축 알고리즘에서는 효과적으로 작용하지만, 그 결과 벡터는 높은 질의 주사변환의 사용에는 부적절하다. 반면에, 3-D 회귀적 블록 매칭과 같은 좀 더 효율적인 모션 추정량은 높은 질의 주사 변환에 사용될 수 있지만 압축 알고리즘의 사용에는 적당하지 않을 수 있는 실제의 모션 벡터를 주는 경향이 있다.

MPEG와 또한 다른 형태의 영상 압축의 출현으로, 처음 보기에는 이러한 형태의 원천자료에는 수신부에서의 모션추정이 필요하지 않은것처럼 보인다. 그러나 이러한 모션 벡터들이 예를 들어, 주사율 변환에 직접 사용될 수 있을지는 확실하지 않은데, 왜냐하면 MPEG 모션 벡터가 실제의 모션을 대표하는지 아닌지는 알 수 없기 때문이다. 해독/수신부에서는 어떤 형태의 모션 추정 알고리즘이 복호/송신부에서 사용되었는지 알 수 없기 때문에, 가장 최악의 상황으로서 MPEG 모션 벡터들이 효율적인 압축을 위해 최적화되고, 그 벡터들은 실제의 모션 벡터를 대표하지 않는다는 것을 가정해야만 한다. 예를들어, 주기적인 구조와 작은 디테일을 가진 영상 영역에서의 잡음은 그러한 일관성이 없는 벡터들을 일으킬 수 있다. MPEG 데이타 스트림의 모션 벡터에 대한 또다른 문제는 모든 모션 벡터들이 데이타 스트림에서 전해지는 지가 확실하지 않다는 것이다. 이러한 이유로, [21]에 의해 제안된 기술은 높은 질의 포스트-프로세싱에는 적합하지 않는것 같다.

비슷한 문제를 해결하기 위한 시도로서, 필드 율 업컨버젼 오퍼레이션(field rate upconversion operation)을 위한 벡터들을 사용하기 전에 디지탈적으로 부호화된 텔레비젼 신호와 함께 전송된 벡터들을 평활화하는 것이 제안되어 왔다.

높은 질의 포스트-프로세싱에 적합한 모션벡터를 제공하는 것이 본 발명의 좀더 나아간 양상의 목적이다. 본 발명의 이러한 더 나아간 양상은, 상기 설명된 문제들이 높은 질의 주사변환에서 MPEG 모션 벡터의 사용을 완전히 배제하지는 않는다는 인식에 기초한다. 적당한 포스트-프로세싱이 사용될때, MPEG 모션벡터는 유용하게 될 수 있다. 좀더 구체적으로, 수신기가 MPEG 모션벡터의 질을 결정할 수 있고, MPEG 모션벡터들이 의도된 프로세싱을 위한 어떤 기준을 충족하기 위하여 수신기가 MPEG 모션벡터들의 질을 향상시킬 수 있을때, 그 MPEG 모션벡터들은 사용되어 질 수 있다. MPEG 모션벡터들의 응용성을 확장하기 위해서 몇가지 가능한 포스트-프로세싱 방법들이 고려되어진다.:

1. MPEG 모션벡터들의 유용성을 증가시키기 위해 벡터 평활화 오퍼레이션과 같은 오퍼레이션으로 MPEG 모션벡터를 처리하라.

2. 96. 5. 24에 출원된 미리 공개되지 않은 EP 우선권주장 특허출원번호 96201462.7(attorneys' docket PHN 15,824)에 개시된것처럼 부가의 파라메트릭 벡터후보의 사용과 비슷하게, MPEG 모션벡터를 공간적 그리고/또는 시간적 후보와 함께 예를들어 3-D 회귀적 블럭 매칭 알고리즘에서 부가의 후보로써 사용하라.

3. MPEG 모션벡터는 미리 공개되지 않은 EP 우선권주장 특허출원번호 96201462.7에서 설명된 파라메트릭 벡터후보를 계산하는데 사용되어질 수 있다.

다양한 양태의 도해적인 설명을 위해서 제7도가 참조된다.

제7도는 기본 섹션 B와, 영상디스플레이 장치의 네가지 별개의 양태 B+E1, B+E2, B+E3, B+E4를 얻기 위해 기본섹션 B를 확장시키는 네개의 별개의 방법을 보여주는 네가지 섹션 E1부터 E4를 보여준다.

기본섹션 B에서, 영상신호 V와 모션벡터 MV로 이루어지는 MPEG 신호는 MPEG 입력신호로부터 모션벡터 MV에 종속하는 영상신호 V를 꺼내기 위해서 디코더 DEC에 가해진다. 영상신호 V는 두배로된 필드 주파수 그리고/또는 라인 주파수 또는 영상 신호 V에 관하여 향상된 모션 묘사를 가지는 출력 영상신호 OVS를 얻기 위하여 비디오 포스트-프로세서 VPP에 가해진다. 선택적으로 또는 부가하여, 비디오 포스트-프로세서 VPP는 잡음을 감소시키거나 또는 동시에, 라인당 픽셀의 갯수 그리고/또는 영상신호 V의 필드당 라인수를 변화시킨다. 프로세서 VPP에 의해 수행된 비디오 포스트-프로세싱은 향상된 모션벡터 MV'에 따라 달라진다. 출력 영산신호 OVS는 디스플레이 장치 D에 디스플레이 된다.

첫번째 양태 B+E1에 따르면, 향상된 모션벡터 MV'는 포스트-프로세서 PP에 의하여 MPEG 신호에 들어있는 모션벡터 MV로부터 얻어진다. 예를 들어, 평활화 오퍼레이션은 만약 MPEG 모션벡터 MV가 프로세서 VPP에 의해 수행되는 비디오 포스트-프로세싱에 직접 사용되어 졌다면 발생할 아티팩트(artifacts)의 대부분을 감소시킬 것이다. 평활화 오퍼레이션은 모션벡터의 수평 그리고 수직성분에서 별도의 저역 필터링 오퍼레이션을 포함할 수 있다. 선택적으로, 모션벡터의 수평 그리고 수직성분은, 극단의 모션벡터 성분값을 화소의 이웃하는 블럭들의 모션벡터의 현재모션벡터 성분값으로 바꾸어 놓기 위하여 중앙 필터에 가해질 수 있다.

함께 계류중인 특허출원(attorney's docket PHN16,106)에 의해 다루어진 두번째 양태 B+E2에 따르면, MPEG 모션벡터 MV는, 선택적으로 포스트-프로세서 PP에 의해 수행되는, 예를 들면 평활화와 같은 포스트-프로세싱 오퍼레이션 후에, 후보 벡터 발생기 CVG에 의해 생성된 후보 벡터들과 함께 멀티플렉서 MVX에 의해 멀티플렉스된다. 멀티플렉스된 벡터들은 최소의 오차를 보여줄 것으로 기대되는 향상된 모션벡터 MV'를 얻기 위해 후보벡터 셀렉터 CVS에 가해진다.

본 특허출원의 청구항에서 다루어진 세번째 양태 B+E3에서는, 파라미터 추출기 PE는 MPEG 모션벡터 MV로부터 모션 파라미터 P1부터 Pn까지를 추출한다. 모션파라미터 P1부터 Pn까지는 향상된 모션벡터 MV'를 얻기 위하여 벡터필드 계산기 VFC에 가해진다. 제 1 항에서 인용된 예정된 모션벡터는 영벡터일 수 있다.

본 특허출원의 청구항에서 다루어진 네번째 양태 B+E3+E4에서는, 섹션 E3의 벡터필드 계산기에 의해 계산된 모션벡터가 후보벡터 발생기 CVG로부터 나온 후보 모션 벡터와 함께 멀티플렉스되고, 향상된 모션 벡터 MV'를 얻기 위하여 후보벡터 셀렉터 CVS에 가해진다. 이러한 네번째 양태는 두번째와 세번째 양태의 특징을 결합한다.

본 발명의 현재측면의 근저를 이루는 기본적인 생각은 다음과 같이 요약될 수 있다. 별개의 모션 추정 알고리즘은 그들의 결과벡터필드의 특성에 기초한 별개의 응용을 갖게 될 것이다. MPEG 영상 데이타 스트림은 모션벡터들을 보유하며, 이는 높은 질의 비디오 프로세싱에 사용되어질 수 있다. 그러나, 이러한 MPEG 모션벡터들은 효율적인 압축을 달성하기 위해서 최적화되는 것 같고 따라서 이러한 벡터들은 실제 모션을 대표하는 것으로 기대되어 질수는 없다. 이것은, 높은 질의 포스트-프로세싱에서 질과 유용성을 모두 향상시키기 위해서는 부가적인 프로세싱이 필요된다는 것을 의미한다. 좀더 구체적으로, MPEG 벡터들은 효율적인 모션 추정량에서 부가의 후보벡터로 사용될 수 있는 하나 또는 그 이상의 파라메트릭 모션벡터를 얻기 위해 사용되어 지는 모션 파라미터를 생성하기 위하여 사용된다. 이러한 방법으로, MPEG 모션벡터들의 응용성은 확장된다. 확실히, 본 발명의 현재 양상은 MPEG 신호에 제한되지 않는다; 다른 신호들도 같은 방법으로 다루어질 수 있다. 본 출원에서 청구되지는 않았지만,

VI. 결론 및 최종적인 소견.

새로운 모션 추정량이 소개되었다. 이 추정량은 단지 네개의 후보 벡터들로부터 현재 영상에 대한 그것의 모션 벡터를 선택하고, 이 후보 벡터들중의 하나가 이전 영상의 글로벌(카메라)모션을 설명하는 파라메트릭 모형과 함께 생성되어진다는 점에서 특색이 있다.

우리는 이러한 "파라메트릭 후보"를 매우 효율적인 (3-D 회귀적 서치) 블록-매칭 알고리즘에서 소개했다. 이것때문에, 우리는 블럭-교대로 이러한 추정량의 후보들의 하나를 네 파라미터 모형과 함께 생성된 후보로 대신했다. 모형에 대한 파라미터들은 이전에 추정된 벡터 필드로부터 꺼내진, 넓게 공간을 차지하는 아홉개의 표본벡터들만을 사용하여 필드당 한번씩 추출되어졌다. 이것은 최후의 알고리즘에서 거의 무시할만한 부가적인 프로세싱 파워 요구를 초래한다. 우리는 이러한 아홉개의 추출된 모션 벡터를 가지고 카메라 모션을 설명하는 네개 파라미터로 된 열여덟개의 집합이 가능하다는 것을 보여주었다. 대상(목적물)의 모션에 의한 아웃라이어(outlier)를 제거하기 위한 중앙값 오퍼레이션이 적용된 파라미터 집합을 선택하기 위해 소개되었다. 더나아가, 우리는 수평 그리고 수직 샘플링 밀도에 대한 지식이 모형의 신뢰성을 판단하는데 사용될 수 있다는 것을 보여주었다. 이러한 정보는, 파라메트릭 후보가 추정량의 성능이 저하되도록 이끄는 경우에, 추정량에의 "파라메트릭 후보"의 블럭-교대적인 주입을 스위치-오프(switch-off)하는 수단을 제공했다.

평가부분인 IV에서, MSE에서의 50%까지의 감소인 현저한 이점이 디-인터레이싱을 위해 모션벡터를 적용하는 임계자료에서 밝혀졌다. 벡터필드의 사진은, 결과로서 생기는 블럭-매쳐로부터 얻어진 변위벡터의 분수부분이 또한 시퀀스에서의 실제모션에 꼭 맞게 대응한다는 것을 제시하면서, 주관적인 평가를 가능하게 했다. 마지막으로, 신뢰도 인디케이터의 성능이, 비록 실험에서는 적절하게 작용하더라도, 너무 위험하지는 않았다는 것이 보여졌다.

파라메트릭 모션 모형으로 부터의 후보벡터들을 사용하는 효율적인 실제-모션 추정량을 제공하는, 본 발명의 바람직한 양태는 다음과 같이 요약될 수 있다. 제한된 숫자의 가망성 있는 올바른 후보 벡터들 또는 예측 벡터들로부터 출력 모션 벡터를 선택하는 효율적인 모션 추정 알고리즘이 공지되어 있다. 알려진 공간적 그리고 시간적 예측벡터외에 부가적인 그리고 독립적인 예측이 제안된다. 이러한 후보는 이전에 추정된 모션필드의 글로벌 모션을 설명하는 파라메트릭 모형과 함께 형성된다. 이 제안은 3-D 회귀적 조사 블럭-매칭 알고리즘에 추가되어짐으로써 다듬어진다. 그 평가는 서브-픽셀 정확도의 실제-모션 추정량이 매우 낮은 오퍼레이션 횟수로 얻어진다는 것을 보여진다.

상기 언급된 양태들은 발명을 한정하기 보다는 예증한다는 것, 그리고 당업자들은 종속항의 범위를 이탈하지 않으면서, 많은 선택적인 양태들을 디자인할 수 있을 것이라는 것을 주목해야 한다. 청구항에서, 괄호사이에 있는 어떤 참조기호도 그 청구항을 한정하는 것으로 해석되어서는 안될 것이다. 본 발명은 몇개의 특징적인 구성요소를 포함한 하드웨어와 적절하게 프로그램된 컴퓨터에 의해서 이행될 수 있다.

본 명세서에서는, 현재 필드 n에 대한 부가의 벡터를 결정하는데 사용되는 모션 파라미터를 얻기 위하여, 이전 필드 n-1에 대해 얻어진 모션벡터를 기초로 해서 결정된 파라미터를 사용한다는 것이 설명되었다. 그러나, 24Hz 영화필름으로부터 나온 50Hz 입력신호를 100Hz 출력신호로 변환하는데 있어서, 주어진 필드에 대한 첫번째 추정단계 동안에 결정된 모션벡터들은 같은 필드에 대한 두번째 추정단계에서 사용되는 파라미터를 얻기 위하여 사용될 수 있다. 따라서, 필드 n-1이 필드 n과 같은 필드인 경우가 일어날 수 있다.

본 발명의 바람직한 응용은 회귀적 모션 추정량에 있는 반면에, 부가의 모션 파라미터-종속적인 벡터는 또한 잘 알려진 3-단계 블럭-매칭 알고리즘과 같은 다른 모션 추정량에 응용될 수 있다. 따라서, 청구항에 있는 예정된 모션 벡터라는 표현은, 모션 벡터가 모션 파라미터로부터 꺼내지는 알고리즘 외에 다른 어떤 알고리즘에 따라서 얻어진 후보 모션벡터를 포함한다.

본 발명에 따른 또 다른 실시예에서, 모션 파라미터는, 주어진 필드(n-1)에 대한 모든 모션벡터가 적용되고, 히스토그램의 피이크(peak)가 모션 파라미터를 형성하는 2-D 히스토그램 알고리즘에 따라서 얻어진다. 피이크는 영상에서 매우 자주 발생하고, 아마도 글로벌 모션을 설명하는 모션벡터들을 가리킨다. 피이크에 의해 가리켜진 모션벡터들, 그리고/또는 한 클러스터의 피이크들의 중심점은 부가의 파라메트릭 모션벡터로써 사용될 수 있다. 만약 요구되는 부가의 모션벡터들보다 더 많은 피이크들이 존재한다면, 피이크들에 의해 가리켜진 모션벡터들은 부가의 모션벡터들과 같이 주기의 방법으로 사용될 수 있다.

본 발명에 따른 모션벡터 추정은 바람직하게는, 예를 들어 50Hz 필드 주파수 신호를 100Hz 필드 주파수 신호로 전환하거나, 60Hz 필드 주파수 신호를 50Hz 필드 주파수 신호로 전환하거나 또는 인터레이스된(interlaced) 신호를 순차적인 주사신호로 전환하는 등 주사형식 변환에 적용된다.

Claims

모션 벡터를 추정하는 방법에 있어서,

영상 신호의 주어진 필드(n-1)에 대한 모션 파라미터(p₁-p₄)를 결정하는 단계(PC);

적어도 하나의 소정의 모션 벡터( (x-X, y-Y, n), (x+X, y-Y, n), (x, y+2Y, n-1))과 상기 모션 파라미터(p₁-p₄)로부터 얻어진 (PG) 적어도 하나의 부가의 모션 벡터(PV(X))에 기초해서 상기 영상 신호의 필드(n)에 대한 모션 벡터 , n))를 결정하는 단계를 포함하여 이루어지는 것을 특징으로 하는 모션 벡터 추정 방법.
제 1 항의 방법에 있어서,

상기 적어도 하나의 예정된 모션 벡터 x-X, y-Y, n), x+X, y-Y, n), x, y+2Y, n-1))는 공간적, 시간적으로 이웃한 복수개의 블록들중에서 선택된 한 블록의 픽셀들에 대응하는 적어도 하나의 첫 번째의 예정된 모션 벡터 x, y+2Y, n-1))와 첫번째 또는 또다른 예정된 모션 벡터 x-X, y-Y, n), x+X, y-Y, n))에 갱신 벡터 를 더함으로써 (UP-MUX) 얻어진 두번째 모션 벡터를 포함하는 것을 특징으로 하는 모션 벡터 추정 방법.
제 1 항의 방법에 있어서,

상기 영상 신호의 다음의 필드(n)에 대한 상기 모션 벡터들은 상기 적어도 하나의 예정된 모션 벡터 x-X, y-Y, n), x+X, y-Y, n), x, y+2Y, n-1))와 상기 모션 파라미터(p₁-p₄)로부터 얻어진 (PG) 적어도 하나의 부가의 모션 벡터(PV(x)로부터의 선택에 기초하는 것(SEL)을 특징으로 하는 모션 벡터 추정 방법.
제 1 항의 방법에 있어서,

영상 신호의 상기 주어진 필드(n-1)에 대한 상기 모션 파라미터(p₁-p₄)는 상기 주어진 필드(n-1)에 대해 결정된 모션 벡터들로부터 결정되는 것(PC)을 특징으로 하는 모션 벡터 추정 방법.
제 4 항의 방법에 있어서,

상기 모션 파라미터(p₁-p₄)는 각 모션 파라미터에 대해서, 선택된 모션 벡터들로부터 복수의 파라미터 후보를 결정하는 것과 대응하는 모션 파라미터를 얻기 위하여 상기 복수의 파라미터 후보들의 중앙값을 취하는 것에 의해 계산되어지는 것(PC)을 특징으로 하는 모션 벡터 추정 방법.
제 4 항의 방법에 있어서,

상기 모션 파라미터(p₁-p₄)는 주어진 필드에서 선택된 복수의 모션 벡터들로부터 복수의 수평 그리고 수직 차 벡터 성분을 계산하는 단계;

선택된 수평 그리고 수직 벡터 성분을 얻기 위하여 최소 차이 벡터 성분에 대응하는 수평 그리고 수직 벡터 성분을 선택하는 단계;

그리고, 상기 선택된 수평 그리고 수직 벡터 성분에 따라서 상기 모션 파라미터를 계산하는 단계에 의해 계산되어지는 것(PC)을 특징으로 하는 모션 벡터 추정 방법.
제 4 항의 방법에 있어서,

상기 모션 파라미터(p₁-p₄)는 각 모션 파라미터에 대해서 선택된 모션 벡터들로부터 복수의 파라미터 후보들을 결정하는 단계와, 파라미터들이 상기 영상 신호의 종횡비에 부합할 때까지 부합하는 모션 파라미터를 얻기 위하여 상기 복수의 파라미터 후보들을 주기적으로 적용하는 단계에 의해 계산되어지는 것(PC)을 특징으로 하는 모션 벡터 추정 방법.
제 4 항의 방법에 있어서,

상기 모션 파라미터는 상기 주어진 필드(n-1)에 대해 결정된 상기 모션 벡터에 대한 2 차원 히스토그램 오퍼레이션으로부터 나오는 것을 특징으로 하는 모션 벡터 추정 방법.
제 1 항의 방법에 있어서,

상기 모션 파라미터(p₁..pn)은 상기 영상 신호(MPEG)로부터 받은 모션 벡터(MV)로부터 결정되어지는 것을 특징으로 하는 모션 벡터 추정 방법.
모션 벡터 추정 장치(ME)에 있어서,

영상 신호의 주어진 필드(n-1)에 대한 모션 파라미터(p1-p4)를 결정하는 수단(PC);

적어도 하나의 예정된 모션 벡터 x-X, y-Y, n), x+X, y-Y, n), x, y+2Y, n-1))과 상기 모션 파라미터(p₁-p₄)로부터 얻어진 (PG) 적어도 하나의 부가의 모션 벡터 에 기초한 상기 영상 신호의 필드(n)에 대한 모션 벡터 를 결정하는 수단(SEL)을 포함하는 것을 특징으로 하는 모션 벡터 추정 장치(ME).
비디오 디스플레이 장치에 있어서,

첫번째 주사 형식에서 영상 신호를 받아들이기 위한 입력(A);

상기 첫번째 주사 형식과 다른 두번째 주사 형식에서 출력 영상 신호를 제공하기위한 상기 입력에 결합된 모션-보상된 보간 장치(ME, FM2, I); 및

상기 두번째 주사 형식에서 상기 출력 영상 신호를 디스플레이하기 위한 디스플레이(Dp);를 포함하고, 상기 모션-모상된 보간 장치(ME, FM2, I)는 청구항 10의 모션 벡터 추정 장치(ME)를 포함하는 것을 특징으로 하는 비디오 디스플레이 장치.