KR100798283B1 - 글로벌 모션 추정 방법 및 장치 - Google Patents

Abstract

본 발명은 프레임들의 시퀀스의 인입 프레임 F(n)과, 비디오 시퀀스의 이전 프레임들 F(1), F(2), ..., F(n-1)로부터 구성된, 대형 정적 이미지 M(n-1) 간의 글로벌 모션 추정 방법을 기술한다. 이 모션 추정 방법은 8개의 모션 파라미터들을 포함하는 2차원 투시 변환(two-dimensional perspective transform)에 기초한 모션 모델을 사용한다. 본 발명에서, 8개의 모션 파라미터들은 인입 프레임의 4개의 꼭지점들의 좌표들이다. 본 발명에 따른 모션 추정 방법은 비용 함수를 최적화시킴으로써 원래의 직사각형 이미지의 네 모서리들의 임의의 위치가 그 다음것에 적합할 수 있게 한다. 이러한 발명은 스프라이트 생성 또는 모자이킹과 같은 MPEG-4, 및 특히, MPEG-7 기준에 관한 응용들을 위해 유용할 수 있다.

글로벌 모션 추정, 모션 파라미터, 화소, 인입 프레임, 대형 정적 이미지, 비용 함수, 2차원 투시 변환

Description

글로벌 모션 추정 방법 및 장치{Method of and device for global motion estimation}

본 발명은 프레임들의 시퀀스의 인입 프레임(incoming frame) F(n)과 대형 정적 이미지(large static image) M(n-1) 간의 모션을 추정하기 위한 방법 및 그 해당 장치에 관한 것이고, 상기 대형 정적 이미지는 상기 시퀀스의 이전 프레임들 F(1) ...F(n-1)로부터 구성되며, 상기 모션 추정 방법은 8개의 모션 파라미터들을 포함하는 2차원 투시 변환(two-dimensional perspective transform)에 기초한 모션 모델을 사용하고 비용 함수의 최적화 단계를 포함한다.

이러한 발명은 스프라이트(sprite) 생성 또는 모자이킹과 같은 MPEG-4, 및 특히, MPEG-7 기준에 관한 응용들을 위해 사용될 수 있다.

위와 같은 종류의 한 방법이 특허 출원 제 WO98/59497 호로부터 알려진다. 이 특허 출원은 비디오 시퀀스의 프레임 내에서 비디오 객체들로부터 스프라이트를 생성하기 위한 비디오 코딩에서 사용되는 방법을 기술한다. 그 방법은 현재 프레임내의 비디오 객체와 이전 프레임들을 위한 비디오 객체들로부터 구성된 스프라이트 간의 글로벌 모션을 추정한다. 구체적으로, 글로벌 모션 추정 방법은 비디오 객체내의 화소들과 스프라이트 내의 대응 화소들 간의 인텐서티 에러(intensity error)들을 최소화하는 2차원 변환의 모션 계수들을 계산한다. 레벤버그-마쿼츠(Levenberg-Marquardt) 방법은, 최소화에 있어 인텐서티 에러들에 관한 분석적 함수로 구성되는 최소화 단계를 위해 기용되고, 가장 대표적인 점들의 선택 및 아웃라이어들(outliers)로서의 다른 것들의 거부를 허용한다.

그럼에도 불구하고, 위에서 기술된 글로벌 모션 추정 방법은 몇가지 결점들을 가진다. 주된 결점은 그 방법이, 글로벌 모션을 따르지 않고 그들 자신의 모션을 갖는 객체들에 대응하는 화소들인, 아웃라이어들에게 매우 민감하다는 것이다. 이는 글로벌 모션 추정 방법이 종종 몇가지 특별한 비디오 시퀀스들을 가지고 실패할 수 있다는 것을 의미한다. 다른 결점은, 또한 어떤 종류의 비디오 시퀀스들을 위해 효율적이고 신속하게 수렴하는 데 있어서 그 방법의 무력함이다.

그러므로 본 발명의 목적은 아웃라이어들에게는 강경하나 또한 효율적이고 신속한 수렴을 허용할 수 있는 다른 글로벌 모션 추정 방법을 제안하는 것이다.

이 목적을 위해, 본 발명에 따른 방법은 8개의 모션 파라미터들이 인입 프레임의 4개의 꼭지점들의 좌표들이고, 상기 꼭지점들은 비용 함수의 최적 조건에 대응하는 모션 파라미터들의 추정을 발견하기 위해 연속적으로 두 방향들로 이동되는 것을 특징으로 한다.

모션 추정 방법은 수치 함수를 최적화함으로써 연속적으로 및 반복적으로 8개의 모션 파라미터들을 다루는 기하학적 접근에 기초하는 반면에, 레벤버그-마쿼츠 알고리즘에 기초하는 배경 기술의 접근은 분석적 함수를 최소화함으로써 동시에 8개의 모션 파라미터들을 다룬다. 결과적으로, 네 꼭지점들의 변위에 기초하는 모션 추정 방법은 배경 기술에서 사용되는 것보다 아웃라이어들에게 더 강경하다는 것이 입증되었다.

본 발명에 따른 방법은 또한, 그 모션 추정 방법이 8개의 모션 파라미터들의 추정을 결정하기 위해, 각 반복에 있어, 최적화 단계를 포함하는, 제 1 반복적 방법을 포함하고, 그 뒤를 마지막 변형을 고려함으로써 네 꼭지점들 각각의 모션의 두 방향들의 계산 단계가 뒤따르고, 상기 반복적 방법은 한정된 기준에 도달할 때까지 수행되는 것을 특징으로 한다.

반복적 방법은 상기 방법의 수렴을 개선하는 포웰의 알고리즘(Powell's algorithm)에 기초한다.

본 발명에 따른 방법은 결국, 모션 파라미터들을 연속적으로 추정하기 위해 최적화 단계가, 각 반복에 있어, 비용 함수 값들의 포물선형 보간법 연산 (parabolic interpolation operation)을 수행하는 제 2 반복적 방법을 포함하는 것을 특징으로 한다.

포물선형 보간법 연산의 사용은 모션 추정 방법의 수렴을, 특히 큰 모션의 경우에 더 신속하게 만든다.

결과적으로, 본 모션 추정 방법은 편리하게 스프라이트 또는 모자이크와 같은 대형 정적 이미지(large static image)를 생성하기 위한 방법에 포함될 수 있고, 그러한 대형 정적 이미지를 생성하기 위한 장치에서 수행될 수 있다.

본 발명의 이들 및 다른 측면들은 이하에서 기술되는 실시예들을 참조하여 분명해지고 명료해질 것이다.
본 발명은 첨부된 도면들을 참조하여, 예에 의해, 설명될 것이다.

삭제

도 1은 제 1 반복을 위한 최적화 단계의 기하학적 표현을 도시한 도면.

도 2는 두개의 제 1 도면들을 위한 모션 파라미터들의 자동 초기화를 수행하는 데 사용되는 프로세스를 위한 순서도.

도 3은 모션 파리미터들을 최적화하는 데 사용되는 반복적 프로세스를 위한 순서도.

도 4는 반복(l+1)을 위한 최적화 단계의 기하학적 표현을 도시한 도면.

도 5는 대형 정적 이미지 생성 장치의 체계를 도시한 도면.

본 발명은 프레임들의 시퀀스의 인입 프레임 F(n)과 비디오 시퀀스의 이전 프레임들 F(1), F(2), ..., F(n-1)로부터 구성된 대형 정적 이미지 M(n-1) 간의 새로운 글로벌 모션 추정 방법을 제안한다.

모션 추정 방법의 원칙은 도 1에 도시된다. 상기 모션 추정 방법은, 두 프레임들 간의 모션의 특징을 나타내기 위해, 투시 모델(perspective model)이라고도 불리는 2차원 투시 변환(two-dimensional perspective transform)에 기초한 모션 모델을 사용한다. 이 모델은 8개의 모션 파라미터들을 포함하고 그것이 예를 들어 이동(translation), 줌(zoom), 회전(rotation)과 같은 다른 것들보다 더 큰 카메라 모션 가능성들을 허용하기 때문에 선택된다. 투시 모델의 사용은 두가지 다음 경우들에서 유효하다.

- 모든 시각들은 동일한 광 센터(optical center)를 공유한다. 이것은

거의 카메라가 회전 삼각대에 고정된 경우이다: 회전축은 카메라의 광

센터를 통해 또는 매우 가까이 지나갈수도 있다. 캡쳐된 객체들이 카

메라로부터 매우 멀리 떨어져 있다면, 이 가정은 항상 입증된다.

- 캡쳐된 장면(captured scene)은 편평한 표면에 대응한다.

투시 영상(perspective projection)은 직사각형을 다각사변형으로 변환한다. 다각사변형의 네 꼭지점들의 2차원 좌표들은 투시 영상의 8개의 모션 파라미터들 a₀ 내지 a₇을 완전하게 정의한다. 따라서, 8개의 모션 파라미터들은, 본 발명에서, 네 개의 꼭지점들의 2차원 좌표들이고, 그것은 프로세스의 초기에 A(0)(a₀(0),a₁(0)), B(0)(a₂(0),a₃(0)), C(0)(a₄(0),a₅(0)), 및 D(0)(a₆(0),a₇(0))이다.

본 발명에 따른 모션 추정 방법은 원래 직사각형 이미지의 네 모서리들의 임의의 변위가 비용 함수의 최적화에 의해 그 다음것에 맞추는 것을 가능하게 한다. 이러한 네 꼭지점들을 위한 초기 위치로부터 시작해서, 모션 파라미터들의 초기 세트(set)에 대응하여, 그 방법은 네 꼭지점들의 약간의 변위들에 의해 비용 함수를 최적화하도록 노력한다. 각 꼭지점은 비용 함수를 위한 로컬 최적 조건(local optimum)을 발견하기 위해 그 초기 위치 주변에서 소량 이동된다. 비용 함수의 최적 조건을 발견하기 위해, 예를 들어, A(0)는 이 특정 경우에 수평방향인 방향 d₁(0)을 따라 이동된다. 그때, 다른 최적 조건이 새로운 꼭지점 A(1)(a₀(1),a₁(1))을 제공하면서 발견될 때까지, 획득된 점은 이 특정 경우에 수직 방향인 방향 d₂(0)를 따라 이동된다. 이 연산은 그때 다른 꼭지점들을 위해 연속적으로 수행되고 새로운 다각사변형 이미지가 획득된다.

바람직한 실시예에서, 비용 함수는 DFD(Displaced Frame Difference)에 관한 것이다. DFD 측정은 다음과 같이 인입 프레임 F(n)과 현재의 대형 정적 이미지 M(n-1) 둘다 오버랩하는 영역 S에 속하는 화소들상에서 계산된다:

여기서 r_p는 다음과 같이 정의되는 화소 p의 원래 값과 예측된 값들 간의 차이이다:

r_p = L(x,y) - L(x',y')

여기서: - L(x,y)는 인입 프레임 F(n)의 화소 p(x,y)에 대응하는

비디오 신호의 광도값(luminance value)이고,

- L(x',y')는 대형 정적 이미지 M(n-1)의 화소 p'(x',y')

에 대응하는 비디오 신호의 광도값이다.

(x',y')는 대형 정적 이미지로부터 추출되는 화소 p'의 부동 소수점(floating point) 값이다. 이 화소에 대응하는 광도값은, 겹선형 보간법(bilinear interpolation)을 사용하여, 각각의 광도값들 L0, L1, L2, 및 L3를 가진 (x₀,y₀), (x₁,y₁), (x₂,y₂), (x₃,y₃)인, 이미지에서의 네개의 가장 밀접한 정수 좌표들을 고려하여 계산된다:

비용 함수의 최적화는, 이 경우에, DFD(displaced frame difference)의 최소화이다. DFD는 여기서 비디오 신호들의 광도값들을 가지고 계산되지만 또한 비디오 신호들의 색상을 가지고도 계산될 수 있다.

다른 실시예에서, 비용 함수는 DFC(Displaced Frame Correlation)에 관한 것이다. DFC 측정은 다음과 같이 인입 프레임 F(n)과 현재의 대량 정적 이미지 M(n-1) 둘 모두를 오버랩하는 영역 S에 속하는 화소들에 대해 계산된다:

비용 함수의 최적화는, 이 경우에, DFC의 최대화이다. DFD는 여기서 비디오 신호들의 광도 값들을 가지고 계산되지만 또한 비디오 신호들의 색상 값들을 가지고도 계산할 수 있다.

본 발명에 따른 모션 추정 방법은 두개의 주 단계들을 포함한다:

- 제 1 단계는 두개의 제 1 프레임들을 위해 모션 파라미터들을 자동적으로 초기화하도록 수행된다.

- 제 2 단계 동안, 각 모션 파라미터는 DFD에 관한 비용 함수를 최소화함으

로써 독립적으로 최적화된다. 이 비용 함수 cost()는, 바람직한 실시예에서,

다음과 같이 정의되는 가중된 평균 제곱 에러(weighted mean square error)

이다:

여기서 w_p는 가중 계수이고, 그것은 다음과 같이 정의된다:

여기서 ρ는 r_p=0에서 고유 최대값을 갖는 대칭인, 양으로 한정된 함수

(positive-definite function)이다.

ρ함수는 아웃라이어(outlier)들의 영향을 줄이기 위해 선택된다. 바람직한

실시예에서, ρ함수는 다음과 같이 정의된 로렌트지안 함수(lorentzian

funtion)이다:

여기서 σ는 스케일 팩터(scale factor)이다.

다음과 같이 정의된, 예를 들어 져먼 앤 맥클루어 함수(German and McClure funtion)와 같은, 다른 ρ함수들이 본 발명을 위해 적절할 수 있다:

제 2 실시예에서, 비용 함수는 다음과 같이 화소의 구배 p(grad_p) 상의 정보를 고려한 다른 가중된 평균 제곱 에러이다:

여기서 T는 제로에 가까운 임계치이고 가중 계수 w_p는 다음과 같이 정의된다:

이 제 2 실시예에서, 평균 제곱 에러의 가중 계수 w_p는 큰 에러들을 가진 큰 변위들보다 오히려 작은 에러들을 가진 작은 변위들을 선호하기 위해 그것을 각 화소 위치에서의 모든 가중치들의 합에 의해 나눔으로서 표준화된다. 게다가, 구배 정보의 소개는 다음을 허용한다:

- 구배가 임계치 T보다 더 높고, 이 영역들은 정합하는 목적들(matching

purposes)에 더 적절한, 영역들에 더 많은 중요성을 부여하는 것.

- 구배가 임계치 T 아래이고 따라서 비용 추정의 속도를 증가시키는 것이

가능한, 영역들은 버리는 것.

도 2는 두 개의 제 1 프레임들을 위한 모션 파라미터들의 자동적 초기화를 수행하는 데 사용되는 방법을 도시하는 순서도이다.

바람직한 실시예에서, 두개의 모션 파라미터들만을 요하는 이동 변환 (translation transform)은, 아무 예측도 유용하지 않은, 비디오 시퀀스의 두개의 제 1 프레임들 간의 변위들의 제 1 근사값을 얻기 위해 사용된다.

자동 초기화 단계는 다음을 포함한다:

- 수평방향으로 비용 함수의 최소값에 대응하는 화소 위치 xx_min의 초기화

부-단계 (INI): xx_min = 0,

- 수평방향으로 인입 프레임상에 이동(translation)들을 적용할 때

비용 함수 cost()의 최소값에 대응하는 화소 위치의 값j의 계산 부-단계

(CALC), 이동 벡터의 크기 i는 -5와 +5 화소들 사이에 포함된다:

여기서 Argmin은 비용 함수의 최소값에 대응하는 가로좌표를 되돌리는 함

수이고, 고려된 방향을 위한 두 프레임들 간의 변위를 여기서 제공한다.

- j의 값 상에서의 테스트(Cj),

- 만약 테스트가 만족스럽지 않다면(j는 제로가 아니다), 값 xx_min의 검산

(recalculation)(INC)의 부-단계: xx_min = xx_min + j,

- 만약 테스트가 만족스럽다면(j = 0), 수평방향으로 최후의 이동 xx_min

을 제공하는 프로세스의 종단(RES).

이동 yy_min이 수행되는가를 알기 위해 동일한 알고리즘이 수직 방향으로 적용된다.

도 3은 모션 파라미터들을 최적화하는 데 사용되는 반복적 프로세스를 도시하는 순서도이다. 이 방법은 포웰의 수렴(Powell's convergence) 방법에 기초한다.

네 꼭지점들의 좌표들에 대응하는, 8개의 모션 파라미터들의 세트는 0≤k≤7 를 가진 a_k(0)내에서, 글로벌 모션의 예측에 의해 주어진 값들로 초기화된다.

모션 파라미터들의 최적화 단계는 다음을 포함한다:

- k와 카운터 l의 초기화 부-단계(INIkl): k = l = 0,

- k의 값 상에서의 테스트(Ck),

- k의 값이 8(y)보다 엄격히 낮다면, 비용 함수 cost()의 최소값에 대

응하는 모션 파라미터 a_k(l+1)의 값의 계산(Pl)의 부-단계:

그 뒤를 k(INCk) 중 하나에 의한 증가화의 부-단계가 뒤따른다.

- 반대 경우(n)에서, a_k(l+1)와 a_k(l) 간의 차이의 절대 값의, k의 다른

값들을 위한, 최대값 M 상의 제 2 테스트(Ca):

- M값이 임계치(y)보다 낮다면, 프로세스의 종단(RESa)이 a_k(l+1)의 값들을

제공하는 단계,

- 반대의 경우(n)에, l(INCl) 중 하나에 의한 증가화의 부-단계와 k(INIk)

의 재-초기화의 부-단계가 뒤따르는, 최소화(DIR)의 새로운 방향들의

계산의 부-단계.

값 a_k(l+1)의 계산(PI)의 부-단계는 포물선형 보간법들(parabolic interpolations)을 사용하여 수행된다. 제 1 포물선형 보간법은 세 개의 연속되는 화소들에 대응하는 비용 함수의 값들 상에서 수행된다. 그때, 새로운 포물선형 보간법이 이전에 발견된 포물선의 최소값에 가장 가까운 세 개의 화소들상에서 수행된다. 프로세스는 포물선의 최소값이 세 개의 조사된 화소들에 의해 정의된 창에 포함될 때 끝난다. 그러한 계산 방법은 최적화 단계의 수렴을 증가시킨다. 포물선형 보간법 연산이 불가능할 때(즉 포물선이 최소값 대신에 최대값을 가질 때), a_k(l+1)의 값의 계산은 구배 내림(gradient descent)을 사용하여 수행되고, 구배 내림은 상기 비용 함수의 최소값에 도달할 때까지 연속적인 화소들의 비용 함수 값의 연속적인 비교들로 존재한다.

도 1에서 도시된 바와 같이, l=0일 때, 비용 함수를 최소화하기 위한 8개의 파라미터들이 뒤따르는 방향들은 가로좌표에 대해서는 수평이고 세로 좌표들에 대해서는 수직이다. 도 4에서 기술된 것처럼, l≥1일 때, 최적화를 위해 뒤따라지는 방향들은 마지막 변형이 주어지며 재검토된다. 최적화 방향은 세 개의 다른 꼭지점들을 위한 꼭지점 A(l-1)에서 꼭지점 A(l)로 가는 방향 d₁(l)과 그의 직각 d₂(l) 등등으로 정의된다.

이 모션 추정 방법은, 스프라이트 또는 모자이크와 같은, 대형 정적 이미지 M(n)를 생성하기 위한 방법 및 그 해당 장치에서 사용될 수 있다. 그러한 방법은 도 5에서 기술된다.

세 개의 주 단계들은 대형 정적 이미지 M(n) 생성을 구성할 수 있다. 먼저, 본 발명에 따른 글로벌 모션 추정 단계(ME)는 인입 프레임 F(n)을 이미 이전 프레임들 F(1), F(2), ..., F(n-1)로 구성된 대형 정적 이미지 M(n-1)과 병합하기 위해 수행되야 한다. 상기 글로벌 모션 추정 단계(ME)는 모션 파라미터들 a_k를 제공한다. 현재의 프레임은 그때 모션 파라미터들을 사용하여 보상되며; 이 제 2 단계는 또한 워핑(WAR:warping)이라고도 불린다. 워핑된 현재 프레임 F(n)은 장면의 연속적인 시각(panoramic view)을 제공하는 새로운 일체된 대형 정적 이미지 M(n)을 형성하기 위해 마지막으로 대형 정적 이미지 M(n-1)과 혼합되고(BLE), 그것은 그 다음의 인입 프레임 F(n+1) 등과 병합되기 위해 메모리(MEM)에 저장된다.

본 발명은 프레임들의 시퀀스의 인입(incoming) 프레임 F(n)과 대형 정적 이미지 M(n-1) 간의 모션을 추정하기 위한 방법 및 그 해당 장치에 관한 것이고, 아웃라이어들에게는 강경하나 또한 효율적이고 신속한 수렴을 허용하는 다른 글로벌 모션 추정 방법을 제안한다.

Claims (10)

1. 프레임들의 시퀀스의 인입 프레임(incoming frame) F(n)과 대형 정적 이미지 M(n-1) 간의 모션을 추정하는 방법으로서, 상기 대형 정적 이미지는 상기 시퀀스의 이전 프레임들 F(1)...F(n-1)로부터 구성되고, 상기 모션 추정 방법은 8개의 모션 파라미터들을 포함하는 2차원 투시 변환(two-dimensional perspective transform)에 기초한 모션 모델을 사용하고 비용 함수의 최적화 단계를 포함하고, 상기 8개의 모션 파라미터들은 상기 인입 프레임의 네 꼭지점들의 좌표들이고, 상기 꼭지점들은 상기 비용 함수의 최적 조건에 대응하는 상기 모션 파라미터들의 추정을 발견하기 위해 두 방향들로 연속적으로 이동되는, 상기 모션 추정 방법에 있어서,

   상기 비용 함수는 화소들의 세트에 대해, 값이 차이 r_p에 의존하는 가중 계수 w_p와 화소 p의 원래 값과 예측된 값 사이의 차이 r_p의 제곱의 곱들의 합으로부터 도출되는 것을 특징으로 하며, 상기 비용 함수는

   

   에 의해 정의되는, 모션 추정 방법.
2. 제 1 항에 있어서, 상기 가중 계수 w_p는 r_p의 역 및 ρ(r_p)의 도함수의 함수이며, ρ는, r_p=0에서 고유 최대값을 갖는 대칭인, 양으로 한정된 함수(positive-definite function)인 것을 특징으로 하는, 모션 추정 방법.
3. 프레임들의 시퀀스의 인입 프레임(incoming frame) F(n)과 대형 정적 이미지 M(n-1) 간의 모션을 추정하는 방법으로서, 상기 대형 정적 이미지는 상기 시퀀스의 이전 프레임들 F(1)...F(n-1)로부터 구성되고, 상기 모션 추정 방법은 8개의 모션 파라미터들을 포함하는 2차원 투시 변환(two-dimensional perspective transform)에 기초한 모션 모델을 사용하고 비용 함수의 최적화 단계를 포함하고, 상기 8개의 모션 파라미터들은 상기 인입 프레임의 네 꼭지점들의 좌표들이고, 상기 꼭지점들은 상기 비용 함수의 최적 조건에 대응하는 상기 모션 파라미터들의 추정을 발견하기 위해 두 방향들로 연속적으로 이동되는, 상기 모션 추정 방법에 있어서,

   상기 비용 함수는 화소들의 세트에 대해, 값이 차이 r_p에 의존하는 가중 계수 w_p와 화소 p의 원래 값과 예측된 값 사이의 차이 r_p의 제곱의 곱들의 합으로부터 도출되는 것을 특징으로 하며, 상기 비용 함수는

   

   에 의해 정의되고, T는 임계치인, 모션 추정 방법.
4. 제 3 항에 있어서, 상기 가중 계수 w_p는

   

   에 의해 정의되며, grad_p는 화소 p의 구배(gradient)이고, σ는 스케일 팩터인 것을 특징으로 하는, 모션 추정 방법.
5. 제 1 항에 있어서, 상기 모션 추정 방법은 2차원 이동 변환(translation transform)을 사용하는 2개의 제 1 프레임들을 위한 상기 모션 파라미터들의 자동 초기화의 단계를 포함하는 것을 특징으로 하는, 모션 추정 방법.
6. 제 1 항에 있어서, 상기 모션 추정 방법은 상기 8개의 모션 파라미터들의 추정을 결정하기 위해, 각 반복에서, 상기 최적화 단계를 포함하는 제 1 반복적 방법을 포함하고, 이어서 마지막 변형(deformation)을 고려함으로써 상기 네개의 꼭지점들 각각의 모션의 두 방향들의 계산 단계가 뒤따르며, 상기 반복적 방법은 정의된 기준이 도달될 때까지 수행되는 것을 특징으로 하는, 모션 추정 방법.
7. 제 1 항에 있어서, 상기 최적화 단계는 연속적으로 상기 모션 파라미터들을 추정하기 위해, 각 반복에서, 상기 비용 함수 값들의 포물선형 보간법 연산(parabolic interpolation operation)을 수행하는 제 2 반복적 방법을 포함하는 것을 특징으로 하는, 모션 추정 방법.
8. 제 1 항 또는 제 3 항에 따른 모션 추정 방법을 포함하는, 대형 정적 이미지 M(n)을 생성하는 방법에 있어서,

   추정된 모션 파라미터들을 사용하여 인입 프레임 F(n)을 보상하는 단계, 및

   상기 대형 정적 이미지 M(n)을 형성하기 위해 상기 보상된 인입 프레임 F(n)을 상기 대형 정적 이미지 M(n-1)과 혼합(blend)하는 단계를 포함하는, 생성 방법.
9. 대형 정적 이미지 M(n)을 생성하는 장치에 있어서,

   프레임들의 시퀀스의 인입 프레임 F(n)과 대형 정적 이미지 M(n-1) 간의 모션을 추정하는 수단으로서, 상기 대형 정적 이미지는 상기 시퀀스의 이전 프레임들 F(1)...F(n-1)로부터 구성되고, 상기 장치는 8개의 모션 파라미터들을 포함하는 2차원 투시 변환에 기초한 모션 모델을 실행하고 비용 함수를 최적화하는 수단을 포함하고, 상기 8개의 모션 파라미터들은 상기 인입 프레임의 네 꼭지점들의 좌표들이고, 상기 꼭지점들은 상기 비용 함수의 최적 조건에 대응하는 상기 모션 파라미터들의 추정을 발견하기 위해 두 방향들로 연속적으로 이동되고, 상기 비용 함수는 화소들의 세트에 대해, 값이 차이 r_p에 의존하는 가중 계수 w_p와 화소 p의 원래 값과 예측된 값 사이의 차이 r_p의 제곱의 곱들의 합으로부터 도출되며, 상기 비용 함수는

   

   에 의해 정의되는, 상기 모션 추정 수단,

   상기 추정된 모션 파라미터들을 사용하여 상기 인입 프레임 F(n)을 보상하는 수단, 및

   상기 대형 정적 이미지 M(n)을 형성하기 위해 상기 보상된 인입 프레임 F(n)을 상기 대형 정적 이미지 M(n-1)과 혼합하는 수단을 포함하는, 생성 장치.
10. 대형 정적 이미지 M(n)을 생성하는 장치에 있어서,

    프레임들의 시퀀스의 인입 프레임 F(n)과 대형 정적 이미지 M(n-1) 간의 모션을 추정하는 수단으로서, 상기 대형 정적 이미지는 상기 시퀀스의 이전 프레임들 F(1)...F(n-1)로부터 구성되고, 상기 장치는 8개의 모션 파라미터들을 포함하는 2차원 투시 변환에 기초한 모션 모델을 실행하고 비용 함수를 최적화하는 수단을 포함하고, 상기 8개의 모션 파라미터들은 상기 인입 프레임의 네 꼭지점들의 좌표들이고, 상기 꼭지점들은 상기 비용 함수의 최적 조건에 대응하는 상기 모션 파라미터들의 추정을 발견하기 위해 두 방향들로 연속적으로 이동되고, 상기 비용 함수는 화소들의 세트에 대해, 값이 차이 r_p에 의존하는 가중 계수 w_p와 화소 p의 원래 값과 예측된 값 사이의 차이 r_p의 제곱의 곱들의 합으로부터 도출되며, 상기 비용 함수는

    

    에 의해 정의되고, T는 임계치인, 상기 모션 추정 수단,

    상기 추정된 모션 파라미터들을 사용하여 상기 인입 프레임 F(n)을 보상하는 수단, 및

    상기 대형 정적 이미지 M(n)을 형성하기 위해 상기 보상된 인입 프레임 F(n)을 상기 대형 정적 이미지 M(n-1)과 혼합하는 수단을 포함하는, 생성 장치.

Images