KR20010080523A - 글로벌 모션 추정의 방법 - Google Patents

Abstract

본 발명은 프레임들의 시퀀스의 입중계(incoming) 프레임 F(n)과, 비디오의 이전 프레임들 F(1), F(2), ..., F(n-1)로부터 구성된, 대형 정적 이미지 M(n-1)사이에 글로벌 모션 추정 방법을 기술한다. 이 모션 추정 방법은 8개의 모션 파라미터들을 포함하는 2차원 투시 변형(two-dimensonal perspective transform)에 근거한 모션 모델을 사용한다. 본 발명에서, 8개의 모션 파라미터들은 입중계 프레임의 4개의 꼭지점들의 좌표들이다. 본 발명에 따른 모션 추정 방법은 비용 함수를 최적화시킴으로서 본래의 직사각형 이미지의 네 모서리들의 임의의 위치가 그 다음것에 적합할 수 있게 한다. 그러한 발명은 스프라이트 생성 또는 모자이킹과 같은 MPEG-4 및, 더 특별히, MPEG-7 기준에 관한 응용들을 위해 사용될 수 있다.

Description

글로벌 모션 추정의 방법 {Method of global motion estimation}

위와 같은 종류의 한 방법이 특허 출원 WO98/59497 로부터 주지된다. 이 특허 출원은 비디오 시퀀스의 프레임내에서 비디오 객체(object)들로부터 스프라이트를 생성하기 위한 비디오 코딩에서 사용되는 방법을 기술한다. 그 방법은 현재 프레임내의 비디오 객체와 이전 프레임들을 위한 비디오 객체들로부터 구성된 스프라이트 간의 글로벌 모션을 추정한다. 구체적으로, 글로벌 모션 추정 방법은 비디오 객체내의 화소들과 스프라이트 내의 대응 화소들간의 인텐서티 에러(intensity error)들을 최소화하는 2차원 변형의 모션 계수들을 계산한다. 레벤버그-마쿼츠(Levenberg-Marquardt) 방법은, 최소화에 있어 인텐서티 에러들에 관한 분석적 함수로 구성되는 최소화 단계를 위해 기용되고, 가장 대표적인 점들의 선택 및 아웃라이어들(outliers)로서의 다른 것들을 거부를 허용한다.

그럼에도 불구하고, 위에서 기술된 글로벌 모션 추정 방법은 몇가지 결점들을 가진다. 주된 결점은 그 방법이, 글로벌 모션을 따르지 않고 그들 자신의 모션을 갖는 객체들에 대응하는 화소들인, 아웃라이어들에게 매우 민감하다는 것이다. 그것은 글로벌 모션 추정 방법이 종종 몇가지 특별한 비디오 시퀀스들을 가지고 실패할 수 있다는 것을 의미한다. 또다른 결점은, 또한 어떤 종류의 비디오 시퀀스들을 위해 효율적이고 신속하게 수렴하는 데 있어서 그 방법의 무력함이다.

본 발명은 프레임들의 시퀀스의 입중계(incoming) 프레임 F(n)과 대형 정적 이미지(large static image) M(n-1) 간의 모션을 추정하기 위한 방법 및 그 해당 장치에 관한 것이고, 상기 대형 정적 이미지는 상기 시퀀스의 이전 프레임들 F(1) ...F(n-1)로부터 구성되며, 상기 모션 추정 방법은 8개의 모션 파라미터들을 포함하는 2차원 투시 변형(two-dimensional perspective transform)에 근거한 모션 모델을 사용하고 비용 함수의 최적화 단계를 포함한다.

그러한 발명은 스프라이트(sprite) 생성 또는 모자이킹과 같은 MPEG-4 및, 더 특별히, MPEG-7 기준에 관한 응용들을 위해 사용될 수 있다.

본 발명은 첨부된 도면들을 참조하여, 예에 의해, 설명될 것이다:

도 1은 제1 반복을 위한 최적화 단계의 기하학적 표현을 도시한다.

도 2는 두개의 제1 도면들을 위한 모션 파라미터들의 자동 초기화를 실행하는 데 사용되는 프로세스를 위한 순서도이다.

도 3은 모션 파리미터들을 최적화하는 데 사용되는 반복적 프로세스를 위한 순서도이다.

도 4는 반복(l+1)을 위한 최적화 단계의 기하학적 표현을 도시한다.

도 5는 대형 정적 이미지 생성 장치의 체계를 도시한다.

본 발명의 목적은 그러므로 아웃라이어들에게는 강경하나 또한 효율적이고 신속한 수렴은 허용할 수 있는 또다른 글로벌 모션 추정 방법을 제안하는 것이다.

이 목적을 위해, 본 발명에 따른 방법은 8개의 모션 파라미터들이 입중계 프레임의 4개의 꼭지점들의 좌표들이고, 상기 꼭지점들은 비용함수의 최적 조건에 대응하는 모션 파라미터들의 추정을 발견하기 위해 연속적으로 두 방향들로 이동되는 것을 특징으로 한다.

그 모션 추정 방법은 수치 함수를 최적화함으로서 연속적으로 및 반복적으로 8개의 모션 파라미터들을 다루는 기하학적 접근에 근거하는 반면에, 레벤버그-마쿼츠(Levenberg-Marquardt) 알고리즘에 근거하는 배경 기술의 접근은 분석적 함수를 최소화함으로서 동시에 8개의 모션 파라미터들을 다룬다. 결과적으로, 네 꼭지점들의 변위에 근거하는 모션 추정 방법은 배경 기술에서 사용되는 것보다 아웃라이어들에게 더 강경하다는 것이 입증되었다.

본 발명에 따른 방법은 또한, 그 모션 추정 방법이 8개의 모션 파라미터들의 추정을 결정하기 위해, 각 반복에 있어, 최적화 단계를 포함하는, 제1 반복적 방법을 포함하고, 그 뒤를 마지막 변형을 고려함으로써 네 꼭지점들 각각의 모션의 두 방향들의 계산 단계가 뒤따르고, 상기 반복적 방법은 한정된 기준에 도달할 때까지 실행되는 것을 특징으로 한다.

반복적 방법은 상기 방법의 수렴을 개선하는 포웰의 알고리즘(Powell's algorithm)에 근거한다.

본 발명에 따른 방법은 결국, 모션 파라미터들을 연속적으로 추정하기 위하여 최적화 단계가, 각 반복에 있어, 비용 함수 값들의 포물선형 보간법 연산 (parabolic interpolation operation)을 실행하는 제2 반복적 방법을 포함하는 것을 특징으로 한다.

포물선형 보간법 연산의 사용은 모션 추정 방법의 수렴을, 특히 큰 모션의 경우에 더 신속하게 만든다.

결과적으로, 본 모션 추정 방법은 편리하게 스프라이트 또는 모자이크와 같은 대형 정적 이미지(large static image)를 생성하기 위한 방법에 포함될 수 있고, 그러한 정적 이미지를 생성하기 위한 장치에서 실행될 수 있다.

본 발명의 이들 및 다른 측면들은 이하에서 기술되는 실시예들을 참조하여 분명해지고 밝혀질 것이다.

본 발명은 프레임들의 시퀀스의 입중계(incoming) 프레임 F(n)과 비디오 시퀀스의 이전 프레임들 F(1), F(2), ..., F(n-1)로부터 구성된 대형 정적 이미지 M(n-1) 간의 새로운 글로벌 모션 추정 방법을 제안한다.

모션 추정 방법의 원칙은 도 1에 묘사된다. 상기 모션 추정 방법은, 두 프레임들 사이의 모션의 특징을 나타내기 위해, 투시 모델(perspective model)이라고도 불리는 2차원 투시 변환(two-dimensional perspective transform)에 근거한 모션 모델을 사용한다. 이 모델은 8개의 모션 파라미터들을 포함하고 그것이 예를 들어 이동(translation), 줌(zoom), 회전(rotation)과 같은 다른 것들보다 더 큰 카메라 모션 가능성들을 허용하기 때문에 선택된다. 투시 모델의 사용은 두가지 다음 경우들에서 유효하다.

- 모든 시각들은 동일한 광 센터(optical center)를 공유한다. 이것은

거의 카메라가 회전 삼각대에 고정된 경우이다: 회전축은 카메라의 광

센터를 통해 또는 매우 가까이 지나갈수도 있다. 캡쳐된 객체들이 카

메라로부터 매우 멀리 떨어져 있다면, 이 가정은 항상 입증된다.

- 캡쳐된 장면(captured scene)은 편평한 표면에 대응한다.

투시 영상(perspective projection)은 직사각형을 다각사변형으로 변환한다. 다각사변형의 네 꼭지점들의 2차원 계수들은 투시 영상의 8개의 모션 계수들 a₀에서 a₇을 완전하게 정의한다. 따라서, 8개의 모션 파라미터들은, 본 발명에서, 네 개의 꼭지점들의 2차원 계수들이고, 그것은 프로세스의 초기에 A(0)(a₀(0),a₁(0)), B(0)(a₂(0),a₃(0)), C(0)(a₄(0),a₅(0)), 및 D(a₆(0),a₇(0))이다.

본 발명에 따른 모션 추정 방법은 본래 직사각형 이미지의 네 모서리들의 임의의 변위가 비용함수의 최적화에 의해 그 다음것에 맞추는 것을 가능하게 한다. 이 네 모서리들을 위한 초기 위치로부터 시작해서, 모션 파라미터들의 초기 세트(set)에 대응하여, 그 방법은 네 모서리들의 약간의 변위들에 의해 비용함수를 최적화하도록 노력한다. 각 꼭지점은 비용 함수를 위한 로컬 최적 조건(local optimum)을 발견하기 위해 그 초기 위치주변에서 소량 이동된다. 비용 함수의 최적 조건을 발견하기 위해, 예를 들어, A(0)는 이 특정 경우에 수평 방향인 방향 d₁(0)을 따라 이동된다. 그때, 또다른 최적 조건이 새로운 꼭지점 A(1)(a₀(0),a₁(0))을제공하면서 발견될 때까지, 획득된 점은 이 특정 경우에 수직 방향인 방향d₂(0)를 따라 이동된다. 이 연산은 그때 다른 꼭지점들을 위해 연속적으로 실행되고 새로운 다각사변형 이미지가 획득된다.

바람직한 실시예에서, 비용 함수는 DFD(Displaced Frame Difference)에 관한 것이다. DFD 측정은 다음과 같이 입중계 프레임 F(n)과 현재의 대형 정적 이미지 M(n-1) 둘다 오버랩하는 영역S에 속하는 화소들상에서 계산된다:

여기서 r_p는 다음과 같이 정의되는 화소 p의 본래 값과 예측된 값들간의 차이이다:

r_p= L(x,y) - L(x',y')

여기서: - L(x,y)는 입중계 프레임 F(n)의 화소 p(x,y)에 대응하는

비디오 신호의 광도값(luminance value)이고,

- L(x',y')는 대형 정적 이미지 M(n-1)의 화소 p'(x',y')

. 에 대응하는 비디오 신호의 광도값이다.

(x',y')는 대형 정적 이미지로부터 추출되는 화소 p'의 플로팅 점(floating point) 값이다. 이 화소에 대응하는 광도값은, 겹선형 보간법(bilinear interpolation)을 사용하여, 각각의 광도값들 L0, L1, L2, 및 L3를 가진 (x₀,y₀), (x₁,y₁), (x₂,y₂), (x₃,y₃)인, 이미지에서의 네개의 가장 밀접한 정수 좌표들을 고려하여 계산된다:

비용 함수의 최적화는, 이 경우에, DFD(displaced frame difference)의 최소화이다. DFD는 여기서 비디오 신호들의 광도값들을 가지고 계산되지만 또한 비디오 신호들의 색상을 가지고도 계산될 수 있다.

또 다른 실시예에서, 비용함수는 DFC(Displaced Frame Correlation)에 관한 것이다. DFC 측정은 다음과 같이 입중계 프레임 F(n)과 현재의 대량 정적 이미지 M(n-1) 둘모두를 오버랩하는 영역S에 속하는 화소들상에서 계산된다:

비용함수의 최적화는, 이 경우에, DFC의 최대화이다. DFD는 여기서 비디오 신호들의 광도 값들을 가지고 계산되지만 또한 비디오 신호들의 색상 값들을 가지고도 계산할 수 있다.

본 발명에 따른 모션 추정 방법은 두개의 주 단계들을 포함한다:

- 제1 단계는 두개의 제1 프레임들을 위해 모션 파라미터들을 자동적으로 초기화하도록 실행된다.

- 제2 단계동안에, 각 모션 파라미터는 DFD에 관한 비용 함수를 최소화함으

로써 독립적으로 최적화 된다. 이 비용함수 cost()는, 바람직한 실시예에서,

다음과 같이 정의되는 가중된 평균 제곱 에러(weighted mean square error)

이다:

여기서 w_p는 가중 계수이고, 그것은 다음과 같이 정의된다:

여기서 ρ는 대칭이고 r_p=0에서 유일한 최대값을 가지는 양으로 한정된 함수

(positive-definite function)이다.

ρ함수는 아웃라이어(outlier)들의 영향을 줄이기 위해 선택된다. 바람직한

실시예에서, ρ함수는 다음과 같이 정의된 로렌트지안 함수(lorentzian

funtion)이다:

여기서 σ는 기준화 요인(scale factor)이다.

다음과 같이 정의된, 예를 들어 져먼 앤 맥클루어 함수(German and McClure funtion)와 같은, 다른 ρ함수들이 본 발명을 위해 적절할 수 있다:

제2 실시예에서, 비용함수는 다음과 같이 화소의 구배 p(grad_p) 상의 정보를 고려한 또다른 가중된 평균 제곱 에러이다:

여기서 T는 제로에 가까운 임계이고 가중 계수 w_p는 다음과 같이 정의된다:

이 제2 실시예에서, 평균 제곱 에러의 가중 계수 w_p는 큰 에러들을 가진 큰 변위들보다 오히려 작은 에러들을 가진 작은 변위들을 선호하기 위해 그것을 각 화소 위치에서의 모든 가중치들의 합에 의하여 나눔으로서 표준화된다. 게다가, 구배 정보의 소개는 다음을 허용한다:

- 구배가 임계 T보다 더 높고, 이 영역들은 정합하는 목적들(matching

purposes)에 더 적절한, 영역들에 더 많은 중요성을 부여하는 것

- 구배가 임계 T이하이고 따라서 비용 추정의 속도를 증가시키는 것이 가능

한, 영역들은 버리는 것

도 2는 두 개의 제1 프레임들을 위한 모션 파라미터들의 자동적 초기화를 실행하는 데 사용되는 방법을 도시하는 순서도이다.

바람직한 실시예에서, 두개의 모션 파라미터들만을 요하는 이동 변환 (translation transform)은, 아무 예측도 유용하지 않은, 비디오 시퀀스의 두개의 제1 프레임들 간의 변위들의 제1 근사값을 얻기 위해 사용된다.

자동 초기화 단계는 다음을 포함한다:

- 수평방향으로 비용 함수의 최소값에 대응하는 화소 위치 xx_min의 초기화

부-단계 (INI): xx_min = 0,

- 수평방향으로 입중계 프레임상에 이동(translation)들을 적용할 때 비용

함수 cost()의 최소값에 대응하는 화소 위치의 값j의 계산 부-단계

(CALC), 이동 벡터의 크기 i는 -5와 +5 화소들 사이에 포함된다:

여기서 Argmin은 비용 함수의 최소값에 대응하는 가로좌표를 되돌리는 함

수이고, 고려된 방향을 위한 두 프레임들간의 변위를 여기서 제공한다.

- j의 값 상에서의 테스트(Cj),

- 만약 테스트가 만족스럽지 않다면(j는 제로가 아니다), 값 xx_min의 검산

(recalculation)(INC)의 부-단계: xx_min = xx_min + j,

- 만약 테스트가 만족스럽다면(j = 0), 수평방향으로 최후의 이동 xx_min

을 제공하는 프로세스의 종단(RES)

이동 yy_min이 실행되는가를 알기 위해 동일한 알고리즘이 수직 방향으로 적용된다.

도 3은 모션 파라미터들을 최적화하는 데 사용되는 반복적 프로세스를 도시하는 순서도이다. 이 방법은 포웰의 수렴(Powell's convergence) 방법에 근거한다.

네 꼭지점들의 좌표들에 대응하는, 8개의 모션 파라미터들의 세트는 0≤k≤7 를 가진 a_k(0)내에서, 글로벌 모션의 예측에 의해 주어진 값들로 초기화된다.

모션 파라미터들의 최적화 단계는 다음을 포함한다:

- k와 카운터 l의 초기화 부-단계(INIkl): k = l = 0,

- k의 값 상에서의 테스트(Ck)

- k의 값이 8(y)보다 엄격히 낮다면, 비용 함수 cost()의 최소값에 대

응하는 모션 파라미터 a_k(l+1)의 값의 계산(Pl)의 부-단계:

그 뒤를 k(INCk)중 한개에 의한 증가화의 부-단계가 뒤따른다,

- 반대 경우(n)에서, a_k(l+1)와 a_k(l)간의 차이의 절대 값의, k의 다른 값들

을 위한, 최대값 M 상의 제2 테스트(Ca):

- M값이 임계(y)보다 낮다면, 프로세스의 종단(RESa)이 a_k(l+1)의 값들을

제공하는 단계,

- 반대의 경우(n)에, l(INCl)중 한개에 의한 증가화의 부-단계와 k(INIk)

의 재-초기화의 부-단계가 뒤따르는, 최소화(DIR)의 새로운 방향들의

계산의 부-단계.

값 a_k(l+1)의 계산(PI)의 부-단계는 포물선형 보간법들(parabolic interpolations)을 사용하여 실행된다. 제1 포물선형 보간법은 세 개의 연속되는 화소들에 대응하는 비용 함수의 값들 상에서 실행된다. 그때, 새로운 포물선형 보간법이 이전에 발견된 포물선의 최소값에 가장 가까운 세 개의 화소들상에서 실행된다. 프로세스는 포물선의 최소값이 세 개의 조사된 화소들에 의해 정의된 창에 포함될 때 끝난다. 그러한 계산 방법은 최적화 단계의 수렴을 증가시킨다. 포물선형 보간법 연산이 불가능할 때(즉 포물선이 최소값 대신에 최대값을 가질 때), a_k(l+1)의 값의 계산은 구배 내림(gradient descent)을 사용하여 실행되고, 구배 내림은 상기 비용 함수의 최소값에 도달할 때까지 연속적인 화소들의 비용함수 값의 연속적인 비교들로 존재한다.

도 1에서 기술된 것처럼, l=0일때, 비용 함수를 최소화하기 위한 8개의 파라미터들이 뒤따르는 방향들은 가로좌표에 대해서는 수평이고 세로 좌표들에 대해서는 수직이다. 도 4에서 기술된 것처럼, l≥1일 때, 최적화를 위해 뒤따라지는 방향들은 마지막 변형이 주어지며 재검토된다. 최적화 방향은 세 개의 다른 꼭지점들을 위한 꼭지점 A(l-1)에서 꼭지점 A(l)로 가는 방향 d₁(l)과 그의 직각 d₂(l) 등등으로 정의된다.

이 모션 추정 방법은, 스프라이트 또는 모자이크와 같은, 대형 정적 이미지 M(n)를 생성하기 위한 방법 및 그 해당 장치에서 사용될 수 있다. 그러한 방법은 도 5에서 기술된다.

세 개의 주 단계들은 대형 정적 이미지 M(n) 생성을 구성할 수도 있다. 먼저, 본 발명에 따른 글로벌 모션 추정 단계(ME)는 입중계 프레임 F(n)을 이미 이전 프레임들 F(1), F(2), ..., F(n-1)로 구성된 대형 정적 이미지 M(n-1)과 병합하기 위하여 실행되야 한다. 상기 글로벌 모션 추정 단계(ME)는 모션 파라미터들 a_k를 제공한다. 현재의 프레임은 그때 모션 파라미터들을 사용하여 보상된다; 이 제2 단계는 또한 워핑(WAR:warping)이라고도 불린다. 워핑된 현재 프레임 F(n)은 장면의 연속적인 시각(panoramic view)을 제공하는 새로운 일체된 대형 정적 이미지 M(n)을 형성하기 위하여 마지막으로 대형 정적 이미지 M(n-1)과 혼합되고(BLE), 그것은 그 다음의 입중계 프레임 F(n+1) 등등과 병합되기 위해 메모리(MEM)에 저장된다.

본 발명은 프레임들의 시퀀스의 입중계(incoming) 프레임 F(n)과 대형 정적 이미지 M(n-1) 사이의 모션을 추정하기 위한 방법 및 그 해당 장치에 관한 것이고,아웃라이어들에게는 강경하나 또한 효율적이고 신속한 수렴은 허용하는 또다른 글로벌 모션 추정 방법을 제안한다.

Claims (10)

1. 프레임들의 시퀀스의 입중계 프레임(incoming frame) F(n)과 대형 정적 이미지 M(n-1)간의 모션을 추정하기 위한 방법으로, 상기 대형 정적 이미지는 상기 시퀀스의 이전 프레임들 F(1)...F(n-1)로부터 구성되고, 상기 모션 추정 방법은 8개의 모션 파라미터들을 포함하는 2차원 투시 변환(two-dimensional perspective transform)에 근거한 모션 모델을 사용하고 비용함수(cost function)의 최적화 단계를 포함하는, 모션 추정 방법에 있어서, 상기 8개의 모션 파라미터들은 상기 입중계 프레임의 네 꼭지점들의 좌표들이고, 상기 꼭지점들은 상기 비용 함수의 최적 조건에 대응하는 상기 모션 파라미터들의 추정을 발견하기 위해 두 방향들로 연속적으로 이동되는 것을 특징으로 하는, 모션 추정 방법.
2. 제 1항에 있어서, 상기 비용 함수는에 의해 정의되고, 여기서 r_p는 화소 p의 본래 값과 예측된 값들간의 차이이고 w_p인 가중계수인, 모션 추정 방법.
3. 제 2항에 있어서, 상기 가중 계수 w_p는 r_p의 역함수이며 ρ(r_p)의 도함수이고, 여기서 ρ는 대칭이며, r_p=0에서 유일한 최대값을 가진 양으로 한정된 함수(postive-definite function)인 것을 특징으로 하는, 모션 추정 방법.
4. 제 1항에 있어서, 비용 함수는에 의하여 정의되며, 여기서 r_p는 화소 p의 본래값과 예측된 값간의 차이이고, T는 임계이고 w_p는 가중 계수인, 모션 추정 방법.
5. 제 4항에 있어서, 상기 가중 계수 w_p는에 의하여 정의되며, 여기서 grad_p는 화소 p의 구배이고 σ는 기준화 요인(scale factor)인 것을 특징으로 하는, 모션 추정 방법.
6. 제 1항에 있어서, 상기 모션 추정 방법은 2차원 이동 변환(two-dimensional translation transform)을 사용하는 상기 두개의 제1 프레임들을 위한 상기 모션 파라미터들의 자동 초기화의 단계를 포함하는 것을 특징으로 하는, 모션 추정 방법.
7. 제 1항에 있어서, 상기 모션 추정 방법은 8개의 모션 파라미터들의 추정을 결정하기 위하여, 각 반복에 있어, 상기 최적화 단계를 포함하는 제1 반복적 방법을 포함하고, 그 뒤를 마지막 변형을 고려함으로써 네개의 꼭지점들 각각의 모션의 두 방향들의 계산 단계가 뒤따르며, 상기 반복적 방법은 정의된 기준이 도달될 때까지 실행되는 것을 특징으로 하는, 모션 추정 방법.
8. 제 7항에 있어서, 상기 최적화 단계는 연속적으로 모션 파라미터들을 추정하기 위해, 각 반복에서, 상기 비용함수 값들의 포물선형 보간법 연산(parabolic interpolation operation)을 실행하는 제2 반복적 방법을 포함하는 것을 특징으로 하는, 모션 추정 방법.
9. 스프라이트(sprite) 또는 모자이크와 같은, 대형 정적 이미지(large static image) M(n)을 생성하기 위한 방법에 있어서, 제 1항 내지 제 8항중 어느 하나에 따른 모션을 추정하기 위한 방법을 포함하는 대형 정적 이미지 M(n) 생성 방법.
10. 스프라이트 또는 모자이크와 같은, 대형 정적 이미지 M(n)을 생성하기 위한 장치에 있어서, 제 1항 내지 제 8항중 어느 하나에 따른 모션 추정 방법을 실행하는 모션 추정 회로를 포함하는 대형 정적 이미지 M(n) 생성 장치.