KR20140136328A - 모션 효과 자동 생성 방법 - Google Patents

Abstract

본 발명에 따른 모션 생성 방법은 모션 생성 장치가 영상으로부터 모션을 생성하는 모션 생성 방법에 있어서, 모션 효과를 생성하고자 하는 상기 영상 내 카메라의 3차원 위치와 방향을 추정하여 상기 카메라의 3차원 가속도를 추출하는 단계, 그리고 상기 추출된 3차원 가속도의 데이터가속도를 이용하여 모션 플랫폼의 모션을 생성하는 단계를 포함한다.

Description

모션 효과 자동 생성 방법{AUTOMATIC METHOD FOR MOTION EFFECT CREATION}

본 발명은 모션 효과의 자동 생성 방법에 관한 것이다.

현대의 영화 중에 의자의 움직임과 다른 감각 효과와 함께 제공되는 영화를 4D 영화라 부른다. 특히 2009년에 '아바타(Avatar)'라는 영화가 4D로 개봉된 이후 일부 국가에서는 4D 개념의 영화에 많은 관심을 보이고 있다. 그러나 아직은 4D 영화를 위한 극장의 보급은 많지 않은 편이다. 이는 4D 변환기술과 상호 운용성의 두가지 큰 장애물을 아직 극복하지 못한 때문이다.

일반적으로는 수작업을 통하여 모션 시뮬레이터의 데이터를 제작하고 있으며, 이는 전문가가 영상을 보면서 모션 데이터를 작성하는 것으로 영화 한편당 대략 2주일의 시간이 걸린다. 영상에서의 움직임과 모션 데이터와의 정확한 동기화가 매우 까다로운 부분이어서, 비전문가가 작업하는 것은 어렵다. 대한민국 공개특허공보 제10-2005-0111235호에는 수작업으로 모션 데이터를 제작하는 기술이 공개되어 있다.

최근에는 영상 촬영시에 가속도 센서를 함께 사용하여 모션 데이터를 자동으로 생성하거나, 애니메이션 제작 데이터를 이용하여 모션 데이터를 자동으로 생성하는 방법도 사용하고 있다. 이 경우에는 이미 제작이 완료된 영상에 대해서는 적용이 불가능하다는 문제가 있다.

또 다른 방법으로는 영상에서 옵티컬 플로우(optical flow)를 계산하여 의자 자세로 변환하는 방법이 있다. 이 방법의 경우에는 이미 제작된 영상에도 적용이 가능하다는 장점이 있지만, 다른 구조를 가진 의자(모션 플랫폼)에는 활용이 불가하며, 사람의 운동 인지 메커니즘을 반영하지 않아 부자연스러운 운동감을 제공하게 되는 문제가 있다. 그리고, 고주파 운동감만 생성이 가능하고, 지속적인 가속 운동은 표현할 수 없다는 문제가 있다.

본 발명이 해결하려는 과제는 영상에서 모션을 추출하여 자동으로 모션 플랫폼의 모션을 생성할 수 있는 모션 생성 방법을 제공하고자 한다.

본 발명의 일 양태에 따른 모션 생성 방법은 모션 생성 장치가 영상으로부터 모션을 자동 생성하는 모션 생성 방법에 있어서, 모션 효과를 생성하고자 하는 상기 영상 내 카메라의 위치와 방향을 추정하여 상기 카메라의 3차원 가속도를 추출하는 단계, 그리고 상기 추출된 3차원 가속도를 이용하여 모션 플랫폼의 모션을 생성하는 단계를 포함한다.

상기 모션 플랫폼의 모션을 생성하는 단계는, 상기 3차원 가속도에 중력 방향의 가속도를 반영하고, 상기 중력 방향의 가속도가 반영된 카메라의 3차원 가속도를 모션 플랫폼의 모션으로 변환할 수 있다.

상기 3차원 가속도를 추출하는 단계는, 모션 효과를 생성하고자 하는 영상을 선택하고, 선택된 상기 영상으로부터 이미지 시퀀스를 추출하는 단계, 추출된 상기 이미지 시퀀스로부터 영상 내 카메라의 3차원 위치와 방향을 추정하는 단계, 그리고 각 카메라 프레임의 지역 좌표계에서 카메라의 상기 3차원 가속도를 계산하는 단계를 포함할 수 있다.

상기 3차원 가속도를 계산하는 단계는, 상기 3차원 위치와 방향의 추정값으로부터 노이즈를 제거하는 단계, 그리고 상기 노이즈가 제거된 데이터로부터 3차원 가속도 및 각속도를 계산하는 단계를 포함할 수 있다.

상기 모션 플랫폼의 모션을 생성하는 단계는, 중력 방향의 가속도를 추정하는 단계, 추정된 상기 중력 방향의 가속도를 카메라의 3차원 가속도에 반영하여 비력(specific force)으로 변환하는 단계, 그리고 상기 비력과 상기 각속도를 이용하여 모션 플랫폼의 움직임으로 변환하는 단계를 포함할 수 있다.

상기 3차원 가속도는, SFM(Structure from Motion) 방법에 의해 카메라의 3차원 위치와 방향에 대한 데이터를 구하고, 상기 데이터를 시간에 대해 미분하여 도출될 수 있다.

상기 모션 플랫폼의 모션을 생성하는 단계는, 워시아웃(washout) 알고리즘을 사용하여 모션 플랫폼의 모션으로 변환할 수 있다.

본 발명에 따르면, 모션 효과를 생성할 영상으로부터 카메라의 3차원 가속도를 추출하여 모션 플랫폼의 모션으로 자동 변환함으로써, 이미 제작되어 있는 영상에도 적용 가능하고 모션 플랫폼의 종류에 관계없이 적용할 수 있는 환경을 제공한다.

그리고, 본 발명은 기울어진 상태 등과 같은 지속적 가속도에 대한 모션 효과도 생성할 수 있으며, 사람의 운동 인지 메커니즘에 기반하기 때문에 좀 더 현실감 있는 모션 생성이 가능하다.

도 1은 본 발명의 한 실시예에 따른 모션 생성 장치가 영상을 모션으로 변환하는 과정을 도시한 흐름도이다.
도 2는 카메라의 3차원 가속도를 추출하는 과정을 도시한 흐름도이다.
도 3은 카메라의 3차원 가속도를 모션 플랫폼에 적용하는 과정을 도시한 흐름도이다.
도 4는 카메라의 3차원 가속도를 추출하는 과정을 도시한 도면이다.
도 5는 카메라의 3차원 가속도를 모션 플랫폼에 적용하는 과정을 도시한 도면이다.
도 6는 워시아웃(washout) 알고리즘이 적용되는 워시아웃 필터의 작동과정을 설명하기 위한 블럭도이다.
도 7은 움직임열화에 의한 SFM과 노이즈 증폭의 관계를 설명하기 위한 그래프이다.
도 8은 본 발명의 일실시예를 적용하여 영상에 대하여 가속도를 추정하고, 모션을 생성한 결과를 나타낸다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이제, 도면을 참고하여 본 발명의 실시예에 따른 모션 생성 방법에 대해 설명한다.

도 1은 본 발명의 한 실시예에 따른 모션 생성 장치가 영상을 모션 효과로 변환하는 과정을 도시한 흐름도이다.

도 1을 참조하면, 본 발명의 모션 생성 방법은 가속도 추출 단계 및 모션 생성 단계를 포함한다.

가속도 추출 단계는 모션 생성 장치가 모션 효과를 생성하고자 하는 영상으로부터 카메라의 3차원 가속도를 추출하는 단계이다(S100). 여기서, 모션 생성 장치는 모션 효과를 가진 영상에서 이미지 시퀀스를 추출하고, 추출된 이미지 시퀀스를 이용해 카메라의 3차원 위치와 방향을 추정하여 카메라의 3차원 가속도를 추출할 수 있다.

그리고, 모션 생성 장치에 의해 추출되는 3차원 가속도는 SFM(Structure from Motion) 방법에 의해 카메라의 3차원 위치와 방향에 대한 데이터를 구한 후, 이때 구한 데이터를 시간에 대해 미분하여 도출될 수 있다.

모션 생성 단계는 모션 생성 장치가 카메라의 3차원 가속도를 이용해 모션 플랫폼의 움직임을 생성하거나 변환하는 단계이다(S110).

일례로, 모션 생성 장치는 3차원 가속도에 중력 방향의 가속도를 반영하고, 중력 방향의 가속도가 반영된 카메라의 3차원 가속도를 모션 플랫폼의 움직임으로 변환한다.

그리고, 모션 플랫폼의 움직임을 생성하는 것은 본 발명의 일실시예에 따라 워시아웃(washout) 알고리즘을 사용하여 모션 플랫폼의 움직임으로 변환할 수 있다.

이때, 모션 생성 장치는 워시아웃 알고리즘을 사용하여 3차원 가속도의 데이터를 모션 시뮬레이터의 위치 및 자세에 대한 모션 데이터를 생성하고, 변환된 데이터를 모션 플랫폼에 적용한다.

도 2는 카메라의 3차원 가속도를 추출하는 과정을 도시한 흐름도이다.

도 2를 참조하면, 카메라의 3차원 가속도를 추출하는 과정은 이미지 시퀀스 추출 단계, 카메라 위치 및 방향 추정 단계, 노이즈 제거 단계, 그리고 가속도 계산 단계를 포함한다.

이미지 시퀀스 추출 단계는 모션 생성 장치가 모션 효과를 생성하고자 하는 영상을 선택하고, 선택된 영상으로부터 이미지 시퀀스를 추출하는 단계이다(S200).

카메라 위치 및 방향 추정 단계는 모션 효과를 생성하고자 하는 영상에서 추출된 이미지 시퀀스로부터 카메라의 3차원 위치와 방향을 추정하는 단계이다(S210).

그리고, 노이즈 제거 단계는 상기 추정 단계에서 추정된 카메라의 위치와 방향의 추정값으로부터 노이즈를 제거하는 단계이다(S220).

가속도 계산 단계는 노이즈가 제거된 데이터로부터 카메라의 3차원 가속도 및 각속도를 계산하는 단계이다(S230).

도 3은 카메라의 3차원 가속도를 모션 플랫폼에 적용하는 과정을 도시한 흐름도이다.

도 3을 참조하면, 3차원 가속도를 모션 플랫폼에 적용하는 과정은 중력 가속도 추정 단계, 비력(specific force) 변환 단계, 그리고 모션 생성 단계를 포함한다.

중력 가속도 추정 단계는 모션 스케일을 추정하고, 추정된 모션 스케일에서중력 방향의 가속도를 추정하는 단계이다(S300).

비력 변환 단계는 추정된 중력 방향의 가속도를 카메라의 3차원 가속도에 반영하여 비력으로 변환하는 단계이다(S310). 비력은 카메라의 3차원 가속도와 추정된 중력 방향의 가속도를 결합하여 도출된다.

모션 생성 단계는 비력과 각속도를 이용하여 모션 플랫폼의 움직임을 생성하는 단계이다(S320).

모션 생성 단계는 워시아웃 알고리즘을 사용하여 비력과 각속도로부터 모션 데이터를 도출하고, 도출된 모션 데이터를 모션 플랫폼에 적용한다.

도 4는 카메라의 3차원 가속도를 추출하는 과정을 도시한 도면이다.

도 4를 참조하면, 본 발명은 모션 효과를 가진 영상을 선택하고, 선택된 영상으로부터 이미지 시퀀스를 추출한다.

카메라 트랙킹은 이미지 시퀀스로부터 카메라의 위치와 방향을 추정한다. 카메라 트랙킹은 임의 좌표계(arbitrary coordinate system)에서 수행된다.

그리고, 본 발명은 카메라의 위치와 방향의 추정값으로부터 계산된 가속도 및 각속도의 증폭된 노이즈를 제거한다.

도 5는 카메라의 3차원 가속도를 모션 플랫폼에 적용하는 과정을 도시한 도면이다.

도 5를 참조하면, 본 발명은 각 카메라 프레임의 지역 좌표계(local coordinate system)에서, 3차원 가속도와 각속도를 도출한다.

본 발명은 3차원 가속도의 모션 스케일을 조정하고, 중력 방향의 가속도를 반영하여 비력으로 변환한다.

그리고, 본 발명은 비력과 각속도를 워시아웃 알고리즘에 적용하여 모션 플랫폼의 움직임을 생성한다.

여기서, 다른 종류의 모션 플랫폼에 적용하는 경우에는, 상기 다른 종류의 모션 플랫폼에 적합한 워시아웃 알고리즘을 사용하여 모션 데이터를 생성하고, 상기 변환된 데이터를 모션 플랫폼에 적용한다.

도 6는 워시아웃(washout) 알고리즘이 적용되는 워시아웃 필터의 작동과정을 설명하기 위한 블럭도이다.

워시아웃 알고리즘이 적용되는 워시아웃 필터는 도 6에 나타낸 바와 같이, 모션을 고주파 부분과 저주파 부분으로 나누며, 고주파 부분은 그대로 모션 플랫폼의 모션으로 변환하고, 저주파 부분은 기울기 조정 (tilt coordination) 알고리즘을 사용하여 모션 플랫폼을 기울이는 과정 등을 통해서 저주파 모션으로 표현한다.

이때, 하이패스 필터(F1)를 통하여 필터링된 선형 가속도 데이터에 대해서는 이중적분을 행하고, 다시 하이패스 필터(F3)를 사용하여 병진운동에 대한 데이터를 생성하여 모션 플랫폼 엑츄에이터에 제공한다.

그리고, 로우패스 필터(F2)를 통하여 필터링된 데이터는 조정된 기울기로 변환되고, 하이패스 필터(F1)를 통하여 필터링된 각가속도 데이터는 이중적분된 다음, 상기 조정된 기울기와 함께 더해진 후, 다시 하이패스 필터(F3)를 사용하여 회전운동에 대한 데이터를 생성하여 모션 플랫폼 엑츄에이터에 제공된다.

상기와 같이 워시아웃 필터를 사용하여 병진운동과 회전운동에 대한 데이터인 4D 모션 데이터를 생성하여 모션 플랫폼에 제공한다.

그리고 상기 영상 내의 카메라 가속도를 추정하기 위해서는 먼저 모션과 동기화되는 비디오 세그먼트를 선택한다.

상기에서 선택한 영상의 이미지 시퀀스를 추출하고, 이를 각 프레임에 대한 3D 카메라 포즈(3D 위치 및 방향)로 추정한다.

카메라 포즈는 영화산업에 폭넓게 사용되는 SFM(Structure from Motion) 기술을 사용하여 추정한다.

그런데, 추정된 카메라 포즈에는 약간의 노이즈가 포함되고, 가속도에서는 노이즈가 더 심해진다.

상기에서 매우 정확한 추정에 의하더라도 영상에서 움직임열화(motion blur)가 없을 때에도 SFM은 위치의 SNR(signal-to-noise ratio)이 82dB이다. 또한 움직임열화(motion blur)가 있는 영상에서 위치의 거의 정확한 추정을 얻을 수 있지만, 다음의 도 7에 나타낸 바와 같이, 여러 원인으로 가속도에서는 노이즈가 더 증폭된다.

도 7은 움직임열화에 의한 SFM과 노이즈 증폭의 관계를 설명하기 위한 그래프이다.

도 7a 내지 7e에는 움직임열화(motion blur)에 의해 증폭되는 SFM과 노이즈의 관계를 나타낸다. 도 7a는 컴퓨터에서 생성한 테스트 영상(이미지 시퀀스)를 나타내고, 도 7b에는 널리 알려진 카메라 모션으로 생성한 동기화된 영상인 사실값 (ground truth)을 나타내고, 도 7c에는 매우 정확하게 추정한 움직임열화가 없는 영상의 SFM 결과를 나타내고, 도 7d에는 위치와 속도는 여전히 정확하지만 가속도에는 노이즈가 발생한 가벼운 움직임열화가 있는 영상의 SFM 결과를 나타내고, 도 7e에는 빠른 속도를 가진 심한 움직임열화를 항상 가지는 실제 영화의 장면처럼 가속도에서 매우 노이즈가 많은 심한 움직임열화가 있는 영상의 SFM 결과를 나타낸다.

노이즈는 TV(total variation) 기반(TV-based) 필터링 방법을 사용하여 감소시키고, 필터의 파라메타는 입력 신호의 특징에 따라 자동으로 결정된다.

노이즈 필터는 영상의 낮은 샘플링율과 짧은 데이터 세그먼트 때문에, 정확성, 매끄러움, 경계 근처에서의 안정성이 요구되며, TV 기반 필터링 방법은 이러한 요구를 만족시킨다. 또한, 본 발명은 저주파 필터를 사용하여 노이즈를 제거할 수도 있다.

가속도에 심한 노이즈가 포함된다면, 가속도의 총 변화량은 매우 크며 반대로 노이즈가 없다면 총 변화량도 작다. 이것이 상기 노이즈 필터의 핵심개념으로, 가속도에서의 노이즈는 가속도 총 변화량을 최소화 함으로써 감소된다.

도 8a 내지 도 8f는 본 발명의 일실시예를 적용하여 영상에 대하여 가속도를 추정하고, 모션을 생성한 결과를 나타낸다.

상기와 같이 이루어지는 본 발명의 일실시예에 의하면, 기존의 필터링 방법에 비하여 평균적으로 더 우수한 가속도를 추정하는 것이 가능하고, 양질의 위치와 가속도 데이터를 얻는 것이 가능하다.

또한 본 발명의 일실시예에 의하면, 2D 영상으로부터 인간중심적 4D 모션(HCM: human-centered motion)을 용이하게 생성하는 것이 가능하고, 4D 영화를 보다 더 용이하게 구현하는 것이 가능하다.

본 발명은 일실시예를 적용하여 2가지 방식의 모션 베이스에 4D 데이터를 제공하는 모션 시뮬레이터 구동 프레임워크를 나타낼 수 있다. 상기와 같이 이루어지는 본 발명의 일실시예는 2자유도(sway, pitch)의 모션베이스(#2)와 3자유도(heave, roll, pitch)의 모션베이스(#1)를 위한 4D 데이터를 제공하는 모션 시뮬레이터 구동 프레임워크를 나타낼 수 있다.

따라서, 본 발명은 일실시예를 적용하여 추정 제작한 모션 데이터인 HCM 데이터를 각각의 모션베이스에 대응하는 워시아웃필터를 통과시켜 필요한 PCM 데이터로 변환하는 것에 의하여 다양한 방식의 모션 플랫폼에 간단하고 용이하게 4D 데이터를 제공하는 것이 가능하다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (7)

1. 모션 생성 장치가 영상으로부터 모션을 생성하는 모션 생성 방법에 있어서,
   모션 효과를 생성하고자 하는 상기 영상 내 카메라의 3차원 위치와 방향을 추정하여 상기 카메라의 3차원 가속도를 추출하는 단계, 그리고
   상기 추출된 3차원 가속도를 이용하여 모션 플랫폼의 모션을 생성하는 단계
   를 포함하는 모션 생성 방법.
2. 제1항에서,
   상기 모션 플랫폼의 모션을 생성하는 단계는,
   상기 3차원 가속도에 중력 방향의 가속도를 반영하고, 상기 중력 방향의 가속도가 반영된 카메라의 3차원 가속도를 모션 플랫폼의 모션으로 변환하는 모션 생성 방법.
3. 제1항에서,
   상기 3차원 가속도를 추출하는 단계는,
   모션 효과를 생성하고자 하는 영상을 선택하고, 선택된 상기 영상으로부터 이미지 시퀀스를 추출하는 단계,
   추출된 상기 이미지 시퀀스로부터 영상 내 카메라의 3차원 위치와 방향을 추정하는 단계, 그리고
   각 카메라 프레임의 지역 좌표계에서, 카메라의 상기 3차원 가속도를 계산하는 단계
   를 포함하는 모션 생성 방법.
4. 제3항에서,
   상기 3차원 가속도를 계산하는 단계는,
   상기 3차원 위치와 방향의 추정값으로부터 노이즈를 제거하는 단계, 그리고
   상기 노이즈가 제거된 데이터로부터 3차원 가속도 및 각속도를 계산하는 단계를 포함하는 모션 생성 방법.
5. 제4항에서,
   상기 모션 플랫폼의 모션을 생성하는 단계는,
   중력 방향의 가속도를 추정하는 단계,
   추정된 상기 중력 방향의 가속도를 카메라의 3차원 가속도에 반영하여 비력(specific force)으로 변환하는 단계, 그리고
   상기 비력과 상기 각속도를 이용하여 모션 플랫폼의 움직임으로 변환하는 단계를 포함하는 모션 생성 방법.
6. 제1항에서,
   상기 3차원 가속도는,
   SFM(Structure from Motion) 방법에 의해 카메라의 3차원 위치와 방향에 대한 데이터를 구하고, 상기 데이터를 시간에 대해 미분하여 도출되는 모션 생성 방법.
7. 제1항에서,
   상기 모션 플랫폼의 모션을 생성하는 단계는,
   워시아웃(washout) 알고리즘을 사용하여 모션 플랫폼의 모션으로 변환하는 모션 생성 방법.

Images