KR102254290B1

KR102254290B1 - 모션 처리 방법 및 장치

Info

Publication number: KR102254290B1
Application number: KR1020200154587A
Authority: KR
Inventors: 노준용; 엄해광; 최병국; 조경민; 정선진; 홍석표
Original assignee: 한국과학기술원
Priority date: 2020-11-18
Filing date: 2020-11-18
Publication date: 2021-05-21
Also published as: US20220155871A1; US11947727B2

Abstract

모션을 처리하는 방법 및 장치에 관한 것이다. 일실시예에 따른 모션 처리 방법은 입력 모션에 선형 가우시안 모델을 적용하여 베이스 레벨 모션을 획득하는 단계, 입력 모션 및 베이스 레벨 모션 사이의 변위 벡터에 선형 가우시안 모델을 적용하여 제어 가능한 모션 변위 벡터 및 잔여 모션 변위 벡터를 획득하는 단계 및 베이스 레벨 모션 및 제어 가능한 모션 변위 벡터에 기초하여, 출력 모션을 합성하는 단계를 포함한다.

Description

모션 처리 방법 및 장치{MOTION PROCESSING METHOD AND APPARATUS}

모션을 처리하는 방법 및 장치에 관한 것이다.

인간 모션의 캡처 및 처리 기술은 사실적인 캐릭터 애니메이션을 생성하기 위하여 널리 이용되는 기술이다. 인간의 모션은 시간에 따라 변하는 고차원의 신호 유형으로 볼 수 있기 때문에, 신호 처리 및 기하학적 기술을 일반화하여 다양한 모션 합성 기술에 적용할 수 있다. 모션 합성과 관련된 입력 모션의 리타겟팅, 워핑, 블렌딩 및 편집 등의 기술은 캡처된 입력 모션 데이터의 품질에 크게 의존하는 바, 사실적인 애니메이션 합성을 위해 캡처된 입력 모션 데이터를 적절하게 전처리하는 과정이 필요하다. 특히, 입력된 모션에서 의미있는 프리미티브 모션(primitive motion)을 분해하기 위한 모션 분해 기술의 개발이 요구되고 있다.

실시예는 입력된 모션에 포함된 노이즈가 제거되고, 제어가 용이한 모션 프리미티브(primitive)를 추출하기 위한 기술을 제공할 수 있다.

실시예는 비모수 생성 회귀(non-parametric generative regression) 방법을 이용한 부드러운(smooth) 모션을 생성하는 모션 분해(motion decomposition) 기술을 제공할 수 있다.

다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.

일 측에 따른 모션 처리 방법은 입력 모션에 선형 가우시안(linear gaussian) 모델을 적용하여 베이스 레벨(base-level) 모션을 획득하는 단계; 상기 입력 모션 및 상기 베이스 레벨 모션 사이의 변위 벡터에 상기 선형 가우시안 모델을 적용하여 제어 가능한 모션 변위 벡터(controllable motion displacements) 및 잔여 모션 변위 벡터(residual motion displacements)를 획득하는 단계; 및 상기 베이스 레벨 모션 및 상기 제어 가능한 모션 변위 벡터에 기초하여, 출력 모션을 합성하는 단계를 포함한다.

상기 출력 모션을 합성하는 단계는 상기 베이스 레벨 모션 및 상기 제어 가능한 모션 변위 벡터를 합함으로써, 상기 입력 모션에서 상기 잔여 모션 변위 벡터가 제거된 상기 출력 모션을 합성하는 단계를 포함할 수 있다.

상기 출력 모션을 합성하는 단계는 상기 제어 가능한 모션 변위 벡터에 가중치를 설정하는 단계; 및 상기 베이스 레벨 모션 및 상기 가중치가 설정된 상기 제어 가능한 모션 변위 벡터를 합함으로써, 상기 출력 모션을 합성하는 단계를 포함할 수 있다.

상기 베이스 레벨 모션을 획득하는 단계는 상기 입력 모션의 관측 값들과 상기 베이스 레벨 모션의 잠재 변수들 사이에서 정의된 선형 관계에 기초하여, 상기 잠재 변수들로부터 상기 관측 값들이 관측될 확률인 우도(likelihood)를 획득하는 단계; 상기 베이스 레벨 모션의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 상기 잠재 변수들에 관한 프라이어(prior)를 획득하는 단계; 및 상기 우도 및 상기 프라이어에 기초하여, 상기 잠재 변수를 추정하는 단계를 포함할 수 있다.

상기 잠재 변수를 추정하는 단계는 상기 우도 및 상기 프라이어에 베이즈 정리(bayes rule)를 적용하여, 상기 잠재 변수에 관한 사후 확률의 평균을 계산하는 단계; 및 상기 사후 확률의 평균에 기초하여, 상기 잠재 변수를 추정하는 단계를 포함할 수 있다.

상기 선형 관계는 가우시안 분포를 따르는 제1 노이즈를 포함할 수 있다.

상기 잠재 변수들 간의 관계에 관한 가정은 가우시안 분포를 따르는 제2 노이즈를 포함할 수 있다.

상기 베이스 레벨 모션을 획득하는 단계는 상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 매핑하는 단계; 상기 매핑 결과 및 가우시안 분포를 따르는 제1 노이즈에 기초하여, 상기 입력 모션의 관측 값들과 상기 베이스 레벨 모션의 잠재 변수들 사이의 선형 관계를 정의하는 단계; 상기 선형 관계에 기초하여, 상기 잠재 변수들로부터 상기 관측 값들이 관측될 확률인 우도를 획득하는 단계; 상기 베이스 레벨 모션의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 상기 잠재 변수들에 관한 프라이어를 획득하는 단계; 및 상기 우도 및 상기 프라이어에 기초하여, 상기 잠재 변수를 추정하는 단계를 포함할 수 있다.

상기 입력 모션의 관측 값들은 제1 개수의 프레임들에 대응하는 캐릭터의 포즈들의 정보를 포함할 수 있다.

상기 베이스 레벨 모션의 잠재 변수들은 제2 개수의 프레임들에 대응하는 상기 캐릭터의 포즈들의 정보를 포함할 수 있다.

상기 매핑하는 단계는 상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 상기 제1 개수 및 제2 개수의 비율에 기초한 일정한 간격으로 매핑하는 단계를 포함할 수 있다.

상기 매핑하는 단계는 상기 입력 모션의 관측 값들 및 상기 베이스 레벨 모션의 잠재 변수들의 매핑 간격을 동적으로 제어함으로써, 상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 매핑하는 단계를 포함할 수 있다.

상기 제어 가능한 모션 변위 벡터 및 상기 잔여 모션 변위 벡터를 획득하는 단계는 상기 입력 모션 및 상기 베이스 레벨 모션 사이의 변위 벡터의 관측 값들과 상기 제어 가능한 모션 변위 벡터의 잠재 변수들 사이에서 정의된 선형 관계에 기초하여, 상기 잠재 변수들로부터 상기 관측 값들이 관측될 확률인 우도를 획득하는 단계; 상기 제어 가능한 모션 변위 벡터의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 상기 잠재 변수들에 관한 프라이어를 획득하는 단계; 및 상기 우도 및 상기 프라이어에 기초하여, 상기 잠재 변수를 추정하는 단계를 포함할 수 있다.

상기 입력 모션은 제1 개수의 프레임들에 대응하는 캐릭터의 포즈들을 포함할 수 있다.

상기 베이스 레벨 모션은 제2 개수의 프레임들에 대응하는 상기 캐릭터의 포즈들을 포함할 수 있다.

상기 캐릭터의 포즈는 상기 캐릭터에 대응하여 정의된 루트의 병진 운동및 조인트들의 회전 운동에 관한 벡터를 포함할 수 있다.

상기 조인트들의 회전 운동은 쿼터니언(quaternion) 공간에서 정의된 회전 운동을 포함할 수 있다.

일 측에 따른 모션 처리 장치는 입력 모션에 선형 가우시안 모델을 적용하여 베이스 레벨 모션을 획득하고, 상기 입력 모션 및 상기 베이스 레벨 모션 사이의 변위 벡터에 상기 선형 가우시안 모델을 적용하여 제어 가능한 모션 변위 벡터 및 잔여 모션 변위 벡터를 획득하며, 상기 베이스 레벨 모션 및 상기 제어 가능한 모션 변위 벡터에 기초하여, 출력 모션을 합성하는 적어도 하나의 프로세서를 포함한다.

상기 프로세서는, 상기 출력 모션을 합성함에 있어서, 상기 베이스 레벨 모션 및 상기 제어 가능한 모션 변위 벡터를 합함으로써, 상기 입력 모션에서 상기 잔여 모션 변위 벡터가 제거된 상기 출력 모션을 합성할 수 있다.

상기 프로세서는, 상기 출력 모션을 합성함에 있어서, 상기 제어 가능한 모션 변위 벡터에 가중치를 설정하고, 상기 베이스 레벨 모션 및 상기 가중치가 설정된 상기 제어 가능한 모션 변위 벡터를 합함으로써, 상기 출력 모션을 합성할 수 있다.

상기 프로세서는, 상기 베이스 레벨 모션을 획득함에 있어서, 상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 매핑하고, 상기 매핑 결과 및 가우시안 분포를 따르는 제1 노이즈에 기초하여, 상기 입력 모션의 관측 값들과 상기 베이스 레벨 모션의 잠재 변수들 사이의 선형 관계를 정의하고, 상기 선형 관계에 기초하여, 상기 잠재 변수들로부터 상기 관측 값들이 관측될 확률인 우도를 획득하고, 상기 베이스 레벨 모션의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 상기 잠재 변수들에 관한 프라이어(prior)를 획득하며, 상기 우도 및 상기 프라이어에 기초하여, 상기 잠재 변수를 추정할 수 있다.

상기 프로세서는, 상기 매핑함에 있어서, 상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 상기 제1 개수 및 제2 개수의 비율에 기초한 일정한 간격으로 매핑할 수 있다.

상기 프로세서는, 상기 매핑함에 있어서, 상기 입력 모션의 관측 값들 및 상기 베이스 레벨 모션의 잠재 변수들의 매핑 간격을 동적으로 제어함으로써, 상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 매핑할 수 있다.

상기 프로세서는, 상기 제어 가능한 모션 변위 벡터 및 상기 잔여 모션 변위 벡터를 획득함에 있어서, 상기 입력 모션 및 상기 베이스 레벨 모션 사이의 변위 벡터의 관측 값들과 상기 제어 가능한 모션 변위 벡터의 잠재 변수들 사이에서 정의된 선형 관계에 기초하여, 상기 잠재 변수들로부터 상기 관측 값들이 관측될 확률인 우도(likelihood)를 획득하고, 상기 제어 가능한 모션 변위 벡터의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 상기 잠재 변수들에 관한 프라이어(prior)를 획득하며, 상기 우도 및 상기 프라이어에 기초하여, 상기 잠재 변수를 추정할 수 있다.

실시예를 통해 노이즈 제거(denoising), 모션 모듈레이션(motion modulation), 리샘플링(resampling), 시간 워핑(time warping) 등 다양한 모션 합성 기술을 적용할 수 있는 모션을 생성할 수 있다.

도 1은 일실시예에 따른 모션 처리 방법의 전체적인 흐름도.
도 2는 일실시예에 따른 모션 분해 과정을 설명하기 위한 도면.
도 3은 일실시예에 따른 입력 모션이 분해된 결과를 예시한 도면.
도 4는 일실시예에 따른 노이즈 제거 및 스타일 모듈레이션을 설명하기 위한 도면.
도 5 내지 도 8는 일실시예에 따른 리샘플링 및 시간 워핑을 설명하기 위한 도면들.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

이하에서,

는 ^x,

는 ^~x로 표시될 수 있다.

도 1은 일실시예에 따른 모션 처리 방법의 전체적인 흐름도이다.

도 1을 참조하면, 일실시예에 따른 모션 처리 방법은 선형 가우시안 모델을 이용하여 입력 모션(input motion)에서 새로운 모션(new motion)을 합성하는 방법이다. 보다 구체적으로, 입력 모션에 선형 가우시안(linear Gaussian) 모델을 적용하여 세 개의 모션 레이어(motion layers)로 분해(decomposition)하고, 분해된 모션 레이어들에 기초하여, 새로운 모션을 합성(synthesis)하는 방법이다. 모션 분해에 의해 획득된 세 가지 모션 레이어는 베이스 레벨 모션(base-level motion), 제어 가능한 모션 변위(controllable motion displacements), 잔여 모션 변위(residual motion displacements)를 포함할 수 있다. 여기서, 잔여 모션 변위는 입력 모션에 포함된 고주파(high-frequency)의 노이즈에 해당할 수 있다.

일실시예에 따른 모션은 시간에 따른 특정 주체(예를 들어, 캐릭터)의 움직임 정보를 의미하는 것으로, 예를 들어 복수의 프레임들에 대응하는 캐릭터의 포즈들을 포함할 수 있다. 이 경우, 캐릭터의 포즈는 해당 캐릭터에 대응하여 정의된 루트의 병진(translation) 운동 및 조인트들의 회전(rotation) 운동에 관한 벡터를 포함할 수 있다.

일실시예에 따를 때, 입력 모션에 선형 가우시안 모델을 적용하여 세 개의 모션 레이어로 분해하는 단계는 입력 모션에 선형 가우시안 모델을 적용하여 베이스 레벨 모션을 획득하는 단계 및 입력 모션 및 베이스 레벨 모션 사이의 변위 벡터에 선형 가우시안 모델을 적용하여 제어 가능한 모션 변위 벡터 및 잔여 모션 변위 벡터를 획득하는 단계를 포함할 수 있다. 입력 모션 및 베이스 레벨 모션 사이의 변위 벡터는 입력 모션에서 베이스 레벨 모션을 제외한 부분에 해당할 수 있다. 잔여 모션 벡터는 입력 모션 및 베이스 레벨 모션 사이의 변위 벡터에서 제어 가능한 모션 변위 벡터를 제외한 부분에 해당할 수 있다. 다시 말해, 입력 모션은 선형 가우시안 모델을 순차적으로 적용하여 베이스 레벨 모션, 제어 가능한 모션 변위 벡터 및 잔여 모션 변위 벡터로 분해될 수 있다.

일실시예에 따른 새로운 모션 또는 출력 모션은 입력 모션에서 분해된 베이스 레벨 모션 및 제어 가능한 모션 변위 벡터에 기초하여 합성될 수 있다. 새로운 모션의 합성 과정은 노이즈 제거(denoising) 과정, 스타일 모듈레이션(style modulation) 과정, 리샘플링(resampling) 과정, 시간 워핑(time warping) 과정을 포함할 수 있다. 베이스 레벨 모션 및 제어 가능한 모션 변위 벡터에 기초하여 출력 모션을 합성하는 과정은 이하에서 상술한다.

선형 가우시안 시스템을 이용한 모션 스무딩(motion smoothing)

일실시예에 따른 모션 분해의 프레임 워크는 선형 가우시안 시스템(linear Gaussian system; LGS)을 이용하여 주어진 모션에서 부드러운 함수(smooth function)를 생성할 수 있다. LGS는 베이지안 가정(Bayesian assumption)을 기반으로 하는 비모수 생성 회귀(non-parametric generative regression) 기법이다. 따라서 불확실성과 관련하여 모델의 프라이어(priors)에 의존하는 경우, LGS는 모수 회귀(parametric regression) 방법을 사용할 때 일반적으로 발생하는 오버피팅(overfitting) 및 언더피팅(underfitting) 문제를 자연스럽게 피할 수 있는 이점이 있다.

주어진 모션에 대해, 각 조인트 채널(joint channel)은 N_f의 잠재 변수(hidden variables) x = [x₁ ^T, x₂ ^T,…, x_j ^T,…, x_Nf ^T]^T에 대응하는 N_d 의 노이지한 관측 값(noisy observations) y = [y₁ ^T, y₂ ^T,…, y_i ^T,…,y_Nd ^T]^T를 포함하는 것으로 가정한다. 일반성을 잃지 않고 표기법 x 및 y는 각 조인트의 자유도를 설명하는 모든 엔티티를 나타낼 수 있다. 예를 들어, 병진(translation)은 x, y ∈ R³으로 표현할 수 있고, 힌지 조인트(hinge joint)는 x, y ∈ R로 표현할 수 있다. 그런 다음 LGS를 이용하여 다음의 수학식 1과 같이 우도(likelihood) p (y | x)를 모델링할 수 있다.

여기서,

~ N(0, σ²I), σ²는 관측 노이즈이고, A는 전체 프레임 범위 N_f로부터 관측된 데이터를 선택하는 N_d × N_f의 투영 행렬(projection matrix)이다. 예를 들어, 첫 번째, 두 번째 및 다섯 번째 프레임에 대응하는 3개의 데이터 포인트들(N_d = 3)이 주어지면, 5 개의 프레임(N_f = 5)에 대한 x_j를 추정하기 위한 투영 행렬은 다음의 수학식 2와 같이 구성될 수 있다.

데이터 포인트의 수 N_d는 설정에 따른 주어진 모션의 샘플링된 포즈의 수와 동일한 수로 고정될 수 있다. 그러나 추정 대상 프레임 수 N_f는 투영 행렬 A와 함께 시간적 변화를 제어하는 데 사용될 수 있다. 시간적 변화를 제어하는 방법은 이하에서 상술한다.

부드러움(smoothness) 프라이어(prior)은 x_j가 이웃들 x_j-1 및 x_j+1의 평균 및 가우시안 노이즈(Gaussian noise)의 합임을 가정함으로써, 아래의 수학식 3과 같이 인코딩될 수 있다.

여기서,

~ N(0, 1/λI)이다. 수학식 3은 벡터 형식으로 수학식 4와 같이 나타낼 수 있다.

여기서, L은 (N_f-2)×N_f의 2차 유한 차분 행렬(second-order finite difference matrix)이다. 대응되는 프라이어(prior)은 아래의 수학식 5와 같이 나타낼 수 있다.

이 단계에서, 사후 평균(posterior mean) 또는 사후 확률의 평균은 LGS를 위한 베이즈 정리(Bayes rule)을 이용하여 아래의 수학식 6과 같이 계산될 수 있다.

여기서, 사후 평균 μ는 주어진 신호에 대한 결과 추정치(resulting estimate)를 나타낸다. 프라이어 정밀도(prior precision) λ 및 관측 노이즈 σ의 분산은 사후 평균 μ에 영향을 미치는 부드러움 매개 변수로 사용될 수 있다. 특히, 강한 프라이어(큰 λ)의 경우 추정된 모션이 매우 부드럽고, 약한 프라이어(작은 λ)의 경우 추정된 모션이 주어진 모션에 가깝다. 관측 노이즈 σ도 사후 평균에 영향을 주지만, 프라이어 정밀도 λ는 전체적인 부드러움에 더 많이 기여한다. 사후 평균은 아래의 수학식 7의 최적화 문제를 해결하여 계산될 수 있다.

여기서, x_i→j는 데이터의 인덱스 i에서 대응하는 프레임 인덱스 j 로의 매핑을 나타내며, 이는 수학식 2에서 행렬 A의 역할과 유사하다. 이것은 Tikhonov 정규화의 이산 근사치(discrete approximation)로 인식될 수 있다. 여기서 첫 번째 항은 데이터에 적합하고 두 번째 항은 너무 광범위하게 변하는 추정 값에 패널티를 준다. 이하에서, 수학식 6 및 7은 상호 교환되어 사용될 수 있다.

다단계 모션 분해(multi-level motion decomposition)

도 2는 일실시예에 따른 모션 분해 과정을 설명하기 위한 도면이다.

일실시예에서 모션을 시간에 따라 변하는 이산화된 고차원 벡터로 나타낼 수 있다. 도 2를 참조하면, M(t) = (p₀(t), q₀(t),…, q_Nj-1(t)), (1 ≤ t ≤ N_f)는 주어진 입력 모션(input motion)을 나타내며, 여기서 p₀(t) ∈ R³ 및 q_i(t) ∈ S³(0 ≤ i <N_j)는 각각 시간 t에서 루트 세그먼트의 병진 운동(translational motion) 및 i 번째 조인트의 회전 운동을 나타낸다. N_j는 관절의 수이다.

일실시예는 단일 레이어의 고차원 벡터 공간 내에서 노이즈가 많고 조작하기 어려운 입력 모션 M(t)를 분해할 수 있다. 입력 모션의 분해 과정은 다음과 같이 진행될 수 있다.

먼저, 시간 t에서 입력 모션 M(t)의 프리미티브(primitive)로써 베이스 레벨 모션 M^b(t)를 정의한다. 베이스 레벨 모션은 입력 모션에 상술한 LGS를 적용함으로써 획득될 수 있다. 그런 다음 제어 가능한 모션 변위 벡터 δ^c(t) 및 고주파 노이즈로 구성된 잔여(residual) 모션 변위 벡터 δ^r(t)를 분리하기 위해 M(t) 및 M^b(t)의 차이(residual)에 관한 변위 벡터 δ(t)에 상술한 LGS를 적용할 수 있다. 다시 말해, 입력 모션 M(t)는 다음의 수학식 8과 같이 세 가지 레벨로 분해된다.

여기서, 연산자

는 변위 매핑(병진 부분에 대한 벡터의 단순 합산 및 3 차원 회전 벡터를 지수화한 후 회전 부분에 대한 쿼터니언 곱셈(quaternion multiplication)을 포함함)을 나타낸다. 광범위한 회전의 안정적인 구성을 위해 쿼터니언 곱셈이 이용될 수 있다. 다시 말해, 캐릭터를 구성하는 조인트들의 회전 운동은 쿼터니언 공간에서 정의된 회전 운동을 포함할 수 있다. 지수 맵(exponential map)과 같은 다른 표현은 특이점(singularity)으로 인해 극단적인 포즈에서 보간에 의한 아티팩트(interpolation artefact)를 생성할 수 있다.

일실시예에 따른 베이스 레벨 모션을 획득하는 단계는 입력 모션의 관측 값들과 베이스 레벨 모션의 잠재 변수들 사이에서 정의된 선형 관계에 기초하여, 베이스 레벨 모션의 잠재 변수들로부터 입력 모션의 관측 값들이 관측될 확률인 우도(likelihood)를 획득하는 단계, 베이스 레벨 모션의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 베이스 레벨 모션의 잠재 변수들에 관한 프라이어(prior)를 획득하는 단계 및 획득된 우도 및 프라이어에 기초하여, 베이스 레벨 모션의 잠재 변수를 추정하는 단계를 포함할 수 있다. 일실시예에 따른 잠재 변수를 추정하는 단계는 획득된 우도 및 획득된 프라이어에 베이즈 정리를 적용하여, 잠재 변수에 관한 사후 확률의 평균을 계산하는 단계 및 계산된 사후 확률의 평균에 기초하여, 베이스 레벨 모션의 잠재 변수를 추정하는 단계를 포함할 수 있다.

다시 말해, 베이스 레벨 모션을 획득하는 단계는 입력 모션의 관측 값들을 y = [y₁ ^T, y₂ ^T,…, y_i ^T,…, y_Nd ^T]^T, 베이스 레벨 모션의 잠재 변수들을 x = [x₁ ^T, x₂ ^T,…, x_j ^T,…, x_Nf ^T]^T로 하여, 상술한 수학식 1에 따른 x 및 y의 선형 관계에 기초한 우도(likelihood) p (y | x)를 획득하고, 수학식 3에 따른 x의 관계에 기초하여 수학식 5의 부드러움 프라이어 p(x)를 획득하여, 잠재 변수 x를 추정하는 단계를 포함할 수 있다. 잠재 변수 x를 추정하는 단계는 획득된 우도 p (y | x) 및 프라이어 p(x)에 베이즈 정리를 적용하여, 상술한 수학식 6 또는 수학식 7에 따라 잠재 변수 x에 관한 사후 확률의 평균을 계산하고, 계산된 사후 확률의 평균을 x로 추정하는 단계를 포함할 수 있다.

유용한 베이스 레벨 모션을 추출하기 위해 입력 모션에서 상당한 관측 노이즈를 가정하고 부드러움 우선을 이용하여 LGS를 최적화함으로써, 주어진 입력 모션을 부드럽게 할 수 있다. 수학식 6에서 상대적으로 큰 값을 λ 및 σ에 할당함으로써, 강력한 부드러움 프라이어가 적용될 수 있다. λ 및 σ의 선택은 주어진 동작의 유형에 따라 다르지만 간단한 휴리스틱을 이용하여 실질적인 값(practical value)을 찾을 수 있다.

병진 조인트(translational joint)의 경우 수학식 6을 이용하여 사후 평균 p(X_t|Y_t, λ^b, σ^b)를 계산함으로써, 베이스 레벨 모션에서의 궤적이 추출될 수 있다. 여기서, X_t 및 Y_t는 행을 따라 모든 병진 벡터(translational vector)를 적층하여(stacking) 생성된 N_f × 3 및 N_d × 3 행렬에 해당한다.

방향(orientations) 및 방향 관련 연산은 일반적으로 쿼터니언 공간에서 잘 정의되기 때문에 수학식 6을 이용하는 부드러운 방향의 직접적인 근사치는 잘못된 포즈(ill-posed)의 추정을 야기할 수 있다. 수학식 6은 유클리드 공간의 엔티티에 특화되어 있으므로, 수학식 7을 확장한 다음의 수학식 9와 같이, 조인트 방향의 안정적인 추정을 위해 쿼터니언 공간에 대한 비선형 최적화 문제가 해결되어야 한다.

여기서, log(q)는 쿼터니언을 회전 벡터로 변환하는 쿼터니언 로그 맵이다. log(q_a ^Tq_b)는 두 방향 간의 회전 차이를 나타낸다. 그러나 쿼터니언 로그 맵을 구별하기는 어렵다. 더욱이, 비선형 방정식을 최적화하는 것은 많은 수의 프레임에 대해 비용이 많이 들 수 있다. 이에, 두 개의 가까운 방향 q_a, q_b ∈ S³에 대해 측지 거리(geodesic distance)와 현 거리(chordal distance)가 거의 같다는 아래의 수학식 10과 같은 관찰을 통해, 수학식 9의 비용 함수는 쿼터니언 로그 맵 없이 조인트 방향에 대한 함수로 아래의 수학식 11과 같이 간략하게 나타낼 수 있다.

수학식 11은 LGS 설정에 적합한 바, 수학식 11을 푸는 것은 수학식 6을 이용하여 사후 평균 p(X_q|Y_q, λ^b, σ^b)을 계산하는 것과 동일한다. 여기서, X_q 및 Y_q는 각각 행을 따라 4차원의 동차 벡터(homogeneous vector)로 모든 쿼터니안 q를 적츰함으로써 생성된 N_f×4 및 N_d×4의 행렬이다. 방향의 사후 확률은 쿼터니언이 단위 길이를 유지할 수 있도록 다시 정규화되어야 한다.

상술한 바와 같이, 수학식 11의 프라이어 정밀도 λ 및 관측 노이즈 σ의 분산은 베이스 레벨 모션의 부드러움과 관련된 필수 매개 변수이다. 베이스 레벨 모션이 약한 프라이어(작은 λ 및 σ)를 적용하여 추출되는 경우, 제어 가능한 모션 변위 벡터는 결국 충분한 제어 가능성을 제공할 수 없는 베이스 레벨 모션과 작은 차이를 갖는 벡터로 생성된다. 반면, 제어 가능한 모션 변위 벡터의 회전 벡터는 베이스 레벨 모션이 강한 프라이어(큰 λ 및 σ)으로 추출되는 경우 잘못 정의될 수 있다. 이에, λ 및 σ를 위한 적절한 매개 변수 값을 찾아야 한다.

베이스 레벨 모션이 획득된 후, 입력 모션과 베이스 레벨 모션 사이의 모션 변위 벡터 δ(t)는 아래의 수학식 12와 같이, 보다 구체적으로는 수학식 13과 같이 계산될 수 있다.

여기서, u₀(t) ∈ R³은 루트에 관한 병진 벡터를 나타내고, v_i(t) = θ^v_i(t) ∈ R³은 v_i(t)를 쿼터니언 지수(quaternion expoenetiation) exp(v_i(t))에 의한 ^v_i(t) = v_i(t)/∥v_i(t)∥ 축에 대한 θ = ∥v_i(t)∥의 회전을 나타내는 단위 쿼터니언(unit quaternion)에 매핑하는 회전 벡터를 나타낸다.

연산자는 수학식 8에서 설명한 변위 매핑의 역(inverse)에 대응된다.

일반적으로 쿼터니언 지수는 다 대 일 매핑이다. 따라서, 수학식 13에서 역 로그 맵을 정의하기 위하여 도메인은 ∥v_i(t)∥<π로 제한될 수 있다. 따라서 베이스 레벨 모션에 대한 분해 설정에서 원래 방향 q_i(t)를 부드럽게 함으로써, 주어진 방향의 충분한 범위

를 포함하도록 q_i ^b(t)가 설계될 필요가 있다. 결과적으로 지수 맵 v_i(t)은 일 대 일 매핑을 보장하고 그 역 로그 맵은 제한된 도메인 ∥v_i(t)∥<π 내에서 정의될 수 있다.

상술한 부드러움 프라이어를 위한 최적의 매개 변수 값을 찾기 위해 간단한 휴리스틱을 사용하여 합리적이고 실질적인 베이스 레벨 모션이 유도될 수 있다. 약한 프라이어 값 (λ = 1.0 및 σ = 0.1)에서 시작하여, 수학식 13에 따른 모션 변위의 역 로그 맵이 특정 임계 값보다 높아질 때까지 λ와 σ를 모두 증가시키면서 주어진 모션에 대해 수학식 11을 반복적으로 적용할 수 있으며, 수학식 14의 조건에 따라 반복을 중지할 수 있다.

주어진 모션의 다양한 움직임 정도 때문에 일부 모션은 다른 모션보다 더 큰 최대 변위가 필요할 수 있다. λ와 σ를 케이스 별로 수동으로 설정하는 대신 사용자는 제어 범위를 결정하는 직관적인 기준 γ(π/2 ≤ γ < π)에 따라 다양한 동작에서 베이스 레벨 모션을 쉽게 추출할 수 있다.

일실시예에 따른 제어 가능한 모션 변위 벡터 및 잔여 모션 변위 벡터를 획득하는 단계는 입력 모션 및 베이스 레벨 모션 사이의 변위 벡터의 관측 값들과 제어 가능한 모션 변위 벡터의 잠재 변수들 사이에서 정의된 선형 관계에 기초하여, 제어 가능한 모션 변위 벡터의 잠재 변수들로부터 관측 값들이 관측될 확률인 우도를 획득하는 단계 제어 가능한 모션 변위 벡터의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 제어 가능한 모션 변위 벡터의 잠재 변수들에 관한 프라이어를 획득하는 단계 및 획득된 우도 및 획득된 프라이어에 기초하여, 제어 가능한 모션 변위 벡터의 잠재 변수를 추정하는 단계를 포함할 수 있다.

다시 말해, 제어 가능한 모션 변위 벡터 δ^c(t) 및 잔여 모션 변위 벡터 δ^r(t)를 획득하는 단계는 δ(t)의 관측 값들을 y = [y₁ ^T, y₂ ^T,…, y_i ^T,…, y_Nd ^T]^T, δ^c(t)의 잠재 변수들을 x = [x₁ ^T, x₂ ^T,…, x_j ^T,…, x_Nf ^T]^T로 하여, 상술한 수학식 1에 따른 x 및 y의 선형 관계에 기초한 우도(likelihood) p (y | x)를 획득하고, 수학식 3에 따른 x의 관계에 기초하여 수학식 5의 부드러움 프라이어 p(x)를 획득하여, 잠재 변수 x를 추정하는 단계를 포함할 수 있다. 여기서, 수학식 3에 따른 A는 단위 행렬(identity matrix)에 해당할 수 있다. 잠재 변수 x를 추정하는 단계는 획득된 우도 p (y | x) 및 프라이어 p(x)에 베이즈 정리를 적용하여, 상술한 수학식 6 또는 수학식 7에 따라 잠재 변수 x에 관한 사후 확률의 평균을 계산하고, 계산된 사후 확률의 평균을 x로 추정하는 단계를 포함할 수 있다.

일실시예에 따를 때, 베이스 레벨 모션을 획득하기 위하여 적용되는 선형 가우시안 모델의 파라미터와 제어 가능한 모션 변위 벡터를 획득하기 위하여 적용되는 선형 가우시안 모델의 파라미터는 서로 다르게 설정될 수 있다. 예를 들어, 베이스 레벨 모션을 획득하기 위하여 적용되는 선형 가우시안 모델의 λ 및 σ의 값은 제어 가능한 모션 변위 벡터를 획득하기 위하여 적용되는 선형 가우시안 모델의 λ 및 σ의 값과 다른 값으로 설정될 수 있다.

베이스 레벨 모션 M^b(t)는 주어진 모션을 합리적으로 근사하면서 가능한 한 부드럽게 추출되기 때문에 분해된 변위 벡터 δ(t)는 원래의 입력 모션의 고주파 노이즈를 포함할 수 있다. 입력 모션에서 고주파 노이즈를 제거하기 위해 LGS를 다시 적용하여, 다음의 수학식 15와 같이 변위 벡터 δ(t)에서 고주파의 잔여 노이즈가 분리될 수 있다.

여기서, ^~exp(δ) = (u₀(t), exp(v₀(t)),…, exp(v_Nj-1(t)))는 변위 벡터로 일반화된 지수 맵이며, 여기서 부드러운 변위 벡터 δ^c(t)는 시간 t에서 p(X_δ|Y_δ, λ^c, σ^c)의 사후 평균이다. δ^r(t)는 원래 동작의 고주파의 잔여 노이즈에 해당하므로 제거되는 것이 좋다.

기하학적 관점에서 δ^c(t)는 루트의 병진 이동 u₀(t)와 베이스 레벨 모션 M^b(t) = (p₀ ^b(t), q₀ ^b(t),…, q_Nj-1 ^b(t))의 모든 조인트의 회전 {v_i(t)|0 ≤ I < N_j}로 해석될 수 있다. 또한 회전 벡터 αv ∈ R³의 스칼라 곱셈이 잘 정의되어 있으므로 동일한 축 ^v를 중심으로 한 회전 운동을 나타내지만 회전 각도의 크기 ∥v∥ 가 α의 계수로 스케일링(scaling)되며, δ^c(t)를 사용하여 합성된 모션을 다음의 수학식 16과 같이 제어할 수 있다.

여기서, M'(t)는 합성된 모션을 나타내고, W(t)는 아래의 수학식 17과 같이 시간 t에서 각 조인트에 대한 변위 벡터의 스케일을 제어하는 블록 대각 행렬을 나타낸다.

여기서, α₀ ^uI₃ 및 α_i ^vI₃ 은 각각 루트의 병진에 대한 가중치 인자 및 i번째 조인트의 회전에 대한 가중치 인자이다. 노이즈 제거 및 스타일 모듈레이션을 위한 제어 행렬 W(t)를 설계하는 방법은 이하에서 상술한다.

일실시예에 따른 분해 기술은 조인트 공간 신호를 사용하기 때문에 연산 공간에서 결과로 생긴 조인트 궤적(trajectory), 즉 세계 공간(world space)의 조인트 경로가 새로운 모션을 합성한 후 원래 궤적에서 벗어날 수 있다. 발과 접촉이 큰 다리 등의 폐쇄 체인 조인트(closed-chain joint)의 경우 발의 미끄러짐과 같은 바람직하지 아티팩트가 발생할 수 있다. 이러한 아티팩트를 피하기 위해 원래 모션의 모든 환경 접촉(environmental contacts)은 미리 계산되며, 그 다음에 일련의 접촉 제약 조건으로 모션을 합성하는 시공간의 최적화 문제를 해결한다. 환경 접촉에 대한 최종 모션은 다음의 수학식 18과 같이 계산될 수 있다.

여기서, M'(t)는 수학식 16을 이용하여 접촉을 고려하지 않고 합성된 모션이고, δ^e(t)는 위치 제약에서 원래 접촉점(contact point)을 고려한 시공간 최적화에 의해 계산된 시간 t에서의 변위 벡터이다.

도 3은 일실시예에 따른 입력 모션이 분해된 결과를 예시한 도면이다. 상술한 바와 같이, 입력 모션은 선형 가우시안 모델의 순차적 적용으로, 베이스 레벨 모션, 제어 가능한 모션 변위 벡터 및 잔여 모션 변위 벡터로 분해될 수 있다. 도 3은 캐릭터가 정의된 공간에서 캐릭터의 병진 운동으로 인한 루트의 y 값의 위치 변화를 나타낸 것으로, 각 그래프는 입력 모션에 포함된 y 값의 위치 변화(301), 베이스 레벨 모션에 포함된 y 값의 위치 변화(302), 제어 가능한 모션 변위 벡터 에 포함된 y 값의 위치 변화(303) 및 잔여 모션 변위 벡터에 포함된 y 값의 위치 변화(304)를 도시한다. 도 3을 참조하면, 입력 모션에서 베이스 레벨 모션 및 제어 가능한 모션 변위 벡터를 분리하고 남은 잔여 모션 변위 벡터는 고주파의 노이즈에 해당하는 것을 알 수 있다.

도 4는 일실시예에 따른 노이즈 제거 및 스타일 모듈레이션을 설명하기 위한 도면이다.

일실시예에 따른 출력 모션 M'(t)은 아래의 수학식 19와 같이 베이스 레벨 모션 M^b(t) 및 제어 가능한 모션 변위 벡터 δ^c(t)에 기초하여 합성될 수 있다.

도 4를 참조하면, α 값에 따라 노이즈 제거된 출력 모션(401), 스타일 모듈레이션된 출력 모션(402)을 합성할 수 있으며, α 값을 조절하여, 노이즈 제거 정도 및 스타일 모듈레이션의 정도가 조절될 수 있다. 예를 들어, α 값이 0에 가까우면 베이스 레벨 모션에 가까운 출력 모션이 합성될 수 있고, α=1인 경우 노이즈 제거된 출력 모션이 합성될 수 있으며, α 값이 큰 값으로 설정될수록 원래의 모션에서 변조 정도가 큰 출력 모션이 합성될 수 있다.

노이즈 제거(Denoising)

일실시예에 따른 출력 모션의 합성 과정은 노이즈 제거 과정을 포함할 수 있다. 노이즈 제거에 관한 출력 모션을 합성하는 단계는 베이스 레벨 모션 및 제어 가능한 모션 변위 벡터를 합함으로써, 입력 모션에서 잔여 모션 변위 벡터가 제거된 출력 모션을 합성하는 단계를 포함할 수 있다.

캡처된 모션에서 노이즈를 제거하는 것은 고품질의 모션을 얻기 위해 수행되어야 하는 전처리 작업이다. 일실시예에 따를 때, 분해 과정에서 고주파 노이즈 δ^r(t)가 입력 모션에서 자동으로 제거될 수 있다. 예를 들어, 상술한 수학식 16에서 W(t) = I로 설정하거나, 수학식 19에서 α = 1로 설정하여, 노이즈가 제거된 모션을 얻을 수 있다. 도 4를 참조하면, 조인트 공간에서 고주파 노이즈의 모든 인스턴스를 효과적으로 제거하여 조인트의 연산(operation) 공간에 있는 신호를 자연스럽게 제거할 수 있다. 연산 공간의 부드러운 신호는 결과 모션의 추가 처리를 위해 시공간 제약이 부과되어야 할 때 특히 중요하다.

스타일 모듈레이션(Style modulation)

일실시예에 따른 출력 모션의 합성 과정은 스타일 모듈레이션 과정을 포함할 수 있다. 스타일 모듈레이션에 관한 출력 모션을 합성하는 단계는 제어 가능한 모션 변위 벡터에 가중치를 설정하는 단계 및 베이스 레벨 모션 및 가중치가 설정된 제어 가능한 모션 변위 벡터를 합함으로써, 출력 모션을 합성하는 단계를 포함할 수 있다.

예를 들어, 상술한 수학식 19에서 α = 1로 설정하는 대신 α 값을 계속 변경하여 제어 가능한 모션 변위 벡터를 베이스 레벨 모션과 관련하여 변조할 수 있다. 조인트들의 집합에 개별적으로 영향을 미치는 제어 행렬 W(t)을 설계하여 보다 유용한 확장을 달성할 수 있다. 또 예를 들어, 상술한 수학식 17에서 모든 조인트에 대해 균일한 α를 사용하는 대신 선택한 신체 부위의 조인트 α_i ^v의 부분 집합을 제어하여 모션을 변조할 수 있다.

도 5 내지 도 8는 일실시예에 따른 리샘플링 및 시간 워핑을 설명하기 위한 도면들이다.

상술한 바와 같이, 모션은 복수의 프레임들에 대응하는 캐릭터의 포즈들을 포함할 수 있고, 선형 가우시안 모델에서 주어진 모션의 프레임의 수 N_d와 추정 대상 모션의 프레임의 수 N_f는 서로 다르게 결정될 수 있다.

예를 들어, 도 5를 참조하면, 주어진 모션의 N_d개의 프레임들 각각에 대응하는 관측 값 y는 y₁, y₂,…, y_Nd의 N_d개의 캐릭터의 포즈들의 정보를 포함할 수 있다. 한편, 도 6을 참조하면, 추정 대상 모션의 N_d개보다 많은 N_f개의 프레임들 각각에 대응하는 잠재 변수 x는 x₁, x₂,, x_Nf의 N_f개의 캐릭터의 포즈들의 정보를 포함할 수 있다. 추정 대상 모션의 프레임의 개수 N_f는 도 5 및 도 6에 도시된 바와 같이 주어진 모션의 프레임의 개수 N_d보다 큰 값에 해당할 수도 있으며, 이와 달리 N_d와 동일한 값에 해당할 수도 있으며, N_d보다 작은 값에 해당할 수도 있다.

입력 모션에 베이스 레벨 모션 획득을 위하여 선형 가우시안 모델을 적용하는 경우, 입력 모션의 관측 값들은 제1 개수의 프레임들에 대응하는 캐릭터의 포즈들의 정보를 포함할 수 있으며, 베이스 레벨 모션의 잠재 변수들은 제2 개수의 프레임들에 대응하는 상기 캐릭터의 포즈들의 정보를 포함할 수 있다. 이 경우, 수학식 1에 따라 입력 모션의 관측 값들과 베이스 레벨 모션의 잠재 변수들 사이의 선형 관계를 정의하는 단계는 입력 모션의 관측 값들 각각을 베이스 레벨 모션의 잠재 변수들 각각에 매핑하는 단계 및 매핑 결과와 가우시안 분포를 따르는 노이즈

에 기초하여, 입력 모션의 관측 값들과 베이스 레벨 모션의 잠재 변수들 사이의 선형 관계를 정의하는 단계를 포함할 수 있다.

일실시예에 따를 때, 입력 모션의 관측 값들 각각을 베이스 레벨 모션의 잠재 변수들 각각에 매핑하는 단계는 상술한 투영 행렬 A를 설계하는 단계에 해당할 수 있다. 상술한 바와 같이, 추정 대상 프레임 수 N_f 및 투영 행렬 A는 리샘플링 및 시간 워핑 등의 시간적 변화를 제어하기 위해 이용될 수 있다. 다시 말해, 분해 과정 전에 시간적 변화를 합성하기 위해, 상술한 수학식 7에서 추정 대상 프레임 의 수 N_f를 변경하여, 주어진 모션의 프레임 i에서의 관측 값 y_i에서 추정 대상 모션의 프레임 j에서의 잠재 변수 x_j로 매핑할 수 있다.

리샘플링(Resampling)

예를 들어, 도 6에 도시된 바와 같이, y_i에서 x_j로 균일하게 매핑하면 리샘플링된 모션을 얻을 수 있다. 균일하게 매핑한다는 것은 입력 모션의 관측 값들 각각을 베이스 레벨 모션의 잠재 변수들 각각에 N_d및 N_f 사이의 비율에 기초한 일정한 간격으로 매핑하는 것을 의미할 수 있다. 예를 들어, N_f가 N_d의 2배인 경우, N_d및 N_f 사이의 비율에 기초한 2개의 프레임 간격으로, y_i를 x_2×i에 매핑할 수 있고(i= 0, 1, 2,…, N_d-1), N_f가 N_d의 3배인 경우, N_d및 N_f 사이의 비율에 기초한 3개의 프레임 간격으로, y_i를 x_3×i에 매핑할 수 있고(i= 0, 1, 2,…, N_d-1)있다. 업 샘플링의 경우에도, 부드러움 프라이어에 의해 인접한 회전을 고려하여 안정적인 중간 회전을 생성할 수 있다.

시간 워핑(Time warping)

한편, y_i와 x_j 를 일정한 간격으로 균일하게 매핑하는 대신, 시간이 지남에 따라 매핑 간격을 동적으로 변경하여 시간 워핑된 모션이 합성될 수 있다. 다시 말해, 입력 모션의 관측 값들 각각이 베이스 레벨 모션의 잠재 변수들 각각에 일정하지 않은 간격으로 매핑됨으로써, 시간 워핑된 출력 모션이 합성될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 구간(701)의 매핑 간격은 구간(702)의 매핑 간격과 다를 수 있다. 인접한 프레임 간의 변위에 따라 y_i와 x_j 간의 매핑 간격을 동적으로 변경하는 시간 워핑을 통해, 입력 모션의 일부가 강조된 출력 모션이 합성될 수 있다. 도 8을 참조하면, 인접한 프레임 간의 변위에 따라 y_i와 x_j 간의 매핑 간격이 변경됨으로써, 일부 구간에서 시간 워핑된 출력 영상(801)이 합성될 수 있다.

도 9는 일실시예에 따른 장치의 구성의 예시도이다.

도 9를 참조하면, 장치(900)는 프로세서(901), 메모리(903) 및 입출력 장치(905)를 포함한다.

일실시예에 따른 장치(900)는 상술한 모션 처리 방법을 수행하는 장치로, 서버 및 사용자의 디바이스(예를 들어, 휴대폰, 컴퓨터 등)를 포함할 수 있다. 프로세서(901)는 도 1 내지 도 8을 통하여 전술한 적어도 하나의 방법의 단계를 수행할 수 있다. 메모리(903)는 상술한 모션 처리 방법과 관련된 정보를 저장하거나 상술한 모션 처리 방법이 구현된 프로그램을 저장할 수 있다. 메모리(903)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

프로세서(901)는 프로그램을 실행하고, 장치(900)를 제어할 수 있다. 프로 세서(901)에 의하여 실행되는 프로그램의 코드는 메모리(903)에 저장될 수 있다. 장치(900)는 입출력 장치(905)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

입력 모션에 선형 가우시안(linear gaussian) 모델을 적용하여 베이스 레벨(base-level) 모션을 획득하는 단계;
상기 입력 모션 및 상기 베이스 레벨 모션 사이의 변위 벡터에 상기 선형 가우시안 모델을 적용하여 제어 가능한 모션 변위 벡터(controllable motion displacements) 및 잔여 모션 변위 벡터(residual motion displacements)를 획득하는 단계; 및
상기 베이스 레벨 모션 및 상기 제어 가능한 모션 변위 벡터에 기초하여, 출력 모션을 합성하는 단계
를 포함하는,
모션 처리 방법.
제1항에 있어서,
상기 출력 모션을 합성하는 단계는
상기 베이스 레벨 모션 및 상기 제어 가능한 모션 변위 벡터를 합함으로써, 상기 입력 모션에서 상기 잔여 모션 변위 벡터가 제거된 상기 출력 모션을 합성하는 단계
를 포함하는,
모션 처리 방법.
제1항에 있어서,
상기 출력 모션을 합성하는 단계는
상기 제어 가능한 모션 변위 벡터에 가중치를 설정하는 단계; 및
상기 베이스 레벨 모션 및 상기 가중치가 설정된 상기 제어 가능한 모션 변위 벡터를 합함으로써, 상기 출력 모션을 합성하는 단계
를 포함하는,
모션 처리 방법.
제1항에 있어서,
상기 베이스 레벨 모션을 획득하는 단계는
상기 입력 모션의 관측 값들과 상기 베이스 레벨 모션의 잠재 변수들 사이에서 정의된 선형 관계에 기초하여, 상기 잠재 변수들로부터 상기 관측 값들이 관측될 확률인 우도(likelihood)를 획득하는 단계;
상기 베이스 레벨 모션의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 상기 잠재 변수들에 관한 프라이어(prior)를 획득하는 단계; 및
상기 우도 및 상기 프라이어에 기초하여, 상기 잠재 변수를 추정하는 단계
를 포함하는,
모션 처리 방법.
제4항에 있어서,
상기 잠재 변수를 추정하는 단계는
상기 우도 및 상기 프라이어에 베이즈 정리(bayes rule)를 적용하여, 상기 잠재 변수에 관한 사후 확률의 평균을 계산하는 단계; 및
상기 사후 확률의 평균에 기초하여, 상기 잠재 변수를 추정하는 단계
를 포함하는,
모션 처리 방법.
제4항에 있어서,
상기 선형 관계는 가우시안 분포를 따르는 제1 노이즈를 포함하고,
상기 잠재 변수들 간의 관계에 관한 가정은 가우시안 분포를 따르는 제2 노이즈를 포함하는,
모션 처리 방법.
제1항에 있어서,
상기 베이스 레벨 모션을 획득하는 단계는
상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 매핑하는 단계;
상기 매핑 결과 및 가우시안 분포를 따르는 제1 노이즈에 기초하여, 상기 입력 모션의 관측 값들과 상기 베이스 레벨 모션의 잠재 변수들 사이의 선형 관계를 정의하는 단계;
상기 선형 관계에 기초하여, 상기 잠재 변수들로부터 상기 관측 값들이 관측될 확률인 우도를 획득하는 단계;
상기 베이스 레벨 모션의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 상기 잠재 변수들에 관한 프라이어를 획득하는 단계; 및
상기 우도 및 상기 프라이어에 기초하여, 상기 잠재 변수를 추정하는 단계
를 포함하고,
상기 입력 모션의 관측 값들은 제1 개수의 프레임들에 대응하는 캐릭터의 포즈들의 정보를 포함하고,
상기 베이스 레벨 모션의 잠재 변수들은 제2 개수의 프레임들에 대응하는 상기 캐릭터의 포즈들의 정보를 포함하는,
모션 처리 방법.
제7항에 있어서,
상기 매핑하는 단계는
상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 상기 제1 개수 및 제2 개수의 비율에 기초한 일정한 간격으로 매핑하는 단계
를 포함하는,
모션 처리 방법.
제7항에 있어서,
상기 매핑하는 단계는
상기 입력 모션의 관측 값들 및 상기 베이스 레벨 모션의 잠재 변수들의 매핑 간격을 동적으로 제어함으로써, 상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 매핑하는 단계
를 포함하는,
모션 처리 방법.
제1항에 있어서,
상기 제어 가능한 모션 변위 벡터 및 상기 잔여 모션 변위 벡터를 획득하는 단계는
상기 입력 모션 및 상기 베이스 레벨 모션 사이의 변위 벡터의 관측 값들과 상기 제어 가능한 모션 변위 벡터의 잠재 변수들 사이에서 정의된 선형 관계에 기초하여, 상기 잠재 변수들로부터 상기 관측 값들이 관측될 확률인 우도를 획득하는 단계;
상기 제어 가능한 모션 변위 벡터의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 상기 잠재 변수들에 관한 프라이어를 획득하는 단계; 및
상기 우도 및 상기 프라이어에 기초하여, 상기 잠재 변수를 추정하는 단계
를 포함하는,
모션 처리 방법.
제1항에 있어서,
상기 입력 모션은 제1 개수의 프레임들에 대응하는 캐릭터의 포즈들을 포함하고,
상기 베이스 레벨 모션은 제2 개수의 프레임들에 대응하는 상기 캐릭터의 포즈들을 포함하며,
상기 캐릭터의 포즈는 상기 캐릭터에 대응하여 정의된 루트의 병진 운동및 조인트들의 회전 운동에 관한 벡터를 포함하는,
모션 처리 방법.
제11항에 있어서,
상기 조인트들의 회전 운동은 쿼터니언(quaternion) 공간에서 정의된 회전 운동을 포함하는,
모션 처리 방법.
하드웨어와 결합되어 제1항 내지 제12항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
입력 모션에 선형 가우시안 모델을 적용하여 베이스 레벨 모션을 획득하고,
상기 입력 모션 및 상기 베이스 레벨 모션 사이의 변위 벡터에 상기 선형 가우시안 모델을 적용하여 제어 가능한 모션 변위 벡터 및 잔여 모션 변위 벡터를 획득하며,
상기 베이스 레벨 모션 및 상기 제어 가능한 모션 변위 벡터에 기초하여, 출력 모션을 합성하는.
적어도 하나의 프로세서를 포함하는,
모션 처리 장치.
제14항에 있어서,
상기 프로세서는,
상기 출력 모션을 합성함에 있어서,
상기 베이스 레벨 모션 및 상기 제어 가능한 모션 변위 벡터를 합함으로써, 상기 입력 모션에서 상기 잔여 모션 변위 벡터가 제거된 상기 출력 모션을 합성하는,
모션 처리 장치.
제14항에 있어서,
상기 프로세서는,
상기 출력 모션을 합성함에 있어서,
상기 제어 가능한 모션 변위 벡터에 가중치를 설정하고,
상기 베이스 레벨 모션 및 상기 가중치가 설정된 상기 제어 가능한 모션 변위 벡터를 합함으로써, 상기 출력 모션을 합성하는,
모션 처리 장치.
제14항에 있어서,
상기 프로세서는,
상기 베이스 레벨 모션을 획득함에 있어서,
상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 매핑하고,
상기 매핑 결과 및 가우시안 분포를 따르는 제1 노이즈에 기초하여, 상기 입력 모션의 관측 값들과 상기 베이스 레벨 모션의 잠재 변수들 사이의 선형 관계를 정의하고,
상기 선형 관계에 기초하여, 상기 잠재 변수들로부터 상기 관측 값들이 관측될 확률인 우도를 획득하고,
상기 베이스 레벨 모션의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 상기 잠재 변수들에 관한 프라이어(prior)를 획득하며,
상기 우도 및 상기 프라이어에 기초하여, 상기 잠재 변수를 추정하고,
상기 입력 모션의 관측 값들은 제1 개수의 프레임들에 대응하는 캐릭터의 포즈들의 정보를 포함하고,
상기 베이스 레벨 모션의 잠재 변수들은 제2 개수의 프레임들에 대응하는 상기 캐릭터의 포즈들의 정보를 포함하는,
모션 처리 장치.
제17항에 있어서,
상기 프로세서는,
상기 매핑함에 있어서,
상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 상기 제1 개수 및 제2 개수의 비율에 기초한 일정한 간격으로 매핑하는,
모션 처리 장치.
제17항에 있어서,
상기 프로세서는,
상기 매핑함에 있어서,
상기 입력 모션의 관측 값들 및 상기 베이스 레벨 모션의 잠재 변수들의 매핑 간격을 동적으로 제어함으로써, 상기 입력 모션의 관측 값들 각각을 상기 베이스 레벨 모션의 잠재 변수들 각각에 매핑하는,
모션 처리 장치.
제14항에 있어서,
상기 프로세서는,
상기 제어 가능한 모션 변위 벡터 및 상기 잔여 모션 변위 벡터를 획득함에 있어서,
상기 입력 모션 및 상기 베이스 레벨 모션 사이의 변위 벡터의 관측 값들과 상기 제어 가능한 모션 변위 벡터의 잠재 변수들 사이에서 정의된 선형 관계에 기초하여, 상기 잠재 변수들로부터 상기 관측 값들이 관측될 확률인 우도(likelihood)를 획득하고,
상기 제어 가능한 모션 변위 벡터의 잠재 변수들 간의 관계에 관한 가정에 기초하여, 상기 잠재 변수들에 관한 프라이어(prior)를 획득하며,
상기 우도 및 상기 프라이어에 기초하여, 상기 잠재 변수를 추정하는,
모션 처리 장치.