KR101639195B1 - 동작 합성을 위한 데이터 처리 장치 및 방법 - Google Patents

동작 합성을 위한 데이터 처리 장치 및 방법 Download PDF

Info

Publication number
KR101639195B1
KR101639195B1 KR1020100112549A KR20100112549A KR101639195B1 KR 101639195 B1 KR101639195 B1 KR 101639195B1 KR 1020100112549 A KR1020100112549 A KR 1020100112549A KR 20100112549 A KR20100112549 A KR 20100112549A KR 101639195 B1 KR101639195 B1 KR 101639195B1
Authority
KR
South Korea
Prior art keywords
motion
probability distribution
data
mfa
distribution model
Prior art date
Application number
KR1020100112549A
Other languages
English (en)
Other versions
KR20120042593A (ko
Inventor
하인우
이태현
김도균
리우 후아쥰
차이 진시앙
웨이 샤오린
Original Assignee
삼성전자주식회사
더 텍사스 에이 앤드 엠 유니버시티 시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 더 텍사스 에이 앤드 엠 유니버시티 시스템 filed Critical 삼성전자주식회사
Priority to US13/317,553 priority Critical patent/US8655810B2/en
Publication of KR20120042593A publication Critical patent/KR20120042593A/ko
Application granted granted Critical
Publication of KR101639195B1 publication Critical patent/KR101639195B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

동작 합성을 위한 데이터 처리 장치가 제공된다. 상기 데이터 처리 장치의 전처리부는, 미리 획득되어 모션 데이터베이스에 저장된 모션 데이터에 에너지 최소화 최적 알고리즘을 적용하여 MFA(Mixture of Factor Analysis) 파라미터를 계산한다. 이러한 과정에 의해 동작 확률 분포 모델이 생성되면, 상기 데이터 처리 장치의 연산부는 입력 모션 센서 데이터를 상기 동작 확률 분포 모델에 적용하여 상기 입력 모션 센서 데이터에 대응하는 동작을 합성할 수 있다.

Description

동작 합성을 위한 데이터 처리 장치 및 방법{DATA PROCESSING APPARATUS AND METHOD FOR MOTION SYNTHESIS}
모션 센싱에 의한 사용자의 동작을 이용하여 가상 캐릭터의 동작을 실시간 합성하는 데이터 처리 장치 및 방법에 연관된다. 보다 특정하게는, 모션 센싱이 있는 경우, 상기 모션 센싱에 대응하여 실시간으로 아바타(Avatar) 등 3D 모델의 동작을 추정하고 합성하는 데이터 처리 장치 및 방법에 연관된다.
최근 비디오 게임, 가상 세계(virtual world), 영화 컴퓨터 그래픽(computer graphic, CG) 등 실제 공간에서의 타깃 오브젝트(이를 테면, 사람(human body))의 동작을 센싱하고, 이를 3-Dimensional(3D) 공간 내에서 구현하는 기술에 관한 관심이 증가하고 있다.
동작 추정 또는 동작 캡처 등 다양한 명칭으로 불릴 수 있는 이러한 기술에 있어서, 동작의 센싱으로부터 동작 캡처 결과 도출까지 이르는 계산 시간이 길다는 점은 단점으로 작용한다.
사람의 동작을 센싱하고 이를 캡처하는 경우에, 사람의 몸에 부착된 센서의 수가 많을수록 결과 값은 정밀할 것으로 예상되나, 이는 센싱을 위한 과정이 번거롭고 많은 제약을 받음을 의미한다. 즉, 많은 센서를 부착한 인체의 움직임이 제한되고, 센서를 부착하거나 제거하기가 번거로운 등의 어려움이 있다.
이러한 점을 고려하여, 비교적 적은 수의 센서만을 부착하여, 움직임을 센싱하고 이를 통해 동작 캡처를 수행 할 수 있는 방법이 연구되고 있는데, 센서의 수가 적어질수록 센서 노이즈로 인한 동작 오류가 커질 수 있다.
따라서, 비교적 적은 수의 센서로부터 수신되는 모션 센싱 결과를 이용하여 실시간으로 정확한 온라인 동작 합성을 수행하면서도, 센서 노이즈에 강한(robust) 결과를 도출하는 것이 요구된다.
센싱된 사용자의 모션(sensed motion of user)을 이용하여, 부드럽고 자연스러운 아바타의 모션을 실시간으로 합성(synthesis)할 수 있는 데이터 처리 장치 및 방법이 제공된다.
센서 노이즈(sensor noise)에 강해서(robust) 컴팩트한(compact) 동작 학습이 가능하고, 복잡한 동작도 정확히 합성하는 데이터 처리 장치 및 방법이 제공된다.
본 발명의 일측에 따르면, 모션 데이터베이스에 저장된 모션 데이터에 에너지 최소화 최적 알고리즘을 적용하여 MFA(Mixture of Factor Analysis) 파라미터를 계산하여 동작 확률 분포 모델을 생성하는 전처리부, 및 입력 모션 센서 데이터를 상기 동작 확률 분포 모델에 적용하여 상기 입력 모션 센서 데이터에 대응하는 동작을 합성하는 연산부를 포함하는, 데이터 처리 장치가 제공된다.
여기서 상기 전처리부는, 미리 복수 개의 모션 캡처 데이터를 저장하는 모션 데이터베이스, 상기 복수 개의 모션 캡처 데이터를 이용하여 EM(Energy Minimization) Optimization을 통한 MFA(Mixture of Factor Analyzers) 파라미터를 계산하는 MFA 파라미터 계산부, 및 상기 계산된 MFA 파라미터를 이용하여 상기 동작 확률 분포 모델을 생성하는 모션 확률 분포 모델링부를 포함할 수 있다.
이 경우, 상기 MFA 파라미터는, 상기 모션 데이터베이스에 저장된 모션 데이터의 포즈 분포(Pose Distribution)을 가우시안(Gaussian) 모델의 조합으로 구성하기 위한 파라미터일 수 있다.
또한, 상기 동작 확률 분포 모델은, 파라메트릭 포즈 모델(Parametric Pose Model)일 수 있다.
본 발명의 일실시예에 따르면, 상기 데이터 처리 장치는 상기 연산부가 합성한 적어도 하나의 이전 프레임(previous frame)의 동작을 저장하는 프레임 버퍼를 더 포함하고, 이 경우, 상기 연산부는, 현재 프레임의 입력 모션 센서 데이터에 대응하는 동작을 합성하는 경우 상기 프레임 버퍼에 저장된 적어도 하나의 이전 프레임의 동작을 반영하여 합성한다.
한편, 상기 연산부는, 상기 프레임 버퍼에 저장된 적어도 하나의 이전 프레임의 동작을 반영하는 경우, MPC(Model Predictive Control) 기반 동작 최적화 기법을 사용할 수 있다.
본 발명의 일실시예에 따르면, 상기 연산부는, 상기 입력 모션 센서 데이터를 상기 동작 확률 분포 모델에 적용하여 실시간으로 상기 입력 모션 센서 데이터에 대응하는 동작을 합성한다.
본 발명의 다른 일측에 따르면, 모션 데이터베이스에 저장된 모션 데이터에 에너지 최소화 최적 알고리즘을 적용하여 MFA(Mixture of Factor Analysis) 파라미터를 계산하여 동작 확률 분포 모델을 생성하는 단계, 및 입력 모션 센서 데이터를 상기 동작 확률 분포 모델에 적용하여 상기 입력 모션 센서 데이터에 대응하는 동작을 합성하는 단계를 포함하는, 데이터 처리 방법이 제공된다.
한편, 상기 데이터 처리 방법은, 적어도 하나의 이전 프레임(previous frame)에서 합성된 동작을 저장하는 단계를 더 포함하고, 이 경우 상기 동작을 합성하는 단계는, 현재 프레임의 입력 모션 센서 데이터에 대응하는 동작을 합성하는 경우 상기 저장된 적어도 하나의 이전 프레임의 동작을 반영하여 상기 현재 프레임의 동작을 합성한다.
실시간 모션 합성(motion synthesis)이 가능하며, 부드럽고 자연스러운 아바타의 모션이 합성될 수 있다.
센서 노이즈에 강하여 정확한 동작 합성이 가능하며, 복잡한 동작도 실시간으로 합성될 수 있다.
도 1은 본 발명의 일실시예에 따른 데이터 처리 장치를 도시한다.
도 2는 본 발명의 일실시예에 따른 데이터 처리 장치의 전처리부의 세부 구성을 도시한다.
도 3은 본 발명의 일실시예에 따라 입력되는 모션 센서 데이터를 획득하는 과정을 도시하는 개념도이다.
도 4는 본 발명의 일실시예에 따라 이전 프레임에서 획득된 동작 합성 결과가 현재 프레임의 동작 합성에 반영되는 과정을 설명하기 위한 개념도이다.
도 5는 본 발명의 일실시예에 따라 동작 확률 분포 모델을 이용하여 모션 센싱 데이터에 대응하는 동작을 합성하는 과정을 도시하는 개념도이다.
도 6은 본 발명의 일실시예에 따른 데이터 처리 방법에서, 동작 확률 분포 모델을 생성하는 전처리부의 동작을 설명하는 흐름도이다.
도 7은 본 발명의 일실시예에 따른 데이터 처리 방법에서, 동작 확률 분포 모델에 따라 이전 프레임 동작 합성 결과를 이용하여 현재 프레임의 동작 합성을 수행하는 과정을 설명하는 흐름도이다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 데이터 처리 장치(100)를 도시한다.
데이터 처리 장치(100)의 전처리부(pre-processing unit)(110)는 미리 사람의 몸의 다양한 동작을 캡처한 모션 캡처 데이터를 이용하여 동작 확률 분포 모델을 생성한다.
전처리부(110)가 동작 확률 분포 모델을 생성하는 과정에 대해서는 도 2 및 도 5를 참조하여 보다 상세히 후술한다.
그리고, 실시간으로 사용자의 포즈를 센싱한 입력 모션 센싱 데이터가 센서 입력 수신부(120)에 입력되는 경우, 연산부(130)는 이러한 동작 확률 분포 모델을 이용하여 Energy Minimization 기법에 따라 입력 모션 센싱 데이터에 대응하는 가상 캐릭터의 동작을 합성한다.
이 경우, 본 발명의 일실시예에 따르면, 연산부(130)에서 생성된 동작 합성 결과는 프레임 단위로 프레임 버퍼(140)에 저장된다.
그리고, 이렇게 프레임 버퍼(140)에 저장된 동작 합성 결과들은, 다음 프레임의 동작 합성에 이용될 수 있다.
연산부(130)의 동작 합성 과정은 도 4 내지 도 5를 참조하여 보다 상세히 후술한다.
도 2는 본 발명의 일실시예에 따른 데이터 처리 장치의 전처리부(110)의 세부 구성을 도시한다.
데이터 처리 장치(100)의 전처리부(110)는 모션 캡처 데이터를 저장하는 모션 데이터베이스(210), 상기 모션 캡처 데이터를 이용하여 EM(Energy Minimization) Optimization을 통한 MFA(Mixture of Factor Analyzers) 파라미터를 계산하는 MFA 파라미터 계산부(220), 및 상기 계산된 MFA 파라미터를 이용하여 동작 확률 분포 모델을 생성하는 모션 확률 분포 모델링부(230)을 포함한다.
미리 캡처 되어서 모션 데이터베이스(210)에 저장되는 모션 캡처 데이터는 비교적 많은 수, 이를테면 50 DOF(Degree Of Freedom) 이상의 정밀한 센서를 이용하여 사람의 몸의 다양한 동작을 캡처한 센싱 값들이다.
이러한 모션 캡처 데이터는, 이를테면 100만개 이상의 프레임들에서 사람의 동작을 정밀하게 측정하여, 사람이 만들어 낼 수 있는 가능한 거의 대부분의 포즈(pose) 정보를 포함할 수 있다.
MFA 파라미터 계산부(220)는 상기 모션 데이터베이스(210)에 액세스 하여, 상기 모션 캡처 데이터를 이용하여 EM(Energy Minimization) Optimization을 통한 MFA(Mixture of Factor Analyzers) 파라미터를 계산한다.
상기 MFA(Mixture of Factor Analyzers)는 모션 데이터베이스(210)의 모션 캡처 데이터에 저장된 포즈 분포(Pose Distribution)를 가우시안(Gaussian) 모델의 선형 조합(linear combination)으로 구성된 파라메트릭 포즈 모델(Parametric Pose Model)로 표현하는 기법이다.
이러한 MFA에서 데이터베이스(210) 내의 모션 캡처 데이터의 포즈 분포는 복수 개의 가우시안 함수의 선형 조합으로 표현되며, 상기 모션 캡처 데이터가 포함하는 사람의 스켈레톤(skeleton) 포즈 분포는 확률 분포로서 이해될 수 있다.
모션 확률 분포 모델링부(230)는 상기 계산된 MFA 파라미터를 이용하여 Nonlinear 한 파라메트릭 포즈 모델(Parametric Pose Model)인 동작 확률 분포 모델을 생성한다.
이러한 동작 확률 분포는 도 5를 참조하여 보다 상세히 후술한다.
도 3은 본 발명의 일실시예에 따라 입력되는 모션 센서 데이터를 획득하는 과정을 도시하는 개념도(300)이다.
사용자(310)의 포즈를 가상의 캐릭터에 반영하여 동작을 합성하기 위해, 사용자(310)는 복수 개의 포즈 마커(311 내지 316)를 부착 또는 착용하고, 카메라 등의 포즈 센서(도시되지 않음)가 이러한 포즈 마커의 위치를 식별하여 입력 모션 센싱 데이터를 데이터 처리 장치(100)의 센서 입력 수신부(120)에 전송한다.
도 2에 도시된 모션 데이터베이스(210)에 저장된 모션 캡처 데이터는 더 많은 수의 포즈 마커를 이용하여 정밀하게 획득된 것이지만, 본 발명의 일실시예에 따라 실시간으로 사용자(310)의 동작을 추정하기 위해 사용되는 포즈 마커(311 내지 316)은 사용자(310)의 불편을 최소화하기 위해 비교적 적은 수만 사용된다.
따라서, 이하에서 데이터 처리 장치(100)가 도 3의 포즈 마커 위치 식별 결과인 입력 모션 센싱 데이터를 수신하여 상기 사용자(310)의 동작을 추정하고 이를 가상의 캐릭터의 동작으로 합성하는 과정은, 상기 동작 확률 분포 모델을 이용한 모션 추정 연산 과정으로 이행될 수 있다.
이러한 모션 추정 연산에 의한 동작 합성 과정은 도 4 이하를 참조하여 보다 상세히 후술한다.
도 4는 본 발명의 일실시예에 따라 이전 프레임에서 획득된 동작 합성 결과가 현재 프레임의 동작 합성에 반영되는 과정을 설명하기 위한 개념도(400)이다.
본 발명의 일실시예에 따르면, 데이터 처리 장치(100)의 연산부(130)는 아래 수학식에 의한 EM(Energy Minimization) 기법을 이용하여, 도 3의 과정에서 획득된 입력 모션 센싱 데이터를 상기 동작 확률 분포 함수에 적용함으로써 실시간으로 사용자(310)의 포즈를 가상 캐릭터의 동작으로 합성한다.
[수학식 1]
Figure 112010073919880-pat00001
상기 수학식 1은 세 개의 term의 선형 합으로 표현된다.
그 중,
Figure 112010073919880-pat00002
term은 사용자(310)의 센서 입력을 정확하게 반영하기 위해 포즈 및 각도를 표현하는 q와 입력 모션 센싱 값 c 의 차이를 최소화 하는 Control term이다.
여기서 s 및 z 는 정확도를 높이기 위한 Calibration을 위한 파라미터로서, 동작 합성 연산 이전에 사용자(310)의 체형이나 체격에 따른 포즈 마커(311 내지 316)의 위치 차이를 고려한 컨트롤 파라미터이다.
그리고,
Figure 112010073919880-pat00003
term은, 부드러운 동작 합성을 위해 이전 프레임(Frame) 동작과의 속도 변화를 최소화하는 Smoothness Term이다. 이 과정에서 이전의 프레임의 동작들은 프레임 버퍼(140)에 저장되었다가 활용될 수 있다.
그리고,
Figure 112010073919880-pat00004
term은, 자연스러운 동작 생성을 위해 동작 DB 기반 확률 모델 분석 기법인 상기 MFA(Mixture of Factor Analysis)를 이용하여 EM 최적화를 반영한 Pose Prior Term이다.
연산부(130)는 이러한 세 개의 term의 선형 합인 상기 수학식 1의
Figure 112010073919880-pat00005
이 만족되도록 하는 qt를 찾아내며, 이러한 과정이 Energy Minimization을 이용한 동작 합성 과정이다.
상기한 연산 과정에서, 이전 프레임의 동작 합성 결과들이 현재 프레임의 동작 합성에 이용되는 것은 도 4의 개념도(400)를 통해 이해될 수 있다.
동작 센싱 값(411)을 이용하여 상기 수학식 1에 따라 연산부(130)가 동작 합성을 한 결과(412)는 지속적으로 프레임 버퍼(140)에 저장된다. 저장되는 동작 합성 결과는 필요한 일정한 수의 프레임만 저장되고, FIFO(First In First Out) 정책에 따라 오래된 저장 값부터 삭제됨으로써 일정한 수의 프레임만 저장될 수 있다.
프레임 버퍼(140)에 저장되어 활용되는 복수 개의 프레임의 동작 합성 결과는 프레임 윈도우(401) 내에 포함될 수 있다.
그러면, 윈도우(401) 내의 입력 센싱 값(421)과 동작 합성 결과(422) 등은 현재 프레임의 동작 합성에 이용된다.
이러한 과정을 통해, 현재 프레임의 입력 센싱 값에 센서 노이즈(noise)가 포함되어, 이전 프레임과 연속성(continuity)가 유지되지 않는 경우라도, 가상 캐릭터의 동작 합성이 이전 프레임의 동작 합성 결과와 크게 동떨어지는 에러가 방지된다.
따라서, 전체적인 동작 합성 연산이 노이즈에 강하게(noise robust) 되고, 가상 캐릭터의 움직임이 자연스럽게 된다.
도 5는 본 발명의 일실시예에 따라 동작 확률 분포 모델을 이용하여 모션 센싱 데이터에 대응하는 동작을 합성하는 과정을 도시하는 개념도(500)이다.
미리 획득되어 모션 데이터베이스(210)에 저장된 모션 데이터의 고차원 포즈 궤적 (High dimensional Pose Locus)(501)이 표현되었다.
이러한 궤적(501)은 많은 수의 프레임의 정밀한 센싱을 통해 캡처된 사람의 움직임의 순간들(instances)을 대표하며, 본 발명의 일실시예에 따르면, 이러한 모션 캡처 데이터들은 복수 개의 가우시안 함수의 조합으로 표현되어 전처리부(110)에 의해 상기 동작 확률 분포 모델로 생성된다.
이를 테면, 가우시안 확률 분포(510 내지 550)은 전체 모션 캡처 데이터의 인스턴트 포즈의 확률 분포를 표현한다.
그러면, 연산부(130)는 이러한 모델을 이용하여 상기 수학식 1에서 Energy Minimization 을 만족하는 캐릭터 동작(502)을 합성할 수 있다.
도 6은 본 발명의 일실시예에 따른 데이터 처리 방법에서, 동작 확률 분포 모델을 생성하는 전처리부의 동작을 설명하는 흐름도이다.
단계(610)에서, 전처리부(110)의 MFA 파라미터 계산부(220)는 상기 모션 데이터베이스(210)에 액세스 하여, 모션 캡처 데이터를 독출한다.
그리고, 단계(620)에서 MFA 파라미터 계산부(220)는 상기 모션 캡처 데이터를 이용하여 EM(Energy Minimization) Optimization을 통한 MFA(Mixture of Factor Analyzers) 파라미터를 계산한다.
그러면, 단계(630)에서 전처리부(110)의 모션 확률 분포 모델링부(230)는 상기 계산된 MFA 파라미터를 이용하여 Nonlinear 한 파라메트릭 포즈 모델(Parametric Pose Model)인 동작 확률 분포 모델을 생성한다.
이러한 동작 확률 분포 모델의 생성 과정은 도 2 및 도 5를 참조하여 상술한 바와 같다.
도 7은 본 발명의 일실시예에 따른 데이터 처리 방법에서, 동작 확률 분포 모델에 따라 이전 프레임 동작 합성 결과를 이용하여 현재 프레임의 동작 합성을 수행하는 과정을 설명하는 흐름도이다.
단계(710)에서, 실시간으로 사용자의 포즈를 센싱한 입력 모션 센싱 데이터가 데이터 처리 장치(100)의 센서 입력 수신부(120)에 수신된다.
그러면, 연산부(130)는, 단계(720)에서 프레임 버퍼(140)에 액세스 하여, 적어도 하나의 이전 프레임의 동작 합성 결과를 독출한다.
그리고 단계(730)에서, 연산부(130)는 상기 전처리부(110)가 생성한 Nonlinear 동작 확률 분포 모델을 이용하여 Energy Minimization 기법에 따라 입력 모션 센싱 데이터에 대응하는 가상 캐릭터의 동작을 합성한다.
동작 확률 분포 모델은 전처리부(110)가 생성한 것으로, 생성 과정은 도 2 및 도 5를 참조하여 상술한 바와 같으며, 가상 캐릭터 동작 합성 과정은 도 1 및 도 4를 참조하여 상술한 바와 같다.
그러면, 단계(740)에서, 연산부(130)는 현재 프레임에 대해 생성된 동작 합성 결과를 프레임 버퍼(140)에 저장하여, 프레임 버퍼를 업데이트 한다. 이렇게 저장된 결과는 다음 프레임의 동작 합성에 활용될 수 있다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 데이터 처리 장치
110: 전처리부
120: 센서 입력 수신부
130: 연산부
140: 프레임 버퍼

Claims (15)

  1. 모션 데이터베이스에 저장된 모션 데이터에 에너지 최소화 최적 알고리즘을 적용하여 MFA(Mixture of Factor Analysis) 파라미터를 계산하여 동작 확률 분포 모델을 생성하는 전처리부; 및
    입력 모션 센서 데이터를 상기 동작 확률 분포 모델에 적용하여 상기 입력 모션 센서 데이터에 대응하는 동작을 합성하는 연산부
    를 포함하는, 데이터 처리 장치.
  2. 제1항에 있어서,
    상기 전처리부는,
    미리 복수 개의 모션 캡처 데이터를 저장하는 모션 데이터베이스;
    상기 복수 개의 모션 캡처 데이터를 이용하여 EM(Energy Minimization) Optimization을 통한 MFA(Mixture of Factor Analyzers) 파라미터를 계산하는 MFA 파라미터 계산부; 및
    상기 계산된 MFA 파라미터를 이용하여 상기 동작 확률 분포 모델을 생성하는 모션 확률 분포 모델링부
    를 포함하는, 데이터 처리 장치.
  3. 제1항에 있어서,
    상기 MFA 파라미터는, 상기 모션 데이터베이스에 저장된 모션 데이터의 포즈 분포(Pose Distribution)을 가우시안(Gaussian) 모델의 조합으로 구성하기 위한 파라미터인, 데이터 처리 장치.
  4. 제1항에 있어서,
    상기 동작 확률 분포 모델은, 파라메트릭 포즈 모델(Parametric Pose Model)인, 데이터 처리 장치.
  5. 제1항에 있어서,
    상기 연산부가 합성한 적어도 하나의 이전 프레임(previous frame)의 동작을 저장하는 프레임 버퍼
    를 더 포함하고,
    상기 연산부는, 현재 프레임의 입력 모션 센서 데이터에 대응하는 동작을 합성하는 경우 상기 프레임 버퍼에 저장된 적어도 하나의 이전 프레임의 동작을 반영하여 합성하는, 데이터 처리 장치.
  6. 제5항에 있어서,
    상기 연산부는, 상기 프레임 버퍼에 저장된 적어도 하나의 이전 프레임의 동작을 반영하는 경우, MPC(Model Predictive Control) 기반 동작 최적화 기법을 사용하는, 데이터 처리 장치.
  7. 제1항에 있어서,
    상기 연산부는, 상기 입력 모션 센서 데이터를 상기 동작 확률 분포 모델에 적용하여 실시간으로 상기 입력 모션 센서 데이터에 대응하는 동작을 합성하는, 데이터 처리 장치.
  8. 모션 데이터베이스에 저장된 모션 데이터에 에너지 최소화 최적 알고리즘을 적용하여 MFA(Mixture of Factor Analysis) 파라미터를 계산하여 동작 확률 분포 모델을 생성하는 단계; 및
    입력 모션 센서 데이터를 상기 동작 확률 분포 모델에 적용하여 상기 입력 모션 센서 데이터에 대응하는 동작을 합성하는 단계
    를 포함하는, 데이터 처리 방법.
  9. 제8항에 있어서,
    상기 동작 확률 분포 모델을 생성하는 단계는,
    모션 데이터베이스에 저장된 복수 개의 모션 캡처 데이터에 액세스하는 단계;
    상기 복수 개의 모션 캡처 데이터를 이용하여 EM(Energy Minimization) Optimization을 통한 MFA(Mixture of Factor Analyzers) 파라미터를 계산하는 단계; 및
    상기 계산된 MFA 파라미터를 이용하여 상기 동작 확률 분포 모델을 생성하는 단계
    를 포함하는, 데이터 처리 방법.
  10. 제8항에 있어서,
    상기 MFA 파라미터는, 상기 모션 데이터베이스에 저장된 모션 데이터의 포즈 분포(Pose Distribution)을 가우시안(Gaussian) 모델의 조합으로 구성하기 위한 파라미터인, 데이터 처리 방법.
  11. 제8항에 있어서,
    상기 동작 확률 분포 모델은, 파라메트릭 포즈 모델(Parametric Pose Model)인, 데이터 처리 방법.
  12. 제8항에 있어서,
    적어도 하나의 이전 프레임(previous frame)에서 합성된 동작을 저장하는 단계
    를 더 포함하고,
    상기 동작을 합성하는 단계는, 현재 프레임의 입력 모션 센서 데이터에 대응하는 동작을 합성하는 경우 상기 저장된 적어도 하나의 이전 프레임의 동작을 반영하여 상기 현재 프레임의 동작을 합성하는, 데이터 처리 방법.
  13. 제12항에 있어서,
    상기 동작을 합성하는 단계는, 상기 저장된 적어도 하나의 이전 프레임의 동작을 반영하는 경우, MPC(Model Predictive Control) 기반 동작 최적화 기법을 사용하는, 데이터 처리 방법.
  14. 제8항에 있어서,
    상기 동작을 합성하는 단계는, 상기 입력 모션 센서 데이터를 상기 동작 확률 분포 모델에 적용하여 실시간으로 상기 입력 모션 센서 데이터에 대응하는 동작을 합성하는, 데이터 처리 방법.
  15. 제8항 내지 제14항 중 어느 한 항의 데이터 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100112549A 2010-10-22 2010-11-12 동작 합성을 위한 데이터 처리 장치 및 방법 KR101639195B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/317,553 US8655810B2 (en) 2010-10-22 2011-10-21 Data processing apparatus and method for motion synthesis

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US40568110P 2010-10-22 2010-10-22
US61/405,681 2010-10-22

Publications (2)

Publication Number Publication Date
KR20120042593A KR20120042593A (ko) 2012-05-03
KR101639195B1 true KR101639195B1 (ko) 2016-07-13

Family

ID=46263315

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100112549A KR101639195B1 (ko) 2010-10-22 2010-11-12 동작 합성을 위한 데이터 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101639195B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332113B1 (ko) * 2020-03-31 2021-11-30 한국과학기술원 Visuomotor 시스템을 이용한 모델 예측 제어에 기반한 풀바디 모델링 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010213782A (ja) 2009-03-13 2010-09-30 Oki Networks Co Ltd 行動認識方法、装置及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450736B2 (en) * 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010213782A (ja) 2009-03-13 2010-09-30 Oki Networks Co Ltd 行動認識方法、装置及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ghahramani, Zoubin, and Geoffrey E. Hinton. The EM algorithm for mixtures of factor analyzers. Vol. 60. Technical Report CRG-TR-96-1, University of Toronto, 1996.
Liu, Huajun, et al. "Performance-based control interfaces using mixture of factor analyzers." The Visual Computer 27.6-8 (2011): 595-603.

Also Published As

Publication number Publication date
KR20120042593A (ko) 2012-05-03

Similar Documents

Publication Publication Date Title
KR101135186B1 (ko) 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101700377B1 (ko) 아바타 생성을 위한 처리 장치 및 방법
KR102006043B1 (ko) 깊이 카메라를 이용한 머리 포즈 추적 기법
JP5635736B2 (ja) 情報処理装置および情報処理方法
US20170024893A1 (en) Scene analysis for improved eye tracking
JP5555207B2 (ja) ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
CN109461208A (zh) 三维地图处理方法、装置、介质和计算设备
KR101925879B1 (ko) 깊이 영상을 이용하는 동작 추정 방법 및 장치
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
KR20130003170A (ko) 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
JP2009075880A (ja) 仮想顔モデル変形装置及び仮想顔モデル変形プログラム
JP2014085933A (ja) ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
CN113449570A (zh) 图像处理方法和装置
US20160364321A1 (en) Emulating a user performing spatial gestures
KR20110021330A (ko) 3차원 아바타 생성 장치 및 방법
KR101586007B1 (ko) 데이터 처리 장치 및 방법
CN109035303B (zh) Slam系统相机跟踪方法及装置、计算机可读存储介质
WO2022103680A1 (en) Binocular pose prediction
EP4244818A1 (en) Disambiguation of poses
JP6185879B2 (ja) 多関節物体追跡装置、多関節物体追跡方法、及びプログラム
KR101639195B1 (ko) 동작 합성을 위한 데이터 처리 장치 및 방법
KR101527792B1 (ko) 상호작용하는 캐릭터를 모델링 하는 방법 및 장치
US8655810B2 (en) Data processing apparatus and method for motion synthesis
Cordea et al. 3-D head pose recovery for interactive virtual reality avatars
KR101558094B1 (ko) 직관적인 핸드 모션에 기반한 멀티-모달 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 4