KR20120041086A - 아바타 생성을 위한 처리 장치 및 방법 - Google Patents

아바타 생성을 위한 처리 장치 및 방법 Download PDF

Info

Publication number
KR20120041086A
KR20120041086A KR1020100109294A KR20100109294A KR20120041086A KR 20120041086 A KR20120041086 A KR 20120041086A KR 1020100109294 A KR1020100109294 A KR 1020100109294A KR 20100109294 A KR20100109294 A KR 20100109294A KR 20120041086 A KR20120041086 A KR 20120041086A
Authority
KR
South Korea
Prior art keywords
skeleton
avatar
function
sensors
statistics
Prior art date
Application number
KR1020100109294A
Other languages
English (en)
Other versions
KR101700377B1 (ko
Inventor
이태현
차이 진시앙
하인우
김도균
리우 후아쥰
웨이 샤오린
Original Assignee
삼성전자주식회사
더 텍사스 에이 앤드 엠 유니버시티 시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 더 텍사스 에이 앤드 엠 유니버시티 시스템 filed Critical 삼성전자주식회사
Priority to US13/276,767 priority Critical patent/US9001129B2/en
Publication of KR20120041086A publication Critical patent/KR20120041086A/ko
Application granted granted Critical
Publication of KR101700377B1 publication Critical patent/KR101700377B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)

Abstract

타겟 사용자의 기준 포즈에 대한 아바타의 관절들 각각에 대한 포워드 키네마틱스 함수와 타겟 사용자에 부착된 센서들 각각의 위치 간의 차이를 나타내는 차이 함수 및 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 기초로 스켈리톤 프라이어 함수의 합을 최소화하여 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산할 수 있는 아바타 생성을 위한 처리 장치가 제공된다.

Description

아바타 생성을 위한 처리 장치 및 방법{PROCESSING APPARATUS AND METHOD FOR CREATING AVATAR}
아래의 실시예들은 아바타 생성을 위한 처리 장치 및 방법에 관한 것이다.
최근 비디오 게임, 가상 세계(virtual world), 영화, 컴퓨터 그래픽(computer graphic; CG) 등 실제 공간에서의 타겟 오브젝트(target object)에 대한 동작을 센싱하고, 이를 3차원 공간에서 구현하는 기술이 있다.
타겟 오브젝트(예를 들어, 사람)에 대한 동작을 3차원 공간에 구현하는 기술에 있어서, 사람의 동작을 센싱하기 위해 다양한 센서들이 사용될 수 있고, 사람의 몸에 부착된 센서들의 수가 많을수록 사람의 동작을 더 정확하게 구현할 수 있다.
하지만, 센서들의 수가 많아지면 사람들의 동작이 원활하지 못하며, 센서의 탈, 부착에 어려움을 느끼게 된다. 뿐만 아니라, 센서들을 부착한 사람들마다 서로 체형이 다르고, 센서를 부착하는 위치나 방향 또한 다를 수 있어 측정된 결과 또한 차이가 발생할 수 있다. 그러므로, 사람의 몸에 부착하는 센서의 수를 최소화하면서도 사용자의 체형 및 센서의 부착 위치 등에 따른 변화(variation)을 고려하여 정확한 포즈(pose)를 생성할 수 있는 방법이 요구된다.
본 발명의 일 실시예에 따른 아바타 생성을 위한 처리 장치는 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치가 저장된 스켈리톤 데이터베이스; 타겟 사용자의 기준 포즈에 대한 아바타의 관절들 각각에 대한 포워드 키네마틱스 함수와 상기 타겟 사용자에 부착된 센서들 각각의 위치 간의 차이를 나타내는 차이 함수를 결정하고, 상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 기초로 스켈리톤 프라이어 함수를 결정하는 함수 결정부; 및 상기 차이 함수 및 상기 스켈리톤 프라이어 함수를 이용하여 상기 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 상기 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산하는 계산부를 포함한다.
상기 스켈리톤 프라이어 함수는 상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치로부터 산출한 평균(mean), 고유 벡터(eigen vector) 및 고유 값(eigen value)를 포함할 수 있다.
상기 계산부는 상기 차이 함수와 상기 스켈리톤 프라이어 함수의 합이 최소가 되도록 하는 상기 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 상기 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산할 수 있다.
상기 기준 포즈(reference pose)를 정의하고, 상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 포함하는 정보를 상기 스켈리톤 데이터베이스에 저장하는 전처리부를 더 포함할 수 있다.
상기 타겟 사용자에 부착된 센서들로부터 상기 센서들 각각의 위치에 대한 정보를 수신하는 인터페이스부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 아바타 생성을 위한 처리 방법은 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치가 저장된 스켈리톤 데이터베이스를 유지하는 단계; 타겟 사용자의 기준 포즈에 대한 아바타의 관절들 각각에 대한 포워드 키네마틱스 함수와 상기 타겟 사용자에 부착된 센서들 각각의 위치 간의 차이를 나타내는 차이 함수를 결정하는 단계; 상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 기초로 스켈리톤 프라이어 함수를 결정하는 단계; 및 상기 차이 함수 및 상기 스켈리톤 프라이어 함수를 이용하여 상기 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 상기 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산하는 단계를 포함한다.
상기 스켈리톤 프라이어 함수는 상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치로부터 산출한 평균(mean), 고유 벡터(eigen vector) 및 고유 값(eigen value)를 포함할 수 있다.
상기 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 상기 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산하는 단계는 상기 차이 함수와 상기 스켈리톤 프라이어 함수의 합이 최소가 되도록 상기 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 상기 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산하는 단계일 수 있다.
상기 기준 포즈(reference pose)를 정의하는 단계; 및 상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 포함하는 정보를 상기 스켈리톤 데이터베이스에 저장하는 단계를 더 포함할 수 있다.
상기 타겟 사용자에 부착된 센서들로부터 상기 센서들 각각의 위치에 대한 정보를 수신하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 기초로 한 스켈리톤 프라이어 함수를 이용함으로써 타겟 사용자의 체형과 센서의 부착 위치에 따른 변화(variation)을 고려한 정확한 아바타 동작을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 스켈리톤 사이즈에 대한 평균(mean), 고유 벡터(eigen vector) 및 고유 값(eigen value)를 포함하는 스켈리톤 프라이어(skeleton prior)를 이용함으로써 사용자 별 스켈리톤 사이즈의 모호성(ambiguity)을 해결할 수 있다.
도 1은 본 발명의 일 실시예에 따른 아바타 생성을 위한 처리 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 기준 포즈(reference pose)에 따라 형성되는 아바타 및 센서들을 부착한 타겟 사용자가 기준 포즈를 취한 것을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 아바타 생성을 위한 처리 방법을 나타낸 플로우 차트이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 일실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 아바타 생성을 위한 처리 장치를 나타낸 블록도이다.
도 1을 참조하면, 아바타 생성을 위한 처리 장치는 스켈리톤 데이터베이스(110), 함수 결정부(120) 및 계산부(130)를 포함한다. 또한, 아바타 생성을 위한 처리 장치는 센서들(50), 전처리부(140) 및 인터페이스부(150)를 포함할 수 있다.
센서들(50)은 아바타를 생성하고자 하는 대상이 되는 타겟 사용자의 몸에 부착되어 타겟 사용자의 포즈(pose)를 센싱 한다. 여기서, 센서들(50)로는 모션 센서(motion sensor) 및 이와 유사한 기능을 수행하는 센서들이 이용될 수 있다.
너무 많은 수의 센서들(50)을 타겟 사용자에게 부착할 경우, 활동이나 센서들의 탈, 부착이 어려우므로 본 발명의 일 실시예에서는 도 2(b)에서와 같이 5개의 센서를 타겟 사용자의 몸에 부착할 수 있다. 타겟 사용자의 몸에 부착되는 센서의 위치 및 기준 포즈에 따라 형성되는 아바타의 형태에 대하여는 도 2를 참조하여 후술한다.
스켈리톤 데이터베이스(110)는 복수의 사용자들의 기준 포즈(reference pose)에 대한 스켈리톤 사이즈(skeleton size)의 통계치를 포함하는 정보를 저장한다. 스켈리톤 데이터베이스(110)에 저장된 스켈리톤 사이즈의 통계치는 기준 포즈가 바뀜에 따라 주기적으로 또는 비주기적으로 갱신(update)될 수 있다.
여기서, 기준 포즈로는 양 손을 옆으로 뻗은 'T자' 형태의 포즈, 양 손을 앞으로 뻗은 'ㄱ'자 형태의 포즈, 복싱하는 포즈, 걷는 포즈, 뛰는 포즈 등을 일 예로 들 수 있으며, 이 밖에도 다양한 형태의 포즈들을 기준 포즈로 정의할 수 있다.
함수 결정부(120)는 타겟 사용자의 기준 포즈에 대한 아바타의 관절들 각각에 대한 포워드 키네마틱스(forward kinematics) 함수와 타겟 사용자에 부착된 센서들 각각의 위치 간의 차이를 나타내는 차이 함수를 결정한다. 또한, 함수 결정부(120)는 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 기초로 스켈리톤 프라이어(skeleton prior) 함수를 결정한다.
함수 결정부(120)에서 결정하는 각각의 함수에 대하여는 아래의 [수학식 1]을 통해 상세히 설명한다.
여기서, 포워드 키네마틱스(forward kinematics)는 3차원 객체의 동작을 생성하는 힘과 관계없이 3차원 객체의 위치와 속도 및 가속도 등을 이용하여 동작을 표현하는 키네마틱스 애니메이션 방법 중의 하나이다.
또한, 포워드 키네마틱스(forward kinematics)는 3차원 객체의 각 부위의 위치를 모든 관절들의 각도(joint angle)에 의해 결정하는 방법으로써, 모든 관절들의 각도를 먼저 설정하여 동작과 모델(예를 들어, 아바타)의 최종 위치를 결정할 수 있다. 포워드 키네마틱스(forward kinematics)를 이용하는 경우, 여러 번의 시행 착오(trial and error)를 통해 3차원 객체의 각 부위에 대한 최적의 위치를 찾을 수 있다.
따라서, 본 발명의 일 실시예에 따른 타겟 사용자의 기준 포즈에 대한 아바타의 관절들 각각에 대한 포워드 키네마틱스(forward kinematics) 함수는 3차원 공간에서 기준 포즈에 대한 아바타의 관절들 각각의 위치를 나타낼 수 있다.
계산부(130)는 차이 함수 및 스켈리톤 프라이어 함수를 이용하여 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 센서들(50) 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산한다.
또한, 계산부(130)는 차이 함수와 스켈리톤 프라이어 함수의 합이 최소가 되도록 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 센서들(50) 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산할 수 있다.
본 발명의 일 실시예에 따라 계산부(130)에 의해 계산되는 값은 아래의 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]
Figure pat00001
여기서, 차이 함수(
Figure pat00002
)는 상술한 타겟 사용자의 기준 포즈에 대한 아바타의 관절들 각각에 대한 포워드 키네마틱스(forward kinematics) 함수(
Figure pat00003
)와 타겟 사용자에 부착된 센서들(50) 각각의 위치(
Figure pat00004
) 간의 차이를 나타낸다.
포워드 키네마틱스(forward kinematics) 함수에서
Figure pat00005
는 타겟 사용자의 기준 포즈에 대한 스켈리톤 사이즈(skeleton size)를 나타내고,
Figure pat00006
는 센서의 로컬 코디네이트(sensor local coordinate)를 나타낸다.
Figure pat00007
는 타겟 사용자의 기준 포즈에 대한 관절의 각도(joint angle)을 나타낸다.
스켈리톤 프라이어(skeleton prior) 함수(
Figure pat00008
)는 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 기초로 한 것이다.
스켈리톤 프라이어 함수는 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치로부터 산출한 평균(mean)(
Figure pat00009
), 고유 벡터(eigen vector)(
Figure pat00010
) 및 고유 값(eigen value)(
Figure pat00011
)을 포함할 수 있다. B는 고유 벡터(
Figure pat00012
)를 중요도의 순서에 따라 정렬했을 때, 주요 고유 벡터의 수를 나타낸다.
스켈리톤 프라이어 함수는 미리에 계산되어 데이터베이스 등에 저장될 수 있으며, 사용자 별 스켈리톤 사이즈의 모호성(Ambiguity)를 해결하는데 이용될 수 있다.
스켈리톤 프라이어(skeleton prior) 함수는 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치로부터 평균(mean)(
Figure pat00013
), 고유 벡터(eigen vector)(
Figure pat00014
) 및 고유 값(eigen value)(
Figure pat00015
)을 산출하기 위하여, 예를 들어, 주성분 분석(Principal Component Analysis; PCA)을 이용할 수 있다.
주성분 분석(Principal Component Analysis; PCA)은 통계학에서 데이터 집합을 분석하는 기법의 하나로서, 데이터를 한 개의 축으로 사상시켰을 때 그 분산이 가장 커지는 축이 첫 번째 좌표축으로 오고, 두 번째로 커지는 축이 두 번째 좌표축으로,... 와 같이 차례로 놓이도록 새로운 좌표계로 데이터를 선형 변환한다.
주성분 분석은 가장 큰 분산을 갖는 부분 공간(subspace)을 보존하는 최적의 선형 변환이다. 다른 선형 변환과 달리 주성분 분석은 정해진 기저 벡터를 갖지 않으며, 기저 벡터는 데이터의 특성에 따라 달라질 수 있다. 주성분 분석(PCA)은 이와 같이 각각의 축에 데이터의 가장 중요한 성분을 위치시킴으로써 여러 가지 응용이 가능하다.
[수학식 1]을 통해 볼 수 있듯이, 계산부(130)는 에너지 최소화(Energy Minimization)에 의해 차이 함수와 스켈리톤 프라이어 함수의 합이 최소가 되도록 하는 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size)(
Figure pat00016
) 및 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)(
Figure pat00017
)를 계산할 수 있다.
전처리부(140)는 기준 포즈(reference pose)를 정의하고, 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 포함하는 정보를 스켈리톤 데이터베이스(110)에 저장할 수 있다.
인터페이스부(150)는 타겟 사용자에 부착된 센서들(50)로부터 센서들 각각의 위치에 대한 정보를 수신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 기준 포즈(reference pose)에 따라 형성되는 아바타 및 센서들을 부착한 타겟 사용자가 기준 포즈를 취한 것을 나타낸 도면이다.
도 2(a)는 기준 포즈(reference pose)에 따라 3차원 공간에 형성되는 아바타를 나타내고, 도 2(b)는 센서들을 부착한 채 기준 포즈를 취하고 있는 타겟 사용자를 나타낸다.
도 2(a)에서 기준 포즈에 따라 3차원 공간에 형성되는 아바타는 포워드 키네마틱스 함수에 따라 기준 포즈에 따른 각 관절들 간의 각도(joint angle)에 의해 결정된 위치를 가질 수 있다.
상술한 바와 같이, 타겟 사용자에 대한 아바타를 생성하는데 이용되는 센서들의 개수를 최소화하기 위하여 본 발명의 일 실시예에서는 도 2(b)와 같이 타겟 사용자의 이마, 양 손목, 흉부의 5 군데에 각각 센서들을 부착할 수 있다. 각 센서들의 위치 및 개수는 필요에 따라 조절될 수 있다.
도 3은 본 발명의 일 실시예에 따른 아바타 생성을 위한 처리 방법을 나타낸 플로우 차트이다.
도 3을 참조하면, 아바타 생성을 위한 처리 장치는 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치가 저장된 스켈리톤 데이터베이스를 유지한다(310).
이 때, 스켈리톤 데이터베이스에 저장되는 정보는 미리 정의된 기준 포즈(reference pose)에 따라 동작을 취한 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 포함하는 정보일 수 있다.
310에 앞서 아바타 생성을 위한 처리 장치는 기준 포즈(reference pose)를 정의하고, 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 포함하는 정보를 스켈리톤 데이터베이스에 저장할 수 있다.
아바타 생성을 위한 처리 장치는 타겟 사용자에 부착된 센서들로부터 센서들 각각의 위치에 대한 정보를 수신할 수 있다(320).
아바타 생성을 위한 처리 장치는 타겟 사용자의 기준 포즈에 대한 아바타의 관절들 각각에 대한 포워드 키네마틱 함수(
Figure pat00018
)와 타겟 사용자에 부착된 센서들 각각의 위치(
Figure pat00019
) 간의 차이를 나타내는 차이 함수(
Figure pat00020
)를 결정한다(330).
아바타 생성을 위한 처리 장치는 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 기초로 스켈리톤 프라이어 함수(
Figure pat00021
)를 결정한다(340).
여기서, 스켈리톤 프라이어 함수는 스켈리톤 사이즈의 통계치에 대하여 주성분 분석(PCA)를 적용하여 산출한 평균(mean), 고유 벡터(eigen vector) 및 고유 값(eigen value)를 포함할 수 있다.
아바타 생성을 위한 처리 장치는 차이 함수 및 스켈리톤 프라이어 함수를 이용하여 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산한다(350).
350에서 아바타 생성을 위한 처리 장치는 차이 함수와 상기 스켈리톤 프라이어 함수의 합이 최소가 되도록 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산할 수 있다.
상술한 각 함수들에 대하여는 도 1에서의 해당 부분에 대한 설명을 참조하도록 한다.
상술한 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
50: 센서들
110: 스켈리톤 데이터베이스
120: 함수 결정부
130: 계산부
140: 전처리부
150: 인터페이스부

Claims (11)

  1. 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치가 저장된 스켈리톤 데이터베이스;
    타겟 사용자의 기준 포즈에 대한 아바타의 관절들 각각에 대한 포워드 키네마틱스 함수와 상기 타겟 사용자에 부착된 센서들 각각의 위치 간의 차이를 나타내는 차이 함수를 결정하고, 상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 기초로 스켈리톤 프라이어 함수를 결정하는 함수 결정부; 및
    상기 차이 함수 및 상기 스켈리톤 프라이어 함수를 이용하여 상기 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 상기 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산하는 계산부
    를 포함하는 아바타 생성을 위한 처리 장치.
  2. 제1항에 있어서,
    상기 스켈리톤 프라이어 함수는
    상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치로부터 산출한 평균(mean), 고유 벡터(eigen vector) 및 고유 값(eigen value)를 포함하는 아바타 생성을 위한 처리 장치.
  3. 제1항에 있어서,
    상기 계산부는
    상기 차이 함수와 상기 스켈리톤 프라이어 함수의 합이 최소가 되도록 하는 상기 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 상기 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산하는 아바타 생성을 위한 처리 장치.
  4. 제1항에 있어서,
    상기 기준 포즈(reference pose)를 정의하고, 상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 포함하는 정보를 상기 스켈리톤 데이터베이스에 저장하는 전처리부
    를 더 포함하는 아바타 생성을 위한 처리 장치.
  5. 제1항에 있어서,
    상기 타겟 사용자에 부착된 센서들로부터 상기 센서들 각각의 위치에 대한 정보를 수신하는 인터페이스부
    를 더 포함하는 아바타 생성을 위한 처리 장치.
  6. 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치가 저장된 스켈리톤 데이터베이스를 유지하는 단계;
    타겟 사용자의 기준 포즈에 대한 아바타의 관절들 각각에 대한 포워드 키네마틱스 함수와 상기 타겟 사용자에 부착된 센서들 각각의 위치 간의 차이를 나타내는 차이 함수를 결정하는 단계;
    상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 기초로 스켈리톤 프라이어 함수를 결정하는 단계; 및
    상기 차이 함수 및 상기 스켈리톤 프라이어 함수를 이용하여 상기 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 상기 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산하는 단계
    를 포함하는 아바타 생성을 위한 처리 방법.
  7. 제6항에 있어서,
    상기 스켈리톤 프라이어 함수는
    상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치로부터 산출한 평균(mean), 고유 벡터(eigen vector) 및 고유 값(eigen value)를 포함하는 아바타 생성을 위한 처리 방법.
  8. 제6항에 있어서,
    상기 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 상기 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산하는 단계는
    상기 차이 함수와 상기 스켈리톤 프라이어 함수의 합이 최소가 되도록 상기 아바타의 관절들 각각의 스켈리톤 사이즈(skeleton size) 및 상기 센서들 각각에 대응하는 로컬 코디네이트(local coordinate)를 계산하는 단계인 아바타 생성을 위한 처리 방법.
  9. 제6항에 있어서,
    상기 기준 포즈(reference pose)를 정의하는 단계; 및
    상기 복수의 사용자들의 기준 포즈에 대한 스켈리톤 사이즈의 통계치를 포함하는 정보를 상기 스켈리톤 데이터베이스에 저장하는 단계
    를 더 포함하는 아바타 생성을 위한 처리 방법.
  10. 제6항에 있어서,
    상기 타겟 사용자에 부착된 센서들로부터 상기 센서들 각각의 위치에 대한 정보를 수신하는 단계
    를 더 포함하는 아바타 생성을 위한 처리 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020100109294A 2010-10-20 2010-11-04 아바타 생성을 위한 처리 장치 및 방법 KR101700377B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/276,767 US9001129B2 (en) 2010-10-20 2011-10-19 Processing apparatus and method for creating avatar

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US39488410P 2010-10-20 2010-10-20
US61/394,884 2010-10-20

Publications (2)

Publication Number Publication Date
KR20120041086A true KR20120041086A (ko) 2012-04-30
KR101700377B1 KR101700377B1 (ko) 2017-01-26

Family

ID=46140790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100109294A KR101700377B1 (ko) 2010-10-20 2010-11-04 아바타 생성을 위한 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9001129B2 (ko)
KR (1) KR101700377B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10234941B2 (en) * 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US9990373B2 (en) 2013-02-06 2018-06-05 John A. Fortkort Creation and geospatial placement of avatars based on real-world interactions
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
GB2548154A (en) 2016-03-11 2017-09-13 Sony Computer Entertainment Europe Ltd Virtual reality
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US11050758B2 (en) 2016-08-23 2021-06-29 Reavire, Inc. Controlling access to a computer network using measured device location
US10444320B2 (en) 2016-10-06 2019-10-15 Reavire, Inc. Locating devices based on antenna coordinates
US10176655B2 (en) 2016-10-26 2019-01-08 Reavire, Inc. Controlling lockable devices using electronic key
EP3407168A1 (en) * 2017-05-25 2018-11-28 Thomson Licensing Determining full-body pose for a virtual reality environment
US11054638B2 (en) 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080028732A (ko) * 2006-09-27 2008-04-01 한국전자통신연구원 디지털 캐릭터 동작생성 시스템 및 방법
KR20100073175A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 다시점 영상기반 동적 개체의 디지털 클론 생성 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2868281B1 (fr) 2004-03-30 2023-06-23 Commissariat Energie Atomique Procede de determination des mouvements d'une personne.
EP1779344A4 (en) 2004-07-29 2009-08-19 Motiva Llc SYSTEM FOR MEASURING HUMAN MOVEMENT
CZ303752B6 (cs) 2006-01-04 2013-04-24 CVUT v Praze - fakulta strojní Zpusob a zarízení pro merení a/nebo kalibraci polohy telesa v prostoru
US8494227B2 (en) 2007-04-17 2013-07-23 Francine J. Prokoski System and method for using three dimensional infrared imaging to identify individuals
JP4882948B2 (ja) 2007-10-04 2012-02-22 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5005570B2 (ja) 2008-02-04 2012-08-22 株式会社リコー 画像処理装置およびプログラム
JP2010137009A (ja) 2008-12-15 2010-06-24 Nintendo Co Ltd キャリブレーションプログラム及び座標検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080028732A (ko) * 2006-09-27 2008-04-01 한국전자통신연구원 디지털 캐릭터 동작생성 시스템 및 방법
KR20100073175A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 다시점 영상기반 동적 개체의 디지털 클론 생성 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jinciang Chai, et al., ‘Constraint-based Motion Optimization Using A Statistical Dynamic Model’ ACM Trans. on Graphics, SIGGRAPH 2007, (2007.7.12)* *
Jinciang Chai, et al., ‘Performance Animation from Low-dimensional Control Signals’. ACM Trans. on Graphics, SIGGRAPH 2005, (2005.5.12)* *

Also Published As

Publication number Publication date
US20120127164A1 (en) 2012-05-24
KR101700377B1 (ko) 2017-01-26
US9001129B2 (en) 2015-04-07

Similar Documents

Publication Publication Date Title
KR101700377B1 (ko) 아바타 생성을 위한 처리 장치 및 방법
Liu et al. Realtime human motion control with a small number of inertial sensors
JP5931215B2 (ja) 姿勢を推定する方法及び装置
JP4149213B2 (ja) 指示位置検出装置及び自律ロボット
JP5924862B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9843772B2 (en) Method for providing telepresence using avatars, and system and computer-readable recording medium using the same
JP2022505423A (ja) 電磁追跡のための周囲電磁歪み補正
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
CN110603570B (zh) 对象物识别方法、装置、系统、程序
Bergou et al. 3D reconstruction of bat flight kinematics from sparse multiple views
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
JP2017049238A5 (ko)
JP2009258884A (ja) ユーザインタフェイス
KR102564849B1 (ko) 복수의 사용자의 모션을 인식하는 시스템, 장치 및 방법
Usabiaga et al. Global hand pose estimation by multiple camera ellipse tracking
Azhar et al. Significant body point labeling and tracking
Kim et al. Realtime performance animation using sparse 3D motion sensors
WO2018207292A1 (ja) 対象物認識方法、装置、システム、プログラム
JP6281938B2 (ja) データ処理装置、データ処理方法、及びデータ処理プログラム
US20190377935A1 (en) Method and apparatus for tracking features
KR101699930B1 (ko) 아바타 동작 생성 방법 및 장치
RU2771745C1 (ru) Способ отслеживания (трекинга) в реальном времени анатомических ориентиров объекта
Baek et al. Human Pose Estimation Using Articulated ICP
Kim et al. Study on the Motion Definition for Various Motion Deformation and Implementation through IMU Sensor in Virtual Environment
CN117274447A (zh) 数字人的生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 4