KR101699930B1 - 아바타 동작 생성 방법 및 장치 - Google Patents

아바타 동작 생성 방법 및 장치 Download PDF

Info

Publication number
KR101699930B1
KR101699930B1 KR1020150136093A KR20150136093A KR101699930B1 KR 101699930 B1 KR101699930 B1 KR 101699930B1 KR 1020150136093 A KR1020150136093 A KR 1020150136093A KR 20150136093 A KR20150136093 A KR 20150136093A KR 101699930 B1 KR101699930 B1 KR 101699930B1
Authority
KR
South Korea
Prior art keywords
avatar
user
generating
action
motion
Prior art date
Application number
KR1020150136093A
Other languages
English (en)
Other versions
KR20160142744A (ko
Inventor
서일홍
권태수
황재평
유범재
Original Assignee
재단법인 실감교류인체감응솔루션연구단
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단, 한양대학교 산학협력단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Publication of KR20160142744A publication Critical patent/KR20160142744A/ko
Application granted granted Critical
Publication of KR101699930B1 publication Critical patent/KR101699930B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

현실 세계의 사용자 동작에 대해 가상 현실 세계의 상황에 맞도록 자연스러운 아바타 동작을 생성하는 방법 및 장치가 개시된다. 개시된 아바타 동작을 생성하는 방법은, 현실 세계의 사용자의 동작을 반영하는, 상기 사용자에 대한 아바타를 가상 세계에 생성하는 단계; 및 상기 사용자의 동작을 이용하여, 상기 사용자의 동작 의도를 판단하는 단계; 및 상기 판단 결과에 따라, 상기 사용자의 동작에 기반하여, 상기 동작 의도에 대한 레퍼런스 동작을 추적하는 아바타의 동작을 생성하는 단계를 포함한다.

Description

아바타 동작 생성 방법 및 장치{Method and Device for Generating Behavior of Avatar}
본 발명은 아바타 동작 생성 방법 및 장치에 관한 것으로서, 더욱 상세하게는 현실 세계의 사용자 동작에 대해 가상 현실 세계의 상황에 맞도록 자연스러운 아바타 동작을 생성하는 방법 및 장치에 관한 것이다.
최근 가상 현실에 대한 관심 및 연구가 증가되고 있으며, 가상 현실을 소재로하는 영화뿐만 아니라 가상 현실 서비스를 제공하는 웨어러블 기기 등이 출시되고 있다. 가상 현실 세계의 아바타는 일반적으로 모션 캡쳐 기술을 통해 생성된다.
기존의 모션 캡쳐 시스템에서는, 제한된 공간에서 제한된 사람이 캡쳐 시스템이 구축되어 있는 공간에 들어가서 시연자의 동작을 캡쳐할 수 있다. 또한, 캡쳐한 모션을 그대로 사용할 수 없고, 기술자가 후처리(post-processing)과정을 거치 후에 자연스러운 동작을 생성한다. 또한, 일반적으로 손가락 관절과 같은 섬세한 동작을 캡쳐하기 위해서는 손가락의 각 부분에 마커를 붙이고 캡쳐하고, 전신을 따로 캡쳐를 하여 이후에 두 모션을 붙이는 과정을 거치게 된다. 이러한 후작업은 해당 모션캡쳐 프로그램의 전문가가 필요할 뿐만 아니라 많은 시간과 노력이 필요하게 된다.
한편, 현실 세계의 사용자의 동작은 모션 캡쳐 기술을 통해 가상 현실 세계의 아바타의 동작으로 생성되는데, 가상 현실 세계가 현실 세계를 그대로 반영하지 못하며 가상 현실 세계와 현실 세계의 차이 때문에 부자연스러운 아바타 동작이 생성될 수 있다. 예를 들어, 현실 세계의 사용자가 가상 현실 세계에 존재하는 공을 잡는 동작을 취할 경우에, 현실 세계의 사용자는 현실 세계에 존재하지 않는 공을 잡는 동작을 취할 것이다. 이 때, 현실 세계의 사용자는 가상 현실 세계에 존재하는 공을 실제로 느낄 수 없으므로, 손가락이 맞닿을 정도로 손을 움켜질 수 있으며 결국, 아바타의 손이 가상 현실 세계의 공을 뚫고 들어가는 상황이 발생할 수 있다.
따라서, 현실 세계의 사용자 동작이 가상 현실 세계의 상황에 맞도록 자연스러운 아바타 동작을 생성하는 방법에 대한 연구가 필요하다.
관련된 선행문헌으로 한국공개특허 제2015-0089980호가 있다.
본 발명은 현실 세계의 사용자 동작에 대해 가상 현실 세계의 상황에 맞도록 자연스러운 아바타 동작을 생성하는 방법 및 장치를 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 현실 세계의 사용자의 동작을 반영하는, 상기 사용자에 대한 아바타를 가상 세계에 생성하는 단계; 및 상기 사용자의 동작을 이용하여, 상기 사용자의 동작 의도를 판단하는 단계; 및 상기 판단 결과에 따라, 상기 사용자의 동작에 기반하여, 상기 동작 의도에 대한 레퍼런스 동작을 추적하는 아바타의 동작을 생성하는 단계를 포함하는 아바타 동작 생성 방법을 제공한다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 사용자에 대한 글러브 센서의 센싱 데이터 또는 상기 사용자에 부착된 마커의 위치 정보를 입력받는 단계; 상기 센싱 데이터 또는 상기 위치 정보를 이용하여, 상기 사용자의 동작을 반영하는 아바타를 가상 세계에 생성하는 단계; 상기 가상 세계의 가상 객체 주변로부터 기 설정된 거리 내에 설정된 어포던스 영역 내에서, 상기 아바타가 기 설정된 동작을 수행하는지 판단하는 단계; 및 상기 판단 결과에 기반하여, 상기 가상 객체에 대한 상기 사용자의 동작 의도에 따른 상기 아바타의 동작을 생성하는 단계를 포함하는 아바타 동작 생성 방법을 제공한다.
또한 상기한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따르면, 현실 세계의 사용자의 동작을 반영하는, 상기 사용자에 대한 아바타를 가상 세계에 생성하는 아바타 생성부; 상기 사용자의 동작에 기반하여, 목표 동작을 추적하는 아바타의 동작을 생성하는 동작 제어부; 및 상기 사용자의 동작 의도에 대한 레퍼런스 동작과 상기 아바타의 동작의 차이를 이용하여 상기 목표 동작을 생성하는 최적화부를 포함하는 아바타 동작 생성 장치를 제공한다.
본 발명에 따르면, 사용자의 동작 의도를 파악하고, 사용자의 동작 의도에 대한 레퍼런스 동작을 추적하도록 아바타의 동작을 생성함으로써, 가상 현실 세계의 상황에 맞는 자연스러운 아바타 동작을 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 작업 솜씨를 학습하는 로봇을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 아바타 동작 생성 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 아바타 동작 생성 방법을 설명하기 위한 도면이다.
도 4는 본 발명에서 이용되는 글러브 센서의 센싱 데이터 및 마커의 위치 정보를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 아바타 생성 방법을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 아바타 생성 모습을 나타내는 도면이다.
도 7은 본 발명에 따른 어포던스 영역을 나타내는 도면이다.
도 8은 어포던스 영역 설정을 위해 이용되는 가우시안 혼합 모델을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 가상 세계의 공을 잡는 아바타의 동작 생성 방법을 설명하기 위한 도면이다.
도 10은 스테이지 단위로 아바타 동작을 생성하는 방법을 설명하기 위한 도면이다.
도 11은 레벨 단위로 아바타 동작을 생성하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 따라서 생성된 아바타 동작을 도시하는 도면이다.
도 13은 본 발명의 일실시예에 따른 아바타 동작 생성 시스템을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서는, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 아바타 동작 생성 장치를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 아바타 동작 생성 장치는 아바타 생성부(110), 동작 제어부(120) 및 최적화부(130)를 포함하며, 실시예에 따라서 동작 판단부를 더 포함할 수 있다.
아바타 생성부(110)는 현실 세계의 사용자의 동작을 반영하는 사용자에 대한 아바타를 가상 세계에 생성한다. 일실시예로서, 사용자의 동작은 모션 캡쳐 기술이나, 사용자 몸에 부착된 센서를 통해 아바타가 생성될 수 있다.
동작 제어부(120)는 사용자의 동작에 기반하여, 목표 동작을 추적하는 아바타의 동작을 생성하며, 최적화부(130)는 사용자의 동작 의도에 대한 레퍼런스 동작과 아바타의 동작의 차이를 이용하여 목표 동작을 생성한다. 즉, 동작 제어부(120)는 최적화부(130)로부터 피드백된 목표 동작(desired state)을 이용하여 아바타의 동작을 생성하며, 최적화부(130)는 동작 제어부(120)에서 생성된 아바타의 동작(current state)과 레퍼런스 동작의 차이를 이용하여 목표 동작을 생성한다.
예를 들어, 사용자의 동작 의도가 가상 세계의 공을 잡는 동작인 경우, 전술된 바와 같이 현실 세계 사용자의 동작을 그대로 반영하여 아바타의 동작을 생성한다면 부자연스러운 동작이 생성될 수 있다. 또한 아바타가 가상 세계의 공을 잡는 레퍼런스 동작을 아바타의 동작으로 이용한다면, 현실 세계 사용자의 동작을 반영하지 못하는 문제가 있다
이러한 문제를 해결하기 위한 본 발명에 따른 아바타 동작 생성 장치는 현실 세계 사용자의 동작을 반영하되, 가상 세계 상황에 맞는 자연스러운 아바타 동작이 생성될 수 있도록 현실 세계 사용자의 동작 또는 레퍼런스 동작을 보정하여, 목표 동작을 추적하도록 아바타 동작을 생성한다. 목표 동작은 레퍼런스 동작과 아바타의 동작의 차이가 최소화되도록 설정될 수 있다.
즉, 최적화부(130)는 목표 동작을 추적하도록 생성된 아바타의 동작이 레퍼런스 동작과 얼마나 차이가 있는지 확인하고, 차이가 최소화되도록 목표 동작을 생성한다. 따라서, 동작 제어부(120)는 현실 세계 사용자의 동작을 반영하면서, 사용자의 동작 의도에 대한 레퍼런스 동작에 가까운 아바타의 동작을 생성함으로써 자연스러운 아바타 동작이 생성되고 애니메이션될 수 있다.
한편, 동작 판단부는 사용자의 동작이 기 설정된 동작인지 여부를 판단함으로써, 사용자의 동작 의도를 판단할 수 있다. 예를 들어, 사용자의 동작이 가상 객체에 대해 손을 움켜쥐는 동작인 경우, 사용자의 동작 의도가 가상 객체를 손으로 잡는 동작임을 판단할 수 있다.
그리고 동작 제어부(120)는 동작 판단부의 판단 결과에 따라서, 적응적으로 전술된 목표 동작을 추적하는 아바타의 동작을 생성하거나 또는 사용자에 대한 센싱 데이터 또는 위치 정보에 따른 아바타의 동작을 생성할 수 있다. 즉, 동작 제어부(120)는 동작 판단부의 판단 결과 사용자의 동작이 기 설정된 동작이 아닌 경우에는 사용자의 동작을 그대로 반영하는 아바타의 동작을 생성하고, 사용자의 동작이 기 설정된 동작인 경우에는 사용자의 동작 또는 레퍼런스 동작을 보정하여 아바타의 동작을 생성할 수 있다.
결국, 본 발명에 따르면, 사용자의 동작 의도를 파악하고, 사용자의 동작 의도에 대한 레퍼런스 동작을 추적하도록 아바타의 동작을 생성함으로써, 가상 현실 세계의 상황에 맞는 자연스러운 아바타 동작을 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 아바타 동작 생성 방법을 설명하기 위한 도면이다.
본 발명에 따른 아바타 동작 생성 방법은 프로세서를 포함하는 단말, 예를 들어 컴퓨터 등에서 수행될 수 있으며, 도 2에서는 도 1의 아바타 동작 생성 장치의 아바타 동작 생성 방법이 일실시예로서 설명된다.
아바타 동작 생성 장치는 현실 세계의 사용자의 동작을 반영하는, 사용자에 대한 아바타를 가상 세계에 생성(S210)하고, 사용자의 동작을 이용하여, 사용자의 동작 의도를 판단(S220)한다. 아바타 동작 생성 장치는 사용자의 동작이 다양한 동작 의도에 따른 기 설정된 동작과 매칭되는지 여부를 판단하여 사용자의 동작 의도를 판단할 수 있다.
아바타 동작 생성 장치는 단계 S220의 판단 결과에 따라, 사용자의 동작에 기반하여, 사용자의 동작 의도에 대한 레퍼런스 동작을 추적하는 아바타의 동작을 생성(S230)한다. 즉, 아바타 동작 생성 장치는 사용자의 동작이 기 설정된 동작과 매칭되되는 경우 레퍼런스 동작을 추적하는 아바타의 동작을 생성하고, 사용자의 동작이 기 설정된 동작과 매칭되지 않는 경우, 사용자의 동작을 그대로 반영하는 동작을 생성하기 위해 사용자에 대한 센싱 데이터 또는 위치 정보에 따른 아바타의 동작을 생성한다.
보다 구체적으로, 아바타 동작 생성 장치는 레퍼런스 동작과 아바타의 동작의 차이를 이용하여, 목표 동작을 생성하고, 목표 동작을 이용하여, 아바타의 동작을 생성할 수 있다. 목표 동작은 레퍼런스 동작과 아바타의 동작의 차이가 최소화되는 동작으로 생성될 수 있으며, 목표 동작을 추적하는 아바타의 동작이 생성될 수 있다. 레퍼런스 동작과 아바타의 동작의 차이는 일실시예로서, 동작에 대한 위치 및 속도의 차이일 수 있다.
한편, 단계 S220에서 아바타 동작 생성 장치는, 가상 세계의 가상 객체 주변에 설정된 어포던스 영역(affordance region) 내에서, 아바타가 기 설정된 동작을 수행하는지 여부를 판단하여, 사용자의 동작 의도를 판단할 수 있다. 어포던스 영역은 가상 객체로부터 기 설정된 거리 내의 영역으로서, 다양한 용어로 표현될 수 있다. 아바타가 기 설정된 동작을 수행할 경우 어포던스 영역은, 일실시예로서, 기 설정된 동작이 선형적인 움직임을 시작하는 지점에서, 가상 객체까지의 영역을 나타낼 수 있다.
어포던스 영역은 사용자의 동작 의도를 정확히 파악하기 위해 설정되는 것으로서, 어포던스 영역이 존재하지 않는다면 사용자의 동작 의도가 반영되지 않는 아바타의 동작이 생성될 수 있다. 예를 들어, 기 설정된 동작이 손을 움켜쥐는 동작이며, 이 때의 사용자의 동작 의도가 가상 객체를 손으로 잡는 동작일 경우, 어포던스 영역이 없다면 가상 객체를 잡고자하는 의도없이 사용자가 손을 움켜쥘 때마다 가상 객체를 손으로 잡는 아바타의 동작이 생성될 수 있다.
어포던스 영역은 실험적으로 또는 가우시안 혼합 모델을 통해 설정될 수 있으며, 도 7에서 보다 자세히 설명된다.
도 3은 본 발명의 다른 실시예에 따른 아바타 동작 생성 방법을 설명하기 위한 도면으로서, 도 3에서는 도 1의 아바타 동작 생성 장치의 아바타 동작 생성 방법이 일실시예로서 설명된다.
아바타 동작 생성 장치는 현실 세계의 사용자에 대한 글러브 센서의 센싱 데이터 또는 사용자에 부착된 마커의 위치 정보를 입력받고(S310), 센싱 데이터 또는 위치 정보를 이용하여, 사용자의 동작을 반영하는 아바타를 가상 세계에 생성(S320)한다.
그리고 아바타 동작 생성 장치는 가상 세계의 가상 객체 주변에 설정된 어포던스 영역 내에서, 아바타가 기 설정된 동작을 수행하는지 판단(S330)하고, 판단 결과에 기반하여, 가상 객체에 대한 사용자의 동작 의도에 따른 아바타의 동작을 생성(S340)한다.
이 때, 아바타 동작 생성 장치는 사용자의 동작에 기반하여, 사용자의 동작 의도에 대한 레퍼런스 동작을 추적하는 아바타의 동작을 생성할 수 있다. 보다 구체적으로 레퍼런스 동작과 아바타의 동작의 차이를 이용하여, 목표 동작을 생성하고, 목표 동작을 이용하여, 아바타의 동작을 생성할 수 있다.
아바타를 포함하는 가상 현실 영상은 복수의 프레임으로 구성되며, 목표 동작은 복수의 프레임을 포함하는 스테이지 단위로 설정될 수 있다. 그리고 아바타 동작 생성 장치는 이전 스테이지의 목표 동작을 이용하여, 현재 스테이지의 목표 동작을 생성할 수 있다.
이하에서는 현실 세계 사용자가 가상 세계에 존재하는 공을 잡는 경우에 아바타의 동작을 생성하는 방법이 일실시예로서 보다 자세히 설명된다.
도 4는 본 발명에서 이용되는 글러브 센서의 센싱 데이터 및 마커의 위치 정보를 설명하기 위한 도면이다.
전술된 바와 같이, 본 발명에 따른 아바타는 모션 캡쳐 기술을 통해 생성될 수 있다. 일반적으로 모션캡쳐 시스템에서 사용자의 모션을 캡쳐하기 위해 전신에 많은 양의 마커를 부착한다. 이 마커들은 각자의 인덱스 정보를 가지고 있으며, 인덱스 정보에 대응되는 마커의 위치를 트랙킹함으로써 사용자의 자세를 매 프레임마다 캡쳐할 수 있다. 인덱스 정보는 해당 마커가 어느 신체 부위에 부착되어 있는지를 나타낸다.
하지만 모션 캡쳐 대상인 사용자의 수가 증가할수록 마커의 수도 증가하기 때문에 마커를 트랙킹하기 어려워지며, 손가락과 같이 관절이 많은 부분은 마커를 부착하기도 어렵기 때문에 실시간으로 손가락 동작을 캡쳐하기 어렵다.
본 발명은 사용자에게 부착되는 마커의 개수를 줄이고 글로브 센서를 이용함으로써 아바타를 생성하고 아바타의 동작을 생성하는 방법을 제안한다. 공을 잡는 동작을 생성하기 위해 마커는 엉덩이, 어깨 및 손에 부착될 수 있으며, 글로브 센서에 손목에 대한 마커가 부착될 수 있다. 그리고 글로브 센서를 통해 손가락의 위치(자세) 정보가 획득될 수 있다.
먼저, 마커의 위치 정보에 대한 필터링 처리를 설명하고, 필터링된 정보를 이용하여 아바타를 생성하는 방법을 설명하기로 한다.
최초 획득된 마커의 위치 정보에는 잡음이 포함되어 있기 때문에, 데이터를 필터링하는 과정이 필요하다. 마커를 트랙킹할 때, 환경 또는 잘못된 인덱싱으로 실패하는 경우가 발생할 수 있으며, 이 경우 도 3(a)의 세번째 프레임과 같이 다른 프레임의 아바타와 다른 아바타가 생성될 수 있다.
본 발명은 메디언 필터(median filter) 및 가우시안 스무딩 기법(Gaussian smoothing)을 이용하여 마커 데이터를 필터링함으로써, 트랙킹 실패로 인해 아바타의 형상이 왜곡되는 문제가 해결될 수 있다. 도 3(b)는 메디언 필터 및 가우시안 스무딩 기법이 적용된 아바타의 모습으로 도 3(a)의 세번째 프레임과 비교하여 아바타의 왜곡이 발생하지 않음을 확인할 수 있다.
도 5는 본 발명의 일실시예에 따른 아바타 생성 방법을 설명하기 위한 도면이며, 도 6은 본 발명에 따른 아바타 생성 모습을 나타내는 도면이다. 본 발명에 따른 아바타 생성 방법은 아바타 생성부(110)에서 수행될 수 있다.
도 5에 도시된 바와 같이, 본 발명은 사용자의 엉덩이, 어깨 및 손에 부착된 마커(주황색)의 위치와 회전 정보를 이용하여 사용자에 대한 기본 벡터 모델(abstract model)을 생성하고, 생성된 기본 벡터 모델을 아바타의 기본 벡터 모델(abstract model)과 맵핑하여 아바타를 생성한다. 이 때, 사용자와 아바타의 스켈레톤(skeleton) 구조는 동일하다.
즉, 본 발명은 아바타의 기본 벡터 모델을 사용자에 대한 기본 벡터 모델에 따라 스케일링하여 아바타를 생성하며, 이를 수학식으로 표현하면 [수학식 1]과 같이 표현할 수 있다. 여기서,
Figure 112015093646424-pat00001
및
Figure 112015093646424-pat00002
은 사용자 및 아바타의 기본 벡터 모델 행렬을 나타낸다. 그리고
Figure 112015093646424-pat00003
(또는 도 5의 α)는 아바타 및 사용자의 기본 벡터 모델 사이의 맵핑 행렬을 나타내며, 사용자 및 아바타의 기본 벡터 모델로부터 계산될 수 있다.
Figure 112015093646424-pat00004
사용자에 대한 기본 벡터 모델은, 사용자의 상체 및 팔의 움직임을 표현한 모델로서, 사용자에 부착된 마커에 따라서 총 4개의 벡터로 구성될 수 있다. 4개의 벡터는 엉덩이와 오른쪽 어깨 사이의 벡터(
Figure 112015093646424-pat00005
), 엉덩이와 왼쪽 어깨 사이의 벡터(
Figure 112015093646424-pat00006
), 오른손과 오른쪽 어깨 사이의 벡터(
Figure 112015093646424-pat00007
) 및 왼손과 왼쪽 어개 사이의 벡터(
Figure 112015093646424-pat00008
)이다. 여기서,
Figure 112015093646424-pat00009
,
Figure 112015093646424-pat00010
,
Figure 112015093646424-pat00011
,
Figure 112015093646424-pat00012
, 는
Figure 112015093646424-pat00013
각각 엉덩이, 오른쪽 어깨, 왼쪽 어깨, 오른 손등, 왼 손등에 붙어 있는 마커의 위치를 나타낸다.
4개의 벡터를 포함하는 행렬을, 행렬 정규화(matrix normalization)를 통해 기본 벡터 모델의 스케일 성분과 방향 성분으로 분해(decompose)하면 [수학식 2]와 같이 표현될 수 있다. 여기서,
Figure 112015093646424-pat00014
및
Figure 112015093646424-pat00015
각각은 사용자에 대한 기본 벡터 모델의 스케일 성분과 방향 성분을 나타낸다.
Figure 112015093646424-pat00016
마찬가지로, 아바타에 대한 기본 벡터 모델 역시 [수학식 3]과 같이 스케일 성분과 방향 성분으로 표현될 수 있다.
Figure 112015093646424-pat00017
아바타는 사용자의 움직임을 반영하므로, 아바타와 사용자의 기본 벡터 모델의 방향 성분이 동일하다고 볼 수 있고, 따라서 [수학식 2] 및 [수학식 3]을 통해, [수학식 4]를 도출할 수 있으며, 맵핑 행렬을 구할 수 있다.
Figure 112015093646424-pat00018
결국, 본 발명에 따르면, 맵핑 행렬을 통해 스케일링된, 사용자에 대한 아바타가 생성될 수 있다.
도 6은 본 발명에 따른 맵핑 행령을 이용하여 생성된 아바타를 도시하는 도면으로서, 도 6(a)는 맵핑 전 모니터에 표시된 아바타의 모습을 나타내고 있으며, 도 6(b)는 맵핑 후 모니터에 표시된 아바타의 모습을 나타내고 있다. 사용자가 팔을 굽히는 동작을 취할 경우, 맵핑 전에는 사용자의 동작이 반영되지 않으나 맵핑 이후에는 사용자의 동작이 반영된 아바타가 생성됨을 알 수 있다.
도 7은 본 발명의 일실시예에 따른 어포던스 영역을 나타내는 도면이며, 도 8은 어포던스 영역 설정을 위해 이용되는 가우시안 혼합 모델을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 어포던스 영역은 가상 객체 공으로부터 기 설정된 거리 이내의 영역일 수 있으며, 일실시예로서 구 형상일 수 있다. 어포던스 영역 내에서 사용자가 기 설정된 동작 예를 들어, 공을 잡는 동작을 취하면, 아바타 역시 공을 잡는 동작을 취하고, 아바타 동작 생성 장치는 사용자의 동작 의도를 공을 잡고자 하는 의도로 판단하여 아바타의 동작을 생성한다.
어포던스 영역은 일실시예로서, 사용자가 공을 잡는 동작, 즉 기 설정된 동작을 선형적으로 시작하는 시점에서 공까지의 영역일 수 있다. 기 설정된 동작이 선형적으로 시작하는 시점은 수많은 실험을 통해 실험적으로 결정되거나 또는 가우시안 혼합 모델을 통해 결정될 수 있다. 기 설정된 동작을 선형적으로 시작하는 시점은 선형적인 움직임을 시작하는 시점일 수 있다.
가우시안 혼합 모델(Gaussian Mixture Models, GMM)은 선형적인(linear) 모델로써, 공을 잡는 동작을 여러번 시연한 사람의 데이터(multiple demonstrations)를 몇 개의 선형적인 모델로 표현할 수 있을 뿐만 아니라 geometrical interpretation을 통하여 혼합 모델들 사이의 거리를 측정하는 것이 가능하다.
가우시안 혼합 모델을 이용하여 어포던스 영역을 설정하는 방법을 보다 자세히 설명하면, 가우시안 혼합 모델은 3개의 모델 파라미터인 사전확률, 평균, 분산로 구성되어 있으며, [수학식 5]와 같이 표현될 수 있다.
Figure 112015093646424-pat00019
여기서,
Figure 112015093646424-pat00020
,
Figure 112015093646424-pat00021
,
Figure 112015093646424-pat00022
는 각각 사전확률(혼합률, mixing ratio), 평균, 분산을 나타내며,
Figure 112015093646424-pat00023
는 가우시안 확률 분포를 나타낸다.
기대 최대화(Expectation-maximization) 기법을 통해 반복적으로 3개의 모델 파라미터에 대한 추정값을 계산할 수 있는데, 이 때, 파라미터의 추정을 위해서 가우시안의 개수가 정의될 필요가 있다. 가우시안의 개수는 [수학식 6]의 BIC(Bayesian Information Criteria) 모델을 이용하여 정의될 수 있다. 베이지안 정보 기준(BIC) 모델은 주어진 데이터에 대한 모델의 log likelihood의 합으로 계산되고, 모델이 주어진 데이터를 표현하기 위한 최소한의 모델의 수를 제공한다.
Figure 112015093646424-pat00024
여기서, n과 K는 각각 데이터의 개수와 가우시안 혼합 모델의 수를 나타낸다.
Figure 112015093646424-pat00025
와 x는 각각 모델의 파라미터(사전확률, 평균, 분산)와 데이터를 나타내고, L은 log-likelihood값으로 모델 파라미터와 데이터를 이용하여 계산할 수 있다.
[수학식 5] 및 [수학식 6]을 통해, 사람이 여러 번의 공을 잡는 동작의 데이터 대한 가우시안 혼합 모델이 도 8(a)와 같이 추정될 수 있다. 도 8(a)에서 붉은 색 부분은 마지막 혼합 모델을 나타내며, 도 8(b)는 시연자가 공을 잡는 동작에 대한 하나의 데이터에 대한 가우시안 혼합 모델을 2차원 영역에서 표현한 도면이다.
이와 같이 생성된, 가우시안 혼합 모델은 다시 분산에 대한 고유 분해(eigen decomposition)를 기반으로 고유 벡터와 값으로 표현될 수 있다.
Figure 112015093646424-pat00026
여기서,
Figure 112015093646424-pat00027
및
Figure 112015093646424-pat00028
는, 각각 i번째 공분산에 대한 고유 벡터 행렬과 고유값 행렬을 나타낸다. 고유벡터 중에서 고유 값이 가장 큰 벡터를 principle 벡터라고 하며, principle 벡터를 이용하여 가우시안 모델의 주요 방향을 획득할 수 있다. 그리고 고유 값의 제곱근을 이용하여 주요 방향으로의 가우시안의 크기를 구할 수 있다. 계산된 가우시안의 크기는 사람이 물체를 향해 선형적인 움직임을 갖기 시작하는 위치를 제공하며, 따라서, 가우시안 혼합 모델을 이용하여 어포던스 영역이 설정될 수 있다.
도 9는 본 발명의 일실시예에 따른 가상 세계의 공을 잡는 아바타의 동작 생성 방법을 설명하기 위한 도면이다. 도 10은 스테이지 단위로 아바타 동작을 생성하는 방법을 설명하기 위한 도면이며, 도 11은 레벨 단위로 아바타 동작을 생성하는 방법을 설명하기 위한 도면이다. 도 12는 본 발명의 일실시예에 따라서 생성된 아바타 동작을 도시하는 도면이다.
도 9에서, LQR 트래커(910)는 도 1의 동작 제어부(120)에 대응되며, 최적화부(920)는 도 1의 최적화부(130)에 대응될 수 있다. 즉, 동작 생성을 위해 일실시예로서 LQR(Linear Quadratic Regulator) 제어기가 이용될 수 있다.
LQR 트래커(910)는 현실 세계 사용자의 손목 위치 정보, 즉 자세 정보와, 손가락에 대한 센싱 데이터(current finger, wrist pose)를 입력받아 사용자의 동작에 기반하여, 가상 세계의 공을 잡는 동작에 대한 레퍼런스 동작을 추적하는 아바타의 동작을 생성한다. 구체적으로, 아바타의 손가락과 손목 동작을 생성할 수 있다.
LQR 트래커(910)의 제어 시스템은 [수학식 8]과 같이 정의될 수 있다. 여기서, A 및 B는 시스템 매트릭스이다. x는 2차원의 벡터로 아바타의 관절각과 속도를 나타내는 2차원의 벡터로
Figure 112015093646424-pat00029
와 같이 표현되며,
Figure 112015093646424-pat00030
는 손가락 및 손목 관절에 대한 제어 입력(control input)을 나타낸다.
Figure 112015093646424-pat00031
손가락 및 손목 관절 각각의 움직이는 속도는 다르며, 엔드-이펙터(end-effector)로 갈수록 노이즈가 증폭되는 현상이 발생하여 비연속적인 아바타 동작이 생성될 수 있기 때문에 각 관절마다 독립적으로 LQR 제어가 이루어지는 것이 바람직하다.
LQR 제어의 해는 상태와 입력에 대한 에너지를 최소화(minimization)함으로써 계산될 수 있으며, 계산 결과는 [수학식 9]와 같이, 주어진 상태를 유지하도록 하기 위한 최적의 입력(또는 제어)을 제공한다. 여기서, K는 LQR 제어의 해를 나타낸다.
Figure 112015093646424-pat00032
그리고 아바타의 동작이 목표 동작을 추적하도록 [수학식 9]를, 현재 관절각 및 각속도와 목표 관절각 및 각속도 차이로 표현하면, [수학식 10]과 같이 표현할 수 있다. 여기서,
Figure 112015093646424-pat00033
는, 목표 상태, 즉 목표 동작을 나타내며, 가상의 공을 잡는 레퍼런스 동작일 수 있다.
Figure 112015093646424-pat00034
하지만, 전술된 바와 같이, 현실 세계의 사용자 동작이 레퍼런스 동작과 일치하지 않기 때문에, 아바타의 동작이 레퍼런스 동작을 그대로 추적할 경우 부자연스럽고 따라서, 최적화부(920)는 [수학식 11]을 이용하여 레퍼런스 동작(reference finger, wrist motion)과 아바타의 동작(current state) 차이가 최소화되도록 목표 동작(desired state)을 생성할 수 있다.
Figure 112015093646424-pat00035
여기서, 파라미터 E1은 부드러운 동작 생성을 위한 파라미터이며, E2는 레퍼런스 동작과 유사한 동작 생성을 위한 파라미터이다. 그리고 파라미터 E1 및 E2는 [수학식 12] 및 [수학식 13]과 같이 정의될 수 있다.
Figure 112015093646424-pat00036
Figure 112015093646424-pat00037
여기서,
Figure 112015093646424-pat00038
및
Figure 112015093646424-pat00039
각각은 공으로부터 k미터 이격된 거리에서의 현재 아바타의 동작과 레퍼런스 동작을 나타낸다. 그리고 목표 동작은 복수의 프레임을 포함하는 스테이지 단위로 설정될 수 있으며,
Figure 112015093646424-pat00040
목표 동작을 나타내는 프레임(키 프레임)을 나타낸다. 도 10(a)에 도시된 바와 같이, 키 프레임 사이에 스테이지가 존재하며, 스테이지 내 프레임에 대한 목표 동작은 키 프레임으로 동일하다.
손을 구성하는 복수의 관절의 자유도로 인해, 손 동작은 고차원의 연속된 동작이고 따라서 최적화 과정에서 로컬 미니멈(local minimum) 현상이 발생할 수 있다. 즉, 레퍼런스 동작과 아바타의 동작 차이가 최소화될 수 있는 해가 잘못 도출될 수 있다.
따라서, 본 발명은 각각의 프레임별로 목표 동작을 설정하지 않고 스테이지 단위로 목표 동작을 설정함으로써, 스테이지 구간에서 동작의 연속성이 유지시켜 로컬 미니멈 현상이 발생하지 못하도록 한다. 또한 본 발명은 동작의 연속성을 유지하도록 손의 구조(hierarchy)를 고려하여 레벨 단위로 목표 동작을 생성한다.
도 11에 도시된 바와 같이, 최적화부(920)는 아바타의 손목과 아바타의 손가락 각각의 끝 관절 사이를 복수의 레벨로 분할하고, 아바타의 손목 레벨에서부터 아바타의 손가락 각각의 끝 관절 레벨까지 순차적으로 각 레벨에 대한 목표 동작을 생성한다. 예를 들어, 레벨 0은 손목 관절을 나타내며, 레벨 3은 손가락 각각의 끝 관절을 나타낸다.
결국, 최적화부(920)는 도 10(b)에 도시된 바와 같이, 스테이지 단위(S1, S2, S3, S4, S5)로 목표 동작을 생성하고, 하나의 스테이지에서 레벨 순서에 따라 순차적으로 각 관절의 목표 동작을 생성한다. 그리고 최적화부(920)는 이전 스테이지의 목표 동작을 이용하여, 현재 스테이지의 목표 동작을 생성함으로써, 효율적으로 목표 동작을 생성할 수 있다. 예를 들어, 파이프라인 구조와 같이, 제2스테이지(S2)에 대한 목표 동작을 생성하면서, 제1스테이지(S1)에 대한 목표 동작을 생성하고, 제1스테이지(S1)에 대한 목표 동작을 이용할 수 있다.
도 10(b)에는 5개의 키 프레임이 이용되는 경우의 스테이지 및 레벨이 도시되어 있다.
[수학식 10]은 스테이지 단위로 목표 동작이 설정되는 방식을 적용할 경우, [수학식 14]와 같이 표현될 수 있다. 그리고 LQR 트래커(910)는 [수학식 14]를 이용하여, 사용자의 동작에 기반하여 가상의 공을 잡는 레퍼런스 동작을 추적하는 자연스러운 아바타 동작(finger, wrist motion)을 생성할 수 있다.
Figure 112015093646424-pat00041
한편, 사용자가 어포던스 영역 밖에서 손을 움켜쥐는 동작을 하거나, 어포던스 영역 내에서 손을 움켜쥐는 동작을 하지 않는 경우에는, [수학식 9]에 따라서 사용자의 동작이 그대로 반영된 아바타의 동작이 생성될 수 있다.
결국, 본 발명에 따르면, 도 12에 도시된 바와 같이, 자연스럽게 공을 잡는 아바타 동작이 생성될 수 있다.
도 13은 본 발명의 일실시예에 따른 아바타 동작 생성 시스템을 설명하기 위한 도면이다.
도 13에 도시된 바와 같이, 본 발명에 따른 아바타 동작 생성 시스템은 필터부(1310), 모델 피팅부(1320) 및 동작 생성부(1330)를 포함한다. 그리고 동작 생성부(1330)는 모션 스위치부(1331), 동작 제어부(1333) 및 최적화부(1335)를 포함한다.
필터부(1310)는 현실 세계의 사용자에 대한 글러브 센서의 센싱 데이터 또는 사용자에 부착된 마커의 위치 정보를 입력받아 노이즈를 제거한다. 필터부(1310)는 일실시예로서, 도 4에서 설명된 바와 같이, 메디언 필터 및 가우시안 스무딩 기법을 이용하여 노이즈를 제거할 수 있다.
모델 피팅부(1320)는 현실 세계 사용자의 모습을 반영하는 아바타를 생성하며, 일실시예로서, 도 5 및 도 6에서 설명된 바와 같이, 스케일링을 통해 아바타를 생성할 수 있다.
동작 생성부(1330)는 상황에 따라서, 사용자의 동작을 그대로 반영하는 아바타의 동작을 생성하거나, 또는 레퍼런스 동작을 추적하는 아바타 동작을 생성할 수 있다.
일실시예로서, 모션 스위치부(1331)는 아바타가 어포던스 영역 내에서 기 설정된 동작을 수행하는 경우 [수학식 14]를 선택할 수 있으며, 동작 제어부(1333) 및 최적화부(1335)는 목표 동작을 생성하고 [수학식 14]를 이용하여 레퍼런스 동작을 추적하는 아바타 동작을 생성할 수 있다.
또는 모션 스위치부(1331)는 아바타가 어포던스 영역 밖에서 손을 움켜쥐는 동작을 하거나, 어포던스 영역 내에서 손을 움켜쥐는 동작을 하지 않는 경우에는 [수학식 9]를 선택할 수 있으며, 동작 제어부(1333)는 [수학식 9]를 이용하여, 사용자의 동작을 그대로 반영하는 아바타의 동작을 생성할 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 현실 세계의 사용자의 동작을 반영하는, 상기 사용자에 대한 아바타를 가상 세계에 생성하는 단계; 및
    상기 사용자의 동작을 이용하여, 상기 사용자의 동작 의도를 판단하는 단계; 및
    상기 판단 결과에 따라, 상기 사용자의 동작에 기반하여, 상기 동작 의도에 대한 레퍼런스 동작을 추적하는 아바타의 동작을 생성하는 단계를 포함하며,
    상기 아바타의 동작을 생성하는 단계는
    상기 레퍼런스 동작과 상기 아바타의 동작의 차이를 이용하여, 목표 동작을 생성하는 단계; 및
    상기 목표 동작을 이용하여, 상기 아바타의 동작을 생성하는 단계
    를 포함하는 아바타 동작 생성 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 사용자의 동작 의도를 판단하는 단계는
    상기 가상 세계의 가상 객체로부터 기 설정된 거리에 내에 설정된 어포던스 영역 내에서, 상기 아바타가 기 설정된 동작을 수행하는지 여부를 판단하여, 상기 동작 의도를 판단하는
    아바타 동작 생성 방법.
  4. 제 3항에 있어서,
    상기 어포던스 영역은
    상기 기 설정된 동작이 선형적인 움직임을 시작하는 지점에서, 상기 가상 객체까지의 영역인
    아바타 동작 생성 방법.
  5. 제 1항에 있어서,
    상기 판단 결과에 따라, 상기 사용자에 대한 센싱 데이터 또는 위치 정보에 따른 아바타의 동작을 생성하는 단계
    를 더 포함하는 아바타 동작 생성 방법.
  6. 사용자에 대한 글러브 센서의 센싱 데이터 또는 상기 사용자에 부착된 마커의 위치 정보를 입력받는 단계;
    상기 센싱 데이터 또는 상기 위치 정보를 이용하여, 상기 사용자의 동작을 반영하는 아바타를 가상 세계에 생성하는 단계;
    상기 가상 세계의 가상 객체 주변로부터 기 설정된 거리 내에 설정된 어포던스 영역 내에서, 상기 아바타가 기 설정된 동작을 수행하는지 판단하는 단계; 및
    상기 판단 결과에 기반하여, 상기 가상 객체에 대한 상기 사용자의 동작 의도에 따른 상기 아바타의 동작을 생성하는 단계를 포함하며,
    상기 어포던스 영역은
    상기 기 설정된 동작이 선형적인 움직임을 시작하는 지점에서, 상기 가상 객체까지의 영역인
    아바타 동작 생성 방법.
  7. 삭제
  8. 제 6항에 있어서,
    상기 아바타의 동작을 생성하는 단계는
    상기 사용자의 동작에 기반하여, 상기 동작 의도에 대한 레퍼런스 동작을 추적하는 아바타의 동작을 생성하는
    아바타 동작 생성 방법.
  9. 제 8항에 있어서,
    상기 아바타의 동작을 생성하는 단계는
    상기 레퍼런스 동작과 상기 아바타의 동작의 차이를 이용하여, 목표 동작을 생성하는 단계; 및
    상기 목표 동작을 이용하여, 상기 아바타의 동작을 생성하는 단계
    를 포함하는 아바타 동작 생성 방법.
  10. 제 9항에 있어서,
    상기 목표 동작은
    복수의 프레임을 포함하는 스테이지 단위로 설정되며,
    상기 목표 동작을 생성하는 단계는
    이전 스테이지의 목표 동작을 이용하여, 현재 스테이지의 목표 동작을 생성하는
    아바타 동작 생성 방법.
  11. 제 9항에 있어서,
    상기 목표 동작을 생성하는 단계는
    상기 레퍼런스 동작 및 상기 아바타의 동작에 대한 위치 및 속도의 차이가 최소화되도록 상기 목표 동작을 생성하는
    아바타 동작 생성 방법.
  12. 제 9항에 있어서,
    상기 아바타의 동작을 생성하는 단계는
    상기 어포던스 영역 내에서 상기 아바타의 손이 움켜쥐는 동작을 수행할 경우, 상기 아바타가 상기 가상 객체를 잡는 동작을 생성하는
    아바타 동작 생성 방법.
  13. 제 12항에 있어서,
    상기 목표 동작을 생성하는 단계는
    상기 아바타의 손목과 상기 아바타의 손가락 각각의 끝 관절 사이를 복수의 레벨로 분할하고, 상기 아바타의 손목 레벨에서부터 상기 아바타의 손가락 각각의 끝 관절 레벨까지 순차적으로 각 레벨에 대한 목표 동작을 생성하는
    아바타 동작 생성 방법.
  14. 현실 세계의 사용자의 동작을 반영하는, 상기 사용자에 대한 아바타를 가상 세계에 생성하는 아바타 생성부;
    상기 사용자의 동작에 기반하여, 목표 동작을 추적하는 아바타의 동작을 생성하는 동작 제어부; 및
    상기 사용자의 동작 의도에 대한 레퍼런스 동작과 상기 아바타의 동작의 차이를 이용하여 상기 목표 동작을 생성하는 최적화부
    를 포함하는 아바타 동작 생성 장치.
  15. 제 14항에 있어서,
    상기 사용자의 동작이 기 설정된 동작인지 여부를 판단하는 동작 판단부를 더 포함하며,
    상기 동작 제어부는
    상기 동작 판단부의 판단 결과에 따라서, 상기 목표 동작을 추적하는 아바타의 동작을 생성하거나 또는 상기 사용자에 대한 센싱 데이터 또는 위치 정보에 따른 아바타의 동작을 생성하는
    아바타 동작 생성 장치.
KR1020150136093A 2015-06-03 2015-09-25 아바타 동작 생성 방법 및 장치 KR101699930B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150078622 2015-06-03
KR1020150078622 2015-06-03

Publications (2)

Publication Number Publication Date
KR20160142744A KR20160142744A (ko) 2016-12-13
KR101699930B1 true KR101699930B1 (ko) 2017-01-25

Family

ID=57575058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150136093A KR101699930B1 (ko) 2015-06-03 2015-09-25 아바타 동작 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101699930B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100331A (zh) * 2022-06-28 2022-09-23 功夫动漫股份有限公司 一种个性化三维动漫的制作方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782974B1 (ko) * 2006-06-16 2007-12-11 한국산업기술대학교산학협력단 모션 캡춰 데이터 기반 3차원 애니메이션 구현 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782974B1 (ko) * 2006-06-16 2007-12-11 한국산업기술대학교산학협력단 모션 캡춰 데이터 기반 3차원 애니메이션 구현 방법

Also Published As

Publication number Publication date
KR20160142744A (ko) 2016-12-13

Similar Documents

Publication Publication Date Title
US11113860B2 (en) Particle-based inverse kinematic rendering system
Aristidou et al. Real-time marker prediction and CoR estimation in optical motion capture
Shum et al. Real-time posture reconstruction for microsoft kinect
Qian et al. Developing a gesture based remote human-robot interaction system using kinect
Yamane et al. Synthesizing animations of human manipulation tasks
Zhao et al. Robust realtime physics-based motion control for human grasping
Feng et al. An example-based motion synthesis technique for locomotion and object manipulation
Riley et al. Methods for motion generation and interaction with a humanoid robot: Case studies of dancing and catching
KR101700377B1 (ko) 아바타 생성을 위한 처리 장치 및 방법
Ho et al. Interactive partner control in close interactions for real-time applications
CN107992858A (zh) 一种基于单一rgb帧的实时三维手势估计方法
Ottenhaus et al. Visuo-haptic grasping of unknown objects based on gaussian process implicit surfaces and deep learning
KR102546945B1 (ko) 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템
Jais et al. A review on gesture recognition using Kinect
Du et al. Natural human–robot interface using adaptive tracking system with the unscented Kalman filter
Lockwood et al. Biomechanically-inspired motion path editing
Choi et al. Dance self-learning application and its dance pose evaluations
Schröder et al. Design and evaluation of reduced marker layouts for hand motion capture
KR101699930B1 (ko) 아바타 동작 생성 방법 및 장치
Teleb et al. Data glove integration with 3d virtual environments
Wang et al. A Generative Human-Robot Motion Retargeting Approach Using a Single RGBD Sensor.
Shi et al. Grasping 3d objects with virtual hand in vr environment
Yuan et al. The virtual interaction panel: an easy control tool in augmented reality systems
KR102707277B1 (ko) 사용자의 자세를 평가하는 방법 및 장치
US11544913B2 (en) Method and system for wearable device-based manual providing

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 4