KR101757765B1 - 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법 - Google Patents

모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR101757765B1
KR101757765B1 KR1020160063635A KR20160063635A KR101757765B1 KR 101757765 B1 KR101757765 B1 KR 101757765B1 KR 1020160063635 A KR1020160063635 A KR 1020160063635A KR 20160063635 A KR20160063635 A KR 20160063635A KR 101757765 B1 KR101757765 B1 KR 101757765B1
Authority
KR
South Korea
Prior art keywords
animation
user
motion data
avatar
motion
Prior art date
Application number
KR1020160063635A
Other languages
English (en)
Inventor
조상용
김회춘
한철승
Original Assignee
주식회사 글로브포인트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 글로브포인트 filed Critical 주식회사 글로브포인트
Priority to KR1020160063635A priority Critical patent/KR101757765B1/ko
Application granted granted Critical
Publication of KR101757765B1 publication Critical patent/KR101757765B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

본 발명은 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법에 관한 것으로서, 3차원 아바타를 표시하는 단계; 사용자의 영상을 촬영하는 단계; 상기 사용자의 영상으로부터 사용자 모션 데이터를 획득하는 단계; 상기 사용자 모션 데이터를 기 설정된 기준값과 비교하는 단계; 및 비교결과에 따라, 상기 사용자 모션 데이터와 기 저장된 애니메이션 모션 데이터 중 하나 이상을 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계; 를 포함한다.

Description

모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법{SYSTEM AND METHOD FOR PRODUCING 3D ANIMATION BASED ON MOTIONCAPTURE}
본 발명은 사용자의 모션 캡처 데이터와 애니메이션 데이터를 융합하여 자연스러운 동작을 구현할 수 있는 3차원 아바타 데이터를 생성하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법에 관한 것이다.
그래픽 처리 기술이 고도화됨에 따라 컴퓨터, 휴대용 단말 등을 통해 3차원 애니메이션 컨텐츠를 시청하거나 사용자가 직접 제작하는 것이 가능해 졌다. 3차원 애니메이션 컨텐츠는 사용자의 흥미를 유발시킬 수 있을 뿐 아니라, 시청각을 이용한 정보 전달 효과도 뛰어나기 때문에, 전자책, 인터넷 강의 등의 교육용 컨텐츠에도 널리 이용되고 있다. 특히, 정보 전달을 위한 컨텐츠일 경우 정보 전달 효과를 향상시키거나 사용자의 주위를 환기시키기 위해 3차원 아바타를 이용하는 경우가 많다.
3차원 아바타는 인간과 같은 사실적인 움직임을 지향한다. 이에, 3차원 아바타 애니메이션을 제작하기 위해 모션 캡처 방식이 사용되는 경우가 많다. 모션 캡처는 인간을 포함한 사물의 동작을 입력 또는 측정하여 컴퓨터 데이터화 하는 것을 의미한다. 보통 다관절로 이루어진 대상체의 각 관절의 위치의 시간에 대한 변화를 측정하여 3차원 데이터를 구성하고, 이를 3차원 아바타 애니메이션 데이터로 활용하고 있다.
모션 캡처 방식은 인간의 움직임을 그대로 가져다 쓰므로 자연스러운 움직임을 제공한다는 장점이 있지만, 데이터의 양이 방대하여 데이터를 후처리하는데 많은 시간이 필요하고, 마찬가지로 데이터의 수정(변경)에도 많은 시간과 노력이 필요하게 되며, 이 과정에서 수정된 데이터는 모션 캡처의 장점인 자연스러움을 잃을 수도 있다는 문제점이 있다.
또한, 모션 캡처 데이터를 생성하고 이를 이용하여 애니메이션을 생성하는 과정은 상당히 노동집약적이고 전문적인 지식을 필요로 하기 때문에, 일반 사용자들이나 전문자가 아닌 컨텐츠 제작자 들이 3차원 아바타 애니메이션을 제작하는 것은 용이하지 않다는 문제점이 있다.
본 발명은 상술한 과제를 해결하기 위하여 안출된 것으로서, 사용자의 모션 캡처 데이터와 애니메이션 데이터를 융합하여 자연스러운 동작을 구현할 수 있는 3차원 아바타 데이터를 생성하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법을 제공하는데 그 기술적 과제가 있다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 3차원 아바타를 표시하는 단계; 사용자의 영상을 촬영하는 단계; 상기 사용자의 영상으로부터 사용자 모션 데이터를 획득하는 단계; 상기 사용자 모션 데이터를 기 설정된 기준값과 비교하는 단계; 및 비교결과에 따라, 상기 사용자 모션 데이터와 기 저장된 애니메이션 모션 데이터 중 하나 이상을 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계;를 포함하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템의 제어방법이 제공된다.
여기서, 상기 사용자 모션 데이터 또는 기 저장된 애니메이션 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계는, 상기 사용자 모션 데이터 처리값이 상기 기준값을 만족하는 경우 상기 사용자 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계; 및 상기 기준값을 만족하지 아니하는 경우 기 저장된 애니메이션 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계;를 포함할 수 있다.
그리고, 전자책 컨텐츠를 구성하는 애니메이션 화면에 상기 3차원 아바타의 애니메이션을 삽입하여 저장하는 단계를 더 포함할 수 있다.
여기서, 상기 3차원 아바타를 표시하는 단계는, 상기 전자책 컨텐츠를 구성하는 애니메이션 화면과 함께 상기 3차원 아바타를 표시하는 단계인 것이 가능하다.
그리고, 사용자로부터 상기 3차원 아바타에 적용하고자 하는 모션의 종류를 입력받는 단계를 더 포함하고, 상기 비교결과에 따라 상기 애니메이션 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계는, 상기 사용자가 선택한 모션의 종류에 따라 해당 애니메이션 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계를 포함할 수 있다.
또한, 상기 사용자 모션 데이터를 처리하여 기 설정된 기준값과 비교하는 단계는, 사용자로부터 적어도 둘 이상의 모션 데이터에 대한 기준값을 입력받아 저장하는 단계; 및 상기 사용자 모션 데이터를 처리하여 상기 사용자로부터 입력받은 기준값과 비교하는 단계;를 포함할 수 있다.
그리고, 상기 사용자 모션 데이터 또는 상기 애니메이션 모션 데이터가 적용된 3차원 아바타의 애니메이션을 디스플레이하는 단계를 더 포함할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 사용자의 동영상 이미지를 촬영하는 카메라부; 촬영된 상기 사용자 이미지로부터 사용자 모션 데이터를 획득하는 모션 데이터 처리부; 적어도 하나 이상의 모션에 따라 3차원 아바타에 적용되는 애니메이션 모션 데이터가 저장된 애니메이션 모션 데이터 DB; 디스플레이부; 및 상기 디스플레이부에 사용자가 설정한 3차원 아바타를 표시하고, 상기 모션 데이터 처리부를 통해 획득된 상기 사용자 모션 데이터를 처리하여 기 설정된 기준값과 비교한 후, 상기 사용자 모션 데이터 처리값이 상기 기준값을 만족하는 경우 상기 사용자 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하고 상기 기준값을 만족하지 아니하는 경우 상기 애니메이션 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하여 상기 디스플레이부에 표시하는 제어부;를 포함하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템이 제공된다.
여기서, 전자책 컨텐츠 저장부를 더 포함하고; 상기 제어부는, 전자책 컨텐츠를 구성하는 애니메이션 화면에 상기 3차원 아바타의 애니메이션을 삽입하여 저장할 수 있다.
그리고, 상기 3차원 아바타에 적용하고자 하는 모션의 종류, 상기 모션 데이터에 대한 기준값을 입력받는 사용자 입력부를 더 포함할 수 있다.
상술한 바와 같이 본 발명의 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법에 따르면, 사용자의 모션 캡처 데이터와 애니메이션 데이터를 융합하여 자연스러운 동작을 구현할 수 있는 3차원 아바타 데이터를 용이하게 생성할 수 있도록 하는 효과가 있다.
또한, 사용자가 제작한 3차원 아바타 데이터를 기존의 콘텐츠에 삽입하여 사용자가 제작하고자 하는 애니메이션 콘텐츠를 용이하게 생성하도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템의 사용 상태도이다.
도 2는 본 발명의 일 실시예에 따른 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템의 제어 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템의 제어 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템의 제어 흐름도이다.
도 5a 및 도 5b는 도 4의 실시예에 따른 3차원 아바타 애니메이션 제작 화면을 예시한 도면이다.
도 6a 내지 6c는 본 발명의 일 실시예에 따른 3차원 아바타 애니메이션을 포함하는 전자책의 제작 화면을 예시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템의 사용 상태도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템(100)은, 디스플레이부(150), 디스플레이부(150)의 상단에 설치되어 사용자의 동영상을 촬영하는 카메라부(110) 및 카메라로 촬영되는 사용자의 동영상으로부터 획득된 모션 데이터에 기초하여 3차원 애니메이션을 제작하고 제작 결과를 디스플레이부(150)에 표시하기 위한 구성요소들이 내장된 프레임을 포함할 수 있다.
카메라부(110)는 디스플레이부(150) 앞에서 소정 모션을 취하는 사용자의 동영상 이미지를 촬영한다. 이러한 카메라부(110)는 둘 이상 복수개가 구비될 수 있으며, 설치 위치 또한 다양하게 변경될 수 있다. 본 발명의 일 실시예에 따르면, 카메라부(110)는 키넥트(Kinect)와 대응될 수 있다. 키넥트는 별도의 컨트롤러 없이 사용자의 모션을 감지하여　디스플레이부(150)에 표시된 화면에 그대로 반영하는 신개념 동작의 장치이다. 그러나, 본 발명이 이에 한정되는 것은 아니다.
디스플레이부(150)에는 사용자가 선택한 3차원 아바타와 카메라부(110)로 촬영된 사용자의 동영상, 모션 데이터가 적용된 3차원 아바타의 애니메이션 등이 표시될 수 있다.
이러한 구성을 포함하는 본 발명의 일 실시예에 따른 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템(100)은 카메라부(110)를 이용하여 획득된 사용자의 모션 데이터와 함께 기 저장된 애니메이션 모션 데이터를 적용하여 자연스럽게 동작하는 3차원 아바타의 애니메이션을 생성할 수 있다. 또한, 사용자가 생성한 3차원 아바타의 애니메이션을 기존의 애니메이션 컨텐츠, 예컨대, 전자책 컨텐츠 등에 삽입하여 사용자만의 전자책 컨텐츠를 생성해낼 수 있다.
도 2는 본 발명의 일 실시예에 따른 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템(100)의 제어 블럭도이다.
도 2를 참조하면, 사용자의 동영상 이미지를 촬영하는 카메라부(110), 디스플레이부(150), 촬영된 동영상 이미지로부터 사용자 모션 데이터를 획득하는 모션 데이터 처리부(120), 적어도 하나 이상의 모션에 따라 3차원 아바타에 적용되는 애니메이션 모션 데이터가 저장된 애니메이션 모션 데이터 DB(170), 애니메이션 합성부(130), 사용자 애니메이션 저장부(160) 및 이들 각 구성요소를 제어하여 사용자 모션 캡처 데이터와 애니메이션 모션 데이터를 융합하여 자연스러운 동작을 구현할 수 있는 3차원 아바타의 애니메이션을 생성하고, 사용자가 생성한 3차원 아바타의 애니메이션을 기존의 애니메이션 컨텐츠에 적용하는 제어부(140)를 포함한다.
애니메이션 모션 데이터 DB(170)에는 적어도 하나 이상의 모션에 따라 3차원 아바타에 적용되는 애니메이션 모션 데이터가 저장된다. 애니메이션 모션 데이터는 3D전문 저작 도구, 예컨대, 3D Max, Maya, 등 전문가용 툴을 이용하여 만들어진 모션 데이터일 수 있다. 애니메이션 모션 데이터는 달리기, 걷기, 앉기, 등 3차원 아바타에 적용하고자 하는 모션에 따라 저장될 수 있다.
모션 데이터 처리부(120)는 카메라부(110)를 통해 촬영된 사용자의 동영상으로부터 사용자의 모션을 인식하여 각 관절의 위치 및 회전값을 실시간으로 산출한다. 모션 데이터 처리부(120)는 촬영된 사용자를 3차원 좌표계에서 인식하여 각 관절의 위치 및 회전값을 X, Y, Z 좌표값으로 산출할 수 있다. 모션 데이터 처리부(120)는 사용자 영상에 기초하여 산출된 데이터에 기초하여 사용자 모션 데이터를 생성할 수 있다.
애니메이션 합성부(130)는 3차원 아바타에 모션 데이터를 적용하여 애니메이션을 생성할 수 있다. 모션 데이터 적용 시, 애니메이션 합성부(130)는 제어부(140)의 제어에 따라 사용자 모션에 따라 생성된 사용자 모션 데이터를 적용하거나 DB(170)에 저장된 애니메이션 모션 데이터를 적용하여 3차원 아바타 애니메이션을 생성할 수 있으며, 혹은, 사용자 모션 데이터와 애니메이션 모션 데이터를 융합하여 적용할 수 있다.
또한, 애니메이션 합성부(130)는 기존의 애니메이션 컨텐츠에 사용자가 생성한 3차원 아바타 애니메이션을 합성하여 사용자 애니메이션을 생성할 수 있다. 예컨대, 전자책 컨텐츠를 구성하는 애니메이션 화면에 사용자가 생성한 3차원 아바타의 애니메이션을 삽입하여 사용자만의 전자책 컨텐츠를 생성할 수 있다. 이러한 애니메이션 합성부(130)의 기능은 제어부(140)에 의해 구현되는 소프트웨어의 형태로 구현되거나, 혹은, 전용 하드웨어에 의해 구현될 수 있다.
사용자 애니메이션 저장부(160)에는 사용자가 생성한 3차원 아바타 애니메이션, 사용자가 생성한 전자책 컨텐츠 등이 저장될 수 있다.
제어부(140)는 디스플레이부(150)에 사용자가 설정한 3차원 아바타를 표시하고 모션 데이터 처리부(120)를 통해 사용자 모션 데이터를 획득한다. 제어부(140)는 사용자 모션 데이터를 기 설정된 기준값과 비교하여, 획득된 사용자 모션 데이터를 적용하여 3차원 아바타 애니메이션을 생성할 지, 애니메이션 모션 데이터 DB(170)에 저장된 애니메이션 모션 데이터를 적용할지를 결정한다.
제어부(140)는 사용자로부터 사용자 모션 데이터의 유효조건을 입력받을 수 있으며, 이 후, 사용자 모션 데이터 처리값이 사용자가 설정한 유효조건에 만족하는 경우 획득된 사용자 모션 데이터를 적용하여 3차원 아바타의 애니메이션을 생성하도록 애니메이션 합성부(130)를 제어할 수 있다. 반면, 사용자 모션 데이터 처리값이 사용자가 설정한 유효조건을 만족하지 아니하는 경우 애니메이션 모션 데이터 DB(170)에 저장된 애니메이션 모션 데이터를 적용하여 3차원 아바타의 애니메이션을 생성하도록 애니메이션 합성부(130)를 제어할 수 있다.
제어부(140)는 생성된 3차원 아바타의 애니메이션을 디스플레이부(150)에 표시하고 사용자로부터 저장 여부를 선택받아, 3차원 아바타의 애니메이션을 사용자 애니메이션 저장부(160)에 저장할 수 있다.
제어부(140)는 생성된 3차원 아바타의 애니메이션을 기존의 전자책 데이터에 합성하여 사용자 애니메이션을 생성하도록 애니메이션 합성부(130)를 제어할 수 있다. 제어부(140)는 3차원 아바타 애니메이션이 합성된 전자책 데이터를 디스플레이부(150)에 표시하고 사용자로부터 저장여부를 선택받아 사용자 애니메이션 저장부(160)에 저장할 수 있다.
이러한 구성에 따라, 본 발명은 사용자의 모션 캡처 데이터와 애니메이션 데이터를 융합하여 자연스러운 동작을 구현할 수 있는 3차원 아바타 데이터를 용이하게 생성할 수 있다.
또한, 사용자가 제작한 3차원 아바타 데이터를 기존의 콘텐츠에 삽입하여 사용자가 제작하고자 하는 애니메이션 콘텐츠를 용이하게 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템(100)의 제어 흐름도이다.
3차원 아바타의 애니메이션을 생성기능이 실행된 경우, 제어부(140)는 사용자로부터 아바타를 이용하여 수행할 모션을 설정받을 수 있다(S110). 예컨대, 걷기, 뛰기, 앉기, 엎드리기 등, 사용자가 생성하고자 하는 3차원 아바타의 모션을 설정받을 수 있다. 이와 같이, 수행할 모션이 설정된 경우 제어부(140)는 애니메이션 모션 데이터 적용 시 사용할 데이터를 특정할 수 있다.
이 후, 제어부(140)는 사용자 모션 데이터의 유효조건을 설정받을 수 있다(S112). 사용자 모션 데이터의 유효조건은 사용자가 생성하고자 하는 3차원 아바타의 모션에 따라 달라질 수 있다. 사용자 모션 데이터의 유효조건은 모션 데이터 처리부(120)에서 인식된 관절의 위치, 높이, 회전값 등의 범위를 한정하는 방식으로 설정될 수 있다.
제어부(140)는 카메라부(110)를 통해 사용자의 동영상을 촬영하고 모션 데이터 처리부(120)를 통해 사용자의 모션을 캡처하여 사용자 모션 데이터를 실시간으로 생성할 수 있다(S114).
제어부(140)는 모션 캡처를 통해 생성된 사용자 모션 데이터가 유효조건을 만족하는지를 판단한다(S116).
사용자 모션 데이터가 사용자가 설정한 유효조건에 만족하는 것으로 판단된 경우, 제어부(140)는 획득된 사용자 모션 데이터를 적용하여 3차원 아바타의 애니메이션을 생성하도록 애니메이션 합성부(130)를 제어할 수 있다(S118).
반면, 사용자 모션 데이터 처리값이 사용자가 설정한 유효조건을 만족하지 아니하는 경우, 제어부(140)는 애니메이션 모션 데이터 DB(170)에 저장된 애니메이션 모션 데이터를 적용하여 3차원 아바타의 애니메이션을 생성하도록 애니메이션 합성부(130)를 제어할 수 있다(S120).
제어부(140)는 사용자 모션 데이터 또는 애니메이션 모션 데이터가 적용된 사용자 애니메이션을 생성하여 저장할 수 있다(S122).
이러한 구성에 따라, 본 발명은 사용자의 모션 캡처 데이터와 애니메이션 데이터를 융합하여 자연스러운 동작을 구현할 수 있는 3차원 아바타 데이터를 용이하게 생성할 수 있도록 하는 효과가 있다.
도 4와 도 5a 및 도 5b는 본 발명의 다른 실시예에 따라 사용자 모션 데이터와 애니메이션 모션 데이터를 융합하여 걷기 및 달리기 모션을 수행하는 3차원 아바타 애니메이션을 제작하는 과정을 예시한 도면이다.
3차원 아바타의 애니메이션을 생성기능이 실행된 경우, 제어부(140)는 디스플레이부(150)에 도 5a와 같은 화면을 표시할 수 있다. 도 5a의 화면은 사용자의 모션 데이터를 입력하기 전 화면이고, 도 5b는 사용자의 모션 데이터 및 애니메이션 모션 데이터의 융합된 상태를 표시하는 화면이다.
도 5a 및 도 5b에 도시된 바와 같이, 디스플레이부(150)에 표시되는 화면에는, 카메라로 촬영된 사용자의 실시간 영상(ㄱ), 애니메이션 처리 없이 사용자의 모션 인식 데이터를 그대로 적용한 3차원 아바타 영상(ㄴ) 및 사용자 모션 데이터와 애니메이션 모션 데이터를 융합하여 생성한 3차원 아바타의 애니메이션 영상(ㄷ)이 함께 표시될 수 있다.
제어부(140)는 사용자로부터 아바타를 이용하여 수행할 모션, 예컨대, 걷기 및 뛰기 등의 모션을 을 설정받을 수 있다(S210). 이에, 제어부(140)는 애니메이션 모션 데이터 적용 시 사용할 데이터를 걷기 및 뛰기 데이터로 특정할 수 있다.
이 후, 제어부(140)는 사용자 모션 데이터의 유효조건을 설정받을 수 있다(S212). 사용자 모션 데이터의 유효조건은 사용자의 선택에 따라 다양한 값이 설정될 수 있다. 본 실시예에서는 팔목의 위치값, 양손의 최대 높이값, 교차시간 등의 기준이 설정된 경우를 예시하기로 한다.
제어부(140)는 카메라부(110)를 통해 사용자의 동영상을 촬영하고 모션 데이터 처리부(120)를 통해 사용자의 모션을 캡처하여 사용자 모션 데이터를 실시간으로 생성할 수 있다(S214). 제어부(140)는 도 5a에 표시된 사용자의 실시간 영상(ㄱ)에 실제 사용자의 동영상을 적용하여 도 5b에 표시된 사용자의 실시간 영상(ㄱ)으로 디스플레이할 수 있다. 제어부(140)는 사용자의 팔목의 위치값, 양손의 최대 높이값, 교차시간 등을 산출할 수 있다. 여기서, 사용자는 팔의 운동만으로 걷고 뛰는 동작을 재현할 수 있으며, 제어부(140)는 도 5a에 표시된 3차원 아바타 영상(ㄴ)에 사용자의 모션 인식 데이터를 그대로 적용하여 도 5b에 표시된 3차원 아바타 영상(ㄴ)은 사용자의 모션과 동일하게 팔만 움직이는 것으로 디스플레이할 수 있다.
제어부(140)는 모션 캡처를 통해 획득된 사용자 모션 데이터, 즉, 사용자의 팔목의 위치값, 양손의 최대 높이값, 교차시간 등을 측정하여, 측정값이 유효조건을 만족하는지를 판단한다(S216). 여기서, 교차시간은 각 관절의 운동속도를 판단하는 하나의 기준으로서 각 관절의 움직임의 속도를 판단하는 기준이 될 수 있다. 즉, 양 팔의 Y축에서의 같은 값의 위치에 이르는 시간차(왼손과 오른손의 동일위치 시간차)를 계산하여, 그 시간 차가 특정 기준값 보다 빠르면 뛰는 것으로 인식하고, 특정 기준값 보다 느리면 걷는 것으로 인식하는 것이 가능하다.
제어부(140)는 양손의 높이값과 양손의 최고 위치값(Y축 기준)의 교차시간을 측정하여 측정결과가 유효조건을 만족하는 경우, 즉, 기설정된 시간 범위에 속하는 경우 사용자 모션 데이터를 적용하여 3차원 아바타의 애니메이션을 생성할 수 있다(S220).
반면, 제어부(140)는 양손의 높이값과 양손의 최고 위치값(Y축 기준)의 교차시간을 측정하여 측정결과가 유효조건을 벗어나는 경우, 애니메이션 모션 데이터 DB(170)에 저장된 애니메이션 모션 데이터를 적용하여 3차원 아바타의 애니메이션을 생성하도록 애니메이션 합성부(130)를 제어할 수 있다.
여기서, 양손의 높이값과 양손의 최고 위치값(Y축 기준)의 교차시간을 측정하여 측정결과가 기 설정된 시간 이상으로 빨라진 경우, 애니메이션 모션 데이터 DB(170)에 저장된 뛰는 애니메이션 데이터를 적용하여 3차원 아바타의 애니메이션을 생성하도록 애니메이션 합성부(130)를 제어할 수 있다(S218).
그리고, 양손의 높이값과 양손의 최고 위치값(Y축 기준)의 교차시간을 측정하여 측정결과가 기 설정된 시간 이하로 느려진 경우, 애니메이션 모션 데이터 DB(170)에 저장된 걷는 애니메이션 데이터를 적용하여 3차원 아바타의 애니메이션을 생성하도록 애니메이션 합성부(130)를 제어할 수 있다(S219).
이상과 같이, 제어부(140)는 사용자의 모션 데이터와 애니메이션 모션 데이터가 융합된 3차원 아바타 애니메이션을 생성할 수 있다(S222). 제어부(140)는 도 5a에 표시된 3차원 아바타 영상(ㄷ)에 사용자의 모션 데이터와 애니메이션 모션 데이터를 융합하여 도 5b에 표시된 3차원 아바타 영상(ㄷ)은 팔, 다리 모두 자연스럽게 동작하는 영상으로 표시할 수 있다.
이러한 구성에 따라, 본 발명은 사용자의 모션 캡처 데이터와 애니메이션 데이터를 융합하여 자연스러운 동작을 구현할 수 있는 3차원 아바타 데이터를 용이하게 생성할 수 있도록 하는 효과가 있다.
도 6a 내지 6c는 본 발명의 일 실시예에 따른 3차원 아바타 애니메이션을 포함하는 전자책의 제작 화면을 예시한 도면이다.
본 발명의 실시예에 따른 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템(100)은 기존의 애니메이션 컨텐츠에 사용자가 생성한 3차원 아바타 애니메이션을 합성하여 사용자 애니메이션을 생성할 수 있다. 예컨대, 동영상 강의 컨텐츠, 전자책 컨텐츠 등을 구성하는 애니메이션 화면에 사용자가 생성한 3차원 아바타의 애니메이션을 삽입하여 사용자만의 컨텐츠를 생성할 수 있다. 이러한 경우, 시스템은 전자책 컨텐츠, 동영상 강의 컨텐츠 등, 기존에 제작된 애니메이션 컨텐츠의 저장부를 더 포함할 수 있다.
도 6a를 참조하면, 제어부(140)는 애니메이션 형식의 전자책 데이터(600)와 함께 사용자의 3차원 아바타 애니메이션을 생성하기 위한 아바타 제작화면(610)을 제공할 수 있다.
아바타 제작화면(610)에는 사용자가 선택한 3차원 아바타(612)와, 3차원 아바타의 모션을 설정하기 위한 애니메이션 제작 메뉴(614)가 제공될 수 있다.
제어부(140)는 아바타 제작화면(610)의 애니메이션 제작 메뉴(614)로 입력되는 사용자 입력에 따라, 전술한 방법에 따라 사용자 모션 데이터와 애니메이션 모션 데이터가 융합된 3차원 아바타 애니메이션을 제작할 수 있다.
제어부(140)는 사용자가 생성한 3차원 아바타 애니메이션을 전자책 데이터(600)에 합성하여 저장함으로써, 사용자만의 전자책 데이터를 생성 및 저장할 수 있다.
도 6b를 참조하면, 사용자가 생성한 3차원 아바타(612)의 애니메이션이 삽입된 전자책 데이터(600)를 실행하며, 사용자가 선택한 전자책 부분에 사용자가 선택한 3차원 아바타(612)의 애니메이션이 함께 표시될 수 있다. 또한, 도 6c에 도시된 바와 같이, 전자책(600)의 페이지가 변경되는 경우, 해당 페이지에 사용자가 삽입한 3차원 아바타(612)의 애니메이션이 함께 표시될 수 있다.
이러한 구성에 의해, 사용자가 제작한 3차원 아바타 데이터를 기존의 콘텐츠에 삽입하여 사용자가 제작하고자 하는 애니메이션 콘텐츠를 용이하게 생성할 수 있다.
이상 설명한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템
110 : 카메라부
120 : 모션 데이터 처리부
130 : 애니메이션 합성부
140 : 제어부
150 : 디스플레이부
160 : 사용자 애니메이션 저장부
170 : 애니메이션 모션 데이터 DB

Claims (11)

  1. 3차원 아바타를 표시하는 단계;
    사용자의 영상을 촬영하는 단계;
    상기 사용자의 영상으로부터 사용자 모션 데이터를 획득하는 단계;
    상기 사용자 모션 데이터를 기 설정된 기준값과 비교하는 단계; 및
    비교결과에 따라, 상기 사용자 모션 데이터와 기 저장된 애니메이션 모션 데이터 중 하나 이상을 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계;
    를 포함하며,
    상기 사용자 모션 데이터 또는 기 저장된 애니메이션 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계는, 상기 사용자 모션 데이터 처리값이 상기 기준값을 만족하는 경우 상기 사용자 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계; 및 상기 기준값을 만족하지 아니하는 경우 기 저장된 애니메이션 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계;를 포함하고,
    상기 사용자 모션 데이터를 처리하여 기 설정된 기준값과 비교하는 단계는, 사용자로부터 적어도 둘 이상의 모션 데이터에 대한 기준값을 입력받아 저장하는 단계; 및 상기 사용자 모션 데이터를 처리하여 상기 사용자로부터 입력받은 기준값과 비교하는 단계;를 포함하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템의 제어방법.
  2. 제1항에 있어서,
    상기 사용자 모션 데이터를 처리하여 기 설정된 기준값과 비교하는 단계는,
    상기 획득된 사용자 모션 데이터에서, 양손의 높이값과 양손의 최고 위치값(Y축 기준)의 교차시간을 측정하고 기설정된 시간 범위인 상기 기준값에 속하는 지를 판단하는 것을 특징으로 하는 모션 캡쳐 데이터 기반 3차원 애니메이션 제작 시스템의 제어방법.
  3. 제1항에 있어서,
    전자책 컨텐츠를 구성하는 애니메이션 화면에 상기 3차원 아바타의 애니메이션을 삽입하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템의 제어방법.
  4. 제3항에 있어서,
    상기 3차원 아바타를 표시하는 단계는,
    상기 전자책 컨텐츠를 구성하는 애니메이션 화면과 함께 상기 3차원 아바타를 표시하는 단계인 것을 특징으로 하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템의 제어방법.
  5. 제1항에 있어서,
    사용자로부터 상기 3차원 아바타에 적용하고자 하는 모션의 종류를 입력받는 단계를 더 포함하고,
    상기 비교결과에 따라 상기 애니메이션 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계는, 상기 사용자가 선택한 모션의 종류에 따라 해당 애니메이션 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하는 단계를 포함하는 것을 특징으로 하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템의 제어방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 사용자 모션 데이터 또는 상기 애니메이션 모션 데이터가 적용된 3차원 아바타의 애니메이션을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템의 제어방법.
  8. 사용자의 동영상 이미지를 촬영하는 카메라부;
    촬영된 상기 사용자 이미지로부터 사용자 모션 데이터를 획득하는 모션 데이터 처리부;
    적어도 하나 이상의 모션에 따라 3차원 아바타에 적용되는 애니메이션 모션 데이터가 저장된 애니메이션 모션 데이터 DB;
    디스플레이부; 및
    상기 디스플레이부에 사용자가 설정한 3차원 아바타를 표시하고, 상기 모션 데이터 처리부를 통해 획득된 상기 사용자 모션 데이터를 처리하여 기 설정된 기준값과 비교한 후, 상기 사용자 모션 데이터 처리값이 상기 기준값을 만족하는 경우 상기 사용자 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하고 상기 기준값을 만족하지 아니하는 경우 상기 애니메이션 모션 데이터를 적용하여 상기 3차원 아바타의 애니메이션을 생성하여 상기 디스플레이부에 표시하는 제어부;를 포함하며,
    상기 기준값은 사용자로부터 적어도 둘 이상의 모션 데이터에 대한 기준값이 입력되어 저장되는 것을 특징으로 하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템.
  9. 제8항에 있어서,
    전자책 컨텐츠 저장부를 더 포함하고;
    상기 제어부는,
    전자책 컨텐츠를 구성하는 애니메이션 화면에 상기 3차원 아바타의 애니메이션을 삽입하여 저장하는 것을 특징으로 하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템.
  10. 제8항에 있어서,
    상기 3차원 아바타에 적용하고자 하는 모션의 종류, 상기 모션 데이터에 대한 기준값을 입력받는 사용자 입력부를 더 포함하는 것을 특징으로 하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템.
  11. 제10항에 있어서, 상기 제어부는,
    상기 획득된 사용자 모션 데이터에서, 양손의 높이값과 양손의 최고 위치값(Y축 기준)의 교차시간을 측정하고 기설정된 시간 범위인 상기 기준값에 속하는 지를 판단하는 것을 특징으로 하는 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템.
KR1020160063635A 2016-05-24 2016-05-24 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법 KR101757765B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160063635A KR101757765B1 (ko) 2016-05-24 2016-05-24 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160063635A KR101757765B1 (ko) 2016-05-24 2016-05-24 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR101757765B1 true KR101757765B1 (ko) 2017-07-26

Family

ID=59427130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160063635A KR101757765B1 (ko) 2016-05-24 2016-05-24 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR101757765B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078294A (ko) 2017-12-26 2019-07-04 주식회사 글로브포인트 가상 튜터에 의한 디지털 학습 제공 서버 및 방법
CN111179389A (zh) * 2019-12-26 2020-05-19 武汉西山艺创文化有限公司 三维即时演算动画制作装置及方法
KR20210123614A (ko) * 2020-04-03 2021-10-14 가톨릭대학교 산학협력단 모션 센서와 애니메이션 데이터를 이용한 캐릭터 동작 제어 장치 및 그 방법
WO2022107915A1 (ko) * 2020-11-19 2022-05-27 주식회사 플라스크 영상 내에 3차원 캐릭터를 렌더링하는 방법, 장치 및 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078294A (ko) 2017-12-26 2019-07-04 주식회사 글로브포인트 가상 튜터에 의한 디지털 학습 제공 서버 및 방법
CN111179389A (zh) * 2019-12-26 2020-05-19 武汉西山艺创文化有限公司 三维即时演算动画制作装置及方法
CN111179389B (zh) * 2019-12-26 2024-04-19 武汉西山艺创文化有限公司 三维即时演算动画制作装置及方法
KR20210123614A (ko) * 2020-04-03 2021-10-14 가톨릭대학교 산학협력단 모션 센서와 애니메이션 데이터를 이용한 캐릭터 동작 제어 장치 및 그 방법
KR102359969B1 (ko) 2020-04-03 2022-02-08 가톨릭대학교 산학협력단 모션 센서와 애니메이션 데이터를 이용한 캐릭터 동작 제어 장치 및 그 방법
WO2022107915A1 (ko) * 2020-11-19 2022-05-27 주식회사 플라스크 영상 내에 3차원 캐릭터를 렌더링하는 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
US10755485B2 (en) Augmented reality product preview
CN101156175B (zh) 3d对象的基于深度图像呈现方法和使用该方法的建模方法和设备以及渲染方法和设备
US8644467B2 (en) Video conferencing system, method, and computer program storage device
US20160163084A1 (en) Systems and methods for creating and distributing modifiable animated video messages
KR101757765B1 (ko) 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법
US20130218542A1 (en) Method and system for driving simulated virtual environments with real data
JP2023022090A (ja) 反応型映像生成方法及び生成プログラム
KR20220093342A (ko) 분할 미러 효과의 구현 방법, 장치 및 관련 제품
CN102804169A (zh) 用于立体影院的以观看者为中心的用户界面
US20190156690A1 (en) Virtual reality system for surgical training
CN108377361B (zh) 一种监控视频的显示控制方法及装置
US9754398B1 (en) Animation curve reduction for mobile application user interface objects
KR20210028198A (ko) 아바타 애니메이션
WO2018080849A1 (en) Simulating depth of field
KR20160097430A (ko) 애니메이션 생성 장치 및 방법
CN111739134B (zh) 虚拟角色的模型处理方法、装置及可读存储介质
KR20190074911A (ko) 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
CN109074670B (zh) 信息处理装置、图像生成方法以及记录介质
JP6275759B2 (ja) 三次元コンテンツの生成方法、プログラム、及びクライアント装置
KR20140078083A (ko) 증강 현실이 구현된 만화책
KR101885746B1 (ko) 스마트 단말을 이용하여 동작 컨텐트를 자동으로 생성하는 장치 및 방법
JP7072706B1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
KR102622709B1 (ko) 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치
Jin et al. Volumivive: An Authoring System for Adding Interactivity to Volumetric Video
JP6931375B2 (ja) 送信装置および送信方法、プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant