KR101243771B1 - 동작 데이터의 동기화 방법 및 장치 - Google Patents

동작 데이터의 동기화 방법 및 장치 Download PDF

Info

Publication number
KR101243771B1
KR101243771B1 KR1020110061174A KR20110061174A KR101243771B1 KR 101243771 B1 KR101243771 B1 KR 101243771B1 KR 1020110061174 A KR1020110061174 A KR 1020110061174A KR 20110061174 A KR20110061174 A KR 20110061174A KR 101243771 B1 KR101243771 B1 KR 101243771B1
Authority
KR
South Korea
Prior art keywords
motion data
data
feature value
motion
operation data
Prior art date
Application number
KR1020110061174A
Other languages
English (en)
Other versions
KR20130002367A (ko
Inventor
박상일
정태완
권상필
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020110061174A priority Critical patent/KR101243771B1/ko
Publication of KR20130002367A publication Critical patent/KR20130002367A/ko
Application granted granted Critical
Publication of KR101243771B1 publication Critical patent/KR101243771B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Abstract

복수의 동작 데이터를 동기화하는 방법에 관한 것으로서, 제 1 동작 데이터 및 제 2 동작 데이터를 수신하는 단계, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터로부터 유사도 측정을 위한 특징값을 추출하는 단계, 상기 제 1 동작 데이터의 특징값 및 상기 제 2 동작 데이터의 특징값을 정규화하는 단계 및 상기 정규화된 특징값을 이용하여, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터를 서로 동기화하는 단계를 포함하는 동작 데이터 동기화 방법을 제공한다.

Description

동작 데이터의 동기화 방법 및 장치 {DEVICE AND METHOD FOR SYNCHRONIZATION OF MOTION DATA}
본 발명은 동작 데이터의 자동 동기화 방법 및 장치에 관한 것이다.
몸 동작이나 얼굴 표정을 주제로 사실적인 캐릭터 애니메이션을 제작하기 위한 많은 연구들이 있었다.
이와 관련하여, 몸 동작을 다루는 연구들은 주로 포착된 동작을 편집하거나 재적용하는 분야, 또는 여러 동작 클립을 조합하여 새로운 동작 시퀀스를 만드는 분야 등에서 연구가 주로 수행되어 왔으며, 얼굴 표정을 다루는 연구들은 얼굴 표정을 세밀하게 포착하거나 손쉽게 제작하는 방법론에 초점을 두고 연구되어 왔다.
종래의 얼굴 애니메이션을 생성하는 방법으로, 블렌딩(blending) 방식이 있다. 블렌딩 방식은 주요 표정의 얼굴 모델들을 디자이너가 잘 디자인하거나 스캔한 뒤, 이를 적절히 섞어서 새로운 표정 시퀀스를 만들어내는 방식으로 주로 애니메이터(animator)가 수작업을 통해 섞는 방법을 취하고 있다.
이러한 방법은 시간이 많이 소요될 뿐만 아니라 최종 결과 애니메이션이 애니메이터의 숙련도에 종속된다는 문제가 있다. 또한, 생성 가능한 얼굴 표정이 미리 정의된 모형의 한도 내에서 제한되므로 실제 사람과 같은 다양한 표정을 만들어 내는 데에는 제약이 있었다.
또한, 종래에는 몸 동작과 얼굴 표정에 관한 각각의 데이터에 대해 별도로 데이터 처리가 수행되는 것이 일반적이었으며, 몸 동작과 얼굴 표정을 동시에 다루는 동작 데이터 동기화 기술이 요구되고 있다.
본 발명의 일부 실시예는 제 1 동작 데이터 및 제 2 동작 데이터를 수신하여, 유사도 측정을 위한 특징값을 추출하고, 특징값을 정규화하여, 서로 동기화 시켜주는 복수의 동작 데이터의 동기화 방법 및 장치를 제공하는 데에 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 동작 데이터 동기화 방법은 제 1 동작 데이터 및 제 2 동작 데이터를 수신하는 단계, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터로부터 유사도 측정을 위한 특징값을 추출하는 단계, 상기 제 1 동작 데이터의 특징값 및 상기 제 2 동작 데이터의 특징값을 정규화하는 단계 및 상기 정규화된 특징값을 이용하여, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터를 서로 동기화하는 단계를 포함한다.
또한, 본 발명의 제 2 측면에 따른 동작 데이터 동기화 장치는 제 1 동작 데이터 및 제 2 동작 데이터를 수신하는 동작 데이터 수신부, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터로부터 유사도 측정을 위한 특징값을 추출하는 특징값 추출부, 상기 제 1 동작 데이터의 특징값 및 상기 제 2 동작 데이터의 특징값을 정규화하는 정규화부 및 상기 정규화된 특징값을 이용하여, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터를 서로 동기화하는 동기화부를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 제 1 동작 데이터 및 제 2 동작 데이터를 수신하여, 유사도 측정을 위한 특징값을 추출하고, 특징값을 정규화하여, 서로 동기화시켜주는 복수의 동작 데이터의 동기화 방법 및 장치를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 동작 데이터 동기화 방법에 있어서, 복수의 촬영데이터를 동기화하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 동작 데이터 동기화 방법에 있어서, 제 1 동작 데이터 및 제 2 동작 데이터를 따로 포착하는 과정을 나타낸 예시도이다.
도 3는 본 발명의 일실시예에 따른 동작 데이터 동기화 장치의 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 일실시예에 따른 동작 데이터 동기화 방법에 있어서, 동기화에 사용되는 자료구조인 이차원 그래프를 설명하기 위한 예시도이다.
도 5는 본 발명의 일실시예에 따른 동작 데이터 동기화 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 일실시예에 따른 동작 데이터 동기화 방법에 있어서, 비선형 동적 시간 변형 결과를 통하여 생성된 애니메이션을 나타낸 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 동작 데이터 동기화 방법에 있어서, 복수의 촬영 데이터를 동기화하는 방법을 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 동작 데이터 동기화 방법은 제 1 동작 데이터 및 제 2 동작 데이터의 유사도를 측정하고, 유사도에 기초하여 동적 시간 맞춤을 수행한다. 본 발명의 일실시예에 따라, 제 1 동작 데이터 및/또는 제 2 동작 데이터의 동적 시간 맞춤을 수행하여 제 1 동작 데이터와 제 2 동작 데이터를 동기화할 수 있다.
동작 데이터는 특정 객체(예를 들어, 사람, 동물 등)의 동작을 촬영한 데이터로서, 애니메이션 또는 게임 속의 가상 캐릭터의 모델링 및 렌더링 등에 활용될 수 있으며, 본 발명의 일실시예에 따르면, 동작 데이터의 촬영을 위해 광학식 동작 포착 장비가 활용될 수 있다.
광학식 동작 포착은 사람의 몸에 움직임을 감지할 수 있는 마커(marker)를 부착한 뒤, 마커에서 반사되는 빛의 정보를 컴퓨터에서 데이터화해 애니메이션으로 재생하는 기술로 영화의 특수효과, 게임, 애니메이션 분야에서 광범위하게 활용될 수 있다.
본 발명의 일실시예에 따른 제 1 동작 데이터 및 제 2 동작 데이터는 각각 개별적인 동작 포착 장비를 이용하여 촬영된 영상 데이터를 의미하며, 예를 들어 사람의 동작 애니메이션을 제작하기 위하여, 제 1 동작 데이터로 얼굴 표정 데이터, 제 2 동작 데이터로 몸 동작 데이터를 촬영할 수 있다.
본 발명의 일실시예에 따르면, 제 1 동작 데이터 및 제 2 동작 데이터를 별도의 촬영 장치를 이용하여 촬영을 하는데, 이는 각기 요구되는 동작 데이터의 해상도 차이에서 기인한다. 예를 들어, 제 1 동작 데이터(예를 들어, 얼굴 표정 데이터)와 제 2 동작 데이터(몸 동작 데이터)는 그 움직임의 범위에 있어 큰 차이가 존재할 수 있다. 제 1 동작 데이터로 예를 든 얼굴 표정 데이터는 얼굴 표면의 미세한 근육의 움직임에 의하여 표정의 변화가 발생하므로, 단위 면적당 다수의 마커를 부착해야 표정 데이터를 효율적으로 포착할 수 있다. 이에 비해, 제 2 동작 데이터로 예를 든 몸 동작 데이터는 몸의 주요 관절 부위에 비교적 드물게 마커를 부착하여도 몸 동작 데이터를 충분히 포착할 수 있다.
별도로 촬영된 제 1 동작 데이터 및 제 2 동작 데이터는 움직이는 대상물(예를 들어, 가상 캐릭터)을 자연스러운 애니메이션으로 표현하기 위해 동기화될 필요가 있으며, 따라서 제 1 동작 데이터 및 제 2 동작 데이터 간의 동기화는 움직이는 대상물의 사실성을 높이기 위해 필수적인 기술이다.
제 1 동작 데이터 및 제 2 동작 데이터는 자연스러운 동기화를 위해, 유사도 측정을 수행하고, 측정된 유사도에 기초하여 동적 시간 맞춤을 하게 된다.
제 1 동작 데이터 및 제 2 동작 데이터 간의 유사도를 측정하기 위해서는 두 동작 데이터 간의 공통 부분을 정의해야 하며, 동적 시간 맞춤을 위해 제 1 동작 데이터 및 제 2 동작 데이터 중 하나의 동작 데이터(예를 들어, 제 1 동작 데이터)를 기준으로 다른 동작 데이터(예를 들어, 제 2 동작 데이터)의 시간축 변형을 통한 동적 시간 맞춤을 수행할 수 있다.
도 2는 본 발명의 일실시예에 따른 동작 데이터 동기화 방법에 있어서, 제 1 동작 데이터 및 제 2 동작 데이터를 따로 포착하는 과정을 나타낸 예시도이다.
도 2에 도시된 바와 같이, 사람의 얼굴을 동작 포착 장비에 의하여 촬영하여 얼굴 표정을 포착하는 왼쪽 화면과 사람의 전체 몸 동작을 포착하는 오른쪽 화면과 같이 촬영될 수 있으며, 여기서, 촬영된 얼굴 표정은 제 1 동작 데이터로, 촬영된 몸 동작은 제 2동작 데이터로 활용될 수 있다. 제 1 동작 데이터와 제 2 동작 데이터는 효과적으로 동기화됨으로써, 자연스러운 애니메이션이 생성될 수 있다.
도 3은 본 발명의 일실시예에 따른 동작 데이터 동기화 장치의 구성을 설명하기 위한 블록도이다.
본 발명의 일실시예에 따른 동작 데이터 동기화 장치는 동작 데이터 수신부(210), 특징값 추출부(220), 정규화부(230), 동기화부(240) 및 제어부(250)를 포함할 수 있다.
동작 데이터 수신부(210)는 대상물의 일부분 또는 전체를 촬영한 동작 데이터를 수신할 수 있다. 여기서, 대상물은 동작 데이터의 수행 주체를 의미하며, 예를 들어, 사람, 동물 등이 이에 해당될 수 있다. 또한, 동작 데이터는 별개의 촬영장치(미도시)에 의해 촬영되어 동작 데이터 수신부(210)에게 제공될 수 있다.
특징값 추출부(230)는 동작 데이터 수신부(210)에 의하여 수신된 제 1 동작 데이터 및 제 2 동작 데이터로부터 유사도 측정을 위한 특징값을 추출할 수 있다.
특징값은 제 1 동작 데이터 및 제 2 동작 데이터를 동기화할 수 있도록, 제 1 동작 데이터 및 제 2 동작 데이터를 명시적으로 비교할 수 있는 대표값을 의미하며, 양 동작 데이터의 명시적 비교를 위해 각각의 동작 데이터에 공통적으로 포함되는 부분에서, 각 동작 데이터의 유사도 측정을 위하여 추출된 값일 수 있다.
제 1 동작 데이터로 얼굴 표정 데이터, 제 2 동작 데이터로 몸 동작 데이터를 예로 들어 설명하면, 본 발명의 일실시예에서는 얼굴 표정 데이터와 몸 동작 데이터를 명시적으로 비교할 수 있는 값으로 얼굴 표정 데이터 및 몸 동작 데이터에서의 공통 부분에 대한 움직임 값인 목관절 움직임 정보를 특징값으로 활용할 수 있다.
본 발명의 일실시예에 따르면, 얼굴 표정 데이터에 목관절의 움직임이 같이 포착될 수 있음에 착안하여 목관절의 움직임을 두 동작 데이터 간의 유사도 측정의 기준으로 활용하였다. 몸 동작 데이터의 경우 명시적으로 목관절의 움직임 정보를 얻어 낼 수 있으나, 얼굴 표정 데이터의 경우에는 목관절 움직임을 바로 얻을 수 없다. 따라서, 본 발명의 일실시예는 얼굴 표정 데이터로부터 머리의 강체운동을 분석하여 3차원 강체 회전 정보를 추출하고 이를 목관절 움직임으로 정의하여, 특징값으로 활용할 수 있다. 머리의 강체운동을 유추하기 위한 마커로는 예를 들어, 비교적 국부 변형이 없는 부위인 이마와 귀 부위에 있는 마커를 선택할 수 있다.
운동에 제약이 없는 환경에서 포착된 몸 동작 데이터와 주로 정면을 응시하도록 제한된 환경에서 포착된 표정 데이터에서의 각각의 목관절 움직임 데이터는 그 절대적인 방향 정보의 의미보다는 움직임의 변화가 유사도 측정에 있어서 더 중요한 의미를 갖는다. 예를 들어, 정지해 있다가 움직임이 시작되는 것이나, 움직이다 정지하는 것 등의 회전의 상대적 변화를 의미하는 정보가 두 동작 데이터의 동기화에 유용하게 사용될 수 있다. 따라서, 본 발명의 일실시예에서는 측정된 목관절의 회전 정보를 3차원 각속도 변환하여 이를 유사도 측정의 기준으로 삼을 수 있다. 상기 목관절 회전 정보는 본 발명의 활용을 위한 일 예시일뿐, 이외에도 다양한 정보를 특징값으로 활용할 수 있다.
정규화부(240)는 특징값 추출부(230)에서 추출된 제 1 동작 데이터의 특징값 및 제 2 동작 데이터의 특징값을 정규화하는 역할을 수행한다.
본 발명의 일실시예에 따르면, 제 1 동작 데이터(예를 들어, 얼굴 표정 데이터)와 제 2 동작 데이터(예를 들어, 몸 동작 데이터) 간에는 그 움직임의 범위 및 자유도에서 차이가 있으므로 두 동작 데이터간의 정규화를 통해 값의 범위를 맞추어 주는 과정이 필요하다.
상술한 바와 같이, 본 발명의 일실시예에서는 목관절 움직임 정보 중 목관절 회전 정보를 3차원 각속도 변환하여 이를 유사도 측정의 기준으로 삼을 수 있다.
여기서, 각속도를 측정하기 위해 단위 사원수(quaternion)로 표현된 목관절 회전 데이터에 [수학식 1]과 같은 수치 미분을 적용할 수 있다.
Figure 112011047930975-pat00001
[수학식 1]에서, qt는 시간 t에서 주어진 목관절의 회전 정보를 나타내며, Vt는 qt를 이용하여 계산된 3차원 각속도 벡터로 벡터의 방향은 회전축을 의미하며 벡터의 크기는 속도를 의미한다. ln(·)은 단위 사원수에서 정의된 로그연산이며, Δt는 프레임 간의 시간차를 나타낸다.
제 1 동작 데이터 및 제 2 동작 데이터의 특징값의 유사도 측정을 위해서, 제약조건이 다른 환경에서 측정된 각속도의 3차원 회전축 방향 정보보다는 각속도의 크기가 더 유의미할 수 있는바, 본 발명의 일실시예에서는 아래의 [수학식 2]에서와 같이 각속도의 크기를 유사도 측정의 기준으로 삼을 수 있다.
Figure 112011047930975-pat00002
[수학식 2]에서
Figure 112011047930975-pat00003
와
Figure 112011047930975-pat00004
은 각각 시간 t에서의 표정과 동작의 목관절의 각속도 벡터를 의미하며,
Figure 112011047930975-pat00005
와
Figure 112011047930975-pat00006
는 이로부터 계산되는 유사도 측정을 위한 특징값을 의미한다.
또한, 제약 환경이 다른 표정과 동작 데이터는 측정된 속도의 변화값의 범위가 서로 다르다. 따라서 두 동작 데이터의 값을 그냥 단순히 비교할 수 없으며, 정규화를 통해 값의 범위를 맞춰주어야 한다. 그러나, 한 모션 시퀀스(motion sequence)의 전체를 기준으로 정규화를 적용할 경우 큰 움직임의 구간과 작은 움직임의 구간 간에 서로 영향을 주어 값의 부정확성을 초래할 수 있으므로, 아래 [수학식 3]과 같은 단위 시간별로 국부적인 정규화를 통해 매 순간 순간의 통계 수치를 기준으로 수행할 수 있다.
Figure 112011047930975-pat00007
여기서,
Figure 112011047930975-pat00008
는 정규화를 거친 특징값이며,
Figure 112011047930975-pat00009
와
Figure 112011047930975-pat00010
는 현재 시간t와 주어진 윈도우 크기 w에 대해 구간 [t-w, t+w]에서 구해진 평균과 표준편차 값을 각각 의미한다.
동기화부(250)는 정규화된 특징값을 이용하여, 제 1 동작 데이터 및 제 2 동작 데이터를 서로 동기화할 수 있다. 동기화부(250)는 제 1 동작 데이터 및 제 2 동작 데이터를 동기화하기 위해 제 1 동작 데이터의 시간을 변형하여 제 2 동작 데이터에 동기화되도록 맞출 수 있다.
여기서, 제 1 동작 데이터의 시간 변형은 시간 변형 함수에 의해 수행될 수 있다. 이러한 시간 변형 함수는 제 1 동작 데이터의 원래 시간 t를 새로운 시간
Figure 112011047930975-pat00011
로 계산해 주는 W로 표시할 수 있으며,
Figure 112011047930975-pat00012
의 관계를 갖는다고 정의할 수 있다.
본 발명의 일실시예에 따르면, 시간 변형 함수 W(t)의 모양을 적절히 정의함에 따라 원하는 시간 변형의 속성을 제한할 수 있다. 예를 들어, W를 t에 대한 선형 함수로 정의한다면,
Figure 112011047930975-pat00013
의 형태가 되어 전역적인 시간 변형 함수로 사용할 수 있다. 하지만, 이러한 시간에 대한 전역 변형은 복잡한 씬(scene)에는 적용되지 않으며, 보다 복잡한 씬에서는 비선형(non-linear) 시간 변형 함수의 형태가 될 것이다.
도 4는 본 발명의 일실시예에 따른 동작 데이터 동기화 방법에 있어서, 동기화에 사용되는 자료구조인 이차원 그래프를 설명하기 위한 예시도이다.
도 4에 도시된 2차원 그래프의 x축은 제 1 동작 데이터(예를 들어, 얼굴 표정 데이터)의 시간축을 나타내고, y축은 제 2 동작 데이터(예를 들어, 몸 동작 데이터)의 시간축을 나타낼 수 있다. 더욱 상세하게 설명을 하면, 2차원 그래프의 각 축은 영상 데이터의 프레임(frame)수를 나타낼 수 있다. 따라서, 제 1 동작 데이터의 총 프레임수를 N1, 제 2 동작 데이터의 총 프레임수를 N2라고 할 때, 모두 N1*N2개의 노드(node)들로 구성될 수 있다.
도 4에서 예를 든 그래프 위에서는 노드들을 연결하는 임의의 경로는 하나의 시간 변형 함수를 의미하게 된다. 즉, 도 4의 예시도에서 보이는 것과 같이 굵게 표시된 경로를 따라가면 임의의 제 1 동작 데이터(예를 들어, 얼굴 표정 데이터)의 프레임에 대응하는 제 2 동작 데이터(예를 들어, 몸 동작 데이터)의 프레임을 정의할 수 있게 되는 것이다.
본 발명의 일실시예에 따르면, 최적의 시간 변형 함수는 동적 프로그래밍(dynamic programming)을 이용한 그래프 상의 모든 정점 쌍의 최단경로를 구하는 문제로 귀결될 수 있다.
여기서, 그래프 상의 모든 임의의 경로가 가능한 시간 변형 함수를 의미하는 것은 아니며, 다음과 같은 두 가지 조건을 만족하여야 한다. 첫째, 경로는 (0, 0)에서 시작하여 (N1, N2)에서 끝나야 한다. 둘째, 올바른 시간의 흐름을 보장하기 위해서는 i번째 열의 행 값은 항상 i+1번째 열의 행 값보다 같거나 작아야 한다. 또한, 시간 대응의 급격한 변화를 막기 위해 인접한 두 프레임간의 대응 프레임의 최대 차이를 제한할 필요가 있다.
제어부(250)는 동작 데이터 수신부(210), 특징값 추출부(220), 정규화부(230) 및 동기화부(240)를 제어하는 역할을 수행한다. 보다 구체적으로는 동작 데이터 수신부(210)를 통해 수신된 제 1 동작 데이터 및 제 2 동작 데이터를 특징값 추출부(220)에 전달하고, 특징값 추출부(220)에서 추출한 각 동작 데이터의 특징값을 정규화부(230)에 전달하는 역할을 수행한다. 또한, 정규화부(230)로부터 수신한 정규화된 특징값을 동기화부(240)에 전달하여, 제 1 동작 데이터와 제 2 동작 데이터를 동기화하는 작업을 제어할 수 있다.
도 5는 본 발명의 일실시예에 따른 동작 데이터 동기화 방법을 설명하기 위한 순서도이다.
본 발명의 일실시예에 따르면, 우선 제 1 동작 데이터 및 제 2 동작 데이터를 수신한다(S2100).
여기서, 제 1 동작 데이터 및 제 2 동작 데이터는 동작 포착 장비를 이용하여 촬영된 영상 데이터일 수 있으며, 예를 들어 각각 얼굴 표정 데이터, 몸 동작 데이터일 수 있다.
다음으로, 제 1 동작 데이터 및 제 2 동작 데이터로부터 유사도 측정을 위한 특징값을 추출한다(S2200).
본 발명의 일실시예에 따르면, 목관절 회전 정보를 3차원 각속도 변환하여 이를 유사도 측정의 기준으로 삼을 수 있다.
다음으로, 제 1 동작 데이터의 특징값 및 상기 제 2 동작 데이터의 특징값을 정규화한다(S2300).
본 발명의 일실시예에 따르면, 제 1 동작 데이터와 제 2 동작 데이터 간에는 그 움직임의 범위 및 자유도에서 차이가 있으므로 두 동작 데이터간의 정규화를 통해 값의 범위를 맞추어 주는 과정이 필요하다. 또한, 한 모션 시퀀스(motion sequence)의 전체를 기준으로 정규화를 적용할 경우 큰 움직임의 구간과 작은 움직임의 구간 간에 서로 영향을 주어 값의 부정확성을 초래할 수 있으므로, 단위 시간별로 국부적인 정규화를 통해 매 순간 순간의 통계 수치를 기준으로 수행할 수 있다.
다음으로, 정규화된 특징값을 이용하여, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터를 서로 동기화한다(S2400).
본 발명의 일실시예에 따른 동기화 방법은 상술한바, 이하에서는 그 설명을 생략하기로 한다.
도 6은 본 발명의 일실시예에 따른 동작 데이터 동기화 방법에 있어서, 비선형 동적 시간 변형 결과를 통하여 생성된 애니메이션을 나타낸 예시도로서, 본 발명의 일실시예에 따라 생성된 애니메이션의 최종 생성 결과에 대한 스크린샷이다.
본 발명의 일실시예에서는 제 1 동작 데이터 및 제 2 동작 데이터의 특징값을 추출하기 위하여 목관절 데이터를 사용하였지만, 이는 일례일 뿐 신체의 특정 부위와 표정 데이터 간의 상관관계를 찾을 수 있다면 신체의 어느 데이터라도 특징값을 추출하기 위한 정보로 활용할 수 있다. 예를 들어, 손을 흔들면서 리듬을 맞추는 동작 등에서는 표정의 데이터와 손과의 상관 관계를 맺을 수 있을 것이다.
참고로, 본 발명의 실시예에 따른 도 3에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
본 발명의 일실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 네트워크 100: 사용자 단말
200: 동작 데이터 자동 동기화 장치
210: 동작 데이터 수신부 220: 특징값 추출부
230: 정규화부 240: 동기화부
250: 제어부

Claims (10)

  1. 복수의 동작 데이터를 동기화하는 방법에 있어서,
    (a) 대상물의 제 1 부위 및 제 2 부위에 서로 다른 배치 밀도로 배치된 다수의 센서 또는 마커를 통해 제 1 동작 데이터 및 제 2 동작 데이터를 획득하는 단계;
    (b) 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터로부터 유사도 측정을 위한, 상기 제 1 동작 데이터와 상기 제 2 동작 데이터를 서로 비교할 수 있는 특징값을 추출하는 단계;
    (c) 상기 제 1 동작 데이터의 특징값 및 상기 제 2 동작 데이터의 특징값을 정규화하는 단계; 및
    (d) 상기 정규화된 특징값을 이용하여, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터를 서로 동기화하는 단계를 포함하되,
    상기 배치 밀도는 상기 제 1 부위 및 상기 제 2 부위에 요구되는 동작 데이터의 해상도 차이에 따라 산출된 단위 면적 당 배치할 마커 또는 센서의 수로 결정되는 것이며,
    상기 제 1 동작 데이터 및 상기 제 2 동작 데이터는 대상물을 촬영한 영상 데이터이고, 서로 공통되는 부분을 포함하며,
    상기 유사도 측정을 위한 특징값은, 상기 공통되는 부분에서 추출한 데이터 값인 동작 데이터 동기화 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 대상물에는 마커가 부착되어 있고, 상기 유사도 측정을 위한 특징값은 상기 공통되는 부분에 부착된 마커에 기초하여 추출되는 것인
    동작 데이터 동기화 방법.
  4. 제 1 항에 있어서,
    상기 (b) 단계는,
    상기 제 1 동작 데이터 및 상기 제 2 동작 데이터의 공통되는 부분을 이용하여, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터의 특징값을 추출하며,
    상기 특징값은 상기 공통되는 부분의 회전 정보에 기초하여 추출된 각속도의 크기를 포함하는 것인
    동작 데이터 동기화 방법.
  5. 제 1 항에 있어서,
    상기 (c) 단계는,
    상기 제 1 동작 데이터의 특징값 및 상기 제 2 동작 데이터의 특징값을 단위 시간별로 정규화하는 것인
    동작 데이터 동기화 방법.
  6. 제 1 항에 있어서,
    상기 (d) 단계는,
    (d-1) 상기 제 1 동작 데이터의 특징값에 시간 변형 함수를 적용하여 상기 제 1 동작 데이터의 시간 축을 변형하는 단계; 및
    (d-2) 상기 시간축이 변형된 제 1 동작 데이터의 특징값 및 상기 제 2 동작 데이터의 특징값을 이용하여, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터를 서로 동기화하는 단계를 포함하는
    동작 데이터 동기화 방법.
  7. 복수의 동작 데이터를 동기화하는 장치에 있어서,
    대상물의 제 1 부위 및 제 2 부위에 서로 다른 배치 밀도로 배치된 다수의 센서 또는 마커를 통해 제 1 동작 데이터 및 제 2 동작 데이터를 획득하는 동작 데이터 수신부;
    상기 제 1 동작 데이터 및 상기 제 2 동작 데이터로부터 유사도 측정을 위한, 상기 제 1 동작 데이터와 상기 제 2 동작 데이터를 서로 비교할 수 있는 특징값을 추출하는 특징값 추출부;
    상기 제 1 동작 데이터의 특징값 및 상기 제 2 동작 데이터의 특징값을 정규화하는 정규화부; 및
    상기 정규화된 특징값을 이용하여, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터를 서로 동기화하는 동기화부를 포함하되,
    상기 배치 밀도는 상기 제 1 부위 및 상기 제 2 부위에 요구되는 동작 데이터의 해상도 차이에 따라 산출된 단위 면적 당 배치할 마커 또는 센서의 수로 결정되는 것이며,
    상기 제 1 동작 데이터 및 상기 제 2 동작 데이터는 대상물을 촬영한 영상 데이터이고, 서로 공통되는 부분을 포함하며,
    상기 유사도 측정을 위한 특징값은, 상기 공통되는 부분에서 추출한 데이터 값인 것인 동작 데이터 동기화 장치.
  8. 제 7 항에 있어서,
    상기 유사도 측정을 위한 특징값은 상기 공통되는 부분의 회전 정보에 기초하여 추출된 각속도의 크기를 포함하는 것인
    동작 데이터 동기화 장치.
  9. 제 7 항에 있어서,
    상기 정규화부는,
    상기 제 1 동작 데이터의 특징값 및 상기 제 2 동작 데이터의 특징값을 단위 시간별로 정규화하는 것인
    동작 데이터 동기화 장치.
  10. 제 7 항에 있어서,
    상기 동기화부는,
    상기 제 1 동작 데이터의 특징값에 시간 변형 함수를 적용하여 상기 제 1 동작 데이터의 시간 축을 변형하고, 상기 시간축이 변형된 제 1 동작 데이터의 특징값 및 상기 제 2 동작 데이터의 특징값을 이용하여, 상기 제 1 동작 데이터 및 상기 제 2 동작 데이터를 서로 동기화하는 것인
    동작 데이터 동기화 장치.
KR1020110061174A 2011-06-23 2011-06-23 동작 데이터의 동기화 방법 및 장치 KR101243771B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110061174A KR101243771B1 (ko) 2011-06-23 2011-06-23 동작 데이터의 동기화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110061174A KR101243771B1 (ko) 2011-06-23 2011-06-23 동작 데이터의 동기화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130002367A KR20130002367A (ko) 2013-01-08
KR101243771B1 true KR101243771B1 (ko) 2013-03-14

Family

ID=47835001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110061174A KR101243771B1 (ko) 2011-06-23 2011-06-23 동작 데이터의 동기화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101243771B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040055503A (ko) * 2002-12-21 2004-06-26 한국전자통신연구원 3차원 몸동작을 이용한 모션 데이터베이스 검색방법
KR20100104228A (ko) * 2009-03-17 2010-09-29 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040055503A (ko) * 2002-12-21 2004-06-26 한국전자통신연구원 3차원 몸동작을 이용한 모션 데이터베이스 검색방법
KR20100104228A (ko) * 2009-03-17 2010-09-29 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법

Also Published As

Publication number Publication date
KR20130002367A (ko) 2013-01-08

Similar Documents

Publication Publication Date Title
Shiratori et al. Motion capture from body-mounted cameras
WO2019219012A1 (zh) 联合刚性运动和非刚性形变的三维重建方法及装置
Vo et al. Spatiotemporal bundle adjustment for dynamic 3d reconstruction
KR102097016B1 (ko) 동작 분석 장치 및 방법
CN103608847B (zh) 一种用于图像模型构建的方法和装置
KR20170019779A (ko) 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN109145788A (zh) 基于视频的姿态数据捕捉方法和系统
Chen et al. Accurate and robust 3d facial capture using a single rgbd camera
KR20150113751A (ko) 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
US8724849B2 (en) Information processing device, information processing method, program, and information storage medium
CN105931283B (zh) 一种基于动作捕捉大数据的三维数字内容智能制作云平台
JPWO2007010893A1 (ja) 関節物体位置姿勢推定装置及びその方法ならびにプログラム
US20120194513A1 (en) Image processing apparatus and method with three-dimensional model creation capability, and recording medium
Xu et al. Dynamic hair capture using spacetime optimization
US20220067967A1 (en) Methods and Systems for Intra-Capture Camera Calibration
KR101995411B1 (ko) 신체 모델 생성 장치 및 방법
Gordon et al. Flex: Extrinsic parameters-free multi-view 3d human motion reconstruction
Dzelzkalēja et al. Mobile apps for 3D face scanning
CN114373044A (zh) 生成脸部三维模型的方法、装置、计算设备和存储介质
US20230419583A1 (en) Methods and systems for markerless facial motion capture
KR102270949B1 (ko) 3차원 인간 모델 복원 장치 및 방법
KR101243771B1 (ko) 동작 데이터의 동기화 방법 및 장치
WO2019156241A1 (ja) 学習装置、推定装置、学習方法、推定方法及びコンピュータプログラム
Woodward et al. A low cost framework for real-time marker based 3-D human expression modeling

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170209

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee