KR20080051062A

KR20080051062A - 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치와 그방법

Info

Publication number: KR20080051062A
Application number: KR1020070122822A
Authority: KR
Inventors: 김수환; 박민제; 정일권; 이인호
Original assignee: 한국전자통신연구원
Priority date: 2006-12-04
Filing date: 2007-11-29
Publication date: 2008-06-10
Also published as: KR100920056B1

Abstract

본 발명은 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치와 그 방법에 관한 것으로, 센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 실존 혹은 상상의 조립식 다관절체의 각 관절의 움직임에 대응하는 모션 캡쳐를 위해 포즈 데이터 혹은 모션 데이터를 각 관절에 장착된 센서를 통해 생성하고, 이렇게 생성된 조립식 다관절체의 동작을 컴퓨터의 디스플레이부를 통해 보여줄 뿐만 아니라 조립식 다관절체의 각 관절에 달려있는 모터를 통해서 재현해봄으로써 동작의 자연스러움의 정도를 확인하고 바로 편집할 수 있다. 본 발명에 의하면, 저가의 조립식 키트를 이용하여 다양한 구조의 다관절체의 포즈 데이터 및 모션 데이터를 캡쳐하여 편집할 수 있으며, 특히 기존의 모션 캡쳐 방식을 적용하기 어려운 대상인 동물이나 다양한 상상 속 생명체의 조립식 다관절체를 제작하여 용이하게 포즈 데이터 및 모션 데이터를 획득할 수 있을 뿐만 아니라, 필요할 때마다 다관절체를 분해하고 조립하여 쉽고 빠르게 또 다른 모션 데이터를 획득할 수 있는 장점이 있다.

조립식 다관절체, 더미 블록, 모션 캡쳐, 모션 데이터, 포즈 데이터

Description

조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치와 그 방법{APPARATUS FOR CAPTURING AND EDITING MOTION DATA BY CONSTRUCTING ARTICULATED FIGURES AND METHOD THEREOF}

본 발명은 3D 다관절체 애니메이션에 관한 것이며, 더욱 상세히는 기존의 모션 캡쳐 방식의 단점을 보완하여 사용자가 인터액티브하게 다관절체의 포즈 데이터 혹은 모션 데이터를 획득 및 편집할 수 있는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치와 그 방법에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-003-02, 과제명: 실사 수준의 디지털 영상 콘텐츠 제작 소프트웨어 개발].

3D 다관절체 애니메이션은 기본적으로 매 프레임마다 각 관절의 위치 및 각도를 마우스와 키보드를 사용하여 입력하는 키프레이밍 방법을 사용해 왔다.

그러나 이러한 전통적인 애니메이션 방법은 고난위도의 기술을 필요로 할 뿐만 아니라 너무 많은 시간이 걸린다는 단점이 있다.

이에, 더욱 자연스럽고 효율적인 3D 애니메이션 생성을 위해 연기자의 동작 을 직접 획득하는 모션 캡쳐 방식이 제안되었으며, 이러한 모션 캡쳐 방식은 크게 기계식, 자기식, 광학식으로 나뉜다.

상기 기계식 모션 캡쳐 방식은 장비의 가격이 상대적으로 저렴하고 초기 설치가 비교적 간편하며 빛, 금속체, 자성체 등 주변 환경의 영향을 받지 않는다는 장점이 있으나, 모션 캡쳐를 위한 장치를 착용한 연기자의 동작이 자연스럽지 못하다는 단점이 있다.

상기 자기식 모션 캡쳐 방식은 적은 숫자의 센서로 모션 캡쳐가 가능하지만 금속 물체나 다른 자성에 영향을 줄 수 있는 자기장 등 외부적인 영향에 민감하다는 단점이 있다.

상기 광학식 모션 캡쳐 방식은 가장 일반적으로 많이 사용되고 있으며, 어느 사물에도 센서 부착이 가능하므로 대상이 다양하고 동작에 제약이 없다는 장점이 있지만, 장비 자체가 고가이고 자외선과 빛에 민감하며, 적외선 카메라의 초기 설치가 어렵다는 단점이 있다.

또한, 이러한 종래의 모션 캡쳐 방식은 기본적으로 연기자의 동작을 획득하는 과정 이외에 획득된 모션 데이터의 노이즈를 제거하고 다관절체의 구조에 맞게 가공하는 후처리 과정이 매우 길고 복잡한 것으로 알려져 있다.

본 발명은 상기한 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 실존 혹은 상상의 조립식 다관절체의 각 관절의 움직임에 대응하는 모션 캡쳐를 위해 포즈 데이터 혹은 모션 데이터를 각 관절에 장착된 센서를 통해 생성하고, 이렇게 생성된 조립식 다관절체의 동작을 컴퓨터의 디스플레이부를 통해 보여줄 뿐만 아니라 조립식 다관절체의 각 관절에 달려있는 모터를 통해서 재현해봄으로써 동작의 자연스러움의 정도를 확인하고 바로 편집할 수 있는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치와 그 방법을 제공하는 것이다.

상기와 같은 본 발명의 목적을 달성하기 위하여 본 발명에 따른 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치는, 센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 조립식 다관절체와; 상기 조립식 다관절체의 각 관절에 장착된 센서로부터 상기 조립식 다관절체의 자세 혹은 동작을 모션 캡쳐하고 편집하기 위한 포즈 데이터 혹은 모션 데이터를 획득하고, 상기 각 관절에 장착된 모터를 구동하여 모션 캡쳐하고 편집된 상기 조립식 다관절체의 자세 혹은 동작을 재현하는 콘트롤 박스; 및 상기 콘트롤 박스에 의해 획득한 조립식 다관절체의 포즈 데이터 혹은 모션 데이터를 디스플레이부를 통해 보여주면서 블렌딩이나 보간 방법을 이용하여 수정하여 최종적으로 원하는 조립식 다관절체의 자세 혹은 동작을 생성하고, 상기 각 관절에 장착된 모터의 구동을 제어하는 컴퓨터;로 구성된다.

상기와 같은 본 발명의 목적을 달성하기 위하여 본 발명에 따른 조립식 다관절체를 이용한 모션 캡쳐 및 편집 방법은, 센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 조립식 다관절체의 기본 자세를 설정하는 단계와; 상기 조립식 다관절체의 각 관절의 움직임에 대응하는 포즈 데이터를 획득하는 단계; 상기 조립식 다관절체의 각 관절의 움직임에 대응하는 모션 데이터를 획득하는 단계; 상기 포즈 데이터 혹은 모션 데이터를 블렌딩이나 보간 방법을 이용하여 컴퓨터에서 일차적으로 수정하는 단계; 일차적으로 완성된 포즈 데이터 혹은 모션 데이터를 상기 조립식 다관절체의 각 관절에 부착된 모터를 이용하여 재현하는 단계; 및 상기 조립식 다관절체의 재현된 자세 혹은 동작을 대하여 수정하고 싶은 관절에 부착된 센서로부터 수정된 포즈 데이터 혹은 모션 데이터를 획득하여 자세 혹은 동작을 편집하여 최종적으로 원하는 조립식 다관절체의 자세 혹은 동작을 생성하는 단계;로 이루어지는 것을 특징으로 한다.

상술한 바와 같은 본 발명에 따른 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치와 그 방법에 의하면, 저가의 조립식 키트를 이용하여 다양한 구조의 다관절체의 포즈 데이터 및 모션 데이터를 캡쳐하여 편집할 수 있으며, 특히 기존의 모션 캡쳐 방식을 적용하기 어려운 대상인 동물이나 다양한 상상 속 생명체의 조립식 다관절체를 제작하여 용이하게 포즈 데이터 및 모션 데이터를 획득할 수 있을 뿐만 아니라, 필요할 때마다 다관절체를 분해하고 조립하여 쉽고 빠르게 또 다른 모션 데이터를 획득할 수 있는 장점이 있다.

이하, 본 발명의 실시예를 첨부한 도면을 참조하여 더욱 상세하게 설명한다.

도 1과 도 2를 참조하면, 본 발명에 따른 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치는 조립식 다관절체(10)와 콘트롤 박스(20), 및 디스플레이부(31)를 포함하는 컴퓨터(30)로 구성된다.

상기 조립식 다관절체(10)는 센서와 모터를 구비한 더미 블록(11a,11b)을 포함하는 조립식 키트(11)를 이용하여 조립하여 제작한다.

상기 조립식 키트(11)는 여러 관절로 이루어진 사물, 사람, 손, 동물, 심지어 상상 속의 생명체 등과 같이 실존 혹은 상상의 조립식 다관절체(10)를 다양한 크기와 구조로 형성할 수 있는 뼈대나 몸체용 더미 블록(11a)과, 뼈대와 뼈대용 더미 블록(11a)을 서로 연결하거나 몸체와 뼈대용 더미 블록(11a)을 서로 연결하는 관절용 더미 블록(11b)을 포함한다.

상기 관절용 더미 블록(11b)은 조립 제작되는 다관절체(10)의 각 관절의 움직임에 대응하는 포즈 데이터 혹은 모션 데이터 획득을 위한 회전각을 측정할 수 있는 센서와 하기의 컴퓨터(30)의 구동 제어 신호를 받아 각 관절을 회전시켜 상기 다관절체(10)의 특정 자세 혹은 동작을 재현하기 위한 모터를 구비하고 있다.

상기 더미 블록(11a,11b)은 다양한 형태의 구조를 만들 수 있도록 다양한 크기로 구성되며, 여러 개의 블록을 하나로 연결할 수 있는 허브도 다양한 형태로 형 성되어 있다.

상기 콘트롤 박스(20)는 상기 조립식 다관절체(10)의 각 관절에 장착된 센서로부터 상기 조립식 다관절체(10)의 자세 혹은 동작을 모션 캡쳐하고 편집하기 위한 포즈 데이터 혹은 모션 데이터를 획득하고, 상기 각 관절에 장착된 모터를 구동하여 모션 캡쳐하고 편집된 상기 조립식 다관절체(10)의 자세 혹은 동작을 재현한다.

상기 콘트롤 박스(20)는 상기 조립식 다관절체(10)의 각 관절에 부착된 센서에 연결되는 입력 단자와, 각 관절에 부착된 모터에 연결되는 출력 단자를 구비하며, 하기의 컴퓨터(30)의 시리얼 포트를 통해 컴퓨터(30)와 통신한다.

상기 콘트롤 박스(20)는 '기본 포즈 캡쳐 기능', '포즈 캡쳐 기능', '모션 캡쳐 기능', '모션 플레이 기능' 등을 수행하여 상기한 포즈 데이터 혹은 모션 데이터를 획득하거나 혹은 모션 캡쳐하고 편집된 상기 조립식 다관절체(10)의 자세 혹은 동작을 재현하며, 각 기능을 선택할 수 있는 조작 버튼을 구비한다.

상기 컴퓨터(30)는 상기 콘트롤 박스(20)에 의해 획득한 조립식 다관절체(10)의 포즈 데이터 혹은 모션 데이터를 디스플레이부(31)를 통해 보여주면서 블렌딩이나 보간 방법을 이용하여 수정하여 최종적으로 원하는 조립식 다관절체(10)의 자세 혹은 동작을 생성하고, 상기 각 관절에 장착된 모터의 구동을 제어한다.

상기와 같이 구성되는 본 발명에 따른 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치는 도 3에 나타낸 방법에 의해 다음과 같이 작동한다.

도 3을 참조하면, 가장 먼저 센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 조립식 다관절체(10)의 기본 자세를 설정한다(S10).

이때, 상기 기본 자세는 모든 관절을 구부리지 않고 완전히 편 자세로 정한다. 상기 다관절체(10)의 기본 자세를 정하기 위해서 먼저, 조립한 다관절체(10)와 똑같은 가상의 다관절체를 상기 컴퓨터(30)를 통해 생성한 다음. 상기 가상의 다관절체와 조립한 다관절체(10)를 앞에서 정한 기본 자세로 교정하고, 상기 콘트롤 박스(20)의 모든 입력단자를 'on'으로 셋팅하면 기본 자세를 정하기 위한 모든 준비는 끝난다. 이어서, 상기 콘트롤 박스(20)에 있는 '기본 포즈 캡쳐' 버튼이 선택되면, 상기 콘트롤 박스(20)는 각 관절에 부착된 센서로부터 현재 회전각을 입력받아 저장하고, 이후부터는 상기 다관절체(10)의 포즈와 모션은 각 관절에 부착된 회전각 센서로부터 기본 자세의 회전각에 대해서 상대적으로 얼마나 회전했는지를 읽어 들여 처리하게 된다.

상기와 같이 기본 자세를 설정하고 나면, 상기 조립식 다관절체의 각 관절의 움직임에 대응하는 포즈 데이터 혹은 모션 데이터를 획득하며(S12), 상기 다관절체(10)의 포즈 데이터 혹은 모션 데이터를 획득하는 과정은 상기 다관절체(10)의 기본 자세를 설정하는 경우와 비슷하다.

이때, 상기 콘트롤 박스(20)는 상기 다관절체(10)의 각 관절이 원하는 자세로 굽혀지거나 펴진 상태에서 모든 입력단자를 'on'으로 셋팅하고, '포즈 캡쳐' 버튼이 선택되면, 각 관절에 부착된 센서로부터 상기 기본 자세로부터 변화된 상대적인 회전각을 입력받아 이 회전각을 포즈 데이터로 획득하여 상기 컴퓨터(30)로 전달하며, 이에 따라서 상기 컴퓨터(30)는 입력된 포즈 데이터를 디스플레이부(31)에 표시하게 된다.

상기 다관절체(10)의 모션 데이터를 획득하는 경우, 상기 콘트롤 박스(20)는 모든 입력단자를 'on'으로 셋팅하고, '모션 캡쳐' 버튼이 선택된 상태에서 상기 다관절체(10)이 사용자에 의해 원하는 동작으로 움직여질 때, 각 관절에 부착되어 있는 센서로부터 미리 설정된 시간 간격에 맞추어 각 관절의 상대 회전각을 측정하여 모션 데이터로 기록한 다음, '모션 캡쳐' 버튼이 다시 선택되면 모션 캡쳐 작업을 종료한 후, 획득된 모션 데이터를 상기 컴퓨터(30)로 전달하며, 이에 따라서 상기 컴퓨터(30)는 입력된 모션 데이터를 디스플레이부(31)에 반복적으로 표시하게 된다.

또한, 상기 다관절체(10)의 모션 데이터를 획득하기 위하여 프레임별로 상기한 바와 같이 포즈 데이터를 획득한 경우에는 상기 디스플레이부(31)를 통해 프레임별 포즈 데이터를 확인하면서 연속적인 모션 데이터를 얻는다.

상기와 같이 포즈 데이터 혹은 모션 데이터가 획득되고 난 후, 수정 작업이 필요하면(S14), 상기 포즈 데이터 혹은 모션 데이터를 블렌딩이나 보간 방법을 이 용하여 상기 컴퓨터(30)에서 일차적으로 수정하며(S16), 이에 따라서 부드럽고 연속적인 모션 데이터를 얻는다.

이와 같이 수정 작업 후 일차적으로 포즈 데이터 혹은 모션 데이터가 완성되거나, 상기와 같이 포즈 데이터 혹은 모션 데이터가 획득되고 난 후 수정 작업이 필요하지 않으면, 다음으로 이 포즈 데이터 혹은 모션 데이터를 상기 조립식 다관절체(10)의 각 관절에 부착된 모터를 이용하여 재현한다(S18).

원하는 최종 완성 데이터가 포즈 데이터인 경우는 모션 데이터인 경우를 참조하면 되므로 이하에서는 최종 완성 데이터가 모션 데이터인 경우에 대해서만 재현 과정을 구체적으로 설명하기로 한다.

상기 콘트롤 박스(20)는 모든 출력단자를 'on'으로 셋팅하고, '모션 플레이' 버튼이 선택되면, 상기 컴퓨터(30) 상에서 일차적으로 완성된 모션 데이터대로 상기 콘트롤 박스(20)를 통해 각 모터에 제어 신호를 보내 동작을 반복적으로 재현한다. 이때, 사용자는 이 결과를 보고 동작의 자연스러움을 확인할 수 있을 뿐 아니라 마음에 들지 않을 경우 바로 수정할 수 있다.

끝으로, 상기한 바와 같이 포즈 데이터 혹은 모션 데이터가 재현되고 난 후, 해당 데이터의 편집이 필요한 경우(S20)에는, 상기 조립식 다관절체(10)의 재현된 자세 혹은 동작을 대하여 수정하고 싶은 관절에 부착된 센서로부터 수정된 포즈 데이터 혹은 모션 데이터를 획득하여 자세 혹은 동작을 편집하여 최종적으로 원하는 조립식 다관절체(10)의 자세 혹은 동작을 생성한다(S22).

원하는 최종 완성 데이터가 포즈 데이터인 경우는 모션 데이터인 경우를 참조하면 되므로 이하에서는 최종 완성 데이터가 모션 데이터인 경우에 대해서만 편집 과정을 구체적으로 설명하기로 한다.

상기 콘트롤 박스(20)는 편집을 원하는 관절의 입력단자를 'on'으로 셋팅하고, 편집을 원하지 않는 관절의 출력단자를 'on'으로 셋팅한다. 그리고 '모션 캡쳐' 버튼과 '모션 플레이' 버튼을 함께 누르면 편집을 원하지 않는 관절은 일차적으로 완성된 모션을 재현하게 된다. 이때, 사용자에 의해 편집을 원하는 관절이 움직여지면 정해진 시간 간격으로 다시 모션 데이터를 입력받아 수정하게 되고, 이에 따라서 최종적으로 원하는 조립식 다관절체(10)의 동작이 생성된다.

이상에서 설명한 본 발명에 따른 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치와 그 방법은 상기한 실시예에 따른 서비스에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양하게 변경하여 실시할 수 있는 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

도 1은 본 발명에 따른 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치의 구성도.

도 2는 도 1의 조립식 다관절체를 제작하기 위해 사용되는 다양한 크기와 구조의 더미 블록을 포함하는 조립식 키트를 나타낸 실시예.

도 3은 본 발명에 따른 조립식 다관절체를 이용한 모션 캡쳐 및 편집 방법을 나타낸 플로차트.

<도면의 주요 부분에 대한 부호의 설명>

10: 조립식 다관절체 11: 조립식 키트

11a,11b: 더미 블록 20: 콘트롤 박스

30: 컴퓨터 31: 디스플레이부

Claims

센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 조립식 다관절체와;

상기 조립식 다관절체의 각 관절에 장착된 센서로부터 상기 조립식 다관절체의 자세 혹은 동작을 모션 캡쳐하고 편집하기 위한 포즈 데이터 혹은 모션 데이터를 획득하고, 상기 각 관절에 장착된 모터를 구동하여 모션 캡쳐하고 편집된 상기 조립식 다관절체의 자세 혹은 동작을 재현하는 콘트롤 박스; 및

상기 콘트롤 박스에 의해 획득한 조립식 다관절체의 포즈 데이터 혹은 모션 데이터를 디스플레이부를 통해 보여주면서 블렌딩이나 보간 방법을 이용하여 수정하여 최종적으로 원하는 조립식 다관절체의 자세 혹은 동작을 생성하고, 상기 각 관절에 장착된 모터의 구동을 제어하는 컴퓨터;

로 구성되는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치.
제 1 항에 있어서, 상기 콘트롤 박스는 상기 조립식 다관절체의 각 관절에 부착된 센서에 연결되는 입력 단자와, 각 관절에 부착된 모터에 연결되는 출력 단자를 구비하며, 상기 컴퓨터의 시리얼 포트를 통해 컴퓨터와 통신하는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치.
제 1 항에 있어서, 상기 콘트롤 박스는 '기본 포즈 캡쳐 기능', '포즈 캡쳐 기능', '모션 캡쳐 기능', '모션 플레이 기능'을 수행하여 상기한 포즈 데이터 혹은 모션 데이터를 획득하거나 혹은 모션 캡쳐하고 편집된 상기 조립식 다관절체의 자세 혹은 동작을 재현하며, 각 기능을 선택할 수 있는 조작 버튼을 구비하는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치.
센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 조립식 다관절체의 기본 자세를 설정하는 단계와;

상기 조립식 다관절체의 각 관절의 움직임에 대응하는 포즈 데이터 혹은 모션 데이터를 획득하는 단계; 및

획득된 포즈 데이터 혹은 모션 데이터를 상기 조립식 다관절체의 각 관절에 부착된 모터를 이용하여 재현한 후, 최종적으로 원하는 조립식 다관절체의 자세 혹은 동작을 생성하는 단계;

로 이루어지는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 방법.
제 4 항에 있어서, 상기 조립식 다관절체의 각 관절의 움직임에 대응하는 포즈 데이터 혹은 모션 데이터를 획득하고 난 후, 필요한 경우 상기 포즈 데이터 혹은 모션 데이터를 블렌딩이나 보간 방법을 이용하여 컴퓨터에서 일차적으로 수정한 다음, 일차적으로 완성된 포즈 데이터 혹은 모션 데이터를 상기 조립식 다관절체의 각 관절에 부착된 모터를 이용하여 재현하는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 방법.
제 4 항에 있어서, 상기 일차적으로 완성된 포즈 데이터 혹은 모션 데이터를 상기 조립식 다관절체의 각 관절에 부착된 모터를 이용하여 재현하고 난 후, 편집이 필요한 경우 상기 조립식 다관절체의 재현된 자세 혹은 동작을 대하여 수정하고 싶은 관절에 부착된 센서로부터 수정된 포즈 데이터 혹은 모션 데이터를 획득하여 자세 혹은 동작을 편집하여 최종적으로 원하는 조립식 다관절체의 자세 혹은 동작을 생성하는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 방법.