KR101687484B1 - 이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템 - Google Patents
이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템 Download PDFInfo
- Publication number
- KR101687484B1 KR101687484B1 KR1020150063647A KR20150063647A KR101687484B1 KR 101687484 B1 KR101687484 B1 KR 101687484B1 KR 1020150063647 A KR1020150063647 A KR 1020150063647A KR 20150063647 A KR20150063647 A KR 20150063647A KR 101687484 B1 KR101687484 B1 KR 101687484B1
- Authority
- KR
- South Korea
- Prior art keywords
- space
- motion
- humanoid
- boundary
- mesh
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 일 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 시스템은, 제 1 공간에서의 제 1 물체의 표면과 제 2 공간에서의 제 2 물체의 표면 간의 대응점을 계산하는 표면 대응점 계산부; 상기 제 1 공간의 모션 공간 경계에 대응하는 상기 제 2 공간의 모션 공간 경계를 계산하는 모션 공간 외부 경계면 계산부; 상기 제 1 공간의 특정 위치가 상기 제 2 공간의 특정 위치와 대응 관계를 갖도록 공간 대응맵을 생성하는 공간 대응맵 생성부; 및 상기 제 1 공간에서의 인간형 객체의 모션을 상기 제 2 공간으로 리타게팅(retargeting)하여 상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 동작 생성부를 포함한다.
본 발명에 따른 이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템은, 이형 공간이 주어지는 경우 각 공간에서 모션의 목표가 되는 물체를 중심으로 한 공간 유사 정보를 계산 기하로 풀어 내어 공간 대응맵을 구성하고, 공간 대응맵을 이용한 모션을 서로 다른 공간에 적용 및 변형하여 기존 모션이 공간에서 갖는 특징을 이형 공간의 변형된 모션에서도 반영하는 효과를 구현할 수 있다.
본 발명에 따른 이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템은, 이형 공간이 주어지는 경우 각 공간에서 모션의 목표가 되는 물체를 중심으로 한 공간 유사 정보를 계산 기하로 풀어 내어 공간 대응맵을 구성하고, 공간 대응맵을 이용한 모션을 서로 다른 공간에 적용 및 변형하여 기존 모션이 공간에서 갖는 특징을 이형 공간의 변형된 모션에서도 반영하는 효과를 구현할 수 있다.
Description
본 발명은 이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템에 관한 것으로, 보다 상세하게는 이형 공간간 인간형 객체의 모션 리타게팅 효과를 구현함에 있어서, 이형 공간간의 기하 정보를 이용한 공간 대응맵에 관한 정보를 고려하여 공간 유사성을 바탕으로 모션을 리타게팅할 수 있는 방법 및 시스템에 관한 것이다.
본 발명에 관한 종래 기술로서의 선행 특허 문헌은 다음과 같다.
[1] Determine intended motions (US 8451278 B2)
[2] Systems and methods for applying animations or motions to a character (US 2010/0302257 A1)
선행문헌[1]에서는 카메라와 같은 캡처 장비로 얻은 모션 데이터를 목표 아바타에 적용시키기 위한 기술로 상이한 캐릭터 사이즈로의 모션 변형을 목적으로 하는 기술을 개시하고 있다. 선행문헌[2]에서는 실시간으로 캡처한 모션과 기 저장된 모션 데이터를 같이 가상의 아바타 모션 생성에 사용하는 방법에 관한 기술을 개시하고 있다.
상기 선행문헌에서 개시하고 있는 종래 기술에 의한 인간형 객체의 모션 리타게팅 기술은 상이한 모델 사이즈로의 적용가능한 리타게팅 기술을 주요 목적으로 하고 있으나, 이는 주변 공간의 정보를 고려하지 않고 기존 모션이 공간에서 갖는 의미와 특징이 리타게팅된 목표 공간에서 반영되지 않는 문제가 있다.
또한, 상기 선행문헌에서 개시하고 있는 종래 기술은 모션 변형을 위해 아바타의 캐릭터 모델만을 기준으로 하고 있어, 이형의 아바타 객체간 모션 변형과 목표 공간에 적합한 모션으로의 변형이 어려운 문제가 있다.
전술한 문제점을 해결하기 위한 본 발명은, 이형 공간이 주어지는 경우 각 공간에서 모션의 목표가 되는 물체를 중심으로 한 공간 유사 정보를 계산 기하학적으로 풀어 내어 공간 대응맵을 구성하고, 공간 대응맵을 이용한 모션을 서로 다른 공간에 적용 및 변형하여 기존 모션이 공간에서 갖는 특징을 이형 공간의 변형된 모션에서도 반영하는 효과를 구현할 수 있는 이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 시스템은, 제 1 공간에서의 제 1 물체의 표면과 제 2 공간에서의 제 2 물체의 표면 간의 대응점을 계산하는 표면 대응점 계산부; 상기 제 1 공간의 모션 공간 경계에 대응하는 상기 제 2 공간의 모션 공간 경계를 계산하는 모션 공간 외부 경계면 계산부; 상기 제 1 공간의 특정 위치가 상기 제 2 공간의 특정 위치와 대응 관계를 갖도록 공간 대응맵을 생성하는 공간 대응맵 생성부; 및 상기 제 1 공간에서의 인간형 객체의 모션을 상기 제 2 공간으로 리타게팅(retargeting)하여 상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 동작 생성부를 포함한다.
상기 표면 대응점 계산부는, 상기 제 1 물체 및 상기 제 2 물체의 표면의 포인트 클라우드 데이터 (point cloud data) 또는 메쉬 데이터 (mesh data) 로부터, 상기 제 1 물체의 표면 상의 임의의 점에 대응하는 상기 제 2 물체의 표면 상의 대응점의 위치를 계산할 수 있다.
상기 모션 공간 외부 경계면 계산부는, 상기 제 1 물체 및 상기 제 2 물체의 표면의 포인트 클라우드 데이터 (point cloud data) 또는 메쉬 데이터 (mesh data) 로부터, 상기 제 1 물체 및 상기 제 2 물체를 포함하는 상기 제 1 공간 및 상기 제 2 공간 각각에서의 모션 공간 외부 경계면 메쉬를 계산할 수 있으며, 상기 모션 공간 외부 경계면 메쉬의 크기는 바운딩 박스 (bounding box) 를 기준으로 결정되고, 상기 제 1 공간과 상기 제 2 공간에서의 모션 공간 외부 경계면 메쉬는 버텍스(vertex)의 수와 연결성(connectivity)이 동일할 수도 있다.
상기 공간 대응맵 생성부는, 상기 제 1 공간의 모션 공간 경계와 상기 제 1 물체, 상기 제 2 공간의 모션 공간 경계와 상기 제 2 물체, 및 상기 제 1 물체와 상기 제 2 물체의 대응점 목록으로부터, 상기 제 1 공간과 상기 제 2 공간의 공간 대응맵을 생성할 수 있다. 또한, 상기 공간 대응맵 생성부는, 상기 제 1 공간의 모션 공간 경계와 상기 제 1 물체의 표면 사이의 모션이 수행되는 빈 공간을 채우는 볼륨 메쉬(volumetric mesh)를 생성하고, 상기 제 1 공간의 모션 공간 경계 및 상기 제 1 물체의 표면의 버텍스(vertex)가 상기 제 2 공간의 대응점에 대응되도록 상기 제 1 공간의 볼륨 메쉬를 상기 제 2 공간에 맞추어 변형할 수도 있다.
상기 동작 생성부는, 상기 제 1 공간과 상기 제 2 공간의 공간 대응맵 및 상기 제 1 공간에서의 인간형 객체의 모션으로부터, 상기 제 2 공간에서의 인간형 객체의 모션을 생성할 수 있다. 또한, 상기 동작 생성부는, 상기 제 1 공간에서의 인간형 객체의 각 관절의 3차원 위치값을 결정하고, 상기 각 관절의 3차원 위치값을 상기 제 1 공간의 볼륨 메쉬(volumetric mesh)에 대한 무게중심 좌표(barycentric coordinate)로 변환하고, 상기 공간 대응맵에 의해 상기 제 1 공간의 볼륨 메쉬로부터 상기 제 2 공간의 볼륨 메쉬에 대한 무게중심 좌표를 결정하고, 상기 제 2 공간의 볼륨 메쉬에 대한 무게중심 좌표에 기초하여, 상기 제 1 공간에서의 인간형 객체의 각 관절의 3차원 위치값에 대응하는 상기 제 2 공간에서의 3차원 위치값을 매 영상 프레임마다 계산하고, 상기 매 영상 프레임마다 계산된 상기 제 2 공간에서의 3차원 위치값에 기초하여 상기 제 2 공간에서의 각 관절의 경로를 결정함으로써, 상기 제 2 공간에서의 인간형 객체의 포즈(pose)를 결정할 수도 있다.
본 발명의 일 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 방법은, 제 1 공간에서의 제 1 물체의 표면과 제 2 공간에서의 제 2 물체의 표면 간의 대응점을 계산하는 단계; 상기 제 1 공간의 모션 공간 경계에 대응하는 상기 제 2 공간의 모션 공간 경계를 계산하는 단계; 상기 제 1 공간의 특정 위치가 상기 제 2 공간의 특정 위치와 대응 관계를 갖도록 공간 대응맵을 생성하는 단계; 및 상기 제 1 공간에서의 인간형 객체의 모션을 상기 제 2 공간으로 리타게팅(retargeting)하여 상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 단계를 포함한다.
상기 제 1 공간에서의 제 1 물체의 표면과 제 2 공간에서의 제 2 물체의 표면 간의 대응점을 계산하는 단계는, 상기 제 1 물체 및 상기 제 2 물체의 표면의 포인트 클라우드 데이터 (point cloud data) 또는 메쉬 데이터 (mesh data) 로부터, 상기 제 1 물체의 표면 상의 임의의 점에 대응하는 상기 제 2 물체의 표면 상의 대응점의 위치를 계산할 수도 있다.
상기 제 1 공간의 모션 공간 경계에 대응하는 상기 제 2 공간의 모션 공간 경계를 계산하는 단계는, 상기 제 1 물체 및 상기 제 2 물체의 표면의 포인트 클라우드 데이터 (point cloud data) 또는 메쉬 데이터 (mesh data) 로부터, 상기 제 1 물체 및 상기 제 2 물체를 포함할 수 있으며, 상기 모션 공간 외부 경계면 메쉬의 크기는 바운딩 박스 (bounding box) 를 기준으로 결정되고, 상기 제 1 공간과 상기 제 2 공간에서의 모션 공간 외부 경계면 메쉬는 버텍스(vertex)의 수와 연결성(connectivity)이 동일할 수도 있다.
상기 공간 대응맵을 생성하는 단계는, 상기 제 1 공간의 모션 공간 경계와 상기 제 1 물체, 상기 제 2 공간의 모션 공간 경계와 상기 제 2 물체, 및 상기 제 1 물체와 상기 제 2 물체의 대응점 목록으로부터, 상기 제 1 공간과 상기 제 2 공간의 공간 대응맵을 생성할 수 있다. 또한, 상기 공간 대응맵을 생성하는 단계는, 상기 제 1 공간의 모션 공간 경계와 상기 제 1 물체의 표면 사이의 모션이 수행되는 빈 공간을 채우는 볼륨 메쉬(volumetric mesh)를 생성하는 단계; 및 상기 제 1 공간의 모션 공간 경계 및 상기 제 1 물체의 표면의 버텍스(vertex)가 상기 제 2 공간의 대응점에 대응되도록 상기 제 1 공간의 볼륨 메쉬를 상기 제 2 공간에 맞추어 변형하는 단계를 포함할 수도 있다.
상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 단계는, 상기 제 1 공간과 상기 제 2 공간의 공간 대응맵 및 상기 제 1 공간에서의 인간형 객체의 모션으로부터, 상기 제 2 공간에서의 인간형 객체의 모션을 생성할 수 있다. 또한, 상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 단계는, 상기 제 1 공간에서의 인간형 객체의 각 관절의 3차원 위치값을 결정하는 단계; 상기 각 관절의 3차원 위치값을 상기 제 1 공간의 볼륨 메쉬(volumetric mesh)에 대한 무게중심 좌표(barycentric coordinate)로 변환하는 단계; 상기 공간 대응맵에 의해 상기 제 1 공간의 볼륨 메쉬로부터 상기 제 2 공간의 볼륨 메쉬에 대한 무게중심 좌표를 결정하는 단계; 상기 제 2 공간의 볼륨 메쉬에 대한 무게중심 좌표에 기초하여, 상기 제 1 공간에서의 인간형 객체의 각 관절의 3차원 위치값에 대응하는 상기 제 2 공간에서의 3차원 위치값을 매 영상 프레임마다 계산하는 단계; 및 상기 매 영상 프레임마다 계산된 상기 제 2 공간에서의 3차원 위치값에 기초하여 상기 제 2 공간에서의 각 관절의 경로를 결정함으로써, 상기 제 2 공간에서의 인간형 객체의 포즈(pose)를 결정하는 단계를 포함할 수도 있다.
본 발명에서 개시된 기술은 다음과 같은 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에 따른 이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템은, 이형 공간이 주어지는 경우 각 공간에서 모션의 목표가 되는 물체를 중심으로 한 공간 유사 정보를 계산 기하로 풀어 내어 공간 대응맵을 구성하고, 공간 대응맵을 이용하여 모션을 서로 다른 공간에 적용 및 변형하여 기존 모션이 공간에서 갖는 특징을 이형 공간의 변형된 모션에서도 반영하는 효과를 구현할 수 있다.
본 발명에 따른 이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템은, 이형 공간 사이의 공간간의 변형 정보를 바탕으로 공간 대응맵을 정의하여 기존 모션이 가진 공간에서의 특징과 기능적인 의미가 이형 공간에서 리타게팅된 모션에서도 반영되는 효과를 갖는다. 따라서, 영화, 애니메이션, 게임의 인간형 캐릭터 애니메이션 생성 소프트웨어뿐만 아니라 3차원 공간을 유영하는 로봇 제어, 그리고 가상 아바타 또는 로봇을 이용한 텔레프레즌스 등에도 적용가능하여, 애니메이션 이외에도 다양한 응용 분야에 적용될 수 있다.
도 1은 모션 리타게팅(motion retargeting)에 관한 예시를 나타낸 것이다.
도 2는 참조 모션이 생성되는 공간과 참조 모션이 리타게팅되는 공간의 개념도를 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 시스템의 블럭도를 나타낸 것이다.
도 4는 각 모션 공간의 임의의 점에 대한 표면 대응점과 각 모션 공간의 외부 경계면의 계산을 예시하는 개략도를 나타낸 것이다.
도 5는 공간의 특정 위치가 다른 공간의 특정 위치와 대응 관계를 갖도록 공간 대응맵을 생성하는 것을 나타낸 것이다.
도 6은 생성된 공간 대응맵의 예시를 나타낸 것이다.
도 7은 공간에 주어진 인간 또는 인간형 객체의 모션을 다른 상이한 형상의 공간으로 리타게팅(retargeting)하는 것을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 방법의 흐름도를 나타낸 것이다.
도 2는 참조 모션이 생성되는 공간과 참조 모션이 리타게팅되는 공간의 개념도를 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 시스템의 블럭도를 나타낸 것이다.
도 4는 각 모션 공간의 임의의 점에 대한 표면 대응점과 각 모션 공간의 외부 경계면의 계산을 예시하는 개략도를 나타낸 것이다.
도 5는 공간의 특정 위치가 다른 공간의 특정 위치와 대응 관계를 갖도록 공간 대응맵을 생성하는 것을 나타낸 것이다.
도 6은 생성된 공간 대응맵의 예시를 나타낸 것이다.
도 7은 공간에 주어진 인간 또는 인간형 객체의 모션을 다른 상이한 형상의 공간으로 리타게팅(retargeting)하는 것을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 방법의 흐름도를 나타낸 것이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
게임이나 애니메이션, 기타 가상 공간에서 인간 또는 인간형 객체(예를 들어, 가상의 아바타 혹은 실재하는 로봇 등)의 모션을 상이한 공간에서 구현하여야 할 필요가 있으며, 이에 따라, 이러한 인간 또는 인간형 객체의 모션을 형상이 상이한 다른 공간에서 인간형 객체의 모션으로 리타게팅함으로써 새로운 공간에서 인간 또는 인간형 객체의 모션을 구현할 수 있다.
도 1은 이러한 모션 리타게팅(motion retargeting)에 관한 예시를 나타낸 것으로, 도 1을 참조하면, 공간 A에서 이와는 상이한 형상의 공간 B로 모션 리타게팅이 수행된다. 여기서, 참조 모션이 생성되는 공간인 공간 A와 이러한 참조 모션이 리타게팅되는 공간인 공간 B에는 인간 또는 인간형 객체와 접촉하는 임의의 물체(예를 들어, 도 1에서는 의자와 같은 가구)가 존재하게 된다. 본 발명에 따른 모션 리타게팅 알고리즘은 이러한 임의의 물체에 대한 접촉 모션을 인간형 객체와 임의의 물체 사이의 기능적, 외형적 특징 관계를 유지하며 목표 공간에 맞는 새로운 모션으로 재생성하게 된다.
도 2는 참조 모션이 생성되는 공간(공간 A)과 참조 모션이 리타게팅되는 공간(공간 B)의 개념도를 나타낸 것이다. 도 2를 참조하면, 공간 A와 공간 B는 인간형 객체와 임의의 물체, 그리고 이러한 임의의 물체에 대한 모션이 수행되는 3차원 공간으로 이루어지며, 공간 A에서의 인간 또는 인간형 객체(X)의 물체에 대한 모션(Y)이, 인간형 객체와 물체 사이의 기능적 유사성과 동작의 특징이 유지되도록, 공간 B에서의 인간형 객체(X')의 물체에 대한 모션(Y')으로 재생성되어 공간 A의 모션에서 공간 B의 모션으로 리타게팅된다.
도 3은 본 발명의 일 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 시스템을 나타낸 것이다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 시스템(100)은, 표면 대응점 계산부(110), 모션 공간 외부 경계면 계산부(120), 공간 대응맵 생성부(130), 및 동작 생성부(140)를 포함한다.
도 4는 각 모션 공간의 임의의 점에 대한 표면 대응점과 각 모션 공간의 외부 경계면의 계산을 예시하는 개략도를 나타낸 것이다.
먼저, 표면 대응점 계산과 관련하여 도 4를 참조하면, 표면 대응점 계산부(110)에서는 공간 A에서의 물체 A의 표면 대응점 a, b 와 각각 대응하는 공간 B에서의 물체 B의 표면 대응점 a', b'를 계산한다. 이 경우, 물체 표면 간 대응점 계산은, 예를 들어, ICP (Iterative Closest Point) 또는 fuzzy correspondence 방법 등을 통해 계산할 수 있다. 표면 대응점 계산부(110)에는 물체 A와 물체 B의 표면의 포인트 클라우드 데이터 (point cloud data) 또는 메쉬 데이터 (mesh data) 가 입력되며, 전술한 바와 같은 물체 표면 간 대응점 계산을 통해, 표면 대응점 계산부(110)로부터 물체 A 표면의 임의의 점(a, b)에 대응하는 물체 B 표면 상의 대응점(a', b')의 위치가 출력된다.
다음, 외부 경계면 계산과 관련하여 도 4를 참조하면, 모션 공간 외부 경계면 계산부(120)에서는 공간 A의 모션 공간 경계 c 에 대응하는 공간 B의 모션 공간 경계 c' 를 계산한다. 여기서, 모션 공간 외부 경계면 계산부(120)에는 물체 A와 물체 B의 표면의 포인트 클라우드 데이터 (point cloud data) 또는 메쉬 데이터 (mesh data) 가 입력되며, 모션 공간 외부 경계면 계산부(120)에서 물체 A 및 물체 B를 포함하는 각 공간의 genus 0인 경계면 메쉬(mesh)를 계산하여 출력한다. 이 경우, 경계면 메쉬의 크기는 물체의 바운딩 박스(bounding box)를 기준으로 일정 크기(예를 들어, 바운딩 박스의 상수 배)로 결정하고, 두 경계면 메쉬는 버텍스(vertex)의 수와 연결성(connectivity)이 같도록 생성하며, 이에 따라, 경계면의 버텍스 간 일대일 대응이 명확하게 된다.
도 5는 공간의 특정 위치가 다른 공간의 특정 위치와 대응 관계를 갖도록 공간 대응맵을 생성하는 것을 나타낸다. 도 5를 참조하면, 공간 대응맵 생성부(130)에서는 공간 A의 특정 위치가 공간 B의 특정 위치와 대응 관계를 갖도록 공간 대응맵을 생성한다. 즉, 공간 A에서의 물체 A와 경계 c 사이의 공간과 공간 B에서의 물체 B와 경계 c' 사이의 공간에 대해, 각 공간의 특정 위치가 서로 대응 관계를 갖도록 공간 대응맵을 생성하는데, 이 때, 공간 대응맵 생성부(130)에는 공간 A의 경계와 물체 A, 공간 B의 경계와 물체 B, 및 물체 A와 물체 B의 대응점 목록이 입력되며, 공간 대응맵 생성부(130)로부터 공간 A와 공간 B의 공간 대응맵이 생성되어 출력된다.
이하에서는, 공간 대응맵 생성부(130)에 의한 공간 대응맵 생성 프로세스에 관하여 기술하도록 한다.
먼저, 참조 모션이 생성되는 공간 A에서 공간의 바깥쪽 경계 영역(경계 c)과 물체 A의 표면 사이의 모션이 수행되는 빈 공간을 채우는 볼륨 메쉬(volumetric mesh)를 생성한다. 이 때, 볼륨 메쉬의 바깥 표면은 경계면 메쉬와 일치하도록 하며, 볼륨 메쉬의 안쪽 표면은 물체 A의 표면에 접하도록 생성한다. 이 경우, 다양한 볼륨 메쉬 생성 기법이 적용가능한데, Delaunay-based algorithms를 이용한 Tetrahedral mesh 생성(Hang Si. 2015. "TetGen, a Delaunay-Based Quality Tetrahedral Mesh Generator". ACM Trans. on Mathematical Software 참조)을 예로 들 수 있다.
다음, 공간 A의 볼륨 메쉬를 공간 B에 맞도록 변형시킨다. 이를 위하여 공간 경계 및 물체 표면의 버텍스(vertex)는 공간 B 및 물체 B 상의 대응점에 위치하도록 제약조건을 부여한 상태에서 볼륨 메쉬의 왜곡이 최소가 되도록 정한다. 이를 위하여 볼륨 메쉬 변형 (volumetric mesh deformation) 기법들 (예를 들어, Xianfeng Gu et. al. 2003, "Volumetric Harmonic Map", Communications in Information & System 과 He Wang et. al. 2014, "Harmonic Parameterization by Electrostatics", SIGGRAPH 2014)이 이용될 수 있다. 이러한 과정을 통해 공간 A의 버텍스에 대응되는 공간 B의 점을 계산할 수 있다.
도 6은 생성된 공간 대응맵의 예시를 나타낸 것이다. 도 6을 참조하면, 3차원 공간에서 각 공간 A와 B는 4면체 또는 6면체와 같은 볼륨 메쉬(volume mesh)로 분할되며 동일 번호의 볼륨 메쉬끼리 일대일 대응된다.
도 7은 공간에 주어진 인간 또는 인간형 객체의 모션을 다른 상이한 형상의 공간으로 리타게팅(retargeting)하는 것을 도시한 것이다. 동작 생성부(140)에서는 공간 A에 주어진 인간 또는 인간형 객체의 모션을 공간 B로 리타게팅(retargeting)한다. 여기서, 동작 생성부(140)에는 공간 A와 공간 B의 공간 대응맵 및 공간 A에서의 인간 또는 인간형 객체의 모션(N개의 frame에 대한 포즈 목록)이 입력되며, 동작 생성부(140)로부터 공간 B에서의 인간형 객체의 모션(N개의 frame에 대한 포즈 목록)이 생성되어 출력된다.
이하에서는 동작 생성부(140)에서의 동작 생성 프로세스에 대해 설명한다.
먼저, 공간 A에서의 인간 또는 인간형 객체의 각 관절의 3차원 위치값을 계산한다. 이 때, 인간형 객체의 관절각이 주어진 경우이면 정기구학(forward kinematics) 계산을 통해 계산하고, 또는 모션 캡처 장비 등을 통하여 실제 공간에서의 인간의 관절 위치값을 측정할 수도 있다.
이와 같이 계산된 각 관절의 3차원 위치값은 공간 A의 볼륨 메쉬(volumetric mesh)에 대한 무게중심 좌표(barycentric coordinate)로 변환한다. 여기서, 하나의 볼륨 메쉬가 n개의 버텍스(vertex) 
을 가질 경우, 어떤 관절의 3차원 위치에 있는 점 p의 무게중심 좌표는 
으로 결정되며, 이는 다음 수학식 1로 나타낼 수 있다.
공간 A의 무게중심 좌표는 공간 대응맵에 의해 공간 B의 무게중심 좌표와 동일하며, 공간 B에서의 볼륨 메쉬의 버텍스의 3차원 위치들 
로부터 p에 대응하는 공간 B의 점 p'을 계산할 수 있다.
상술한 과정을 통하여 N 프레임의 각 프레임마다 모든 관절의 공간 B에서의 3차원 대응 위치값을 계산함으로써 공간 B에서의 각 관절의 경로(trajectory)를 계산할 수 있다. 이와 같이 계산된 관절 경로 및 공간 A의 포즈를 입력으로 하는 역기구학(Inverse Kinematics)을 계산함으로써 공간 B의 인간형 객체의 포즈를 결정하게 된다. 이로써 공간 A에서의 인간 또는 인간형 객체의 모션을 이와 상이한 형상의 공간 B에서의 인간형 객체의 모션으로 리타게팅할 수 있게 된다.
상술한 바와 같은 이형 공간간의 인간형 객체 모션 리타게팅 시스템은, 이형 공간 사이의 공간간의 변형 정보를 바탕으로 공간 대응맵을 정의하여 기존 모션이 가진 공간에서의 특징과 기능적인 의미가 이형 공간에서 리타게팅된 모션에서도 반영될 수 있으며, 이는 영화, 애니메이션, 게임의 인간형 캐릭터 애니메이션 생성 소프트웨어뿐만 아니라 3차원 공간을 유영하는 로봇 제어, 그리고 가상 아바타 또는 로봇을 이용한 텔레프레즌스 등에도 적용가능하여, 애니메이션 이외에도 다양한 응용 분야에 적용될 수 있다.
본 발명의 다른 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 방법은, 제 1 공간에서의 제 1 물체의 표면과 제 2 공간에서의 제 2 물체의 표면 간의 대응점을 계산하는 단계(S100); 상기 제 1 공간의 모션 공간 경계에 대응하는 상기 제 2 공간의 모션 공간 경계를 계산하는 단계(S200); 상기 제 1 공간의 특정 위치가 상기 제 2 공간의 특정 위치와 대응 관계를 갖도록 공간 대응맵을 생성하는 단계(S300); 및 상기 제 1 공간에서의 인간형 객체의 모션을 상기 제 2 공간으로 리타게팅(retargeting)하여 상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 단계(S400)를 포함한다.
본 발명의 다른 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 방법은 전술한 본 발명의 일 실시예에 따른 이형 공간간의 인간형 객체 모션 리타게팅 시스템과 유사하므로 이를 참고할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (17)
- 제 1 공간에서의 제 1 물체의 표면과 제 2 공간에서의 제 2 물체의 표면 간의 대응점을 계산하는 표면 대응점 계산부;
상기 제 1 공간의 모션 공간 경계에 대응하는 상기 제 2 공간의 모션 공간 경계를 계산하는 모션 공간 외부 경계면 계산부;
상기 제 1 공간의 특정 위치가 상기 제 2 공간의 특정 위치와 대응 관계를 갖도록 공간 대응맵을 생성하는 공간 대응맵 생성부; 및
상기 제 1 공간에서의 인간형 객체의 모션을 상기 제 2 공간으로 리타게팅(retargeting)하여 상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 동작 생성부를 포함하고,
상기 동작 생성부는, 상기 제 1 공간에서의 인간형 객체의 각 관절의 3차원 위치값 및 상기 각 관절의 3차원 위치값에 대응되는 3차원 대응 위치값을 계산하여 상기 제 2 공간에서의 관절 경로를 산출하고, 상기 산출된 제 2 공간에서의 관절 경로에 기초하여 상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 것을 특징으로 하는, 이형 공간간의 인간형 객체 모션 리타게팅 시스템. - 제 1 항에 있어서,
상기 표면 대응점 계산부는,
상기 제 1 물체 및 상기 제 2 물체의 표면의 포인트 클라우드 데이터 (point cloud data) 또는 메쉬 데이터 (mesh data) 로부터, 상기 제 1 물체의 표면 상의 임의의 점에 대응하는 상기 제 2 물체의 표면 상의 대응점의 위치를 계산하는, 이형 공간간의 인간형 객체 모션 리타게팅 시스템. - 제 1 항에 있어서,
상기 모션 공간 외부 경계면 계산부는,
상기 제 1 물체 및 상기 제 2 물체의 표면의 포인트 클라우드 데이터 (point cloud data) 또는 메쉬 데이터 (mesh data) 로부터, 상기 제 1 물체 및 상기 제 2 물체를 포함하는 상기 제 1 공간 및 상기 제 2 공간 각각에서의 모션 공간 외부 경계면 메쉬를 계산하는, 이형 공간간의 인간형 객체 모션 리타게팅 시스템. - 제 3 항에 있어서,
상기 모션 공간 외부 경계면 메쉬의 크기는 바운딩 박스 (bounding box) 를 기준으로 결정되고,
상기 제 1 공간과 상기 제 2 공간에서의 모션 공간 외부 경계면 메쉬는 버텍스(vertex)의 수와 연결성(connectivity)이 동일한, 이형 공간간의 인간형 객체 모션 리타게팅 시스템. - 제 1 항에 있어서,
상기 공간 대응맵 생성부는,
상기 제 1 공간의 모션 공간 경계와 상기 제 1 물체, 상기 제 2 공간의 모션 공간 경계와 상기 제 2 물체, 및 상기 제 1 물체와 상기 제 2 물체의 대응점 목록으로부터, 상기 제 1 공간과 상기 제 2 공간의 공간 대응맵을 생성하는, 이형 공간간의 인간형 객체 모션 리타게팅 시스템. - 제 5 항에 있어서,
상기 공간 대응맵 생성부는,
상기 제 1 공간의 모션 공간 경계와 상기 제 1 물체의 표면 사이의 모션이 수행되는 빈 공간을 채우는 볼륨 메쉬(volumetric mesh)를 생성하고,
상기 제 1 공간의 모션 공간 경계 및 상기 제 1 물체의 표면의 버텍스(vertex)가 상기 제 2 공간의 대응점에 대응되도록 상기 제 1 공간의 볼륨 메쉬를 상기 제 2 공간에 맞추어 변형하는, 이형 공간간의 인간형 객체 모션 리타게팅 시스템. - 제 1 항에 있어서,
상기 동작 생성부는,
상기 제 1 공간과 상기 제 2 공간의 공간 대응맵 및 상기 제 1 공간에서의 인간형 객체의 모션으로부터, 상기 제 2 공간에서의 인간형 객체의 모션을 생성하는, 이형 공간간의 인간형 객체 모션 리타게팅 시스템. - 제 7 항에 있어서,
상기 동작 생성부는,
상기 제 1 공간에서의 인간형 객체의 각 관절의 3차원 위치값을 결정하고,
상기 각 관절의 3차원 위치값을 상기 제 1 공간의 볼륨 메쉬(volumetric mesh)에 대한 무게중심 좌표(barycentric coordinate)로 변환하고,
상기 공간 대응맵에 의해 상기 제 1 공간의 볼륨 메쉬로부터 상기 제 2 공간의 볼륨 메쉬에 대한 무게중심 좌표를 결정하고,
상기 제 2 공간의 볼륨 메쉬에 대한 무게중심 좌표에 기초하여, 상기 제 1 공간에서의 인간형 객체의 각 관절의 3차원 위치값에 대응하는 상기 제 2 공간에서의 3차원 위치값을 매 영상 프레임마다 계산하고,
상기 매 영상 프레임마다 계산된 상기 제 2 공간에서의 3차원 위치값에 기초하여 상기 제 2 공간에서의 각 관절의 경로를 결정함으로써, 상기 제 2 공간에서의 인간형 객체의 포즈(pose)를 결정하는, 이형 공간간의 인간형 객체 모션 리타게팅 시스템. - 제 1 공간에서의 제 1 물체의 표면과 제 2 공간에서의 제 2 물체의 표면 간의 대응점을 계산하는 단계;
상기 제 1 공간의 모션 공간 경계에 대응하는 상기 제 2 공간의 모션 공간 경계를 계산하는 단계;
상기 제 1 공간의 특정 위치가 상기 제 2 공간의 특정 위치와 대응 관계를 갖도록 공간 대응맵을 생성하는 단계; 및
상기 제 1 공간에서의 인간형 객체의 모션을 상기 제 2 공간으로 리타게팅(retargeting)하여 상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 단계를 포함하고,
상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 단계는, 상기 제 1 공간에서의 인간형 객체의 각 관절의 3차원 위치값 및 상기 각 관절의 3차원 위치값에 대응되는 3차원 대응 위치값을 계산하여 상기 제 2 공간에서의 관절 경로를 산출하고, 상기 산출된 제 2 공간에서의 관절 경로에 기초하여 상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 것을 특징으로 하는, 이형 공간간의 인간형 객체 모션 리타게팅 방법. - 제 9 항에 있어서,
상기 제 1 공간에서의 제 1 물체의 표면과 제 2 공간에서의 제 2 물체의 표면 간의 대응점을 계산하는 단계는,
상기 제 1 물체 및 상기 제 2 물체의 표면의 포인트 클라우드 데이터 (point cloud data) 또는 메쉬 데이터 (mesh data) 로부터, 상기 제 1 물체의 표면 상의 임의의 점에 대응하는 상기 제 2 물체의 표면 상의 대응점의 위치를 계산하는, 이형 공간간의 인간형 객체 모션 리타게팅 방법. - 제 9 항에 있어서,
상기 제 1 공간의 모션 공간 경계에 대응하는 상기 제 2 공간의 모션 공간 경계를 계산하는 단계는,
상기 제 1 물체 및 상기 제 2 물체의 표면의 포인트 클라우드 데이터 (point cloud data) 또는 메쉬 데이터 (mesh data) 로부터, 상기 제 1 물체 및 상기 제 2 물체를 포함하는 상기 제 1 공간 및 상기 제 2 공간 각각에서의 모션 공간 외부 경계면 메쉬를 계산하는, 이형 공간간의 인간형 객체 모션 리타게팅 방법. - 제 11 항에 있어서,
상기 모션 공간 외부 경계면 메쉬의 크기는 바운딩 박스 (bounding box) 를 기준으로 결정되고,
상기 제 1 공간과 상기 제 2 공간에서의 모션 공간 외부 경계면 메쉬는 버텍스(vertex)의 수와 연결성(connectivity)이 동일한, 이형 공간간의 인간형 객체 모션 리타게팅 방법. - 제 9 항에 있어서,
상기 공간 대응맵을 생성하는 단계는,
상기 제 1 공간의 모션 공간 경계와 상기 제 1 물체, 상기 제 2 공간의 모션 공간 경계와 상기 제 2 물체, 및 상기 제 1 물체와 상기 제 2 물체의 대응점 목록으로부터, 상기 제 1 공간과 상기 제 2 공간의 공간 대응맵을 생성하는, 이형 공간간의 인간형 객체 모션 리타게팅 방법. - 제 13 항에 있어서,
상기 공간 대응맵을 생성하는 단계는,
상기 제 1 공간의 모션 공간 경계와 상기 제 1 물체의 표면 사이의 모션이 수행되는 빈 공간을 채우는 볼륨 메쉬(volumetric mesh)를 생성하는 단계; 및
상기 제 1 공간의 모션 공간 경계 및 상기 제 1 물체의 표면의 버텍스(vertex)가 상기 제 2 공간의 대응점에 대응되도록 상기 제 1 공간의 볼륨 메쉬를 상기 제 2 공간에 맞추어 변형하는 단계를 포함하는, 이형 공간간의 인간형 객체 모션 리타게팅 방법. - 제 9 항에 있어서,
상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 단계는,
상기 제 1 공간과 상기 제 2 공간의 공간 대응맵 및 상기 제 1 공간에서의 인간형 객체의 모션으로부터, 상기 제 2 공간에서의 인간형 객체의 모션을 생성하는, 이형 공간간의 인간형 객체 모션 리타게팅 방법. - 제 15 항에 있어서,
상기 제 2 공간에서의 인간형 객체의 모션을 생성하는 단계는,
상기 제 1 공간에서의 인간형 객체의 각 관절의 3차원 위치값을 결정하는 단계;
상기 각 관절의 3차원 위치값을 상기 제 1 공간의 볼륨 메쉬(volumetric mesh)에 대한 무게중심 좌표(barycentric coordinate)로 변환하는 단계;
상기 공간 대응맵에 의해 상기 제 1 공간의 볼륨 메쉬로부터 상기 제 2 공간의 볼륨 메쉬에 대한 무게중심 좌표를 결정하는 단계;
상기 제 2 공간의 볼륨 메쉬에 대한 무게중심 좌표에 기초하여, 상기 제 1 공간에서의 인간형 객체의 각 관절의 3차원 위치값에 대응하는 상기 제 2 공간에서의 3차원 위치값을 매 영상 프레임마다 계산하는 단계; 및
상기 매 영상 프레임마다 계산된 상기 제 2 공간에서의 3차원 위치값에 기초하여 상기 제 2 공간에서의 각 관절의 경로를 결정함으로써, 상기 제 2 공간에서의 인간형 객체의 포즈(pose)를 결정하는 단계를 포함하는, 이형 공간간의 인간형 객체 모션 리타게팅 방법. - 제 9 항 내지 제 16 항 중 어느 한 항의 이형 공간간의 인간형 객체 모션 리타게팅 방법을 구현하기 위한 컴퓨터 판독가능 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150063647A KR101687484B1 (ko) | 2015-05-07 | 2015-05-07 | 이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150063647A KR101687484B1 (ko) | 2015-05-07 | 2015-05-07 | 이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160131380A KR20160131380A (ko) | 2016-11-16 |
| KR101687484B1 true KR101687484B1 (ko) | 2016-12-16 |
Family
ID=57540565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150063647A KR101687484B1 (ko) | 2015-05-07 | 2015-05-07 | 이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101687484B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102161341B1 (ko) * | 2018-07-09 | 2020-09-29 | 한국과학기술원 | 인터랙션 동작에 대한 다른 체형 캐릭터로의 모션 리타겟팅 방법 및 그 장치 |
| KR102546945B1 (ko) * | 2020-08-25 | 2023-06-26 | 한국과학기술원 | 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템 |
| KR20230075676A (ko) | 2021-11-23 | 2023-05-31 | (주)모션테크놀로지 | 열악 환경 원격 로봇의 텔레 오퍼레이션 시스템 |
| KR20240085661A (ko) | 2022-12-08 | 2024-06-17 | (주)모션테크놀로지 | 열악환경 비정형 작업을 위한 텔레오퍼레이션 휴머노이드 로봇 시뮬레이터 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8803889B2 (en) * | 2009-05-29 | 2014-08-12 | Microsoft Corporation | Systems and methods for applying animations or motions to a character |
| KR101102778B1 (ko) * | 2010-04-22 | 2012-01-05 | 한국과학기술원 | 리깅 복제를 통한 캐릭터 리깅 자동화 방법 및 장치 |
-
2015
- 2015-05-07 KR KR1020150063647A patent/KR101687484B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160131380A (ko) | 2016-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3032495B1 (en) | Texturing a 3d modeled object | |
| CN107067473B (zh) | 用于对3d建模对象进行重构的方法、装置及系统 | |
| KR20220017900A (ko) | 단일 이미지-기반 실시간 신체 애니메이션 | |
| KR101687484B1 (ko) | 이형 공간간의 인간형 객체 모션 리타게팅 방법 및 시스템 | |
| US9881417B2 (en) | Multi-view drawing apparatus of three-dimensional objects, and method | |
| US9947124B2 (en) | Motion control of active deformable objects | |
| Kim et al. | Retargeting human-object interaction to virtual avatars | |
| US12033261B2 (en) | Contact-aware retargeting of motion | |
| CN113129446A (zh) | 使用平滑图进行3d重建 | |
| CN113378448A (zh) | 确定3d建模对象变形 | |
| WO2021173013A1 (en) | Method for simulating fluids interacting with submerged porous materials | |
| JP2016152586A (ja) | プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム | |
| Taylor et al. | VR props: an end-to-end pipeline for transporting real objects into virtual and augmented environments | |
| EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
| KR100898990B1 (ko) | 3차원 공간에서 시간일관성을 이용한 실루엣 렌더링 장치및 방법 | |
| CN110008873B (zh) | 面部表情捕捉方法、系统及设备 | |
| KR100512565B1 (ko) | 3차원 스캔 얼굴 데이터의 자동 애니메이션 방법 | |
| Kwon et al. | Free-Hand stroke based NURBS surface for sketching and deforming 3d contents | |
| Li et al. | Animating cartoon faces by multi‐view drawings | |
| CN116391208A (zh) | 使用场景流估计的非刚性3d物体建模 | |
| JP5792210B2 (ja) | 三次元オブジェクトの多視点描画装置、方法、及びプログラム | |
| Ueda et al. | Virtual clay modeling system using multi-viewpoint images | |
| Allain et al. | Shape Animation with Combined Captured and Simulated Dynamics | |
| JP5792211B2 (ja) | 三次元オブジェクトの誇張描画装置、方法、及びプログラム | |
| Hannemose | Differentiable formulations for inverse rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191126 Year of fee payment: 4 |