KR20120072128A - 디지털 클론 생성 장치 및 방법 - Google Patents

디지털 클론 생성 장치 및 방법 Download PDF

Info

Publication number
KR20120072128A
KR20120072128A KR1020100133937A KR20100133937A KR20120072128A KR 20120072128 A KR20120072128 A KR 20120072128A KR 1020100133937 A KR1020100133937 A KR 1020100133937A KR 20100133937 A KR20100133937 A KR 20100133937A KR 20120072128 A KR20120072128 A KR 20120072128A
Authority
KR
South Korea
Prior art keywords
joint
human body
body model
model
standard
Prior art date
Application number
KR1020100133937A
Other languages
English (en)
Other versions
KR101796190B1 (ko
Inventor
김호원
구본기
이승욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100133937A priority Critical patent/KR101796190B1/ko
Priority to US13/335,668 priority patent/US9378589B2/en
Publication of KR20120072128A publication Critical patent/KR20120072128A/ko
Application granted granted Critical
Publication of KR101796190B1 publication Critical patent/KR101796190B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

액터의 모션과 함께, 모션에 따른 액터의 고유 외형 변형 부분까지 복원하여, 액터의 행동 표현을 사실적으로 재현할 수 있는 디지털 클론 생성 기술에 관한 것이다. 이를 위해, 본 발명에 따른 디지털 클론 생성 장치는 자세별 외형 변형 예제에서 관절 조인트의 관절 제어각에 대한 외형 변형 정보를 추출하고, 외형 변형 정보를 반영한 파라미트릭 형상 제어 엔진을 생성하며, 표준 메쉬 인체 모델에 파라미트릭 형상 제어 엔진을 반영하여 표준 인체 모델을 생성하는 표준 인체 모델 생성부; 및 액터의 자세 변경에 따른 다시점 영상 예제들을 입력으로 받고, 다시점 영상 예제들을 통해 상기 액터의 3 차원 모델을 생성하며, 3 차원 모델에 표준 인체 모델을 전이함으로써 액터의 자세 변경에 따른 고유한 외형 변형이 반영된 고유 인체 모델을 생성하는 고유 인체 모델 생성부를 포함하는 것을 특징으로 하는 디지털 클론 생성 장치.

Description

디지털 클론 생성 장치 및 방법{Apparatus and method for generating digital clone}
본 발명은 디지털 클론 생성 장치 및 방법에 관한 것이다. 특히, 본 발명은 액터의 모션과 함께, 모션에 따른 액터의 고유 외형 변형 부분까지 복원하여, 액터의 행동 표현을 사실적으로 재현할 수 있는 디지털 클론 생성 장치 및 방법에 관한 것이다.
일반적으로 3 차원 인체 모델들은 컴퓨터 애니메이션뿐만 아니라 삼차원 게임 등의 영상콘텐츠 분야에서 매우 중요한 역할을 하고 있다. 이러한 인체 모델의 애니메이션화를 위해서는 인체의 골격 구조의 자세 제어에 따른 형상 변형이 가능한 인체 모델 생성이 선행되어야 한다.
인체 모델의 생성은 표현하고자 하는 인체의 외형을 표현하는 메쉬(mesh)나 곡면(surface) 모델에 인체의 골격계(skeletal structure)를 근사화한 골격구조를 정의하고, 골격구조의 각 관절의 조인트의 이동 및 회전 제어를 통해 인체 외형이 변형되도록 하는 캐릭터 셋업(Setup) 혹은 리깅(Rigging) 작업을 통해 이루어 진다.
리깅 작업은 골격구조의 각 관절에 연계된 외형의 메쉬 정점이나 곡면 정점 등을 결합(binding)하여 관절 조인트의 이동 및 회전에 대해 인체 외형이 변형되도록 하는 작업이다. 그리고, 인체의 근육계(muscle structure)를 근사화하여 골격구조와 결합하고, 근육을 인접 메쉬 정점이나 곡면 정점에 결합하여 골격구조의 관절제어를 통해 근육모델이 반응을 하고 이에 결합된 정점들이 반응하여 인체외형이 변형되도록 하는 작업이다. 이러한 리깅 작업시에는, 실제 콘텐츠 제작 현장에서 오토데스크사의 마야와 같은 상용툴이 주로 활용되고 있다.
이러한 방식의 인체 모델 생성은 현재 영화 등의 영상콘텐츠에 적용되고 있다. 하지만, 현재의 인체 모델 생성작업은 전문디자이너의 수작업에 의존적이며, 많은 작업시간과 선험적 경험을 요구하며 고품질의 형상변형을 위해 많은 계산 시간을 요한다. 보다 큰 문제점은 리깅된 인체모델의 외형에서 기하학적 형상(Geometric shape)이 변형될 경우 인체 모델 생성의 전체적인 재작업이 불가피하다는 것이다.
또한, 액터의 고유 인체모델을 3 차원 스캐너로부터 생성하는 기술의 경우, 인체 외형 변형을 위해 사용되는 메쉬기반 국부 형상 변형 방법의 한계로 인해 초기의 액터 모델을 얻을 때 나타나지 않은 고유한 외형변형 특징들이 제대로 복원되지 않는 한계점도 존재한다.
그 외에 액터의 고유 인체모델을 주요 프레임의 다시점 영상으로부터 생성하는 기술의 경우, 각 프레임의 동작에 따른 액터의 외형 변형을 초기 액터 모델의 외형정보를 이용하여 복원하기 때문에 초기 액터 모델의 외형 정밀도에 대한 의존도가 높다는 단점이 있다.
본 발명의 목적은 액터의 모션과 함께, 모션에 따른 액터의 고유 외형 변형 부분까지 복원하여, 액터의 행동 표현을 사실적으로 재현하는 것이다.
그리고, 본 발명은 액터의 고유한 행동에 따른 외형 변형을 반영한 디지털 클론을 신속하고 용이하게 생성하는 것을 목적으로 한다.
또한, 본 발명은 과도한 관절 제어에도 사실적 외형 형상 변형을 잘 반영할 수 있는 디지털 클론을 생성하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명에 따른 디지털 클론 생성 장치는 자세별 외형 변형 예제에서 관절 조인트의 관절 제어각에 대한 외형 변형 정보를 추출하고, 상기 외형 변형 정보를 반영한 파라미트릭 형상 제어 엔진을 생성하며, 표준 메쉬 인체 모델에 상기 파라미트릭 형상 제어 엔진을 반영하여 표준 인체 모델을 생성하는 표준 인체 모델 생성부; 및 액터의 자세 변경에 따른 다시점 영상 예제를 입력으로 받고, 상기 다시점 영상 예제를 통해 상기 액터의 3 차원 모델을 생성하며, 상기 3 차원 모델에 상기 표준 인체 모델을 전이함으로써 상기 액터의 자세 변경에 따른 고유한 외형 변형이 반영된 고유 인체 모델을 생성하는 고유 인체 모델 생성부를 포함하는 것을 특징으로 하는 디지털 클론 생성 장치.
이 때, 상기 표준 인체 모델 생성부는 상기 표준 메쉬 인체 모델을 입력받아, 상기 표준 메쉬 인체 모델의 골격 구조를 생성하는 골격 구조 생성부; 상기 골격 구조를 따라 상기 표준 메쉬 인체 모델의 외형을 근사화하는 복수 개의 키프레임을 생성하는 키프레임 생성부; 및 상기 자세별 외형 변형 예제로부터 상기 관절 조인트의 상기 관절 제어각에 대한 상기 외형 변형 정보를 추출하고, 상기 외형 변형 정보를 반영하여 각각의 키프레임의 단면의 반응 관계를 모델링한 파라미트릭 형상 제어 엔진을 생성하는 파라미트릭 형상 제어 엔진 생성부를 포함할 수 있다.
이 때, 상기 표준 인체 모델 생성부는 상기 반응 관계를 이용하여 상기 키프레임 및 상기 골격 구조에 대하여 렌더링하며, 렌더링한 결과물과 상기 자세별 외형 변형 예제를 비교하여, 메쉬 구조의 정점 별 3 차원 위치 오차를 감소시키도록 상기 반응 관계의 반응 파라미터 값을 갱신하는 예제 기반 파라미터 학습부를 더 포함할 수 있다.
이 때, 상기 파라미트릭 형상 제어 엔진 생성부는 상기 키프레임의 형상이 상기 관절 조인트의 상기 관절 제어각에 따라 파라미트릭하게 변형되도록 상기 반응 관계를 모델링할 수 있다.
이 때, 상기 파라미트릭 형상 제어 엔진 생성부는 상기 키프레임의 형상이 상기 관절 조인트에 이웃하는 관절 조인트의 관절 제어각에 다중 반응하여 변형되도록, 상기 반응 관계를 모델링할 수 있다.
이 때, 상기 복수 개의 키프레임의 각각은 상기 골격 구조와 교차하는 중심점, 및 상기 키프레임의 3 차원 평면과 상기 표준 메쉬 인체 모델의 메쉬가 교차하는 특징점을 포함하여 형성되고, 상기 복수 개의 키프레임은 상기 골격 구조의 관절 조인트와 교차하는 관절 키프레임을 포함하여 구성될 수 있다.
이 때, 상기 파라미트릭 형상 제어 엔진은 상기 관절 키프레임의 3 차원 위치 값이 상기 관절 조인트의 상기 관절 제어각에 따라 변경되도록, 상기 관절 키프레임에 상기 관절 제어각에 따라 파라미트릭하게 변형되는 자유도를 부여할 수 있다.
이 때, 상기 파라미트릭 형상 제어 엔진은 상기 관절 제어각에 따라 상기 키프레임의 상기 중심점으로부터 상기 특징점에 대한 반지름의 길이가 변경되도록 제어할 수 있다.
이 때, 상기 고유 인체 모델 생성부는 상기 액터의 상기 다시점 영상 예제들을 입력 받아 상기 액터의 3 차원 기하학적 외형 정보를 복원하여 상기 3 차원 모델을 생성하는 외형 복원부; 상기 3 차원 모델의 골격 구조의 관절 조인트의 위치를 인체계측학적 골격 구조 분석을 통해 추정하여 추정 3 차원 모델을 생성하는 자세 추정부; 상기 3 차원 모델로부터 상기 관절 조인트의 상기 관절 제어각에 대한 고유 반응 관계를 수집하고, 상기 표준 인체 모델을 상기 추정 3 차원 모델에 대응하게 전이하는 표준 인체 모델 전이부; 및 상기 표준 인체 모델 전이부에서 수집된 고유 반응 관계의 정보를 이용하여 상기 액터의 고유한 동작에 따른 외형 변형을 반영할 수 있도록 상기 파라미트릭 형상 제어 엔진의 파라미터 값을 변경하는 파라미터 적응부를 포함할 수 있다.
이 때, 상기 표준 인체 모델 생성부는 상기 표준 인체 모델에 대한 텍스쳐 맵을 생성하는 텍스쳐 맵 생성부를 더 포함하고, 상기 고유 인체 모델 생성부는 상기 다시점 영상 예제들의 텍스쳐 정보를 가시성의 가중치로 적용하여 상기 표준 인체 모델의 상기 텍스쳐 맵에 반영하는 텍스쳐 맵 보정부를 더 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 디지털 클론 생성 방법은 표준 메쉬 인체 모델을 입력 받는 단계; 자세별 외형 변형 예제에서 관절 조인트의 관절 제어각에 대한 외형 변형 정보들을 추출하는 단계; 상기 외형 변형 정보를 반영한 파라미트릭 형상 제어 엔진을 생성하는 단계; 상기 표준 메쉬 인체 모델에 상기 파라미트릭 형상 제어 엔진을 반영하여 표준 인체 모델을 생성하는 단계; 액터의 자세 변경에 따른 다시점 영상 예제를 입력 받는 단계; 상기 다시점 영상 예제를 통해 상기 액터의 3 차원 기하학적 외형 정보를 분석하여 3 차원 모델을 복원하는 단계; 및 상기 3 차원 모델에 상기 표준 인체 모델을 전이함으로써, 상기 액터의 자세 변경에 따른 고유한 외형 변형이 반영된 고유 인체 모델을 생성하는 단계를 포함한다.
이 때, 상기 표준 메쉬 인체 모델의 외형 정보에 대응되도록 상기 표준 메쉬 인체 모델의 골격 구조를 생성하는 단계; 및 상기 골격 구조를 따라 상기 표준 메쉬 인체 모델의 외형을 근사화하는 복수 개의 키프레임을 생성하는 단계를 더 포함할 수 있다.
이 때, 상기 파라미트릭 형상 제어 엔진을 생성하는 단계는, 상기 외형 변형 정보를 반영하여 각각의 키프레임의 단면의 반응 관계를 모델링하여 상기 파라미트릭 형상 제어 엔진을 생성할 수 있다.
이 때, 상기 반응 관계를 이용하여 상기 키프레임 및 상기 골격 구조에 대하여 렌더링하며, 렌더링한 결과물과 상기 자세별 외형 변형 예제를 비교하여, 메쉬 구조의 정점 별 3 차원 위치 오차를 감소시키도록 상기 반응 관계의 반응 파라미터 값을 갱신하는 단계를 더 포함할 수 있다.
이 때, 상기 파라미트릭 형상 제어 엔진을 생성하는 단계는, 상기 키프레임의 형상이 상기 관절 조인트의 상기 관절 제어각에 따라 파라미트릭하게 변형되도록 상기 반응 관계를 모델링할 수 있다.
이 때, 상기 파라미트릭 형상 제어 엔진을 생성하는 단계는, 상기 키프레임의 형상이 상기 관절 조인트에 이웃하는 관절 조인트의 관절 제어각에 다중 반응하여 변형되도록, 상기 반응 관계를 모델링할 수 있다.
이 때, 상기 복수 개의 키프레임의 각각은 상기 골격 구조와 교차하는 중심점, 및 상기 키프레임의 3 차원 평면과 상기 표준 메쉬 인체 모델의 메쉬가 교차하는 특징점을 포함하여 형성되고, 상기 복수 개의 키프레임은 상기 골격 구조의 관절 조인트와 교차하는 관절 키프레임을 포함하여 구성될 수 있다.
이 때, 상기 파라미트릭 형상 제어 엔진은 상기 관절 키프레임의 3 차원 위치 값이 상기 관절 조인트의 상기 관절 제어각에 따라 변경되도록, 상기 관절 키프레임에 상기 관절 제어각에 따라 파라미트릭하게 변형되는 자유도가 부여될 수 있다.
이 때, 상기 파라미트릭 형상 제어 엔진은 상기 관절 제어각에 따라 상기 키프레임의 상기 중심점으로부터 상기 특징점에 대한 반지름의 길이가 변경되도록 제어할 수 있다.
이 때, 상기 3 차원 모델의 골격 구조의 관절 조인트의 위치를 인체계측학적 골격 구조 분석을 통해 추정하여 추정 3 차원 모델을 생성하는 단계; 및 상기 3 차원 모델로부터 상기 관절 조인트의 상기 관절 제어각에 대한 고유 반응 관계를 수집하고, 상기 고유 반응 관계 정보를 이용하여 상기 액터의 고유한 동작에 따른 외형 변형을 반영할 수 있도록 상기 파라미트릭 형상 제어 엔진의 파라미터 값을 변경하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 액터의 모션과 함께, 모션에 따른 액터의 고유 외형 변형 부분까지 복원하여, 액터의 행동 표현을 사실적으로 재현할 수 있다.
그리고, 본 발명은 다양한 예제 기반으로 골격 구조의 자세 제어를 인체 외형 변형 특성 정보를 반영한 표준 인체 모델을 생성하고, 이를 액터의 고유 외형에 전이시킴으로써, 실존하는 액터의 고유한 행동에 따른 외형 변형 모사를 자동으로 생성할 수 있다. 즉, 본 발명은 액터의 고유한 행동에 따른 외형 변형을 반영한 디지털 클론을 신속하고 용이하게 생성할 수 있다.
또한, 본 발명은 과도한 관절 제어에도 사실적 외형 형상 변형을 잘 반영할 수 있는 디지털 클론을 생성할 수 있다.
도 1은 본 발명에 따른 디지털 클론 장치의 구성을 나타낸 블록도이다.
도 2는 골격 구조의 계층적 트리의 예시 도면이다.
도 3 내지 도 6은 본 발명에 따른 표준 인체 모델에 대하여 설명하기 위한 도면이다.
도 7a 내지 도 7d는 인체의 자세 변형에 따른 형상 변형 개념에 대하여 설명하기 위한 도면이다.
도 8은 키프레임에 대하여 설명하기 위한 도면이다.
도 9는 골격 구조 제어에 따라 모델링된 키프레임의 반응 관계의 개념도이다.
도 10은 본 발명에 따른 파라미터 값을 적용하였을 때의 도 9의 키프레임의 반응 관계의 변형예를 도시한 도면이다.
도 11 내지 도 12는 본 발명에 따른 디지털 클론 생성 방법을 설명하기 위한 동작 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서는 본 발명에 따른 디지털 클론 생성 장치의 구성 및 동작에 대하여 설명하도록 한다.
도 1은 본 발명에 따른 디지털 클론 장치의 구성을 나타낸 블록도이다. 도 2는 골격 구조의 계층적 트리의 예시 도면이다. 도 3 내지 도 6은 본 발명에 따른 표준 인체 모델에 대하여 설명하기 위한 도면이다. 도 7a 내지 도 7d는 인체의 자세 변형에 따른 형상 변형 개념에 대하여 설명하기 위한 도면이다. 도 8은 키프레임에 대하여 설명하기 위한 도면이다. 도 9는 골격 구조 제어에 따라 모델링된 키프레임의 반응 관계의 개념도이다. 도 10은 본 발명에 따른 파라미터 값을 적용하였을 때의 도 9의 키프레임의 반응 관계의 변형예를 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 디지털 클론 장치(100)는 표준 인체 모델 생성부(110) 및 고유 인체 모델 생성부(120)를 포함하여 구성된다.
표준 인체 모델 생성부(110)는 먼저 표준 메쉬 인체 모델을 입력으로 받는다. 그리고, 표준 인체 모델 생성부(110)는 자세별 외형 변형 예제(10)에서 관절 조인트의 관절 제어각에 대한 외형 변형 정보를 추출한다. 또한, 표준 인체 모델 생성부(110)는 외형 변형 정보를 반영한 파라미트릭(parametric) 형상 제어 엔진을 생성한다. 또한, 표준 인체 모델 생성부(110)는 표준 메쉬 인체 모델에 파라미트릭 형상 제어 엔진을 반영하여 표준 인체 모델을 최종 생성한다.
이러한, 표준 인체 모델 생성부(110)는 구체적으로 골격 구조 생성부(111), 키프레임 생성부(112), 텍스쳐 맵 생성부(113), 파라미트릭 형상 제어 엔진 생성부(114) 및 예제 기반 파라미터 학습부(115)를 포함하여 구성될 수 있다.
골격 구조 생성부(111)는 표준 메쉬 인체 모델을 입력 받아, 표준 메쉬 인체 모델의 골격 구조를 생성한다. 즉, 도 3과 함께 참조하면, 골격 구조 생성부(111)는 인체계측학 기반으로 생성된 표준 체형의 표준 메쉬 인체 모델(31)을 입력받는다. 그리고, 골격 구조 생성부(111)는 표준 메쉬 인체 모델(31)에 대한 골격 구조(32)를 생성한다. 이 때, 골격 구조(32)는 도 6의 예시와 같이 분기형 트리 구조로 모델링될 수 있다. 그리고, 각 트리 구조의 노드의 실제 3 차원 위치는 사용자의 GUI 기반 입력이나 인체계측학적 골격 구조 분석을 통해 생성한다. 이러한, 골격 구조는 골격계의 범주 내에서 사용자가 원하는대로 자유롭게 정의할 수 있다.
키프레임 생성부(112)는 골격 구조를 따라 표준 메쉬 인체 모델의 외형을 근사화하는 복수 개의 키프레임을 생성한다. 이 때, 복수 개의 키프레임 각각은 골격 구조와 교차하는 중심점 및 키프레임의 3 차원 평면과 상기 표준 메쉬 인체 모델의 메쉬가 교차하는 특징점을 포함하여 형성된다. 또한, 복수 개의 키프레임은 골격 구조의 관절 조인트와 교차하는 관절 키프레임을 포함하여 구성될 수 있다. 이 때, 키프레임 생성부(112)는 관절 키프레임의 중심점을 관절 조인트와 일치시킨다. 그리고, 키프레임 생성부(112)는 관절 키프레임을 제외한 키프레임은 커브의 무게중심을 골격 구조와 일치시킨다. 이러한, 키프레임의 위치와 수는 인체 모델의 3 차원 형상을 잘 근사화할 수 있도록 자유롭게 설정 가능하다. 키프레임에 대한 구체적 구성에 대하여는 도 8과 함께 후술하도록 한다. 도 2에는, 표준 메쉬 인체 모델의 골격 구조를 따라 복수 개의 키프레임(41)이 생성된 예를 도시하고 있다.
텍스쳐 맵 생성부(113)는 표준 인체 모델에 대한 텍스쳐 맵을 생성한다. 즉, 도 6과 함께 참조하면, 텍스쳐 맵 생성부(113)는 표준 인체 모델(60)에 적용하기 위한 텍스쳐 맵(61)을 생성한다.
파라미트릭 형상 제어 엔진 생성부(114)는 자세별 외형 변형 예제(10)로부터 관절 조인트의 관절 제어각에 대한 외형 변형 정보를 추출한다. 그리고, 파라미트릭 형상 제어 엔진 생성부(114)는 외형 변형 정보를 반영하여 각각의 키프레임의 단면의 반응 관계를 모델링한 파라미트릭 형상 제어 엔진을 생성한다. 또한, 파라미트릭 형상 제어 엔진 생성부(114)는 키프레임의 형상이 관절 조인트의 관절 제어각에 따라 파라미트릭하게 변형되도록 반응 관계를 모델링한다. 또한, 파라미트릭 형상 제어 엔진 생성부(114)는 키프레임의 형상이 관절 조인트에 이웃하는 관절 조인트의 관절 제어각에 다중 반응하여 변형되도록, 반응 관계를 모델링한다. 이 때, 파라미트릭 형상 제어 엔진은 관절 키프레임의 3 차원 위치 값이 관절 조인트의 관절 제어각에 따라 변경되도록, 상기 관절 키프레임에 관절 제어각에 따라 파라미트릭하게 변형되는 자유도를 부여할 수 있다. 또한, 파라미트릭 형상 제어 엔진은 관절 제어각에 따라 키프레임의 중심점으로부터 특징점에 대한 반지름의 길이가 변경되도록 제어할 수 있다. 즉, 골격구조의 자세제어에 따라 실제적인 외형 형상 변형을 주도하는 키프레임 별로 중심점의 넙스 괘적 커브와 특징점들을 골격구조 제어에 사용되는 관절조인트들의 회전각들로 구성된 제어파라미터에 반응하는 반응인자들로 정의한다. 그리고, 상기 반응인자가 제어파라미터 변화에 종속적이 되도록 한다. 이때 자세제어에 따른 반응인자들의 자유도를 줄이기 위해 제어 특징점들을 중심점을 중심으로 일정간격으로 샘플링하고 3 자유도의 위치 변수 대신 반지름 변수를 사용한다. 예로 10도 간격으로 샘플링할 경우 특징점들을 36 자유도의 변수로, 괘적커브를 6 자유도의 변수로 표현할 수 있다. 관절조인트의 경우 조인트별로 회전만 할 경우 무릎의 경우 1 자유도를 어깨 조인트의 경우 최대 3 자유도를, 이동까지 하는 루트 조인트의 경우 6 자유도로 표현할 수 있다. 그리고, 본 발명에 따른 디지털 클론 생성 장치는 액터의 외형과 자세 제어를 위해 파라미트릭(parametric) 형상 제어 방식을 이용한다. 이를 위해 도 5와 같이 신체를 골격 구조에 대해 바디(51), 좌/우 팔(52), 좌/우 다리(53)의 5개의 파트로 나눈다. 그리고, 각 파트 별로 파라미트릭 넙스커브(nurbs curve)와 넙스곡면(nurbs surface)으로 표현되는 파라미트릭 스윕 표면(sweep surface)을 이용하여 표준 형상을 근사화한 파라미트릭 스윕 표면 구조를 형성한다. 그리고, 파라미트릭 형상 제어 엔진이 스윕표면 구조와 메쉬구조의 각 정점(vertex)들의 결합(binding)을 통해 골격 구조의 관절 자세 제어에 대응하여 외형의 형상을 변형하도록 사용된다.
이 때, 골격 구조의 자세별로 골격구조의 진행방향과 수직으로 교차하는 외형 단면에 실제 골격과 근육계의 동작특성이 반영된 형상 정보가 저장되어 있고, 각 키프레임의 3차원 평면과 교차하는 자세별 외형의 형상 단면 정보는 본 발명에서 모델링하고자 하는 제어파라미터 별 반응인자들의 예제가 될 수 있다. 이러한 형상단면 예제 정보들을 자세별로 수집하면 도 9와 같이 특정 패턴을 가지는 반응관계(91)를 생성할 수 있게 된다. 도 9는 반응 관계에 대하여 설명하기 위해 키프레임의 중심점(72b, S1, S2, S3, S4)으로부터 각 특징점(72d, P1, P2, P3, P4 ,PM)까지의 반지름(72e) 정보들을 키프레임에 종속되는 하나의 조인트 회전각 제어 파라미터의 함수로 도식화한 것이다. 실제 반응관계는 도식화된 3 차원의 함수가 아닌 다차원의 함수관계를 가지게 된다.
이러한 반응관계는 대부분 비선형적인 특성을 가지나 샘플의 수가 증가할 경우 선형근사화로 잘 표현될 수 있으며, SVD(singular value decomposition)와 같은 선형함수 해법이나 자코비안 기반의 선형근사화 최적화 방법으로 관계식을 통해 모델링할 수 있다. 하지만 이러한 모델링 과정에서 보면 실제 각 키프레임의 반응인자에 영향을 주는 제어파라미터는 대부분 키프레임에 인접한 골격구조의 관절 회전각들로 제한된다. 그리고, 이렇게 실제 반응인자에 영향을 주는 제어 파라미터에 대하여 모델링 과정에서 주성분 분석 과정을 활용하여, 상기 반응 관계가 단순화 될 수 있다. 본 발명의 이러한 모델링은 예제의 증가에 대해 독립적이며, 소수의 파라미터에 의해 표현되기 때문에 새로운 예제 입력에 대해 쉽게 재모델링 및 변형이 가능하고, 신장, 비만, 성별, 나이에 따른 개개인의 상이한 외형특성에 대해 쉽게 변형이 가능하며, 외형 변형을 위한 계산 시간을 거의 요구하지 않는다는 장점을 가진다.
예제 기반 파라미터 학습부(115)는 파라미트릭 형상 제어 엔진 생성부(114)에 의하여 모델링된 반응 관계를 이용하여, 골격 구조 생성부(111) 및 키프레임 생성부(112)에 의하여 생성된 골격 구조 및 키프레임에 대하여 렌더링한다. 또한, 예제 기반 파라미터 학습부(115)는 렌더링한 결과물과 자세별 외형 변형 예제(10)를 비교하여, 메쉬 구조의 정점 별 3 차원 위치 오차를 감소시키도록 반응 관계의 반응 파라미터 값을 갱신한다.
도 7a 내지 도7d에는 골격 구조(71), 골격 구조(71)를 따라 형성된 키프레임(72), 키프레임(72)의 특징점들을 교차하도록 정의된 넙스 괘적 커브(73) 및 스윕 표면(74)이 도시되어 있다.
도 8에는 키프레임(72)의 단면의 일 예가 도시되어 있다. 즉, 키프레임(72)은 3차원 평면(72a) 상의 중심점(72b), 3차원 평면(72a)과 교차하는 인접 메쉬들의 교점들을 연결해 생성된 커브(72c) 및 커브(72c)를 근사화하는 특징점(72d)을 포함하여 구성된다.
고유 인체 모델 생성부(120)는 먼저, 액터의 자세별 다시점 영상 예제(20)를 입력으로 받는다. 그리고, 고유 인체 모델 생성부(120)는 액터의 다시점 영상 예제(20)를 통해 액터의 3 차원 모델을 생성한다. 그리고, 고유 인체 모델 생성부(120)는 3 차원 모델에 표준 인체 모델을 전이함으로써 액터의 자세 변경에 따른 고유한 외형 변형이 반영된 고유 인체 모델을 생성한다.
이러한, 고유 인체 모델 생성부(120)는 외형 복원부(121), 자세 추정부(122), 표준 인체 모델 전이부(123), 파라미터 적응부(124), 텍스쳐 맵 보정부(125)를 포함하여 구성될 수 있다.
외형 복원부(121)는 액터의 다시점 영상 예제(20)들을 입력 받는다. 그리고, 외형 복원부(121)는 액터의 3 차원 기하학적 외형 정보를 복원하여 3 차원 모델을 생성한다.
자세 추정부(122)는 3 차원 모델의 골격 구조의 관절 조인트의 위치를 인체계측학적 골격 구조 분석을 통해 추정하여 추정 3 차원 모델을 생성한다.
표준 인체 모델 전이부(123)는 3 차원 모델로부터 관절 조인트의 관절 제어각에 대한 고유 반응 관계를 수집한다. 그리고, 표준 인체 모델 전이부(123)는 표준 인체 모델을 추정 3 차원 모델에 대응하게 전이시킨다.
파라미터 적응부(124)는 표준 인체 모델 전이부(123)에서 수집한 고유 반응 관계의 정보를 이용하여 액터의 고유한 동작에 따른 외형 변형을 반영할 수 있도록 파라미트릭 형상 제어 엔진의 파라미터 값을 변경한다. 대부분의 인체는 연령, 성별, 비만도, 크기에 따라 관절 제어각에 대한 형상 변형의 정도를 달리한다. 하지만 이러한 형상 변형을 주도하는 골격계와 근육계의 특성은 동일하기 때문에, 일정 경향성을 유지하게 된다. 그리고, 파라미터 적응부(124)는 개인별로 샘플링된 고유 반응 관계의 정보를 이용해서 스케일링, 오프셋 등의 비교적 단순한 적용을 통해 파라미트릭 형상 제어 엔진의 파라미터 값을 변경한다.
파라미터 적응부(124)는 도 10의 예제와 같이 표준 인체 모델의 키프레임별 반응 관계 정보(91)를 표준 인체 모델 전이부(123)에서 수집한 소수의 고유 반응 관계(92)를 이용하여 액터의 고유한 동작에 따른 형상변형을 수용할 수 있도록 모델링 파라미터들을 재모델링(91')한다.
텍스쳐 맵 보정부(125)는 다시점 영상 예제(20)들의 텍스쳐 정보를 가시성의 가중치로 적용하여 표준 인체 모델의 텍스쳐 맵에 반영할 수 있다. 즉, 텍스쳐맵 보정부(125)는 전이된 표준 인체 모델의 메쉬 구조의 각 카메라에 대한 가시성 테스트를 통해, 가시성을 가지는 카메라 영상의 텍스쳐 정보를 가중치로 적용하여 표준 인체 모델의 텍스쳐 맵에 반영할 수 있다. 그리고, 텍스쳐 맵 보정부(125)는 다시점 영상 예제가 텍스쳐 정보를 제공하지 못하거나, 표면의 반사특성에 따라 람버션(Lambertian) 표면 반사를 따르지 않는 경우, 자세에 종속적인 텍스쳐 정보를 제공할 수 있다. 특정 자세에서 제공되지 않는 텍스쳐 정보는 인접 예제 자세의 정보에 가중치를 적용하고, 인페인팅(Inpainting) 기법과 결합하여 적용될 수 있다. 그리고, 자세에 종속적인 텍스쳐 정보는 BRDF 모델과 같은 표면반사특성을 근사화 모델링하는 수식을 이용하여 Diffuse 텍스쳐 성분과 Specular 텍스쳐 성분을 분리할 수 있고 별도로 저장하여 새로운 렌더링 조명 환경에 맞게 표면칼라 값을 재현해 낼 수 있다.
이하에서는 본 발명에 따른 디지털 클론 생성 방법을 설명하도록 한다.
도 11 내지 도 12는 본 발명에 따른 디지털 클론 생성 방법을 설명하기 위한 동작 흐름도이다. 즉, 도 11은 본 발명에 따른 디지털 클론 생성 방법에 있어서의, 표준 인체 모델을 생성하기 위한 방법을 설명하기 위한 도면이다. 그리고, 도 12는 본 발명에 따른 디지털 클론 생성 방법에 있어서의, 도 11의 표준 인체 모델을 이용하여 고유 인체 모델을 생성하기 위한 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명에 따른 디지털 클론 생성 방법에 있어서의, 표준 인체 모델을 생성하기 위한 방법은 먼저, 표준 메쉬 인체 모델을 입력으로 받는다(S110).
그리고, 표준 메쉬 인체 모델의 외형 정보에 대응되도록 표준 메쉬 인체 모델의 골격 구조를 생성한다(S120).
또한, 골격 구조를 따라 표준 메쉬 인체 모델의 외형을 근사화하는 복수 개의 키프레임을 생성한다(S130). 이 때, 복수 개의 키프레임은 골격 구조와 교차하는 중심점, 및 키프레임의 3 차원 평면과 표준 메쉬 인체 모델의 메쉬가 교차하는 특징점을 포함하여 형성된다. 그리고, 복수 개의 키프레임은 골격 구조의 관절 조인트와 교차하는 관절 키프레임을 포함하여 구성될 수 있다.
또한, 표준 인체 모델에 대한 텍스쳐 맵을 생성한다(S140).
또한, 자세별 외형 변형 예제에서 관절 조인트의 관절 제어각에 대한 외형 변형 정보들을 추출한다. 그리고, 추출한 외형 변형 정보를 반영하여 파라미트릭 형상 제어 엔진을 생성한다(S150). 이 때, 단계(S150)에서는 추출된 외형 변형 정보를 반영하여 각각의 키프레임의 단면의 반응 관계를 모델링하여 파라미트릭 형상 제어 엔진을 생성할 수 있다. 이 때, 단계(S150)에서는 키프레임의 형상이 관절 조인트의 관절 제어각에 따라 파라미트릭하게 변형되도록 반응 관계를 모델링할 수 있다. 그리고, 단계(S150)에서는 키프레임의 형상이 관절 조인트에 이웃하는 관절 조인트의 관절 제어각에 다중 반응하여 변형되도록, 반응 관계를 모델링할 수 있다. 이 때, 형상 제어 엔진은 관절 키프레임의 3 차원 위치 값이 관절 조인트의 관절 제어각에 따라 변경되도록, 관절 키프레임에 관절 제어각에 따라 파라미트릭하게 변형되는 자유도를 부여할 수 있다. 그리고, 이 때 파라미트릭 형상 제어 엔진은 관절 제어각에 따라 상기 키프레임의 상기 중심점으로부터 상기 특징점에 대한 반지름의 길이가 변경되도록 제어할 수 있다.
단계(S150)을 통해 모델링 된 반응 관계를 이용하여 키프레임 및 골격 구조에 대하여 렌더링한다. 그리고, 렌더링한 결과물과 자세별 외형 변형 예제를 비교하여, 메쉬 구조의 정점 별 3 차원 위치 오차를 감소시키도록 반응 관계의 반응 파라미터 값을 갱신한다(S160).
그리고, 표준 메쉬 인체 모델에 상기 파라미트릭 형상 제어 엔진을 반영하여 표준 인체 모델을 생성한다(S170).
상기와 같이 생성된 표준 인체 모델은 고유 인체 모델을 생성하기 위하여 사용되는데, 이하 자세히 설명하도록 한다.
도 12를 참조하면, 본 발명에 따른 디지털 클론 생성 방법에 있어서의, 고유 인체 모델을 생성하기 위한 방법은 먼저, 액터의 자세 변경에 따른 다시점 영상 예제를 입력받는다(S210).
그리고, 다시점 영상 예제를 통해 액터의 3 차원 기하학적 외형 정보를 분석하여 3 차원 모델을 복원한다(S220).
단계(S220)를 통해 복원된 3차원 모델에 대해 표준 모델에서 정의한 골격 구조의 각 관절 조인트의 위치를 사용자의 GUI 기반이나 인체계측학절 골격 구조 분석을 통해 추정한다(S230). 즉, 3 차원 모델의 골격 구조의 관절 조인트의 위치를 인체계측학적 골격 구조 분석을 통해 추정하여 추정 3 차원 모델을 생성한다.
또한, 단계(S220)를 통해 복원된 3 차원 모델에 단계(S110) 내지 단계(S170)을 통해 생성된 표준 인체 모델을 전이한다(S240).
또한, 3 차원 모델로부터 관절 조인트의 관절 제어각에 대한 고유 반응 관계를 수집한다. 그리고, 고유 반응 관계 정보를 이용하여 액터의 고유한 동작에 따른 외형 변형을 반영할 수 있도록 파라미트릭 형상 제어 엔진의 파라미터 값을 변경한다(S250).
그리고, 액터의 다시점 영상 예제들의 텍스쳐 정보를 가시성의 가중치로 적용하여 표준 인체 모델의 텍스쳐 맵을 보정한다(S260).
상기와 같은 단계(S210) 내지 단계(S270)을 통해 모션에 따른 액터의 고유 외형 변형 부분까지 복원된 고유 인체 모델을 생성한다(S270).
이상에서와 같이 본 발명에 따른 디지털 클론 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100; 디지털 클론 생성 장치
110; 표준 인체 모델 생성부
111; 골격 구조 생성부
112; 키프레임 생성부
113; 텍스쳐 맵 생성부
114; 파라미트릭 형상 제어 엔진 생성부
115; 예제 기반 파라미터 학습부
120; 고유 인체 모델 생성부
121; 외형 복원부
122; 자세 추정부
123; 표준 인체 모델 전이부
124; 파라미터 적응부
125; 텍스쳐 맵 보정부

Claims (20)

  1. 자세별 외형 변형 예제에서 관절 조인트의 관절 제어각에 대한 외형 변형 정보를 추출하고, 상기 외형 변형 정보를 반영한 파라미트릭 형상 제어 엔진을 생성하며, 표준 메쉬 인체 모델에 상기 파라미트릭 형상 제어 엔진을 반영하여 표준 인체 모델을 생성하는 표준 인체 모델 생성부; 및
    액터의 자세 변경에 따른 다시점 영상 예제를 입력으로 받고, 상기 다시점 영상 예제를 통해 상기 액터의 3 차원 모델을 생성하며, 상기 3 차원 모델에 상기 표준 인체 모델을 전이함으로써 상기 액터의 자세 변경에 따른 고유한 외형 변형이 반영된 고유 인체 모델을 생성하는 고유 인체 모델 생성부
    를 포함하는 것을 특징으로 하는 디지털 클론 생성 장치.
  2. 청구항 1에 있어서,
    상기 표준 인체 모델 생성부는
    상기 표준 메쉬 인체 모델을 입력받아, 상기 표준 메쉬 인체 모델의 골격 구조를 생성하는 골격 구조 생성부;
    상기 골격 구조를 따라 상기 표준 메쉬 인체 모델의 외형을 근사화하는 복수 개의 키프레임을 생성하는 키프레임 생성부; 및
    상기 자세별 외형 변형 예제로부터 상기 관절 조인트의 상기 관절 제어각에 대한 상기 외형 변형 정보를 추출하고, 상기 외형 변형 정보를 반영하여 각각의 키프레임의 단면의 반응 관계를 모델링한 파라미트릭 형상 제어 엔진을 생성하는 파라미트릭 형상 제어 엔진 생성부를 포함하는 것을 특징으로 하는 디지털 클론 생성 장치.
  3. 청구항 2에 있어서,
    상기 표준 인체 모델 생성부는
    상기 반응 관계를 이용하여 상기 키프레임 및 상기 골격 구조에 대하여 렌더링하며,
    렌더링한 결과물과 상기 자세별 외형 변형 예제를 비교하여, 메쉬 구조의 정점 별 3 차원 위치 오차를 감소시키도록 상기 반응 관계의 반응 파라미터 값을 갱신하는 예제 기반 파라미터 학습부를 더 포함하는 것을 특징으로 하는 디지털 클론 생성 장치.
  4. 청구항 2에 있어서,
    상기 파라미트릭 형상 제어 엔진 생성부는
    상기 키프레임의 형상이 상기 관절 조인트의 상기 관절 제어각에 따라 파라미트릭하게 변형되도록 상기 반응 관계를 모델링하는 것을 특징으로 하는 디지털 클론 생성 장치.
  5. 청구항 4에 있어서,
    상기 파라미트릭 형상 제어 엔진 생성부는
    상기 키프레임의 형상이 상기 관절 조인트에 이웃하는 관절 조인트의 관절 제어각에 다중 반응하여 변형되도록, 상기 반응 관계를 모델링하는 것을 특징으로 하는 디지털 클론 생성 장치.
  6. 청구항 2에 있어서,
    상기 복수 개의 키프레임의 각각은
    상기 골격 구조와 교차하는 중심점, 및 상기 키프레임의 3 차원 평면과 상기 표준 메쉬 인체 모델의 메쉬가 교차하는 특징점을 포함하여 형성되고,
    상기 복수 개의 키프레임은
    상기 골격 구조의 관절 조인트와 교차하는 관절 키프레임을 포함하여 구성되는 것을 특징으로 하는 디지털 클론 생성 장치.
  7. 청구항 6에 있어서,
    상기 파라미트릭 형상 제어 엔진은
    상기 관절 키프레임의 3 차원 위치 값이 상기 관절 조인트의 상기 관절 제어각에 따라 변경되도록, 상기 관절 키프레임에 상기 관절 제어각에 따라 파라미트릭하게 변형되는 자유도를 부여하는 것을 특징으로 하는 디지털 클론 생성 장치.
  8. 청구항 6에 있어서,
    상기 파라미트릭 형상 제어 엔진은
    상기 관절 제어각에 따라 상기 키프레임의 상기 중심점으로부터 상기 특징점에 대한 반지름의 길이가 변경되도록 제어하는 것을 특징으로 하는 디지털 클론 생성 장치.
  9. 청구항 1에 있어서,
    상기 고유 인체 모델 생성부는
    상기 액터의 상기 다시점 영상 예제들을 입력 받아 상기 액터의 3 차원 기하학적 외형 정보를 복원하여 상기 3 차원 모델을 생성하는 외형 복원부;
    상기 3 차원 모델의 골격 구조의 관절 조인트의 위치를 인체계측학적 골격 구조 분석을 통해 추정하여 추정 3 차원 모델을 생성하는 자세 추정부;
    상기 3 차원 모델로부터 상기 관절 조인트의 상기 관절 제어각에 대한 고유 반응 관계를 수집하고, 상기 표준 인체 모델을 상기 추정 3 차원 모델에 대응하게 전이하는 표준 인체 모델 전이부; 및
    상기 표준 인체 모델 전이부에서 수집된 고유 반응 관계의 정보를 이용하여 상기 액터의 고유한 동작에 따른 외형 변형을 반영할 수 있도록 상기 파라미트릭 형상 제어 엔진의 파라미터 값을 변경하는 파라미터 적응부를 포함하는 것을 특징으로 하는 파라미트릭 인체 모델 생성 장치.
  10. 청구항 9에 있어서,
    상기 표준 인체 모델 생성부는 상기 표준 인체 모델에 대한 텍스쳐 맵을 생성하는 텍스쳐 맵 생성부를 더 포함하고,
    상기 고유 인체 모델 생성부는 상기 다시점 영상 예제들의 텍스쳐 정보를 가시성의 가중치로 적용하여 상기 표준 인체 모델의 상기 텍스쳐 맵에 반영하는 텍스쳐 맵 보정부를 더 포함하는 것을 특징으로 하는 디지털 클론 생성 장치.
  11. 표준 메쉬 인체 모델을 입력 받는 단계;
    자세별 외형 변형 예제에서 관절 조인트의 관절 제어각에 대한 외형 변형 정보들을 추출하는 단계;
    상기 외형 변형 정보를 반영한 파라미트릭 형상 제어 엔진을 생성하는 단계;
    상기 표준 메쉬 인체 모델에 상기 파라미트릭 형상 제어 엔진을 반영하여 표준 인체 모델을 생성하는 단계;
    액터의 자세 변경에 따른 다시점 영상 예제를 입력 받는 단계;
    상기 다시점 영상 예제를 통해 상기 액터의 3 차원 기하학적 외형 정보를 분석하여 3 차원 모델을 복원하는 단계; 및
    상기 3 차원 모델에 상기 표준 인체 모델을 전이함으로써, 상기 액터의 자세 변경에 따른 고유한 외형 변형이 반영된 고유 인체 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 디지털 클론 생성 방법.
  12. 청구항 11에 있어서,
    상기 표준 메쉬 인체 모델의 외형 정보에 대응되도록 상기 표준 메쉬 인체 모델의 골격 구조를 생성하는 단계; 및
    상기 골격 구조를 따라 상기 표준 메쉬 인체 모델의 외형을 근사화하는 복수 개의 키프레임을 생성하는 단계를 더 포함하는 것을 특징으로 하는 디지털 클론 생성 방법.
  13. 청구항 12에 있어서,
    상기 파라미트릭 형상 제어 엔진을 생성하는 단계는,
    상기 외형 변형 정보를 반영하여 각각의 키프레임의 단면의 반응 관계를 모델링하여 상기 파라미트릭 형상 제어 엔진을 생성하는 것을 특징으로 하는 디지털 클론 생성 방법.
  14. 청구항 13에 있어서,
    상기 반응 관계를 이용하여 상기 키프레임 및 상기 골격 구조에 대하여 렌더링하며,
    렌더링한 결과물과 상기 자세별 외형 변형 예제를 비교하여, 메쉬 구조의 정점 별 3 차원 위치 오차를 감소시키도록 상기 반응 관계의 반응 파라미터 값을 갱신하는 단계를 더 포함하는 것을 특징으로 하는 디지털 클론 생성 방법.
  15. 청구항 13에 있어서,
    상기 파라미트릭 형상 제어 엔진을 생성하는 단계는,
    상기 키프레임의 형상이 상기 관절 조인트의 상기 관절 제어각에 따라 파라미트릭하게 변형되도록 상기 반응 관계를 모델링하는 것을 특징으로 하는 디지털 클론 생성 방법.
  16. 청구항 15에 있어서,
    상기 파라미트릭 형상 제어 엔진을 생성하는 단계는,
    상기 키프레임의 형상이 상기 관절 조인트에 이웃하는 관절 조인트의 관절 제어각에 다중 반응하여 변형되도록, 상기 반응 관계를 모델링하는 것을 특징으로 하는 디지털 클론 생성 방법.
  17. 청구항 12에 있어서,
    상기 복수 개의 키프레임의 각각은
    상기 골격 구조와 교차하는 중심점, 및 상기 키프레임의 3 차원 평면과 상기 표준 메쉬 인체 모델의 메쉬가 교차하는 특징점을 포함하여 형성되고,
    상기 복수 개의 키프레임은
    상기 골격 구조의 관절 조인트와 교차하는 관절 키프레임을 포함하여 구성되는 것을 특징으로 하는 디지털 클론 생성 방법.
  18. 청구항 17에 있어서,
    상기 파라미트릭 형상 제어 엔진은
    상기 관절 키프레임의 3 차원 위치 값이 상기 관절 조인트의 상기 관절 제어각에 따라 변경되도록, 상기 관절 키프레임에 상기 관절 제어각에 따라 파라미트릭하게 변형되는 자유도가 부여되도록 하는 것을 특징으로 하는 디지털 클론 생성 방법.
  19. 청구항 17에 있어서,
    상기 파라미트릭 형상 제어 엔진은
    상기 관절 제어각에 따라 상기 키프레임의 상기 중심점으로부터 상기 특징점에 대한 반지름의 길이가 변경되도록 제어하는 것을 특징으로 하는 디지털 클론 생성 방법.
  20. 청구항 11에 있어서,
    상기 3 차원 모델의 골격 구조의 관절 조인트의 위치를 인체계측학적 골격 구조 분석을 통해 추정하여 추정 3 차원 모델을 생성하는 단계; 및
    상기 3 차원 모델로부터 상기 관절 조인트의 상기 관절 제어각에 대한 고유 반응 관계를 수집하고, 상기 고유 반응 관계 정보를 이용하여 상기 액터의 고유한 동작에 따른 외형 변형을 반영할 수 있도록 상기 파라미트릭 형상 제어 엔진의 파라미터 값을 변경하는 단계를 더 포함하는 것을 특징으로 하는 디지털 클론 생성 방법.
KR1020100133937A 2010-12-23 2010-12-23 디지털 클론 생성 장치 및 방법 KR101796190B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100133937A KR101796190B1 (ko) 2010-12-23 2010-12-23 디지털 클론 생성 장치 및 방법
US13/335,668 US9378589B2 (en) 2010-12-23 2011-12-22 Apparatus and method for generating digital clone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100133937A KR101796190B1 (ko) 2010-12-23 2010-12-23 디지털 클론 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120072128A true KR20120072128A (ko) 2012-07-03
KR101796190B1 KR101796190B1 (ko) 2017-11-13

Family

ID=46316102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100133937A KR101796190B1 (ko) 2010-12-23 2010-12-23 디지털 클론 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US9378589B2 (ko)
KR (1) KR101796190B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020251B2 (en) 2012-11-26 2015-04-28 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR20180009659A (ko) * 2016-07-19 2018-01-29 주식회사 넥슨코리아 3d 캐릭터 움직임 처리 장치 및 3d 캐릭터 움직임 처리 방법
CN108074284A (zh) * 2016-11-10 2018-05-25 奥多比公司 使用多个输入网格生成有效的风格化的网格形变

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332176B2 (en) 2014-08-28 2019-06-25 Ebay Inc. Methods and systems for virtual fitting rooms or hybrid stores
WO2012072617A1 (en) * 2010-11-29 2012-06-07 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Computer-implemented method and apparatus for tracking and re-shaping a human shaped figure in a digital video
US8922547B2 (en) * 2010-12-22 2014-12-30 Electronics And Telecommunications Research Institute 3D model shape transformation method and apparatus
TW201314621A (zh) * 2011-09-21 2013-04-01 Univ Nat Cheng Kung 電子人模之特徵資料結構
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US20130293686A1 (en) * 2012-05-03 2013-11-07 Qualcomm Incorporated 3d reconstruction of human subject using a mobile device
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9311746B2 (en) 2012-05-23 2016-04-12 Glasses.Com Inc. Systems and methods for generating a 3-D model of a virtual try-on product
KR101728588B1 (ko) * 2014-03-27 2017-05-02 한국전자통신연구원 디지털 의류를 이용하여 가상 체험 서비스 방법을 제공하는 스마트 단말 및 가상 체험 제공 서버
US10529009B2 (en) 2014-06-25 2020-01-07 Ebay Inc. Digital avatars in online marketplaces
US10653962B2 (en) 2014-08-01 2020-05-19 Ebay Inc. Generating and utilizing digital avatar data for online marketplaces
WO2017040905A1 (en) * 2015-09-03 2017-03-09 Stc.Unm Accelerated precomputation of reduced deformable models
CN107369202B (zh) * 2017-07-10 2020-04-21 北京航空航天大学 姿势引导的跨类别三维模型组合建模方法及装置
KR102199458B1 (ko) * 2017-11-24 2021-01-06 한국전자통신연구원 3차원 컬러 메쉬 복원 방법 및 장치
CN108171788B (zh) * 2017-12-19 2021-02-19 西安蒜泥电子科技有限责任公司 基于三维建模的身体变化表示方法
DE102018214445A1 (de) 2018-08-27 2020-01-02 Audi Ag Verfahren zur Ermittlung eines Insassenmodells und Bildaufnahmeeinrichtung
CN110060329B (zh) * 2019-01-15 2023-03-10 叠境数字科技（上海）有限公司 一种基于彩色深度视频流数据的移动端人体模型重建方法
JP7196645B2 (ja) * 2019-01-31 2022-12-27 コニカミノルタ株式会社 姿勢推定装置、行動推定装置、姿勢推定プログラム、および姿勢推定方法
US20230281921A1 (en) * 2022-03-01 2023-09-07 Tencent America LLC Methods of 3d clothed human reconstruction and animation from monocular image
CN116912433B (zh) * 2023-09-15 2023-12-19 摩尔线程智能科技(北京)有限责任公司 三维模型骨骼绑定方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7546156B2 (en) * 2003-05-09 2009-06-09 University Of Rochester Medical Center Method of indexing biological imaging data using a three-dimensional body representation
US7804998B2 (en) * 2006-03-09 2010-09-28 The Board Of Trustees Of The Leland Stanford Junior University Markerless motion capture system
KR101194604B1 (ko) 2008-12-22 2012-10-25 한국전자통신연구원 인체 모델의 형상 변형 방법 및 장치
KR101095860B1 (ko) 2008-12-22 2011-12-21 한국전자통신연구원 인체 모델의 형상 변형 방법
KR101221451B1 (ko) 2008-12-22 2013-01-11 한국전자통신연구원 다시점 영상기반 동적 개체의 디지털 클론 생성 방법
US9240067B2 (en) * 2009-10-15 2016-01-19 Yeda Research & Development Co. Ltd. Animation of photo-images via fitting of combined models

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020251B2 (en) 2012-11-26 2015-04-28 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR20180009659A (ko) * 2016-07-19 2018-01-29 주식회사 넥슨코리아 3d 캐릭터 움직임 처리 장치 및 3d 캐릭터 움직임 처리 방법
CN108074284A (zh) * 2016-11-10 2018-05-25 奥多比公司 使用多个输入网格生成有效的风格化的网格形变
CN108074284B (zh) * 2016-11-10 2023-10-13 奥多比公司 使用多个输入网格生成有效的风格化的网格形变

Also Published As

Publication number Publication date
KR101796190B1 (ko) 2017-11-13
US9378589B2 (en) 2016-06-28
US20120162218A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
KR20120072128A (ko) 디지털 클론 생성 장치 및 방법
KR101221451B1 (ko) 다시점 영상기반 동적 개체의 디지털 클론 생성 방법
Hornung et al. Character animation from 2d pictures and 3d motion data
US10789754B2 (en) Generating target-character-animation sequences based on style-aware puppets patterned after source-character-animation sequences
Chen et al. KinÊtre: animating the world with the human body
KR100727034B1 (ko) 3차원 공간상에서 2차원 인간형 캐릭터의 표현 및애니메이션 방법
US20170132827A1 (en) Data Driven Design and Animation of Animatronics
JP2022503647A (ja) クロスドメイン画像変換
KR101102778B1 (ko) 리깅 복제를 통한 캐릭터 리깅 자동화 방법 및 장치
CN110246209B (zh) 图像处理方法及装置
CN109840940A (zh) 动态三维重建方法、装置、设备、介质和系统
KR20220017900A (ko) 단일 이미지-기반 실시간 신체 애니메이션
WO2021063271A1 (zh) 人体模型重建方法、重建系统及存储介质
CN112257657A (zh) 脸部图像融合方法及装置、存储介质、电子设备
CN115346000A (zh) 三维人体重建方法、装置、计算机可读介质及电子设备
Jacka et al. A comparison of linear skinning techniques for character animation
CN115908664B (zh) 人机交互的动画生成方法、装置、计算机设备、存储介质
KR20110070736A (ko) 근육 및 외형 곡면 기반 개체 표준 메쉬 모델의 파라메트릭 제어를 통한 자동 리깅 및 형상 전이 방법
Luo et al. RaBit: Parametric Modeling of 3D Biped Cartoon Characters with a Topological-consistent Dataset
Stoll et al. A volumetric approach to interactive shape editing
CN116071485A (zh) 一种人体三维重建方法及设备
CN114119909A (zh) 一种可控人体模型的建立方法、设备和存储介质
Chen et al. Mesh sequence morphing
de Aguiar et al. Representing and manipulating mesh-based character animations
Zhang et al. SIFU: Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant