KR20200056764A - Method for automatically set up joints to create facial animation of 3d face model and computer program - Google Patents

Method for automatically set up joints to create facial animation of 3d face model and computer program Download PDF

Info

Publication number
KR20200056764A
KR20200056764A KR1020180140833A KR20180140833A KR20200056764A KR 20200056764 A KR20200056764 A KR 20200056764A KR 1020180140833 A KR1020180140833 A KR 1020180140833A KR 20180140833 A KR20180140833 A KR 20180140833A KR 20200056764 A KR20200056764 A KR 20200056764A
Authority
KR
South Korea
Prior art keywords
model
joints
target
joint
standard model
Prior art date
Application number
KR1020180140833A
Other languages
Korean (ko)
Inventor
김현준
Original Assignee
주식회사 스튜디오매크로그래프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스튜디오매크로그래프 filed Critical 주식회사 스튜디오매크로그래프
Priority to KR1020180140833A priority Critical patent/KR20200056764A/en
Publication of KR20200056764A publication Critical patent/KR20200056764A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Disclosed is a method for automatically setting up joints in a 3D target model by using a computer. The method comprises the steps of: receiving a 3D standard model in which first joints having a hierarchical structure are set up; receiving a 3D target model having the same geometry as a geometry of the 3D standard model; obtaining a target skeleton by copying the first joints having the hierarchical structure from the 3D standard model in which the first joints having the hierarchical structure are set up; calculating MBBs of the 3D standard model and the 3D target model; and modifying the target skeleton according to the position and size of the 3D target model by using the calculated MBBs, and placing the modified target skeleton in the 3D target model.

Description

3D얼굴 모델의 얼굴 애니메이션을 생성하기 위한 조인트 자동 셋업 방법과 컴퓨터 프로그램{METHOD FOR AUTOMATICALLY SET UP JOINTS TO CREATE FACIAL ANIMATION OF 3D FACE MODEL AND COMPUTER PROGRAM}METHOD FOR AUTOMATICALLY SET UP JOINTS TO CREATE FACIAL ANIMATION OF 3D FACE MODEL AND COMPUTER PROGRAM}

본 발명의 개념에 따른 실시 예는 조인트 자동 셋업 방법에 관한 것으로, 특히 3D얼굴 모델의 얼굴 애니메이션을 생성하기 위한 조인트들을 자동으로 셋업하는 방법과 컴퓨터 프로그램에 관한 것이다.An embodiment according to the concept of the present invention relates to a joint automatic setup method, and more particularly, to a method for automatically setting up joints for generating a face animation of a 3D face model and a computer program.

일반적으로 3차원 얼굴 애니메이션을 만드는 방법(또는 방식)은 브랜드 쉐입 (blendshape) 방법(또는 방식)과 조인트(joint) 기반 방법(또는 방식)으로 나눌 수 있다.In general, a method (or method) of creating a 3D face animation can be divided into a brand shape method (or method) and a joint-based method (or method).

상기 브랜드 쉐입 방법은 수십 내지 수백 가지의 기본 표정들을 만들어 놓고 상기 기본 표정들을 선형 보간(linear interpolation) 등의 방법으로 조합하여 얼굴 표정과 얼굴 애니메이션을 만드는 방법이다. 상기 브랜드 쉐입 방법은 영화나 애니메이션과 같이 제작시간이 오래 걸려도 고품질의 영상을 필요로 하는 콘텐츠 제작에 자주 사용된다.The brand shape method is a method of creating facial expressions and facial animations by making dozens to hundreds of basic expressions and combining the basic expressions by a method such as linear interpolation. The brand shape method is often used to produce content that requires high-quality video even if it takes a long time to produce, such as a movie or animation.

도 1a 내지 도 1c는 종래의 조인트-기반 방식을 설명하기 위한 그림들로서 3D 얼굴 모델, 조인트들과 뼈대들, 및 조인트 셋업된 3D 얼굴 모델을 나타낸다. 도 1a는 3D 얼굴 모델을 나타내고, 도 2b는 조인트들을 나타내고, 도 1c는 조인트들이 셋업된 3D 얼굴 모델을 나타낸다.1A-1C show 3D face models, joints and skeletons, and a joint-set 3D face model as pictures for explaining a conventional joint-based scheme. 1A shows a 3D face model, FIG. 2B shows joints, and FIG. 1C shows a 3D face model with joints set up.

조인트-기반 방법은 도 1c에 도시된 바와 같이 얼굴 표정을 생성하기 위한 조인트들을 3D 얼굴 모델의 내부에 만들어 놓고 상기 조인트들과 상기 3D 얼굴 모델의 메쉬(mesh)를 연결시킨 후 상기 조인트들을 움직여 전체적인 얼굴 표정을 만드는 방법이다. 상기 조인트-기반 방법은 얼굴 표정의 제어가 직관적이고 얼굴 애니메이션을 만드는데 필요한 데이터의 양이 적어서 고품질 영상이 중요한 분야보다는 게임과 같은 실시간 처리가 중요한 분야에 많이 이용된다.The joint-based method creates joints for generating facial expressions as shown in FIG. 1C inside a 3D face model, connects the joints with a mesh of the 3D face model, and then moves the joints to create an overall This is how to make a facial expression. The joint-based method is used in areas where real-time processing such as a game is important rather than in areas where high-quality images are important because the control of facial expressions is intuitive and the amount of data required to create a face animation is small.

그래서 상기 조인트-기반 방법은 게임 엔진 등을 이용한 콘텐츠 제작에 주로 사용된다. 조인트-기반 방법은 조인트들을 얼굴 내부 모델 내부에 위치시키는 단계와 위치시킨 조인트들과 메쉬를 연결하는 스키닝(skinning) 단계로 구성된 총 2 단계들을 거쳐 이루어 지나, 3D 얼굴 모델이 바뀔때마다 작업자 일일이 수작업으로 조인트들을 3D 얼굴 모델의 내부에 위치시켜야 한다.Therefore, the joint-based method is mainly used for content production using a game engine or the like. The joint-based method goes through a total of two steps, the step of placing the joints inside the face internal model and the skinning step of connecting the positioned joints and the mesh, and the operator manually works whenever the 3D face model changes. The joints should be placed inside the 3D face model.

특허문헌 1: 대한민국등록특허공보- 10-1686028(2016년12월13일 공고)Patent Document 1: Republic of Korea Registered Patent Publication-10-1686028 (announced on December 13, 2016) 특허문헌 2: 대한민국등록특허공보- 10-1102778(2012년01월05일 공고)Patent Document 2: Republic of Korea Registered Patent Publication-10-1102778 (announced on January 5, 2012) 특허문헌 3: 대한민국등록특허공보- 10-0896065(2009년05월07일 공고)Patent Literature 3: Republic of Korea Registered Patent Publication-10-0896065 (announced on May 7, 2009)

본 발명이 이루고자 하는 기술적인 과제는, 3D 얼굴 모델이 바뀔때마다 작업자가 일일이 수작업으로 조인트들을 상기 3D 얼굴 모델의 내부에 위치시켜야 하는 문제점을 해결하기 위해 안출된 것으로서, 작업자 수작업으로 조인트 셋업해 놓은 하나의 3D 얼굴 표준 모델을 이용하여 주어진 3D 얼굴 모델에 조인트들을 자동으로 셋업하는 자동화 방법을 제공하는 것이다.The technical problem to be achieved by the present invention is to solve the problem that the operator must manually place the joints inside the 3D face model every time the 3D face model is changed, and the joint is set up manually by the worker. It provides an automated method to automatically set up joints in a given 3D face model using one 3D face standard model.

본 발명의 실시 예에 따라 컴퓨터와 결합되어 컴퓨터 판독가능한 저장 매체에 저장된 컴퓨터 프로그램은 제1조인트들이 셋업된 3D 표준 모델을 수신하는 단계와, 상기 3D 표준 모델의 기하학적 구조와 동일한 기하학적 구조를 갖는 상기 3D 대상 모델을 수신하는 단계와, 상기 제1조인트들의 집합에 해당하는 대상 뼈대를 이용하여, 상기 3D 대상 모델의 제2조인트들을 자동으로 셋업하는 단계를 포함한다.According to an embodiment of the present invention, a computer program coupled to a computer and stored in a computer-readable storage medium includes receiving a 3D standard model in which first joints are set up, and having the same geometry as that of the 3D standard model. And receiving a 3D target model and automatically setting second joints of the 3D target model using a target skeleton corresponding to the set of first joints.

본 발명의 실시 예에 따라 컴퓨터를 이용하여 3D 대상 모델에 조인트들을 자동으로 셋업하는 방법은 계층 구조를 갖는 제1조인트들이 셋업된 3D 표준 모델을 수신하는 단계와, 상기 3D 표준 모델의 기하학적 구조와 동일한 기하학적 구조를 갖는 상기 3D 대상 모델을 수신하는 단계와, 상기 계층 구조를 갖는 제1조인트들이 셋업된 3D 표준 모델로부터 상기 계층 구조를 갖는 제1조인트들을 복사하여 대상 뼈대를 획득하는 단계와, 상기 3D 표준 모델과 상기 3D 대상 모델의 MBB들을 계산하는 단계와, 계산된 MBB들을 이용하여 상기 3D 대상 모델의 위치와 크기에 맞게 상기 대상 뼈대를 변형하고, 변형된 대상 뼈대를 상기 3D 대상 모델에 위치시키는 단계를 포함한다.A method of automatically setting up joints in a 3D target model using a computer according to an embodiment of the present invention includes receiving a 3D standard model in which first joints having a hierarchical structure are set up, and the geometric structure of the 3D standard model. Receiving the 3D target model having the same geometry, and obtaining a target skeleton by copying the first joints having the hierarchical structure from a 3D standard model in which the first joints having the hierarchical structure are set up; and Calculating the 3D standard model and MBBs of the 3D target model, and using the calculated MBBs, deforming the target skeleton according to the position and size of the 3D target model, and positioning the modified target skeleton in the 3D target model It includes the steps.

본 발명의 실시 예에 따른 컴퓨터는 프로세서와, 데이터 저장 장치를 포함하고, 상기 프로세서는 계층 구조를 갖는 제1조인트들이 셋업된 3D 표준 모델을 수신하여 상기 데이터 저장 장치에 저장하고, 상기 3D 표준 모델의 기하학적 구조와 동일한 기하학적 구조를 갖는 상기 3D 대상 모델을 수신하여 상기 데이터 저장 장치에 저장하고, 상기 데이터 저장 장치에 저장된 상기 계층 구조를 갖는 제1조인트들이 셋업된 3D 표준 모델로부터 상기 계층 구조를 갖는 제1조인트들을 복사하여 대상 뼈대를 획득하고, 상기 3D 표준 모델과 상기 3D 대상 모델의 MBB을 계산하고, 계산된 MBB들을 이용하여 상기 3D 대상 모델의 위치와 크기에 맞게 상기 대상 뼈대를 변형하고, 변형된 대상 뼈대를 상기 3D 대상 모델에 위치시킨다.A computer according to an embodiment of the present invention includes a processor, a data storage device, and the processor receives a 3D standard model in which first joints having a hierarchical structure are set up and stores the 3D standard model in the data storage device. The 3D target model having the same geometry as the geometry of is received, stored in the data storage device, and has the hierarchical structure from the 3D standard model in which the first joints having the hierarchical structure stored in the data storage device are set up. Copy the first joints to obtain a target skeleton, calculate the MBD of the 3D standard model and the 3D target model, and transform the target skeleton according to the position and size of the 3D target model using the calculated MBBs, The deformed object skeleton is placed in the 3D object model.

본 발명의 실시 예에 따른 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램은, 3D 스캔 등을 통하여 수많은 3D 얼굴 모델들이 주어졌을 때 작업자 일일이 수작업으로 상기 3D 얼굴 모델들 각각에 조인트들을 셋업하지 않고 3D 표준 모델의 정보를 이용하여 3D 얼굴 모델들 각각에 조인트들을 자동으로 셋업하는 조인트 셋업을 수행할 수 있으므로, 조인트 셋업 작업의 효율을 높일 수 있는 효과가 있다.Method according to an embodiment of the present invention and the computer program capable of performing the method, when a number of 3D face models are given through 3D scan, the operator manually performs 3D without setting up joints in each of the 3D face models Since joint setup can be performed to automatically set up joints in each of the 3D face models using the information of the standard model, it is possible to increase the efficiency of the joint setup work.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1a 내지 도 1c는 종래의 조인트-기반 방식을 설명하기 위한 그림들로서 3D 얼굴 모델, 조인트들과 뼈대들, 및 조인트 셋업된 3D 얼굴 모델을 나타낸다.
도 2는 본 발명의 실시 예에 따른 3D 얼굴 모델의 얼굴 애니메이션을 생성하기 위한 조인트들을 자동으로 셋업하는 방법을 설명하기 위한 플로우차트이다.
도 3a 내지 도 3c는 본 발명에서 사용될 3D 얼굴 표준 모델, 3D 메쉬 얼굴 모델, 및 조인트 셋업된 3D 얼굴 표준 모델을 나타낸다.
도 4는 본 발명의 실시 예에서 설명될 조인트들과 뼈들을 나타낸다.
도 5는 본 발명의 실시 예에 따른 기하학적 구조가 같은 육면체와 기하학적 구조가 다른 육면체를 설명하기 위한 그림들이다.
도 6은 본 발명의 실시 예에 따라 기하학적 구조가 같은 얼굴 모델과 기하학적 구조가 다른 얼굴 모델을 설명하기 위한 그림들이다.
도 7은 일반적으로 얼굴 영역들을 정의하는 그림들이다.
도 8은 본 발명의 실시 예에 따라 얼굴 영역 MBB를 정의하는 그림들이다.
도 9는 본 발명의 실시 예에 따라 얼굴의 특징점이나 선들의 추출에 의해 얼굴 영역 MBB를 정의하는 그림이다.
도 10은 본 발명의 실시 예에 따라 얼굴 영역 MBB 수치를 정의하는 그림이다.
도 11은 본 발명의 실시 예에 따라 페이스 루트 조인트(face root joint)의 위치를 조정한 후 조정된 조인트들의 위치들을 설명하는 그림이다.
도 12는 본 발명의 실시 예에 따라 페이스 루트 조인트의 자식 조인트들의 위치들을 조정한 후 조정된 자식 조인트들의 위치들을 설명하는 그림이다.
도 13은 본 발명의 실시 예에 따라 종단 조인트의 위치 변화에 따른 중간 조인트의 위치 변화를 설명하기 위한 그림이다.
도 14a와 도 14b는 본 발명의 실시 예에 따라 복수 개의 조인트들의 자식 종단 조인트들의 위치 변화에 따른 중간 조인트들의 위치 변화를 설명하기 위한 그림이다.
도 15는 본 발명의 실시 예에 따라 영향값을 이용한 3D 얼굴 모델과 턱 조인트들의 스키닝을 설명하기 위한 그림이다.
도 16은 도 2 도시된 방법을 수행할 수 있는 컴퓨터 시스템의 블락도이다.
도 17은 도 2 도시된 방법을 수행할 수 있는 컴퓨터 시스템의 블락도이다.
In order to better understand the drawings cited in the detailed description of the present invention, detailed descriptions of each drawing are provided.
1A-1C show 3D face models, joints and skeletons, and joint-set 3D face models as pictures for explaining a conventional joint-based scheme.
2 is a flowchart illustrating a method of automatically setting up joints for generating a face animation of a 3D face model according to an embodiment of the present invention.
3A to 3C show a 3D face standard model, a 3D mesh face model, and a joint set up 3D face standard model to be used in the present invention.
4 shows joints and bones to be described in an embodiment of the present invention.
5 is a diagram for describing a cube having the same geometric structure and a cube having a different geometric structure according to an embodiment of the present invention.
6 is a diagram for describing a face model having the same geometric structure and a face model having a different geometric structure according to an embodiment of the present invention.
7 is a drawing generally defining face regions.
8 is a diagram for defining a face region MBB according to an embodiment of the present invention.
9 is a diagram for defining a face region MBB by extracting feature points or lines of a face according to an embodiment of the present invention.
10 is a diagram for defining a face region MBB value according to an embodiment of the present invention.
11 is a view for explaining the positions of the adjusted joints after adjusting the position of the face root joint according to an embodiment of the present invention.
12 is a diagram illustrating positions of adjusted child joints after adjusting positions of child joints of a face root joint according to an embodiment of the present invention.
13 is a view for explaining the position change of the intermediate joint according to the position change of the end joint according to an embodiment of the present invention.
14A and 14B are diagrams for explaining a position change of intermediate joints according to a position change of child end joints of a plurality of joints according to an embodiment of the present invention.
15 is a diagram illustrating skinning of a 3D face model and chin joints using an influence value according to an embodiment of the present invention.
16 is a block diagram of a computer system capable of carrying out the method illustrated in FIG. 2.
17 is a block diagram of a computer system capable of carrying out the method illustrated in FIG. 2.

도 2는 본 발명의 실시 예에 따른 3D 얼굴 모델의 얼굴 애니메이션을 생성하기 위한 조인트들을 자동으로 셋업하는 방법을 설명하기 위한 플로우차트이다. 본 발명의 실시 예에 따른 3D 얼굴 모델에 조인트들을 자동으로 셋업(즉, 컴퓨터 프로그램을 이용하여 3D 얼굴 모델에 조인트들을 자동으로 셋업)하는 과정들은 도 2 내지 도 17을 참조하여 상세히 설명될 것이다.2 is a flowchart illustrating a method of automatically setting up joints for generating a face animation of a 3D face model according to an embodiment of the present invention. The processes of automatically setting up joints in a 3D face model according to an embodiment of the present invention (ie, automatically setting up joints in a 3D face model using a computer program) will be described in detail with reference to FIGS. 2 to 17.

조인트 셋업 과정들에서 사용되는 조인트들은 계층 구조를 갖고, 적어도 하나의 루트 조인트, 상기 적어도 하나의 루트 조인트에 연결된 적어도 하나의 중간 조인트, 및 상기 중간 조인트에 연결된 적어도 하나의 종단 조인트를 총칭한다.The joints used in the joint setup procedures have a hierarchical structure and collectively refer to at least one root joint, at least one intermediate joint connected to the at least one root joint, and at least one end joint connected to the intermediate joint.

상기 조인트 셋업 과정들은 컴퓨터와 결합되어 3D(dimensional) 모델의 애니메이션을 생성하기 위한 조인트들을 자동으로 셋업하기 위해 컴퓨터 판독가능한 저장 매체에 저장된 컴퓨터 프로그램(또는 애플리케이션)에 의해 수행될 수 있다.The joint setup procedures can be performed by a computer program (or application) stored in a computer readable storage medium to automatically set up joints to create animation of a 3D (dimensional) model in combination with a computer.

본 명세서에서는 3D 모델로서 3D 얼굴 모델이 예시적으로 설명되고, 애니메이션으로서 얼굴 애니메이션이 예시적으로 설명되나, 본 발명에 따른 조인트 셋업 과정들은 3D 얼굴 모델의 얼굴 애니메이션을 생성하기 위한 조인트들을 자동으로 셋업하는 과정들에 한정되는 것은 아니므로, 본 발명은 다양한 3D 모델의 애니메이션을 생성하기 위한 조인트들을 자동으로 셋업하는 과정들에 적용될 수 있다.In this specification, a 3D face model is exemplarily described as a 3D model, and a face animation is exemplarily described as an animation, but the joint setup procedures according to the present invention automatically set up joints for generating a face animation of the 3D face model Since the present invention is not limited to the processes described above, the present invention can be applied to processes for automatically setting up joints for generating animations of various 3D models.

컴퓨터(컴퓨팅 장치(120), 컴퓨팅 시스템(100 또는 100A), 또는 프로세서 (122))는 컴퓨터 판독가능한 저장 매체(예컨대, 비일시적(non-transitory)인 데이터 저장 매체)에 저장된 컴퓨터 프로그램을 실행할 수 있는 장치를 총칭한다.A computer (computing device 120, computing system 100 or 100A, or processor 122) can execute a computer program stored on a computer-readable storage medium (eg, a non-transitory data storage medium). A generic device.

도 3a 내지 도 3c는 본 발명에서 사용될 3D 얼굴 표준 모델, 3D 메쉬 얼굴 모델, 및 조인트 셋업된 3D 얼굴 표준 모델을 나타낸다. 조인트 셋업된 3D 얼굴 표준 모델(도 3c, 이하 '3D 표준 모델'이라 함.)이 컴퓨터 프로그램(124)으로 제공된다(S110). 실시 예들에 따라, 3D 표준 모델은 작업자의 미리 수작업으로 만들어 놓은 모델일 수 있다.3A to 3C show a 3D face standard model, a 3D mesh face model, and a joint set up 3D face standard model to be used in the present invention. A joint-set 3D face standard model (FIG. 3C, hereinafter referred to as '3D standard model') is provided to the computer program 124 (S110). According to embodiments, the 3D standard model may be a model that has been manually created in advance by an operator.

얼굴 애니메이션이 가능하도록 3D 얼굴 표준 모델(도 3a)에 대응되는 3D 메쉬 얼굴 모델(도 3b)에 조인트들을 이미 셋업해 놓은 3D 표준 모델(도 3c)이 컴퓨터 프로그램(124)으로 제공된다(S110).A computer program 124 is provided with a 3D standard model (FIG. 3C) in which joints are already set up in a 3D mesh face model (FIG. 3B) corresponding to the 3D facial standard model (FIG. 3A) to enable face animation (S110). .

예컨대, 도 3c의 3D 표준 모델은 조인트들을 셋업하는 작업자의 판단에 따라 얼굴 애니메이션이 가장 잘 표현될 수 있도록 상기 작업자에 의해 셋업된 모델일 수 있다.For example, the 3D standard model of FIG. 3C may be a model set up by the operator so that the face animation is best expressed according to the judgment of the operator setting up the joints.

도 4는 본 발명의 실시 예에서 설명될 조인트들과 뼈들을 나타낸다. 도 4에는 루트 조인트(root joint), 중간 조인트, 종단(end) 조인트들, 및 뼈들(bones)이 도시되어 있다. 해당 조인트(예컨대, 루트 조인트, 중간 조인트, 및/또는 종단 조인트)의 위치가 결정되면, 뼈의 크기와 방향은 자동으로 결정된다.4 shows joints and bones to be described in an embodiment of the present invention. Figure 4 shows the root joint, the middle joint, the end joints, and the bones. When the position of the joint (eg, root joint, intermediate joint, and / or end joint) is determined, the size and direction of the bone are determined automatically.

도 5는 본 발명의 실시 예에 따른 기하학적 구조가 같은 육면체와 기하학적 구조가 다른 육면체를 설명하기 위한 그림들이고, 도 6은 본 발명의 실시 예에 따라 기하학적 구조가 같은 얼굴 모델과 기하학적 구조가 다른 얼굴 모델을 설명하기 위한 그림들이다. 5 is a diagram for describing a hexahedron having the same geometrical structure and a hexahedron having the same geometrical structure according to an embodiment of the present invention, and FIG. 6 is a face model having the same geometrical structure and a different geometrical structure according to an embodiment of the present invention These are pictures to explain the model.

조인트 셋업된 3D 얼굴 표준 모델(즉, 3D 표준 모델)과 동일한 기하학적 구조를 가지는 3D 얼굴 모델(이하, '3D 대상 모델'이라 한다.)이 컴퓨터 프로그램으로 제공된다(S120). 단계(S120)는 컴퓨터 프로그램(124)에 의해 자동으로 조인트 셋업될 3D 얼굴 모델(즉, 3D 대상 모델)이 제공되는 단계이다.A 3D face model (hereinafter referred to as a '3D target model') having the same geometry as the joint-set 3D face standard model (ie, 3D standard model) is provided as a computer program (S120). Step S120 is a step in which a 3D face model (ie, a 3D target model) to be automatically jointly set up by the computer program 124 is provided.

실시 예들에 따라, 컴퓨터 프로그램(124)은 3D 대상 모델을 수신하고, 수신된 3D 대상 모델의 기하학적 구조와 3D 표준 모델의 기하적적 구조가 동일한지를 판단하고, 동일할 때 다음 단계(S130)을 수행할 수 있다.According to embodiments, the computer program 124 receives the 3D object model, determines whether the geometric structure of the received 3D object model and the geometric structure of the 3D standard model are the same, and performs the next step (S130) when the same. can do.

자동으로 조인트 셋업을 원하는 3D 대상 모델의 기하학적 구조가 단계(S110)에서 제공된 3D 표준 모델의 기하학적 구조와 동일해야 한다는 전제 조건이 있다.There is a prerequisite that the geometry of the 3D target model that wants to automatically set up the joint should be the same as that of the 3D standard model provided in step S110.

기하학적 구조가 동일하다는 것은 3D 대상 모델의 메쉬들의 개수, 상기 메쉬들을 구성하는 폴리곤들(polygons)의 개수와 버텍스들(vertices)의 개수, 및 연결 구조(예컨대, 폴리곤들과 버텍스들에 의해 결정되는 연결 구조)가 3D 표준 모델의 메쉬들의 개수, 상기 메쉬들을 구성하는 폴리곤들의 개수와 버텍스들의 개수, 및 연결 구조와 동일함을 의미한다.The same geometry is determined by the number of meshes in the 3D target model, the number of polygons and the vertices that make up the mesh, and the connection structure (eg, polygons and vertices). Connection structure) means that the number of meshes of the 3D standard model, the number of polygons and vertices constituting the meshes, and the connection structure are the same.

도 5의 (a)의 육면체의 크기와 도 5의 (b)의 육면체의 크기는 서로 다르지만, 육면체((a))의 폴리곤들의 개수와 버텍스들의 개수, 및 연결 구조(예컨대, 폴리곤들과 버텍스들에 의해 결정되는 연결 구조)와 육면체((b))의 폴리곤들의 개수와 버텍스들의 개수, 및 연결 구조(예컨대, 폴리곤들과 버텍스들에 의해 결정되는 연결 구조)가 서로 동일하기 때문에, 육면체((a))의 기하학적 구조는 육면체((b))의 기하학적 구조는 서로 동일하다.The size of the hexahedron of FIG. 5 (a) and the size of the hexahedron of FIG. 5 (b) are different, but the number of polygons and the number of vertices of the hexahedron ((a)), and the connection structure (eg, polygons and vertices) Since the number of polygons and the number of vertices of the hexahedron ((b)) and the number of connection structures (e.g., the connection structure determined by polygons and vertices) are the same, the hexahedron ( The geometry of (a)) is the same as that of hexahedron ((b)).

그러나 도 5의 (b)의 육면체의 크기와 모양은 도 5의 (c)의 육면체의 크기와 모양과 서로 동일하지만, 육면체((b))를 구성하는 폴리곤들의 개수와 버텍스들의 개수, 및 연결 구조와 육면체((c))를 구성하는 폴리곤들의 개수와 버텍스들의 개수, 및 연결 구조가 서로 다르기 때문에, 육면체((b))의 기하학적 구조와 육면체 ((c))의 기하학적 구조는 서로 다르다.However, the size and shape of the hexahedron of FIG. 5 (b) is the same as that of the hexahedron of FIG. 5 (c), but the number of polygons constituting the hexahedron ((b)), the number of vertices, and connection Since the structure and the number of polygons constituting the hexahedron ((c)), the number of vertices, and the connection structure are different, the geometric structure of the hexahedron ((b)) and the hexahedron ((c)) are different.

도 6의 (a)의 얼굴 모델의 크기와 도 6의 (b)의 얼굴 모델의 크기는 서로 다르지만, 얼굴 모델((a))의 폴리곤들의 개수와 버텍스들의 개수, 및 연결 구조는 얼굴 모델((b))의 폴리곤들의 개수와 버텍스들의 개수, 및 연결 구조와 서로 동일하기 때문에, 얼굴 모델((a))의 기하학적 구조는 얼굴 모델((b))의 기하학적 구조는 서로 동일하다.The size of the face model of FIG. 6 (a) and the size of the face model of FIG. 6 (b) are different, but the number of polygons and the number of vertices of the face model ((a)), and the connection structure of the face model ( Since the number of polygons in (b) and the number of vertices and the connection structure are the same, the geometry of the face model ((a)) is the same as that of the face model ((b)).

그러나 도 6의 (b)의 얼굴 모델의 크기와 모양은 도 6의 (c)의 얼굴 모델의 크기와 모양과 서로 동일하지만, 얼굴 모델((b))를 구성하는 폴리곤들의 개수와 버텍스들의 개수, 및 연결 구조는 얼굴 모델((c))를 구성하는 폴리곤들의 개수와 버텍스들의 개수, 및 연결 구조와 서로 다르기 때문에, 얼굴 모델((b))의 기하학적 구조와 얼굴 모델((c))의 기하학적 구조는 서로 다르다.However, the size and shape of the face model of FIG. 6 (b) are the same as those of the face model of FIG. 6 (c), but the number of polygons and the number of vertices constituting the face model ((b)). , Since the connection structure is different from the number of polygons and vertices constituting the face model ((c)) and the connection structure, the geometry of the face model ((b)) and the face model ((c)) The geometric structures are different.

기하학적 구조가 동일한 메쉬들을 만드는 방법으로서 3D 표준 모델을 모핑 (morphing)하여 3D 대상 모델에 맞추는 방법이 사용된다. 본 발명은 두 개의 모델들 사이의 기하하적 구조를 동일하게 만드는 방법에 대한 것이 아니므로, 3D 표준 모델의 기하학적 구조와 동일한 구조를 갖는 3D 대상 모델이 컴퓨터 프로그램(124)으로 제공되면 족하다.As a method of creating meshes having the same geometric structure, a method of morphing a 3D standard model and fitting it to a 3D target model is used. Since the present invention is not directed to a method of making the geometric structure between two models identical, it is sufficient if a 3D target model having the same structure as the geometry of the 3D standard model is provided to the computer program 124.

컴퓨터 프로그램(124)은 3D 표준 모델과 3D 대상 모델 각각의 기준 크기와 위치를 구한다(또는 계산한다)(S130). 즉, 단계(130)는 3D 대상 모델에 자동으로 적용할 조인트들을 구하기 위하여, 3D 표준 모델과 3D 대상 모델 각각의 기준 크기와 위치를 구하는 단계이다. 여기서 기준 크기와 위치는 MBB((minimum bounding box)를 의미할 수 있고, 특히 얼굴 MBB를 의미할 수 있다.The computer program 124 obtains (or calculates) the reference sizes and positions of the 3D standard model and the 3D target model, respectively (S130). That is, step 130 is a step of obtaining the reference sizes and positions of the 3D standard model and the 3D target model, respectively, in order to obtain joints to be automatically applied to the 3D target model. Here, the reference size and the position may mean a MBB ((minimum bounding box), and may specifically mean a face MBB.

여기서, 기준 크기와 위치(예컨대, MBB)는 3D 표준 모델의 조인트들의 위치들을 조절하기 위한 이동과 스케일 팩터(translator and scale factor)를 결정하기 위해 사용되는 특징 값들이다.Here, the reference size and position (eg, MBB) are feature values used to determine a translator and scale factor for adjusting the positions of the joints of the 3D standard model.

컴퓨터 프로그램(124)은 3D 표준 모델과 3D 대상 모델 각각의 얼굴 영역에 대한 MBB를 이용하여 상기 3D 표준 모델과 상기 3D 대상 모델 각각의 기준 크기와 위치를 구한다(또는 계산한다).The computer program 124 obtains (or calculates) a reference size and position of each of the 3D standard model and the 3D target model by using MBBs for face regions of the 3D standard model and the 3D target model.

도 7은 일반적으로 얼굴 영역들을 정의하는 그림들이고, 도 8은 본 발명의 실시 예에 따라 얼굴 영역 MBB를 정의하는 그림들이고, 도 9는 본 발명의 실시 예에 따라 얼굴의 특징점이나 선들의 추출에 의해 얼굴 영역 MBB를 정의하는 그림이다.7 is a drawing generally defining face regions, FIG. 8 is a drawing defining face region MBB according to an embodiment of the present invention, and FIG. 9 is for extracting feature points or lines of a face according to an embodiment of the present invention. It is a picture that defines the face area MBB.

얼굴 영역들의 정의는 도 7의 (a)와 (b)에 도시된 바와 같이 다양할 수 있으나, 도 8의 (a)에 도시된 바와 같이 얼굴 영역은 상하로는 '눈썹'부터 '턱선', 그리고 좌우로는 '양 턱선'의 평면으로 구성된 공간으로 정의되고, 도 8의 (b)에 도시된 바와 같이 얼굴 영역은 앞뒤로는 '콧등'부터 '뒤통수'까지의 평면에 의해 구성된 공간으로 정의될 수 있다.The definition of the face regions may vary as illustrated in FIGS. 7A and 7B, but as illustrated in FIG. 8A, the face regions are vertically divided from 'eyebrows' to 'chin lines', In addition, the left and right sides are defined as a space composed of planes of 'two jawlines', and as shown in FIG. 8 (b), the face region may be defined as a space composed of planes from 'nostril' to 'back head'. Can be.

도 8의 (a)와 도 9를 참조하면, 컴퓨터 프로그램(124)은 얼굴(예컨대, 3D 표준 모델의 얼굴 및/또는 3D 대상 모델의 얼굴)의 특징점들이나 선들(예컨대, 녹색선들)을 자동으로 검출하고, 검출 결과에 따라 얼굴 영역에 대한 상하좌우의 선들을 구하거나 결정할 수 있다. 그리고 컴퓨터 프로그램(124)은 도 8의 (b)와 같이 얼굴의 전후 방향의 최대값 버텍스와 최소값 버텍스를 검출하여 전후의 선을 구할 수 있다. 앞에서 설명한 방법으로 컴퓨터 프로그램(124)은 도 10과 같은 얼굴 영역 MBB 수치를 획득할 수 있다.Referring to FIGS. 8A and 9, the computer program 124 automatically detects feature points or lines (eg, green lines) of the face (eg, the face of the 3D standard model and / or the face of the 3D target model). It can detect and determine or determine the top, bottom, left, and right lines for the face region according to the detection result. In addition, the computer program 124 may detect the maximum and minimum vertices in the front-rear direction of the face as shown in FIG. 8 (b) to obtain the front-rear line. In the method described above, the computer program 124 may acquire the MBB value of the face region as shown in FIG. 10.

도 10은 본 발명의 실시 예에 따라 얼굴 영역 MBB 수치를 정의하는 그림이다. 도 8 내지 도 10을 참조하여 구해진 3D 표준 모델의 얼굴 영역 MBB의 크기(예컨대, 기준 크기)와 중심점(예컨대, 위치)은 배열들(

Figure pat00001
Figure pat00002
)로 표시되고, 3D 대상 모델의 얼굴 영역 MBB 크기(예컨대, 기준 크기)와 중심점(예컨대, 위치)은 배열들(
Figure pat00003
Figure pat00004
)로 표시된다. 각 배열(
Figure pat00005
,
Figure pat00006
,
Figure pat00007
, 및
Figure pat00008
, A로 총칭함)는 3차원 요소 값들(x, y, z)를 포함(또는 저장)하고, 각 요소는 A[x], A[y], A[z]로 표시된다.10 is a diagram for defining a face region MBB value according to an embodiment of the present invention. The size (eg, reference size) and center point (eg, position) of the face region MBB of the 3D standard model obtained with reference to FIGS. 8 to 10 are arrays (
Figure pat00001
and
Figure pat00002
), The face area MBB size (e.g., reference size) and center point (e.g., position) of the 3D target model are arrays (
Figure pat00003
Wow
Figure pat00004
). Each array (
Figure pat00005
,
Figure pat00006
,
Figure pat00007
, And
Figure pat00008
, Collectively referred to as A ) include (or store) three-dimensional element values (x, y, z), and each element is represented by A [x], A [y], and A [z].

컴퓨터 프로그램(124)은 대상 뼈대(target frame)를 생성하고, 생성된 대상 뼈대를 변형하고, 변형된 대상 뼈대를 3D 대상 모델에 위치시킨다(S140).The computer program 124 generates a target frame, transforms the generated target skeleton, and positions the transformed target skeleton in the 3D target model (S140).

단계(S140)에서, 컴퓨터 프로그램(124)은 조인트 셋업된 3D 표준 모델의 조인트들의 집합을 복사하여 대상 뼈대를 생성하고, 단계(130)에서 구해진 기준 위치들(예컨대,

Figure pat00009
Figure pat00010
)과 크기들(예컨대,
Figure pat00011
Figure pat00012
)을 이용하여 3D 대상 모델의 위치와 크기에 맞게 상기 대상 뼈대를 변형하고, 변형된 대상 뼈대를 상기 대상 모델에 위치시킨다.In step S140, the computer program 124 copies the set of joints of the joint-established 3D standard model to generate the target skeleton, and the reference positions obtained in step 130 (eg,
Figure pat00009
and
Figure pat00010
) And sizes (e.g.
Figure pat00011
and
Figure pat00012
) To deform the target skeleton according to the position and size of the 3D target model, and place the modified target skeleton in the target model.

단계(S140)에서, 컴퓨터 프로그램(124)은 3D 표준 모델의 뼈대를 복사한 후, 복사된 3D 표준 모델의 뼈대를 단계(S130)에서 구한 얼굴 영역 MBB 수치들 (

Figure pat00013
,
Figure pat00014
,
Figure pat00015
, 및
Figure pat00016
)을 이용하여 3D 대상 모델의 얼굴에 다음과 같이 위치시킨다.In step S140, the computer program 124 copies the skeleton of the 3D standard model, and then the face region MBB values obtained in step S130 of the copied 3D standard model skeleton (
Figure pat00013
,
Figure pat00014
,
Figure pat00015
, And
Figure pat00016
) To place it on the face of the 3D target model as follows.

도 4에 도시된 바와 같이 뼈대는 계층 구조로 이루어 진다. 예컨대, 뼈대의 상위 조인트('부모 조인트'라고 함)가 움직이면, 상기 뼈대를 통해 상기 상위 조인트에 연결된 하위 조인트들('자식 조인트들'라고 함)도 움직인다. 도 4에서 상위 조인트는 루트 조인트이고, 하위 조인트들은 중간 조인트 및/또는 종단 조인트들일 수 있다.As shown in Figure 4, the skeleton is made of a hierarchical structure. For example, when the upper joint of the skeleton (referred to as 'parent joint') moves, lower joints (referred to as 'child joints') connected to the upper joint through the skeleton also move. In FIG. 4, the upper joint is the root joint, and the lower joints may be intermediate joints and / or termination joints.

단계(S140)에서 가장 먼저 수행되는 작업은, 계층 구조로 이루어진 얼굴 뼈대의 최상위 조인트(이하 '페이스 루트 조인트'라고 함)를 움직여 얼굴 뼈대 전체를 3D 대상 모델에 대략적으로 위치시키는 것이다.The first operation performed in step S140 is to move the top joint (hereinafter referred to as the 'face root joint') of the face skeleton made up of a hierarchical structure to roughly position the entire face skeleton in the 3D target model.

대상 뼈대의 페이스 루트 조인트의 위치(

Figure pat00017
)는 수학식 1같이 계산된다. 이때
Figure pat00018
은 3D 표준 모델의 페이스 루트 조인트의 위치이다.The location of the face root joint of the target armature (
Figure pat00017
) Is calculated as in Equation 1. At this time
Figure pat00018
Is the location of the face root joint of the 3D standard model.

[수식식 1][Equation 1]

Figure pat00019
Figure pat00019

이때, 각 배열(

Figure pat00020
,
Figure pat00021
, 및
Figure pat00022
)의 4칙 연산은 원소들(x, y, z) 사이의 4칙 연산으로 수행된다. 여기서,
Figure pat00023
는 스케일링 벡터로서 X-축, Y-축, 및 Z-축의 스케일링 팩터를 나타낸다.
Figure pat00024
는 차이 벡터로서, 3D 표준 모델의 중심점과 3D 표준 모델의 페이스 루트 조인트의 위치 사이의 거리(또는 차이)를 나타낸다.At this time, each array (
Figure pat00020
,
Figure pat00021
, And
Figure pat00022
) Is performed as a four-rule operation between elements (x, y, z). here,
Figure pat00023
Denotes the scaling factors of the X-axis, Y-axis, and Z-axis as scaling vectors.
Figure pat00024
Is a difference vector, which represents the distance (or difference) between the center point of the 3D standard model and the position of the face root joint of the 3D standard model.

도 11은 본 발명의 실시 예에 따라 페이스 루트 조인트(face root joint)의 위치를 조정한 후 조정된 조인트들의 위치들을 설명하는 그림이다.11 is a view for explaining the positions of the adjusted joints after adjusting the position of the face root joint according to an embodiment of the present invention.

단계(S140)가 수행되면, 도 11에 도시된 바와 같이 대상 뼈대가 3D 대상 모델의 얼굴에 위치하기는 하지만 상기 3D 대상 모델의 크기와 상기 대상 뼈대의 크기가 서로 다르기 때문에, 상기 대상 뼈대가 상기 3D 대상 모델의 얼굴의 외부에 위치된다. 따라서 컴퓨터 프로그램(124)은 페이스 루트 조인트의 자식 조인트들의 위치들도 변화시켜 3D 대상 모델의 크기에 맞추어 대상 뼈대의 크기를 조절한다.When the step (S140) is performed, as shown in Figure 11, the target skeleton is located on the face of the 3D target model, but because the size of the 3D target model and the size of the target skeleton are different from each other, the target skeleton is the It is located outside the face of the 3D target model. Therefore, the computer program 124 adjusts the size of the target skeleton according to the size of the 3D target model by changing the positions of the child joints of the face root joint.

이를 위해 대상 뼈대의 페이스 루트 조인트에 연결된 모든 자식 조인트들의 상대 위치(

Figure pat00025
)는 수학식 2에 따라 결정된다. 여기서, 상대 위치는 해당 자식 조인트의 부모 조인트에 대한 상대적인 위치를 말한다.To do this, the relative positions of all child joints connected to the face root joint of the target armature (
Figure pat00025
) Is determined according to equation (2). Here, the relative position refers to a position relative to the parent joint of the child joint.

[수학식 2] [Equation 2]

Figure pat00026
Figure pat00026

컴퓨터 프로그램(124)은 3D 표준 모델의 정보(예컨대, 3D 표준 모델의 조인트(또는 조인트들)에 대한 조인트 정보)를 이용하여 대상 뼈대의 종단 조인트들 각각의 위치를 조정한다(S150).The computer program 124 adjusts the position of each of the longitudinal joints of the target skeleton using the information of the 3D standard model (eg, joint information for the joint (or joints) of the 3D standard model) (S150).

도 12는 본 발명의 실시 예에 따라 페이스 루트 조인트의 자식 조인트들의 위치들을 조정한 후 조정된 자식 조인트들의 위치들을 설명하는 그림이다.12 is a diagram illustrating positions of adjusted child joints after adjusting positions of child joints of a face root joint according to an embodiment of the present invention.

단계(S140)가 수행되더라도 사용된 대상 뼈대가 대상 3D 모델용으로 만들어진 것이 아니기 때문에, 도 12에 도시된 바와 같이 상기 대상 뼈대가 상기 대상 3D 모델을 약간 뚫고 나올수 있다. 이렇게 뚫고 나온 조인트들은 대상 뼈대의 계층 구조 중에서 제일 끝에 위치하는 종단 조인트들이기 때문에 컴퓨터 프로그램(124)은 상기 종단 조인트들의 위치를 조절한다.Even if step S140 is performed, since the used target skeleton is not made for the target 3D model, the target skeleton may slightly penetrate the target 3D model as shown in FIG. 12. The computer program 124 adjusts the position of the end joints because the drilled joints are end joints located at the end of the hierarchy of the target skeleton.

컴퓨터 프로그램(124)이 종단 조인트들의 위치들을 조정하는 방법은 다음과 같다.How the computer program 124 adjusts the positions of the end joints is as follows.

제일 먼저, 컴퓨터 프로그램(124)은 3D 표준 모델의 뼈대(이를 '표준 뼈대'라 한다.)의 종단 조인트와 상기 3D 표준 모델의 버텍스들 중에서 제일 가까운 버텍스를 찾는다. 상기 종단 조인트의 위치를

Figure pat00027
라 하고 상기 3D 표준 모델의 버텍스 위치를
Figure pat00028
라고 했을 때, 두 위치들(또는 두점들) 사이의 길이는
Figure pat00029
이므로, 컴퓨터 프로그램(124)은 대응되는 두 점들 사이의 거리가 가장 작은 버텍스를 찾는다. 찾아진 버텍스를
Figure pat00030
라고 했을 때, 상기 종단 조인트의 위치(
Figure pat00031
)는 수학식 3에 따라 계산된다.First, the computer program 124 finds the closest vertex among the 3D standard model vertices and the end joint of the 3D standard model bone. The position of the end joint
Figure pat00027
And the vertex position of the 3D standard model
Figure pat00028
Called When done, the length between two locations (or two points)
Figure pat00029
Therefore, the computer program 124 finds the vertex having the smallest distance between two corresponding points. Find the vertex
Figure pat00030
Is the position of the end joint (
Figure pat00031
) Is calculated according to equation (3).

[수학식 3][Equation 3]

Figure pat00032
Figure pat00032

여기서

Figure pat00033
는 찾아진 버텍스(
Figure pat00034
)에 대응되는 3D 대상 모델에서의 버텍스의 위치이다. 3D 표준 모델의 기하학적 구조와 3D 대상 모델의 기하학적 구조가 동일하기 때문에, 찾아진 버텍스(
Figure pat00035
)의 아이디를 알면, 컴퓨터 프로그램(124)은 찾아진 버텍스(
Figure pat00036
)에 대응하는 3D 대상 모델의 버텍스(
Figure pat00037
)를 찾을 수 있다.here
Figure pat00033
Is the vertex found
Figure pat00034
) Corresponding to the position of the vertex in the 3D target model. Since the geometry of the 3D standard model and the geometry of the 3D target model are the same, the vertices found (
Figure pat00035
), The computer program 124 finds the vertex (
Figure pat00036
) Corresponding to the 3D target model's vertex (
Figure pat00037
).

컴퓨터 프로그램(124)은 조정된 종단 조인트(또는 조정된 종단 조인트들)의 위치 정보를 이용하여 대상 뼈대의 중간 조인트들의 위치들을 조정한다(S160).The computer program 124 adjusts the positions of the intermediate joints of the target skeleton using the position information of the adjusted end joint (or adjusted end joints) (S160).

단계(S150)까지의 과정들은 3D 대상 모델의 조인트들에 관하여 최상위 조인트(즉, 페이스 루트 조인트)와 종단 조인트들의 위치를 최종 확정하는 것이다. 단계(S150)에서 컴퓨터 프로그램(124)은 뼈대 중간에 위치하는 중간 조인트들의 위치들을 최종적으로 확정한다.The processes up to step S150 are to finally determine the positions of the top joint (ie, face root joint) and end joints with respect to the joints of the 3D target model. In step S150, the computer program 124 finally determines the positions of the intermediate joints located in the middle of the skeleton.

중간 조인트들의 위치 조정은 미세하기 때문에 얼굴 애니메이션에 미치는 시각적 효과가 다른 조인트들의 위치 조정에 비해 미미할 수 있지만, 3D 표준 모델의 표준 뼈대의 구성과 최대한 같게 3D 대상 모델의 뼈대를 만들기 위해 컴퓨터 프로그램(124)은 중간 조인트들의 위치들을 조정한다.Because the position of the middle joints is fine, the visual effect on the face animation may be insignificant compared to the position of the other joints, but the computer program (124) is used to create the skeleton of the 3D target model as closely as possible to the standard skeleton of the 3D standard model. ) Adjusts the positions of the intermediate joints.

컴퓨터 프로그램(124)이 중간 조인트들의 위치들을 조정하는 방법은 다음과 같다.How the computer program 124 adjusts the positions of the intermediate joints is as follows.

컴퓨터 프로그램(124)은 종단 조인트를 자식 조인트로 가지고 있는 중간 조인트의 새로운 위치(

Figure pat00038
)를 바로 전단계(S150)에서 조정된 종단 조인트들 각각의 위치 변화량의 평균 만큼 변화시켜 결정한다.The computer program 124 is a new location of the intermediate joint having the end joint as a child joint (
Figure pat00038
) Is determined by changing by the average of the position change amount of each of the end joints adjusted in the previous step (S150).

도 13은 본 발명의 실시 예에 따라 종단 조인트의 위치 변화에 따른 중간 조인트의 위치 변화를 설명하기 위한 그림이고, 도 14A는 본 발명의 실시 예에 따라 복수 개의 조인트들의 자식 종단 조인트들의 위치 변화에 따른 중간 조인트들의 위치 변화를 설명하기 위한 그림이다.13 is a view for explaining a change in the position of the intermediate joint according to the position change of the end joint according to an embodiment of the present invention, Figure 14A is a change in the position of the child end joints of a plurality of joints according to an embodiment of the present invention It is a picture to explain the change of position of the intermediate joints.

도 13과 도 14A에 도시된 바와 같이, 종단 조인트(CJ 또는

Figure pat00039
, i=1 또는 2)가 단계(S150)에서 위치 변화량(D, 또는
Figure pat00040
, i=1 또는 2)만큼 변한다면, 중간 조인트의 새로운 위치(
Figure pat00041
)는 수학식 4와 같다.13 and 14A, the end joint (CJ or
Figure pat00039
, i = 1 or 2) is the position change amount (D, or) in step (S150)
Figure pat00040
, i = 1 or 2), the new position of the middle joint (
Figure pat00041
) Is as in Equation 4.

[수학식 4][Equation 4]

Figure pat00042
Figure pat00042

도 13에서, CJ는 종단 조인트의 최초 위치를 나타내고, D는 변화량을 나타내고, CJ'는 변화량(D)만큼 변화된 종단 조인트의 새로운 위치를 나타내고, P는 중간 조인트의 최초 위치를 나타내고, P'는 변화량(D)만큼 변화된 중간 조인트의 새운 위치를 나타낸다.In Fig. 13, CJ represents the initial position of the end joint, D represents the amount of change, CJ 'represents the new position of the end joint changed by the amount of change (D), P represents the initial position of the intermediate joint, and P' represents It represents the new position of the intermediate joint changed by the amount of change (D).

도 14A에서 CJ1과 CJ2 각각은 종단 조인트의 최초 위치를 나타내고, D1과 D2 각각은 변화량을 나타내고, CJ'1과 CJ'2 각각은 각 변화량(D1과 D2)만큼 변화된 종단 조인트의 새로운 위치를 나타내고, P는 중간 조인트의 최초 위치를 나타내고, P'는 평균 변화량(D)만큼 변화된 중간 조인트의 새운 위치를 나타낸다. 평균 변화량(D)은 변화량들(D1과 D2)의 산술 평균이다.In FIG. 14A, each of CJ 1 and CJ 2 represents the initial position of the end joint, each of D 1 and D 2 represents the amount of change, and each of CJ ' 1 and CJ' 2 is the end changed by each amount of change (D 1 and D 2 ). The new position of the joint, P indicates the initial position of the intermediate joint, and P 'indicates the new position of the intermediate joint changed by the average amount of change (D). The average change amount D is the arithmetic mean of the change amounts D 1 and D 2 .

종단 조인트를 갖지 않은 중간 조인트의 경우(예컨대, 도 14b와 같이 중간 조인트1의 자식 조인트가 중간 조인트2인 경우)에는, 중간 조인트1의 위치가 업데이트된 후에 상기 중간 조인트1의 위치 변화를 앞에서 설명한 종단 조인트의 위치 변화와 동일하게 계산한다.In the case of an intermediate joint without a termination joint (for example, when the child joint of the intermediate joint 1 is intermediate joint 2 as shown in FIG. 14B), the position change of the intermediate joint 1 is described before the position of the intermediate joint 1 is updated. Calculate the same as the change in the position of the end joint.

컴퓨터 프로그램(124)은 3D 표준 모델의 스키닝 정보를 이용하여 대상 뼈대와 3D 대상 모델을 스키닝한다(S170).The computer program 124 uses the skinning information of the 3D standard model to skin the target skeleton and the 3D target model (S170).

단계(S170)는 대상 뼈대를 구성하는 조인트들과 3D 대상 모델을 구성하는 버텍스들 사이의 영향 정도를 나타내는 영향값들(weighting factors)을 상기 3D 대상 모델의 버텍스들에 지정(또는 할당)하는 단계이다.Step (S170) is to assign (or assign) weighting factors indicating the degree of influence between the joints constituting the target skeleton and the vertices constituting the 3D target model to the vertices of the 3D target model. to be.

도 15는 본 발명의 실시 예에 따라 영향값을 이용한 3D 얼굴 모델과 턱 조인트들의 스키닝을 설명하기 위한 그림이다. 도 15에서 턱 조인트들에 영향을 받는 3D 대상 모델의 버텍스들은 밝게 표시된다. 3D 대상 모델에서 색이 진할수록 해당 조인트들의 영향을 많이 받는 것이다.15 is a diagram for explaining skinning of a 3D face model and jaw joints using an influence value according to an embodiment of the present invention. In Figure 15, the vertices of the 3D target model affected by the jaw joints are brightly displayed. The darker the color in the 3D target model, the more affected the joints are.

본 발명에서는 3D 대상 모델의 기하학적 구조와 뼈대 구조가 3D 표준 모델의 기하학적 구조와 뼈대 구조와 동일하기 때문에, 상기 3D 표준 모델의 영향값들은 상기 3D 대상 모델의 영향값들로서 그대로 사용될 수 있다. 컴퓨터 프로그램(124)은 3D 표준 모델의 버텍스들에 적용되는 영향값들과 상기 버텍스들의 아이디들을 이용하여, 상기 3D 대상 모델에 대해 상기 3D 표준 모델과 동일한 버텍스들의 아이디들을 가지는 버텍스들에 상기 3D 표준 모델의 영향값들을 그대로 적용한다.In the present invention, since the geometry and skeleton structure of the 3D target model are the same as those of the 3D standard model, the influence values of the 3D standard model can be used as the influence values of the 3D target model. The computer program 124 uses the influence values applied to the vertices of the 3D standard model and the IDs of the vertices, so that the 3D standard is assigned to vertices having IDs of the same vertices as the 3D standard model for the 3D target model. The influence values of the model are applied as they are.

도 16은 도 2에 도시된 방법을 수행할 수 있는 컴퓨터 시스템의 블락도이다. 도 16을 참조하면, 컴퓨터 시스템(100)은 3D 스캐너(110), 컴퓨팅 장치(120), 및 데이터 저장 장치(130)를 포함한다.FIG. 16 is a block diagram of a computer system capable of carrying out the method illustrated in FIG. 2. Referring to FIG. 16, the computer system 100 includes a 3D scanner 110, a computing device 120, and a data storage device 130.

3D 스캐너(110)는 3D 대상 모델(134)에 해당하는 3D 이미지(IM)를 생성하고, 3D 이미지(IM)를 컴퓨팅 장치(120)로 전송한다.The 3D scanner 110 generates a 3D image IM corresponding to the 3D target model 134 and transmits the 3D image IM to the computing device 120.

컴퓨팅 장치(120)는 본 명세서에서 설명된 컴퓨터 프로그램(124)을 실행할 수 있는 프로세서(122)를 포함하고, 프로세서(122)는 3D 얼굴 모델(예컨대, 3D 대상 모델)의 얼굴 애니메이션을 생성하기 위한 조인트들을 자동으로 셋업하는 방법을 수행할 수 있는 컴퓨터 프로그램(124)을 실행할 수 있다. 컴퓨팅 장치(120)는 3D 표준 모델(132)과 3D 대상 모델(134)를 데이터 저장 장치(130)에 저장할 수 있다. 데이터 저장 장치(130)는 PC와 같은 컴퓨팅 장치(120)에 포함된 HDD(hard disk drive) 또는 SSD(solid state drive)일 수 있다. 데이터 저장 장치(130)는 컴퓨터 프로그램(130)을 저장하고, 컴퓨터 프로그램(130)은 프로세서(122)로 로드되고 프로세서(122)에 의해 실행될 수 있다.The computing device 120 includes a processor 122 capable of executing the computer program 124 described herein, and the processor 122 is configured to generate a face animation of a 3D face model (eg, 3D target model). A computer program 124 can be executed that can perform a method of automatically setting up joints. The computing device 120 may store the 3D standard model 132 and the 3D target model 134 in the data storage device 130. The data storage device 130 may be a hard disk drive (HDD) or a solid state drive (SSD) included in the computing device 120 such as a PC. The data storage device 130 stores the computer program 130, and the computer program 130 can be loaded into the processor 122 and executed by the processor 122.

도 17은 도 2 도시된 방법을 수행할 수 있는 컴퓨터 시스템의 블락도이다. 도 17을 참조하면, 컴퓨터 시스템(100A)은 컴퓨팅 장치(120), 데이터 저장 장치 (130), 및 컴퓨팅 장치(120)와 통신 네트워크를 통해 데이터를 주고받을 수 있는 네트워크 데이터베이스(150)를 포함할 수 있다.17 is a block diagram of a computer system capable of carrying out the method illustrated in FIG. 2. Referring to FIG. 17, the computer system 100A includes a computing device 120, a data storage device 130, and a network database 150 that can exchange data with the computing device 120 through a communication network. Can be.

도 16에서 3D 대상 모델(134)에 상응하는 3D 이미지(IM)는 3D 스캐너(110)로부터 컴퓨터 프로그램(124)으로 제공되나, 도 17에서 3D 대상 모델(134)은 네트워크 데이터베이스(150)로부터 통신 네트워크를 통해 프로세서(122)에서 실행되는 컴퓨터 프로그램(124)으로 제공된다.In FIG. 16, the 3D image IM corresponding to the 3D target model 134 is provided from the 3D scanner 110 to the computer program 124, but in FIG. 17, the 3D target model 134 communicates from the network database 150 It is provided as a computer program 124 running on the processor 122 via a network.

제1조인트들은 3D 표준 모델에 셋업된 조인트들을 의미할 수 있고, 제2조인트들은 상기 제1조인트들(예컨대, 상기 제1조인트들의 집합인 대상 뼈대)에 기초하여 3D 대상 모델에 자동으로 셋업된 조인트들을 의미할 수 있다.The first joints may refer to joints set up in the 3D standard model, and the second joints are automatically set up in the 3D target model based on the first joints (eg, the target skeleton that is the set of the first joints). Can mean joints.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

100, 100A: 컴퓨터 시스템
110: 3D 스캐너
120: 컴퓨팅 장치
122: 프로세서
124: 컴퓨터 프로그램
130: 데이터 저장 장치
150: 네트워크 데이터베이스
100, 100A: computer system
110: 3D scanner
120: computing device
122: processor
124: computer program
130: data storage device
150: network database

Claims (10)

컴퓨터와 결합되어 컴퓨터 판독가능한 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
제1조인트들이 셋업된 3D 표준 모델을 수신하는 단계;
상기 3D 표준 모델의 기하학적 구조와 동일한 기하학적 구조를 갖는 상기 3D 대상 모델을 수신하는 단계; 및
상기 제1조인트들의 집합에 해당하는 대상 뼈대를 이용하여, 상기 3D 대상 모델의 제2조인트들을 자동으로 셋업하는 단계를 포함하는 컴퓨터 판독가능한 저장 매체에 저장된 컴퓨터 프로그램.
A computer program associated with a computer and stored in a computer-readable storage medium, the computer program comprising:
Receiving a 3D standard model in which the first joints are set up;
Receiving the 3D target model having the same geometry as the geometry of the 3D standard model; And
And automatically setting up second joints of the 3D target model using a target skeleton corresponding to the set of first joints.
제1항에 있어서, 상기 3D 대상 모델의 제2조인트들을 자동으로 셋업하는 단계는,
상기 3D 표준 모델과 상기 3D 대상 모델 각각의 MBB(minimum bounding box)를 구하는 단계;
상기 대상 뼈대를 복사하는 단계;
구해진 MBB들을 이용하여 상기 3D 대상 모델의 위치와 크기에 맞게 상기 대상 뼈대를 변형하고, 변형된 대상 뼈대를 상기 3D 대상 모델에 위치시키는 단계; 및
상기 3D 표준 모델의 조인트들의 위치 정보를 이용하여 상기 제2조인트들의 위치들을 조정하는 단계를 포함하는 컴퓨터 판독가능한 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1, wherein automatically setting the second joints of the 3D target model,
Obtaining a MBB (minimum bounding box) of each of the 3D standard model and the 3D target model;
Copying the target skeleton;
Transforming the target skeleton according to the position and size of the 3D target model using the obtained MBBs, and positioning the modified target skeleton in the 3D target model; And
And adjusting the positions of the second joints using the position information of the joints of the 3D standard model.
제2항에 있어서,
상기 대상 뼈대의 상기 조인트들이 루트 조인트, 상기 루트 조인트에 연결된 적어도 하나의 중간 조인트, 및 상기 적어도 하나의 중간 조인트에 연결된 적어도 하나의 종단 조인트를 포함하는 계층 구조일 때,
상기 3D 표준 모델의 상기 조인트들의 위치 정보를 이용하여 상기 제2조인트들의 위치들을 조정하는 단계는,
상기 루트 조인트를 상기 3D 대상 모델에 위치시키는 단계;
상기 적어도 하나의 종단 조인트의 위치를 조정하는 단계: 및
조정된 적어도 하나의 종단 조인트의 위치 정보를 이용하여 상기 적어도 하나의 중간 조인트의 위치를 조정하는 단계를 포함하는 컴퓨터 판독가능한 저장 매체에 저장된 컴퓨터 프로그램.
According to claim 2,
When the joint of the target skeleton is a hierarchical structure including a root joint, at least one intermediate joint connected to the root joint, and at least one end joint connected to the at least one intermediate joint,
Adjusting the positions of the second joints using the position information of the joints of the 3D standard model may include:
Positioning the root joint in the 3D target model;
Adjusting the position of the at least one end joint: and
And adjusting the position of the at least one intermediate joint using the adjusted position information of the at least one end joint.
제3항에 있어서, 상기 적어도 하나의 종단 조인트의 위치를 조정하는 단계는,
상기 3D 표준 모델의 버텍스들 중에서 상기 제1조인트들 중의 종단 조인트와 가장 가까운 버텍스를 찾는 단계; 및
상기 찾아진 버텍스와 상기 제1조인트들 중의 상기 종단 조인트와의 거리 차이에 해당하는 벡터를 이용하여 상기 적어도 하나의 종단 조인트의 위치를 조정하는 단계를 포함하는 컴퓨터 판독가능한 저장 매체에 저장된 컴퓨터 프로그램.
According to claim 3, Adjusting the position of the at least one end joint,
Finding a vertex closest to a termination joint among the first joints among vertices of the 3D standard model; And
And adjusting the position of the at least one end joint using a vector corresponding to a distance difference between the found vertex and the end joint of the first joints.
제4항에 있어서, 상기 적어도 하나의 중간 조인트의 위치를 조정하는 단계는 상기 적어도 하나의 중간 조인트의 위치를 상기 적어도 하나의 종단 조인트의 위치변화 벡터를 이용하여 결정하는 컴퓨터 판독가능한 저장 매체에 저장된 컴퓨터 프로그램.5. The method of claim 4, wherein adjusting the position of the at least one intermediate joint is stored in a computer readable storage medium that determines the position of the at least one intermediate joint using a displacement vector of the at least one end joint. Computer program. 계층 구조를 갖는 제1조인트들이 셋업된 3D 표준 모델을 수신하는 단계;
상기 3D 표준 모델의 기하학적 구조와 동일한 기하학적 구조를 갖는 상기 3D 대상 모델을 수신하는 단계;
상기 계층 구조를 갖는 제1조인트들이 셋업된 3D 표준 모델로부터 상기 계층 구조를 갖는 제1조인트들을 복사하여 대상 뼈대를 획득하는 단계;
상기 3D 표준 모델과 상기 3D 대상 모델의 MBB(minimum bounding box)들을 계산하는 단계; 및
계산된 MBB들을 이용하여 상기 3D 대상 모델의 위치와 크기에 맞게 상기 대상 뼈대를 변형하고, 변형된 대상 뼈대를 상기 3D 대상 모델에 위치시키는 단계를 포함하는 컴퓨터를 이용하여 3D 대상 모델에 조인트들을 자동으로 셋업하는 방법.
Receiving a 3D standard model in which first joints having a hierarchical structure are set up;
Receiving the 3D target model having the same geometry as the geometry of the 3D standard model;
Obtaining a target skeleton by copying the first joints having the hierarchical structure from a 3D standard model in which the first joints having the hierarchical structure are set up;
Calculating MBBs (minimum bounding boxes) of the 3D standard model and the 3D target model; And
Using the computed MBB to transform the target skeleton to fit the position and size of the 3D target model, and placing the deformed target skeleton in the 3D target model. How to set up.
제6항에 있어서,
상기 3D 표준 모델의 정보를 이용하여 상기 대상 뼈대를 이루는 상기 제1조인트들 중에서 일부 조인트들의 위치들을 조정하는 단계를 더 포함하는 컴퓨터를 이용하여 3D 대상 모델에 조인트들을 자동으로 셋업하는 방법.
The method of claim 6,
A method of automatically setting up joints in a 3D target model using a computer, the method further comprising adjusting positions of some joints among the first joints constituting the target skeleton using information of the 3D standard model.
제6항에 있어서,
상기 3D 표준 모델의 정보를 이용하여 상기 대상 뼈대를 이루는 상기 제1조인트들 중에서 종단 조인트의 위치를 조정하는 단계;
조정된 종단 조인트의 위치에 대한 정보를 이용하여 상기 조정된 종단 조인트에 연결된 중간 조인트의 위치를 조정하는 단계; 및
상기 3D 표준 모델의 스키닝 정보를 이용하여 상기 대상 뼈대와 상기 3D 대상 모델을 스키닝하는 단계를 더 포함하는 컴퓨터를 이용하여 3D 대상 모델에 조인트들을 자동으로 셋업하는 방법.
The method of claim 6,
Adjusting a position of a longitudinal joint among the first joints constituting the target skeleton using information of the 3D standard model;
Adjusting the position of the intermediate joint connected to the adjusted end joint using information on the position of the adjusted end joint; And
A method of automatically setting up joints in a 3D target model using a computer, the method further comprising skinning the target skeleton and the 3D target model using skinning information of the 3D standard model.
프로세서; 및
데이터 저장 장치를 포함하고,
상기 프로세서는,
계층 구조를 갖는 제1조인트들이 셋업된 3D 표준 모델을 수신하여 상기 데이터 저장 장치에 저장하고,
상기 3D 표준 모델의 기하학적 구조와 동일한 기하학적 구조를 갖는 상기 3D 대상 모델을 수신하여 상기 데이터 저장 장치에 저장하고,
상기 데이터 저장 장치에 저장된 상기 계층 구조를 갖는 제1조인트들이 셋업된 3D 표준 모델로부터 상기 계층 구조를 갖는 제1조인트들을 복사하여 대상 뼈대를 획득하고,
상기 3D 표준 모델과 상기 3D 대상 모델의 MBB들을 계산하고,
계산된 MBB들을 이용하여 상기 3D 대상 모델의 위치와 크기에 맞게 상기 대상 뼈대를 변형하고,
변형된 대상 뼈대를 상기 3D 대상 모델에 위치시키는 컴퓨터.
Processor; And
Including a data storage device,
The processor,
The 3D standard model having the first joints having a hierarchical structure is received and stored in the data storage device,
Receiving the 3D target model having the same geometry as the geometry of the 3D standard model and storing it in the data storage device,
Copies the first joints having the hierarchical structure from a 3D standard model in which the first joints having the hierarchical structure stored in the data storage device are set up to obtain a target skeleton
Calculate MBBs of the 3D standard model and the 3D target model,
Transform the target skeleton to fit the position and size of the 3D target model using the calculated MBBs,
A computer that places a deformed object skeleton on the 3D object model.
제9항에 있어서, 상기 프로세서는,
상기 3D 표준 모델의 정보를 이용하여 상기 대상 뼈대를 이루는 상기 제1조인트들 중에서 종단 조인트의 위치를 조정하고,
조정된 종단 조인트의 위치에 대한 정보를 이용하여 상기 조정된 종단 조인트에 연결된 중간 조인트의 위치를 조정하고,
상기 3D 표준 모델의 스키닝 정보를 이용하여 상기 대상 뼈대와 상기 3D 대상 모델을 스키닝하는 컴퓨터.

The method of claim 9, wherein the processor,
Adjusting the position of the end joint among the first joints constituting the target skeleton using the information of the 3D standard model,
Adjust the position of the intermediate joint connected to the adjusted end joint using the information on the position of the adjusted end joint,
A computer for skinning the target skeleton and the 3D target model using skinning information of the 3D standard model.

KR1020180140833A 2018-11-15 2018-11-15 Method for automatically set up joints to create facial animation of 3d face model and computer program KR20200056764A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180140833A KR20200056764A (en) 2018-11-15 2018-11-15 Method for automatically set up joints to create facial animation of 3d face model and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180140833A KR20200056764A (en) 2018-11-15 2018-11-15 Method for automatically set up joints to create facial animation of 3d face model and computer program

Publications (1)

Publication Number Publication Date
KR20200056764A true KR20200056764A (en) 2020-05-25

Family

ID=70914559

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180140833A KR20200056764A (en) 2018-11-15 2018-11-15 Method for automatically set up joints to create facial animation of 3d face model and computer program

Country Status (1)

Country Link
KR (1) KR20200056764A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000183A (en) * 2020-06-25 2022-01-03 동서대학교 산학협력단 Creation method of proxy modeling through 3D object creation
KR102449987B1 (en) * 2021-11-22 2022-10-04 스튜디오이온 주식회사 Method for automatically setup joints to create facial animation of 3d face model and computer program thereof
KR102488877B1 (en) * 2021-12-07 2023-01-18 (주)이브이알스튜디오 Method for three dimensional graphic interface based model and three dimensional graphic interface device therefor
KR102506506B1 (en) * 2021-11-10 2023-03-06 (주)이브이알스튜디오 Method for generating facial expression and three dimensional graphic interface device using the same
KR20230126485A (en) * 2022-02-23 2023-08-30 (주)이브이알스튜디오 Method for generating joint based facial rig and apparatus therefor
KR20230169766A (en) 2022-06-09 2023-12-18 오모션 주식회사 A full body integrated motion capture method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100896065B1 (en) 2007-12-17 2009-05-07 한국전자통신연구원 Method for producing 3d facial animation
KR101102778B1 (en) 2010-04-22 2012-01-05 한국과학기술원 Method and apparatus for transferring character rigs from source model to target model
KR101686028B1 (en) 2015-04-20 2016-12-13 한국과학기술원 Method and apparatus for character motion retargeting to rig-space

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100896065B1 (en) 2007-12-17 2009-05-07 한국전자통신연구원 Method for producing 3d facial animation
KR101102778B1 (en) 2010-04-22 2012-01-05 한국과학기술원 Method and apparatus for transferring character rigs from source model to target model
KR101686028B1 (en) 2015-04-20 2016-12-13 한국과학기술원 Method and apparatus for character motion retargeting to rig-space

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000183A (en) * 2020-06-25 2022-01-03 동서대학교 산학협력단 Creation method of proxy modeling through 3D object creation
KR102506506B1 (en) * 2021-11-10 2023-03-06 (주)이브이알스튜디오 Method for generating facial expression and three dimensional graphic interface device using the same
KR102449987B1 (en) * 2021-11-22 2022-10-04 스튜디오이온 주식회사 Method for automatically setup joints to create facial animation of 3d face model and computer program thereof
KR102488877B1 (en) * 2021-12-07 2023-01-18 (주)이브이알스튜디오 Method for three dimensional graphic interface based model and three dimensional graphic interface device therefor
KR20230126485A (en) * 2022-02-23 2023-08-30 (주)이브이알스튜디오 Method for generating joint based facial rig and apparatus therefor
KR20230169766A (en) 2022-06-09 2023-12-18 오모션 주식회사 A full body integrated motion capture method
US12112416B2 (en) 2022-06-09 2024-10-08 5Motion Inc. Full-body integrated motion capture method

Similar Documents

Publication Publication Date Title
KR20200056764A (en) Method for automatically set up joints to create facial animation of 3d face model and computer program
KR102353776B1 (en) Systems and Methods for 3D Garment Mesh Deformation and Layering for Garment Fit Visualization
US9886530B2 (en) Computing camera parameters
KR101560508B1 (en) Method and arrangement for 3-dimensional image model adaptation
US7903111B2 (en) Depth image-based modeling method and apparatus
JP2008186456A (en) Methodology for 3d scene reconstruction from 2d image sequences
US10467793B2 (en) Computer implemented method and device
EP3379495B1 (en) Seamless fracture in an animation production pipeline
JP2000182038A (en) Method for generating perspective sizing data from distorted information, device to be used for this and computer program product
EP0794517B1 (en) Virtual architecture method and apparatus
KR101715325B1 (en) Method and system for providing Picture lay out drawings by using three dimensional scan technologies
CN113689538A (en) Video generation method and device, electronic equipment and storage medium
US20200286285A1 (en) Automated mesh generation
JP4463597B2 (en) 3D drawing model generation method and program thereof
EP3474185B1 (en) Classification of 2d images according to types of 3d arrangement
US6977660B2 (en) Data processing apparatus
JP6975665B2 (en) Texture mapping device and texture mapping program
US10297036B2 (en) Recording medium, information processing apparatus, and depth definition method
US20110148874A1 (en) System and method for transforming muscles of character model
JP2002015310A (en) Method for fitting face to point group and modeling device
JP2018185658A (en) Information processing apparatus, information processing method, and program
JP7251003B2 (en) Face mesh deformation with fine wrinkles
JP6719168B1 (en) Program, apparatus and method for assigning label to depth image as teacher data
KR102449987B1 (en) Method for automatically setup joints to create facial animation of 3d face model and computer program thereof
JP7374433B2 (en) How to generate three-dimensional shape data of a structure

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right