KR102152078B1 - Apparatus and method for generating 3d face model - Google Patents

Apparatus and method for generating 3d face model Download PDF

Info

Publication number
KR102152078B1
KR102152078B1 KR1020170078907A KR20170078907A KR102152078B1 KR 102152078 B1 KR102152078 B1 KR 102152078B1 KR 1020170078907 A KR1020170078907 A KR 1020170078907A KR 20170078907 A KR20170078907 A KR 20170078907A KR 102152078 B1 KR102152078 B1 KR 102152078B1
Authority
KR
South Korea
Prior art keywords
model
face
hair
beard
region
Prior art date
Application number
KR1020170078907A
Other languages
Korean (ko)
Other versions
KR20180065860A (en
Inventor
윤승욱
임성재
황본우
박창준
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20180065860A publication Critical patent/KR20180065860A/en
Application granted granted Critical
Publication of KR102152078B1 publication Critical patent/KR102152078B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Abstract

3D 얼굴 모델 생성 장치 및 방법이 개시된다. 본 발명에 따른 3D 얼굴 모델 생성 장치에 의해 수행되는 3D 얼굴 모델 생성 방법은, 입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택하는 단계, 선택된 상기 헤어 영역 및 상기 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이하는 단계, 전이된 상기 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합하는 단계, 상기 3D 얼굴 복원 모델과 병합된 상기 메쉬 모델 간 오차 함수를 계산하는 단계, 상기 오차 함수를 기반으로, 상기 참조 헤어 모델 및 상기 참조 수염 모델 중 적어도 어느 하나를 변형하는 단계, 저장된 학습 매개변수, 변형된 상기 참조 헤어 모델 및 변형된 상기 참조 수염 모델 중 적어도 어느 하나를 이용하여, 최적 매개변수를 추출하는 단계, 추출된 상기 최적 매개변수를 기반으로, 헤어 모델 및 수염 모델 중 적어도 어느 하나를 생성하는 단계, 그리고 생성된 상기 헤어 모델, 상기 수염 모델 및 상기 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력하는 단계를 포함한다. An apparatus and method for generating a 3D face model are disclosed. The 3D face model generation method performed by the 3D face model generation apparatus according to the present invention comprises the steps of selecting at least one of a hair region and a beard region from an input 3D face restoration model, the selected hair region and the Transferring a face reference model to a face region other than the beard region, merging at least two or more of the transferred face region, a reference hair model, and a reference beard model into one mesh model, the 3D face restoration model and Calculating an error function between the merged mesh models, transforming at least one of the reference hair model and the reference whisker model, based on the error function, stored learning parameters, the modified reference hair model, and Extracting an optimal parameter using at least one of the modified reference beard models, generating at least one of a hair model and a beard model based on the extracted optimal parameter, and the generated And outputting a final 3D face model including the hair model, the beard model, and the face region.

Description

3D 얼굴 모델 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING 3D FACE MODEL}Apparatus and method for generating 3D face models {APPARATUS AND METHOD FOR GENERATING 3D FACE MODEL}

본 발명은 3D 얼굴 모델 생성 기술에 관한 것으로, 특히 3D 얼굴 복원 모델과 외형적으로 유사하며, 다양한 응용에서 사용 가능한 3D 얼굴, 헤어 및 수염 모델을 생성하는 기술에 관한 것이다.The present invention relates to a technology for generating a 3D face model, and in particular, to a technology for generating a 3D face, hair and beard model that is externally similar to a 3D face restoration model and can be used in various applications.

최근, 센서 기술이 발달하고, 3D 콘텐츠에 관한 관심이 확산됨에 따라, 3D 얼굴 모델의 중요성이 증대되고 있다. 오늘날 다양한 센서 및 장치로부터 획득한 입력 데이터로부터 대상의 3D 외형 정보를 복원할 수 있으나, 머리카락이나 수염 등은 실물과 유사하게 복원하기 어렵다. Recently, as sensor technology develops and interest in 3D contents spreads, the importance of 3D face models is increasing. Today, 3D appearance information of an object can be restored from input data obtained from various sensors and devices, but it is difficult to restore hair or beard similar to the real thing.

얼굴의 일부를 가린 머리카락(헤어)의 경우, 얼굴 외형이 헤어 모양에 따라 잘못 복원되는 경우가 많다. 또한, 검은 색의 머리카락은 적외선 센서 등으로 촬영하더라도, 빛이 흡수되어 제대로 복원하기 힘들다. In the case of hair (hair) that covers part of the face, the appearance of the face is often incorrectly restored depending on the shape of the hair. In addition, even if black hair is photographed with an infrared sensor, light is absorbed and it is difficult to properly restore it.

이러한 문제를 해결하기 위하여, 머리에 흰색 스프레이를 뿌리고 촬영하는 경우가 있으나, 이는 매우 번거롭고 불편한 작업이다. In order to solve this problem, there is a case of shooting with white spray on the head, but this is a very cumbersome and inconvenient operation.

복수의 카메라로부터 사람을 촬영하는 경우, 대략적인 얼굴 및 헤어의 외형은 복원되지만, 머리카락이 머리에 눌린 형태로 복원되므로, 사람의 얼굴과 헤어의 구분이 어렵다. 이로 인하여 실물과 복원 모델의 차이가 발생하고, 사실감 있는 복원 모델의 구현이 어렵다. 또한, 이러한 점은 컴퓨터 애니메이션, 게임, 3D 프린팅 등과 같은 다양한 멀티미디어 응용에서의 제약 사항으로 작용하고 있다. When a person is photographed from a plurality of cameras, the approximate appearance of the face and hair is restored, but since the hair is restored in a form pressed against the head, it is difficult to distinguish between the human face and the hair. Due to this, a difference between the real and the restoration model occurs, and it is difficult to implement a realistic restoration model. In addition, this is acting as a limitation in various multimedia applications such as computer animation, games, and 3D printing.

종래 기술에 따르면, 헤어 템플릿 모델 또는 예제 모델을 사용하여 3D 헤어 모델을 자동으로 생성하거나 시뮬레이션하는 3D 헤어 시뮬레이션 기술, 가상 헤어를 3D 얼굴 모델에 적용해 렌더링하는 기술 등이 제안되었다. According to the prior art, a 3D hair simulation technology for automatically generating or simulating a 3D hair model using a hair template model or an example model, and a technology for rendering virtual hair by applying it to a 3D face model have been proposed.

그러나, 이러한 종래 기술들은 헤어에만 특화된 방식으로, 전체적인 실물의 사실적 3D 외형 복원에 초점을 맞춘 기술이 아니라, 헤어 캡쳐나 시뮬레이션에 초점을 맞춘 기술이다. However, these conventional techniques are techniques that focus on hair capture or simulation, rather than techniques focusing on realistic 3D appearance restoration of the whole real thing in a manner specialized only for hair.

최근 3D 프린팅을 위하여 대상의 헤어 스타일을 포함한 일체형 얼굴 또는 상반신 모델을 다시점 영상을 이용하여 정밀하게 복원하는 연구가 발표되었다. 이러한 방법은 얼굴과 헤어를 별도 모델로 분리하지 않고, 컬러 차이를 이용해 헤어 영역만 구분한 후, 입력 영상에 유사한 형태로 헤어를 모델링하는 방식을 사용한다. Recently, for 3D printing, a study on accurately reconstructing an integrated face or upper body model including a subject's hair style using multi-view images has been published. This method does not separate the face and hair into separate models, but separates only the hair region using color differences, and then models the hair in a similar shape to the input image.

입력 영상과 비교해 큰 차이가 없는 세밀한 복원 결과를 획득할 수 있으나, 3D 프린팅에만 국한된 방식으로, 범용성에 한계가 있다. 그리고 영상 기반의 복원 방식은 패턴이 없는 단일 색 영역의 복원(ex. 검은 머리 복원)에 취약하며, 컬러 차이를 이용한 얼굴과 헤어 영역 구분은 대상의 인종이나 피부색, 머리색 등의 차이에 민감하다. Compared to the input image, it is possible to obtain a detailed restoration result without a significant difference, but it is a method limited to 3D printing and has a limitation in versatility. In addition, the image-based restoration method is vulnerable to restoration of a single color area without a pattern (ex. black hair restoration), and the division of the face and hair area using color difference is sensitive to differences in the subject's race, skin color, and hair color. .

따라서, 얼굴 영역과 헤어 영역 및 수염 영역을 분리하여 처리함으로써, 다양한 응용에 쉽게 적용할 수 있도록 범용성을 높이고, 실물과 가장 유사한 3D 얼굴 외형을 복원할 수 있는 기술의 개발이 필요하다. Accordingly, there is a need to develop a technology that can improve versatility so that it can be easily applied to various applications and restore a 3D facial appearance most similar to the real thing by processing the face area, the hair area, and the beard area separately.

한국 등록 특허 제10-0327541호, 2000년 11월 06일 공고(명칭: 3차원 얼굴 모델링 시스템 및 모델링 방법)Korean Patent Registration No. 10-0327541, announced on November 06, 2000 (Name: 3D face modeling system and modeling method)

본 발명의 목적은 얼굴 영역, 헤어 영역 및 수염 영역을 분리하여 처리함으로써, 다양한 응용에 적용하기 용이하도록 범용성을 높이는 것이다. An object of the present invention is to improve versatility so that it can be easily applied to various applications by separately treating the face area, the hair area, and the beard area.

또한, 본 발명의 목적은 3D 헤어 및 수염 모델을 생성하기 위한 최적 매개변수를 추출하고, 이를 통하여 실물과 가장 유사한 형태로 3D 얼굴 외형을 복원하는 것이다. In addition, an object of the present invention is to extract an optimal parameter for generating a 3D hair and beard model, and to restore the 3D face appearance in a form most similar to the real thing through this.

상기한 목적을 달성하기 위한 본 발명에 따른 3D 얼굴 모델 생성 장치에 의해 수행되는 3D 얼굴 모델 생성 방법은, 입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택하는 단계, 선택된 상기 헤어 영역 및 상기 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이하는 단계, 전이된 상기 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합하는 단계, 상기 3D 얼굴 복원 모델과 병합된 상기 메쉬 모델 간 오차 함수를 계산하는 단계, 상기 오차 함수를 기반으로, 상기 참조 헤어 모델 및 상기 참조 수염 모델 중 적어도 어느 하나를 변형하는 단계, 저장된 학습 매개변수, 변형된 상기 참조 헤어 모델 및 변형된 상기 참조 수염 모델 중 적어도 어느 하나를 이용하여, 최적 매개변수를 추출하는 단계, 추출된 상기 최적 매개변수를 기반으로, 헤어 모델 및 수염 모델 중 적어도 어느 하나를 생성하는 단계, 그리고 생성된 상기 헤어 모델, 상기 수염 모델 및 상기 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력하는 단계를 포함한다. In the 3D face model generation method performed by the 3D face model generation apparatus according to the present invention for achieving the above object, the step of selecting at least one of a hair area and a beard area from an input 3D face restoration model , Transferring a face reference model to a face region other than the selected hair region and the beard region, merging at least two or more of the transferred face region, the reference hair model, and the reference beard model into one mesh model , Calculating an error function between the mesh model merged with the 3D face restoration model, transforming at least one of the reference hair model and the reference beard model based on the error function, stored learning parameters, Extracting an optimum parameter using at least one of the deformed reference hair model and the deformed reference beard model, generating at least one of a hair model and a beard model based on the extracted optimum parameter And outputting a final 3D face model including the generated hair model, the beard model, and the face region.

이때, 상기 헤어 영역 및 상기 수염 영역 중 적어도 어느 하나의 영역을 선택하는 단계는, 사용자로부터 상기 영역을 선택받거나, 기 저장된 헤어 참조 모델 및 수염 참조 모델 중 적어도 어느 하나를 이용하여 상기 영역을 인식할 수 있다. In this case, the step of selecting at least one of the hair region and the beard region may include selecting the region from a user or recognizing the region using at least one of a previously stored hair reference model and a beard reference model. I can.

이때, 상기 입력받은 3D 얼굴 복원 모델은, 3D 스캐너, 깊이 센서 및 카메라 중 적어도 어느 하나로부터 촬영된 영상으로부터 복원된 3D 얼굴 메쉬 모델일 수 있다. In this case, the received 3D face restoration model may be a 3D face mesh model reconstructed from an image captured from at least one of a 3D scanner, a depth sensor, and a camera.

이때, 상기 최종 3D 얼굴 모델을 출력하는 단계는, 상기 최종 3D 얼굴 모델의 용도를 기반으로 상기 최종 3D 얼굴 모델의 포맷 및 구조를 결정하여 출력할 수 있다. In this case, in the outputting of the final 3D face model, the format and structure of the final 3D face model may be determined and output based on the purpose of the final 3D face model.

이때, 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 입력받는 단계, 입력받은 상기 데이터 셋을 이용하여 기계학습을 수행하는 단계, 그리고 상기 기계학습의 수행 결과인 상기 학습 매개변수를 저장하는 단계를 더 포함할 수 있다. At this time, receiving at least one data set from among the 3D hair model data set and the 3D beard model data set, performing machine learning using the received data set, and the learning which is a result of the machine learning It may further include storing the parameter.

이때, 생성된 상기 헤어 모델 및 상기 수염 모델 중 적어도 어느 하나를 렌더링하여 디스플레이하는 단계, 렌더링하여 디스플레이 된 모델과 상기 입력받은 3D 얼굴 복원 모델 간 유사도를 기 설정된 임계값과 비교하는 단계, 그리고 상기 유사도가 상기 임계값 미만인 경우, 상기 오차 함수를 재계산하는 단계를 더 포함할 수 있다. In this case, rendering and displaying at least one of the generated hair model and the beard model, comparing the similarity between the rendered and displayed model and the input 3D face restoration model with a preset threshold, and the similarity When is less than the threshold value, the step of recalculating the error function may be further included.

또한, 본 발명의 또 다른 실시예에 따른 3D 얼굴 모델 생성 장치는 입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택하고, 선택된 상기 헤어 영역 및 상기 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이하는 헤어 및 수염 영역 선택부, 전이된 상기 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합하는 메쉬 모델 병합부, 상기 3D 얼굴 복원 모델과 병합된 상기 메쉬 모델 간 오차 함수를 계산하는 오차함수 계산부, 상기 오차함수를 기반으로, 상기 참조 헤어 모델 및 상기 참조 수염 모델 중 적어도 어느 하나를 변형하고, 저장된 학습 매개변수, 변형된 상기 참조 헤어 모델 및 변형된 상기 참조 수염 모델 중 적어도 어느 하나를 이용하여 최적 매개변수를 추출하는 최적 매개변수 추출부, 그리고 추출된 상기 최적 매개변수를 기반으로, 헤어 모델 및 수염 모델 중 적어도 어느 하나를 생성하고, 생성된 상기 헤어 모델, 상기 수염 모델 및 상기 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력하는 최종 3D 얼굴 모델 출력부를 포함한다. In addition, the apparatus for generating a 3D face model according to another embodiment of the present invention selects at least one of a hair region and a beard region from the received 3D face restoration model, and selects at least one of the selected hair region and the beard region. A hair and beard region selection unit that transfers a face reference model to a face region that is an area, a mesh model merging unit that merges at least two of the transferred face region, a reference hair model, and a reference beard model into one mesh model, the 3D An error function calculation unit that calculates an error function between the mesh models merged with the face restoration model, based on the error function, transforms at least one of the reference hair model and the reference beard model, and stores training parameters, transformation An optimum parameter extraction unit for extracting an optimum parameter using at least one of the reference hair model and the modified reference beard model, and at least one of a hair model and a beard model based on the extracted optimum parameter And a final 3D face model output unit that generates one and outputs a final 3D face model including the generated hair model, the beard model, and the face region.

이때, 상기 최종 3D 얼굴 모델 출력부는, 상기 최종 3D 얼굴 모델의 용도를 기반으로 상기 최종 3D 얼굴 모델의 포맷 및 구조를 결정하여 출력할 수 있다. In this case, the final 3D face model output unit may determine and output the format and structure of the final 3D face model based on the purpose of the final 3D face model.

이때, 입력받은 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 이용하여 기계학습을 수행하고, 상기 기계학습의 수행 결과인 상기 학습 매개변수를 저장하는 기계 학습부를 더 포함할 수 있다. In this case, further comprising a machine learning unit that performs machine learning using at least one of the received 3D hair model data set and 3D beard model data set, and stores the learning parameters that are results of the machine learning. can do.

이때, 상기 최종 3D 얼굴 모델 출력부는, 상기 생성된 상기 헤어 모델 및 상기 수염 모델 중 적어도 어느 하나를 렌더링하여 디스플레이하고, 상기 오차 함수 계산부는, 렌더링하여 디스플레이 된 모델과 상기 입력받은 3D 얼굴 복원 모델 간 유사도를 기 설정된 임계값과 비교한 결과, 상기 유사도가 상기 임계값 미만인 경우 상기 오차 함수를 재계산할 수 있다. In this case, the final 3D face model output unit renders and displays at least one of the generated hair model and the beard model, and the error function calculation unit is configured between the rendered and displayed model and the input 3D face restoration model. As a result of comparing the degree of similarity with a preset threshold value, if the degree of similarity is less than the threshold value, the error function may be recalculated.

본 발명에 따르면, 얼굴 영역, 헤어 영역 및 수염 영역을 분리하여 처리함으로써, 다양한 응용에 적용하기 용이하도록 범용성을 높일 수 있다. According to the present invention, by separating and treating the face area, the hair area, and the beard area, it is possible to increase versatility to facilitate application to various applications.

또한 본 발명에 따르면, 3D 헤어 및 수염 모델을 생성하기 위한 최적 매개변수를 추출하고, 이를 통하여 실물과 가장 유사한 형태로 3D 얼굴 외형을 복원 할 수 있다. In addition, according to the present invention, optimal parameters for generating 3D hair and beard models are extracted, and through this, the 3D face appearance can be restored in a shape most similar to the real thing.

도 1은 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치의 기계 학습부의 구성을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일실시예에 따른 기계 학습 수행 과정을 나타낸 순서도이다.
도 6은 본 발명의 일실시예에 따른 오차함수 재계산 과정을 나타낸 순서도이다.
도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.1 is a diagram schematically illustrating an environment to which an apparatus for generating a 3D face model according to an embodiment of the present invention is applied.
2 is a block diagram showing a configuration of an apparatus for generating a 3D face model according to an embodiment of the present invention.
3 is a diagram showing the configuration of a machine learning unit of an apparatus for generating a 3D face model according to an embodiment of the present invention.
4 is a flowchart illustrating a method of generating a 3D face model according to an embodiment of the present invention.
5 is a flowchart illustrating a process of performing machine learning according to an embodiment of the present invention.
6 is a flow chart showing a process of recalculating an error function according to an embodiment of the present invention.
7 is a block diagram showing a computer system according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application. Does not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. In describing the present invention, in order to facilitate an overall understanding, the same reference numerals are used for the same elements in the drawings, and duplicate descriptions for the same elements are omitted.

도 1은 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치가 적용되는 환경을 개략적으로 나타낸 도면이다. 1 is a diagram schematically illustrating an environment to which an apparatus for generating a 3D face model according to an embodiment of the present invention is applied.

도 1에 도시한 바와 같이, 3D 얼굴 모델 생성 장치(200)는 헤어 및 수염 참조 모델 저장부(110), 얼굴 참조 모델 저장부(120) 및 학습 매개변수 저장부(130)와 연결될 수 있다. As shown in FIG. 1, the 3D face model generation apparatus 200 may be connected to the hair and beard reference model storage unit 110, the face reference model storage unit 120, and the learning parameter storage unit 130.

3D 얼굴 모델 생성 장치(200)는 헤어 및 수염 참조 모델 저장부(110)에 저장된 참조 모델을 이용하여, 입력받은 3D 얼굴 복원 모델로부터 헤어 영역 및 수염 영역 중 적어도 어느 하나를 인식할 수 있다. The 3D face model generating apparatus 200 may recognize at least one of the hair region and the beard region from the received 3D face restoration model using the reference model stored in the hair and beard reference model storage unit 110.

또한, 3D 얼굴 모델 생성 장치(200)는 얼굴 참조 모델 저장부(120)에 저장된 얼굴 참조 모델을 이용하여 3D 얼굴 전이를 수행할 수 있다. In addition, the 3D face model generating apparatus 200 may perform 3D face transition using the face reference model stored in the face reference model storage unit 120.

3D 얼굴 전이를 수행한 3D 얼굴 모델 생성 장치(200)는 전이된 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델을 하나의 메쉬 모델로 병합한다. 그리고 3D 얼굴 모델 생성 장치(200)는 3D 얼굴 복원 모델과 병합된 메쉬 모델간 오차 함수를 계산하고, 계산된 오차 함수를 기반으로 참조 헤어 모델 및 참조 수염 모델을 변형한다. The 3D face model generation apparatus 200 performing 3D face transfer merges the transferred face region, the reference hair model, and the reference beard model into one mesh model. In addition, the 3D face model generation apparatus 200 calculates an error function between the 3D face restoration model and the merged mesh model, and transforms the reference hair model and the reference beard model based on the calculated error function.

3D 얼굴 모델 생성 장치(200)는 학습 매개변수 저장부(130)에 저장된 학습 매개변수, 변형된 참조 헤어 모델 및 변형된 참조 수염 모델 중 적어도 어느 하나를 이용하여, 최적 매개변수를 추출할 수 있다. The 3D face model generation apparatus 200 may extract an optimal parameter using at least one of a learning parameter stored in the learning parameter storage unit 130, a modified reference hair model, and a modified reference beard model. .

그리고 3D 얼굴 모델 생성 장치(200)는 최적 매개변수를 기반으로 헤어 모델 및 수염 모델을 생성하고, 생성된 헤어 모델 및 수염 모델에 상응하는 최종 3D 얼굴 모델을 출력할 수 있다. In addition, the 3D face model generating apparatus 200 may generate a hair model and a beard model based on an optimal parameter, and output a final 3D face model corresponding to the generated hair model and beard model.

이하에서는 도 2 및 도 3을 통하여 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치의 구성에 대하여 더욱 상세하게 설명한다. Hereinafter, a configuration of an apparatus for generating a 3D face model according to an embodiment of the present invention will be described in more detail with reference to FIGS. 2 and 3.

도 2는 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치의 구성을 나타낸 블록도이다. 2 is a block diagram showing a configuration of an apparatus for generating a 3D face model according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 3D 얼굴 모델 생성 장치(200)는 헤어 및 수염 영역 선택부(210), 메쉬 모델 병합부(220), 오차 함수 계산부(230), 기계 학습부(240), 최적 매개변수 추출부(250) 및 최종 3D 얼굴 모델 출력부(260)를 포함할 수 있다. As shown in FIG. 2, the 3D face model generation apparatus 200 includes a hair and beard region selection unit 210, a mesh model merging unit 220, an error function calculation unit 230, a machine learning unit 240, and It may include an optimum parameter extraction unit 250 and a final 3D face model output unit 260.

먼저, 헤어 및 수염 영역 선택부(210)는 입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택한다. 그리고 헤어 및 수염 영역 선택부(210)는 선택된 헤어 영역 및 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이한다. First, the hair and beard region selection unit 210 selects at least one of the hair region and the beard region from the received 3D face restoration model. In addition, the hair and beard region selection unit 210 transfers the face reference model to a face region other than the selected hair region and beard region.

여기서, 입력받은 3D 얼굴 복원 모델은 3D 스캐너, 깊이 센서 및 카메라 중 적어도 어느 하나로부터 촬영된 영상으로부터, 복원된 3D 얼굴 메쉬 모델을 의미할 수 있다. Here, the received 3D face restoration model may mean a 3D face mesh model reconstructed from an image captured from at least one of a 3D scanner, a depth sensor, and a camera.

그리고 헤어 및 수염 영역 선택부(210)는 사용자로부터, 헤어 영역 및 수염 영역을 선택받거나, 기 저장된 헤어 참조 모델 및 수염 참조 모델 중 적어도 어느 하나를 이용하여 헤어 영역 및 수염 영역을 인식할 수 있다. In addition, the hair and beard region selection unit 210 may receive a selection of a hair region and a beard region from the user, or recognize the hair region and the beard region using at least one of a previously stored hair reference model and a beard reference model.

다음으로 메쉬 모델 병합부(220)는 전이된 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합한다. Next, the mesh model merging unit 220 merges at least two or more of the transferred face region, the reference hair model, and the reference beard model into one mesh model.

오차 함수 계산부(230)는 3D 얼굴 복원 모델과 병합된 메쉬 모델 간 오차 함수를 계산한다. The error function calculation unit 230 calculates an error function between the 3D face restoration model and the merged mesh model.

또한, 오차함수 계산부(230)는 최종 3D 얼굴 모델 출력부(260)에서 렌더링하여 디스플레이 된 모델과 입력받은 3D 얼굴 복원 모델 간 유사도를 연산하고, 연산된 유사도와 기 설정된 임계값을 비교한다. 그리고 비교 결과, 유사도가 임계값 미만인 경우 오차함수 계산부(230)는 오차함수를 재계산할 수 있다. In addition, the error function calculation unit 230 calculates a similarity between the displayed model and the input 3D face restoration model rendered by the final 3D face model output unit 260, and compares the calculated similarity with a preset threshold. And, as a result of the comparison, when the similarity is less than the threshold value, the error function calculation unit 230 may recalculate the error function.

기계 학습부(240)는 입력받은 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 이용하여 기계 학습을 수행한다. 그리고 기계 학습의 수행 결과인 학습 매개변수를 저장한다. 이때, 기계 학습부(240)는 내부의 저장소에 학습 매개변수를 저장하거나, 학습 매개변수 저장부(130)에 학습 매개변수를 저장할 수 있다. The machine learning unit 240 performs machine learning using at least one of the received 3D hair model data set and 3D beard model data set. And it stores learning parameters, which are the results of machine learning. In this case, the machine learning unit 240 may store a learning parameter in an internal storage or may store a learning parameter in the learning parameter storage unit 130.

도 3은 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치의 기계 학습부의 구성을 나타낸 도면이다. 3 is a diagram showing the configuration of a machine learning unit of an apparatus for generating a 3D face model according to an embodiment of the present invention.

도 3에 도시한 바와 같이, 기계 학습부(240)는 데이터 셋 입력 모듈(241), 기계 학습 수행 모듈(243) 및 학습 매개변수 저장 모듈(245)을 포함한다. As shown in FIG. 3, the machine learning unit 240 includes a data set input module 241, a machine learning execution module 243, and a learning parameter storage module 245.

먼저, 데이터 셋 입력 모듈(241)은 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 입력받는다. First, the data set input module 241 receives at least one of a 3D hair model data set and a 3D beard model data set.

그리고 기계 학습 수행 모듈(243)은 입력받은 데이터 셋을 이용하여 기계학습을 수행한다. In addition, the machine learning execution module 243 performs machine learning using the received data set.

또한, 학습 매개변수 저장 모듈(245)은 기계학습의 수행 결과인 학습 매개변수를 저장한다. 이때, 학습 매개변수 저장 모듈(245)은 3D 얼굴 모델 생성 장치(200)의 내부 저장소에 학습 매개변수를 저장하거나, 외부의 학습 매개변수 저장부(130)에 학습 매개변수를 저장할 수 있다. In addition, the learning parameter storage module 245 stores learning parameters that are results of machine learning. In this case, the learning parameter storage module 245 may store the learning parameter in the internal storage of the 3D face model generating apparatus 200 or the learning parameter in the external learning parameter storage unit 130.

다시 도 2에 대하여 설명하면, 최적 매개변수 추출부(250)는 오차 함수를 기반으로, 참조 헤어 모델 및 참조 수염 모델 중 적어도 어느 하나를 변형한다. Referring to FIG. 2 again, the optimal parameter extraction unit 250 transforms at least one of the reference hair model and the reference beard model based on the error function.

그리고 최적 매개변수 추출부(250)는 저장된 학습 매개변수, 변형된 참조 헤어 모델 및 변형된 참조 수염 모델 중 적어도 어느 하나를 이용하여 최적 매개변수를 추출할 수 있다. In addition, the optimal parameter extraction unit 250 may extract the optimal parameter using at least one of the stored learning parameter, the modified reference hair model, and the modified reference beard model.

마지막으로, 최종 3D 얼굴 모델 출력부(260)는 생성된 헤어 모델 및 수염 모델 중 적어도 어느 하나를 렌더링하여 디스플레이할 수 있다.Finally, the final 3D face model output unit 260 may render and display at least one of the generated hair model and beard model.

그리고 최종 3D 얼굴 모델 출력부(260)는 최적 매개변수 추출부(250)에서 추출된 최적 매개변수를 기반으로 헤어 모델, 수염 모델 중 적어도 어느 하나를 생성한다. Further, the final 3D face model output unit 260 generates at least one of a hair model and a beard model based on the optimum parameter extracted by the optimum parameter extraction unit 250.

또한, 최종 3D 얼굴 모델 출력부(260)는 생성된 헤어 모델, 생성된 수염 모델 및 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력할 수 있다. 이때, 최종 3D 얼굴 모델 출력부(260)는 최종 3D 얼굴 모델의 용도를 기반으로, 최종 3D 얼굴 모델의 포맷 및 구조를 결정하여 출력할 수 있다. In addition, the final 3D face model output unit 260 may output a final 3D face model including the generated hair model, the generated beard model, and the face area. In this case, the final 3D face model output unit 260 may determine and output the format and structure of the final 3D face model based on the purpose of the final 3D face model.

이하에서는 도 4 내지 도 6을 통하여, 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치에 의해 수행되는 3D 얼굴 모델 생성 방법에 대하여 더욱 상세하게 설명한다. Hereinafter, a method of generating a 3D face model performed by an apparatus for generating a 3D face model according to an embodiment of the present invention will be described in more detail with reference to FIGS. 4 to 6.

도 4는 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 방법을 설명하기 위한 순서도이다. 4 is a flowchart illustrating a method of generating a 3D face model according to an embodiment of the present invention.

먼저, 3D 얼굴 모델 생성 장치(200)는 헤어 영역 및 수염 영역을 선택한다(S410). First, the 3D face model generating apparatus 200 selects a hair region and a beard region (S410).

3D 얼굴 모델 생성 장치(200)는 3D 스캐너, 깊이 센서 및 카메라 등이 촬영한 영상으로부터 복원된 3D 얼굴 복원 모델을 입력받는다. 여기서, 3D 얼굴 복원 모델은 3D 얼굴 모델의 메쉬 데이터 형태일 수 있다. The 3D face model generating apparatus 200 receives a 3D face restoration model restored from an image captured by a 3D scanner, a depth sensor, and a camera. Here, the 3D face restoration model may be in the form of mesh data of the 3D face model.

그리고 3D 얼굴 모델 생성 장치(200)는 3D 얼굴 복원 모델에서 헤어 영역 및 수염 영역을 선택한다. 3D 얼굴 모델 생성 장치(200)는 사용자 인터페이스를 통하여 사용자로부터 헤어 영역 및 수염 영역을 선택받거나, 기 저장된 헤어 참조 모델 및 수염 참조 모델을 이용하여 헤어 영역 및 수염 영역을 자동으로 인식할 수 있다. 이때, 헤어 참조 모델 및 수염 참조 모델은 헤어 및 수염 참조 모델 저장부(110)에 저장된 것일 수 있다. In addition, the 3D face model generating apparatus 200 selects a hair region and a beard region from the 3D face restoration model. The 3D face model generating apparatus 200 may receive a selection of a hair region and a beard region from a user through a user interface, or automatically recognize the hair region and a beard region using a previously stored hair reference model and a beard reference model. In this case, the hair reference model and the beard reference model may be stored in the hair and beard reference model storage unit 110.

그리고 3D 얼굴 모델 생성 장치(200)는 얼굴 영역으로 얼굴 참조 모델을 전이한다(S420). Then, the 3D face model generating apparatus 200 transfers the face reference model to the face area (S420).

여기서, 얼굴 영역은 3D 얼굴 복원 모델에서 헤어 영역 및 수염 영역 이외의 영역을 의미하며, 3D 얼굴 모델 생성 장치(200)는 얼굴 참조 모델을 3D 얼굴 복원 모델에서의 얼굴 영역으로 전이한다. 이때, 얼굴 참조 모델은 얼굴 참조 모델 저장부(120)에 기 저장되어 있는 것일 수 있다. Here, the face region refers to a region other than the hair region and the beard region in the 3D face restoration model, and the 3D face model generation apparatus 200 transfers the face reference model to the face region in the 3D face restoration model. In this case, the face reference model may be previously stored in the face reference model storage unit 120.

다음으로 3D 얼굴 모델 생성 장치(200)는 하나의 메쉬 모델로 병합하고(S430), 3D 얼굴 복원 모델과 병합된 메쉬 모델 간 오차 함수를 계산한다(S440).Next, the 3D face model generating apparatus 200 merges into one mesh model (S430), and calculates an error function between the 3D face restoration model and the merged mesh model (S440).

3D 얼굴 모델 생성 장치(200)는 전이된 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델을 하나의 메쉬 모델로 병합한다. 그리고 3D 얼굴 모델 생성 장치(200)는 초기에 입력받은 3D 얼굴 복원 모델과 S430 단계에서 병합된 메쉬 모델 사이의 오차 함수를 계산한다. The 3D face model generating apparatus 200 merges the transferred face region, the reference hair model, and the reference beard model into one mesh model. In addition, the 3D face model generating apparatus 200 calculates an error function between the 3D face restoration model received initially and the mesh model merged in step S430.

이때, 오차 함수는 전체 모델 사이의 오차 관계를 정의하므로, 3D 얼굴 모델 생성 장치(200)는 헤어 영역의 오차 함수와 수염 영역의 오차 함수를 분리하여 계산할 수 있다. In this case, since the error function defines an error relationship between all models, the 3D face model generation apparatus 200 may calculate the error function of the hair area and the error function of the beard area by separating the error function.

그리고 3D 얼굴 모델 생성 장치(200)는 오차 함수를 기반으로 참조 모델을 변형한다(S450). Then, the 3D face model generating apparatus 200 transforms the reference model based on the error function (S450).

3D 얼굴 모델 생성 장치(200)는 헤어 및 수염 각각에 상응하는 오차 함수를 이용하여, 헤어 참조 모델 및 수염 참조 모델을 변형하고, 변형된 헤어 참조 모델 및 수염 참조 모델을 출력할 수 있다. The 3D face model generating apparatus 200 may modify the hair reference model and the beard reference model, and output the modified hair reference model and the beard reference model, using error functions corresponding to each of the hair and beard.

3D 얼굴 모델 생성 장치(200)는 최적 매개변수를 추출한다(S460). The 3D face model generating apparatus 200 extracts an optimum parameter (S460).

3D 얼굴 모델 생성 장치(200)는 저장된 학습 매개변수, 변형된 헤어 참조 모델 및 변형된 수염 참조 모델을 이용하여, 최적 매개변수를 추출한다. 여기서, 최적 매개변수는 3D 얼굴 복원 모델과 가장 유사한 최종 3D 얼굴 모델을 생성하도록 최적화된 매개변수를 의미한다. The 3D face model generating apparatus 200 extracts an optimal parameter using the stored learning parameter, the modified hair reference model, and the modified beard reference model. Here, the optimum parameter means a parameter optimized to generate a final 3D face model that is most similar to the 3D face restoration model.

마지막으로 3D 얼굴 모델 생성 장치(200)는 최종 3D 얼굴 모델을 출력한다(S470). Finally, the 3D face model generating apparatus 200 outputs a final 3D face model (S470).

S460 단계에서 추출된 최적 매개변수를 기반으로, 3D 얼굴 모델 생성 장치(200)는 헤어 모델 및 수염 모델을 생성한다. 그리고 3D 얼굴 모델 생성 장치(200)는 생성된 헤어 모델 및 수염 모델을 렌더링하여 출력한다. Based on the optimal parameters extracted in step S460, the 3D face model generation apparatus 200 generates a hair model and a beard model. In addition, the 3D face model generating apparatus 200 renders and outputs the generated hair model and beard model.

이때, 3D 얼굴 모델 생성 장치(200)는 렌더링한 3D 헤어 모델 및 3D 수염 모델과 초기에 입력받은 3D 얼굴 복원 모델을 비교하여 유사도를 연산하고, 연산된 유사도를 기반으로 오차 함수의 재계산 여부를 결정하는 과정을 추가로 수행할 수 있다. 3D 얼굴 모델 생성 장치(200)가 오차 함수를 재계산하는 과정은 후술할 도 6을 통하여 더욱 상세하게 설명한다. At this time, the 3D face model generation apparatus 200 calculates the similarity by comparing the rendered 3D hair model and the 3D beard model with the 3D face restoration model that was initially input, and determines whether to recalculate the error function based on the calculated similarity. The decision-making process can be further performed. A process in which the 3D face model generating apparatus 200 recalculates the error function will be described in more detail with reference to FIG. 6 to be described later.

그리고 3D 얼굴 모델 생성 장치(200)는 생성된 헤어 모델, 수염 모델 및 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력한다. 이때, 3D 얼굴 모델 생성 장치(200)는 최종 3D 얼굴 모델의 용도에 상응하도록, 최종 3D 얼굴 모델의 포맷 및 구조를 설정하여, 최종 3D 얼굴 모델을 출력할 수 있다. In addition, the 3D face model generating apparatus 200 outputs a final 3D face model including the generated hair model, beard model, and face area. In this case, the 3D face model generating apparatus 200 may output the final 3D face model by setting the format and structure of the final 3D face model to correspond to the purpose of the final 3D face model.

예를 들어, 최종 3D 얼굴 모델의 용도가 3D 프린팅인 경우, 3D 얼굴 모델 생성 장치(200)는 얼굴 영역, 헤어 모델 및 수염 모델을 모두 결합하여 삼각 메쉬화 과정을 수행할 수 있다. 그리고 3D 얼굴 모델 생성 장치(200)는 3D 프린터의 정밀도에 따라 결합된 모델의 세분화(Subdivision) 또는 메쉬 제거(Decimation) 과정을 수행한 후, 3D 프린팅 파일의 포맷(*.stl)으로 변환하여 출력할 수 있다. For example, when the final 3D face model is used for 3D printing, the 3D face model generating apparatus 200 may perform a triangular meshing process by combining all of the face region, the hair model, and the beard model. In addition, the 3D face model generation apparatus 200 performs a subdivision or mesh removal process of the combined model according to the precision of the 3D printer, and then converts it into a 3D printing file format (*.stl) and outputs it. can do.

반면, 최종 3D 얼굴 모델의 용도가 3D 애니메이션 또는 3D 게임인 경우, 3D 얼굴 모델 생성 장치(200)는 메쉬 제거 과정을 수행한 후, 사각 메쉬 또는 NURBS(Non-Uniform Rational B-spline) 형식으로 변환하여 응용에 적합한 파일 포맷으로 출력할 수 있다. On the other hand, when the purpose of the final 3D face model is 3D animation or 3D game, the 3D face model generation device 200 performs a mesh removal process and then converts it to a rectangular mesh or NURBS (Non-Uniform Rational B-spline) format. Thus, it can be output in a file format suitable for the application.

도 5는 본 발명의 일실시예에 따른 기계 학습 수행 과정을 나타낸 순서도이다. 5 is a flowchart illustrating a process of performing machine learning according to an embodiment of the present invention.

먼저, 3D 얼굴 모델 생성 장치(200)는 데이터 셋을 입력받아(S510), 기계 학습을 수행한다(S520). First, the 3D face model generating apparatus 200 receives a data set (S510) and performs machine learning (S520).

3D 얼굴 모델 생성 장치(200)는 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋을 입력받는다. 그리고 3D 얼굴 모델 생성 장치(200)는 S510 단계에서 입력받은 데이터 셋을 이용하여 기계 학습을 수행한다. The 3D face model generating apparatus 200 receives a 3D hair model data set and a 3D beard model data set. In addition, the 3D face model generation apparatus 200 performs machine learning using the data set input in step S510.

그리고 3D 얼굴 모델 생성 장치(200)는 기계 학습의 수행 결과인 학습 매개변수를 저장한다(S530). In addition, the 3D face model generating apparatus 200 stores a learning parameter that is a result of machine learning (S530).

3D 얼굴 모델 생성 장치(200)는 기계 학습의 수행 결과로 학습 매개변수를 출력하여 저장한다. 여기서, 학습 매개변수는 입력 모델인 3D 얼굴 복원 모델과 가장 유사한 헤어 모델 및 수염 모델을 생성할 수 있는 매개변수를 의미한다. The apparatus 200 for generating a 3D face model outputs and stores a learning parameter as a result of performing machine learning. Here, the learning parameter refers to a parameter capable of generating a hair model and a beard model most similar to the 3D face restoration model, which is an input model.

이때, 3D 얼굴 모델 생성 장치(200)는 헤어 모델 및 수염 모델 각각에 대하여 기계 학습을 수행하며, 3D 헤어 모델 데이터 셋을 기반으로 기계 학습을 수행하여 헤어 모델을 생성하기 위한 매개변수를 출력하고, 3D 수염 모델 데이터 셋을 기반으로 기계 학습을 수행하여 수염 모델을 생성하기 위한 매개변수를 출력할 수 있다. At this time, the 3D face model generation apparatus 200 performs machine learning on each of the hair model and the beard model, and outputs parameters for generating the hair model by performing machine learning based on the 3D hair model data set, Based on the 3D whisker model data set, machine learning can be performed to output parameters for generating the whisker model.

매개변수는 헤어나 수염의 생성 방향, 굵기, 꼬임 형태, 길이 등에 관한 것일 수 있으며, 헤어 모델 및 수염 모델의 특성에 따라 결정되는 값일 수 있다. The parameter may be related to the direction, thickness, twist shape, length, etc. of the hair or beard, and may be a value determined according to the characteristics of the hair model and the beard model.

도 6은 본 발명의 일실시예에 따른 오차함수 재계산 과정을 나타낸 순서도이다.6 is a flow chart showing a process of recalculating an error function according to an embodiment of the present invention.

먼저, 3D 얼굴 모델 생성 장치(200)는 헤어 및 수염 모델을 렌더링하여 디스플레이한다(S610). First, the 3D face model generating apparatus 200 renders and displays a hair and beard model (S610).

3D 얼굴 모델 생성 장치(200)는 도 4의 S470 단계에서 생성된 헤어 모델 및 수염 모델을 렌더링하여 출력한다. The 3D face model generating apparatus 200 renders and outputs the hair model and beard model generated in step S470 of FIG. 4.

그리고 3D 얼굴 모델 생성 장치(200)는 디스플레이된 모델과 3D 얼굴 메쉬 모델 간의 유사도를 연산한다(S620). Then, the 3D face model generating apparatus 200 calculates a similarity between the displayed model and the 3D face mesh model (S620).

3D 얼굴 모델 생성 장치(200)는 렌더링한 3D 헤어 모델 및 3D 수염 모델과 초기에 입력받은 3D 얼굴 복원 모델을 비교하여 유사도를 연산할 수 있다. The 3D face model generating apparatus 200 may calculate a similarity by comparing the rendered 3D hair model and the 3D beard model with the initially input 3D face restoration model.

설명의 편의상, 3D 얼굴 모델 생성 장치(200)가 렌더링하여 디스플레이된 3D 헤어 모델 및 3D 수염 모델과 3D 얼굴 복원 모델을 비교하여 유사도를 연산하는 것으로 설명하였으나 이에 한정하지 않고, 3D 얼굴 모델 생성 장치(200)는 사용자에게 렌더링한 3D 헤어 모델 및 3D 수염 모델을 디스플레이하여 제공하고, 사용자로부터 디스플레이된 3D 헤어 모델 및 3D 수염 모델과 3D 얼굴 복원 모델과의 닮음 정도인 유사도를 입력받을 수 있다. For convenience of explanation, it has been described that the similarity is calculated by comparing the 3D hair model and the 3D beard model rendered and displayed by the 3D face model generation apparatus 200 with the 3D face restoration model. However, the present invention is not limited thereto. 200) displays and provides the rendered 3D hair model and 3D beard model to the user, and may receive input from the user a similarity, which is the degree of resemblance between the displayed 3D hair model and the 3D beard model and the 3D face restoration model.

또한, 3D 얼굴 모델 생성 장치(200)는 연산된 유사도 또는 사용자로부터 입력받은 유사도와 임계값을 비교하는 과정을 수행한다. In addition, the 3D face model generation apparatus 200 performs a process of comparing the calculated similarity or the similarity received from the user and a threshold value.

유사도가 임계값 미만인 경우(S630 YES), 3D 얼굴 모델 생성 장치(200)는 오차 함수를 재계산한다(S640). When the similarity is less than the threshold value (S630 YES), the 3D face model generating apparatus 200 recalculates the error function (S640).

3D 얼굴 모델 생성 장치(200)는 유사도와 임계값을 비교하고, 유사도가 임계값 미만인 경우 초기에 입력받은 3D 얼굴 복원 모델과 도 4의 S470 단계에서 출력된 최종 3D 얼굴 모델 간 오차 함수를 재계산할 수 있다. The 3D face model generation apparatus 200 compares the similarity and the threshold value, and when the similarity is less than the threshold value, recalculates an error function between the 3D face restoration model received initially and the final 3D face model output in step S470 of FIG. 4. I can.

이와 같이, 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치(200)는 오차 함수를 재계산하고, 재계산된 오차함수를 기반으로 참조 모델을 변형하는 과정을 수행하여, 초기에 입력받은 3D 얼굴 복원 모델과 최종 3D 얼굴 모델 간 차이를 줄일 수 있다. In this way, the 3D face model generation apparatus 200 according to an embodiment of the present invention recalculates the error function and performs a process of transforming the reference model based on the recalculated error function, The difference between the face restoration model and the final 3D face model can be reduced.

또한, 3D 얼굴 모델 생성 장치(200)는 사용자 인터페이스를 통하여 사용자로부터 3D 헤어 모델 및 3D 수염 모델의 외형 변형 설정을 입력받을 수 있다. 이때, 3D 얼굴 모델 생성 장치(200)는 슬라이드 바와 같은 간단한 인터페이스를 통하여, 외형 변형 설정을 입력받을 수 있다. In addition, the 3D face model generating apparatus 200 may receive a 3D hair model and an external shape deformation setting of the 3D beard model from a user through a user interface. In this case, the 3D face model generating apparatus 200 may receive an external shape modification setting through a simple interface such as a slide bar.

반면, 유사도가 임계값 이상인 경우(S630 NO), 3D 얼굴 모델 생성 장치(200)는 S640 단계의 오차 함수를 재계산하는 과정의 수행을 생략할 수 있다. On the other hand, when the similarity is greater than or equal to the threshold value (S630 NO), the 3D face model generating apparatus 200 may omit the recalculation of the error function in step S640.

이와 같이, 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치(200)는 하나의 프레임워크 상에서 얼굴과 헤어/수염을 동시에 고려하여 복원을 수행함으로써, 종래 기술의 문제점들을 해결할 수 있다. 그리고 3D 얼굴 모델 생성 장치(200)는 매개변수를 기반으로 헤어 모델 및 수염 모델을 생성하고, 변형하므로 3D 얼굴 모델의 응용 분야에 대한 제약이 적다. 또한, 3D 얼굴 모델 생성 장치(200)는 실물과 가장 유사한 형태로 대상의 3D 얼굴 외형을 복원할 수 있다. As described above, the apparatus 200 for generating a 3D face model according to an embodiment of the present invention can solve the problems of the prior art by performing restoration by simultaneously considering the face and the hair/beard on a single framework. In addition, since the 3D face model generating apparatus 200 generates and transforms a hair model and a beard model based on parameters, there are few restrictions on the application field of the 3D face model. In addition, the 3D face model generating apparatus 200 may restore the 3D face appearance of the object in a shape most similar to the real object.

도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.7 is a block diagram showing a computer system according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(700)에서 구현될 수 있다. 도 7에 도시된 바와 같이, 컴퓨터 시스템(700)은 버스(720)를 통하여 서로 통신하는 하나 이상의 프로세서(710), 메모리(730), 사용자 인터페이스 입력 장치(740), 사용자 인터페이스 출력 장치(750) 및 스토리지(760)를 포함할 수 있다. 또한, 컴퓨터 시스템(700)은 네트워크(780)에 연결되는 네트워크 인터페이스(770)를 더 포함할 수 있다. 프로세서(710)는 중앙 처리 장치 또는 메모리(730)나 스토리지(760)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(730) 및 스토리지(760)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(731)이나 RAM(732)을 포함할 수 있다.Referring to FIG. 7, an embodiment of the present invention may be implemented in a computer system 700 such as a computer-readable recording medium. As shown in FIG. 7, the computer system 700 includes one or more processors 710, a memory 730, a user interface input device 740, and a user interface output device 750 communicating with each other through a bus 720. And it may include a storage (760). Further, the computer system 700 may further include a network interface 770 connected to the network 780. The processor 710 may be a central processing unit or a semiconductor device that executes processing instructions stored in the memory 730 or the storage 760. The memory 730 and the storage 760 may be various types of volatile or nonvolatile storage media. For example, the memory may include a ROM 731 or a RAM 732.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.Accordingly, an embodiment of the present invention may be implemented as a computer-implemented method or a non-transitory computer-readable medium in which instructions executable in a computer are recorded. When computer-readable instructions are executed by a processor, the computer-readable instructions may perform a method according to at least one aspect of the present invention.

이상에서와 같이 본 발명에 따른 3D 얼굴 모델 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. As described above, the apparatus and method for generating a 3D face model according to the present invention is not limited to the configuration and method of the embodiments described as described above, but the above embodiments are each embodiment so that various modifications can be made. All or some of them may be selectively combined and configured.

110: 헤어 및 수염 참조 모델 저장부
120: 얼굴 참조 모델 저장부
130: 학습 매개변수 저장부 200: 3D 얼굴 모델 생성 장치
210: 헤어 및 수염 영역 선택부 220: 메쉬 모델 병합부
230: 오차 함수 계산부 240: 기계 학습부
250: 최적 매개변수 추출부 260: 최종 3D 얼굴 모델 출력부
700: 컴퓨터 시스템 710: 프로세서
720: 버스 730: 메모리
731: 롬 732: 램
740: 사용자 인터페이스 입력 장치
750: 사용자 인터페이스 출력 장치
760: 스토리지 770: 네트워크 인터페이스
780: 네트워크110: hair and beard reference model storage
120: face reference model storage unit
130: learning parameter storage unit 200: 3D face model generation device
210: hair and beard region selection unit 220: mesh model merging unit
230: error function calculation unit 240: machine learning unit
250: optimal parameter extraction unit 260: final 3D face model output unit
700: computer system 710: processor
720: bus 730: memory
731: ROM 732: RAM
740: user interface input device
750: user interface output device
760: storage 770: network interface
780: network

Claims (10)

3D 얼굴 모델 생성 장치에 의해 수행되는 3D 얼굴 모델 생성 방법에 있어서,
입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택하는 단계,
선택된 상기 헤어 영역 및 상기 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이하는 단계,
전이된 상기 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합하는 단계,
상기 3D 얼굴 복원 모델과 병합된 상기 메쉬 모델 간 오차 함수를 계산하는 단계,
상기 오차 함수를 기반으로, 상기 참조 헤어 모델 및 상기 참조 수염 모델 중 적어도 어느 하나를 변형하는 단계,
저장된 학습 매개변수, 상기 참조 헤어 모델로부터 변형된 참조 헤어 모델 및 상기 참조 수염 모델로부터 변형된 참조 수염 모델 중 적어도 어느 하나를 이용하여, 최적 매개변수를 추출하는 단계,
추출된 상기 최적 매개변수를 기반으로, 헤어 모델 및 수염 모델 중 적어도 어느 하나를 생성하는 단계, 그리고
생성된 상기 헤어 모델, 상기 수염 모델 및 상기 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력하는 단계를 포함하는 3D 얼굴 모델 생성 방법. In the 3D face model generation method performed by the 3D face model generation device,
Selecting at least one of a hair region and a beard region from the received 3D face restoration model,
Transferring a face reference model to a face region other than the selected hair region and the beard region,
Merging at least two or more of the transferred face region, reference hair model, and reference whisker model into one mesh model,
Calculating an error function between the 3D face restoration model and the merged mesh model,
Transforming at least one of the reference hair model and the reference beard model based on the error function,
Extracting an optimal parameter using at least one of a stored learning parameter, a reference hair model modified from the reference hair model, and a reference beard model modified from the reference beard model,
Based on the extracted optimal parameter, generating at least one of a hair model and a beard model, and
And outputting a final 3D face model including the generated hair model, the beard model, and the face region. 제1항에 있어서,
상기 헤어 영역 및 상기 수염 영역 중 적어도 어느 하나의 영역을 선택하는 단계는,
사용자로부터 상기 영역을 선택받거나, 기 저장된 헤어 참조 모델 및 수염 참조 모델 중 적어도 어느 하나를 이용하여 상기 영역을 인식하는 것을 특징으로 하는 3D 얼굴 모델 생성 방법. The method of claim 1,
Selecting at least one of the hair region and the beard region,
A method of generating a 3D face model, characterized in that the area is selected by a user or the area is recognized using at least one of a hair reference model and a beard reference model that are previously stored. 제1항에 있어서,
상기 입력받은 3D 얼굴 복원 모델은,
3D 스캐너, 깊이 센서 및 카메라 중 적어도 어느 하나로부터 촬영된 영상으로부터 복원된 3D 얼굴 메쉬 모델인 것을 특징으로 하는 3D 얼굴 모델 생성 방법. The method of claim 1,
The received 3D face restoration model,
A 3D face model generation method, comprising a 3D face mesh model reconstructed from an image captured from at least one of a 3D scanner, a depth sensor, and a camera. 제1항에 있어서,
상기 최종 3D 얼굴 모델을 출력하는 단계는,
상기 최종 3D 얼굴 모델의 용도를 기반으로 상기 최종 3D 얼굴 모델의 포맷 및 구조를 결정하여 출력하는 것을 특징으로 하는 3D 얼굴 모델 생성 방법. The method of claim 1,
The step of outputting the final 3D face model,
The method of generating a 3D face model, comprising determining and outputting the format and structure of the final 3D face model based on the purpose of the final 3D face model. 제1항에 있어서,
3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 입력받는 단계,
입력받은 상기 데이터 셋을 이용하여 기계학습을 수행하는 단계, 그리고
상기 기계학습의 수행 결과인 상기 학습 매개변수를 저장하는 단계를 더 포함하되,
매개변수는,
헤어나 수염의 생성방향, 굵기, 꼬임형태 및 길이 중 적어도 하나에 관련된 것으로, 헤어 모델 및 수염 모델의 특정에 의해 결정되는것을 특징으로 하는 3D 얼굴 모델 생성 방법.The method of claim 1,
Receiving at least one data set of a 3D hair model data set and a 3D beard model data set,
Performing machine learning using the received data set, and
Further comprising the step of storing the learning parameter, which is a result of the machine learning,
The parameters are,
A method of generating a 3D face model, which is related to at least one of a generation direction, a thickness, a twist shape, and a length of the hair or beard, and is determined by the specification of the hair model and the beard model. 제1항에 있어서,
생성된 상기 헤어 모델 및 상기 수염 모델 중 적어도 어느 하나를 렌더링하여 디스플레이하는 단계,
렌더링하여 디스플레이된 모델과 상기 입력받은 3D 얼굴 복원 모델 간 유사도를 기 설정된 임계값과 비교하는 단계, 그리고
상기 유사도가 상기 임계값 미만인 경우, 상기 오차 함수를 재계산하는 단계를 더 포함하는 것을 특징으로 하는 3D 얼굴 모델 생성 방법.The method of claim 1,
Rendering and displaying at least one of the generated hair model and the beard model,
Comparing the similarity between the rendered and displayed model and the input 3D face restoration model with a preset threshold, and
If the similarity is less than the threshold value, the 3D face model generation method comprising the step of recalculating the error function. 입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택하고, 선택된 상기 헤어 영역 및 상기 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이하는 헤어 및 수염 영역 선택부,
전이된 상기 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합하는 메쉬 모델 병합부,
상기 3D 얼굴 복원 모델과 병합된 상기 메쉬 모델 간 오차 함수를 계산하는 오차함수 계산부,
상기 오차함수를 기반으로, 상기 참조 헤어 모델 및 상기 참조 수염 모델 중 적어도 어느 하나를 변형하고, 저장된 학습 매개변수, 상기 참조 헤어 모델로부터 변형된 참조 헤어 모델 및 상기 참조 수염 모델로부터 변형된 참조 수염 모델 중 적어도 어느 하나를 이용하여 최적 매개변수를 추출하는 최적 매개변수 추출부, 그리고
추출된 상기 최적 매개변수를 기반으로, 헤어 모델 및 수염 모델 중 적어도 어느 하나를 생성하고, 생성된 상기 헤어 모델, 상기 수염 모델 및 상기 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력하는 최종 3D 얼굴 모델 출력부를 포함하는 3D 얼굴 모델 생성 장치.A hair and beard region selection unit that selects at least one of a hair region and a beard region from the input 3D face restoration model and transfers a face reference model to a face region other than the selected hair region and the beard region ,
A mesh model merging unit for merging at least two or more of the transferred face region, a reference hair model, and a reference beard model into one mesh model,
An error function calculation unit that calculates an error function between the 3D face restoration model and the merged mesh model,
Based on the error function, at least one of the reference hair model and the reference beard model is modified, and a stored learning parameter, a reference hair model modified from the reference hair model, and a reference beard model modified from the reference beard model An optimal parameter extraction unit for extracting an optimal parameter using at least one of, and
A final 3D face model that generates at least one of a hair model and a beard model based on the extracted optimal parameter, and outputs a final 3D face model including the generated hair model, the beard model, and the face region A 3D face model generation device including an output unit. 제7항에 있어서,
상기 최종 3D 얼굴 모델 출력부는,
상기 최종 3D 얼굴 모델의 용도를 기반으로 상기 최종 3D 얼굴 모델의 포맷 및 구조를 결정하여 출력하는 것을 특징으로 하는 3D 얼굴 모델 생성 장치.The method of claim 7,
The final 3D face model output unit,
The apparatus for generating a 3D face model, characterized in that for determining and outputting the format and structure of the final 3D face model based on the purpose of the final 3D face model. 제7항에 있어서,
입력받은 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 이용하여 기계학습을 수행하고, 상기 기계학습의 수행 결과인 상기 학습 매개변수를 저장하는 기계 학습부를 더 포함하되,
매개변수는,
헤어나 수염의 생성방향, 굵기, 꼬임형태 및 길이 중 적어도 하나에 관련된 것으로, 헤어 모델 및 수염 모델의 특정에 의해 결정되는것을 특징으로 하는 3D 얼굴 모델 생성 장치. The method of claim 7,
Further comprising a machine learning unit for performing machine learning using at least one of the received 3D hair model data set and 3D beard model data set, and storing the learning parameters, which are results of the machine learning,
The parameters are,
The apparatus for generating a 3D face model, which is related to at least one of a direction, a thickness, a twist shape, and a length of a hair or beard, and is determined by a specification of a hair model and a beard model. 제7항에 있어서,
상기 최종 3D 얼굴 모델 출력부는,
상기 생성된 상기 헤어 모델 및 상기 수염 모델 중 적어도 어느 하나를 렌더링하여 디스플레이하고,
상기 오차 함수 계산부는,
렌더링하여 디스플레이된 모델과 상기 입력받은 3D 얼굴 복원 모델 간 유사도를 기 설정된 임계값을 비교한 결과, 상기 유사도가 상기 임계값 미만인 경우 상기 오차 함수를 재계산하는 것을 특징으로 하는 3D 얼굴 모델 생성 장치.The method of claim 7,
The final 3D face model output unit,
Render and display at least one of the generated hair model and the beard model,
The error function calculation unit,
A 3D face model generation apparatus comprising: recalculating the error function when the similarity between the rendered and displayed model and the input 3D face restoration model is compared with a preset threshold, and the similarity is less than the threshold.
KR1020170078907A 2016-12-07 2017-06-22 Apparatus and method for generating 3d face model KR102152078B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160165579 2016-12-07
KR20160165579 2016-12-07

Publications (2)

Publication Number Publication Date
KR20180065860A KR20180065860A (en) 2018-06-18
KR102152078B1 true KR102152078B1 (en) 2020-09-04

Family

ID=62768215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170078907A KR102152078B1 (en) 2016-12-07 2017-06-22 Apparatus and method for generating 3d face model

Country Status (1)

Country Link
KR (1) KR102152078B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102304124B1 (en) 2019-02-21 2021-09-24 한국전자통신연구원 Method and appartus for learning-based generating 3d model

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100955201B1 (en) * 2008-02-25 2010-04-29 주식회사 마크애니 Method and apparatus for watermarking of 3d mesh model
KR101190686B1 (en) 2004-12-08 2012-10-12 소니 가부시키가이샤 Image processing apparatus, image processing method, and computer readable recording medium
US20120313937A1 (en) * 2010-01-18 2012-12-13 Disney Enterprises, Inc. Coupled reconstruction of hair and skin
KR101326221B1 (en) * 2012-03-15 2013-11-11 구글 인코포레이티드 Facial feature detection

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100327541B1 (en) 2000-08-10 2002-03-08 김재성, 이두원 3D facial modeling system and modeling method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101190686B1 (en) 2004-12-08 2012-10-12 소니 가부시키가이샤 Image processing apparatus, image processing method, and computer readable recording medium
KR100955201B1 (en) * 2008-02-25 2010-04-29 주식회사 마크애니 Method and apparatus for watermarking of 3d mesh model
US20120313937A1 (en) * 2010-01-18 2012-12-13 Disney Enterprises, Inc. Coupled reconstruction of hair and skin
KR101326221B1 (en) * 2012-03-15 2013-11-11 구글 인코포레이티드 Facial feature detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Menglei Chai, ‘AutoHair: Fully Automatic Hair Modeling from A Single Image’, ACM Trans. Graph., Vol. 35, No. 4, Article 116, (2016.07.31.)*

Also Published As

Publication number Publication date
KR20180065860A (en) 2018-06-18

Similar Documents

Publication Publication Date Title
CN111489287B (en) Image conversion method, device, computer equipment and storage medium
Ichim et al. Dynamic 3D avatar creation from hand-held video input
US9734628B2 (en) Techniques for processing reconstructed three-dimensional image data
US9846804B2 (en) Apparatus and method for creating three-dimensional personalized figure
KR101635730B1 (en) Apparatus and method for generating montage, recording medium for performing the method
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN108463823B (en) Reconstruction method and device of user hair model and terminal
KR20110032351A (en) Image processing apparatus and method
US9135726B2 (en) Image generation apparatus, image generation method, and recording medium
KR20200055841A (en) Learning data set generating apparatus and method for machine learning
Han et al. Caricatureshop: Personalized and photorealistic caricature sketching
CN110738595A (en) Picture processing method, device and equipment and computer storage medium
KR20160030037A (en) Portrait generating device, portrait generating method
CN113628327A (en) Head three-dimensional reconstruction method and equipment
CN113313085A (en) Image processing method and device, electronic equipment and storage medium
WO2021063271A1 (en) Human body model reconstruction method and reconstruction system, and storage medium
Ertugrul et al. What will your future child look like? modeling and synthesis of hereditary patterns of facial dynamics
KR102152078B1 (en) Apparatus and method for generating 3d face model
KR20160046399A (en) Method and Apparatus for Generation Texture Map, and Database Generation Method
CN106558042B (en) Method and device for positioning key points of image
Park et al. 3D face reconstruction from stereo video
KR102170445B1 (en) Modeling method of automatic character facial expression using deep learning technology
CN106952217B (en) Intelligent robot-oriented facial expression enhancement method and device
RU2703327C1 (en) Method of processing a two-dimensional image and a user computing device thereof
Mavzuna MODELING OF TEXT RECOGNITION IN IMAGES

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant