KR101397476B1 - Virtual cosmetic surgery method by 3d virtual cosmetic surgery device - Google Patents

Virtual cosmetic surgery method by 3d virtual cosmetic surgery device Download PDF

Info

Publication number
KR101397476B1
KR101397476B1 KR1020120136085A KR20120136085A KR101397476B1 KR 101397476 B1 KR101397476 B1 KR 101397476B1 KR 1020120136085 A KR1020120136085 A KR 1020120136085A KR 20120136085 A KR20120136085 A KR 20120136085A KR 101397476 B1 KR101397476 B1 KR 101397476B1
Authority
KR
South Korea
Prior art keywords
face
user
image
virtual
information
Prior art date
Application number
KR1020120136085A
Other languages
Korean (ko)
Inventor
김태용
서웅찬
윤태수
최경호
Original Assignee
주식회사 에스하이텍
동서대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스하이텍, 동서대학교산학협력단 filed Critical 주식회사 에스하이텍
Priority to KR1020120136085A priority Critical patent/KR101397476B1/en
Application granted granted Critical
Publication of KR101397476B1 publication Critical patent/KR101397476B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention provides a virtual cosmetic surgery method using a three-dimensional virtual cosmetic surgery device. According to the virtual cosmetic surgery method using the 3D virtual cosmetic surgery device of the present invention, 3D modeling efficiency can be improved by performing 3D modeling of a user′s face through: a face shape information extraction step performed through the steps of extracting a face region, extracting a central point of the face, extracting a face outline, and extracting facial depth information; and a facial 3D modeling step performed through the steps of loading a depth image, generating a mesh data, matching 3D, correcting a facial 3D model, and mapping texture.

Description

3D 가상성형기를 이용한 가상성형방법{Virtual cosmetic surgery method by 3D virtual cosmetic surgery device}Technical Field [0001] The present invention relates to a virtual cosmetic surgery method using a 3D virtual molding machine,

본 발명은 3D 가상성형기를 이용한 가상성형방법에 관한 것으로, 좀더 구체적으로는 사용자의 가상성형을 위한 얼굴 3D모델링의 효율적으로 이루어지고, 가상성형용 콘텐츠 라이브러리가 제공되어 사용자의 단순 조작에 의해 성형 시뮬레이션이 이루어지는 3D 가상성형기를 이용한 가상성형방법에 관한 것이다.
The present invention relates to a virtual molding method using a 3D virtual molding machine, more specifically, a face 3D modeling for virtual molding of a user is efficiently performed, a virtual molding contents library is provided, To a virtual molding method using a 3D virtual molding machine.

성형수술은 사람의 몸 부위나 얼굴 부위를 외형적으로 수정하는 수술로서 종래에는 특수계층에서 필요로 하는 수술이라는 인식이 있었으나, 점차 성형이 미용 개념으로 인식됨에 따라, 현재에는 일반인들에게도 통상적이고 보편적인 수술로 자리 잡아가고 있다. 이에 따라 일반 이용자의 다양한 요구 사항이 증대되고 있고, 이와 같은 다양한 요구 사항을 수용할 수 있는 새로운 기술 개발의 필요성이 대두되고 있는 실정이다.Cosmetic surgery is a surgery that corrects body parts and facial parts of a human body. It has been recognized that surgery is a necessary operation in special classes. However, as molding is gradually recognized as a concept of beauty, it is now common and universal Surgery is becoming established. Accordingly, various requirements of general users are increasing, and there is a need to develop new technologies capable of accommodating these various requirements.

이와 같은 기술 개발의 일환으로 성형 결과를 미리 시물레이션해 볼 수 있는 가상성형 장치와 가상성형 프로그램이 개발되었는데, 이와 같은 가상성형 장치와 가상성형 프로그램은 성형 결과를 상의하고자 하는 성형외과 의사, 수술 결과를 미리보기를 원하는 수술을 앞둔 환자, 외모를 개선하고자 하는 사회인들, 그리고 연예인, 애완동물, 지인 등의 사진 이미지를 재미있게 편집하고자 하는 사람들에게 널리 이용되고 있다.As a part of this technology development, a virtual molding device and a virtual molding program that can simulate the molding results in advance are developed. Such a virtual molding device and a virtual molding program are used by a plastic surgeon who wants to know the molding result, It is widely used for those who want to preview the surgery, those who want to improve their appearance, and those who want to edit their photo images such as entertainers, pets, and acquaintances.

가상성형과 관련한 기술로는 대한민국 등록특허공보 등록번호 제10-0764130호 "자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템", 등록번호 제10-0728697호 "온라인망을 기반으로 하는 가상성형 관리 시스템", 등록번호 제10-0717709호 "가상성형용 캡처 이미지 획득 시스템" 등이 안출되어 있다.
Examples of techniques related to virtual molding include Korean Patent Registration No. 10-0764130 entitled " Automatic face extraction based virtual face forming method and system ", Registration No. 10-0728697 entitled "Virtual molding management system based on on- , Registration No. 10-0717709 "Capture image acquisition system for virtual molding"

그러나, 2D 가상성형 기술은 현재 상용화되어 다양하게 이용되어 있으나 3D 가상성형 기술은 개발 초기단계에 있어 추가적인 기술개발이 요구되는 실정이었다.
However, although 2D virtual molding technology is currently being commercialized and used variously, 3D virtual molding technology is in the early stage of development, and additional technology development is required.

대한민국 등록특허공보 등록번호 제10-0764130호 "자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템"Korean Patent Registration No. 10-0764130 entitled " Automatic face extraction based virtual face forming method and system " 대한민국 등록특허공보 등록번호 제10-0728697호 "온라인망을 기반으로 하는 가상성형 관리 시스템"Korean Patent Registration No. 10-0728697 "Virtual molding management system based on online network" 대한민국 등록특허공보 등록번호 제10-0717709호 "가상성형용 캡처 이미지 획득 시스템"Korean Patent Registration No. 10-0717709 entitled "Capture Image Acquisition System for Virtual Forming"

따라서 본 발명은 이와 같은 기술개발의 일환으로, 스테레오 영상 획득단계, 얼굴형상정보 추출단계, 얼굴 3D 모델링단계를 통해 사용자의 가상성형을 위한 얼굴 3D모델링이 효율적으로 이루어지고, 얼굴 가상성형단계에서 가상성형용 콘텐츠 라이브러리가 제공되어 사용자의 단순 조작에 의해 성형 시뮬레이션이 이루어지며, 얼굴 가상성형 영상출력단계에서 3D 홀로그램의 입체 영상으로 사용자 얼굴의 가상성형 결과가 출력되도록 하는 새로운 형태의 3D 가상성형기를 이용한 가상성형방법를 제공하는 것을 목적으로 한다.
Accordingly, as a part of the development of such technology, the present invention efficiently performs facial 3D modeling for a user's virtual molding through a stereo image acquiring step, a facial shape information extracting step, and a facial 3D modeling step, A 3D virtual molding machine in which a molding content library is provided so that a molding simulation is performed by a simple operation of a user and a virtual molding result of a user's face is outputted as a stereoscopic image of a 3D hologram in a face virtual molding image output step And to provide a virtual molding method.

또한, 본 발명은 얼굴 3D모델링을 위한 3D 텍스처 이미지 생성이 자동으로 수행되도록 함으로써 3D 가상성형기의 기능성이 증대될 수 있는 새로운 형태의 3D 가상성형기를 이용한 가상성형방법를 제공하는 것을 목적으로 한다.
It is another object of the present invention to provide a virtual molding method using a 3D virtual molding machine in which the functionality of a 3D virtual molding machine can be increased by automatically generating a 3D texture image for face 3D modeling.

상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 서로 이격되게 배치되는 복수개의 영상센서로 이루어진 영상센서 모듈을 통해 사용자 얼굴의 영상정보를 획득하는 스테레오 영상 획득단계와; 상기 영상센서 모듈과 연결되어 사용자 얼굴의 영상정보를 전달받는 메인 컨트롤러의 얼굴인식 유닛을 통해 사용자의 얼굴형상정보를 추출하는 얼굴형상정보 추출단계와; 상기 얼굴인식 유닛과 연결되어 사용자의 얼굴형상정보를 전달받는 상기 메인 컨트롤러의 3D 모델링 유닛을 통해 사용자의 얼굴 3D모델링을 수행하는 얼굴 3D모델링단계와; 가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 출력하여 사용자로부터 선택항목을 입력받는 입출력장치로부터 가상성형용 콘텐츠 라이브러리의 선택항목을 입력받게 되고, 상기 입출력장치과 연결되어 가상형성용 콘텐츠 라이브러리의 선택항목을 전달받는 상기 메인 컨트롤러의 가상성형 유닛을 통해 사용자의 얼굴 3D모델에 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시킨 사용자 얼굴의 가상성형 형상정보를 산출하는 얼굴 가상성형단계 및; 산출된 사용자 얼굴의 가상성형 형상정보를 3D 영상으로 출력하는 얼굴 가상성형 영상출력단계를 포함하여 수행되는 3D 가상성형기를 이용한 가상성형방법을 제공한다.
According to an aspect of the present invention, there is provided a method for acquiring image information of a user's face, the method comprising: acquiring image information of a user's face through an image sensor module including a plurality of image sensors spaced apart from each other; A face shape information extracting step of extracting face shape information of a user through a face recognition unit of a main controller connected to the image sensor module and receiving image information of a user face; A facial 3D modeling step of performing facial 3D modeling of the user through the 3D modeling unit of the main controller connected to the face recognition unit and receiving the face shape information of the user; Outputting a content library item for virtual molding to a user and receiving a selection item of a virtual molding content library from an input / output device for inputting a selection item from a user, connecting to the input / output device and selecting A face virtual shaping step of calculating a virtual shaping shape information of a user face to which a selection item of the virtual molding contents library is applied to a user's face 3D model through a virtual forming unit of the main controller which receives an item; And a virtual virtual forming image output step of outputting virtual virtual forming shape information of the user face calculated as a 3D image.

이와 같은 본 발명에 따른 3D 가상성형기를 이용한 가상성형방법에서 상기 스테레오 영상 획득단계는 중앙의 정면 영상센서 양측으로 좌측면 영상센서와 우측면 영상센서가 배치되어 이루어지는 영상센서 모듈을 통해 획득되는 사용자 얼굴의 정면 영상정보, 좌측면 영상정보, 우측면 영상정보로부터 사용자 얼굴의 입체 영상정보를 획득할 수 있도록 한다.
In the virtual molding method using the 3D virtual molding machine according to the present invention, the stereo image acquiring step may include a step of acquiring the stereoscopic image of the user's face obtained through the image sensor module in which the left side image sensor and the right side image sensor are arranged on both sides of the central front image sensor The stereoscopic image information of the user's face can be obtained from the front image information, the left image information, and the right image information.

이와 같은 본 발명에 따른 3D 가상성형기를 이용한 가상성형방법에서 상기 얼굴형상정보 추출단계는 상기 얼굴인식 유닛의 얼굴영역 추출알고리즘을 통해 사용자의 얼굴이 위치하는 얼굴영역을 추출하는 얼굴영역 추출단계와; 상기 얼굴인식 유닛의 중심점 추출알고리즘을 통해 얼굴영역의 중심점을 추출하는 얼굴 중심점 추출단계와; 상기 얼굴인식 유닛의 윤곽선 추출알고리즘을 통해 얼굴영역의 윤곽선을 추출하는 얼굴 윤곽선 추출단계와; 상기 얼굴인식 유닛의 깊이정보 추출알고리즘을 통해 얼굴영역의 깊이정보를 추출하고, 추출된 깊이정보를 깊이 이미지를 저장하는 얼굴 깊이정보 추출단계를 포함하여 수행된다.
In the virtual molding method using the 3D virtual molding machine according to the present invention, the face shape information extraction step may include a face area extraction step of extracting a face area in which a user's face is located through a face area extraction algorithm of the face recognition unit; A face center point extracting step of extracting a center point of the face region through a center point extracting algorithm of the face recognizing unit; A face contour extracting step of extracting a contour of a face area through an outline extraction algorithm of the face recognition unit; Extracting depth information of a face region through a depth information extraction algorithm of the face recognition unit, and extracting face depth information to store the extracted depth information as a depth image.

이와 같은 본 발명에 따른 3D 가상성형기를 이용한 가상성형방법에서 상기 얼굴 3D 모델링단계는 상기 얼굴형상정보 추출단계에서 산출된 사용자 얼굴의 깊이 이미지를 로딩하는 깊이 이미지 로딩단계와; 로딩된 상기 깊이 이미지로부터 3D 메쉬 데이터를 생성시키는 메쉬 데이터 생성단계와; 상기 얼굴형상정보 추출단계에서 추출된 얼굴영역의 윤곽선 정보를 이용하여 3D 메쉬 데이터에 대한 3D 정합을 수행하는 3D 정합단계와; 3D 정합으로 생성된 사용자의 얼굴 3D 모델을 보정하는 얼굴 3D모델 보정단계와; 보정된 사용자의 얼굴 3D 모델에 대한 텍스처 이미지를 생성하여 맵핑하는 텍스처 맵핑단계를 포함하여 수행된다.
In the virtual molding method using the 3D virtual molding machine according to the present invention, the face 3D modeling step may include a depth image loading step of loading a depth image of the user face calculated in the face shape information extracting step; A mesh data generation step of generating 3D mesh data from the loaded depth image; A 3D matching step of performing 3D matching on 3D mesh data using the contour information of the face area extracted in the face shape information extracting step; A face 3D model correction step of correcting the face 3D model of the user generated by the 3D matching; And a texture mapping step of generating and mapping a texture image of the corrected face 3D model of the user.

이와 같은 본 발명에 따른 3D 가상성형기를 이용한 가상성형방법에서 상기 3D 정합단계는 상기 스테레오 영상 획득단계에서 획득한 사용자 얼굴의 입체 영상정보와 상기 얼굴형상정보 추출단계에서 추출된 사용자 얼굴의 깊이 이미지를 카메라 캘리브레이션(camera calibration) 영상처리기법을 통해 동일한 좌표로 매칭시키고, 3개의 깊이 이미지를 3D 공간 상에 로드하여 딜라우니 메쉬 알고리즘(delaunay mesh algorithm)에 의해 사용자의 얼굴 3D 모델 오브젝트(object)를 생성시킨 다음, 생성된 3개의 얼굴 3D 모델 오브젝트를 기저벡터 변환 방법에 의해 3D 정합시킨다.
In the virtual forming method using the 3D virtual molding machine according to the present invention, the 3D matching step may include a step of obtaining stereoscopic image information of the user's face acquired in the stereo image acquiring step and a depth image of the user's face extracted in the face shape information extracting step Camera calibration image processing to match the same coordinates and load three depth images onto 3D space and create a user's face 3D model object by the delaunay mesh algorithm Then, the generated three face 3D model objects are 3D-matched by a basis vector conversion method.

이와 같은 본 발명에 따른 3D 가상성형기를 이용한 가상성형방법에서 상기 텍스처 맵핑단계는 상기 스테레오 영상 획득단계에서 획득한 사용자 얼굴의 입체 영상정보와 상기 얼굴형상정보 추출단계에서 추출된 사용자 얼굴의 깊이 이미지를 카메라 캘리브레이션(camera calibration) 영상처리기법을 통해 동일한 좌표로 매칭시킨 다음, 사용자의 얼굴 3D 모델 오브젝트(object) 점좌표에 대응하는 컬러값을 2D 이미지로 저장하여 텍스처 이미지를 자동 생성시킨다.
In the virtual molding method using the 3D virtual molding machine according to the present invention, the texture mapping step may include a step of acquiring stereoscopic image information of the user's face acquired in the stereo image acquiring step and a depth image of the user's face extracted in the face shape information extracting step Camera calibration image processing technique and automatically generates a texture image by storing the color values corresponding to the user's face 3D model object point coordinates as a 2D image.

이와 같은 본 발명에 따른 3D 가상성형기를 이용한 가상성형방법에서 상기 텍스처 맵핑단계는 사용자의 얼굴 3D 모델 오브젝트(object)가 파라메트리제이션(parametrization) 기법에 의해 2D 오브젝트로 변환되도록 한다.
In the virtual molding method using the 3D virtual molding machine according to the present invention, the texture mapping step converts the user's face 3D model object into a 2D object by a parametrization technique.

이와 같은 본 발명에 따른 3D 가상성형기를 이용한 가상성형방법에서 상기 얼굴 가상성형단계는 사용자 얼굴의 부위별 성형 메타데이터와 성형 모델별 메타데이터를 생성하여 성형부위별 템플릿DB를 구축하는 성형부위별 템플릿DB 구축단계와; 상기 성형부위별 템플릿DB로부터 제공되는 가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 출력하여 사용자로부터 선택항목을 입력받고, 사용자의 얼굴 3D 모델에 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시켜 사용자 얼굴의 가상성형 형상정보를 산출하는 가상성형 적용단계를 포함한다.
In the virtual molding method using the 3D virtual molding machine according to the present invention, the virtual face forming step is a step of forming a template DB for each molding part by generating molding metadata for each part of the user's face and metadata for each molding model, DB building step; A contents library item for virtual molding provided from the template DB for each molding part is output to the user to receive a selection item from the user and a selection item of the virtual molding contents library is applied to the user's face 3D model And a virtual molding application step of calculating virtual molding shape information of the user's face.

본 발명에 의한 3D 가상성형기를 이용한 가상성형방법에 의하면, 얼굴영역 추출단계, 얼굴 중심점 추출단계, 얼굴 윤곽선 추출단계, 얼굴 깊이정보 추출단계를 거쳐 수행되는 얼굴형상정보 추출단계와, 깊이 이미지 로딩단계, 메쉬 데이터 생성단계, 3D 정합단계, 얼굴 3D 모델 보정단계, 텍스처 맵핑단계를 거쳐 수행되는 얼굴 3D 모델링단계를 통해 사용자 얼굴의 3D모델링이 수행됨에 따라, 3D모델링 효율이 향상되는 효과가 있다. 또한, 본 발명은 성형부위별 템플릿 데이터베이스 구축단계와 가상성형 적용단계를 거쳐 수행되는 얼굴 가상성형단계에서 가상성형용 콘텐츠 라이브러리가 제공되어 사용자의 단순 조작에 의해 성형 시뮬레이션이 이루어짐에 따라, 3D 가상성형이 간편하고 용이하게 실행되는 효과가 있다.According to the virtual molding method using the 3D virtual molding machine according to the present invention, the face shape information extraction step performed through the face region extraction step, the face center point extraction step, the face contour extraction step, and the face depth information extraction step, The 3D modeling is performed through the face 3D modeling step performed through the mesh data generating step, the 3D matching step, the face 3D model correcting step, and the texture mapping step, thereby improving the 3D modeling efficiency. In addition, since the virtual molding contents library is provided in the face virtual molding step performed through the template database construction step for each molding part and the virtual molding application step, and the molding simulation is performed by the simple operation of the user, This is simple and easy to carry out.

그리고, 본 발명은 얼굴 3D모델링을 위한 3D 텍스처 이미지 생성이 자동으로 수행되므로 3D 가상성형기의 기능성이 증대되는 효과도 동시에 가지게 된다.
In addition, since 3D texture image generation for face 3D modeling is automatically performed, the present invention also has the effect of increasing the functionality of the 3D virtual molding machine.

도 1은 본 발명에 따른 가상성형방법에 적용되는 3D 가상성형기의 구성를 보여주기 위한 블록도;
도 2는 본 발명에 따른 가상성형방법에 적용되는 3D 가상성형기의 구성를 보여주기 위한 상세 블록도;
도 3은 본 발명에 따른 3D 가상성형기를 이용한 가상성형방법을 보여주기 위한 블록도;
도 4는 본 발명의 실시예에 따른 3D 가상성형기를 이용한 가상성형방법의 얼굴형상정보 추출단계의 세부절차를 보여주기 위한 블록도;
도 5는 본 발명의 실시예에 따른 3D 가상성형기를 이용한 가상성형방법의 얼굴 3D 모델링단계의 세부절차를 보여주기 위한 블록도;
도 6의 (a) 내지 (c)는 본 발명의 실시예에 따른 3D 가상성형기를 이용한 가상성형방법의 얼굴형상정보 추출단계와 얼굴 3D 모델링단계를 통해 사용자 얼굴의 정면 영상정보, 좌측면 영상정보, 우측면 영상정보가 얼굴 3D모델로 변환되는 것을 보여주기 위한 사진;
도 7과 도 8은 본 발명의 실시예에 따른 얼굴 3D 모델링단계의 3D 정합단계에서 사용되는 기저벡터 변환방법을 보여주기 위한 도면;
도 9는 본 발명의 실시예에 따른 얼굴 3D 모델링단계의 얼굴 3D모델 보정단계에서 사용되는 멀티레벨 B-스플라인 방법을 보여주기 위한 도면;
도 10은 본 발명의 실시예에 따른 얼굴 3D 모델링단계의 텍스처 맵핑단계에서 3D 텍스처 이미지를 생성시켜 얼굴 3D모델에 결합시키는 것을 보여주기 위한 사진;
도 11은 본 발명의 실시예에 따른 얼굴 3D 모델링단계의 텍스처 맵핑단계에서 3D 텍스처 이미지가 자동생성되는 과정을 보여주기 위한 사진;
도 12는 본 발명의 실시예에 따른 얼굴 3D 모델링단계의 텍스처 맵핑단계에서 사용되는 파라메트리제이션(parametrization) 기법을 보여주기 위한 도면;
도 13은 본 발명의 실시예에 따른 3D 가상성형기를 이용한 가상성형방법의 얼굴 가상성형단계의 세부절차를 보여주기 위한 블록도이다.1 is a block diagram showing a configuration of a 3D virtual molding machine applied to a virtual molding method according to the present invention;
FIG. 2 is a detailed block diagram showing a configuration of a 3D virtual molding machine applied to a virtual molding method according to the present invention; FIG.
3 is a block diagram illustrating a virtual molding method using a 3D virtual molding machine according to the present invention;
4 is a block diagram illustrating a detailed procedure of a face shape information extraction step of a virtual molding method using a 3D virtual molding machine according to an embodiment of the present invention;
5 is a block diagram illustrating a detailed procedure of a face 3D modeling step of a virtual molding method using a 3D virtual molding machine according to an embodiment of the present invention;
6A to 6C illustrate a process of extracting facial shape information of a user's face and left facial image information of a user face through a facial shape information extraction step and a facial 3D modeling step of a virtual molding method using a 3D virtual molding machine according to an embodiment of the present invention, A picture for showing that the right side image information is converted into a face 3D model;
FIGS. 7 and 8 are diagrams illustrating a method of transforming a base vector used in the 3D matching step of the face 3D modeling step according to an embodiment of the present invention; FIG.
9 is a diagram illustrating a multilevel B-spline method used in the face 3D model correction step of the face 3D modeling step according to an embodiment of the present invention;
FIG. 10 is a photograph showing a 3D texture image generated in the texture mapping step of the 3D modeling step and combining the 3D texture image into the 3D model of the face according to the embodiment of the present invention; FIG.
11 is a photograph showing a process of automatically generating a 3D texture image in the texture mapping step of the 3D modeling step of the face according to the embodiment of the present invention;
12 is a diagram illustrating a parametrization technique used in the texture mapping step of the 3D modeling step of the face according to the embodiment of the present invention;
FIG. 13 is a block diagram illustrating a detailed procedure of a face virtual forming step of a virtual forming method using a 3D virtual molding machine according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면 도 1 내지 도 13에 의거하여 상세히 설명한다. 한편, 도면과 상세한 설명에서 일반적인 얼굴 성형, 가상성형기, 3D 모델링 등으로부터 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings 1 to 13. In the drawings and the detailed description, the construction and operation of the facial forming, virtual molding machine, 3D modeling and the like can be easily understood by those skilled in the art. In the drawings and specification, there are shown in the drawings and will not be described in detail, and only the technical features related to the present invention are shown or described only briefly. Respectively.

본 발명의 실시예에 따른 가상성형방법은 도 1과 도 2에 도시된 3D 가상성형기(100)를 이용하여 수행될 수 있는데, 이와 같은 본 발명의 실시예에 따른 3D 가상성형기(100)는 영상센서 모듈(10), 입출력장치(20), 메인 컨트롤러(30), 성형부위별 템플릿 DB(40), 가상성형 디스플레이장치(50)를 포함하여 이루어진다.
The virtual molding method according to an embodiment of the present invention can be performed using the 3D virtual molding machine 100 shown in FIGS. 1 and 2. The 3D virtual molding machine 100 according to the embodiment of the present invention can be realized by a three- A sensor module 10, an input / output device 20, a main controller 30, a template DB 40 for each molding part, and a virtual molding display device 50.

영상센서 모듈(10)은 서로 이격되게 배치되는 복수개의 영상센서(11)로 이루어진다. 영상센서 모듈(10)은 각 영상센서(11)로부터 사용자 얼굴을 촬영하여 사용자 얼굴의 입체 영상정보를 획득하게 된다. 이와 같은 영상센서 모듈(10)은 스테레오 카메라와 같은 고가의 3D 측정장치를 대체함으로써 비용절감을 도모하게 된다.The image sensor module 10 includes a plurality of image sensors 11 arranged to be spaced apart from each other. The image sensor module 10 acquires stereoscopic image information of the user's face by photographing the user's face from each image sensor 11. [ Such an image sensor module 10 can reduce cost by replacing expensive 3D measuring devices such as a stereo camera.

특히, 본 발명의 실시예에 따른 영상센서 모듈(10)은 정면 영상센서, 좌측면 영상센서, 우측면 영상센서로 이루어져 사용자 얼굴의 정면 영상정보, 좌측면 영상정보, 우측면 영상정보를 획득하게 된다.
In particular, the image sensor module 10 according to the embodiment of the present invention comprises a front image sensor, a left side image sensor, and a right side image sensor to obtain front image information, left side image information, and right side image information of a user's face.

입출력장치(20)는 가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 제공하고, 가상성형용 콘텐츠 라이브러리 항목으로부터 사용자에 의해 선택된 선택항목을 입력받는다. 본 발명의 실시예에 따른 입출력장치(20)는 가상성형용 콘텐츠 라이브러리 항목이 출력되고, 사용자의 터치에 의해 가상형성용 콘텐츠 라이브러리의 선택항목이 입력되는 터치스크린(21)이다.
The input / output device 20 provides an item of contents library for virtual molding to the user, and receives a selection item selected by the user from the contents item for virtual molding. The input / output device 20 according to the embodiment of the present invention is a touch screen 21 in which a virtual molding content library item is output and a selection item of a virtual forming content library is inputted by a user's touch.

메인 컨트롤러(30)는 영상센서 모듈(10), 입출력장치(20), 성형부위별 템플릿 DB(40), 가상성형 디스플레이장치(50)와 연결되어 가상성형이 수행되고 관리되도록 하는 것이다. 이와 같은 메인 컨트롤러(30)는 영상센서 모듈(10)로부터 사용자 얼굴의 입체 영상정보를 전달받고, 입출력장치(20)로부터 가상성형용 콘텐츠 라이브러리의 선택항목을 입력받은 후, 사용자 얼굴의 입체 영상정보에 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시킨 사용자 얼굴의 가상성형 형상 정보를 산출하게 된다. 본 발명의 실시예에 따른 메인 컨트롤러(30)는 얼굴인식 유닛(31), 3D 모델링 유닛(32), 가상성형 유닛(33)을 포함하여 이루어진다. 얼굴인식 유닛(31)은 영상센서 모듈(10)에서 입력되는 사용자 얼굴의 입체 영상정보로부터 사용자 얼굴을 인식하고 사용자의 얼굴형상정보를 추출하는 유닛으로, 이를 위한 인식 알고리즘을 갖는다. 특히 본 발명의 실시예에 따른 얼굴인식 유닛(31)은 얼굴영역 추출알고리즘을 통해 사용자의 얼굴이 위치하는 얼굴영역을 추출하고, 중심점 추출알고리즘을 통해 얼굴영역의 중심점을 추출하며, 윤곽선 추출알고리즘을 통해 얼굴영역의 윤곽선을 추출한다. 또한 얼굴인식 유닛(31)은 깊이정보 추출알고리즘을 통해 얼굴영역의 깊이정보를 추출하고, 추출된 깊이정보를 깊이 이미지를 저장하는데, 사용자 얼굴의 정면 영상정보, 좌측면 영상정보, 우측면 영상정보에 대응하는 3개의 깊이 이미지를 저장하게 된다.The main controller 30 is connected to the image sensor module 10, the input / output device 20, the template DB 40 for each molding part, and the virtual molding display device 50 so that virtual molding is performed and managed. The main controller 30 receives the stereoscopic image information of the user's face from the image sensor module 10, receives the selection items of the virtual molding contents library from the input / output device 20, The virtual molding shape information of the user face to which the selection item of the virtual molding contents library is applied is calculated. The main controller 30 according to the embodiment of the present invention includes a face recognition unit 31, a 3D modeling unit 32, and a virtual forming unit 33. [ The face recognition unit 31 is a unit for recognizing the user's face from the stereoscopic image information of the user's face inputted from the image sensor module 10 and extracting the face shape information of the user, and has a recognition algorithm for this. In particular, the face recognition unit 31 according to the embodiment of the present invention extracts a face region in which a user's face is located through a face region extraction algorithm, extracts a center point of the face region through a center point extraction algorithm, The contour of the face area is extracted. In addition, the face recognition unit 31 extracts depth information of a face region through a depth information extraction algorithm, and stores the extracted depth information as a depth image. The face recognition unit 31 extracts a face image, a left face image information, And stores corresponding three depth images.

3D 모델링 유닛(32)은 얼굴인식 유닛(31)으로부터 인식되어 추출되는 사용자의 얼굴형상정보로부터 사용자 얼굴을 3D 모델링하는 유닛으로, 이를 위한 3D 모델링 알고리즘을 갖는다. 특히 본 발명의 실시예에 따른 3D 모델링 유닛(32)은 사용자 얼굴의 깊이 이미지로부터 3D 메쉬 데이터를 생성시키고, 사용자의 얼굴영역의 윤곽선 정보를 이용하여 3D 메쉬 데이터에 대한 3D 정합을 수행한 후, 3D 정합으로 생성된 사용자의 얼굴 3D 모델을 보정한 다음, 보정된 사용자의 얼굴 3D 모델에 대한 텍스처 이미지를 생성하여 맵핑한다.The 3D modeling unit 32 is a unit for 3D modeling the user's face from the face shape information of the user recognized and extracted from the face recognition unit 31, and has a 3D modeling algorithm for this. In particular, the 3D modeling unit 32 according to the embodiment of the present invention generates 3D mesh data from the depth image of the user's face, performs 3D matching on the 3D mesh data using the contour information of the user's face area, After correcting the face 3D model of the user generated by 3D matching, a texture image of the corrected face 3D model is generated and mapped.

가상성형 유닛(33)은 입출력장치(20)에서 입력되는 가상형성용 콘텐츠 라이브러리의 선택항목에 따라 3D 모델링된 사용자 얼굴을 변형시켜 사용자 얼굴의 가상성형 형상 정보를 산출하는 유닛으로, 이를 위한 가상성형 알고리즘을 갖는다. 여기서, 본 발명의 실시예에 따른 메인 컨트롤러(30)는 사용자 얼굴의 가상성형 형상 정보가 3D 홀로그램의 입체 영상정보로 산출되도록 한다.
The virtual forming unit 33 is a unit for calculating the virtual molding shape information of the user's face by modifying the 3D modeled user's face according to the selection item of the virtual forming content library input from the input / output device 20, Algorithm. Here, the main controller 30 according to the embodiment of the present invention allows the virtual molding shape information of the user's face to be calculated as the stereoscopic image information of the 3D hologram.

성형부위별 템플릿 DB(40)는 가상성형용 콘텐츠 라이브러리가 저장되어 관리되는 데이터베이스이다. 본 발명의 실시예에 다른 성형부위별 템플릿 DB(40)는 인적정보 관리 DB(41), 안면 윤곽 정보관리 DB(42), 성형부위별 모델 DB(43), 모델별 메타데이터 DB(44), 부위별 성형 메타데이터 DB(45)를 포함한다. 인적정보 관리 DB(41)는 가상성형을 수행하는 사용자의 인적정보가 저장되고 관리되는 DB이다. 안면 윤곽 정보관리 DB(42)는 영상센서 모듈(10)에 의해 획득된 사용자 얼굴의 입체 영상정보로부터 메인 컨트롤러(30)에 의해 산출되는 사용자의 안면 윤곽정보가 저장되고 관리되는 DB이다. 성형부위별 모델 DB(43)는 얼굴 부위별에 제공되는 복수의 모델에 관한 정보가 저장되고 관리되는 DB이다. 모델별 메타데이터 DB(44)는 얼굴형상정보를 포함하는 메타데이터가 각 모델별로 저장되고 관리되는 DB이다. 부위별 성형 메타데이터 DB(45)는 각 얼굴 부위의 성형에 적용되는 얼굴 부위 변형정보를 포함하는 성형 메타데이터가 성형부위별로 저장되고 관리되는 DB이다.The template-based template DB 40 is a database in which a library for virtual molding is stored and managed. The template DB 40 for each molding part according to the embodiment of the present invention includes a human information management DB 41, a facial profile information management DB 42, a model DB 43 for each molding part, a metadata DB 44 for each model, , And a site-specific shape metadata DB 45. The personal information management DB 41 is a DB in which personal information of a user performing virtual formation is stored and managed. The face contour information management DB 42 is a DB that stores and manages face contour information of the user calculated by the main controller 30 from the stereoscopic image information of the user's face acquired by the image sensor module 10. [ The model DB 43 for each molding site is a DB in which information on a plurality of models provided for each face region is stored and managed. The per-model metadata DB 44 is a DB in which metadata including face shape information is stored and managed for each model. The partial molding metadata DB 45 is a DB in which molding metadata including the face region deformation information applied to molding each face region is stored and managed for each molding region.

이에 따라, 성형부위별 템플릿 DB(40)에 저장되어 관리되는 가상성형용 콘텐츠 라이브러리는 사용자의 안면 윤곽정보, 부위별 모델정보, 모델별 메타데이터, 부위별 성형 메타데이터를 포함하게 된다.
Accordingly, the virtual molding contents library stored and managed in the template DB 40 for each molding part includes the user's facial contour information, the model information for each part, the metadata for each model, and the molding metadata for each part.

가상성형 디스플레이장치(50)는 메인 컨트롤러(30)와 연결되어 사용자 얼굴의 가상성형 형상 정보를 출력하게 된다. 여기서, 본 발명의 실시예에 따른 가상성형 디스플레이장치(50)로는 3D 홀로그램 출력장치(51)가 사용된다.
The virtual molding display device 50 is connected to the main controller 30 to output virtual molding shape information of the user's face. Here, as the virtual molded display device 50 according to the embodiment of the present invention, a 3D hologram output device 51 is used.

본 발명의 실시예에 따른 3D 가상성형기를 이용한 가상성형방법은 도 3에서와 같이 스테레오 영상 획득단계, 얼굴형상정보 추출단계, 얼굴 3D 모델링단계, 얼굴 가상성형 단계, 얼굴 가상성형 영상출력단계를 포함하여 이루어진다.
A virtual molding method using a 3D virtual molding machine according to an embodiment of the present invention includes a stereo image acquiring step, a face shape information extracting step, a face 3D modeling step, a face virtual molding step, and a face virtual molding image output step .

스테레오 영상 획득단계는 서로 이격되게 배치되는 복수개의 영상센서(11)로 이루어진 영상센서 모듈(10)을 통해 사용자 얼굴의 영상정보를 획득하는 단계이다. 본 발명의 실시예에 따른 스테레오 영상 획득단계는 중앙의 정면 영상센서(11) 양측으로 좌측면 영상센서(11)와 우측면 영상센서(11)가 배치되어 이루어지는 영상센서 모듈(10)을 통해 획득되는 사용자 얼굴의 정면 영상정보, 좌측면 영상정보, 우측면 영상정보로부터 사용자 얼굴의 입체 영상정보를 획득하게 된다.
The stereo image acquiring step is a step of acquiring image information of a user's face through an image sensor module 10 including a plurality of image sensors 11 arranged so as to be spaced apart from each other. The stereo image acquiring step according to the embodiment of the present invention is performed through the image sensor module 10 in which the left side image sensor 11 and the right side image sensor 11 are disposed on both sides of the central front image sensor 11 The stereoscopic image information of the user's face is obtained from the front image information, the left image information, and the right image information of the user's face.

얼굴형상정보 추출단계는 영상센서 모듈(10)과 연결되어 사용자 얼굴의 영상정보를 전달받는 메인 컨트롤러(30)의 얼굴인식 유닛(31)을 통해 사용자의 얼굴형상정보를 추출하는 단계이다. 본 발명의 실시예에 따른 얼굴형상정보 추출단계는 도 4와 도 5에서와 같이 얼굴영역 추출단계, 얼굴 중심점 추출단계, 얼굴 윤곽선 추출단계, 얼굴 깊이정보 추출단계를 거쳐 수행된다.The face shape information extraction step is a step of extracting the face shape information of the user through the face recognition unit 31 of the main controller 30 connected to the image sensor module 10 and receiving the image information of the user's face. 4 and 5, the face shape information extraction step according to the embodiment of the present invention is performed through a face region extraction step, a face center point extraction step, a face contour extraction step, and a face depth information extraction step.

얼굴영역 추출단계는 얼굴인식 유닛(31)의 얼굴영역 추출알고리즘을 통해 사용자의 얼굴이 위치하는 얼굴영역을 추출하는 단계이고, 얼굴 중심점 추출단계는 얼굴인식 유닛(31)의 중심점 추출알고리즘을 통해 얼굴영역의 중심점을 추출하는 단계이며, 얼굴 윤곽선 추출단계는 얼굴인식 유닛(31)의 윤곽선 추출알고리즘을 통해 얼굴영역의 윤곽선을 추출하는 단계이다. 또한 얼굴 깊이정보 추출단계는 얼굴인식 유닛(31)의 깊이정보 추출알고리즘을 통해 얼굴영역의 깊이정보를 추출하고, 추출된 깊이정보를 깊이 이미지를 저장하는 단계로서 사용자 얼굴의 정면 영상정보, 좌측면 영상정보, 우측면 영상정보에 대응하는 3개의 깊이 이미지를 저장하게 된다.
The face region extraction step extracts a face region in which a user's face is located through a face region extraction algorithm of the face recognition unit 31. The face center point extraction step is a step of extracting, Extracting the center point of the region, and extracting the contour of the face region using the contour extraction algorithm of the face recognition unit 31. [ The face depth information extracting step extracts the depth information of the face region through the depth information extracting algorithm of the face recognizing unit 31 and stores the extracted depth information as the depth image. The front face image information of the user face, Three depth images corresponding to the image information and the right side image information are stored.

얼굴 3D모델링단계는 얼굴인식 유닛(31)과 연결되어 사용자의 얼굴형상정보를 전달받는 메인 컨트롤러(30)의 3D 모델링 유닛(32)을 통해 사용자의 얼굴 3D모델링을 수행하는 단계이다. 본 발명의 실시예에 따른 얼굴 3D 모델링단계는 도 5에서와 같이 깊이 이미지 로딩단계, 메쉬 데이터 생성단계, 3D 정합단계, 얼굴 3D모델 보정단계, 텍스처 맵핑단계를 거쳐 수행된다.The face 3D modeling step is a step of performing 3D modeling of the user's face through the 3D modeling unit 32 of the main controller 30, which is connected to the face recognizing unit 31 and receives the face shape information of the user. The face 3D modeling step according to the embodiment of the present invention is performed through a depth image loading step, a mesh data generating step, a 3D matching step, a face 3D model correcting step, and a texture mapping step as shown in FIG.

깊이 이미지 로딩단계는 얼굴형상정보 추출단계에서 산출된 사용자 얼굴의 깊이 이미지를 로딩하는 단계이고, 메쉬 데이터 생성단계는 로딩된 깊이 이미지로부터 3D 메쉬 데이터를 생성시키는 단계이며, 3D 정합단계는 얼굴형상정보 추출단계에서 추출된 얼굴영역의 윤곽선 정보를 이용하여 3D 메쉬 데이터에 대한 3D 정합을 수행하는 단계이다. 그리고, 얼굴 3D모델 보정단계는 3D 정합으로 생성된 사용자의 얼굴 3D 모델을 보정하는 단계이고, 텍스터 맵핑단계는 보정된 사용자의 얼굴 3D 모델에 대한 텍스처 이미지를 생성하여 맵핑하는 단계이다.
The depth image loading step is a step of loading a depth image of the user face calculated in the face shape information extracting step. In the mesh data generating step, 3D mesh data is generated from the loaded depth image. And performing 3D matching on the 3D mesh data using the outline information of the face area extracted in the extracting step. The face 3D model correction step is a step of correcting the user's face 3D model generated by 3D matching, and the texture mapping step is a step of generating and mapping a texture image of the corrected face 3D model of the user.

도 6의 (a)에는 얼굴형상정보 추출단계에서 획득된 사용자 얼굴의 정면 영상정보가 얼굴 3D 모델링단계를 통해 얼굴 3D모델로 변환되는 과정이 도시되어 있고, 도 6의 (b)에는 얼굴형상정보 추출단계에서 획득된 사용자 얼굴의 좌측면 영상정보가 얼굴 3D 모델링단계를 통해 얼굴 3D모델로 변환되는 과정이 도시되어 있으며, 도 6의 (c)에는 얼굴형상정보 추출단계에서 획득된 사용자 얼굴의 우측면 영상정보가 얼굴 3D 모델링단계를 통해 얼굴 3D모델로 변환되는 과정이 도시되어 있다.
6A shows a process in which front face image information of the user face obtained in the face shape information extraction step is converted into a face 3D model through a face 3D modeling step. In FIG. 6B, The left face image information of the user face obtained in the extraction step is converted into the face 3D model through the face 3D modeling step. In FIG. 6C, the right face image of the user face And the image information is converted into the face 3D model through the face 3D modeling step.

여기서 본 발명의 실시예에 따른 3D 정합단계는 스테레오 영상 획득단계에서 획득한 사용자 얼굴의 입체 영상정보와 얼굴형상정보 추출단계에서 추출된 사용자 얼굴의 깊이 이미지를 카메라 캘리브레이션(camera calibration) 영상처리기법을 통해 동일한 좌표로 매칭시키고, 3개의 깊이 이미지를 3D 공간 상에 로드하여 딜라우니 메쉬 알고리즘(delaunay mesh algorithm)에 의해 사용자의 얼굴 3D 모델 오브젝트(object)를 생성시킨 다음, 생성된 3개의 얼굴 3D 모델 오브젝트를 도 7과 도 8에서와 같이 기저벡터 변환 방법에 의해 3D 정합시킨다. 이와 같은 기저벡터 변환 방법은 3개의 점을 이용하여 e기저벡터를 계산하고 공간좌표를 모두 e기저벡터 좌표계로 환산한 다음, 다시 3개의 점을 이용하여 v기저벡터를 계산하고 e기저벡터로 해석된 공간좌표를 다시 v기저벡터로 환산하는 과정을 거쳐 수행된다.In the 3D matching step according to the embodiment of the present invention, the 3D image information of the user's face acquired at the stereo image acquiring step and the depth image of the user's face extracted at the step of extracting the face shape information are subjected to a camera calibration image processing technique And three depth images are loaded on the 3D space to generate a user's face 3D model object by the delaunay mesh algorithm and then the generated three face 3D models The objects are 3D-matched by the basis vector transformation method as shown in Figs. The base vector transformation method computes an e-basis vector using three points, converts all spatial coordinates into an e-basis vector coordinate system, computes a v-basis vector using three points again, And then transforming the space coordinates into a base vector.

그리고 본 발명의 실시예에 따른 3D모델 보정단계는 서로 인접한 3D 메쉬 데이터의 평균값을 곡선 생성 파라미터로 산출하는 평균근사법(average approximation method)을 적용하여 사용자의 얼굴 3D 모델을 보정하거나, 도 9에서와 같이 서로 인접한 3D 메쉬 데이터를 이용하여 스플라인 곡선을 생성하는 멀티레벨 B-스플라인 방법을 적용하여 사용자의 얼굴 3D 모델을 보정한다.In the 3D model correction step according to the embodiment of the present invention, the user's face 3D model is corrected by applying an average approximation method for calculating an average value of 3D mesh data adjacent to each other as a curve generation parameter, Similarly, the user's face 3D model is corrected by applying a multi-level B-spline method that generates a spline curve using adjacent 3D mesh data.

또한 본 발명의 실시예에 따른 텍스처 맵핑단계는 도 10에서와 같이 생성된 3D 텍스처 이미지를 얼굴 3D도델에 결합시키게 된다. 그리고 본 발명의 실시예에 따른 텍스처 맵핑단계는 도 11에서와 같이 스테레오 영상 획득단계에서 획득한 사용자 얼굴의 입체 영상정보와 얼굴형상정보 추출단계에서 추출된 사용자 얼굴의 깊이 이미지를 카메라 캘리브레이션(camera calibration) 영상처리기법을 통해 동일한 좌표로 매칭시킨 다음, 사용자의 얼굴 3D 모델 오브젝트(object) 점좌표에 대응하는 컬러값을 2D 이미지로 저장하여 텍스처 이미지를 자동 생성시킨다. 여기서 텍스처 맵핑단계는 도 12에서와 같이 사용자의 얼굴 3D 모델 오브젝트(object)가 파라메트리제이션(parametrization) 기법에 의해 2D 오브젝트로 변환되도록 한다.
In the texture mapping step according to the embodiment of the present invention, the 3D texture image generated as shown in FIG. 10 is combined with the face 3D model. In the texture mapping step according to the embodiment of the present invention, the stereoscopic image information of the user's face acquired in the stereo image acquiring step and the depth image of the user's face extracted in the face shape information extracting step, ) Image processing technique, and automatically generates a texture image by storing the color values corresponding to the user's face 3D model object point coordinates as a 2D image. Here, the texture mapping step allows the user's face 3D model object to be converted into a 2D object by a parametrization technique as shown in FIG.

얼굴 가상성형단계는 가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 출력하여 사용자로부터 선택항목을 입력받는 입출력장치(20)로부터 가상성형용 콘텐츠 라이브러리의 선택항목을 입력받게 되고, 입출력장치(20)과 연결되어 가상형성용 콘텐츠 라이브러리의 선택항목을 전달받는 메인 컨트롤러(30)의 가상성형 유닛(33)을 통해 사용자의 얼굴 3D모델에 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시킨 사용자 얼굴의 가상성형 형상정보를 산출하는 단계이다.The face virtual forming step receives a selection item of the virtual molding contents library from the input / output device 20 which outputs the virtual molding contents library item to the user and receives the selection item from the user. The input / output device 20 ) Of the face of the user applying the selection item of the virtual molding contents library to the user's face 3D model via the virtual forming unit 33 of the main controller 30, And calculating molding shape information.

본 발명의 실시예에 따른 얼굴 가상성형단계는 도 13에서와 같이 성형부위별 템플릿DB 구축단계와 가상성형 적용단계를 거쳐 수행된다.The face virtual forming step according to the embodiment of the present invention is performed through a template DB construction step for each molding part and a virtual molding application step as shown in FIG.

성형부위별 템플릿DB 구축단계는 사용자 얼굴의 부위별 성형 메타데이터와 성형 모델별 메타데이터를 생성하여 성형부위별 템플릿DB(40)를 구축하는 단계이다.The step of constructing the template DB for each molding part is to build the template DB 40 for each molding part by generating the molding metadata for each part of the user's face and the metadata for each molding model.

가상성형 적용단계는 성형부위별 템플릿DB(40)로부터 제공되는 가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 출력하여 사용자로부터 선택항목을 입력받고, 사용자의 얼굴 3D 모델에 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시켜 사용자 얼굴의 가상성형 형상정보를 산출하는 단계이다. 이와 같이 본 발명의 실시예에 따른 얼굴 가상성형단계를 통해 사용자는 자신의 얼굴 모델링 데이터를 부위별로 직접 수정할 수 있게 된다.
In the virtual molding application step, a contents library item for virtual molding provided from the template DB 40 for each molding part is output to the user, a selection item is input from the user, and a virtual molding contents library The virtual molding shape information of the user's face is calculated. As described above, the user can directly modify the face modeling data of his / her own by using the face virtual forming step according to the embodiment of the present invention.

얼굴 가상성형 영상출력단계는 산출된 사용자 얼굴의 가상성형 형상정보를 3D 영상으로 출력하는데, 본 발명의 실시예에 따른 얼굴 가상성형 영상출력단계는 3D 홀로그램의 입체 영상으로 사용자 얼굴의 가상성형 결과를 출력하게 된다.
In the step of outputting the virtual molding image, the virtual molding shape information of the user face is output as a 3D image. In the outputting step of the virtual molding image according to the embodiment of the present invention, .

상기와 같이 구성되는 본 발명의 실시예에 따른 3D 가상성형기를 이용한 가상성형방법은 얼굴영역 추출단계, 얼굴 중심점 추출단계, 얼굴 윤곽선 추출단계, 얼굴 깊이정보 추출단계를 거쳐 수행되는 얼굴형상정보 추출단계와, 깊이 이미지 로딩단계, 메쉬 데이터 생성단계, 3D 정합단계, 얼굴 3D 모델 보정단계, 텍스처 맵핑단계를 거쳐 수행되는 얼굴 3D 모델링단계를 통해 사용자 얼굴의 3D모델링이 수행됨에 따라, 3D모델링 효율이 향상되고, 성형부위별 템플릿 데이터베이스 구축단계와 가상성형 적용단계를 거쳐 수행되는 얼굴 가상성형단계에서 가상성형용 콘텐츠 라이브러리가 제공되어 사용자의 단순 조작에 의해 성형 시뮬레이션이 이루어짐에 따라, 3D 가상성형이 간편하고 용이하게 실행된다. 그리고 본 발명의 실시예에 따른 3D 가상성형기를 이용한 가상성형방법은 얼굴 3D모델링을 위한 3D 텍스처 이미지 생성이 자동으로 수행되므로 3D 가상성형기의 기능성이 증대된다.
The virtual molding method using the 3D virtual molding machine according to an embodiment of the present invention includes the steps of extracting face shape information through face region extracting step, face center point extracting step, face contour extracting step, and face depth information extracting step And the 3D modeling of the user's face through the 3D modeling step performed through the depth image loading step, the mesh data generating step, the 3D matching step, the face 3D model correcting step, and the texture mapping step, And a virtual virtual molding library is provided in the virtual virtual molding step performed through the template database construction step for each molding part and the virtual molding application step so that the molding simulation is performed by the simple operation of the user, And is easily executed. The virtual molding method using the 3D virtual molding machine according to the embodiment of the present invention increases the functionality of the 3D virtual molding machine by automatically generating the 3D texture image for the 3D modeling of the face.

상술한 바와 같은, 본 발명의 실시예에 따른 3D 가상성형기를 이용한 가상성형방법을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.
Although the virtual molding method using the 3D virtual molding machine according to the embodiment of the present invention has been described with reference to the above description and drawings, it should be understood that the present invention is not limited to the above- It will be understood by those of ordinary skill in the art that various changes and modifications may be made.

10 : 영상센서 모듈 11 : 영상센서
20 : 입출력장치 21 : 터치스크린
30 : 메인 컨트롤러 31 : 얼굴인식 유닛
32 : 3D 모델링 유닛 33 : 가상성형 유닛
40 : 성형부위별 템블릿 DB 41 : 인적정보 관리 DB
42 : 안면 윤곽 정보관리 DB 43 : 성형부위별 모델 DB
44 : 모델별 메타데이어 DB 45 : 부위별 성형 메타데이터 DB
50 : 가상성형 디스플레이 장치 51 : 3D 홀로그램 출력장치
100 : 3D 가상성형기10: Image sensor module 11: Image sensor
20: input / output device 21: touch screen
30: main controller 31: face recognition unit
32: 3D modeling unit 33: virtual forming unit
40: Template DB 41 for each molding site: Human information management DB
42: Facial contour information management DB 43: Model DB by molding part
44: Metadata for each model DB 45: Metadata DB for each site
50: virtual molding display device 51: 3D hologram output device
100: 3D virtual molding machine

Claims (8)

서로 이격되게 배치되는 복수개의 영상센서로 이루어진 영상센서 모듈을 통해 사용자 얼굴의 영상정보를 획득하되, 중앙의 정면 영상센서 양측으로 좌측면 영상센서와 우측면 영상센서가 배치되어 이루어지는 영상센서 모듈을 통해 획득되는 사용자 얼굴의 정면 영상정보, 좌측면 영상정보, 우측면 영상정보로부터 사용자 얼굴의 입체 영상정보를 획득할 수 있도록 하는 스테레오 영상 획득단계와;
상기 영상센서 모듈과 연결되어 사용자 얼굴의 영상정보를 전달받는 메인 컨트롤러의 얼굴인식 유닛을 통해 사용자의 얼굴형상정보를 추출하되, 상기 얼굴인식 유닛의 얼굴영역 추출알고리즘을 통해 사용자의 얼굴이 위치하는 얼굴영역을 추출하는 얼굴영역 추출단계, 상기 얼굴인식 유닛의 중심점 추출알고리즘을 통해 얼굴영역의 중심점을 추출하는 얼굴 중심점 추출단계, 상기 얼굴인식 유닛의 윤곽선 추출알고리즘을 통해 얼굴영역의 윤곽선을 추출하는 얼굴 윤곽선 추출단계, 상기 얼굴인식 유닛의 깊이정보 추출알고리즘을 통해 얼굴영역의 깊이정보를 추출하고, 추출된 깊이정보를 깊이 이미지를 저장하는 얼굴 깊이정보 추출단계를 포함하여 수행되는 얼굴형상정보 추출단계와;
상기 얼굴인식 유닛과 연결되어 사용자의 얼굴형상정보를 전달받는 상기 메인 컨트롤러의 3D 모델링 유닛을 통해 사용자의 얼굴 3D모델링을 수행하되, 상기 얼굴형상정보 추출단계에서 산출된 사용자 얼굴의 깊이 이미지를 로딩하는 깊이 이미지 로딩단계, 로딩된 상기 깊이 이미지로부터 3D 메쉬 데이터를 생성시키는 메쉬 데이터 생성단계, 상기 얼굴형상정보 추출단계에서 추출된 얼굴영역의 윤곽선 정보를 이용하여 3D 메쉬 데이터에 대한 3D 정합을 수행하는 3D 정합단계, 3D 정합으로 생성된 사용자의 얼굴 3D 모델을 보정하는 얼굴 3D모델 보정단계, 보정된 사용자의 얼굴 3D 모델에 대한 텍스처 이미지를 생성하여 맵핑하되 상기 스테레오 영상 획득단계에서 획득한 사용자 얼굴의 입체 영상정보와 상기 얼굴형상정보 추출단계에서 추출된 사용자 얼굴의 깊이 이미지를 카메라 캘리브레이션(camera calibration) 영상처리기법을 통해 동일한 좌표로 매칭시킨 다음 사용자의 얼굴 3D 모델 오브젝트(object) 점좌표에 대응하는 컬러값을 2D 이미지로 저장하여 텍스처 이미지를 자동 생성시키는 텍스처 맵핑단계를 포함하여 수행되는 얼굴 3D모델링단계와;
가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 출력하여 사용자로부터 선택항목을 입력받는 입출력장치로부터 가상성형용 콘텐츠 라이브러리의 선택항목을 입력받게 되고, 상기 입출력장치과 연결되어 가상형성용 콘텐츠 라이브러리의 선택항목을 전달받는 상기 메인 컨트롤러의 가상성형 유닛을 통해 사용자의 얼굴 3D모델에 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시킨 사용자 얼굴의 가상성형 형상정보를 산출하는 얼굴 가상성형단계 및;
산출된 사용자 얼굴의 가상성형 형상정보를 3D 영상으로 출력하는 얼굴 가상성형 영상출력단계를 포함하는 것을 특징으로 하는 3D 가상성형기를 이용한 가상성형방법.And acquiring image information of a user's face through an image sensor module composed of a plurality of image sensors arranged so as to be spaced apart from each other, wherein a left side image sensor and a right side image sensor are arranged on both sides of a central front image sensor A stereoscopic image acquiring step of acquiring stereoscopic image information of the user's face from the front image information, the left image information, and the right image information of the user's face;
A facial recognition unit for extracting facial feature information of a user through a face recognition unit of a main controller connected to the image sensor module and receiving image information of a face of a user, A face center point extracting step of extracting a center point of the face area through a center point extracting algorithm of the face recognizing unit, a face contour extracting step of extracting a contour of the face area by the contour extracting algorithm of the face recognizing unit, Extracting a depth information of a face region using a depth information extraction algorithm of the face recognition unit and extracting depth information of the extracted depth information;
A 3D modeling unit for the user's face through the 3D modeling unit of the main controller, which is connected to the face recognition unit and receives the user's face shape information, loads the depth image of the user's face calculated in the face shape information extraction step A depth image loading step, a mesh data generation step of generating 3D mesh data from the loaded depth image, a step of performing 3D matching on 3D mesh data using the outline information of the face area extracted in the face shape information extraction step, A face 3D model correction step of correcting the face 3D model of the user generated by 3D matching, and a texture image of the corrected face 3D model of the user are generated and mapped, Extracting the face information from the face information, The depth image of the user's face is matched to the same coordinates through the camera calibration image processing method and then the texture image is automatically generated by storing the color value corresponding to the user's face 3D model object point coordinates as a 2D image, A face 3D modeling step performed including a mapping step;
Outputting a content library item for virtual molding to a user and receiving a selection item of a virtual molding content library from an input / output device for inputting a selection item from a user, connecting to the input / output device and selecting A face virtual shaping step of calculating a virtual shaping shape information of a user face to which a selection item of the virtual molding contents library is applied to a user's face 3D model through a virtual forming unit of the main controller which receives an item;
And outputting the calculated virtual molding shape information of the user's face as a 3D image. 제 1항에 있어서,
상기 3D 정합단계는 상기 스테레오 영상 획득단계에서 획득한 사용자 얼굴의 입체 영상정보와 상기 얼굴형상정보 추출단계에서 추출된 사용자 얼굴의 깊이 이미지를 카메라 캘리브레이션(camera calibration) 영상처리기법을 통해 동일한 좌표로 매칭시키고, 3개의 깊이 이미지를 3D 공간 상에 로드하여 딜라우니 메쉬 알고리즘(delaunay mesh algorithm)에 의해 사용자의 얼굴 3D 모델 오브젝트(object)를 생성시킨 다음,
생성된 3개의 얼굴 3D 모델 오브젝트를 기저벡터 변환 방법에 의해 3D 정합시키는 것을 특징으로 하는 3D 가상성형기를 이용한 가상성형방법.The method according to claim 1,
The 3D matching step may include matching the stereoscopic image information of the user's face acquired in the stereo image acquiring step and the depth image of the user's face extracted in the face shape information extracting step to the same coordinates through a camera calibration image processing technique , Loading three depth images onto 3D space, creating a user's face 3D model object by a delaunay mesh algorithm,
And the generated three face 3D model objects are 3D-matched by a basis vector conversion method. 제 1항에 있어서,
상기 텍스처 맵핑단계는 사용자의 얼굴 3D 모델 오브젝트(object)가 파라메트리제이션(parametrization) 기법에 의해 2D 오브젝트로 변환되도록 하는 것을 특징으로 하는 3D 가상성형기를 이용한 가상성형방법.The method according to claim 1,
Wherein the texture mapping step converts the user's face 3D model object into a 2D object by a parametrization technique. 제 1항에 있어서,
상기 얼굴 가상성형단계는 사용자 얼굴의 부위별 성형 메타데이터와 성형 모델별 메타데이터를 생성하여 성형부위별 템플릿DB를 구축하는 성형부위별 템플릿DB 구축단계와;
상기 성형부위별 템플릿DB로부터 제공되는 가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 출력하여 사용자로부터 선택항목을 입력받고, 사용자의 얼굴 3D 모델에 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시켜 사용자 얼굴의 가상성형 형상정보를 산출하는 가상성형 적용단계를 포함하는 것을 특징으로 하는 3D 가상성형기를 이용한 가상성형방법.The method according to claim 1,
Wherein the virtual face forming step comprises: a template DB construction step for forming a template DB for each part to be formed by generating molding metadata and molding data for each part of the user face;
A contents library item for virtual molding provided from the template DB for each molding part is output to the user to receive a selection item from the user and a selection item of the virtual molding contents library is applied to the user's face 3D model And a virtual molding application step of calculating virtual molding shape information of the user's face. 삭제delete 삭제delete 삭제delete 삭제delete
KR1020120136085A 2012-11-28 2012-11-28 Virtual cosmetic surgery method by 3d virtual cosmetic surgery device KR101397476B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120136085A KR101397476B1 (en) 2012-11-28 2012-11-28 Virtual cosmetic surgery method by 3d virtual cosmetic surgery device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120136085A KR101397476B1 (en) 2012-11-28 2012-11-28 Virtual cosmetic surgery method by 3d virtual cosmetic surgery device

Publications (1)

Publication Number Publication Date
KR101397476B1 true KR101397476B1 (en) 2014-05-20

Family

ID=50894779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120136085A KR101397476B1 (en) 2012-11-28 2012-11-28 Virtual cosmetic surgery method by 3d virtual cosmetic surgery device

Country Status (1)

Country Link
KR (1) KR101397476B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016003258A1 (en) * 2014-07-04 2016-01-07 주식회사 인스바이오 Face model generation method for dental procedure simulation
WO2016128828A1 (en) * 2015-02-13 2016-08-18 Align Technology, Inc. Three-dimensional tooth modeling using a two-dimensional x-ray image
CN106204417A (en) * 2015-05-28 2016-12-07 维知应用株式会社 Utilize the virtual cosmetic surgery method and system of distortion of the mesh
CN106774879A (en) * 2016-12-12 2017-05-31 大连文森特软件科技有限公司 A kind of plastic operation experiencing system based on AR virtual reality technologies
KR101818992B1 (en) * 2015-12-31 2018-02-28 동의대학교 산학협력단 COSMETIC SURGERY method USING DEPTH FACE RECOGNITION
CN108280877A (en) * 2018-02-06 2018-07-13 宁波东钱湖旅游度假区靖芮医疗美容诊所有限公司 A kind of face lift synthesis method for customizing
CN113724396A (en) * 2021-09-10 2021-11-30 广州帕克西软件开发有限公司 Virtual face-lifting method and device based on face mesh

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005078646A (en) * 2003-08-29 2005-03-24 Samsung Electronics Co Ltd Method and apparatus for image-based photo-realistic 3d face modelling
KR20080106596A (en) * 2007-03-22 2008-12-09 연세대학교 산학협력단 Virtual face generating method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005078646A (en) * 2003-08-29 2005-03-24 Samsung Electronics Co Ltd Method and apparatus for image-based photo-realistic 3d face modelling
KR20080106596A (en) * 2007-03-22 2008-12-09 연세대학교 산학협력단 Virtual face generating method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016003258A1 (en) * 2014-07-04 2016-01-07 주식회사 인스바이오 Face model generation method for dental procedure simulation
US10076389B2 (en) 2015-02-13 2018-09-18 Align Technology, Inc. Three-dimensional tooth modeling using a two-dimensional x-ray image
WO2016128828A1 (en) * 2015-02-13 2016-08-18 Align Technology, Inc. Three-dimensional tooth modeling using a two-dimensional x-ray image
US11654003B2 (en) 2015-02-13 2023-05-23 Align Technology, Inc. Tooth scan model calibration
US11013582B2 (en) 2015-02-13 2021-05-25 Align Technology, Inc. Three-dimensional tooth modeling using a two-dimensional x-ray image
CN106204417A (en) * 2015-05-28 2016-12-07 维知应用株式会社 Utilize the virtual cosmetic surgery method and system of distortion of the mesh
KR20160139657A (en) * 2015-05-28 2016-12-07 주식회사 위즈인앱 System and method for virtual cosmetic surgery by using mesh warping
KR101701199B1 (en) * 2015-05-28 2017-02-01 주식회사 위즈인앱 System and method for virtual cosmetic surgery by using mesh warping
KR101818992B1 (en) * 2015-12-31 2018-02-28 동의대학교 산학협력단 COSMETIC SURGERY method USING DEPTH FACE RECOGNITION
CN106774879B (en) * 2016-12-12 2019-09-03 快创科技（大连）有限公司 A kind of plastic operation experiencing system based on AR virtual reality technology
CN106774879A (en) * 2016-12-12 2017-05-31 大连文森特软件科技有限公司 A kind of plastic operation experiencing system based on AR virtual reality technologies
CN108280877A (en) * 2018-02-06 2018-07-13 宁波东钱湖旅游度假区靖芮医疗美容诊所有限公司 A kind of face lift synthesis method for customizing
CN113724396A (en) * 2021-09-10 2021-11-30 广州帕克西软件开发有限公司 Virtual face-lifting method and device based on face mesh

Similar Documents

Publication Publication Date Title
KR101397476B1 (en) Virtual cosmetic surgery method by 3d virtual cosmetic surgery device
CN109219835A (en) The generation of the customization wearable article of 3 D-printing
KR100722229B1 (en) Apparatus and method for immediately creating and controlling virtual reality interaction human model for user centric interface
KR101694300B1 (en) Apparatus and method for generating 3d personalized figures
JP4284664B2 (en) Three-dimensional shape estimation system and image generation system
KR20150113751A (en) Method and apparatus for acquiring three-dimensional face model using portable camera
KR101556992B1 (en) 3d scanning system using facial plastic surgery simulation
JP5795250B2 (en) Subject posture estimation device and video drawing device
CN104952106A (en) Method and apparatus for providing virtual plastic surgery SNS service
JP2010128742A (en) Three-dimensional data creation device
CN113628327A (en) Head three-dimensional reconstruction method and equipment
CN111127642A (en) Human face three-dimensional reconstruction method
KR101116838B1 (en) Generating Method for exaggerated 3D facial expressions with personal styles
KR20140006138A (en) Virtual cosmetic surgery device and virtual cosmetic surgery system thereof
KR101696007B1 (en) Method and device for creating 3d montage
US11120624B2 (en) Three-dimensional head portrait generating method and electronic device
WO2022083389A1 (en) Virtual image generation method and apparatus
JP2006107145A (en) Face shape modeling system and face shape modeling method
KR20200074443A (en) A hologram-based home furnishing simulation system and a method using the same
CN113436350A (en) Three-dimensional model generation method and system
KR20160081841A (en) Automatic extracting system for 3d digital image object based on 2d digital image and extracting method using thereof
KR101780496B1 (en) Method for producing 3D digital actor image based on character modelling by computer graphic tool
KR101390822B1 (en) 3d hologram virtual cosmetic surgery device
CN117114965A (en) Virtual fitting and dressing method, virtual fitting and dressing equipment and system
CN104616287A (en) Mobile terminal for 3D image acquisition and 3D printing and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170502

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180502

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 6