WO2017026839A1 - 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 - Google Patents

휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 Download PDF

Info

Publication number
WO2017026839A1
WO2017026839A1 PCT/KR2016/008890 KR2016008890W WO2017026839A1 WO 2017026839 A1 WO2017026839 A1 WO 2017026839A1 KR 2016008890 W KR2016008890 W KR 2016008890W WO 2017026839 A1 WO2017026839 A1 WO 2017026839A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
model
dimensional
image
portable camera
Prior art date
Application number
PCT/KR2016/008890
Other languages
English (en)
French (fr)
Inventor
김종민
Original Assignee
트라이큐빅스 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 트라이큐빅스 인크. filed Critical 트라이큐빅스 인크.
Publication of WO2017026839A1 publication Critical patent/WO2017026839A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Definitions

  • the present invention relates to a method and apparatus for generating a three-dimensional face model using a camera, and more particularly, to a method for generating a high quality realistic three-dimensional face model from a series of successive images taken from a camera. Relates to a device.
  • An object of the present invention for solving the above-mentioned problems is to provide a method and apparatus for generating a high quality realistic three-dimensional face model from a series of successive images taken from a camera.
  • the apparatus for acquiring a 3D face model using a portable camera is a face image photographing unit which stores a video and an image sequence by capturing a user's face according to a shooting guide UI using a portable camera. Verify that a 3D face model can be generated from the captured image using sensors mounted on the camera, and analyze a relationship between the face image processing unit extracting a series of face images from the captured image and the series of face images.
  • a 3D face mesh generator to extract a mask area including eyes, nose, mouth, chin, and forehead of the user's face from the generated 3D face mesh, and remove the rest of the mask;
  • Optimal three-dimensional face model by matching three-dimensional face standard model to the three-dimensional face mesh
  • a standard face model matching unit to generate, a face skin texture synthesizing unit synthesizing a facial skin texture from an image photographed using sensors mounted on the portable camera, and using the optimal three-dimensional face model and the face skin texture It may include a realistic face rendering unit that performs a realistic rendering.
  • the 3D face image processor may select an image at a predetermined frame interval from the set of face images.
  • the 3D face mesh generator extracts key points from the series of face images optimized through the face image processor, analyzes the spatial relationship between the key points, and creates a 3D point cloud.
  • the 3D face mesh may be generated by connecting points in space of a point cloud.
  • the standard face model matching unit may generate a 3D face model that is matched with the 3D face mesh and is capable of final face deformation using a predetermined 3D face standard model.
  • the facial skin texture synthesis unit may convert the optimal three-dimensional face model into UV space and synthesize user images to generate facial skin texture maps for rendering.
  • the realistic face rendering unit may map the facial skin texture to the optimal three-dimensional face model, and perform realistic face rendering by using a technique that simulates a skin effect.
  • a method for obtaining a 3D face model using a portable camera may include storing a video and an image sequence by capturing a user's face according to a shooting guide UI using a portable camera. Verifying whether a 3D face model can be generated from the captured image using sensors mounted on the image, selecting an image at a predetermined frame interval from the captured image, extracting key points from the captured image, Generating three-dimensional point clouds by analyzing the spatial relationship between the key points, generating a mesh by connecting the points of the three-dimensional point clouds, eyes, nose, mouth, Extract the mask area including the chin and forehead and remove the rest And modeling an optimal three-dimensional face model by matching a predetermined three-dimensional face standard model to the three-dimensional face mesh, and a facial skin texture map for mapping the optimal three-dimensional face model from the photographed image. Synthesis may include.
  • Selecting an image at a predetermined frame interval from the photographed image may select a minimum of images at a predetermined interval from the photographed image.
  • Find and connect key points apply Sfm algorithm using factorization, analyze the structure of key points between each image, obtain camera attributes from captured images, and use the camera attributes Triangulation techniques are applied to the points, and coordinate values in three-dimensional space can be generated for each key point.
  • the generating of the mesh by connecting the points of the 3D point clouds may include generating an additional point cloud using an optical flow analysis technique and applying a triangulation technique to the generated point cloud to generate a 3D face mesh. Can be.
  • Synthesizing a facial skin texture map for mapping the optimal three-dimensional face model from the photographed image may map the generated optimal three-dimensional face model to a UV space and correspond to the coordinates of the UV space. Create a facial skin color texture map by finding the pixel values of the images, and generate additional facial skin texture maps using the generated facial skin texture map and the generated optimal three-dimensional face model using normal vectors and light source positions. Can be.
  • an individual does not have to visit a place where the equipment is installed without using a special purpose scanner equipment or a separate expensive camera, and an individual uses a smartphone or a DSLR camera. Using the same handheld camera, individuals can easily model the user's three-dimensional face at low cost.
  • a high quality realistic 3D model is obtained, instead of generating a low quality 3D face used for a character in a game or an avatar in cyberspace. can do.
  • a realistic virtual molding service is more easily possible.
  • face-related virtual simulation services such as virtual wearing services such as glasses, earrings, virtual hair styling services, three-dimensional skin makeup services, etc. Can contribute significantly.
  • FIG. 1 is a view showing a three-dimensional face model acquisition apparatus using a portable camera according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a three-dimensional face model acquisition process using a portable camera according to an embodiment of the present invention.
  • FIG. 3 is a diagram showing intermediate results of a three-dimensional face mesh reconstructed from a series of face images obtained by a portable camera according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a screen of a UI guide provided to photograph a face image of a user in a portable camera according to an exemplary embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a result of extracting only a face mask including only eyes, a nose, a mouth, a chin, and a forehead from a three-dimensional face mesh restored from a series of face images obtained by a portable camera according to an exemplary embodiment of the present invention.
  • FIG. 6 illustrates a final 3D face model generated by matching a 3D face mask mesh of a user and a 3D face standard model according to an exemplary embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a view showing a three-dimensional face model acquisition apparatus using a portable camera according to an embodiment of the present invention.
  • the apparatus for acquiring a 3D face model using a portable camera includes a face image capturing unit 100, a face image processing unit 200, a 3D face mesh generating unit 300, and a standard.
  • the face image capturing unit 100 captures a user face using a portable camera.
  • a UI for photographing guide is provided.
  • the user shoots the face by rotating the camera around the face according to the UI for the shooting guide. For example, a user may photograph a face by rotating the camera from the left ear (or left cheek) to the right ear (or right cheek), and vice versa.
  • the face image processor 200 verifies whether the video photographed by the user can be successfully generated as a 3D face model using sensor information of the smart phone, and delivers the optimized video to optimize subsequent processing performance. At least one image is selected for each of a predetermined period from the set of consecutive images. For example, the face image processor 200 may select a total of six images or eight images from among many images included in the captured video. In this case, the selected images may have the same frame interval.
  • the face image processing unit 200 evaluates the quality (motion blur, shooting angle, peripheral illumination, sharpness of the edge, etc.) of many images included in the captured video and has a preset number of images (6 or 8, etc.). You can also choose to listen. If the preset number of images cannot be selected because the quality of the images is low, the present invention may recommend retake to the user.
  • the 3D face mesh generator 300 extracts key points from a series of optimized images, analyzes the relationship among them, creates a 3D point cloud, and connects points in 3D space to connect the 3D face. Create a mesh.
  • a function of generating a 3D face mask by extracting only an ROI of a face from the 3D face mesh reconstructed including a part of the background.
  • the standard face model matching unit 400 uses a pre-modeled standard model that defines control points in advance so that the face can be deformed with high quality and can be matched with a three-dimensional face mesh to achieve final high quality and face deformation. Create a dimensional face model.
  • the facial skin texture synthesis unit 500 converts the 3D face model into UV space and synthesizes user images to generate texture maps for facial skin rendering.
  • the realistic face rendering unit 600 maps the facial skin texture to the 3D face model, and performs realistic face rendering using a technique for simulating a skin effect.
  • FIG. 2 is a view showing a three-dimensional face model acquisition method using a portable camera according to an embodiment of the present invention
  • a method of obtaining a 3D face model using a portable camera stores a video and an image sequence by capturing a user's face according to a shooting guide UI using a portable camera, using sensors mounted on the portable camera.
  • Verifying whether a 3D face model can be generated from the photographed image selecting an image at a predetermined frame interval from the photographed image, extracting key points from the photographed image, and spatially Generating three-dimensional point clouds by analyzing the relationship, generating a mesh by connecting the points of the three-dimensional point clouds, a mask including the eyes, nose, mouth, chin, forehead of the face in the generated mesh Extracting the area and removing the rest, predetermined three-dimensional face Modeling an optimal three-dimensional face model by matching a standard model to the three-dimensional face mesh, and a face skin for mapping the optimal three-dimensional face model from an image photographed using sensors mounted on the portable camera. Synthesizing a texture map.
  • the user's face according to an embodiment of the present invention does not move, and moves the camera from the left side of the face to the right side of the face, or moves the camera from the right side of the face to the left side of the face.
  • the face In the state where the camera is fixed, the face is rotated from the left side to the right side, or from the right side to the left side, or photographed (S100).
  • the captured image may be compressed and stored as a moving image or may be stored in a continuous image form.
  • the brightness of the captured image is not greater than a constant LUX value by using the illumination sensor information of the smartphone with respect to the captured video, or the movement of each of the X, Y, and Z directions in the axial direction using the acceleration sensor of the smartphone.
  • the user is guided to retake the image (S101, S102), and the successful image is transferred to the face image capturing process.
  • operation S103 a process of selecting a minimum image at a predetermined interval from a moving video or a continuous image set is performed.
  • a key point is extracted from the face images transferred in the image processing process, and a corresponding key point is found from adjacent images to connect the key points (S104).
  • the algorithm for extracting key points between images and connecting and mapping key points between images may refer to the public technology [1].
  • an additional point cloud is generated by using an optical flow technique to generate a dense point cloud. To generate (S106).
  • the three-dimensional face mesh generated in this way may include background parts other than the face, and parts such as hair and ears are difficult to completely restore due to the shooting conditions, and thus, these parts are removed and the eyes, nose, mouth, and chin of the face are removed.
  • a function of separately extracting only a mask portion including an area is necessary (S108, S109, and S110).
  • coordinates are obtained in a three-dimensional nose region by using two-dimensional coordinate information obtained by finding a nose region from input images and camera position information of each image in three-dimensional space (S108).
  • the face area is expanded based on skin color information by using a human face color distribution in the CIH Lab color space (S109).
  • the three-dimensional face mask region except for the head, hair, and ears is finally extracted (S110).
  • the generated three-dimensional face mask mesh does not include the entire face, that is, incomplete three-dimensional face parts such as head, hair, ears, and the like, and the surface of the face may also generate an irregular mesh due to noise.
  • the structure of the mesh is also irregular, it may be difficult to deform.
  • a high-quality three-dimensional standard face model which can be deformed separately and which has set important feature points of the face in advance is stored in advance, matched to the generated mesh, and a final three-dimensional user face model is generated.
  • the landmarks are set in the three-dimensional face mask mesh generated in the above step using the landmarks of the three-dimensional standard model, and the two models are aligned using the Iterative Closest Points (ICP) algorithm based on the landmarks. (S111), and then, the landmarks in the three-dimensional face standard model are first repositioned to the landmarks of the three-dimensional face mesh, and the remaining vertices of the three-dimensional face standard model are also changed through the nonlinear deformation of the three-dimensional face mesh. Match the vertices (S112). The specific algorithm of this matching can be implemented with reference to [2].
  • ICP Iterative Closest Points
  • the generated 3D face model is mapped to the UV space (S113), and the user's face skin color texture map is generated by finding pixel values of the user's images corresponding to the respective UV coordinates (S114).
  • additional texture maps such as a normal map and a specular map, may be generated using the generated color map and the generated three-dimensional face model using normal vectors and light source positions (S115).
  • sub-surface scattering is simulated using the completed 3D face model and the automatically generated skin texture maps (S116).
  • FIG. 3 is a diagram showing intermediate results of a three-dimensional face mesh reconstructed from a series of face images obtained by a portable camera according to an embodiment of the present invention.
  • reference numeral 300 is a series of images used to obtain a 3D model from an image captured by a user, and reference numeral 301 denotes a sparse cloud generated in operation S105 of FIG. 2. This image shows the point and camera position information at this time.
  • 302 is a Dense cloud point obtained by performing (S106) of FIG. 2
  • 303 represents a three-dimensional face mesh obtained by performing (S107) of FIG. 2.
  • FIG. 4 is a diagram illustrating a UI for guiding photographing when photographing a user's face with a smart phone according to an exemplary embodiment of the present invention.
  • 400 is a display when the user's face is located at the center of the user's face and includes the entire face, and 401 starts recording at the left side of the user's face.
  • a guide that passes the human face at a constant speed is provided to guide the successful image capture.
  • FIG. 5 is a diagram illustrating a first reconstructed three-dimensional face mesh and a mesh obtained by extracting only a face mask of a user from the entire mesh according to an embodiment of the present invention.
  • reference numeral 500 is a three-dimensional face mesh generated through operation S106 of FIG. 2.
  • the three-dimensional face mesh generated in this way includes the background around the face and includes incorrectly restored ears, heads, and hairs.
  • the mesh is extracted through a face mask area including only eyes, nose, mouth, and chin through S108, S109, and S110 of FIG. 2 to obtain a three-dimensional face mask model having a shape of (501).
  • FIG. 6 is a view showing a final three-dimensional face model generated by matching the three-dimensional face standard model and the user's three-dimensional face mask according to an embodiment of the present invention.
  • reference numeral 601 is a pre-fabricated three-dimensional face standard model, and the third face of 600 generated in the three-dimensional face mask mesh generation step as shown in 600. It has a landmark used to match the mask mesh and is structured so that each area of the face can be divided and controlled so that the deformation can be easily performed.
  • the final three-dimensional face model 602 matched through (S111, S112) of FIG. 2 also has the same mesh structure as the three-dimensional face standard model, thereby facilitating deformation.

Abstract

본 발명은 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치를 제공한다. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치는 사용자의 얼굴 영상을 촬영하는 얼굴 영상 촬영부, 촬영된 사용자 얼굴 영상으로부터 일련의 얼굴 이미지를 뽑아내는 얼굴 영상 처리부, 얼굴 이미지들 간의 관계를 분석하여 3차원 사용자 얼굴 메쉬를 생성하는 3차원 얼굴 메쉬 생성부, 3차원 얼굴 표준 모델을 메쉬 생성부에서 만들어진 3차원 얼굴 메쉬에 정합하여 최종적으로 고품질 3차원 사용자 얼굴 모델을 만들어내는 표준 얼굴 모델 정합부, 촬영된 이미지로부터 얼굴 피부 텍스처를 생성하는 얼굴 피부 텍스처 합성부 및 사용자의 고품질 3차원 얼굴 모델과 피부 텍스처를 이용하여 사실적 렌더링을 실시하는 사실적 얼굴 렌더링부를 포함한다.

Description

휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
본 발명은 카메라로부터 이용하여 3차원 얼굴 모델을 생성하는 방법 및 장치에 대한 것으로, 더욱 상세하게는 카메라로부터 촬영된 일련의 연속된 이미지들로부터 고품질의 사실적인 3차원 얼굴 모델을 생성하기 위한 방법 및 장치에 관한 것이다.
카메라를 이용하여 3차원 얼굴 모델을 생성하는 방법에는 여러 대의 동기화된 카메라를 사용하여 방법과 한대의 카메라를 사용하는 방법이 있다. 여러 대의 동기화된 카메라를 사용하는 경우에는 여러 대의 고해상도 카메라를 고정된 위치에 배치하는데, 이때 카메라는 컬러 카메라뿐 아니라, 깊이(depth) 카메라도 구성될 수 있다. 이렇게 하여 한번에 여러 장의 캘리브레이션(calibration)된 이미지를 획득하여 3차원 얼굴 모델을 생성한다.
이러한 접근 방법은 한 순간에 얼굴 사진을 얻어낼 수 있고, 이미 동기화된 카메라 정보를 이용할 수 있기 때문에 빠른 시간에 3차원 얼굴 모델을 만들어 낼 수 있다. 하지만, 일반적으로 고가의 장비가 요구되고, 또한 고정된 위치에 카메라를 배치하기 위해 적지 않은 공간을 차지하기 때문에 설치 비용이 많이 들고, 일반 사용자들이 이용하는데 비용과 공간에 대한 제약이 있다.
한 대의 카메라를 사용하여 3차원 얼굴 모델을 만들어 내기 위해서는 한 장 이상의 이미지를 얻기 위해 여러 번 얼굴을 찍어야 한다. 우선 얼굴의 특징점(눈, 코, 입 주변 점)들을 찾아내고, 각 특징점들의 상관관계를 분석하여, 3차원 공간상의 좌표들을 얻어낸다. 이미 만들어져 있는 3차원 모델의 해당하는 점들을 변형하여 사용자의 3차원 얼굴 모델을 얻어낸다. 하지만, 생성된 특징점들의 개수가 수십 개 정도여서, 사람들의 다양한 얼굴 형태를 3차원으로 가상 성형이 가능한 수준으로 정확히 복원하는 데는 한계가 있다.
전술한 문제점을 해결하기 위한 본 발명의 목적은 카메라로부터 촬영된 일련의 연속된 이미지들로부터 고품질의 사실적인 3차원 얼굴 모델을 생성하기 위한 방법 및 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
일 측면에 있어서, 본 발명에서 제안하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치는 휴대용 카메라를 이용하여 촬영 가이드 UI 에 따라 사용자 얼굴을 촬영하여 동영상 및 이미지 시퀀스를 저장하는 얼굴 영상 촬영부, 상기 휴대용 카메라에 장착된 센서들을 이용하여 촬영된 영상으로부터 3차원 얼굴 모델이 생성될 수 있을지 검증하고, 상기 촬영된 영상으로부터 일련의 얼굴 이미지들을 추출하는 얼굴 영상 처리부, 상기 일련의 얼굴 이미지들 간의 관계를 분석하여 3차원 얼굴 메쉬를 생성하고, 상기 생성된 3차원 얼굴 메쉬에서 사용자 얼굴의 눈, 코, 입, 턱, 이마를 포함하는 마스크 영역을 추출하고 나머지는 제거하는 3차원 얼굴 메쉬 생성부, 미리 정해진 3차원 얼굴 표준 모델을 상기 3차원 얼굴 메쉬에 정합하여 최적의 3차원 얼굴 모델을 생성하는 표준 얼굴 모델 정합부, 상기 휴대용 카메라에 장착된 센서들을 이용하여 촬영된 영상으로부터 얼굴 피부 텍스처를 합성하는 얼굴 피부 텍스처 합성부, 및 상기 최적의 3차원 얼굴 모델과 상기 얼굴 피부 텍스처를 이용하여 사실적 렌더링을 실시하는 사실적 얼굴 렌더링부를 포함할 수 있다.
상기 3차원 얼굴 영상 처리부는 상기 일련의 얼굴 이미지들의 집합에서 일정 프레임 간격으로 이미지를 선택할 수 있다.
상기 3차원 얼굴 메쉬 생성부는 상기 얼굴 영상 처리부를 통해 최적화 처리된 상기 일련의 얼굴 이미지들에서 Key point들 추출하고, 상기 Key point들 간의 공간상의 관계를 분석하여 3차원 포인트 클라우드를 만들고, 상기 3차원 포인트 클라우드의 공간상의 점들을 연결하여 상기 3차원 얼굴 메쉬를 생성할 수 있다.
상기 표준 얼굴 모델 정합부는 미리 정해진 3차원 얼굴 표준 모델을 이용하여, 상기 3차원 얼굴 메쉬와 정합하고, 최종적인 얼굴 변형이 가능한 3차원 얼굴 모델을 생성할 수 있다.
상기 얼굴 피부 텍스처 합성부는 상기 최적의 3차원 얼굴 모델을 UV 공간으로 변환하고, 사용자 이미지들을 합성하여 렌더링을 위한 얼굴 피부 텍스처 맵들을 생성할 수 있다.
상기 사실적 얼굴 렌더링부는 상기 최적의 3차원 얼굴 모델에 얼굴 피부 텍스처를 매핑하고, 피부 효과를 시뮬레이션 하는 기술을 사용하여 사실적 얼굴 렌더링을 수행할 수 있다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법은 휴대용 카메라를 이용하여 촬영 가이드 UI 에 따라 사용자 얼굴을 촬영하여 동영상 및 이미지 시퀀스를 저장하는 단계, 상기 휴대용 카메라에 장착된 센서들을 이용하여 촬영된 영상으로부터 3차원 얼굴 모델이 생성될 수 있을지 검증하는 단계, 상기 촬영된 영상으로부터 일정 프레임 간격으로 이미지를 선택하는 단계, 상기 촬영된 영상으로부터 Key point 들을 추출하고, 상기 Key point들 간의 공간상 관계를 분석하여 3차원 포인트 클라우드들을 생성하는 단계, 상기 3차원 포인트 클라우드들의 각 포인트들을 연결하여 메쉬를 생성하는 단계, 상기 생성된 메쉬에서 얼굴의 눈, 코, 입, 턱, 이마를 포함하는 마스크 영역을 추출하고 나머지는 제거하는 단계, 미리 정해진 3차원 얼굴 표준 모델을 상기 3차원 얼굴 메쉬에 정합하여 최적의 3차원 얼굴모델을 모델링하는 단계, 및 상기 촬영된 영상으로부터 상기 최적의3차원 얼굴 모델을 매핑하기 위한 얼굴 피부 텍스처 맵을 합성하는 단계를 포함할 수 있다.
상기 촬영된 영상으로부터 일정 프레임 간격으로 이미지를 선택하는 단계는 상기 촬영된 영상으로부터 일정 간격으로 최소한의 이미지들을 선택할 수 있다.
상기 촬영된 영상으로부터 Key point 들을 추출하고, 상기 Key point들 간의 공간상 관계를 분석하여 3차원 포인트 클라우드들을 생성하는 단계는 상기 촬영된 영상으로부터 Key point 들을 추출하고, 인접한 이미지들에서 해당하는 Key point들을 찾아 Key point들을 연결하고 인수 분해를 활용한 Sfm 알고리즘을 적용하고, 각 이미지들 사이에서의 key point들의 구조를 분석하고, 촬영된 이미지들에서의 카메라 속성을 구하고, 상기 카메라 속성을 이용하여 key point들에 삼각 측량 기법을 적용하고, 각 key point들에 대해 3차원 공간상에서의 좌표값을 생성할 수 있다.
상기 3차원 포인트 클라우드들의 각 포인트들을 연결하여 메쉬를 생성하는 단계는 광류 분석 기법을 이용하여 추가적인 포인트 클라우드를 생성하고, 상기 생성된 포인트 클라우드에 삼각화 기법을 적용하여, 3차원 얼굴 메쉬를 생성할 수 있다.
상기 촬영된 영상으로부터 상기 최적의3차원 얼굴 모델을 매핑하기 위한 얼굴 피부 텍스처 맵을 합성하는 단계는 상기 생성된 최적의 3차원 얼굴 모델을 UV 공간에 매핑하고, 상기 UV 공간의 좌표에 해당하는 사용자의 이미지들의 픽셀 값을 찾아 얼굴 피부 컬러 텍스처 맵을 생성하고, 생성된 얼굴 피부 텍스처 맵과 상기 생성된 최적의 3차원 얼굴 모델을 노멀 벡터, 광원 위치를 이용하여 부가적인 얼굴 피부 텍스처 맵을 생성할 수 있다.
상술한 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치에 따르면, 특수한 목적의 스캐너 장비 또는 별도의 고가의 카메라를 사용하지 않고 해당 장비가 설치된 장소를 방문할 필요 없이, 개인이 스마트폰이나 DSLR 카메라 같은 휴대용 카메라를 이용하여, 개인이 손쉽게 저비용으로 사용자의 3차원 얼굴을 모델링 할 수 있다.
그리고, 본 발명의 실시예에 따르면 사진의 얼굴에서 제한된 개수의 특징점만 활용하여 게임의 캐릭터나 사이버상의 아바타에 사용되는 저품질의 3차원 얼굴을 생성하는 것이 아니라, 고품질의 사실적인 3차원 모델을 획득할 수 있다.
또한, 본 발명의 실시예에 따르면 고품질의 3차원 사용자 얼굴을 저비용으로 확보함으로써 보다 손쉽게 사실적인 가상 성형 서비스가 가능하다. 또한, 사용자의 3차원 얼굴 모델을 활용하여, 안경, 귀걸이 등의 악서서리 가상 착용 서비스, 헤어 가상 스타일링 서비스, 3차원 피부 메이크업 서비스 등 다양한 얼굴관련 가상 시뮬레이션 서비스를 제공할 수 있어, 관련 산업에 발전에 크게 기여할 수 있다.
도 1은 본 발명의 실시예에 따른 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 과정을 나타낸 흐름도이다.
도 3은 본 발명의 실시예에 따른 휴대용 카메라에서 얻은 일련의 얼굴 이미지로부터 복원한 3차원 얼굴 메쉬의 중간 결과들을 보여주는 도면이다.
도 4는 본 발명의 실시예에 따른 휴대용 카메라에서 사용자의 얼굴 영상을 촬영하기 위해 제공되는 UI 가이드를 화면을 보여주는 도면이다.
도 5는 본 발명의 실시예에 따른 휴대용 카메라에서 얻은 일련의 얼굴 이미지로부터 복원한 3차원 얼굴 메쉬에서 눈, 코, 입, 턱, 이마만을 포함한 얼굴 마스크 부분만 추출한 결과를 보여주는 도면이다.
도 6은 본 발명의 실시예에 따른 사용자의 3차원 얼굴 마스크 메쉬와 3차원 얼굴 표준 모델을 정합하여 생성한 최종 3차원 얼굴 모델을 보여주는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치는 얼굴 영상 촬영부(100), 얼굴 영상 처리부(200), 3차원 얼굴 메쉬 생성부(300), 표준 얼굴 모델 정합부(400), 얼굴 피부 텍스처 합성부(500) 및 사실적 얼굴 렌더링부(600)를 포함한다.
얼굴 영상 촬영부(100)는 휴대용 카메라를 이용하여 사용자 얼굴을 촬영한다. 이때, 이후 처리에 알맞은 이미지들을 얻기 위해서 촬영 가이드를 위한 UI 를 제공한다. 사용자는 촬영 가이드를 위한 UI에 따라 얼굴 주변에서 카메라를 회전 시킴으로써 얼굴을 촬영한다. 예를 들어, 사용자는 왼쪽 귀(또는 왼쪽 뺨)으로부터 오른쪽 귀(또는 오른쪽 뺨)까지 카메라를 회전시킴으로써 얼굴을 촬영할 있으며, 그 반대 방향도 가능하다.
이후, 얼굴 영상 처리부(200)는 사용자가 촬영한 동영상이 3차원 얼굴모델로 성공적으로 생성될 수 있는지 스마트 폰의 센서 정보를 이용해서 검증하고, 검증된 동영상에 대해 이후 처리 성능을 최적화하기 위하여 전달된 연속된 이미지들의 집합에서 일정 구간마다 적어도 하나의 이미지를 선택한다. 예를 들어, 얼굴 영상 처리부(200)는 촬영된 동영상에 포함된 많은 이미지들 중 총 6개의 이미지들 또는 8 개의 이미지들을 선택할 수 있다. 이 때, 선택된 이미지들은 동일한 프레임 간격을 가질 수 있다. 또한, 얼굴 영상 처리부(200)는 촬영된 동영상에 포함된 많은 이미지들의 품질(모션 블러, 촬영 각도, 주변 조도, 엣지의 샤프니스 등)을 평가하여 미리 설정된 개수(6개 또는 8개 등)의 이미지들을 선택할 수도 있다. 만약, 이미지들의 품질이 낮기 때문에, 미리 설정된 개수의 이미지들이 선택될 수 없는 경우, 본원 발명은 사용자에게 재촬영을 추천할 수 있다.
이후, 3차원 얼굴 메쉬 생성부(300)는 최적화 처리된 일련의 이미지에서 Key point 들 추출하고, 이들 간의 관계를 분석하여 3차원 포인트 클라우드를 만들어내고, 3차원 공간상의 점들을 연결하여 3차원 얼굴 메쉬를 생성한다. 이때, 배경 일부를 포함하여 복원된 3차원 얼굴 메쉬에서 얼굴의 관심 영역만 추출하여 3차원 얼굴 마스크를 생성하는 기능을 포함한다.
이후, 표준 얼굴 모델 정합부(400)는 고품질이고 얼굴에 대해 변형이 가능하도록 미리 제어 점들을 정의한 기 모델링 된 표준 모델을 이용하여, 3차원 얼굴 메쉬와 정합하여 최종적인 고품질이고 얼굴 변형이 가능한 3차원 얼굴 모델을 생성한다. 이후, 얼굴 피부 텍스처 합성부(500)는 3차원 얼굴 모델을 UV 공간으로 변환하고, 사용자 이미지들을 합성하여 얼굴 피부 렌더링을 위한 텍스처 맵들을 생성해 낸다. 이후, 사실적 얼굴 렌더링부(600)는 3차원 얼굴 모델에 얼굴 피부 텍스처를 매핑하고, 피부 효과를 시뮬레이션 하는 기술을 사용하여 사실적인 얼굴 렌더링을 수행한다.
도 2는 본 발명의 일실시예에 따른 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법을 나타낸 도면이다
본 발명에서 제안하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법은 휴대용 카메라를 이용하여 촬영 가이드 UI 에 따라 사용자 얼굴을 촬영하여 동영상 및 이미지 시퀀스를 저장하는 단계, 상기 휴대용 카메라에 장착된 센서들을 이용하여 촬영된 영상으로부터 3차원 얼굴 모델이 생성될 수 있을지 검증하는 단계, 상기 촬영된 영상으로부터 일정 프레임 간격으로 이미지를 선택하는 단계, 상기 촬영된 영상으로부터 Key point 들을 추출하고, 상기 Key point들 간의 공간상 관계를 분석하여 3차원 포인트 클라우드들을 생성하는 단계, 상기 3차원 포인트 클라우드들의 각 포인트들을 연결하여 메쉬를 생성하는 단계, 상기 생성된 메쉬에서 얼굴의 눈, 코, 입, 턱, 이마를 포함하는 마스크 영역을 추출하고 나머지는 제거하는 단계, 미리 정해진 3차원 얼굴 표준 모델을 상기 3차원 얼굴 메쉬에 정합하여 최적의 3차원 얼굴모델을 모델링하는 단계, 및 상기 휴대용 카메라에 장착된 센서들을 이용하여 촬영된 영상으로부터 상기 최적의3차원 얼굴 모델을 매핑하기 위한 얼굴 피부 텍스처 맵을 합성하는 단계를 포함할 수 있다.
도 2를 참조하면, 본 발명의 실시예에 따른 사용자의 얼굴은 움직이지 않고, 얼굴의 좌측 측면에서 얼굴의 우측 측면으로 카메라를 움직이거나, 얼굴의 우측 측면에서 얼굴의 좌측 측면으로 카메라를 움직이거나, 카메라를 고정시킨 상태에서 얼굴을 왼쪽 측면에서 오른쪽 측면으로 회전하거나, 오른쪽 측면에서 왼쪽 측면으로 회전하거나 하여 촬영한다(S100). 이때, 촬영된 영상은 동영상으로 압축하여 저장하거나, 연속된 이미지 형태로 저장할 수 있다.
이후, 촬영된 동영상에 대해서 스마트 폰의 조도 센서 정보를 활용하여 촬영된 영상의 밝기가 일정한 LUX 값 이상이 아니거나, 스마트 폰의 가속도 센서를 이용하여, X, Y, Z 의 각 축 방향의 이동 속도의 변화량이 +에서 -로, 또는 -에서 + 로 일정한 변화량 이상 급격하게 변화하는 경우에는 사용자에게 재 촬영하도록 가이드하고 (S101, S102), 성공적으로 촬영된 영상에 대해서 상기 얼굴 영상 촬영 과정에서 전달된 동영상이나 연속된 이미지 집합에서 일정 간격으로 최소한의 이미지를 선택하는 처리를 수행한다(S103).
이후, 상기 이미지 처리 과정에서 전달된 얼굴 이미지들에서 Key point 를 추출하고 인접한 이미지들에서 해당하는 Key point 를 찾아 Key point 들을 연결한다(S104). 이때 이미지들 사이의 key point 들을 추출하고, 이미지 사이에서 key point 들을 연결하여 매핑하는 알고리즘은 공개 기술인 [1]을 참조할 수 있다.
[1] Stefan Leutenegger, Margarita Chli and Roland Siegwart, "BRISK: Binary Robust Invariant Scalable Keypoints", Proceedings of the IEEE International Conference on Computer Vision, 2011.
이후, 매핑된 key point 들을 사용하여 인수 분해를 활용한 Sfm 알고리즘을 적용하여, 각 이미지들 사이에서의 key point 들의 움직이는 방향, 움직인 거리. 속도 등을 얻어 낼 수 있는데, 이를 통해서 촬영된 이미지들에서의 카메라 속성, 즉 초점거리, 각도 등, 을 구할 수 있다, 이러한 정보를 활용해서 key point 들에 삼각 측량 기법을 적용하여 3차원 공간 상에서의 좌표 값을 생성해 낼 수 있다 (S105). 이러한 과정을 통해 3차원 얼굴의 Sparse 포인트 클라우드를 생성할 수 있다.
이후, 상기의 단계에서 생성된 Sparse 포인트 클라우드로는 3차원 메쉬를 생성하기 어려우므로, 더 조밀한 포인트 클라우드를 얻기 위해서 광류 분석(optical flow) 기법을 활용하여 추가적인 포인트 클라우드를 생성해 내어 Dense 포인트 클라우드를 생성해 낸다(S106).
이후, 상기의 단계에서 생성된 Dense 포인트 클라우드에 삼각화 기법을 적용하여, 3차원 메쉬를 생성한다(S107).
이렇게 생성된 3차원 얼굴 메쉬는 얼굴 이외의 배경 부분을 포함할 수 있고, 머리카락이나 귀와 같은 부분은 촬영조건 상 완전한 복원이 어렵기 때문에, 이러한 부분들을 제거하고, 얼굴의 눈, 코, 입, 턱 영역을 포함하는 마스크 부분만 따로 추출하는 기능이 필요하다(S108, S109, S110). 먼저, 입력 이미지들에서 코 영역을 찾아 얻어낸 2차원 좌표 정보들과 3차원 공간상의 각 이미지에 대한 카메라 위치 정보를 활용하여 3차원 상의 코 영역에 좌표들을 얻어낸다(S108).
이후, 코 영역에서부터 시작해서, CIH Lab 색상공간에서의 사람의 얼굴 색 분포를 활용하여 피부 컬러 정보를 기반으로 얼굴 영역을 확장한다(S109). 이렇게 하여, 최종적으로 머리 두상, 머리카락, 귀를 제외한 3차원 얼굴 마스크 영역을 추출한다(S110).
이렇게 생성된 3차원 얼굴 마스크 메쉬는 얼굴 전체, 즉 머리 두상, 머리카락, 귀 등의 불완전한 3차원 얼굴 부분을 포함하지 않고 있으며, 얼굴의 표면 역시, 노이즈에 의해 불규칙한 메쉬가 생성될 수도 있다. 또한, 메쉬의 구조도 불규칙하여 변형이 어려울 수 있다. 그래서, 본 발명에서는 별도로 변형 가능하고, 얼굴의 중요한 특징점을 미리 설정해 놓은 고품질의 3차원 표준 얼굴 모델을 미리 저장하여, 이를 생성된 메쉬에 정합하여, 최종 3차원 사용자 얼굴 모델을 생성한다.
이를 위하여, 3차원 표준 모델의 랜드마크들을 사용하여 상기 단계에서 생성된 3차원 얼굴 마스크 메쉬에서 랜드마크들을 설정하여, 해당 랜드마크들을 기준으로 ICP (Iterative Closest Points) 알고리즘을 활용하여 두 모델을 정렬하고(S111), 이후, 3차원 얼굴 표준 모델에 랜드마크들을 먼저 3차원 얼굴 메쉬의 랜드마크들로 위치를 변경하고, 3차원 얼굴 표준 모델의 나머지 버텍스들도 비선형 변형을 통해 3차원 얼굴 메쉬의 버텍스들에 정합한다(S112). 이러한 정합의 구체적인 알고리즘은 [2]를 참조하여 구현할 수 있다.
[2] David C. Schneider, and Peter Eisert, "Algorithms For Automatic And Robust Registration Of 3D Head Scans. JVRB - Journal of Virtual Reality and Broadcasting" 2010.
이후, 상기에서 생성된 3차원 얼굴 모델을 UV 공간에 매핑(S113)하고, 각 UV 좌표에 해당하는 사용자의 이미지들의 픽셀 값을 찾아내서 사용자 얼굴 피부 컬러 텍스처 맵을 생성한다(S114). 이후, 사실적인 렌더링을 위해서는 생성된 컬러맵과 생성된 3차원 얼굴 모델을 노멀 벡터, 광원 위치등을 이용해서 노멀 맵, 광휘(specular) 맵 등 부가적인 텍스처 맵을 생성할 수 있다(S115). 이후, 완성된 3차원 얼굴 모델과 자동 생성된 피부 텍스처 맵들을 활용하여 피부 반사 모델 (Sub-surface scattering)을 시뮬레이션한다(S116).
도 3은 본 발명의 실시예에 따른 휴대용 카메라에서 얻은 일련의 얼굴 이미지로부터 복원한 3차원 얼굴 메쉬의 중간 결과들을 보여주는 도면이다.
도 3을 참조하면, 본 발명의 실시예에 따른 (300)은 사용자가 촬영한 영상에서 3차원 모델을 얻기 위해 사용한 연속된 이미지들이고, (301)은 도면 2의 (S105) 에서 생성된 Sparse 클라우드 포인트와 이때의 카메라 위치 정보를 표시한 이미지이다. 또한 (302)는 도 2 의 (S106)를 수행하여 얻은 Dense 클라우드 포인트이고, (303)은 도 2의 (S107)을 수행하여 얻는 3차원 얼굴 메쉬를 나타낸다.
도 4는 본 발명의 실시예에 따른 스마트 폰으로 사용자 얼굴을 촬영할 때 촬영을 가이드하는 UI 를 보여주는 도면이다.
도 4를 참조하면, 본 발명의 실시예에 따른 (400)은 사용자의 얼굴이 최대한 중심에 위치하고 전체 얼굴이 포함될 수 있도록 가이드 하면 표시이고, (401)은 사용자 얼굴의 좌측에서 촬영을 시작하여, 우측으로 촬영을 진행할 때, 진행 속도가 너무 빨라서 3차원 얼굴을 정상적으로 복원하지 못하는 경우를 제어하기 위하여, 일정한 속도로 사람의 얼굴을 지나가는 표식을 제공하여 성공적으로 얼굴 영상을 촬영할 수 있도록 가이드 한다.
도 5는 본 발명의 실시예에 따른 1차 복원된 3차원 얼굴 메쉬와 이러한 전체 메쉬에서 사용자의 얼굴 마스크만 추출한 메쉬를 보여주는 도면이다.
도 5를 참조하면, 본 발명의 실시예에 따른 (500)은 도면 2의 (S106)을 통해 생성된 3차원 얼굴 메쉬이다. 이렇게 생성된 3차원 얼굴 메쉬는 얼굴 주변의 배경을 포함하고 있으며, 부정확하게 복원된 귀, 머리 두상, 머리카락을 포함하고 있다. 이러한 메쉬를 도면 2의 (S108, S109, S110)을 통해서 눈, 코, 입, 턱 만을 포함하는 얼굴 마스크 영역을 추출하면 (501) 형태의 3차원 얼굴 마스크 모델을 얻는다.
도 6은 본 발명의 실시예에 따른 3차원 얼굴 표준 모델과 사용자의 3차원 얼굴 마스크를 정합하여 생성한 최종 3차원 얼굴 모델을 보여주는 도면이다.
도 6을 참조하면, 본 발명의 실시예에 따른 (601)은 기 제작된 3차원 얼굴 표준 모델인데, (600)과 같이 상기 3차원 얼굴 마스크 메쉬 생성 단계에서 생성된 (600)의 3차 얼굴 마스크 메쉬와 정합하기 위해 사용되는 랜드마크를 가지고 있고, 또한 변형이 잘 이루어질수 있도록 얼굴의 각 영역을 나누어 제어할 수 있도록 구조화되어 있다. 그래서, 도면 2의 (S111, S112)을 통해 정합된 최종의 3차원 얼굴 모델 (602) 도 3차원 얼굴 표준 모델과 동일한 메쉬 구조를 가지게 되어 변형이 용이하게 된다.
이상, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였으나 이는 본 발명의 권리 범위를 한정하는 것으로 해석될 수 없으며, 이하에서 기술되는 특허 청구 범위에 의해 판단되는 본 발명의 사상 및 범위를 벗어나지 않는 한도 내에서 해당 기술 분야에서 통상의 지식을 가진 자에 의해 다양하게 변형되어 실시될 수 있을 것이다.

Claims (10)

  1. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치에 있어서,
    휴대용 카메라를 이용하여 촬영 가이드 UI 에 따라 사용자 얼굴을 촬영하여 동영상 및 이미지 시퀀스를 저장하는 얼굴 영상 촬영부,
    상기 휴대용 카메라에 장착된 센서들을 이용하여 촬영된 영상으로부터 3차원 얼굴 모델이 생성될 수 있을지 검증하고, 상기 촬영된 영상으로부터 일련의 얼굴 이미지들을 추출하는 얼굴 영상 처리부,
    상기 일련의 얼굴 이미지들 간의 관계를 분석하여 3차원 얼굴 메쉬를 생성하고, 상기 생성된 3차원 얼굴 메쉬에서 사용자 얼굴의 눈, 코, 입, 턱, 이마를 포함하는 마스크 영역을 추출하고 나머지는 제거하는 3차원 얼굴 메쉬 생성부,
    미리 정해진 3차원 얼굴 표준 모델을 상기 3차원 얼굴 메쉬에 정합하여 최적의 3차원 얼굴 모델을 생성하는 표준 얼굴 모델 정합부,
    상기 휴대용 카메라에 장착된 센서들을 이용하여 촬영된 영상으로부터 얼굴 피부 텍스처를 합성하는 얼굴 피부 텍스처 합성부, 및
    상기 최적의 3차원 얼굴 모델과 상기 얼굴 피부 텍스처를 이용하여 사실적 렌더링을 실시하는 사실적 얼굴 렌더링부
    를 포함하는 것을 특징으로 하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치.
  2. 제1항에 있어서,
    상기 3차원 얼굴 영상 처리부는,
    상기 일련의 얼굴 이미지들의 집합에서 일정 프레임 간격으로 이미지를 선택하는 것을 특징으로 하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치.
  3. 제1항에 있어서,
    상기 표준 얼굴 모델 정합부는,
    미리 정해진 3차원 얼굴 표준 모델을 이용하여, 상기 3차원 얼굴 메쉬와 정합하고, 최종적인 얼굴 변형이 가능한 3차원 얼굴 모델을 생성하는 것을 특징으로 하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치.
  4. 제1항에 있어서,
    상기 얼굴 피부 텍스처 합성부는,
    상기 최적의 3차원 얼굴 모델을 UV 공간으로 변환하고, 사용자 이미지들을 합성하여 렌더링을 위한 얼굴 피부 텍스처 맵들을 생성하는 것을 특징으로 하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치.
  5. 제1항에 있어서,
    상기 사실적 얼굴 렌더링부는,
    상기 최적의 3차원 얼굴 모델에 얼굴 피부 텍스처를 매핑하고, 피부 효과를 시뮬레이션 하는 기술을 사용하여 사실적 얼굴 렌더링을 수행하는 것을 특징으로 하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치.
  6. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 장치를 통한 3차원 얼굴 모델 획득 방법에 있어서,
    휴대용 카메라를 이용하여 촬영 가이드 UI 에 따라 사용자 얼굴을 촬영하여 동영상 및 이미지 시퀀스를 저장하는 단계;
    상기 휴대용 카메라에 장착된 센서들을 이용하여 촬영된 영상으로부터 3차원 얼굴 모델이 생성될 수 있을지 검증하는 단계;
    상기 촬영된 영상으로부터 일정 프레임 간격으로 이미지를 선택하는 단계;
    상기 촬영된 영상으로부터 Key point 들을 추출하고, 상기 Key point들 간의 공간상 관계를 분석하여 3차원 포인트 클라우드들을 생성하는 단계;
    상기 3차원 포인트 클라우드들의 각 포인트들을 연결하여 메쉬를 생성하는 단계;
    상기 생성된 메쉬에서 얼굴의 눈, 코, 입, 턱, 이마를 포함하는 마스크 영역을 추출하고 나머지는 제거하는 단계;
    미리 정해진 3차원 얼굴 표준 모델을 상기 3차원 얼굴 메쉬에 정합하여 최적의 3차원 얼굴모델을 모델링하는 단계; 및
    상기 휴대용 카메라에 장착된 센서들을 이용하여 촬영된 영상으로부터 상기 최적의3차원 얼굴 모델을 매핑하기 위한 얼굴 피부 텍스처 맵을 합성하는 단계
    를 포함하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법.
  7. 제6항에 있어서,
    상기 촬영된 영상으로부터 일정 프레임 간격으로 이미지를 선택하는 단계는,
    상기 촬영된 영상으로부터 일정 간격으로 최소한의 이미지들을 선택하는 것을 특징으로 하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법.
  8. 제6항에 있어서,
    상기 미리 정해진 3차원 얼굴 표준 모델을 상기 얼굴의 눈, 코, 입, 턱, 이마를 포함하는 마스크 영역으로 추출된 얼굴 마스크 모델에 정합하여 최적의 3차원 얼굴모델을 모델링하는 단계는,
    미리 정해진 3차원 얼굴 표준 모델의 랜드마크들을 사용하여, 상기 얼굴의 눈, 코, 입, 턱, 이마를 포함하는 마스크 영역으로 추출된 얼굴 마스크 모델에서 랜드마크들을 설정하는 것을 특징으로 하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법.
  9. 제8항에 있어서,
    해당 랜드마크들을 기준으로 ICP(Iterative Closest Points) 알고리즘을 활용하여 두 모델을 정렬하고, 상기 미리 정해진 3차원 얼굴 표준 모델에 랜드마크들을 상기 3차원 얼굴 메쉬의 랜드마크들의 위치로 변경하고, 상기 3차원 얼굴 표준 모델의 나머지 버텍스들도 비선형 변형을 통해 상기 3차원 얼굴 메쉬의 버텍스들에 정합하는 것을 특징으로 하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법.
  10. 제6항에 있어서,
    상기 휴대용 카메라에 장착된 센서들을 이용하여 촬영된 영상으로부터 상기 최적의3차원 얼굴 모델을 매핑하기 위한 얼굴 피부 텍스처 맵을 합성하는 단계는,
    상기 생성된 최적의 3차원 얼굴 모델을 UV 공간에 매핑하고, 상기 UV 공간의 좌표에 해당하는 사용자의 이미지들의 픽셀 값을 찾아 얼굴 피부 컬러 텍스처 맵을 생성하고, 생성된 얼굴 피부 텍스처 맵과 상기 생성된 최적의 3차원 얼굴 모델을 노멀 벡터, 광원 위치를 이용하여 부가적인 얼굴 피부 텍스처 맵을 생성하는 것을 특징으로 하는 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법.
PCT/KR2016/008890 2015-08-12 2016-08-12 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 WO2017026839A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150114039A KR20170019779A (ko) 2015-08-12 2015-08-12 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
KR10-2015-0114039 2015-08-12

Publications (1)

Publication Number Publication Date
WO2017026839A1 true WO2017026839A1 (ko) 2017-02-16

Family

ID=57983323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/008890 WO2017026839A1 (ko) 2015-08-12 2016-08-12 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20170019779A (ko)
WO (1) WO2017026839A1 (ko)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064548A (zh) * 2018-07-03 2018-12-21 百度在线网络技术（北京）有限公司 视频生成方法、装置、设备及存储介质
CN109118569A (zh) * 2018-08-16 2019-01-01 Oppo广东移动通信有限公司 基于三维模型的渲染方法和装置
CN109427080A (zh) * 2017-08-31 2019-03-05 爱唯秀股份有限公司 快速生成大量复杂光源人脸图像的方法
CN109426775A (zh) * 2017-08-25 2019-03-05 株式会社日立制作所 一种检测人脸图像中网纹的方法、装置及设备
CN110502110A (zh) * 2019-08-07 2019-11-26 北京达佳互联信息技术有限公司 一种互动式应用程序反馈信息的生成方法及装置
CN110610533A (zh) * 2019-08-07 2019-12-24 重庆灵翎互娱科技有限公司 一种基于人脸三维网格模型进行表情捕捉的方法和设备
CN110717978A (zh) * 2019-07-16 2020-01-21 北京航空航天大学青岛研究院 基于单张图像的三维头部重建方法
CN110738732A (zh) * 2019-10-24 2020-01-31 重庆灵翎互娱科技有限公司 一种三维人脸模型的生成方法和设备
CN110751078A (zh) * 2019-10-15 2020-02-04 重庆灵翎互娱科技有限公司 一种确定三维人脸的非肤色区域的方法和设备
CN110853147A (zh) * 2018-08-21 2020-02-28 东方梦幻文化产业投资有限公司 一种三维人脸变换的方法
CN111126344A (zh) * 2019-12-31 2020-05-08 杭州趣维科技有限公司 一种生成人脸额头关键点的方法与系统
CN111386069A (zh) * 2017-12-18 2020-07-07 韩国韩医学研究院 三维人脸诊断装置的操作方法
CN112149578A (zh) * 2020-09-24 2020-12-29 四川川大智胜软件股份有限公司 基于人脸三维模型的人脸皮肤材质计算方法、装置及设备
CN112200905A (zh) * 2020-10-15 2021-01-08 革点科技(深圳)有限公司 一种三维人脸补全的方法
CN112489205A (zh) * 2020-12-16 2021-03-12 北京航星机器制造有限公司 一种仿真人脸制造方法
CN112562083A (zh) * 2020-12-10 2021-03-26 上海影创信息科技有限公司 基于深度相机的静态人像三维重建与动态人脸融合方法
CN112967372A (zh) * 2021-02-03 2021-06-15 武汉南北极测绘地理信息有限公司 基于互联网场景的矿物、岩石标本教学展示方法及系统
CN113034345A (zh) * 2019-12-25 2021-06-25 广东奥博信息产业股份有限公司 一种基于sfm重建的人脸识别方法及系统
CN113469903A (zh) * 2021-06-11 2021-10-01 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113744374A (zh) * 2021-09-03 2021-12-03 浙江大学 一种基于表情驱动的3d虚拟形象生成方法
WO2022143398A1 (zh) * 2020-12-29 2022-07-07 华为技术有限公司 三维模型生成方法及装置
CN116664796A (zh) * 2023-04-25 2023-08-29 北京天翔睿翼科技有限公司 轻量级头部建模系统及方法
CN116723363A (zh) * 2023-08-11 2023-09-08 深圳市安思疆科技有限公司 一种3d全脸检测设备及其检测方法
CN111047678B (zh) * 2018-10-12 2024-01-23 杭州海康威视数字技术股份有限公司 一种三维人脸采集装置和方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10665024B2 (en) 2016-12-12 2020-05-26 Fyusion, Inc. Providing recording guidance in generating a multi-view interactive digital media representation
KR101908851B1 (ko) * 2017-04-14 2018-10-17 한국 한의학 연구원 얼굴 자세 보정 장치 및 방법
KR102151127B1 (ko) * 2017-12-08 2020-09-02 한국전자통신연구원 3차원 영상 생성 장치 및 방법
EP3818503A4 (en) * 2018-07-05 2022-04-27 Fyusion, Inc. PROVIDE A RECORDING INSTRUCTION FOR CREATING AN INTERACTIVE MULTIPLE VIEW DIGITAL MEDIA PRESENTATION
KR102440490B1 (ko) * 2020-04-16 2022-09-06 주식회사 에이비에이치 인공지능 기반 감정 인식 장치 및 방법
KR102358854B1 (ko) 2020-05-29 2022-02-04 연세대학교 산학협력단 얼굴 이미지 색상 합성 장치 및 방법
KR102323861B1 (ko) * 2021-01-15 2021-11-09 주식회사 쪼이 온라인 의류 판매 시스템
KR102565480B1 (ko) * 2021-09-03 2023-08-14 도평건기 주식회사 메신저 대화 카메라 촬영 방지 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022306A (ko) * 2003-08-29 2005-03-07 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR20080018575A (ko) * 2006-08-25 2008-02-28 성결대학교 산학협력단 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정구현시스템 및 구현 방법
KR20080051007A (ko) * 2006-12-04 2008-06-10 한국전자통신연구원 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법
JP2014525108A (ja) * 2011-08-09 2014-09-25 インテル・コーポレーション 画像に基づくマルチビュー３ｄ顔生成
KR20150031085A (ko) * 2013-09-13 2015-03-23 인하대학교 산학협력단 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022306A (ko) * 2003-08-29 2005-03-07 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR20080018575A (ko) * 2006-08-25 2008-02-28 성결대학교 산학협력단 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정구현시스템 및 구현 방법
KR20080051007A (ko) * 2006-12-04 2008-06-10 한국전자통신연구원 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법
JP2014525108A (ja) * 2011-08-09 2014-09-25 インテル・コーポレーション 画像に基づくマルチビュー３ｄ顔生成
KR20150031085A (ko) * 2013-09-13 2015-03-23 인하대학교 산학협력단 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426775B (zh) * 2017-08-25 2022-02-25 株式会社日立制作所 一种检测人脸图像中网纹的方法、装置及设备
CN109426775A (zh) * 2017-08-25 2019-03-05 株式会社日立制作所 一种检测人脸图像中网纹的方法、装置及设备
CN109427080A (zh) * 2017-08-31 2019-03-05 爱唯秀股份有限公司 快速生成大量复杂光源人脸图像的方法
CN111386069A (zh) * 2017-12-18 2020-07-07 韩国韩医学研究院 三维人脸诊断装置的操作方法
CN109064548B (zh) * 2018-07-03 2023-11-03 百度在线网络技术（北京）有限公司 视频生成方法、装置、设备及存储介质
CN109064548A (zh) * 2018-07-03 2018-12-21 百度在线网络技术（北京）有限公司 视频生成方法、装置、设备及存储介质
CN109118569A (zh) * 2018-08-16 2019-01-01 Oppo广东移动通信有限公司 基于三维模型的渲染方法和装置
CN109118569B (zh) * 2018-08-16 2023-03-10 Oppo广东移动通信有限公司 基于三维模型的渲染方法和装置
CN110853147A (zh) * 2018-08-21 2020-02-28 东方梦幻文化产业投资有限公司 一种三维人脸变换的方法
CN110853147B (zh) * 2018-08-21 2023-06-20 东方梦幻文化产业投资有限公司 一种三维人脸变换的方法
CN111047678B (zh) * 2018-10-12 2024-01-23 杭州海康威视数字技术股份有限公司 一种三维人脸采集装置和方法
CN110717978B (zh) * 2019-07-16 2023-07-18 北京航空航天大学青岛研究院 基于单张图像的三维头部重建方法
CN110717978A (zh) * 2019-07-16 2020-01-21 北京航空航天大学青岛研究院 基于单张图像的三维头部重建方法
CN110502110B (zh) * 2019-08-07 2023-08-11 北京达佳互联信息技术有限公司 一种互动式应用程序反馈信息的生成方法及装置
CN110502110A (zh) * 2019-08-07 2019-11-26 北京达佳互联信息技术有限公司 一种互动式应用程序反馈信息的生成方法及装置
CN110610533A (zh) * 2019-08-07 2019-12-24 重庆灵翎互娱科技有限公司 一种基于人脸三维网格模型进行表情捕捉的方法和设备
CN110610533B (zh) * 2019-08-07 2023-06-16 重庆灵翎互娱科技有限公司 一种基于人脸三维网格模型进行表情捕捉的方法和设备
CN110751078B (zh) * 2019-10-15 2023-06-20 重庆灵翎互娱科技有限公司 一种确定三维人脸的非肤色区域的方法和设备
CN110751078A (zh) * 2019-10-15 2020-02-04 重庆灵翎互娱科技有限公司 一种确定三维人脸的非肤色区域的方法和设备
CN110738732B (zh) * 2019-10-24 2024-04-05 重庆灵翎互娱科技有限公司 一种三维人脸模型的生成方法和设备
CN110738732A (zh) * 2019-10-24 2020-01-31 重庆灵翎互娱科技有限公司 一种三维人脸模型的生成方法和设备
CN113034345A (zh) * 2019-12-25 2021-06-25 广东奥博信息产业股份有限公司 一种基于sfm重建的人脸识别方法及系统
CN113034345B (zh) * 2019-12-25 2023-02-28 广东奥博信息产业股份有限公司 一种基于sfm重建的人脸识别方法及系统
CN111126344B (zh) * 2019-12-31 2023-08-01 杭州趣维科技有限公司 一种生成人脸额头关键点的方法与系统
CN111126344A (zh) * 2019-12-31 2020-05-08 杭州趣维科技有限公司 一种生成人脸额头关键点的方法与系统
CN112149578A (zh) * 2020-09-24 2020-12-29 四川川大智胜软件股份有限公司 基于人脸三维模型的人脸皮肤材质计算方法、装置及设备
CN112200905A (zh) * 2020-10-15 2021-01-08 革点科技(深圳)有限公司 一种三维人脸补全的方法
CN112200905B (zh) * 2020-10-15 2023-08-22 革点科技(深圳)有限公司 一种三维人脸补全的方法
CN112562083A (zh) * 2020-12-10 2021-03-26 上海影创信息科技有限公司 基于深度相机的静态人像三维重建与动态人脸融合方法
CN112489205A (zh) * 2020-12-16 2021-03-12 北京航星机器制造有限公司 一种仿真人脸制造方法
WO2022143398A1 (zh) * 2020-12-29 2022-07-07 华为技术有限公司 三维模型生成方法及装置
CN112967372A (zh) * 2021-02-03 2021-06-15 武汉南北极测绘地理信息有限公司 基于互联网场景的矿物、岩石标本教学展示方法及系统
CN113469903A (zh) * 2021-06-11 2021-10-01 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
WO2022258013A1 (zh) * 2021-06-11 2022-12-15 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113744374A (zh) * 2021-09-03 2021-12-03 浙江大学 一种基于表情驱动的3d虚拟形象生成方法
CN113744374B (zh) * 2021-09-03 2023-09-22 浙江大学 一种基于表情驱动的3d虚拟形象生成方法
CN116664796B (zh) * 2023-04-25 2024-04-02 北京天翔睿翼科技有限公司 轻量级头部建模系统及方法
CN116664796A (zh) * 2023-04-25 2023-08-29 北京天翔睿翼科技有限公司 轻量级头部建模系统及方法
CN116723363A (zh) * 2023-08-11 2023-09-08 深圳市安思疆科技有限公司 一种3d全脸检测设备及其检测方法
CN116723363B (zh) * 2023-08-11 2024-03-05 深圳市安思疆科技有限公司 一种3d全脸检测设备及其检测方法

Also Published As

Publication number Publication date
KR20170019779A (ko) 2017-02-22

Similar Documents

Publication Publication Date Title
WO2017026839A1 (ko) 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
US9710912B2 (en) Method and apparatus for obtaining 3D face model using portable camera
JP6587421B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101323966B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
CN107484428B (zh) 用于显示对象的方法
US20120162384A1 (en) Three-Dimensional Collaboration
CN108369653A (zh) 使用眼睛特征的眼睛姿态识别
CN106170083A (zh) 用于头戴式显示器设备的图像处理
CN111243093A (zh) 三维人脸网格的生成方法、装置、设备及存储介质
JP7387202B2 (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
CN105427385A (zh) 一种基于多层形变模型的高保真人脸三维重建方法
CN111710036A (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN111192223B (zh) 人脸纹理图像的处理方法、装置、设备及存储介质
JPWO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
Malleson et al. Rapid one-shot acquisition of dynamic VR avatars
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
CN114373044A (zh) 生成脸部三维模型的方法、装置、计算设备和存储介质
Lin et al. Extracting 3D facial animation parameters from multiview video clips
CN110675413B (zh) 三维人脸模型构建方法、装置、计算机设备及存储介质
CN111192305B (zh) 用于生成三维图像的方法和装置
WO2023038369A1 (en) Semantic three-dimensional (3d) building augmentation
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
JP4141090B2 (ja) 画像認識装置、陰影除去装置、陰影除去方法及び記録媒体
JP2002083286A (ja) アバタ生成方法、装置及びそのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16835479

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11.07.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16835479

Country of ref document: EP

Kind code of ref document: A1