WO2024019243A1 - 영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법 - Google Patents

영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법 Download PDF

Info

Publication number
WO2024019243A1
WO2024019243A1 PCT/KR2022/021402 KR2022021402W WO2024019243A1 WO 2024019243 A1 WO2024019243 A1 WO 2024019243A1 KR 2022021402 W KR2022021402 W KR 2022021402W WO 2024019243 A1 WO2024019243 A1 WO 2024019243A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing device
image processing
latent
coordinates
latent space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/021402
Other languages
English (en)
French (fr)
Inventor
이승용
정유철
장원종
김승진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
POSTECH Research and Business Development Foundation
Original Assignee
POSTECH Research and Business Development Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by POSTECH Research and Business Development Foundation filed Critical POSTECH Research and Business Development Foundation
Publication of WO2024019243A1 publication Critical patent/WO2024019243A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G06T13/40—Three-dimensional [3D] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present invention relates to an image processing device and a machine learning method of a three-dimensional shape latent space for an image processing device.
  • the present invention relates to an image processing device that processes three-dimensional caricatures and a machine learning method of a three-dimensional shape latent space for an image processing device. will be.
  • a 3D caricature depicts a person's face as an exaggerated 3D image, and technology that converts the original image into a 3D caricature through modeling is applied to various industrial fields such as graphics and image processing.
  • the purpose of the present invention is to provide an image processing device capable of learning latent space in a 3D face domain with large variance and a machine learning method of 3D shape latent space for the image processing device.
  • An image processing device performs transformation of a template mesh by learning a latent space of a three-dimensional shape, comprising a storage unit that stores the template mesh and a processing unit that processes the template mesh. It includes, wherein the processing unit points-samples the 3-dimensional coordinates of the template mesh, applies the point-sampled 3-dimensional coordinates to a multi-layer perceptron (MLP), and adds 3-dimensional coordinates to the 3-dimensional coordinates.
  • MLP multi-layer perceptron
  • the transformed value is output, and latent code, which is an element of the latent space, is applied to the hyper network to output parameters for the multi-layer perceptron.
  • the hyper network includes a multi-layer perceptron that receives the latent code and outputs the parameters, and the processing unit can cause a three-dimensional shape deformation of the template mesh based on the parameters.
  • the multi-layer perceptron may include a SIREN multi-layer perceptron that maps points of the template mesh to displacement vectors.
  • the processing unit may perform point sampling of the 3D coordinates based on vertices of the template mesh and triangles of the template mesh.
  • the multi-layer perceptron can express a transformed 3D shape by mapping 3D coordinates on the fixed template mesh to transformed 3D coordinates.
  • the processing unit may convert the latent code into a 3D shape in order to model various 3D shapes in one latent space.
  • the hypernetwork includes a multi-layer perceptron that converts the latent code into a three-dimensional shape, and in learning the hypernetwork, an auto-decoder framework is applied so that the latent code and the hypernetwork can be learned simultaneously.
  • the sum of the squared L2 norm of the latent code and the mean square error (MSE) of the ground-truth shape can be used as a loss function.
  • the mean square error can be calculated with respect to the union of the 3D coordinates uniformly extracted from the surface of the ground-truth mesh and the 3D coordinates of the vertices of the ground-truth mesh.
  • the processing unit may perform editing based on the latent space to generate a 3D caricature from the landmarks of the 2D caricature.
  • the processing unit may perform at least one of semantic editing and point-handle-based editing based on the latent space.
  • the processing unit can automatically generate a 3D character from a general 3D face image based on the latent space.
  • the machine learning method of an image processing device is a machine learning method of an image processing device that performs transformation of a template mesh by learning a latent space of a three-dimensional shape, and points sampling the three-dimensional coordinates of the template mesh. and applying the point-sampled 3D coordinates to a multi-layer perceptron (MLP) to output a 3D transformation value added to the 3D coordinates, and a latent code that is an element of the latent space. ) is applied to the hyper network to output the parameters for the multilayer perceptron.
  • MLP multi-layer perceptron
  • the image processing device and the machine learning method of the 3D shape latent space for the image processing device according to the present invention implement the 3D shape in a template transformation function expression method to parameterize the shape to ensure the facial appearance of the shape during learning of the latent space. It has the effect of performing efficient learning through a multi-layer perceptron-based hyper network that generates parameters from latent codes.
  • FIG. 1 is a flowchart showing a machine learning method of a three-dimensional shape latent space according to this embodiment
  • Figure 2 is a conceptual diagram showing a machine learning method of a three-dimensional shape latent space according to this embodiment
  • FIG. 3 is a schematic configuration diagram of an image processing device according to this embodiment.
  • Figure 4 is a diagram comparing the multi-layer perceptron-based template mesh deformation function expression method according to this embodiment and the three-dimensional coordinate arrangement method of mesh vertices;
  • Figure 5 is a diagram comparing the multi-layer perceptron-based template mesh deformation function expression method according to this embodiment, when the DeepSDF method and the DIF-NET method are applied;
  • Figure 6 is a diagram of a 3D caricature reconstructed based on the landmarks of the 2D caricature in the image processing device according to this embodiment
  • Figure 7 is a diagram showing semantic editing performed in the image processing device according to this embodiment.
  • Figure 8 is a diagram showing performing point-handle-based editing in the image processing device according to this embodiment.
  • Figure 9 is a diagram showing automatically generating a 3D caricature in the image processing device according to this embodiment.
  • a generative model representing the latent space distribution of a 3D shape for a specific domain is essential for 3D restoration and 3D shape manipulation problems.
  • Conventional techniques for solving image-based 3D face restoration and face manipulation problems work in the general 3D face domain where the variance between faces is small, but in the 3D cartoon and 3D caricature domains where the variance between faces is large due to many exaggerated expressions. There was a problem with it not working. Accordingly, the machine learning method for 3D shape latent space according to the present invention presents a technique for effectively learning latent space in a 3D face domain with large variance.
  • FIG. 1 is a flowchart showing a machine learning method of a 3D shape latent space according to this embodiment
  • FIG. 2 is a conceptual diagram showing a machine learning method of a 3D shape latent space according to this embodiment.
  • Figure 3 is a schematic configuration diagram of an image processing device according to this embodiment.
  • the machine learning method of the 3D shape latent space (hereinafter referred to as the machine learning method) according to this embodiment can effectively learn the latent space in the 3D face domain with large variance. You can.
  • This machine learning method can be applied to 3D caricature creation technology, etc., but the application target is not limited.
  • two-dimensional caricatures can be created by skilled artists, while three-dimensional caricatures require more expertise when creating them. Accordingly, machine learning methods may be advantageous for processing exaggerated 3D faces by modeling the deformation of 3D caricatures.
  • This machine learning method may be performed in an image processing device 100, such as a computer system, and the image processing device 100 may include a storage unit 110 and a processing unit 120.
  • the storage unit 110 may store data sets provided from outside for machine learning, and may store a framework for machine learning of a 3D shape latent space. And the processing unit 120 can perform learning based on the data set to transform the three-dimensional shape.
  • the data set may be the data set of '3D CaricShop' created by a 3D artist.
  • 1,409 3D caricature meshes were obtained, and a mesh that filled the holes for the eyes and mouth, excluding the neck, was used. Then, 1,268 meshes were applied as a training data set, 14 meshes were used as a validation set, and 127 meshes were used as a test set. Then, the mean face of 'FaceWarehouse' with the vertex connection of 3D CaricShop was obtained along with the data set, and the mean face was used as a template mesh.
  • the image processing device 100 can learn a deformable model from a data set of 3D caricatures and provide a toolkit for 3D caricatures that can control the 3D caricatures.
  • the machine learning method designs a mapping that converts the latent space of a 3D mesh data set with one-to-one correspondence and the latent code, which is an element of the latent space, into a 3D shape.
  • This machine learning method may include a first design step (S100) and a second design step (S200).
  • a SIREN Multi-Layer Perceptron (MLP) is designed to map the points of the template to displacement vectors, and in the second design step (S100), parameters for the SIREN multi-layer perceptron are created and A hypernetwork that allows shape deformation to occur can be designed. That is, the image processing device 100 may be configured to have two modules, a module including a SIREN multilayer perceptron and a module including a hypernetwork.
  • a multi-layer perceptron-based template mesh deformation function can be used as an expression method to represent one three-dimensional shape.
  • a hypernetwork can be designed that converts the latent code into parameters of a multi-layer perceptron-based template mesh transformation function.
  • a multi-layer perceptron is used to point sample the 3D coordinates existing on the surface of the template mesh provided by the image processing device 100 and output a 3D transformation value to be added to the coordinates. constitutes.
  • Vertices contain important samples for locations where details such as eyes are needed.
  • the triangles of the template mesh have different sizes, and the surrounding shape (for example, a ball) can be accurately captured through uniform sampling on the surface.
  • a hybrid point sampling algorithm is applied to point sampling of the template mesh, allowing more accurate shapes to be generated based on vertices and triangular regions.
  • the hybrid point sampling algorithm showed an error of 0.0171 compared to an error of 0.0188 when only the vertex method was used.
  • the multi-layer perceptron constructed in the first design stage (S100) can cause deformation of the three-dimensional shape due to the manipulation of parameters provided from the hypernetwork.
  • the results of machine learning are greatly influenced by the design of the data representation method that machine learning is intended to handle.
  • a design that represents the 3D shape is important. Accordingly, in the machine learning method, latent space can be learned in a way that solves the problems of the conventional 3D shape expression method.
  • finite element-based expression methods and implicit function-based expression methods are used as three-dimensional shape expression methods.
  • the finite element-based expression method represents the shape through a point set or graph, which is a 3D coordinate sample of the surface of the 3D shape. Accordingly, conventional latent space learning, which uses a finite element-based representation method using 3D coordinate samples in a generative model, works well in the general face domain, but learning is difficult in domains where the differences between each face are large and diverse, such as 3D caricatures. It doesn't work effectively.
  • the implicit function-based expression method parameterizes the distance function (Signed Distance Function, SDF) with a multi-layer perceptron, so that generative models can be learned effectively in domains such as chairs where the difference between shapes is large.
  • SDF Space Distance Function
  • the distance function parameterized with a multi-layer perceptron has the problem of not being able to express the details of the shape well.
  • the implicit function-based expression method requires an additional step of extracting a mesh from the implicit function in order to use a 3D shape created in a commercial framework such as a game engine.
  • the multi-layer perceptron-based template mesh deformation function expression method (hereinafter referred to as the mesh deformation function expression method) applied in the first design stage (S100) converts the 3-dimensional coordinates on the template mesh fixed through the multi-layer perceptron into transformed 3-dimensional coordinates. It represents a three-dimensional shape by mapping.
  • the mesh deformation function expression method uses the expressive power of a multi-layer perceptron, but the generated shape can be composed of a mesh without the need for additional processing.
  • the mesh deformation function expression method can have the advantages of a mesh expression method that can be used directly in a commercial framework and the advantage of multi-layer perceptron parameterization that can effectively learn various phenomena.
  • this mesh deformation function expression method lowers the reconstruction error for test data compared to other expression methods.
  • Figure 4 is a diagram comparing the multi-layer perceptron-based template mesh deformation function expression method according to this embodiment and the three-dimensional coordinate arrangement method of mesh vertices.
  • the mesh deformation function expression method according to this embodiment is compared with the vertex position arrangement method compared to the ground-truth, and it can be seen that the error rate of the mesh deformation function expression method is significantly lowered. there is.
  • the vertex position arrangement method is a simple approach when all dense correspondences are provided in the data set.
  • the vertex position array method shows slow convergence and high reconstruction errors in generating the vertex array.
  • the sampling position of the surface is limited to vertices only.
  • vertex position arrangement method according to this embodiment showed average errors of 0.032 and 0.027, showing higher errors than the mesh deformation function expression method with average errors of 0.017 and 0.016 compared to the same ground-truth.
  • Figure 5 is a diagram comparing the multi-layer perceptron-based template mesh deformation function expression method according to this embodiment, when the DeepSDF method and the DIF-NET method are applied.
  • the distance function method applies a multi-layer perceptron to learn the distance function that represents the 3D model by applying an automatic decoder framework
  • the DIF-NET method uses a multi-layer perceptron that provides a dense correspondence between the generated distance functions. This may be a method of learning the distance function and optimal transformation function of the template by applying it.
  • the mesh deformation function expression method expresses one three-dimensional shape as a parameter of a multi-layer perceptron. Therefore, in order to learn various 3D shapes, an additional element is required to change the latent code into a parameter of a multi-layer perceptron.
  • a hypernetwork is applied to convert the latent code into parameters of a multi-layer perceptron-based template mesh transformation function.
  • the hypernetwork is composed of a multi-layer perceptron that generates the parameters of the multi-layer perceptron to enable machine learning.
  • the auto-decoder framework can be applied to simultaneously learn the latent code and hypernetwork corresponding to each learning example.
  • the loss function is the sum of the squared L2 norm of the latent code and the mean square error (MSE) of the ground-truth shape.
  • MSE mean square error
  • the mean square error can be calculated for the union of the 3D coordinates uniformly extracted from the surface of the ground-truth mesh and the 3D coordinates of the vertices of the ground-truth mesh.
  • the image processing device 100 performs various applications using the latent space learned according to the machine learning method according to this embodiment.
  • Figure 6 is a diagram showing a reconstruction of a 3D caricature based on the landmarks of the 2D caricature in the image processing device according to this embodiment.
  • the image processing device 100 can reconstruct a 3D caricature from the landmarks of the 2D caricature.
  • the reconstruction of a 3D caricature can be easily edited using a latent space, and the landmarks of a 2D caricature can be used to optimize the latent code of the hypernetwork to fit the constraints of the landmarks. Accordingly, given the location of the 2D landmark and the vertex of the 3D landmark, fitting can be performed through iterative optimization to reconstruct the 3D caricature based on the landmark of the 2D caricature.
  • FIG. 7 is a diagram showing semantic editing performed in an image processing device according to this embodiment
  • FIG. 8 is a diagram showing performing point-handle-based editing in an image processing device according to this embodiment.
  • the image processing device 100 can perform semantic editing and point-handle-based editing. .
  • the image processing device 100 can perform semantic editing by manipulating latent codes.
  • semantic editing editing can be performed using the latent space, and the latent code of the heater network can be optimized to suit the semantic expression.
  • the image processing device can cause deformation of the 3D caricature by adding or decreasing the editing vector.
  • smile label editing changes to the forehead and nose, etc. can occur, but this is for explanation of this embodiment and does not limit the semantic editing target.
  • an image processing device can change the shape of a 3D caricature using the learned latent space. At this time, the image processing device 100 can allow natural transformation to occur to complete local editing even if the input for editing is very small, such as one or two points.
  • the image processing device 100 is provided with a latent code for the initial 3D shape, a vertex index list for the handle, and a 3D displacement vector for each handle, and can perform point-handle-based editing through optimization.
  • point-handle-based editing selecting a point on the nose moves the point forward, selecting a point under the chin moves the point downward, or selecting a point on either side of the cheek moves the point forward. You can stretch two points on each cheek sideways, or choose one point on either side of your ears to stretch two points on each side of your ears.
  • Figure 9 is a diagram showing automatically generating a 3D caricature in the image processing device according to this embodiment.
  • the image processing device 100 can automatically generate a 3D caricature.
  • the image processing device 100 can automatically generate a caricature for a 3D face through semantic editing.
  • the image processing device 100 may train a model with a 3D caricature and a general 3D face to obtain a model linked to both the 3D caricature and a general face. At this time, the image processing device 100 may calculate the editing direction from the general 3D face to the 3D caricature face and apply the editing operation to the latent code of the general face.
  • the image processing device 100 generates a 2-dimensional caricature in automatic 3-dimensional caricature generation, and generates a 3-dimensional caricature by optimizing the latent code of the hypernetwork using landmarks displayed on the generated 2-dimensional caricature. You can.
  • the image processing device and the machine learning method of the 3D shape latent space for the image processing device according to the present invention implement the 3D shape in a template transformation function expression method to ensure the facial appearance of the shape during learning of the latent space. It provides parameterization and has the effect of performing efficient learning through a multi-layer perceptron-based hyper network that generates parameters from latent codes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 영상처리 장치는 3차원 형상의 잠재공간(Latent space)을 학습하여 템플릿 메쉬의 변형을 수행하는 영상처리 장치에 있어서, 상기 템플릿 메쉬가 저장되는 저장부 및 상기 템플릿 메쉬를 처리하는 처리부를 포함하고, 상기 처리부는 상기 템플릿 메쉬의 3차원 좌표를 포인트 샘플링하고, 상기 포인트 샘플링된 상기 3차원 좌표를 다층 퍼셉트론(Multi Layer Perceptron, MLP)에 적용하여 상기 3차원 좌표 상에 추가되는 3차원 변형값을 출력하며 상기 잠재공간의 원소인 잠재코드(Latent code)를 하이퍼 네트워크에 적용하여 상기 다층 퍼셉트론에 대한 매개변수를 출력한다.

Description

영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법
본 발명은 영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법에 관한 것으로 3차원 캐리커처를 처리하는 영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법에 관한 것이다.
일반적으로 3차원 캐리커처는 사람의 얼굴을 과장된 3D 이미지로 묘사한 것으로, 모델링을 통해 원본 이미지를 3차원 캐리커처로 변환하는 기술은 그래픽 및 영상처리 분야 등 다양한 산업 분야에 적용되고 있다.
종래의 3차원 캐리커처 생성에 대한 기술은 대한민국 공개특허공보 제10-2004-0032452호(3차원 캐리커처 생성 장치 및 방법, 2004.04.17.)에 의해 공개되어 있다. 상기 공개발명은 모델링을 통해 이미지로부터 특징점을 추출하고, 추출된 특징점을 이용하여 3차원 캐리커처를 생성하는 것을 특징으로 한다.
다만, 특정 도메인에 대한 3차원 형상의 잠재공간(Latent Space) 분포를 나타내는 생성 모델은 3차원 복원 및 3차원 형상 조작 문제에 필수적이다. 이에, 종래 기술은 얼굴 간 분산이 작은 일반 3차원 얼굴 도메인에서는 작동하지만 과장된 표현으로 얼굴 간 분산이 큰 3차원 캐리커처 도메인에서는 작동이 어려운 문제점이 있었다. 따라서, 분산이 큰 3차원 얼굴 도메인에서 효과적으로 잠재공간을 학습하기 위한 기법이 요구되고 있다.
본 발명의 목적은 분산이 큰 3차원 얼굴 도메인에서 잠재공간을 학습할 수 있는 영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법을 제공하기 위한 것이다.
본 발명에 따른 영상처리 장치는 3차원 형상의 잠재공간(Latent space)을 학습하여 템플릿 메쉬의 변형을 수행하는 영상처리 장치에 있어서, 상기 템플릿 메쉬가 저장되는 저장부 및 상기 템플릿 메쉬를 처리하는 처리부를 포함하고, 상기 처리부는 상기 템플릿 메쉬의 3차원 좌표를 포인트 샘플링하고, 상기 포인트 샘플링된 상기 3차원 좌표를 다층 퍼셉트론(Multi Layer Perceptron, MLP)에 적용하여 상기 3차원 좌표 상에 추가되는 3차원 변형값을 출력하며 상기 잠재공간의 원소인 잠재코드(Latent code)를 하이퍼 네트워크에 적용하여 상기 다층 퍼셉트론에 대한 매개변수를 출력한다.
상기 하이퍼 네트워크는 상기 잠재코드를 입력받다 상기 매개변수를 출력하는 다층 퍼셉트론을 포함하고, 상기 처리부는 상기 매개변수를 기반으로 상기 템플릿 메쉬의 3차원 형상 변형이 발생되도록 할 수 있다.
상기 다층 퍼셉트론는 상기 템플릿 메쉬의 포인트를 변위 벡터로 매핑하는 SIREN 다층 퍼셉트론를 포함할 수 있다.
상기 처리부는 상기 템플릿 메쉬의 정점(Vertices) 및 상기 템플릿 메쉬의 삼각지역(Triangle)을 기반으로 상기 3차원 좌표의 포인트 샘플링을 수행할 수 있다.
상기 다층 퍼셉트론은 고정된 상기 템플릿 메쉬 상의 3차원 좌표를 변형된 3차원 좌표로 매핑하여 변형된 3차원 형상을 표현할 수 있다.
상기 처리부는 다양한 3차원 형상을 하나의 잠재공간 상에 모델링하기 위하여 상기 잠재코드를 3차원 형상으로 변환할 수 있다.
상기 하이퍼네트워크는 상기 잠재코드를 3차원 형상으로 변환하는 다층 퍼셉트론을 포함하고, 상기 하이퍼네트워크의 학습에서는 Auto-decoder 프레임워크가 적용되어 상기 잠재코드와 상기 하이퍼네트워크를 동시에 학습할 수 있다.
상기 하이퍼네트워크의 학습에서 손실함수로는 상기 잠재코드의 Squared L2 norm과 Ground-truth 형상과의 평균 제곱 오차(Mean Square Error, MSE)의 합이 사용될 수 있다.
상기 평균 제곱 오차는 상기 Ground-truth 메쉬의 표면에서 균일하게 추출한 3차원 좌표와 Ground-truth 메쉬 정점의 3차원 좌표의 합집합에 대하여 계산될 수 있다.
상기 처리부는 상기 잠재공간을 기반으로 편집을 수행하여 2차원 캐릭커처의 랜드마크로부터 3차원 캐리커처를 생성할 수 있다.
상기 처리부는 상기 잠재공간을 기반으로 의미론적 편집(Sementic editing) 및 포인트-핸들-기반 편집(Point-handle-based editing) 중 적어도 어느 하나를 수행할 수 있다.
상기 처리부는 상기 잠재공간을 기반으로 일반 3차원 얼굴 이미지로부터 자동으로 3차원 캐릭커처를 생성할 수 있다.
한편, 본 발명에 따른 영상처리 장치의 기계 학습 방법은 3차원 형상의 잠재공간을 학습하여 템플릿 메쉬의 변형을 수행하는 영상처리 장치의 기계 학습 방법에 있어서, 상기 템플릿 메수의 3차원 좌표를 포인트 샘플링하는 단계 및 상기 포인트 샘플링된 상기 3차원 좌표를 다층 퍼셉트론(Multi Layer Perceptron, MLP)에 적용하여 상기 3차원 좌표 상에 추가되는 3차원 변형값을 출력하며 상기 잠재공간의 원소인 잠재코드(Latent code)를 하이퍼 네트워크에 적용하여 상기 다층 퍼셉트론에 대한 매개변수를 출력한다.
본 발명에 따른 영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법은 3차원 형상을 템플릿 변형 함수 표현방식으로 구현하여 잠재공간의 학습 중 형상의 얼굴다움을 보장하는 매개변수화를 제공하며, 매개변수를 잠재 코드(Latent code)로부터 생성하는 다층 퍼셉트론 기반 하이퍼 네트워크를 통해 효율적인 학습을 수행하는 효과가 있다.
이상과 같은 본 발명의 기술적 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 실시예에 따른 3차원 형상 잠재공간의 기계 학습 방법을 나타낸 흐름도이고,
도 2는 본 실시예에 따른 3차원 형상 잠재공간의 기계 학습 방법을 나타낸 개념도이고,
도 3은 본 실시예에 따른 영상처리 장치를 개략적으로 나타낸 구성도이고,
도 4는 본 실시예에 따른 다층 퍼셉트론 기반 템플릿 메쉬 변형 함수 표현방식과 메쉬 정점의 3차원 좌표배열 방식을 적용하였을 때를 비교한 도면이고,
도 5는 본 실시예에 따른 다층 퍼셉트론 기반 템플릿 메쉬 변형 함수 표현방식과, DeepSDF 방식 및 DIF-NET 방식을 적용하였을 때를 비교한 도면이고,
도 6은 본 실시예에 따른 영상처리 장치에서 2차원 캐리커처의 랜드마크를 기반으로 3차원 캐리커처를 재구성한 도면이고,
도 7은 본 실시예에 따른 영상처리 장치에서 의미론적 편집을 수행하는 것을 나타낸 도면이고,
도 8은 본 실시예에 따른 영상처리 장치에서 포인트-핸들-기반 편집을 수행하는 것을 나타낸 도면이고,
도 9는 본 실시예에 따른 영상처리 장치에서 자동으로 3차원 캐리커처를 생성하는 것을 나타낸 도면이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 그러나 본 실시예는 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면에서의 요소의 형상 등은 보다 명확한 설명을 위하여 과장되게 표현된 부분이 있을 수 있으며, 도면 상에서 동일 부호로 표시된 요소는 동일 요소를 의미한다.
일반적으로, 특정 도메인에 대한 3차원 형상의 잠재공간(Latent space) 분포를 나타내는 생성 모델은 3차원 복원 및 3차원 형상 조작 문제에 필수적이다. 영상 기반 3차원 얼굴복원 및 얼굴 조작 문제를 해결하는 종래 기술은 얼굴 간 분산이 작은 일반 3차원 얼굴 도메인에서는 작동하지만, 과장된 표현이 많아 얼굴 간 분산이 큰 3차원 카툰(Cartoon) 및 3차원 캐리커처 도메인에서는 작동하지 않는 문제점이 있었다. 이에, 본 발명에 따른 3차원 형상 잠재공간의 기계 학습 방법에서는 분산이 큰 3차원 얼굴 도메인에서 효과적으로 잠재공간을 학습하기 위한 기법을 제시한다.
도 1은 본 실시예에 따른 3차원 형상 잠재공간의 기계 학습 방법을 나타낸 흐름도이고, 도 2는 본 실시예에 따른 3차원 형상 잠재공간의 기계 학습 방법을 나타낸 개념도이다. 그리고 도 3은 본 실시예에 따른 영상처리 장치를 개략적으로 나타낸 구성도이다.
도 1 내지 도 3에 도시된 바와 같이, 본 실시예에 따른 3차원 형상 잠재공간의 기계 학습 방법(이하, 기계 학습 방법이라 칭한다.)은 분산이 큰 3차원 얼굴 도메인에서 효과적으로 잠재공간을 학습할 수 있다. 이러한 기계 학습 방법은 3차원 캐리커처 생성기술 등에 적용될 수 있으나, 적용 대상은 한정하지 않는다.
일반적으로 2차원 캐리커처는 숙련된 아티스트에 의해 생성 가능하며, 3차원 캐리커처는 제작 시 더 많은 전문 지식이 요구된다. 이에, 기계 학습 방법은 3차원 캐리커처의 변형을 모델링하여 과장된 3차원 얼굴을 처리하는데 유리할 수 있다.
이러한 기계 학습 방법은 컴퓨터 시스템 등과 같은 영상처리 장치(100)에서 수행될 수 있으며, 영상처리 장치(100)는 저장부(110) 및 처리부(120)를 포함할 수 있다.
저장부(110)에는 기계 학습을 위해 외부로부터 제공되는 데이터 세트가 저장될 수 있으며, 3차원 형상 잠재공간의 기계 학습을 위한 프레임워크(Framework)가 저장될 수 있다. 그리고 처리부(120)는 데이터 세트를 기반으로 학습을 진행하여 3차원 형상의 변형이 이루어지도록 할 수 있다.
일례로, 데이터 세트는 3차원 아티스트에 의해 생성된 '3D CaricShop'의 데이터 세트일 수 있다.
일례로, 기계 학습 방법에서는 1,409개의 3차원 캐리커처 메쉬를 획득하였고, 목 부분을 제외하고 눈과 입의 구멍을 채운 메쉬를 사용하였다. 그리고 1,268개의 메쉬를 훈련 데이터 세트로 적용하고, 14개의 메쉬를 검증 세트로, 127개의 메쉬를 테스트 세트로 활용하였다. 그리고 데이터 세트와 함께 3D CaricShop의 정점 연결을 갖는 'FaceWarehouse'의 평균 페이스(Mean face)를 획득하여, 평균 페이스를 템플릿 메쉬로 사용하였다.
이에, 영상처리 장치(100)는 3차원 캐리커처의 데이터 세트에서 변형 가능한 모델을 학습하여 3차원 캐리커처의 제어 가능한 3차원 캐리커처용 툴킷(Toolkit)을 제공할 수 있다.
이를 위해 기계 학습 방법에서는 일대응 대응이 존재하는 3차원 메쉬 데이터 세트의 잠재공간과, 잠재공간의 원소인 잠재코드를 3차원 형상으로 변환하는 매핑을 설계한다. 이러한 기계 학습 방법에서는 제1 설계 단계(S100) 및 제2 설계 단계(S200)를 포함할 수 있다.
제1 설계 단계(S100)에서는 템플릿의 포인트를 변위 벡터로 매핑하기 위한 SIREN 다층 퍼셉트론(Multi Layer Perceptron, MLP)이 설계되고, 제2 설계 단계(S100)에서는 SIREN 다층 퍼셉트론에 대한 매개변수를 생성하여 모양의 변형을 발생되도록 하는 하이퍼네트워크가 설계될 수 있다. 즉, 영상처리 장치(100)는 SIREN 다층 퍼셉트론이 포함되는 모듈과, 하이퍼네트워크가 포함되는 모듈, 2개로 모듈을 갖도록 구성될 수 있다.
제1 설계 단계(S100)에서는 하나의 3차원 형상을 나타내는 표현방식으로 다층 퍼셉트론 기반 템플릿 메쉬 변형 함수를 사용하도록 할 수 있다. 그리고 제2 설계 단계(S200)에서는 잠재코드를 다층 퍼셉트론 기반 템플릿 메쉬 변형 함수의 매계변수로 변환하는 하이퍼네트워크를 설계할 수 있다.
우선, 제1 설계 단계(S100)에 대하여 설명하면, 영상처리 장치(100)로 제공되는 템플릿 메쉬 표면 상에 존재하는 3차원 좌표를 포인트 샘플링하여 좌표 상에 더해질 3차원 변형값을 출력하도록 다층 퍼셉트론을 구성한다.
즉, 기계 학습을 위해서는 템플릿 메쉬와 해당 변위에 대한 포인트를 샘플링해야 한다. 포인트 샘플링을 수행하는 방식 중 하나는 템플릿 메쉬의 정점(Vertices)을 이용하는 것이다.
정점은 눈과 같은 세부사항이 필요한 위치에 대한 중요한 샘플이 포함된다. 그러나 템플릿 메쉬의 삼각지역(Triangle)은 서로 크기가 상이하며, 주변의 모양(예를 들어, 볼)은 표면에 균일한 샘플링을 통해 정확하게 캡쳐할 수 있다.
이에, 템플릿 메쉬의 포인트 샘플링에서는 하이브리드 방식의 포인트 샘플링 알고리즘이 적용되어 정점과 삼각지역을 기반으로 더 정확한 형태를 생성할 수 있다. 특히, 하이브리드 방식의 포인트 샘플링 알고리즘은 정점 방식만 사용하는 경우의 0.0188의 오류와 비교하여 0.0171의 오류를 보였다.
한편, 제1 설계 단계(S100)에서 구성된 다층 퍼셉트론은 하이퍼네트워크로부터 제공되는 매개변수의 조작에 기인하여 3차원 형상의 변형이 발생되도록 할 수 있다.
일반적으로 기계 학습의 결과는 기계 학습이 다루고자 하는 데이터의 표현 방식 설계에 큰 영향을 받는다. 3차원 형상의 잠재공간 학습에서는 3차원 형상을 나타내는 설계가 중요하다. 이에, 기계 학습 방법에서는 종래 3차원 형상 표현방식의 문제점을 해결하는 방식으로 잠재공간의 학습을 수행할 수 있다.
종래의 잠재공간 학습에서는 3차원 형상 표현방식으로 유한요소 기반 표현방식과 음함수 기반 표현방식이 사용되고 있다.
유한요소 기반 표현방식은 3차원 형상의 표면의 3차원 좌표 표본인 점 집합 또는 그래프를 통해 형상을 나타낸다. 이에, 3차원 좌표 표본을 사용하는 유한요소 기반 표현방식을 생성 모델에서 사용하는 종래의 잠재공간 학습은 일반 얼굴 도메인에서는 잘 작동하지만, 3차원 캐리커처와 같이 각 얼굴 간의 차이가 크고 다양한 도메인에서는 학습이 효과적으로 되지 않는다.
그리고 음함수 기반 표현방식은 거리함수(Signed Distance Funtion, SDF)를 다층 퍼셉트론으로 매개변수화하여 형상 간 차이가 큰 의자 등 도메인에서는 효과적으로 생성 모델을 학습할 수 있다. 그러나 다층 퍼셉트론으로 매개변수화된 거리함수는 형상의 디테일을 잘 표현하지 못하는 문제점이 있다. 이에, 음함수 기반 표현방식은 게임 엔진 등 상용 프레임워크에서 생성된 3차원 형상을 사용하려면 음함수에서 메쉬를 뽑아내는 추가적인 단계가 요구된다.
그러나 제1 설계 단계(S100)에서 적용된 다층 퍼셉트론 기반 템플릿 메쉬 변형 함수 표현방식(이하, 메쉬 변형 함수 표현방식이라 칭한다.)은 다층 퍼셉트론을 통해 고정된 템플릿 메쉬 상의 3차원 좌표를 변형된 3차원 좌표로 매핑하여 3차원 형상 하나를 나타낸다. 메쉬 변형 함수 표현방식은 다층 퍼셉트론의 표현력을 사용하면서도 생성되는 형상이 추가적인 과정 필요없이 메쉬로 구성될 수 있다.
즉, 메쉬 변형 함수 표현방식은 상용 프레임워크에서 바로 사용할 수 있는 메쉬 표현방식의 장점과 다양한 현상을 효과적으로 학습할 수 있는 다층 퍼셉트론 매개변수화의 장점을 가질 수 있다.
한편, 이러한 메쉬 변형 함수 표현방식은 다른 표현방식과 비교해서 테스트데이터에 대한 재구성 오류가 낮아지는 것을 확인할 수 있다.
도 4는 본 실시예에 따른 다층 퍼셉트론 기반 템플릿 메쉬 변형 함수 표현방식과 메쉬 정점의 3차원 좌표배열 방식을 적용하였을 때를 비교한 도면이다.
도 4에 도시된 바와 같이, 본 실시예에 따른 메쉬 변형 함수 표현방식을 Ground-truth 대비 정점 위치(Vertex position) 배열 방식과 비교하며, 메쉬 변형 함수 표현방식의 에러율이 현저하게 낮아지는 것을 알 수 있다.
정점 위치 배열 방식은 모든 조밀한 대응이 데이터 세트에서 제공될 때에 간단히 접근할 수 있는 방식이다. 다만, 정점 위치 배열 방식은 정점 배열의 생성에서 느린 수렴과 높은 재구성 오류를 보인다. 그리고 정점 위치 배열 방식을 이용한 경우에 표면의 샘플링 위치를 정점으로만 제한하게 된다.
또한, 본 실시예에 따른 정점 위치 배열 방식은 평균오차가 0.032 및 0.027으로 나타나 동일한 Ground-truth 대비 0.017 및 0.016의 평균오차를 갖는 메쉬 변형 함수 표현방식 보다 높은 오류를 보이는 것으로 나타났다.
도 5는 본 실시예에 따른 다층 퍼셉트론 기반 템플릿 메쉬 변형 함수 표현방식과, DeepSDF 방식 및 DIF-NET 방식을 적용하였을 때를 비교한 도면이다.
도 5에 도시된 바와 같이, 본 실시예에 따른 메쉬 변형 함수 표현방식을 Ground-truth 대비 거리함수 방식 및 DIF-NET 방식과 비교하면, 메쉬 변형 함수 표현방식의 표현이 거리함수 방식 및 DIF-NET 방식 보다 Ground-truth에 유사하다는 것을 알 수 있다.
여기서, 거리함수 방식은 자동 디코더 프레임워크를 적용하여 3차원 모형을 표현하는 거리함수를 학습하기 위해 다층 퍼셉트론을 적용하고, DIF-NET 방식은 생성된 거리하수 간의 조밀한 대응을 제공하는 다층 퍼셉트론을 적용하여 템플릿의 거리함수 및 최적 변형 함수를 학습하는 방식일 수 있다.
이와 같이, 본 실시예에 따른 메쉬 변형 함수 표현방식을 적용하면, 얼굴 도메인에서 눈 또는 입 주면의 세부적인 형태가 더 잘 구현되는 것을 확인하였다.
한편, 다시 도 1 및 도 2를 참조하면, 다양한 3차원 형상을 하나의 잠재공간 상에 모델링하기 위해서는 잠재코드를 3차원 형상으로 변환하는 것이 요구된다. 메쉬 변형 함수 표현방식은 하나의 3차원 형상이 다층 퍼셉트론의 매개변수로 표현된다. 이에, 다양한 3차원 형상을 학습하기 위해서는 잠재코드를 다층 퍼셉트론의 매개변수로 변화하는 추가적인 요소가 요구된다.
이에, 제2 설계단계(S100)와 같이, 잠재코드를 다층 퍼셉프론 기반 템플릿 메쉬 변형 함수의 매개변수로 변환하는 하이퍼네트워크를 적용한다. 여기서, 하이퍼네트워크는 다층 퍼셉트론의 매개변수를 생성하는 다층 퍼셉트론으로 구성되어 기계 학습이 이루어지도록 한다.
하이퍼네트워크를 학습하기 위한 프레임워크로는 auto-decoder 프레임워크를 적용하여 학습 예시 각각에 해당하는 잠재코드와 하이퍼네트워크를 동시에 학습할 수 있다. 이때, 손실함수로는 잠재코드의 Squared L2 norm과 Ground-truth 형상과의 평균 제곱 오차(Mean Square Error, MSE)의 합을 사용한다. 평균 제곱 오차는 Ground-truth 메쉬의 표면에서 균일하게 추출한 3차원 좌표와 Ground-truth 메쉬 정점의 3차원 좌표의 합집합에 대해 계산될 수 있다.
한편, 이하에서는 본 실시예에 따른 기계 학습 방법에 따라 학습된 잠재공간을 사용하여 영상처리 장치(100)의 다양한 어플리케이션 수행에 대하여 설명하도록 한다.
도 6은 본 실시예에 따른 영상처리 장치에서 2차원 캐리커처의 랜드마크를 기반으로 3차원 캐리커처를 재구성한 도면이다.
도 6에 도시된 바와 같이, 본 실시예에 따른 영상처리 장치(100)는 2차원 캐리커처의 랜드마크에서 3차원 캐리커처를 재구성할 수 있다.
3차원 캐리커처의 재구성은 잠재공간을 사용하여 쉽게 편집될 수 있으며, 2차원 캐리커처의 랜드마크를 사용하여 랜드마크의 제약 조건에 맞게 하이퍼네트워크의 잠재코드를 최적화할 수 있다. 이에, 2차원 랜드마크의 위치와 3차원 랜드마크 정점이 주어지면 반복 최적화를 통해 피팅을 수행하여 2차원 캐리커처의 랜드마크를 기반으로 3차원 캐리커처를 재구성할 수 있다.
도 7은 본 실시예에 따른 영상처리 장치에서 의미론적 편집을 수행하는 것을 나타낸 도면이고, 도 8은 본 실시예에 따른 영상처리 장치에서 포인트-핸들-기반 편집을 수행하는 것을 나타낸 도면이다.
도 7 및 도 8에 도시된 바와 같이, 본 실시예에 따른 영상처리 장치(100)는 의미론적 편집(Sementic editing) 및 포인트-핸들-기반 편집(Point-handle-based editing)을 수행할 수 있다.
의미론적 편집에서 영상처리 장치(100)는 잠재코드를 조작하여 의미론적 편집을 수행할 수 있다. 즉, 의미론적 편집에서는 잠재공간을 사용하여 편집을 수행할 수 있으며, 의미론적 표현에 맞게 하이터네트워크의 잠재코드를 최적화할 수 있다. 이에, 영상처리 장치는 편집 벡터를 더하거나 감소하는 것에 의해 3차원 캐리커처의 변형이 발생되도록 할 수 있다. 일례로, 의미론적 편집에서는 웃음 레이블 편집, 이마 및 코 등의 변화가 발생되도록 할 수 있으나, 이는 본 실시예를 설명하기 위한 것으로 의미론적 편집 대상을 한정하지는 않는다.
또한, 포인트-핸들-기반 편집에서 영상처리 장치는 학습된 잠재공간을 사용하여 3차원 캐리커처 모양을 변화시킬 수 있다. 이때, 영상처리 장치(100)는 편집을 위한 입력이 하나 또는 두 개의 점과 같이 매우 적더라도 로컬 편집을 완료하기 위해 자연스러운 변형이 발생되도록 할 수 있다.
여기서, 영상처리 장치(100)는 초기 3차원 형상에 대한 잠재코드, 핸들에 대한 정점 인덱스 목록 및 각 핸들에 대한 3차원 변위 백터가 제공되며 최적화를 통해 포인트-핸들-기반 편집을 수행할 수 있다. 일례로, 포인트-핸들-기반 편집에서는 코의 한 포인트를 선택하면 포인트를 앞으로 이동하거나, 턱 아래 쪽의 한 포인트를 선택하면 포인트를 아래쪽으로 이동하거나, 빰의 양쪽에서 한 포인트를 선택하면 양 쪽 뺨 각각의 두 포인트를 옆으로 늘리거나, 귀의 양쪽에서 한 포인트를 선택하면 양쪽 귀 각각의 두 포인트를 늘릴 수 있다.
도 9는 본 실시예에 따른 영상처리 장치에서 자동으로 3차원 캐리커처를 생성하는 것을 나타낸 도면이다.
도 9에 도시된 바와 같이, 본 실시예에 따른 영상처리 장치(100)는 자동으로 3차원 캐리커처를 생성할 수 있다. 이때, 영상처리 장치(100)는 의미론적 편집을 통해 3차원 얼굴에 대해 자동으로 캐리커처를 생성할 수 있다.
일례로, 영상처리 장치(100)는 3차원 캐리커처와 일반 3차원 얼굴로 모델을 훈련하여 3차원 캐리커처와 일반 얼굴 모두에 연계된 모델을 획득할 수 있다. 이때, 영상처리 장치(100)는 일반 3차원 얼굴에서 3차원 캐리커처 얼굴로의 편집 방향을 계산하여 일반 얼굴의 잠재코드에 편집 작업을 적용할 수 있다.
일례로, 영상처리 장치(100)는 자동 3차원 캐리커처 생성에서 2차원 캐리커처를 생성하고, 생성된 2차원 캐리커터에 표시된 랜드마크를 사용하여 하이퍼네트워크의 잠재코드를 최적화하여 3차원 캐리커처를 생성할 수 있다.
이와 같이, 본 발명에 따른 영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법은 3차원 형상을 템플릿 변형 함수 표현방식으로 구현하여 잠재공간의 학습 중 형상의 얼굴다움을 보장하는 매개변수화를 제공하며, 매개변수를 잠재 코드(Latent code)로부터 생성하는 다층 퍼셉트론 기반 하이퍼 네트워크를 통해 효율적인 학습을 수행하는 효과가 있다.
앞에서 설명되고, 도면에 도시된 본 발명의 일 실시예는 본 발명의 기술적 사상을 한정하는 것으로 해석되어서는 안 된다. 본 발명의 보호범위는 청구범위에 기재된 사항에 의하여만 제한되고, 본 발명의 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 다양한 형태로 개량 변경하는 것이 가능하다. 따라서 이러한 개량 및 변경은 통상의 지식을 가진 자에게 자명한 것인 한 본 발명의 보호범위에 속하게 될 것이다.

Claims (13)

  1. 3차원 형상의 잠재공간(Latent space)을 학습하여 템플릿 메쉬의 변형을 수행하는 영상처리 장치에 있어서,
    상기 템플릿 메쉬가 저장되는 저장부; 및
    상기 템플릿 메쉬를 처리하는 처리부를 포함하고,
    상기 처리부는
    상기 템플릿 메쉬의 3차원 좌표를 포인트 샘플링하고,
    상기 포인트 샘플링된 상기 3차원 좌표를 다층 퍼셉트론(Multi Layer Perceptron, MLP)에 적용하여 상기 3차원 좌표 상에 추가되는 3차원 변형값을 출력하며 상기 잠재공간의 원소인 잠재코드(Latent code)를 하이퍼 네트워크에 적용하여 상기 다층 퍼셉트론에 대한 매개변수를 출력하는 것을 특징으로 하는 영상처리 장치.
  2. 제1 항에 있어서,
    상기 하이퍼 네트워크는
    상기 잠재코드를 입력받다 상기 매개변수를 출력하는 다층 퍼셉트론을 포함하고,
    상기 처리부는
    상기 매개변수를 기반으로 상기 템플릿 메쉬의 3차원 형상 변형이 발생되도록 하는 것을 특징으로 하는 영상처리 장치.
  3. 제1 항에 있어서,
    상기 다층 퍼셉트론는
    상기 템플릿 메쉬의 포인트를 변위 벡터로 매핑하는 SIREN 다층 퍼셉트론를 포함하는 것을 특징으로 하는 영상처리 장치.
  4. 제1 항에 있어서,
    상기 처리부는
    상기 템플릿 메쉬의 정점(Vertices) 및 상기 템플릿 메쉬의 삼각지역(Triangle)을 기반으로 상기 3차원 좌표의 포인트 샘플링을 수행하는 것을 특징으로 하는 영상처리 장치.
  5. 제1 항에 있어서,
    상기 다층 퍼셉트론은
    고정된 상기 템플릿 메쉬 상의 3차원 좌표를 변형된 3차원 좌표로 매핑하여 변형된 3차원 형상을 표현하는 것을 특징으로 하는 영상처리 장치.
  6. 제1 항에 있어서,
    상기 처리부는
    다양한 3차원 형상을 하나의 잠재공간 상에 모델링하기 위하여 상기 잠재코드를 3차원 형상으로 변환하는 것을 특징으로 하는 영상처리 장치.
  7. 제6 항에 있어서,
    상기 하이퍼네트워크는
    상기 잠재코드를 3차원 형상으로 변환하는 다층 퍼셉트론을 포함하고,
    상기 하이퍼네트워크의 학습에서는
    Auto-decoder 프레임워크가 적용되어 상기 잠재코드와 상기 하이퍼네트워크를 동시에 학습하는 것을 특징으로 하는 영상처리 장치.
  8. 제7 항에 있어서,
    상기 하이퍼네트워크의 학습에서 손실함수로는
    상기 잠재코드의 Squared L2 norm과 Ground-truth 형상과의 평균 제곱 오차(Mean Square Error, MSE)의 합이 사용되는 것을 특징으로 하는 영상처리 장치.
  9. 제8 항에 있어서,
    상기 평균 제곱 오차는
    상기 Ground-truth 메쉬의 표면에서 균일하게 추출한 3차원 좌표와 Ground-truth 메쉬 정점의 3차원 좌표의 합집합에 대하여 계산되는 것을 특징으로 하는 영상처리 장치.
  10. 제1 항에 있어서,
    상기 처리부는
    상기 잠재공간을 기반으로 편집을 수행하여 2차원 캐릭커처의 랜드마크로부터 3차원 캐릭커처를 생성하는 것을 특징으로 하는 영상처리 장치.
  11. 제1 항에 있어서,
    상기 처리부는
    상기 잠재공간을 기반으로 의미론적 편집(Sementic editing) 및 포인트-핸들-기반 편집(Point-handle-based editing) 중 적어도 어느 하나를 수행하는 것을 특징으로 하는 영상처리 장치.
  12. 제1 항에 있어서,
    상기 처리부는
    상기 잠재공간을 기반으로 일반 3차원 얼굴 이미지로부터 자동으로 3차원 캐릭커처를 생성하는 것을 특징으로 하는 영상처리 장치.
  13. 3차원 형상의 잠재공간을 학습하여 템플릿 메쉬의 변형을 수행하는 영상처리 장치의 기계 학습 방법에 있어서,
    상기 템플릿 메수의 3차원 좌표를 포인트 샘플링하는 단계; 및
    상기 포인트 샘플링된 상기 3차원 좌표를 층 퍼셉트론(Multi Layer Perceptron, MLP)에 적용하여 상기 3차원 좌표 상에 추가되는 3차원 변형값을 출력하며 상기 잠재공간의 원소인 잠재코드(Latent code)를 하이퍼 네트워크에 적용하여 상기 다층 퍼셉트론에 대한 매개변수를 출력하는 것을 특징으로 하는 영상처리 장치의 기계 학습 방법.
PCT/KR2022/021402 2022-07-22 2022-12-27 영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법 Ceased WO2024019243A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220090998A KR102741821B1 (ko) 2022-07-22 2022-07-22 영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법
KR10-2022-0090998 2022-07-22

Publications (1)

Publication Number Publication Date
WO2024019243A1 true WO2024019243A1 (ko) 2024-01-25

Family

ID=89618019

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/021402 Ceased WO2024019243A1 (ko) 2022-07-22 2022-12-27 영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법

Country Status (2)

Country Link
KR (1) KR102741821B1 (ko)
WO (1) WO2024019243A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160027200A1 (en) * 2014-07-28 2016-01-28 Adobe Systems Incorporated Automatically determining correspondences between three-dimensional models
KR20210104777A (ko) * 2018-12-17 2021-08-25 프로메이톤 홀딩 비.브이. 딥 러닝을 이용한 비 유클리드 3d 데이터 세트의 자동 의미론적 분할
US20210335039A1 (en) * 2020-04-24 2021-10-28 Roblox Corporation Template based generation of 3d object meshes from 2d images
KR102333682B1 (ko) * 2020-02-21 2021-11-30 전남대학교산학협력단 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100912872B1 (ko) 2002-10-09 2009-08-19 삼성전자주식회사 3차원 캐리커쳐 생성 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160027200A1 (en) * 2014-07-28 2016-01-28 Adobe Systems Incorporated Automatically determining correspondences between three-dimensional models
KR20210104777A (ko) * 2018-12-17 2021-08-25 프로메이톤 홀딩 비.브이. 딥 러닝을 이용한 비 유클리드 3d 데이터 세트의 자동 의미론적 분할
KR102333682B1 (ko) * 2020-02-21 2021-11-30 전남대학교산학협력단 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법
US20210335039A1 (en) * 2020-04-24 2021-10-28 Roblox Corporation Template based generation of 3d object meshes from 2d images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNG YUCHEOL, JANG WONJONG, KIM SOONGJIN, YANG JIAOLONG, TONG XIN: "Supplementary material: Deep Deformable 3D Caricatures with Learned Shape Control", 1 January 2022 (2022-01-01), XP093130588, Retrieved from the Internet <URL:https://dl.acm.org/action/downloadSupplement?doi=10.1145%2F3528233.3530748&file=supplementary.pdf> *
KHODADADEH SIAVASH; GHADAR SHABNAM; MOTIIAN SAEID; LIN WEI-AN; BOLONI LADISLAU; KALAROT RATHEESH: "Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images", 2022 IEEE/CVF WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV), IEEE, 3 January 2022 (2022-01-03), pages 3677 - 3685, XP034086207, DOI: 10.1109/WACV51458.2022.00373 *

Also Published As

Publication number Publication date
KR102741821B1 (ko) 2024-12-11
KR20240013454A (ko) 2024-01-30

Similar Documents

Publication Publication Date Title
US10854006B2 (en) AR-enabled labeling using aligned CAD models
CN112489218B (zh) 一种基于半监督学习的单视图三维重建系统及其方法
CN109712234A (zh) 三维人体模型的生成方法、装置、设备和存储介质
WO2024014819A1 (en) Multimodal disentanglement for generating virtual human avatars
CN111402403B (zh) 高精度三维人脸重建方法
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
WO2024043378A1 (ko) 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
CN116012913A (zh) 模型训练方法、人脸关键点检测方法、介质及装置
WO2025013988A1 (ko) 기하학적 표현 학습을 위한 스케치 변환 방법 및 장치
CN117226835A (zh) 基于语义的医护机器人同步定位与建图技术研究方法
CN121259318B (zh) 机器人自视角训练数据生成方法、装置、设备和介质
CN108655571A (zh) 一种数控激光雕刻机、控制系统及控制方法、计算机
CN116580164A (zh) 一种面向单视角三维人体重建的着装特征学习方法
CN117853620A (zh) 语音驱动人脸模型处理方法、装置及电子设备
CN120997286A (zh) 基于大模型的机器人视觉物体语义理解与姿态生成方法
JP2832463B2 (ja) ３次元モデルの再構成方法および表示方法
Kókai et al. Example-based conceptual styling framework for automotive shapes
KR102741821B1 (ko) 영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법
CN118037957A (zh) 铰接物体建模方法、系统、电子设备及存储介质
WO2019107637A1 (ko) 디지털 홀로그램 응용 시스템 및 방법
CN115050010B (zh) 一种针对三维物体检测器的迁移学习方法
CN119830945B (zh) 智能体表情模仿的映射优化方法、装置、设备及介质
WO2024143842A1 (en) Image generation using one-dimensional inputs
WO2026089425A1 (en) Method and system for spatially editing two-dimensional (2d) images
WO2025183385A1 (en) System and method for applying a texture on a 3d object

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22952091

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22952091

Country of ref document: EP

Kind code of ref document: A1