WO2022108275A1 - 인공지능을 활용한 가상 얼굴 생성 방법 및 장치 - Google Patents

인공지능을 활용한 가상 얼굴 생성 방법 및 장치 Download PDF

Info

Publication number
WO2022108275A1
WO2022108275A1 PCT/KR2021/016658 KR2021016658W WO2022108275A1 WO 2022108275 A1 WO2022108275 A1 WO 2022108275A1 KR 2021016658 W KR2021016658 W KR 2021016658W WO 2022108275 A1 WO2022108275 A1 WO 2022108275A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
data
virtual
generating
background
Prior art date
Application number
PCT/KR2021/016658
Other languages
English (en)
French (fr)
Inventor
김한빈
Original Assignee
주식회사 에스알유니버스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스알유니버스 filed Critical 주식회사 에스알유니버스
Priority to US17/796,875 priority Critical patent/US20230343006A1/en
Priority to CN202180012895.9A priority patent/CN115053263A/zh
Priority to JP2022542742A priority patent/JP2023552251A/ja
Publication of WO2022108275A1 publication Critical patent/WO2022108275A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Definitions

  • Embodiments of the present invention relate to a method and apparatus for generating a virtual face using artificial intelligence for consistently generating a virtual person who does not exist in the world by using artificial intelligence technology.
  • Face generation technology using artificial intelligence has shown a high level of development to create high-resolution real faces.
  • Face synthesis technology which has been used in various contents recently, gives people an opportunity to provide various contents, but there are also many cases where the technology for synthesizing the face of a specific person is synthesized in pornography and fake news and abused. Also, even if it is synthesized for a good purpose without abuse of a specific person, there is a high risk of causing a problem of the right of portrait for that specific person. Therefore, the technique of synthesizing real people has a disadvantage in that it carries a large risk.
  • An embodiment of the present invention for solving the problems of the prior art provides a method and apparatus for generating a virtual face using artificial intelligence for consistently creating a virtual person who does not exist in the world by using artificial intelligence technology.
  • Another embodiment of the present invention is a virtual face creation using artificial intelligence to consistently create virtual characters that do not exist in the world by using an autoencoder technology of deep learning, which is a field of artificial intelligence. Methods and apparatus are provided.
  • An aspect of the present invention provides a method for generating a virtual face, comprising: receiving a plurality of face source data and at least one face background data, and performing comparison and learning of an inferred face and an actual face through deep learning; and receiving one face background data and generating virtual face data in which a face inferred from the plurality of face source data through the comparison and learned model and a feature of the face data are combined.
  • the comparing and learning may include: receiving the plurality of face source data and at least one face background data from an encoder of the virtual face generating apparatus and encoding the plurality of face source data and at least one face background data into a multi-layer convolutional layer; generating, in an internetwork unit, distribution regions of source data and background data using the encoded data, respectively; decoding and restoring data transmitted from the internetwork unit in a decoder to a multi-layer deconvolution layer; and learning by comparing the recovered data with original data.
  • the generating of the virtual face data may include: receiving and encoding one face background data from an encoder of the virtual face generating device; passing the encoded data through the comparison and learned habit model in the internetwork unit, deriving a distribution region of a virtual face through , and transmitting it to a decoder; and a decoding step of generating, in the decoder, virtual face data including features of the inferred face and the background face.
  • the face background data includes at least one of an expression, an eye/nose/mouth shape, and an eye blink in the face.
  • the face data is characterized in that it is a face image or a face image.
  • Another aspect of the present invention is a learning unit that receives a plurality of face source data and at least one face background data and compares and learns the inferred face and the real face through deep learning, and one face background data. and an inference unit configured to receive input and generate virtual face data in which a face inferred from the plurality of face source data and a feature of the single face data are combined through the comparison and learned model.
  • the learning unit includes an encoder that receives the plurality of face source data and at least one face background data and encodes it into a multi-layer convolution layer, and generates a distribution region of the source data and the background data using the encoded data, respectively. and an internetwork unit for performing a function, and a decoder for decoding data transmitted from the internetwork unit into a multi-layer deconvolution layer.
  • the inference unit includes an encoder that receives and encodes one face background data, and an internetwork unit that passes the encoded data through the comparison and learned model, derives a distribution region of the virtual face and delivers it to the decoder and the decoder for generating virtual face data including features of the inferred face and the background face through decoding.
  • the face background data includes at least one of an expression, an eye/nose/mouth shape, and an eye blink in the face.
  • the face data is characterized in that it is a face image or a face image.
  • the method and device for generating a virtual face using artificial intelligence is to enable the use of various contents without risk of a portrait right problem or abuse case for a specific person through virtual face synthesis technology.
  • FIG. 1 is a diagram illustrating an apparatus for generating a virtual face according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a learning method in an apparatus for generating a virtual face according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an inference method in an apparatus for generating a virtual face according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a virtual face generating method in the virtual face generating apparatus according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method for generating a virtual face according to an embodiment of the present invention.
  • the present invention is a technology for consistently creating virtual people who do not exist in the world by using artificial intelligence technology.
  • FIG. 1 is a diagram illustrating an apparatus for generating a virtual face according to an embodiment of the present invention.
  • the virtual face generating apparatus 100 may include a learning unit 200 and an inference unit 300 .
  • the learning unit 200 may receive a plurality of face source data and at least one face destination data, and compare and learn the inferred face and the real face through deep learning.
  • a plurality of face source data for multiple people may be used to generate a virtual face
  • at least one face background data contains information about at least one of an expression, eye/nose/mouth shape, and eye blinking within a face.
  • data can be That is, the face background data may include information capable of representing the shapes and movements of various faces of one person, such as eyes, nose, mouth, and eyebrows, and dynamic feature information in the face for a plurality of people instead of one person. may include
  • the inference unit 300 receives one face background data, and the face and one face background inferred from the plurality of face source data through the virtual face generation model. Virtual face data in which data characteristics are combined can be generated.
  • the learning unit 200 and the inference unit 300 may be a component or a step-by-step process in the virtual face generating apparatus 100 , and may share and use the components in the virtual face generating apparatus 100 .
  • the virtual face generating apparatus 100 can consistently generate virtual people who do not exist in the world by using the auto-encoder technology of deep learning, which is a field of artificial intelligence.
  • the autoencoder learns each layer of the neural network step by step so that the final output reproduces the initial output.
  • the dimensions of the input and output layers are the same, but the hidden layer is designed with a lower dimension than the input and output layers. Accordingly, the autoencoder can extract features by compressing the input data, and output data that reproduces the input as much as possible based on the extracted features.
  • the output must learn to output the same as the input. This learning allows the autoencoder to learn the most important features from the input data.
  • a detailed learning and inference method of the virtual face generating apparatus 100 will be described in detail with reference to FIGS. 2 and 3 .
  • FIG. 2 is a diagram illustrating a learning method in an apparatus for generating a virtual face according to an embodiment of the present invention.
  • the learning unit 200 of the apparatus 100 for generating a virtual face performs learning on face data, and may include an encoder 110 , an internetwork unit 120 , and a decoder 130 .
  • the virtual face generating apparatus 100 may include an encoder 110 and a decoder 130 having a shared weight, and an internetwork unit 120 including two independent inter models.
  • the encoder 110 is configured as a multi-layer convolution, and receives a source image and a background image, and transmits them to the internetwork unit 120 through an encoding process of reducing them.
  • the virtual face generating apparatus 100 may perform an extraction process of at least one of face detection, face alignment, and face segmentation from the input source image. Also, in order to match the background image with the source image, alignment can be basically performed on the entire face.
  • the internetwork unit 120 may pass through the networks of the interAB unit 122 and the interB unit 124 .
  • the inter-AB unit 122 is a network in which the source image and the background image are learned once
  • the inter-B unit 124 is a network in which only the background image is learned.
  • the inter-AB unit 122 generates (latent coding) extracted from the source image data and the background image data ( )
  • the inter-B unit 124 generates features extracted only from the background image ( )do.
  • the internetwork unit 120 passes the reduced image through the networks of the inter-AB unit 122 and the inter-B unit 124 to create a background image distribution area and a source image distribution area.
  • images transferred from the internetwork unit 120 to the decoder 130 configured with multi-layer deconvolution may be restored to original images through a decoding process. After that, the restored images are compared with the original image to calculate the loss value, and the calculated loss value is trained according to the deep learning backpropagation technique, and through this, a virtual face generation model can be created.
  • weights may be given to each part of the face when learning is performed. For example, face generation with more vivid eyes can be performed by giving more weight to the eye region than the cheek in the face.
  • FIG. 3 is a diagram illustrating an inference method in an apparatus for generating a virtual face according to an embodiment of the present invention.
  • the inference unit 300 of the virtual face generating apparatus 100 generates a virtual face including features of an input image, and an encoder 110 , an internetwork unit 120 , and a decoder 103 .
  • the encoder 110 may receive a background image of a face of a specific person, perform an encoding process of reducing the received background image, and may be transmitted to the internetwork unit 120 .
  • the internetwork unit 120 can pass through only the internetwork unit AB unit 122 network.
  • the inter-B unit 124 may pass only during learning, and may pass through the network of the inter-AB unit 122 during inference. Through this, information such as facial expression, mouth shape, and eye shape can be obtained, and such characteristic information ( ), it is possible to find the distribution area of the virtual person created through the source images of several people.
  • the images transmitted from the internetwork unit 120 to the decoder 130 may generate a virtual face image in which the features of the source face and the background image inferred through the decoding process of the multi-layered deconvolution layer are combined.
  • the generated image is not the same face among the source images, and a new virtual person in a form in which the source image is mixed can be created. Then, a virtual person with such a virtual face can be created as a person who imitates the facial expression, mouth shape, eye shape, etc. of the background image, rather than a simple expressionless person.
  • FIG. 4 is a diagram illustrating a virtual face generating method in the virtual face generating apparatus according to an embodiment of the present invention.
  • face images 410 of various people to be used as virtual faces are input to the learning unit 200 of the virtual face generating device 100 as small and small images, and information such as facial expressions, mouth shapes, and eye blinks is displayed.
  • At least one person's background face image 420 is input as the background image. Accordingly, the virtual face generating apparatus 100 generates a model for generating a virtual face through learning by comparing it with the original image.
  • the virtual face generating device 100 infers the faces through the face images 410 of various people. and a virtual face image 430 in which the features of the background face image 420 of one person are combined are output.
  • moving image data can be used instead of each image.
  • FIG. 5 is a flowchart illustrating a method for generating a virtual face according to an embodiment of the present invention.
  • the internetwork unit 120 encodes them. ) will be transmitted.
  • step S510 the internet network unit 120 creates a lawsuit image distribution area and a background image distribution area. And in step S520, the image is restored through decoding, the restored image is compared with the original image, and learning is performed.
  • step S530 when the background image is input to the encoder 110 of the virtual face generating device 100 in step S530, it is encoded, and in step S540, the source image and the background image of the internetwork unit 120 pass through the learned network once. do.
  • step S550 the image of the face of the virtual person is generated by combining the features of the source image and the background image that are decoded and inferred through the decoder 130.
  • the conventional virtual face creation method only shows the face of a specific recognizable person as it is, but cannot create a new person, and even if a new face is created, the result is randomly generated. there was.
  • the created face is not limited to a specific person, so it is possible to overcome both the abuse case targeting a specific person and the problem of the portrait right of a specific person.
  • the present invention can be implemented as computer-readable codes on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device.
  • the computer-readable recording medium is distributed in a computer system connected to a network, so that the computer-readable code can be stored and executed in a distributed manner.
  • functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Graphics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 인공지능을 활용한 가상 얼굴 생성 방법 및 장치에 관한 것으로서, 가상 얼굴 생성 장치에서 복수의 얼굴 소스 데이터와, 적어도 하나의 얼굴 배경 데이터를 입력 받아 딥러닝을 통해 추론 얼굴과 실존 얼굴에 대한 비교 및 학습을 수행하는 단계 및 하나의 얼굴 배경 데이터를 입력 받아 상기 비교 및 학습된 모델을 통해 상기 복수의 얼굴 소스 데이터로부터 추론된 얼굴과 상기 하나의 얼굴 데이터의 특징이 합쳐진 가상의 얼굴 데이터를 생성하는 단계를 포함한다.

Description

인공지능을 활용한 가상 얼굴 생성 방법 및 장치
본 발명의 실시예들은 인공지능 기술을 활용하여 세상에 존재하지 않는 가상인물을 일관되게 생성하기 위한 인공지능을 활용한 가상 얼굴 생성 방법 및 장치에 관한 것이다.
인공지능을 활용한 얼굴 생성 기술은 높은 해상도의 실제 얼굴을 생성해 낼 정도로 높은 수준의 발전을 보여왔다. 최근 다양한 콘텐츠에서 사용되고 있는 얼굴 합성 기술은 사람들에게 다양한 컨텐츠를 제공해 줄 기회도 주지만 특정 인물의 얼굴을 합성하는 기술이 음란물, 가짜뉴스 등에 합성되어 악용되는 사례도 많이 나오고 있다. 또한 특정 인물에 대해 악용이 없이 선한 목적으로 합성하였다 하여도 그 특정인물에 대한 초상권의 문제 등을 초래할 위험이 크다. 그렇기에 실제 존재하는 인물을 합성한다는 기술은 위험부담이 크다는 단점을 갖고 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
종래 기술의 문제점을 해결하기 위한 본 발명의 일 실시예는, 인공지능 기술을 활용하여 세상에 존재하지 않는 가상인물을 일관되게 생성하기 위한 인공지능을 활용한 가상 얼굴 생성 방법 및 장치를 제공한다.
본 발명의 다른 실시예는, 인공지능의 한 분야 인 딥러닝(deep learning)의 오토 인코더(autoencoder) 기술을 활용하여 세상에 존재하지 않는 가상인물을 일관되게 생성하기 위한 인공지능을 활용한 가상 얼굴 생성 방법 및 장치를 제공한다.
본 발명의 일 측면은, 가상 얼굴 생성 장치에서 복수의 얼굴 소스 데이터와, 적어도 하나의 얼굴 배경 데이터를 입력 받아 딥러닝을 통해 추론 얼굴과 실존 얼굴에 대한 비교 및 학습을 수행하는 단계; 및 하나의 얼굴 배경 데이터를 입력 받아 상기 비교 및 학습된 모델을 통해 상기 복수의 얼굴 소스 데이터로부터 추론된 얼굴과 상기 하나의 얼굴 데이터의 특징이 합쳐진 가상의 얼굴 데이터를 생성하는 단계를 포함한다.
또한, 상기 비교 및 학습을 수행하는 단계는, 상기 가상 얼굴 생성 장치의 인코더에서 상기 복수의 얼굴 소스 데이터와, 적어도 하나의 얼굴 배경 데이터를 입력 받아 다층 컨볼류션 레이어로 인코딩하는 단계; 인터네트워크부에서 상기 인코딩된 데이터로 소스 데이터와 배경 데이터의 분포 영역을 각각 생성하는 단계; 디코더에서 상기 인터네트워크부로부터 전달된 데이터들을 다층 디컨볼루션 레이어로 디코딩복구하는 단계; 및 상기 복구된 데이터를 원본 데이터와 비교하여 학습하는 단계를 포함한다.
또한, 상기 가상의 얼굴 데이터를 생성하는 단계는, 상기 가상 얼굴 생성 장치의 인코더에서 하나의 얼굴 배경 데이터를 입력 받아 인코딩하는 단계; 인터네트워크부에서 상기 인코딩된 데이터를 상기 비교 및 학습된습 모델에 통과시킨 후, 을 통해 가상 얼굴의 분포 영역을 도출하여 디코더로 전달하는 단계; 및 상기 디코더에서 추론 얼굴과 배경 얼굴의 특징이 포함된 가상 얼굴 데이터를 생성하는 디코딩 단계를 포함한다.
또한, 상기 얼굴 배경 데이터는, 얼굴 내에서 표정, 눈/코/입모양, 눈 깜빡임 중 적어도 하나를 포함한다.
또한, 상기 얼굴 데이터는, 얼굴 이미지 또는 얼굴 영상인 것을 특징으로 한다.
본 발명의 다른 측면은, 복수의 얼굴 소스 데이터와, 적어도 하나의 얼굴 배경 데이터를 입력 받아 딥러닝을 통해 추론 얼굴과 실존 얼굴에 대한 비교 및 학습을 수행하는 학습부와, 하나의 얼굴 배경 데이터를 입력 받아 상기 비교 및 학습된 모델을 통해 상기 복수의 얼굴 소스 데이터로부터 추론된 얼굴과 상기 하나의 얼굴 데이터의 특징이 합쳐진 가상의 얼굴 데이터를 생성하는 추론부를 포함한다.
또한, 상기 학습부는, 상기 복수의 얼굴 소스 데이터와, 적어도 하나의 얼굴 배경 데이터를 입력 받아 다층 컨볼류션 레이어로 인코딩하는 인코더와, 상기 인코딩된 데이터로 소스 데이터와 배경 데이터의 분포 영역을 각각 생성하는 인터네트워크부와, 상기 인터네트워크부로부터 전달된 데이터들을 다층 디컨볼루션 레이어로 디코딩하는 디코더를 포함한다.
또한, 상기 추론부는, 하나의 얼굴 배경 데이터를 입력 받아 인코딩하는 인코더와, 상기 인코딩된 데이터를 상기 비교 및 학습된 모델에 통과시킨 후, 가상 얼굴의 분포 영역을 도출하여 디코더로 전달하는 인터네트워크부와, 디코딩을 통해 추론 얼굴과 배경 얼굴의 특징이 포함된 가상 얼굴 데이터를 생성하는 상기 디코더를 포함한다.
또한, 상기 얼굴 배경 데이터는, 얼굴 내에서 표정, 눈/코/입모양, 눈 깜빡임 중 적어도 하나를 포함한다.
또한, 상기 얼굴 데이터는, 얼굴 이미지 또는 얼굴 영상인 것을 특징으로 한다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 일 실시예에 따른 인공지능을 활용한 가상 얼굴 생성 방법 및 장치는, 가상 얼굴 합성 기술을 통해 특정 인물에 대한 초상권 문제, 악용사례 등의 위험 부담 없이 다양한 콘텐츠로의 활용이 가능하도록 할 수 있다.
그리고 여러 사람의 데이터를 토대로 우리가 이전에 만나보지 못한 새로운 가상 인물을 경우의 수를 활용해 조합하여 다양한 가상인물을 생성해 낼 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 얼굴 생성 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가상 얼굴 생성 장치에서의 학습 방식을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 가상 얼굴 생성 장치에서의 추론 방식을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가상 얼굴 생성 장치에서의 가상 얼굴 생성 방식을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 가상 얼굴 생성 방법을 도시한 순서도이다.
100: 가상얼굴 생성 장치
110: 인코더
120: 인터네트워크부
130: 디코더
200: 학습부
300: 추론부
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
이하의 실시예에서, 막, 영역, 구성 요소 등의 부분이 다른 부분 위에 또는 상에 있다고 할 때, 다른 부분의 바로 위에 있는 경우뿐만 아니라, 그 중간에 다른 막, 영역, 구성 요소 등이 개재되어 있는 경우도 포함한다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
본 발명은 인공지능 기술을 활용하여 세상에 존재하지 않는 가상인물을 일관되게 생성하는 기술이다.
도 1은 본 발명의 일 실시예에 따른 가상 얼굴 생성 장치를 도시한 도면이다.
도 1을 참조하면, 가상 얼굴 생성 장치(100)는 학습부(200) 및 추론부(300)를 포함할 수 있다.
학습부(200)는 복수의 얼굴 소스(source) 데이터와, 적어도 하나의 얼굴 배경(destination) 데이터를 입력 받아 딥러닝을 통해 추론 얼굴과 실존 얼굴에 대한 비교 및 학습을 수행할 수 있다. 여기서 여러 사람에 대한 복수의 얼굴 소스 데이터는 가상의 얼굴 생성에 사용될 수 있으며, 적어도 하나의 얼굴 배경 데이터는 얼굴 내에서 표정, 눈/코/입모양, 눈 깜빡임 중 적어도 하나에 대한 정보를 담고 있는 데이터가 될 수 있다. 즉, 얼굴 배경 데이터는 한 사람에 대한 다양한 얼굴의 눈, 코, 입, 눈썹 등의 형태와 움직임을 나타낼 수 있는 정보를 포함할 수 있으며, 한 사람이 아닌 복수의 사람들에 대한 얼굴 내 동적 특징 정보를 포함할 수 있다.
추론부(300)는 학습부(200)를 통해 가상얼굴 생성 모델이 생성된 후, 하나의 얼굴 배경 데이터를 입력 받아 가상얼굴 생성 모델을 통해 복수의 얼굴 소스 데이터로부터 추론된 얼굴과 하나의 얼굴 배경 데이터의 특징이 합쳐진 가상의 얼굴 데이터를 생성할 수 있다.
이러한 학습부(200) 및 추론부(300)는 가상 얼굴 생성 장치(100)에서의 구성요소 혹은 단계별 프로세스가 될 수 있으며, 가상 얼굴 생성 장치(100) 내 구성요소들을 서로 공유하여 사용할 수 있다.
그리고 가상 얼굴 생성 장치(100)는 인공지능의 한 분야인 딥러닝의 오토 인코더 기술을 활용하여 세상에 존재하지 않는 가상인물을 일관되게 생성할 수 있다. 오토인코더는 신경망의 각 층을 단계적으로 학습하여 최종 출력이 최초 출력을 재현하도록 하는 것으로, 입력과 출력층의 차원은 동일하나, 은닉층은 입력과 출력 층보다 낮은 차원으로 설계된다. 이에 오토인코더에서는 입력 데이터들을 압축하여 특징을 추출하고, 추출한 특징을 기반으로 입력을 최대한 재현한 데이터를 출력할 수 있다.
그리고 오토인코더는 저차원을 가지는 히든 레이어에 의해 입력을 그대로 출력으로 복사할 수 없기 때문에, 출력이 입력과 같은 것을 출력하기 위해 학습해야 한다. 이러한 학습을 통해 오토인코더는 입력 데이터에서 가장 중요한 특성(feature)을 학습하도록 만들 수 있다.
가상 얼굴 생성 장치(100)의 구체적인 학습 및 추론 방식에 대해서는 도 2 및 도 3에서 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 가상 얼굴 생성 장치에서의 학습 방식을 도시한 도면이다.
도 2를 참조하면, 가상 얼굴 생성 장치(100)의 학습부(200)는 얼굴 데이터에 대한 학습을 수행하며, 인코더(110), 인터네트워크부(120) 및 디코더(130)를 포함할 수 있다. 구체적으로 가상 얼굴 생성장치(100)는 공유 가중치를 가지는 인코더(110)와 디코더(130) 및 두 개의 독립적인 인터 모델을 포함하는 인터네트워크부(120)를 포함할 수 있다.
인코더(110)는 다층의 컨볼루션(multi-layer convolution)로 구성되어 소스 이미지와, 배경 이미지를 입력 받아 이를 축약시키는 인코딩 과정을 통해 인터네트워크부(120)로 전달한다. 한편, 가상얼굴 생성 장치(100)는 입력된 소스 이미지에서 얼굴 감지, 얼굴 정렬 및 얼굴 분할 중 적어도 하나의 추출 과정을 진행할 수 있다. 그리고 배경 이미지에 대해서도 소스 이미지와의 매칭을 위해 기본적으로 전체 얼굴에 대해 정렬을 수행할 수 있다.
인터네트워크부(120)에서는 인터AB부(122)와 인터B부(124)의 네트워크를 통과할 수 있다. 인터AB부(122)는 소스 이미지와, 배경 이미지를 한번씩 학습한 네트워크이고, 인터B부(124)는 배경 이미지만 학습시킨 네트워크이다. 다시 말해 인터AB부(122)는 소스 이미지 데이터와, 배경 이미지 데이터로부터 추출된 특징(latent coding)을 생성(
Figure PCTKR2021016658-appb-img-000001
)하고, 인터B부(124)는 배경 이미지로부터만 추출된 특징을 생성(
Figure PCTKR2021016658-appb-img-000002
)한다.
이에 인터네트워크부(120)에서는 축약된 이미지를 인터AB부(122)와 인터B부(124)의 네트워크에 통과시키며, 배경이미지 분포 영역과, 소스 이미지 분포 영역을 만들 수 있다. 그리고 인터네트워크부(120)에서 다층 디컨볼루션 (multi-layer deconvolution)으로 구성된 디코더(130)로 전달된 이미지들은 디코딩 과정을 통해 원래의 이미지로 복구될 수 있다. 이후 복구된 이미지들은 원본 이미지와 비교하여 손실값을 계산하며 계산된 손실값은 딥러닝의 역전파 기술에 따라 학습을 수행하며, 이를 통해 가상얼굴 생성 모델을 생성할 수 있다.
한편, 학습 수행 시 얼굴을 각 부분에 대해 서로 다른 가중치를 부여할 수도 있다. 예를 들어, 얼굴에서 볼 보다 눈 영역에 더 많은 가중치를 부여함으로써 좀더 생생한 눈을 가진 얼굴 생성을 수행할 수 있다.
도 3은 본 발명의 일 실시예에 따른 가상 얼굴 생성 장치에서의 추론 방식을 도시한 도면이다.
도 3을 참조하면, 가상 얼굴 생성 장치(100)의 추론부(300)는 입력된 이미지의 특징을 포함하는 가상얼굴을 생성하며, 인코더(110), 인터네트워크부(120) 및 디코더(103)를 포함할 수 있다.
인코더(110)는 특정 인물의 얼굴에 대한 배경 이미지를 입력 받아 이를 축약시키는 인코딩 과정을 수행하여, 인터네트워크부(120)로 전달될 수 있다. 인터네트워크부(120)에서는 인터AB부(122) 네트워크만을 통과할 수 있다. 인터B부(124)는 학습시에만 통과시키고, 추론시에는 인터AB부(122)의 네트워크를 통과시킬 수 있다. 이를 통해 얼굴의 표정, 입모양, 눈 모양 등의 정보를 얻을 수 있으며, 이러한 특징 정보(
Figure PCTKR2021016658-appb-img-000003
)를 포함하는 이미지들로부터 여러명의 소스 이미지를 통해 만들어낸 가상 인물의 분포 영역을 찾아낼 수 있다.
그리고 인터네트워크부(120)에서 디코더(130)로 전달된 이미지들은 다층의 디컨볼루션 레이어의 디코딩 과정을 통해 추론한 소스의 얼굴과 배경 이미지의 특징이 합쳐진 가상 얼굴 이미지를 생성할 수 있다. 생성된 이미지는 소스 이미지중 동일한 얼굴이 아니며, 소스 이미지가 혼합된 형태의 새로운 가상인물을 생성할 수 있다. 그러고 이러한 가상얼굴을 한 가상인물은 단순히 무표정의 사람이 아닌 배경 이미지의 표정, 입모양, 눈모양 등을 따라하는 사람으로 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 가상 얼굴 생성 장치에서의 가상 얼굴 생성 방식을 도시한 도면이다.
도 4를 참조하면, 가상얼굴 생성 장치(100)의 학습부(200)에 가상 얼굴로 사용될 다양한 사람들의 얼굴 이미지(410)가 소소 이미지로서 입력되고, 표정, 입모양, 눈 깜빡임 등의 정보를 담고 있는 적어도 한사람의 배경 얼굴 이미지(420)가 배경 이미지로서 입력 된다. 이에 가상얼굴 생성 장치(100)에서는 원본 이미지와 비교하며 학습을 통해 가상얼굴 생성용 모델을 생성하게 된다.
이후, 가상얼굴 생성 장치(100)의 추론부(300)에 한사람의 배경 얼굴 이미지(420)가 입력되는 경우, 가상얼굴 생성 장치(100)에서는 다양한 사람들의 얼굴 이미지(410)를 통해서 추론한 얼굴과, 한사람의 배경 얼굴 이미지(420)의 특징이 합쳐진 가상 얼굴 이미지(430)를 출력하게 된다. 본 실시예에서는 각각의 이미지를 사용하였으나, 각각의 이미지 대신 동영상 데이터의 사용이 가능함은 물론이다.
도 5는 본 발명의 일 실시예에 따른 가상 얼굴 생성 방법을 도시한 순서도이다.
도 5를 참조하면, S500단계에서 가상 얼굴 생성 장치(100)의 인코더(110)에 복수의 얼굴 소스 이미지와, 얼굴의 특징 정보를 가진 배경 이미지로서 입력되는 경우, 이를 인코딩하여 인터 네트워크부(120)로 전달하게 된다.
S510단계에서 인터 네트워크부(120)에서는 소송 이미지 분포 영역과, 배경 이미지 분포 영역을 생성하게 된다. 그리고 S520단계에서 디코딩을 통해 이미지를 복구하며, 복구된 이미지를 원본 이미지와 비교하며, 학습을 수행하게 된다.
이후 S530단계에서 가상 얼굴 생성 장치(100)의 인코더(110)에 배경 이미지가 입력되는 경우 이를 인코딩하고, S540단계에서 인터 네트워크부(120)의 소스이미지와 배경 이미지가 한번씩 학습된 네트워크를 통과하게 된다.
그리고 S550단계에서 디코더(130)를 통해 디코딩되어 추론된 소스 이미지와 배경 이미지의 특징이 합쳐진 가상 인물의 얼굴을 이미지를 생성하게 된다.
즉, 종래의 가상얼굴 생성 방식은 인지가능한 특정 인물의 얼굴이 그대로 나올 뿐 새로운 사람을 생성하지 못하며, 새로운 얼굴을 생성하더라도 그 결과물이 랜덤으로 나오므로 하나의 가상인물을 일관되게 사용할 수가 없다는 문제점이 있었다.
본 발명의 일 실시예에 따른 인공지능을 활용한 가상 얼굴 생성 방법은, 도 4와 같이 어느 한 시점에 학습된 가상얼굴 생성 장치(100)에 하나의 배경 얼굴 이미지 혹은 영상을 입력시키는 경우, 동일한 가상인물을 생성시킬 수 있으며, 기존 인물과 다른 가상 인물을 생성하여, 생성된 얼굴이 특정 인물에 국한되지 않으므로 특정 인물을 겨냥한 악용사례와 특정 인물의 초상권 문제 모두를 극복할 수 있다. 또한 여러 사람의 데이터를 토대로 우리가 이전에 만나보지 못한 새로운 가상 인물을 경우의 수를 활용하여 조합함으로써 다양한 가상인물을 생성해 낼 수 있다. 결국 특정 연예인을 얼굴 합성 기술로 생성하여 문제가 되었던 과거의 단점들을 가상인물 생성으로 해결할 수 있으므로 얼굴 합성 기술의 선례를 적극 활용할 수 있으며 향후 드라마, 영화, 뉴스 등 다양한 컨텐츠에서 활용될 가능성을 가질 수 있는 이점이 있다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있다.
또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다.
본 발명에서 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한 해당 기술 분야의 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터(factor)에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라, 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
이와 같이 본 발명은 도면에 도시된 일 실시예를 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (8)

  1. 가상 얼굴 생성 장치에서 복수의 얼굴 소스 데이터와, 적어도 하나의 얼굴 배경 데이터를 입력 받아 딥러닝을 통해 추론 얼굴과 실존 얼굴에 대한 비교 및 학습을 수행하는 단계; 및
    하나의 얼굴 배경 데이터를 입력 받아 상기 비교 및 학습된 모델을 통해 상기 복수의 얼굴 소스 데이터로부터 추론된 얼굴과 상기 하나의 얼굴 배경 데이터의 특징이 합쳐진 세상에 존재하지 않는 가상 인물의 얼굴 데이터를 생성하는 단계;를 포함하며,
    상기 가상의 얼굴 데이터를 생성하는 단계는,
    상기 가상 얼굴 생성 장치의 인코더에서, 하나의 얼굴 배경 데이터를 입력 받아 인코딩하는 단계;
    상기 가상 얼굴 생성 장치의 인터네트워크부에서, 상기 인코딩된 데이터를 상기 비교 및 학습된 모델에 통과시킨 후, 가상 얼굴의 분포 영역을 도출하여 상기 가상 얼굴 생성 장치의 디코더로 전달하는 단계; 및
    상기 가상 얼굴 생성 장치의 디코더에서, 상기 복수의 얼굴 소스 데이터로부터 추론된 세상에 존재하지 않는 가상 인물의 얼굴과 배경 얼굴의 특징이 포함된 가상 얼굴 데이터를 생성하는 디코딩 단계;
    를 포함하는 인공지능을 활용한 가상 얼굴 생성 방법.
  2. 제1항에 있어서,
    상기 비교 및 학습을 수행하는 단계는,
    상기 가상 얼굴 생성 장치의 인코더에서, 상기 복수의 얼굴 소스 데이터와, 적어도 하나의 얼굴 배경 데이터를 입력 받아 다층 컨볼루션 레이어로 인코딩하는 단계;
    상기 가상 얼굴 생성 장치의 인터네트워크부에서, 상기 인코딩된 데이터로 소스 데이터와 배경 데이터의 분포 영역을 각각 생성하는 단계;
    상기 가상 얼굴 생성 장치의 디코더에서, 상기 인터네트워크부로부터 전달된 데이터들을 다층 디컨볼루션 레이어로 디코딩하는 단계; 및
    상기 디코딩된 데이터를 원본 데이터와 비교하여 학습하는 단계;
    를 포함하는 인공지능을 활용한 가상 얼굴 생성 방법.
  3. 제1항에 있어서,
    상기 얼굴 배경 데이터는,
    얼굴 내에서 표정, 눈/코/입모양, 눈 깜빡임 중 적어도 하나를 포함하는 인공지능을 활용한 가상 얼굴 생성 방법.
  4. 제1항에 있어서,
    상기 얼굴 데이터는, 얼굴 이미지 또는 얼굴 영상인 것을 특징으로 하는 인공지능을 활용한 가상 얼굴 생성 방법.
  5. 복수의 얼굴 소스 데이터와, 적어도 하나의 얼굴 배경 데이터를 입력 받아 딥러닝을 통해 추론 얼굴과 실존 얼굴에 대한 비교 및 학습을 수행하는 학습부와,
    하나의 얼굴 배경 데이터를 입력 받아 상기 비교 및 학습된 모델을 통해 상기 복수의 얼굴 소스 데이터로부터 추론된 얼굴과 상기 하나의 얼굴 배경 데이터의 특징이 합쳐진 세상에 존재하지 않는 가상 인물의 얼굴 데이터를 생성하는 추론부를 포함하며,
    상기 추론부는,
    하나의 얼굴 배경 데이터를 입력 받아 인코딩하는 인코더와,
    상기 인코딩된 데이터를 상기 비교 및 학습된 모델에 통과시킨 후, 가상 얼굴의 분포 영역을 도출하여 디코더로 전달하는 인터네트워크부와,
    디코딩을 통해 상기 복수의 얼굴 소스 데이터로부터 추론된 세상에 존재하지 않는 가상 인물의 얼굴과 배경 얼굴의 특징이 포함된 가상 얼굴 데이터를 생성하는 상기 디코더
    를 포함하는 인공지능을 활용한 가상 얼굴 생성 장치.
  6. 제5항에 있어서,
    상기 학습부는,
    상기 복수의 얼굴 소스 데이터와, 적어도 하나의 얼굴 배경 데이터를 입력 받아 다층 컨볼루션 레이어로 인코딩하는 인코더와,
    상기 인코딩된 데이터로 소스 데이터와 배경 데이터의 분포 영역을 각각 생성하는 인터네트워크부와,
    상기 인터네트워크부로부터 전달된 데이터들을 다층 디컨볼루션 레이어로 디코딩하는 디코더
    를 포함하는 인공지능을 활용한 가상 얼굴 생성 장치.
  7. 제5항에 있어서,
    상기 얼굴 배경 데이터는,
    얼굴 내에서 표정, 눈/코/입모양, 눈 깜빡임 중 적어도 하나를 포함하는 인공지능을 활용한 가상 얼굴 생성 장치.
  8. 제5항에 있어서,
    상기 얼굴 데이터는, 얼굴 이미지 또는 얼굴 영상인 것을 특징으로 하는 인공지능을 활용한 가상 얼굴 생성 장치.
PCT/KR2021/016658 2020-11-18 2021-11-15 인공지능을 활용한 가상 얼굴 생성 방법 및 장치 WO2022108275A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/796,875 US20230343006A1 (en) 2020-11-18 2021-11-15 Method and device for generating virtual face by using artificial intelligence
CN202180012895.9A CN115053263A (zh) 2020-11-18 2021-11-15 使用人工智能的虚拟脸部生成方法及装置
JP2022542742A JP2023552251A (ja) 2020-11-18 2021-11-15 人工知能を活用した仮想顔生成方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200154369A KR102395083B1 (ko) 2020-11-18 2020-11-18 인공지능을 활용한 가상 얼굴 생성 방법 및 장치
KR10-2020-0154369 2020-11-18

Publications (1)

Publication Number Publication Date
WO2022108275A1 true WO2022108275A1 (ko) 2022-05-27

Family

ID=81591396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016658 WO2022108275A1 (ko) 2020-11-18 2021-11-15 인공지능을 활용한 가상 얼굴 생성 방법 및 장치

Country Status (5)

Country Link
US (1) US20230343006A1 (ko)
JP (1) JP2023552251A (ko)
KR (1) KR102395083B1 (ko)
CN (1) CN115053263A (ko)
WO (1) WO2022108275A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102574021B1 (ko) 2023-06-19 2023-09-04 이가람 인공지능 모델을 활용하여 영상 데이터 히스토리로부터 추출된 개인화된 이미지 기반으로 반응형 이미지 콘텐츠를 생성하는 방법, 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120130627A (ko) * 2011-05-23 2012-12-03 한국전자통신연구원 아바타를 이용한 애니메이션 생성 장치 및 방법
KR20170050465A (ko) * 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 얼굴 인식 장치 및 방법
US20200110925A1 (en) * 2018-10-08 2020-04-09 Institute For Information Industry System and method for simulating facial expression of virtual facial model
KR20200101206A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
JP2020526809A (ja) * 2017-07-13 2020-08-31 シセイドウ アメリカズ コーポレイション 仮想顔化粧の除去、高速顔検出およびランドマーク追跡

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080106596A (ko) 2007-03-22 2008-12-09 연세대학교 산학협력단 가상 얼굴 생성 방법
US11580395B2 (en) * 2018-11-14 2023-02-14 Nvidia Corporation Generative adversarial neural network assisted video reconstruction
US11568168B2 (en) * 2019-04-08 2023-01-31 Shutterstock, Inc. Generating synthetic photo-realistic images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120130627A (ko) * 2011-05-23 2012-12-03 한국전자통신연구원 아바타를 이용한 애니메이션 생성 장치 및 방법
KR20170050465A (ko) * 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 얼굴 인식 장치 및 방법
JP2020526809A (ja) * 2017-07-13 2020-08-31 シセイドウ アメリカズ コーポレイション 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
US20200110925A1 (en) * 2018-10-08 2020-04-09 Institute For Information Industry System and method for simulating facial expression of virtual facial model
KR20200101206A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법

Also Published As

Publication number Publication date
KR102395083B1 (ko) 2022-05-10
US20230343006A1 (en) 2023-10-26
JP2023552251A (ja) 2023-12-15
CN115053263A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
Ye et al. Recognizing american sign language gestures from within continuous videos
WO2022260386A1 (ko) 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치
CN111104512B (zh) 游戏评论的处理方法及相关设备
WO2022108275A1 (ko) 인공지능을 활용한 가상 얼굴 생성 방법 및 장치
WO2023068795A1 (ko) 이미지 분석을 이용한 메타버스 생성 장치 및 방법
CN109829499A (zh) 基于同一特征空间的图文数据融合情感分类方法和装置
WO2023080266A1 (ko) 딥러닝 네트워크를 이용한 얼굴 변환 방법 및 장치
CN114282013A (zh) 一种数据处理方法、装置及存储介质
CN114282059A (zh) 视频检索的方法、装置、设备及存储介质
Veerasamy et al. Rising above misinformation and deepfakes
WO2021025279A1 (ko) Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
WO2016163565A1 (ko) 멀티모달 다중 에이전트 기반의 감정 통신 시스템
CN114036553A (zh) 一种结合k匿名的行人身份隐私保护方法
CN104158658B (zh) 一种视频动态验证码生成方法
CN113205044B (zh) 一种基于表征对比预测学习的深度伪造视频检测方法
WO2022114324A1 (ko) 자연어를 기반으로 비디오를 생성하는 장치 및 방법
CN115858943A (zh) 一种基于Transformer的社交关系识别方法
CN113255758A (zh) 一种网络信息安全检测方法及装置
Gadge et al. Recognition of Indian Sign Language characters using convolutional neural network
WO2022145787A1 (ko) 마스크를 기반으로 하는 다중 레이블 분류 방법 및 장치
WO2022203115A1 (ko) 실시간 렌더링을 활용한 웹툰 이미지 구현 장치 및 방법
WO2022145769A1 (ko) 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치
WO2024038969A1 (ko) 딥러닝 기반의 행동인식 장치 및 방법
WO2024117616A1 (ko) 카메라와 모션캡쳐 인식을 활용한 실시간 동기화 및 인터랙션이 가능한 디지털 휴먼을 활용한 메타버스 서비스를 제공하는 시스템 및 방법
Li et al. Concentration Monitoring in Online Classes for Smart Education Applications Based on Neural Network and C-PAD Emotion Model

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21895043

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022542742

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21895043

Country of ref document: EP

Kind code of ref document: A1