WO2022004970A1 - 신경망 기반의 특징점 학습 장치 및 방법 - Google Patents

신경망 기반의 특징점 학습 장치 및 방법 Download PDF

Info

Publication number
WO2022004970A1
WO2022004970A1 PCT/KR2020/017404 KR2020017404W WO2022004970A1 WO 2022004970 A1 WO2022004970 A1 WO 2022004970A1 KR 2020017404 W KR2020017404 W KR 2020017404W WO 2022004970 A1 WO2022004970 A1 WO 2022004970A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
image
feature point
input image
key point
Prior art date
Application number
PCT/KR2020/017404
Other languages
English (en)
French (fr)
Inventor
채경수
황금별
Original Assignee
주식회사 딥브레인에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥브레인에이아이 filed Critical 주식회사 딥브레인에이아이
Priority to US17/762,819 priority Critical patent/US12112571B2/en
Publication of WO2022004970A1 publication Critical patent/WO2022004970A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • An embodiment of the present invention relates to a feature point learning technique using a machine learning technique.
  • the correct answer value of the facial feature point data in the image is obtained by labeling a person while watching the image.
  • the standards are different for each person, and even if the same person works, the corresponding point cannot be taken for each image frame. Annotation noise is inevitable.
  • facial feature points are predicted using the correct answer values in which noise exists.
  • the image quality is deteriorated, such as shaking the image.
  • An embodiment of the present invention is to provide an apparatus and method for learning a feature point based on a neural network capable of extracting feature points that are continuous and stable with respect to time.
  • An embodiment of the present invention is to provide an apparatus and method for learning a feature point based on a neural network that can improve image quality when reconstructing an image based on the feature point.
  • a neural network-based feature point learning apparatus includes: a feature point model trained to extract key points from an input image; and an image restoration model trained to reconstruct the input image by inputting a key point output from the key point model as an input.
  • the key point model may be trained to minimize a difference between the extracted key point and a key point labeled with respect to the input image, and the image reconstruction model may be trained to minimize a difference between the reconstructed image and the input image.
  • the key point model is first trained so that the difference between the extracted key point and the key point labeled with respect to the input image is minimized, and the key point is extracted so that the difference between the reconstructed image and the input image is minimized. Tea can be learned.
  • the feature point model may include: an extraction module that is trained to extract a feature vector from the input image; and a prediction module that is trained to predict key point coordinates of the input image based on the feature vector extracted by the extraction module, wherein the image reconstruction model is configured to: It can be learned to reconstruct an image.
  • the optimized parameters of the feature point model and the image reconstruction model may be calculated through the following equation.
  • G(I ; ⁇ ) key point coordinates predicted from the feature point model
  • the feature point model may include: an extraction module trained to extract a feature tensor from the input image; and a prediction module trained to predict a feature point image based on the feature tensor extracted by the extraction module, wherein the image restoration model is trained to reconstruct the input image based on the feature point image output from the feature point model.
  • the feature point image may be an image indicating whether each pixel corresponds to a feature point in an image space corresponding to the input image as a probability value.
  • the objective function (L prediction ) of the feature point model may be expressed through the following equation.
  • the optimized parameters of the feature point model and the image reconstruction model may be calculated through the following equation.
  • a key point learning method is a neural network-based learning method performed in a computing device having one or more processors and a memory for storing one or more programs executed by the one or more processors, learning to extract key points from the input image in the model; and learning to reconstruct the input image by inputting a key point output from the key point model in the image restoration model as an input.
  • the input image itself is different from the key points as noise over time Since there is no (ie, annotation noise), it is possible to extract key points that are continuous and stable over time while learning is in progress.
  • the quality of the reconstructed image reconstructed in the image reconstruction model may also be improved.
  • FIG. 1 is a block diagram schematically showing the configuration of a feature point learning apparatus according to an embodiment of the present invention
  • FIG. 2 is a diagram schematically showing another learning method of the feature point learning apparatus according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of a feature point learning apparatus according to a first embodiment of the present invention
  • FIG. 4 is a block diagram showing the configuration of a feature point learning apparatus according to a second embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments;
  • the terms "transmission”, “communication”, “transmission”, “reception” and other similar meanings of a signal or information are not only directly transmitted from one component to another component, but also a signal or information This includes passing through other components.
  • to “transmit” or “transmit” a signal or information to a component indicates the final destination of the signal or information and does not imply a direct destination. The same is true for “reception” of signals or information.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The above terms may be used for the purpose of distinguishing one component from another component.
  • a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.
  • FIG. 1 is a block diagram schematically showing the configuration of a feature point learning apparatus according to an embodiment of the present invention.
  • the keypoint learning apparatus 100 may include a keypoint model 102 and an image restoration model 104 .
  • a case in which the feature point learning apparatus 100 extracts a feature point from a face image and restores a face image based on the extracted feature point is described as an example, but the present invention is not limited thereto. It can be applied to all images.
  • the feature point learning apparatus 100 may be implemented as a machine learning technique based on a convolutional neural network (CNN), but the machine learning technique is not limited thereto, and various other machine learning techniques may be applied.
  • the feature point model 102 and the image reconstruction model 104 may be formed of an encoder-decoder type neural network, but the present invention is not limited thereto.
  • the key point model 102 may be trained to extract key points from an input image (input image).
  • the input image may be an image including a face, but is not limited thereto.
  • the key point model 102 may be trained to minimize a difference between a key point extracted from an input image and a key point labeled with respect to the input image (ie, a correct answer value).
  • the feature point model 102 may include one or more convolutional layers and one or more pooling layers.
  • the convolution layer can extract feature values (ie, key points) of pixels corresponding to the filter while moving a filter of a preset size (eg, 3 ⁇ 3 pixel size) from the input image at regular intervals.
  • the pooling layer may perform down sampling by receiving the output of the convolution layer as an input.
  • the image reconstruction model 104 may receive a key point output from the key point model 102 .
  • the image reconstruction model 104 may be trained to reconstruct an input image from an input key point.
  • the image reconstruction model 104 may be trained to minimize a difference between an image reconstructed from a key point and an input image input to the key point model 102 .
  • the image reconstruction model 104 is trained to reconstruct an input image through key points output from the feature point model 102 .
  • the key point model 102 is primarily trained to minimize the difference between the key point extracted from the input image and the key point labeled with respect to the input image, and secondarily, the restored image restored by the image restoration model 104 . It is learned to extract key points so that the difference between the input image and the input image is minimized.
  • the input image itself does not have noise over time (ie, annotation noise) unlike key points, it is possible to extract continuous and stable key points with respect to time while learning is in progress.
  • the quality of the reconstructed image reconstructed by the image reconstruction model 104 may also be improved.
  • the present invention is not limited thereto, and as shown in FIG. 2 , the first machine learning In the model M1, the key point model 102 extracts key points from the input image, but the difference between the extracted key points and the key points labeled with respect to the input image may be minimized (Fig. 2 (a)). ).
  • the image restoration model 104 to the output end of the learned first machine learning model M1, it is also possible to learn to restore the input image based on the key points output from the first machine learning model M1 ( Figure 2 (b)). That is, after learning the first machine learning model M1 including the feature point model 102 , the image reconstruction model 104 may be added to the first machine learning model M1 .
  • FIG. 3 is a block diagram showing the configuration of a feature point learning apparatus according to the first embodiment of the present invention.
  • the keypoint learning apparatus 200 may include a keypoint model 202 and an image restoration model 204 .
  • the feature point model 202 may include an extraction module 202a and a prediction module 202b.
  • the extraction module 202a may be trained to extract a feature vector from an input image.
  • the extraction module 202a may extract a feature vector from an input image through a plurality of convolutional neural network layers.
  • the extraction module 202a may consist of an Image Encoder.
  • the prediction module 202b may be trained to predict key point coordinates of the input image based on the feature vector extracted by the extraction module 202a. That is, the prediction module 202b may be trained to predict which coordinate values (x, y) correspond to the key point in the coordinate system of the input image based on the extracted feature vector.
  • the key point coordinates (K) of the input image may be expressed by the following Equation (1).
  • Predicting and extracting key point coordinates from the input image in the key point model 202 may be expressed through Equation 2 below.
  • K' represents key point coordinates predicted from the key point model 202
  • G represents the neural network constituting the key point model 202
  • I represents the input image
  • ⁇ represents the parameters of the neural network G.
  • the image reconstruction model 204 may be trained to reconstruct an input image based on key point coordinates output from the key point model 202 .
  • the image reconstruction model 204 may be configured as a decoder.
  • Reconstructing the input image based on the key point coordinates in the image reconstruction model 204 may be expressed through Equation 3 below.
  • I' denotes an image reconstructed by the image restoration model 204
  • D denotes a neural network constituting the image restoration model 204
  • ⁇ denotes a parameter of the neural network D.
  • the key point model 202 may be trained to minimize the difference between the key point coordinates extracted from the input image and the labeled key point coordinates (ie, the correct answer value).
  • the image reconstruction model 204 may be trained to minimize the difference between the reconstructed image and the input image based on the key point coordinates extracted from the key point model 202 .
  • Equation 4 the objective function (L prediction ) of the feature point model 202 can be expressed through Equation 4 below.
  • K represents the labeled key point coordinates of the input image
  • the function represents a function for finding the difference between A and B (eg, a function for finding the Euclidean distance (L2 distance) or Manhattan distance (L1 distance) between A and B, etc.).
  • Equation 5 the objective function L reconstruction of the image reconstruction model 204 may be expressed through Equation 5 below.
  • Equation 6 the optimized parameters of the feature point model 202 and the image reconstruction model 204 ( ) can be expressed through Equation 6 below.
  • ⁇ denotes the weight of the objective function of the feature point model 202
  • ⁇ denotes the weight of the objective function of the image reconstruction model 204 .
  • FIG. 4 is a block diagram showing the configuration of a feature point learning apparatus according to a second embodiment of the present invention.
  • the keypoint learning apparatus 300 may include a keypoint model 302 and an image restoration model 304 .
  • the feature point model 302 may include an extraction module 302a and a prediction module 302b.
  • the extraction module 302a may be trained to extract a feature tensor from an input image.
  • the extraction module 302a may extract a feature tensor such that the feature point is expressed as a point on the image space corresponding to the input image.
  • the prediction module 302b may be trained to predict the feature point image based on the feature tensor extracted by the extraction module 302a.
  • the key point image indicates whether each pixel corresponds to the key point in the image space corresponding to the input image. For each pixel, if it corresponds to the key point, the pixel value is 1, and if it does not correspond to the key point, the pixel value is 0. It can be an image.
  • the prediction module 302b may predict a feature point image by outputting a probability value between 0 and 1 (ie, a probability value of whether a feature point is present) for each pixel based on the extracted feature tensor. Outputting a probability value for each pixel from the prediction module 302b may be expressed through Equation 7 below.
  • a pixel represents the probability value of whether or not the feature point of
  • P represents the neural network constituting the feature point model 302
  • a pixel represents the feature tensor of
  • ⁇ represents the parameters of the neural network P.
  • the probability distribution function sigmoid, Gaussian, etc. may be used, but the present invention is not limited thereto.
  • the objective function (L prediction ) of the feature point model 302 can be expressed through the following Equation (8).
  • the pixel of the input image Indicates the value of whether the labeled feature point is present or not. That is, if the corresponding pixel is a feature point, it may have a value of 1, and if it is not a feature point, it may be labeled to have a value of 0.
  • the pixel If the value of the labeled feature point of is 1, the pixel The probability value for whether a feature point in ) is trained to increase, the pixel If the value of the labeled feature point is 0, the pixel The probability value for whether a feature point in ) is learned to decrease.
  • the image reconstruction model 304 may be trained to reconstruct an input image based on the keypoint image output from the keypoint model 302 .
  • the image reconstruction model 304 may be configured as a neural network in the form of an encoder-decoder.
  • the objective function L reconstruction of the image reconstruction model 304 may be expressed through Equation 9 below.
  • I denotes an input image
  • H denotes a neural network constituting the image reconstruction model 304
  • ⁇ denotes a parameter of the neural network H.
  • Equation 10 the optimized parameters of the feature point model 302 and the image reconstruction model 304 ( ) can be expressed through Equation 10 below.
  • a module may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware.
  • the "module” may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean physically connected code or a single type of hardware.
  • FIG. 5 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments.
  • each component may have different functions and capabilities other than those described below, and may include additional components in addition to those described below.
  • the illustrated computing environment 10 includes a computing device 12 .
  • the computing device 12 may be the feature point learning apparatus 100 , 200 , or 300 .
  • Computing device 12 includes at least one processor 14 , computer readable storage medium 16 , and communication bus 18 .
  • the processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiments discussed above.
  • the processor 14 may execute one or more programs stored in the computer-readable storage medium 16 .
  • the one or more programs may include one or more computer-executable instructions that, when executed by the processor 14, configure the computing device 12 to perform operations in accordance with the exemplary embodiment. can be
  • Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
  • the program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14 .
  • computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other forms of storage medium accessed by computing device 12 and capable of storing desired information, or a suitable combination thereof.
  • Communication bus 18 interconnects various other components of computing device 12 , including processor 14 and computer readable storage medium 16 .
  • Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 .
  • the input/output interface 22 and the network communication interface 26 are coupled to the communication bus 18 .
  • Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 .
  • Exemplary input/output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or imaging devices. input devices, and/or output devices such as display devices, printers, speakers and/or network cards.
  • the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12 , and may be connected to the computing device 12 as a separate device distinct from the computing device 12 . may be

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

신경망 기반의 특징점 학습 장치 및 방법이 개시된다. 개시되는 일 실시예에 따른 특징점 학습 장치는, 입력 영상으로부터 키 포인트를 추출하도록 학습되는 특징점 모델 및 특징점 모델에서 출력하는 키 포인트를 입력으로 하여 입력 영상을 복원하도록 학습되는 영상 복원 모델을 포함한다.

Description

신경망 기반의 특징점 학습 장치 및 방법
본 발명의 실시예는 머신 러닝 기술을 이용한 특징점 학습 기술과 관련된다.
최근, 인공 지능 분야의 기술 발전에 따라 다양한 유형의 콘텐츠가 인공 지능 기술에 기초하여 생성되고 있다. 그 일 예로, 어떤 전달하고자 하는 음성 메시지가 있을 때, 그 음성 메시지를 유명 인물(예를 들어, 대통령 등)이 말하는 것과 같은 발화 동영상을 생성하여 사람들의 주의를 끌고자 하는 경우가 있다. 이는 유명 인물의 영상에서 유명 인물이 특정 메시지를 말하는 것처럼 입 모양 등을 특정 메시지에 맞게 생성하여 구현하게 된다.
종래에는 이러한 립 싱크 얼굴 영상의 합성을 위해 입력되는 영상에서 얼굴 특징점을 추출하고 이를 정답 값과 비교하여 그 차이가 최소화 되도록 학습하는 방법을 사용하였다. 그러나, 영상에서 얼굴 특징점 데이터의 정답 값에는 어노테이션(Annotation) 노이즈가 존재하게 되는 바, 시간에 대한 연속성이 불안정하여 이를 기반으로 립 싱크 얼굴 영상을 합성하면 영상 품질이 저하되는 문제점이 있다.
즉, 영상에서 얼굴 특징점 데이터의 정답 값은 사람이 영상을 보면서 라벨링하여 얻어지는 것으로, 여러 사람이 작업하는 경우 사람마다 기준이 다르고, 동일인이 작업하더라도 영상 프레임마다 대응되는 지점을 찍을 수 없는 등의 이유로 어노테이션(Annotation) 노이즈가 존재할 수 밖에 없게 된다. 기존에는 이렇게 노이즈가 존재하는 정답 값을 이용하여 얼굴 특징점을 예측하게 되는 바, 예측된 얼굴 특징점을 이용하여 얼굴 영상을 합성하는 경우 영상이 흔들리는 등 영상 품질이 저하되게 된다.
본 발명의 실시예는 시간에 대해 연속적이고 안정적인 특징점을 추출할 수 있는 신경망 기반의 특징점 학습 장치 및 방법을 제공하기 위한 것이다.
본 발명의 실시예는 특징점 기반의 영상 복원 시 영상 품질을 높일 수 있는 신경망 기반의 특징점 학습 장치 및 방법을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 신경망 기반의 특징점 학습 장치는, 입력 영상으로부터 키 포인트를 추출하도록 학습되는 특징점 모델; 및 상기 특징점 모델에서 출력하는 키 포인트를 입력으로 하여 상기 입력 영상을 복원하도록 학습되는 영상 복원 모델을 포함한다.
상기 특징점 모델은, 상기 추출되는 키 포인트와 상기 입력 영상에 대해 라벨링 된 키 포인트의 차이가 최소화 되도록 학습되고, 상기 영상 복원 모델은, 상기 복원되는 영상과 상기 입력 영상의 차이가 최소화 되도록 학습될 수 있다.
상기 특징점 모델은, 상기 추출되는 키 포인트와 상기 입력 영상에 대해 라벨링 된 키 포인트의 차이가 최소화 되도록 1차 학습되고, 상기 복원되는 영상과 상기 입력 영상의 차이가 최소화 되게 상기 키 포인트를 추출하도록 2차 학습될 수 있다.
상기 특징점 모델은, 상기 입력 영상으로부터 특징 벡터를 추출하도록 학습되는 추출 모듈; 및 상기 추출 모듈에서 추출된 특징 벡터에 기반하여 상기 입력 영상의 키 포인트 좌표를 예측하도록 학습되는 예측 모듈을 포함하고, 상기 영상 복원 모델은, 상기 특징점 모델에서 출력되는 키 포인트 좌표에 기초하여 상기 입력 영상을 복원하도록 학습될 수 있다.
상기 특징점 모델 및 상기 영상 복원 모델의 최적화된 파라미터는 하기의 수학식을 통해 산출될 수 있다.
(수학식)
Figure PCTKR2020017404-appb-img-000001
Figure PCTKR2020017404-appb-img-000002
: 특징점 모델의 최적화된 파라미터
Figure PCTKR2020017404-appb-img-000003
: 영상 복원 모델의 최적화된 파라미터
L prediction : 특징점 모델의 목적 함수,
Figure PCTKR2020017404-appb-img-000004
K : 입력 영상의 라벨링 된 키 포인트 좌표
G : 특징점 모델을 구성하는 신경망
θ : 특징점 모델의 파라미터
I : 입력 영상
G(I ; θ) : 특징점 모델로부터 예측된 키 포인트 좌표
Figure PCTKR2020017404-appb-img-000005
: 특징점 모델로부터 예측된 키 포인트 좌표와 입력 영상의 라벨링 된 키 포인트 좌표 간의 차이를 구하는 함수
L reconstruction : 영상 복원 모델의 목적 함수,
Figure PCTKR2020017404-appb-img-000006
D : 영상 복원 모델을 구성하는 신경망
Figure PCTKR2020017404-appb-img-000007
: 영상 복원 모델의 파라미터
Figure PCTKR2020017404-appb-img-000008
: 입력 영상과 영상 복원 모델에 의해 복원된 영상 간의 차이를 구하는 함수
α : 특징점 모델의 목적 함수의 가중치
β : 영상 복원 모델의 목적 함수의 가중치
상기 특징점 모델은, 상기 입력 영상으로부터 특징 텐서를 추출하도록 학습되는 추출 모듈; 및 상기 추출 모듈에서 추출된 특징 텐서에 기반하여 특징점 이미지를 예측하도록 학습되는 예측 모듈을 포함하고, 상기 영상 복원 모델은, 상기 특징점 모델에서 출력되는 특징점 이미지에 기초하여 상기 입력 영상을 복원하도록 학습될 수 있다.
상기 특징점 이미지는, 상기 입력 영상과 대응되는 이미지 공간에서 각 픽셀이 특징점에 해당하는지 여부를 확률 값으로 나타낸 이미지일 수 있다.
상기 특징점 모델의 목적 함수(L prediction)는 하기의 수학식을 통해 표현될 수 있다.
(수학식)
Figure PCTKR2020017404-appb-img-000009
Figure PCTKR2020017404-appb-img-000010
: 픽셀
Figure PCTKR2020017404-appb-img-000011
의 특징점 여부에 대한 확률 값으로,
Figure PCTKR2020017404-appb-img-000012
P : 특징점 모델을 구성하는 신경망
Figure PCTKR2020017404-appb-img-000013
: 픽셀
Figure PCTKR2020017404-appb-img-000014
의 특징 텐서
δ : 특징점 모델의 파라미터
Figure PCTKR2020017404-appb-img-000015
: 입력 영상의 픽셀
Figure PCTKR2020017404-appb-img-000016
의 라벨링 된 특징점 여부 값
상기 특징점 모델 및 상기 영상 복원 모델의 최적화된 파라미터는 하기의 수학식을 통해 산출될 수 있다.
(수학식)
Figure PCTKR2020017404-appb-img-000017
Figure PCTKR2020017404-appb-img-000018
: 특징점 모델의 최적화된 파라미터
Figure PCTKR2020017404-appb-img-000019
: 영상 복원 모델의 최적화된 파라미터
α : 특징점 모델의 목적 함수의 가중치
β : 영상 복원 모델의 목적 함수의 가중치
L reconstruction : 영상 복원 모델의 목적 함수,
Figure PCTKR2020017404-appb-img-000020
I : 입력 영상
H : 영상 복원 모델을 구성하는 신경망
η : 영상 복원 모델의 파라미터
개시되는 일 실시예에 따른 특징점 학습 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 신경망 기반의 학습 방법으로서, 특징점 모델에서, 입력 영상으로부터 키 포인트를 추출하도록 학습하는 단계; 및 영상 복원 모델에서, 상기 특징점 모델에서 출력하는 키 포인트를 입력으로 하여 상기 입력 영상을 복원하도록 학습하는 단계를 포함한다.
개시되는 실시예에 의하면, 특징점 모델에서 입력 영상으로부터 키 포인트를 추출하고, 영상 복원 모델에서 특징점 모델의 키 포인트로부터 입력 영상을 복원하도록 학습함으로써, 입력 영상 자체는 키 포인트와는 다르게 시간에 따른 노이즈(즉, 어노테이션 노이즈)가 없으므로, 학습이 진행되는 동안 시간에 대해 연속적이고 안정적인 키 포인트를 추출할 수 있게 된다.
또한, 키 포인트 추출의 정확도가 높아지고 시간에 대해 안정적인 키 포인트를 추출함에 따라, 영상 복원 모델에서 복원하는 복원 영상의 품질도 향상될 수 있게 된다.
도 1은 본 발명의 실시예에 따른 특징점 학습 장치의 구성을 개략적으로 나타낸 블록도
도 2는 본 발명의 실시예에 따른 특징점 학습 장치의 다른 학습 방법을 개략적으로 나타낸 도면
도 3은 본 발명의 제1 실시예에 따른 특징점 학습 장치의 구성을 나타낸 블록도
도 4는 본 발명의 제2 실시예에 따른 특징점 학습 장치의 구성을 나타낸 블록도
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 특징점 학습 장치의 구성을 개략적으로 나타낸 블록도이다.
도 1을 참조하면, 특징점 학습 장치(100)는 특징점 모델(102) 및 영상 복원 모델(104)를 포함할 수 있다. 예시적인 실시예에서, 특징점 학습 장치(100)는 얼굴 영상에서 특징점을 추출하고, 추출한 특징점에 기반하여 얼굴 영상을 복원하는 경우를 일 예로 설명하나, 본 발명이 이에 한정되는 것은 아니며 그 이외의 다양한 영상에 모두 적용될 수 있다.
또한, 특징점 학습 장치(100)는 합성곱 신경망(Convolutional Neural Network : CNN) 기반의 머신 러닝 기술로 구현될 수 있으나, 머신 러닝 기술이 이에 한정되는 것은 아니며 그 이외의 다양한 머신 러닝 기술이 적용될 수 있다. 또한, 예시적인 실시예에서, 특징점 모델(102) 및 영상 복원 모델(104)은 인코더-디코더(Encoder-Decoder) 형태의 신경망으로 이루어질 수 있으나, 이에 한정되는 것은 아니다.
특징점 모델(102)은 입력되는 영상(입력 영상)으로부터 키 포인트(Keypoint)를 추출하도록 학습될 수 있다. 예시적인 실시예에서, 입력되는 영상은 얼굴을 포함하는 영상일 수 있으나, 이에 한정되는 것은 아니다. 특징점 모델(102)은 입력되는 영상으로부터 추출한 키 포인트와 해당 입력 영상에 대해 라벨링 된 키 포인트(즉, 정답 값)의 차이가 최소화 되도록 학습될 수 있다.
예시적인 실시예에서, 특징점 모델(102)은 하나 이상의 합성곱 층(Convolutional Layer) 및 하나 이상의 풀링 층(Pooling Layer)을 포함할 수 있다. 합성곱 층은 입력되는 영상에서 기 설정된 크기(예를 들어, 3×3 픽셀 크기)의 필터를 일정 간격으로 이동시키면서 해당 필터에 대응되는 픽셀들의 특징 값(즉, 키 포인트)을 추출할 수 있다. 풀링 층은 합성곱 층의 출력을 입력으로 받아 다운 샘플링(Down Sampling)을 수행할 수 있다.
영상 복원 모델(104)은 특징점 모델(102)에서 출력하는 키 포인트를 입력 받을 수 있다. 영상 복원 모델(104)은 입력되는 키 포인트로부터 입력 영상을 복원하도록 학습될 수 있다. 영상 복원 모델(104)은 키 포인트로부터 복원된 영상과 특징점 모델(102)로 입력되는 입력 영상의 차이가 최소화 되도록 학습될 수 있다.
즉, 영상 복원 모델(104)은 특징점 모델(102)에서 출력하는 키 포인트를 통해 입력 영상을 복원하도록 학습된다. 이 경우, 특징점 모델(102)은 1차적으로 입력 영상으로부터 추출한 키 포인트와 해당 입력 영상에 대해 라벨링 된 키 포인트의 차이가 최소화 되도록 학습되고, 2차적으로 영상 복원 모델(104)에서 복원하는 복원 영상과 입력 영상의 차이가 최소화 되게 키 포인트를 추출하도록 학습되게 된다.
여기서, 입력 영상 자체는 키 포인트와는 다르게 시간에 따른 노이즈(즉, 어노테이션 노이즈)가 없으므로, 학습이 진행되는 동안 시간에 대해 연속적이고 안정적인 키 포인트를 추출할 수 있게 된다. 또한, 키 포인트 추출의 정확도가 높아지고 시간에 대해 안정적인 키 포인트를 추출함에 따라, 영상 복원 모델(104)에서 복원하는 복원 영상의 품질도 향상될 수 있게 된다.
한편, 도 1에서는 특징점 모델(102)과 영상 복원 모델(104)을 하나의 신경망 모델에서 동시에 학습하는 경우를 일 예로 설명하였으나, 이에 한정되는 것은 아니며 도 2에 도시된 바와 같이, 제1 머신 러닝 모델(M1)에서 특징점 모델(102)이 입력 영상으로부터 키 포인트를 추출하도록 하되, 추출한 키 포인트와 해당 입력 영상에 대해 라벨링 된 키 포인트의 차이가 최소화 되도록 학습시킬 수 있다(도 2의 (a)). 그리고, 학습된 제1 머신 러닝 모델(M1)의 출력단에 영상 복원 모델(104)을 추가하여 제1 머신 러닝 모델(M1)에서 출력되는 키 포인트를 기반으로 입력 영상을 복원하도록 학습할 수도 있다(도 2의 (b)). 즉, 특징점 모델(102)을 포함하는 제1 머신 러닝 모델(M1)을 학습시킨 후, 제1 머신 러닝 모델(M1)에 영상 복원 모델(104)을 추가할 수도 있다.
도 3은 본 발명의 제1 실시예에 따른 특징점 학습 장치의 구성을 나타낸 블록도이다.
도 3을 참조하면, 특징점 학습 장치(200)는 특징점 모델(202) 및 영상 복원 모델(204)을 포함할 수 있다.
특징점 모델(202)은 추출 모듈(202a) 및 예측 모듈(202b)을 포함할 수 있다. 추출 모듈(202a)은 입력 영상으로부터 특징 벡터(Feature Vector)를 추출하도록 학습될 수 있다. 추출 모듈(202a)은 다수의 합성곱 신경망 층을 통해 입력 영상으로부터 특징 벡터를 추출할 수 있다. 예시적인 실시예에서, 추출 모듈(202a)은 이미지 인코더(Image Encoder)로 이루어질 수 있다.
예측 모듈(202b)은 추출 모듈(202a)에서 추출된 특징 벡터에 기반하여 입력 영상의 키 포인트 좌표를 예측하도록 학습될 수 있다. 즉, 예측 모듈(202b)은 추출된 특징 벡터에 기반하여 입력 영상의 좌표계에서 어느 좌표 값(x, y)이 키 포인트에 해당하는지를 예측하도록 학습될 수 있다.
여기서, 입력 영상의 키 포인트 좌표(K)는 다음의 수학식 1로 나타낼 수 있다.
(수학식 1)
K = [(x 1, y 1), (x 2, y 2), 쪋 , (x n, y n)]
x n : n번째 키 포인트의 x축 좌표 값
y n : n번째 키 포인트의 y축 좌표 값
특징점 모델(202)에서 입력 영상으로부터 키 포인트 좌표를 예측하여 추출하는 것은 다음의 수학식 2를 통해 표현될 수 있다.
(수학식 2)
K' = G(I ; θ)
여기서, K'는 특징점 모델(202)로부터 예측된 키 포인트 좌표를 나타내고, G는 특징점 모델(202)을 구성하는 신경망을 나타내며, I는 입력 영상을 나타내고, θ는 신경망 G의 파라미터를 나타낸다.
영상 복원 모델(204)은 특징점 모델(202)에서 출력되는 키 포인트 좌표에 기초하여 입력 영상을 복원하도록 학습될 수 있다. 예시적인 실시예에서, 영상 복원 모델(204)은 디코더(Decoder)로 구성할 수 있다.
영상 복원 모델(204)에서 키 포인트 좌표에 기초하여 입력 영상을 복원하는 것은 다음의 수학식 3을 통해 표현될 수 있다.
(수학식 3)
I' = D(K' ; φ)
여기서, I'는 영상 복원 모델(204)에 의해 복원된 영상을 나타내고, D는 영상 복원 모델(204)을 구성하는 신경망을 나타내며, φ는 신경망 D의 파라미터를 나타낸다.
한편, 특징점 모델(202)은 입력 영상으로부터 추출한 키 포인트 좌표와 라벨링 된 키 포인트 좌표(즉, 정답 값)의 차이가 최소화 되도록 학습될 수 있다. 그리고, 영상 복원 모델(204)은 특징점 모델(202)에서 추출한 키 포인트 좌표에 기초하여 복원된 영상과 입력 영상의 차이가 최소화 되도록 학습될 수 있다.
이때, 특징점 모델(202)의 목적 함수(L prediction)는 다음의 수학식 4를 통해 표현할 수 있다.
(수학식 4)
Figure PCTKR2020017404-appb-img-000021
K는 입력 영상의 라벨링 된 키 포인트 좌표를 나타내고,
Figure PCTKR2020017404-appb-img-000022
함수는 A와 B의 차이를 구하는 함수(예를 들어, A와 B의 유클리디안 거리(L2 distance) 또는 맨하튼 거리(L1 distance)를 구하는 함수 등)를 나타낸다.
그리고, 영상 복원 모델(204)의 목적 함수(L reconstruction)는 다음의 수학식 5를 통해 표현할 수 있다.
(수학식 5)
Figure PCTKR2020017404-appb-img-000023
또한, 특징점 모델(202) 및 영상 복원 모델(204)의 최적화된 파라미터(
Figure PCTKR2020017404-appb-img-000024
)는 다음의 수학식 6을 통해 표현할 수 있다.
(수학식 6)
Figure PCTKR2020017404-appb-img-000025
여기서,
Figure PCTKR2020017404-appb-img-000026
는 A+B를 최소화하는 θ, φ를 찾는 함수를 나타낸다. α는 특징점 모델(202)의 목적 함수의 가중치이고, β는 영상 복원 모델(204)의 목적 함수의 가중치를 나타낸다.
도 4는 본 발명의 제2 실시예에 따른 특징점 학습 장치의 구성을 나타낸 블록도이다.
도 4를 참조하면, 특징점 학습 장치(300)는 특징점 모델(302) 및 영상 복원 모델(304)을 포함할 수 있다.
특징점 모델(302)은 추출 모듈(302a) 및 예측 모듈(302b)을 포함할 수 있다. 추출 모듈(302a)은 입력 영상으로부터 특징 텐서(Feature Tensor)를 추출하도록 학습될 수 있다. 추출 모듈(302a)은 특징점이 입력 영상과 대응되는 이미지 공간 상의 한 지점으로 표현되도록 특징 텐서(Feature Tensor)를 추출할 수 있다. 추출 모듈(302a)은 인코더-디코더 형태의 신경망으로 구성함으로써, image-to-image 학습 방식의 효율을 높일 수 있다.
예측 모듈(302b)은 추출 모듈(302a)에서 추출된 특징 텐서에 기반하여 특징점 이미지를 예측하도록 학습될 수 있다. 여기서, 특징점 이미지는 입력 영상과 대응되는 이미지 공간에서 각 픽셀이 특징점에 해당하는지 여부를 나타낸 것으로, 각 픽셀에 대해 특징점에 해당하면 픽셀 값을 1로 하고 특징점에 해당하지 않으면 픽셀 값을 0으로 나타낸 이미지일 수 있다.
예시적인 실시예에서, 예측 모듈(302b)은 추출된 특징 텐서에 기반하여 각 픽셀에 대해 0과 1 사이의 확률 값(즉, 특징점 여부에 대한 확률 값)을 출력하여 특징점 이미지를 예측할 수 있다. 예측 모듈(302b)에서 각 픽셀마다 확률 값을 출력하는 것은 다음의 수학식 7을 통해 나타낼 수 있다.
(수학식 7)
Figure PCTKR2020017404-appb-img-000027
여기서,
Figure PCTKR2020017404-appb-img-000028
는 픽셀
Figure PCTKR2020017404-appb-img-000029
의 특징점 여부에 대한 확률 값을 나타내고, P는 특징점 모델(302)을 구성하는 신경망을 나타내며,
Figure PCTKR2020017404-appb-img-000030
는 픽셀
Figure PCTKR2020017404-appb-img-000031
의 특징 텐서를 나타내고, δ는 신경망 P의 파라미터를 나타낸다. 그리고, 확률분포 함수로는 Sigmoid, Gaussian 등이 사용될 수 있으나, 이에 한정되는 것은 아니다.
한편, 특징점 모델(302)의 목적 함수(L prediction)는 다음의 수학식 8을 통해 표현할 수 있다.
(수학식 8)
Figure PCTKR2020017404-appb-img-000032
여기서,
Figure PCTKR2020017404-appb-img-000033
은 입력 영상의 픽셀
Figure PCTKR2020017404-appb-img-000034
의 라벨링 된 특징점 여부 값을 나타낸다. 즉, 해당 픽셀이 특징점인 경우 1의 값을 가지고, 특징점이 아닌 경우 0의 값을 가지도록 라벨링 된 것일 수 있다.
수학식 8에 의하면, 픽셀
Figure PCTKR2020017404-appb-img-000035
의 라벨링 된 특징점 여부 값이 1인 경우 픽셀
Figure PCTKR2020017404-appb-img-000036
의 특징점 여부에 대한 확률 값(즉,
Figure PCTKR2020017404-appb-img-000037
)이 높아지도록 학습되며, 픽셀
Figure PCTKR2020017404-appb-img-000038
의 라벨링 된 특징점 여부 값이 0인 경우 픽셀
Figure PCTKR2020017404-appb-img-000039
의 특징점 여부에 대한 확률 값(즉,
Figure PCTKR2020017404-appb-img-000040
)이 낮아지도록 학습되게 된다.
영상 복원 모델(304)은 특징점 모델(302)에서 출력되는 특징점 이미지에 기초하여 입력 영상을 복원하도록 학습될 수 있다. 예시적인 실시예에서, 영상 복원 모델(304)은 인코더-디코더 형태의 신경망으로 구성될 수 있다. 영상 복원 모델(304)의 목적 함수(L reconstruction)는 다음의 수학식 9를 통해 표현할 수 있다.
(수학식 9)
Figure PCTKR2020017404-appb-img-000041
여기서, I는 입력 영상을 나타내고, H는 영상 복원 모델(304)을 구성하는 신경망을 나타내고, η는 신경망 H의 파라미터를 나타낸다.
또한, 특징점 모델(302) 및 영상 복원 모델(304)의 최적화된 파라미터(
Figure PCTKR2020017404-appb-img-000042
)는 다음의 수학식 10을 통해 표현할 수 있다.
(수학식 10)
Figure PCTKR2020017404-appb-img-000043
한편, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 특징점 학습 장치(100, 200, 300)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 신경망 기반의 특징점 학습 장치로서,
    입력 영상으로부터 키 포인트를 추출하도록 학습되는 특징점 모델; 및
    상기 특징점 모델에서 출력하는 키 포인트를 입력으로 하여 상기 입력 영상을 복원하도록 학습되는 영상 복원 모델을 포함하는, 특징점 학습 장치.
  2. 청구항 1에 있어서,
    상기 특징점 모델은, 상기 추출되는 키 포인트와 상기 입력 영상에 대해 라벨링 된 키 포인트의 차이가 최소화 되도록 학습되고,
    상기 영상 복원 모델은, 상기 복원되는 영상과 상기 입력 영상의 차이가 최소화 되도록 학습되는, 특징점 학습 장치.
  3. 청구항 2에 있어서,
    상기 특징점 모델은,
    상기 추출되는 키 포인트와 상기 입력 영상에 대해 라벨링 된 키 포인트의 차이가 최소화 되도록 1차 학습되고, 상기 복원되는 영상과 상기 입력 영상의 차이가 최소화 되게 상기 키 포인트를 추출하도록 2차 학습되는, 특징점 학습 장치.
  4. 청구항 1에 있어서,
    상기 특징점 모델은,
    상기 입력 영상으로부터 특징 벡터를 추출하도록 학습되는 추출 모듈; 및
    상기 추출 모듈에서 추출된 특징 벡터에 기반하여 상기 입력 영상의 키 포인트 좌표를 예측하도록 학습되는 예측 모듈을 포함하고,
    상기 영상 복원 모델은, 상기 특징점 모델에서 출력되는 키 포인트 좌표에 기초하여 상기 입력 영상을 복원하도록 학습되는, 특징점 학습 장치.
  5. 청구항 4에 있어서,
    상기 특징점 모델 및 상기 영상 복원 모델의 최적화된 파라미터는 하기의 수학식을 통해 산출되는, 특징점 학습 장치.
    (수학식)
    Figure PCTKR2020017404-appb-img-000044
    Figure PCTKR2020017404-appb-img-000045
    : 특징점 모델의 최적화된 파라미터
    Figure PCTKR2020017404-appb-img-000046
    : 영상 복원 모델의 최적화된 파라미터
    L prediction : 특징점 모델의 목적 함수,
    Figure PCTKR2020017404-appb-img-000047
    K : 입력 영상의 라벨링 된 키 포인트 좌표
    G : 특징점 모델을 구성하는 신경망
    θ : 특징점 모델의 파라미터
    I : 입력 영상
    G(I ; θ) : 특징점 모델로부터 예측된 키 포인트 좌표
    Figure PCTKR2020017404-appb-img-000048
    : 특징점 모델로부터 예측된 키 포인트 좌표와 입력 영상의 라벨링 된 키 포인트 좌표 간의 차이를 구하는 함수
    L reconstruction : 영상 복원 모델의 목적 함수,
    Figure PCTKR2020017404-appb-img-000049
    D : 영상 복원 모델을 구성하는 신경망
    Figure PCTKR2020017404-appb-img-000050
    : 영상 복원 모델의 파라미터
    Figure PCTKR2020017404-appb-img-000051
    : 입력 영상과 영상 복원 모델에 의해 복원된 영상 간의 차이를 구하는 함수
    α : 특징점 모델의 목적 함수의 가중치
    β : 영상 복원 모델의 목적 함수의 가중치
  6. 청구항 1에 있어서,
    상기 특징점 모델은,
    상기 입력 영상으로부터 특징 텐서를 추출하도록 학습되는 추출 모듈; 및
    상기 추출 모듈에서 추출된 특징 텐서에 기반하여 특징점 이미지를 예측하도록 학습되는 예측 모듈을 포함하고,
    상기 영상 복원 모델은, 상기 특징점 모델에서 출력되는 특징점 이미지에 기초하여 상기 입력 영상을 복원하도록 학습되는, 특징점 학습 장치.
  7. 청구항 6에 있어서,
    상기 특징점 이미지는,
    상기 입력 영상과 대응되는 이미지 공간에서 각 픽셀이 특징점에 해당하는지 여부를 확률 값으로 나타낸 이미지인, 특징점 학습 장치.
  8. 청구항 7에 있어서,
    상기 특징점 모델의 목적 함수(L prediction)는 하기의 수학식을 통해 표현되는, 특징점 학습 장치.
    (수학식)
    Figure PCTKR2020017404-appb-img-000052
    Figure PCTKR2020017404-appb-img-000053
    : 픽셀
    Figure PCTKR2020017404-appb-img-000054
    의 특징점 여부에 대한 확률 값으로,
    Figure PCTKR2020017404-appb-img-000055
    P : 특징점 모델을 구성하는 신경망
    Figure PCTKR2020017404-appb-img-000056
    : 픽셀
    Figure PCTKR2020017404-appb-img-000057
    의 특징 텐서
    δ : 특징점 모델의 파라미터
    Figure PCTKR2020017404-appb-img-000058
    : 입력 영상의 픽셀
    Figure PCTKR2020017404-appb-img-000059
    의 라벨링 된 특징점 여부 값
  9. 청구항 8에 있어서,
    상기 특징점 모델 및 상기 영상 복원 모델의 최적화된 파라미터는 하기의 수학식을 통해 산출되는, 특징점 학습 장치.
    (수학식)
    Figure PCTKR2020017404-appb-img-000060
    Figure PCTKR2020017404-appb-img-000061
    : 특징점 모델의 최적화된 파라미터
    Figure PCTKR2020017404-appb-img-000062
    : 영상 복원 모델의 최적화된 파라미터
    α : 특징점 모델의 목적 함수의 가중치
    β : 영상 복원 모델의 목적 함수의 가중치
    L reconstruction : 영상 복원 모델의 목적 함수,
    Figure PCTKR2020017404-appb-img-000063
    I : 입력 영상
    H : 영상 복원 모델을 구성하는 신경망
    η : 영상 복원 모델의 파라미터
  10. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 신경망 기반의 학습 방법으로서,
    특징점 모델에서, 입력 영상으로부터 키 포인트를 추출하도록 학습하는 단계; 및
    영상 복원 모델에서, 상기 특징점 모델에서 출력하는 키 포인트를 입력으로 하여 상기 입력 영상을 복원하도록 학습하는 단계를 포함하는, 특징점 학습 방법.
PCT/KR2020/017404 2020-07-01 2020-12-01 신경망 기반의 특징점 학습 장치 및 방법 WO2022004970A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/762,819 US12112571B2 (en) 2020-07-01 2020-12-01 Neural network-based key point training apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0081147 2020-07-01
KR1020200081147A KR102510881B1 (ko) 2020-07-01 2020-07-01 신경망 기반의 특징점 학습 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2022004970A1 true WO2022004970A1 (ko) 2022-01-06

Family

ID=79316352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/017404 WO2022004970A1 (ko) 2020-07-01 2020-12-01 신경망 기반의 특징점 학습 장치 및 방법

Country Status (3)

Country Link
US (1) US12112571B2 (ko)
KR (2) KR102510881B1 (ko)
WO (1) WO2022004970A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102446720B1 (ko) * 2022-02-18 2022-09-26 오드컨셉 주식회사 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213132A (ja) * 1998-01-27 1999-08-06 Atr Ningen Joho Tsushin Kenkyusho:Kk 任意表情を持つ３次元顔モデルの生成方法
KR100368743B1 (ko) * 2000-06-01 2003-01-24 (주)버추얼미디어 적은 수의 특징점을 이용한 얼굴 영상 압축과 손상된 얼굴영상의 복원 방법 및 장치
JP2010218051A (ja) * 2009-03-13 2010-09-30 Nec Corp 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP2015026922A (ja) * 2013-07-25 2015-02-05 三菱電機株式会社 動画像符号化装置および動画像符号化方法
US10635917B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101734419B1 (ko) * 2011-01-18 2017-05-12 삼성전자주식회사 이미지 복원 장치 및 방법
KR101558653B1 (ko) * 2013-06-14 2015-10-08 전북대학교산학협력단 신경망을 이용한 영상의 화질 개선 시스템 및 방법
KR102070049B1 (ko) * 2017-08-08 2020-04-01 한국과학기술원 보조정보를 이용하는 조건부 변분 오토인코더 기반의 협업 필터링 방법 및 장치
KR102532748B1 (ko) * 2017-09-08 2023-05-16 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 장치
US11902369B2 (en) 2018-02-09 2024-02-13 Preferred Networks, Inc. Autoencoder, data processing system, data processing method and non-transitory computer readable medium
KR102064486B1 (ko) * 2018-03-20 2020-03-02 영남대학교 산학협력단 영상 복원 방법과 이를 수행하기 위한 장치 및 시스템
KR102091643B1 (ko) 2018-04-23 2020-03-20 (주)이스트소프트 인공신경망을 이용한 안경 착용 영상을 생성하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102102182B1 (ko) * 2018-08-31 2020-04-20 서울대학교산학협력단 영상 복원 장치 및 방법
KR102692671B1 (ko) 2018-10-29 2024-08-06 삼성전자주식회사 이미지 생성 장치 및 방법과 생성 모델을 트레이닝시키는 장치 및 방법
US11423282B2 (en) 2018-10-30 2022-08-23 Huawei Technologies Co., Ltd. Autoencoder-based generative adversarial networks for text generation
US20220215580A1 (en) * 2019-05-06 2022-07-07 Deepmind Technologies Limited Unsupervised learning of object keypoint locations in images through temporal transport or spatio-temporal transport
KR102124497B1 (ko) 2020-03-02 2020-06-18 엔에이치네트웍스 주식회사 영상 개선 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213132A (ja) * 1998-01-27 1999-08-06 Atr Ningen Joho Tsushin Kenkyusho:Kk 任意表情を持つ３次元顔モデルの生成方法
KR100368743B1 (ko) * 2000-06-01 2003-01-24 (주)버추얼미디어 적은 수의 특징점을 이용한 얼굴 영상 압축과 손상된 얼굴영상의 복원 방법 및 장치
JP2010218051A (ja) * 2009-03-13 2010-09-30 Nec Corp 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP2015026922A (ja) * 2013-07-25 2015-02-05 三菱電機株式会社 動画像符号化装置および動画像符号化方法
US10635917B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition

Also Published As

Publication number Publication date
US20220343679A1 (en) 2022-10-27
KR20220003389A (ko) 2022-01-10
KR102612625B1 (ko) 2023-12-12
KR102510881B1 (ko) 2023-03-16
US12112571B2 (en) 2024-10-08
KR20230038164A (ko) 2023-03-17

Similar Documents

Publication Publication Date Title
WO2022045485A1 (ko) 랜드마크를 함께 생성하는 발화 동영상 생성 장치 및 방법
WO2017213398A1 (en) Learning model for salient facial region detection
WO2022124701A1 (en) Method for producing labeled image from original image while preventing private information leakage of original image and server using the same
WO2022169035A1 (ko) 영상 품질을 향상시킬 수 있는 영상 합성 장치 및 방법
WO2019050360A1 (en) ELECTRONIC DEVICE AND METHOD FOR AUTOMATICALLY SEGMENTING TO BE HUMAN IN AN IMAGE
WO2021201422A1 (ko) Ar에 적용 가능한 의미적인 분할 방법 및 시스템
WO2022004971A1 (ko) 영상 생성을 위한 학습 장치 및 방법
WO2020256471A1 (ko) 머신 러닝 기반의 발화 동영상 생성 방법 및 장치
WO2022255529A1 (ko) 머신 러닝 기반의 립싱크 영상 생성을 위한 학습 방법 및 이를 수행하기 위한 립싱크 영상 생성 장치
WO2022014800A1 (ko) 발화 동영상 생성 방법 및 장치
WO2022045486A1 (ko) 발화 동영상 생성 방법 및 장치
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2021137415A1 (ko) 머신 러닝에 기반한 이미지 처리 방법 및 장치
WO2020256475A1 (ko) 텍스트를 이용한 발화 동영상 생성 방법 및 장치
WO2020159241A1 (ko) 이미지를 처리하기 위한 방법 및 그에 따른 장치
WO2022169036A1 (ko) 영상 품질을 향상시킬 수 있는 영상 합성 장치 및 방법
WO2022004970A1 (ko) 신경망 기반의 특징점 학습 장치 및 방법
WO2022124498A1 (ko) 립싱크 영상 생성 장치 및 방법
WO2024014706A1 (ko) 화질 개선을 수행하는 신경망 모델을 학습시키는 전자 장치 및 그 제어 방법
WO2022025359A1 (ko) 발화 영상 생성 방법 및 장치
WO2023075508A1 (ko) 전자 장치 및 그 제어 방법
WO2019198900A1 (en) Electronic apparatus and control method thereof
WO2019107624A1 (ko) 시퀀스-대-시퀀스 번역 방법 및 이를 위한 장치
WO2022177091A1 (ko) 전자 장치 및 이의 제어 방법
WO2023286914A1 (ko) 비디오 스토리 질의응답을 위한 트랜스포머 모델을 구축하는 방법 및 이를 수행하기 위한 컴퓨팅 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20942893

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20942893

Country of ref document: EP

Kind code of ref document: A1