KR20210055747A - 신경 네트워크 훈련 방법 및 장치, 이미지 생성 방법 및 장치 - Google Patents

신경 네트워크 훈련 방법 및 장치, 이미지 생성 방법 및 장치 Download PDF

Info

Publication number
KR20210055747A
KR20210055747A KR1020217010144A KR20217010144A KR20210055747A KR 20210055747 A KR20210055747 A KR 20210055747A KR 1020217010144 A KR1020217010144 A KR 1020217010144A KR 20217010144 A KR20217010144 A KR 20217010144A KR 20210055747 A KR20210055747 A KR 20210055747A
Authority
KR
South Korea
Prior art keywords
network
distribution
discriminant
loss
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020217010144A
Other languages
English (en)
Inventor
유빈 뎅
보 다이
유안보 시앙리
다후아 린
첸 창게 로이
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20210055747A publication Critical patent/KR20210055747A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G06N7/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 신경 네트워크 훈련 방법 및 장치, 이미지 생성 방법 및 장치에 관한 것이고, 상기 방법은, 제1 랜덤 벡터를 생성 네트워크에 입력하여, 제1 생성 이미지를 획득하는 단계; 제1 생성 이미지 및 제1 트루 이미지를 판별 네트워크에 입력하여, 제1 판별 분포와 제2 판별 분포를 획득하는 단계; 제1 판별 분포, 제2 판별 분포, 제1 타깃 분포, 제2 타깃 분포에 따라, 판별 네트워크의 제1 네트워크 손실을 결정하는 단계; 제1 판별 분포 및 제2 판별 분포에 따라, 생성 네트워크의 제2 네트워크 손실을 결정하는 단계; 및 제1 네트워크 손실 및 제2 네트워크 손실에 따라, 생성 네트워크 및 판별 네트워크를 적대적 훈련하는 단계를 포함한다.

Description

신경 네트워크 훈련 방법 및 장치, 이미지 생성 방법 및 장치
본 출원은 출원 번호가 201910927729.6이고 출원인이 2019년 9월 27일인 중국 특허 출원에 기반하여 제출한 발명의 명칭이 "신경 네트워크 훈련 방법 및 장치, 이미지 생성 방법 및 장치"인 중국 특허 출원의 우선권을 주장하는 바, 그 모든 내용은 참조로서 본 출원에 인용된다.
본 발명은 컴퓨터 기술분야에 관한 것으로서, 특히 신경 네트워크 훈련 방법 및 장치, 이미지 생성 방법 및 장치에 관한 것이다.
연관 기술에 있어서, 생성적 적대 네트워크(Generative Adversarial Networks, GAN)는 두 개의 모듈에 의해 구성되고, 각각 판별 네트워크(Discriminator) 및 생성 네트워크(Generator)이다. 제로섬 게임(zero-sum game)의 개시로 인해, 두 개의 네트워크는 상호 적대적의 방식을 통해 최적 생성 효과에 달성한다. 훈련 과정에 있어서, 판별 기기는 트루 타깃을 보상하고 가짜 타깃을 징벌하는 것을 통해 트루 이미지 데이터 및 생성 네트워크에 의해 생성된 시뮬레이션 이미지를 구분하는 것을 학습하고, 생성 기기는 판별 기기가 가짜 타깃에 대한 징벌을 점차적으로 감소시켜, 판별 기기가 트루 이미지와 생성 이미지를 구분할 수 없도록 하여, 두 기기는 서로 게임하고, 진화하여 최종적으로 가짜 이미지를 트루 이미지로 사칭하는 효과를 달성한다.
연관 기술에 있어서, 생성적 적대 네트워크는 판별 네트워크에 의해 출력된 하나의 단일 스칼라로 입력 이미지의 진실성을 설명한 다음, 상기 스칼라를 사용하여 네트워크의 손실을 계산함으로써, 생성적 적대 네트워크를 훈련한다.
본 발명은 신경 네트워크 훈련 방법 및 장치, 이미지 생성 방법 및 장치를 제공한다.
본 발명의 일 측면에 따르면, 신경 네트워크 훈련 방법을 제공하고, 상기 방법은,
제1 랜덤 벡터를 생성 네트워크에 입력하여, 제1 생성 이미지를 획득하는 단계;
상기 제1 생성 이미지 및 제1 트루 이미지를 판별 네트워크에 각각 입력하여, 상기 제1 생성 이미지의 제1 판별 분포와 제1 트루 이미지의 제2 판별 분포를 각각 획득하는 단계 - 상기 제1 판별 분포는 상기 제1 생성 이미지의 진실 정도의 확률 분포를 나타내고, 상기 제2 판별 분포는 상기 제1 트루 이미지의 진실 정도의 확률 분포를 나타냄 - ;
상기 제1 판별 분포, 상기 제2 판별 분포, 기설정된 제1 타깃 분포 및 기설정된 제2 타깃 분포에 따라, 상기 판별 네트워크의 제1 네트워크 손실을 결정하는 단계 - 상기 제1 타깃 분포는 생성 이미지의 타깃 확률 분포이고, 상기 제2 타깃 분포는 트루 이미지의 타깃 확률 분포임 - ;
상기 제1 판별 분포 및 상기 제2 판별 분포에 따라, 상기 생성 네트워크의 제2 네트워크 손실을 결정하는 단계; 및
상기 제1 네트워크 손실 및 상기 제2 네트워크 손실에 따라, 상기 생성 네트워크 및 상기 판별 네트워크를 적대적 훈련하는 단계를 포함한다.
본 발명의 실시예에 따른 신경 네트워크 훈련 방법에 있어서, 판별 네트워크는 입력 이미지에 대한 판별 분포를 출력할 수 있고, 확률 분포의 형태로 입력 이미지의 진실성을 설명할 수 있으며, 색상, 무늬, 비례, 배경 등 차원으로부터 입력 이미지가 트루 이미지인 확률을 설명할 수 있으며, 복수 개의 측면으로부터 입력 이미지의 진실성을 판단할 수 있으므로, 정보 손실을 감소시켜, 신경 네트워크의 훈련에게 더욱 포괄적인 감독 정보 및 더욱 정확한 훈련 방향을 제공하고, 훈련 정밀도를 향상시키며, 최종적으로 생성 이미지의 품질을 향상시켜, 생성 네트워크가 고화질 이미지를 생성하는데 적용될 수 있도록 한다. 또한, 생성 이미지의 타깃 확률 분포 및 트루 이미지의 타깃 확률 분포를 기설정하는 것을 통해 훈련 과정을 안내하며, 훈련 과정에서 트루 이미지 및 생성 이미지가 각각의 타깃 확률 분포에 접근하도록 유도하며, 트루 이미지 및 생성 이미지의 구분 정도를 증가시키며, 판별 네트워크가 트루 이미지 및 생성 이미지를 구분하는 능력을 증강시킴으로써, 생성 네트워크에 의해 생성된 이미지의 품질을 향상시킨다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 판별 분포, 상기 제2 판별 분포, 기설정된 제1 타깃 분포 및 기설정된 제2 타깃 분포에 따라, 상기 판별 네트워크의 제1 네트워크 손실을 결정하는 단계는,
상기 제1 판별 분포 및 상기 제1 타깃 분포에 따라, 상기 제1 생성 이미지의 제1 분포 손실을 결정하는 단계;
상기 제2 판별 분포 및 상기 제2 타깃 분포에 따라, 상기 제1 트루 이미지의 제2 분포 손실을 결정하는 단계; 및
상기 제1 분포 손실 및 상기 제2 분포 손실에 따라, 상기 제1 네트워크 손실을 결정하는 단계를 포함한다.
이러한 방식을 통해, 생성 이미지의 타깃 확률 분포 및 트루 이미지의 타깃 확률 분포를 기설정하는 것을 통해 훈련 과정을 안내하고, 각각의 분포 손실을 각각 결정하며, 훈련 과정에서 트루 이미지 및 생성 이미지가 각각의 타깃 확률 분포에 접근하도록 유도하며, 트루 이미지 및 생성 이미지의 구분 정도를 증가시켜, 판별 네트워크에게 더욱 정확한 각도 정보를 제공하고, 판별 네트워크에게 더욱 정확한 훈련 방향을 제공하며, 판별 네트워크가 트루 이미지 및 생성 이미지를 구분하는 능력을 증강시킴으로써, 생성 네트워크에 의해 생성된 이미지의 품질을 향상시킨다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 판별 분포 및 상기 제1 타깃 분포에 따라, 상기 제1 생성 이미지의 제1 분포 손실을 결정하는 단계는,
상기 제1 판별 분포를 상기 제1 타깃 분포의 지원 세트에 맵핑하여, 제1 맵핑 분포를 획득하는 단계;
상기 제1 맵핑 분포와 상기 제1 타깃 분포의 제1 상대적 엔트로피를 결정하는 단계; 및
상기 제1 상대적 엔트로피에 따라, 상기 제1 분포 손실을 결정하는 단계를 포함한다.
한 가지 가능한 구현 방식에 있어서, 상기 제2 판별 분포 및 상기 제2 타깃 분포에 따라, 상기 제1 트루 이미지의 제2 분포 손실을 결정하는 단계는,
상기 제2 판별 분포를 상기 제2 타깃 분포의 지원 세트에 맵핑하여, 제2 맵핑 분포를 획득하는 단계;
상기 제2 맵핑 분포와 상기 제2 타깃 분포의 제2 상대적 엔트로피를 결정하는 단계; 및
상기 제2 상대적 엔트로피에 따라, 상기 제2 분포 손실을 결정하는 단계를 포함한다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 분포 손실 및 상기 제2 분포 손실에 따라, 상기 제1 네트워크 손실을 결정하는 단계는,
상기 제1 분포 손실 및 상기 제2 분포 손실에 대해 가중 합산 처리를 수행하여, 상기 제1 네트워크 손실을 획득하는 단계를 포함한다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 판별 분포 및 상기 제2 판별 분포에 따라, 상기 생성 네트워크의 제2 네트워크 손실을 결정하는 단계는,
상기 제1 판별 분포와 상기 제2 판별 분포의 제3 상대적 엔트로피를 결정하는 단계; 및
상기 제3 상대적 엔트로피에 따라, 상기 제2 네트워크 손실을 결정하는 단계를 포함한다.
이러한 방식을 통해, 제1 판별 분포와 제2 판별 분포의 차이를 감소시키는 방식을 통해 생성 네트워크를 훈련시켜, 판별 네트워크의 성능을 향상시키도록 하는 동시에, 생성 네트워크의 성능의 향상을 촉진시키도록 할 수 있음으로써, 진실감 정도가 비교적 높은 생성 이미지를 생성하여, 생성 네트워크가 고화질 이미지를 생성하는데 적용될 수 있도록 한다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 네트워크 손실 및 상기 제2 네트워크 손실에 따라, 상기 생성 네트워크 및 상기 판별 네트워크를 적대적 훈련하는 단계는,
상기 제1 네트워크 손실에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 단계;
상기 제2 네트워크 손실에 따라, 상기 생성 네트워크의 네트워크 파라미터를 조정하는 단계; 및
상기 판별 네트워크 및 상기 생성 네트워크가 훈련 조건을 만족하는 경우, 훈련된 상기 생성 네트워크 및 상기 판별 네트워크를 획득하는 단계를 포함한다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 네트워크 손실에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 단계는,
제2 랜덤 벡터를 생성 네트워크에 입력하여, 제2 생성 이미지를 획득하는 단계;
상기 제2 생성 이미지에 따라 제2 트루 이미지에 대해 보간 처리를 수행하여, 보간 이미지를 획득하는 단계;
상기 보간 이미지를 상기 판별 네트워크에 입력하여, 상기 보간 이미지의 제3 판별 분포를 획득하는 단계;
상기 제3 판별 분포에 따라, 상기 판별 네트워크의 네트워크 파라미터의 구배를 결정하는 단계;
상기 구배가 구배 임계값보다 크거나 같을 경우, 상기 제3 판별 분포에 따라 구배 징벌 파라미터를 결정하는 단계; 및
상기 제1 네트워크 손실 및 상기 구배 징벌 파라미터에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 단계를 포함한다.
이러한 방식을 통해, 판별 네트워크의 네트워크 파라미터의 구배가 구배 임계값보다 크거나 같은지 여부를 검출하는 것을 통해, 판별 네트워크가 훈련에서의 구배 저하 속도를 한정할 수 있음으로써, 판별 네트워크의 훈련 진척을 한정하고, 판별 네트워크의 구배 소거 발생 확률을 감소시킬 수 있음으로써, 생성 네트워크를 지속적으로 최적화시킬 수 있고, 생성 네트워크의 성능을 향상시켜, 생성 네트워크의 생성 이미지의 진실감 정도가 높아지도록 하고, 고화질 이미지를 생성하는데 적용하도록 한다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 네트워크 손실 및 상기 제2 네트워크 손실에 따라, 상기 생성 네트워크 및 상기 판별 네트워크를 적대적 훈련하는 단계는,
과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터를 현재 훈련 주기의 생성 네트워크에 입력하여, 적어도 하나의 제3 생성 이미지를 획득하는 단계;
상기 과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터에 대응되는 제1 생성 이미지, 적어도 하나의 상기 제3 생성 이미지 및 적어도 하나의 트루 이미지를 현재 훈련 주기의 판별 네트워크에 각각 입력하여, 적어도 하나의 제1 생성 이미지의 제4 판별 분포, 적어도 하나의 제3 생성 이미지의 제5 판별 분포 및 적어도 하나의 트루 이미지의 제6 판별 분포를 각각 획득하는 단계;
상기 제4 판별 분포, 상기 제5 판별 분포 및 상기 제6 판별 분포에 따라 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터를 결정하는 단계; 및
상기 훈련 진척 파라미터가 훈련 진척 임계값보다 작거나 같을 경우, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 것을 중지하고, 상기 생성 네트워크의 네트워크 파라미터만 조정하는 단계를 포함한다.
이러한 방식을 통해, 판별 네트워크 및 생성 네트워크의 훈련 진척을 검사하는 것을 통해, 판별 네트워크가 훈련에서의 구배 저하 속도를 한정할 수 있음으로써, 판별 네트워크의 훈련 진척을 한정하고, 판별 네트워크의 구배 소거 발생 확률을 감소시킬 수 있음으로써, 생성 네트워크를 지속적으로 최적화시킬 수 있고, 생성 네트워크의 성능을 향상시켜, 생성 네트워크의 생성 이미지의 진실감 정도가 높아지도록 하고, 고화질 이미지를 생성하는데 적용하도록 한다.
한 가지 가능한 구현 방식에 있어서, 상기 제4 판별 분포, 상기 제5 판별 분포 및 상기 제6 판별 분포에 따라 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터를 결정하는 단계는,
적어도 하나의 상기 제4 판별 분포의 제1 소망값, 적어도 하나의 상기 제5 판별 분포의 제2 소망값 및 적어도 하나의 상기 제6 판별 분포의 제3 소망값을 각각 획득하는 단계;
적어도 하나의 상기 제1 소망값의 제1 평균값, 적어도 하나의 상기 제2 소망값의 제2 평균값 및 적어도 하나의 상기 제3 소망값의 제3 평균값을 각각 획득하는 단계;
상기 제3 평균값과 상기 제2 평균값의 제1 차이값 및 상기 제2 평균값과 상기 제1 평균값의 제2 차이값을 결정하는 단계; 및
상기 제1 차이값과 상기 제2 차이값의 비례값을 상기 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터로 결정하는 단계를 포함한다.
본 발명의 일 측면에 따르면, 이미지 생성 방법을 제공하고, 상기 방법은,
제3 랜덤 벡터를 획득하는 단계; 및
상기 제3 랜덤 벡터를 훈련한 후 획득된 생성 네트워크에 입력하여 처리하여, 타깃 이미지를 획득하는 단계를 포함한다.
본 발명의 일 측면에 따르면, 신경 네트워크 훈련 장치를 제공하고, 상기 장치는,
제1 랜덤 벡터를 생성 네트워크에 입력하여, 제1 생성 이미지를 획득하기 위한 생성 모듈;
상기 제1 생성 이미지 및 제1 트루 이미지를 판별 네트워크에 각각 입력하여, 상기 제1 생성 이미지의 제1 판별 분포와 제1 트루 이미지의 제2 판별 분포를 각각 획득하기 위한 판별 모듈 - 상기 제1 판별 분포는 상기 제1 생성 이미지의 진실 정도의 확률 분포를 나타내고, 상기 제2 판별 분포는 상기 제1 트루 이미지의 진실 정도의 확률 분포를 나타냄 - ;
상기 제1 판별 분포, 상기 제2 판별 분포, 기설정된 제1 타깃 분포 및 기설정된 제2 타깃 분포에 따라, 상기 판별 네트워크의 제1 네트워크 손실을 결정하기 위한 제1 결정 모듈 - 상기 제1 타깃 분포는 생성 이미지의 타깃 확률 분포이고, 상기 제2 타깃 분포는 트루 이미지의 타깃 확률 분포임 - ;
상기 제1 판별 분포 및 상기 제2 판별 분포에 따라, 상기 생성 네트워크의 제2 네트워크 손실을 결정하기 위한 제2 결정 모듈; 및
상기 제1 네트워크 손실 및 상기 제2 네트워크 손실에 따라, 상기 생성 네트워크 및 상기 판별 네트워크를 적대적 훈련하기 위한 훈련 모듈을 포함한다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 결정 모듈은 더 나아가,
상기 제1 판별 분포 및 상기 제1 타깃 분포에 따라, 상기 제1 생성 이미지의 제1 분포 손실을 결정하고;
상기 제2 판별 분포 및 상기 제2 타깃 분포에 따라, 상기 제1 트루 이미지의 제2 분포 손실을 결정하며;
상기 제1 분포 손실 및 상기 제2 분포 손실에 따라, 상기 제1 네트워크 손실을 결정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 결정 모듈은 더 나아가,
상기 제1 판별 분포를 상기 제1 타깃 분포의 지원 세트에 맵핑하여, 제1 맵핑 분포를 획득하고;
상기 제1 맵핑 분포와 상기 제1 타깃 분포의 제1 상대적 엔트로피를 결정하며;
상기 제1 상대적 엔트로피에 따라, 상기 제1 분포 손실을 결정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 결정 모듈은 더 나아가,
상기 제2 판별 분포를 상기 제2 타깃 분포의 지원 세트에 맵핑하여, 제2 맵핑 분포를 획득하고;
상기 제2 맵핑 분포와 상기 제2 타깃 분포의 제2 상대적 엔트로피를 결정하며;
상기 제2 상대적 엔트로피에 따라, 상기 제2 분포 손실을 결정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 결정 모듈은 더 나아가,
상기 제1 분포 손실 및 상기 제2 분포 손실에 대해 가중 합산 처리를 수행하여, 상기 제1 네트워크 손실을 획득하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 제2 결정 모듈은 더 나아가,
상기 제1 판별 분포와 상기 제2 판별 분포의 제3 상대적 엔트로피를 결정하고;
상기 제3 상대적 엔트로피에 따라, 상기 제2 네트워크 손실을 결정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 훈련 모듈은 더 나아가,
상기 제1 네트워크 손실에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하고;
상기 제2 네트워크 손실에 따라, 상기 생성 네트워크의 네트워크 파라미터를 조정하며;
상기 판별 네트워크 및 상기 생성 네트워크가 훈련 조건을 만족하는 경우, 훈련된 상기 생성 네트워크 및 상기 판별 네트워크를 획득하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 훈련 모듈은 더 나아가,
제2 랜덤 벡터를 생성 네트워크에 입력하여, 제2 생성 이미지를 획득하고;
상기 제2 생성 이미지에 따라 제2 트루 이미지에 대해 보간 처리를 수행하여, 보간 이미지를 획득하며;
상기 보간 이미지를 상기 판별 네트워크에 입력하여, 상기 보간 이미지의 제3 판별 분포를 획득하며;
상기 제3 판별 분포에 따라, 상기 판별 네트워크의 네트워크 파라미터의 구배를 결정하며;
상기 구배가 구배 임계값보다 크거나 같을 경우, 상기 제3 판별 분포에 따라 구배 징벌 파라미터를 결정하며;
상기 제1 네트워크 손실 및 상기 구배 징벌 파라미터에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 훈련 모듈은 더 나아가,
과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터를 현재 훈련 주기의 생성 네트워크에 입력하여, 적어도 하나의 제3 생성 이미지를 획득하고;
상기 과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터에 대응되는 제1 생성 이미지, 적어도 하나의 상기 제3 생성 이미지 및 적어도 하나의 트루 이미지를 현재 훈련 주기의 판별 네트워크에 각각 입력하여, 적어도 하나의 제1 생성 이미지의 제4 판별 분포, 적어도 하나의 제3 생성 이미지의 제5 판별 분포 및 적어도 하나의 트루 이미지의 제6 판별 분포를 각각 획득하며;
상기 제4 판별 분포, 상기 제5 판별 분포 및 상기 제6 판별 분포에 따라 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터를 결정하며;
상기 훈련 진척 파라미터가 훈련 진척 임계값보다 작거나 같을 경우, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 것을 중지하고, 상기 생성 네트워크의 네트워크 파라미터만 조정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 훈련 모듈은 더 나아가,
적어도 하나의 상기 제4 판별 분포의 제1 소망값, 적어도 하나의 상기 제5 판별 분포의 제2 소망값 및 적어도 하나의 상기 제6 판별 분포의 제3 소망값을 각각 획득하고;
적어도 하나의 상기 제1 소망값의 제1 평균값, 적어도 하나의 상기 제2 소망값의 제2 평균값 및 적어도 하나의 상기 제3 소망값의 제3 평균값을 각각 획득하며;
상기 제3 평균값과 상기 제2 평균값의 제1 차이값 및 상기 제2 평균값과 상기 제1 평균값의 제2 차이값을 결정하며;
상기 제1 차이값과 상기 제2 차이값의 비례값을 상기 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터로 결정하도록 구성된다.
본 발명의 일 측면에 따르면, 이미지 생성 장치를 제공하고, 상기 장치는,
제3 랜덤 벡터를 획득하기 위한 취득 모듈; 및
상기 제3 랜덤 벡터를 훈련한 후 획득된 생성 네트워크에 입력하여 처리하여, 타깃 이미지를 획득하기 위한 획득 모듈을 포함한다.
본 발명의 일 측면에 따르면, 전자 기기를 제공하고, 상기 전자 기기는,
프로세서; 및
프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고,
여기서, 상기 프로세서는 상기 방법을 실행하도록 구성된다.
본 발명의 일 측면에 따르면, 컴퓨터 프로그램 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 경우 상기 얼굴 인식 방법을 구현한다.
본 발명의 일 측면에 따르면, 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 상기 방법을 실행하기 위한 것이다.
이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 한정적인 것이며 본 발명을 한정하지 않는다.
아래에 첨부 도면에 따라 예시적 실시예를 상세하게 설명하므로, 본 발명의 다른 특징 및 측면이 더욱 명확해질 것이다.
아래의 도면은 본 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 맞는 실시예를 예시하여, 명세서와 함께 본 발명의 기술방안을 설명하기 위한것이다.
도 1은 본 발명의 실시예에 따른 신경 네트워크 훈련 방법의 흐름도이다.
도 2는 본 발명의 실시예에 따른 신경 네트워크 훈련 방법의 응용 예시도이다.
도 3은 본 발명의 실시예에 따른 신경 네트워크 훈련 장치의 블록도이다.
도 4는 본 발명의 실시예에 따른 전자 장치의 블록도이다.
도 5는 본 발명의 실시예에 따른 전자 장치의 블록도이다.
아래에 도면을 참조하여 본 발명의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 표시는 기능이 동일하거나 유사한 구성 요소를 나타낸다. 실시예의 다양한 측면이 도면에 도시되어 있지만, 구체적으로 언급되지 않는 한, 도면은 반드시 비례대로 도시될 필요없다.
여기서 "예시적"이라는 특정한 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 "예시적"으로 설명된 임의의 실시예는 다른 예보다 뛰어나거나 좋은 것으로 해석될 필요는 없다.
본 명세서에서 용어 " 및 /또는"은 다만 관련 대상의 상관 관계를 설명하기 위한 것일 뿐, 세 가지의 관계가 존재함을 나타내며, 예를 들어, A 및/또는 B는, A가 단독적으로 존재, A 및 B가 동시에 존재, B가 단독적으로 존재하는 세 가지 상황을 나타낸다. 또한, 본 문에서 용어 "적어도 하나"는 복수의 어느 하나 또는 복수의 둘 중 어느 하나의 조합을 의미하고, 예를 들어, A, B, C 중 적어도 하나를 포함하여, A, B 및 C로 구성된 조합에서 선택된 어느 하나 또는 복수 개의 요소를 나타낼 수 있다.
또한, 본 발명을 더 잘 설명하기 위해, 아래의 구체적인 실시형태에서 다수의 구체적인 세부 사항을 제공한다. 본 분야의 기술자는 일부 구체적인 세부 사항이 없이도, 본 발명이 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 예에 있어서, 본 분야에게 널리 알려진 방법, 수단, 구성 요소 및 회로는 본 발명의 요지를 강조하기 위해, 상세히 설명되지 않는다.
도 1은 본 발명의 실시예에 따른 신경 네트워크 훈련 방법의 흐름도이고, 도 1에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 포함한다.
단계 S11에 있어서, 제1 랜덤 벡터를 생성 네트워크에 입력하여, 제1 생성 이미지를 획득한다.
단계 S12에 있어서, 상기 제1 생성 이미지 및 제1 트루 이미지를 판별 네트워크에 각각 입력하여, 상기 제1 생성 이미지의 제1 판별 분포와 제1 트루 이미지의 제2 판별 분포를 각각 획득하며, 여기서, 상기 제1 판별 분포는 상기 제1 생성 이미지의 진실 정도의 확률 분포를 나타내고, 상기 제2 판별 분포는 상기 제1 트루 이미지의 진실 정도의 확률 분포를 나타낸다.
단계 S13에 있어서, 상기 제1 판별 분포, 상기 제2 판별 분포, 기설정된 제1 타깃 분포 및 기설정된 제2 타깃 분포에 따라, 상기 판별 네트워크의 제1 네트워크 손실을 결정하며, 여기서, 상기 제1 타깃 분포는 생성 이미지의 타깃 확률 분포이고, 상기 제2 타깃 분포는 트루 이미지의 타깃 확률 분포이다.
단계 S14에 있어서, 상기 제1 판별 분포 및 상기 제2 판별 분포에 따라, 상기 생성 네트워크의 제2 네트워크 손실을 결정한다.
단계 S15에 있어서, 상기 제1 네트워크 손실 및 상기 제2 네트워크 손실에 따라, 상기 생성 네트워크 및 상기 판별 네트워크를 적대적 훈련한다.
본 발명의 실시예에 따른 신경 네트워크 훈련 방법에 있어서, 판별 네트워크는 입력 이미지에 대한 판별 분포를 출력할 수 있고, 확률 분포의 형태로 입력 이미지의 진실성을 설명할 수 있으며, 색상, 무늬, 비례, 배경 등 차원으로부터 입력 이미지가 트루 이미지인 확률을 설명할 수 있으며, 복수 개의 측면으로부터 입력 이미지의 진실성을 판단할 수 있으므로, 정보 손실을 감소시켜, 신경 네트워크의 훈련에게 더욱 포괄적인 감독 정보 및 더욱 정확한 훈련 방향을 제공하고, 훈련 정밀도를 향상시키며, 최종적으로 생성 이미지의 품질을 향상시켜, 생성 네트워크가 고화질 이미지를 생성하는데 적용될 수 있도록 한다. 또한, 생성 이미지의 타깃 확률 분포 및 트루 이미지의 타깃 확률 분포를 기설정하는 것을 통해 훈련 과정을 안내하며, 훈련 과정에서 트루 이미지 및 생성 이미지가 각각의 타깃 확률 분포에 접근하도록 유도하며, 트루 이미지 및 생성 이미지의 구분 정도를 증가시키며, 판별 네트워크가 트루 이미지 및 생성 이미지를 구분하는 능력을 증강시킴으로써, 생성 네트워크에 의해 생성된 이미지의 품질을 향상시킨다.
한 가지 가능한 구현 방식에 있어서, 상기 신경 네트워크 훈련 방법은 단말 기기 또는 다른 처리 기기에 의해 실행될 수 있고, 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 핸드 헬드 기기, 컴퓨팅 기기, 차량용 기기, 웨어러블 기기 등일 수 있다. 다른 처리 기기는 서버 또는 클라우드 서버 등일 수 있다. 일부 가능한 구현 방식에 있어서, 상기 신경 네트워크 훈련 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다.
한 가지 가능한 구현 방식에 있어서, 상기 신경 네트워크는 생성 네트워크 및 판별 네트워크로 구성된 생성적 적대 네트워크일 수 있다. 생성 네트워크는 컨볼루션 신경 네트워크 등 딥 러닝 신경 네트워크일 수 있고, 본 발명에서 생성 네트워크의 타입 및 구조에 대해 한정하지 않는다. 판별 네트워크는 컨볼루션 신경 네트워크 등 딥 러닝 신경 네트워크일 수 있고, 본 발명에서 판별 네트워크의 타입 및 구조에 대해 한정하지 않는다. 생성 네트워크는 랜덤 벡터를 처리하여, 생성 이미지를 획득할 수 있고, 랜덤 벡터는 각 요소가 난수인 벡터일 수 있으며, 랜덤 샘플링 등 방식을 통해 획득될 수 있다. 단계 S11에 있어서, 랜덤 샘플링 등 방식을 통해 제1 랜덤 벡터를 획득할 수 있고, 생성 네트워크는 제1 랜덤 벡터에 대해 컨볼루션 등 처리를 수행하여, 제1 랜덤 벡터에 대응되는 제1 생성 이미지를 획득할 수 있다. 제1 랜덤 벡터가 랜덤으로 생성된 벡터이므로, 제1 생성 이미지는 랜덤 이미지이다.
한 가지 가능한 구현 방식에 있어서, 제1 트루 이미지는 임의의 트루 이미지일 수 있고, 예를 들어, 이미지 획득 장치(예를 들어, 카메라, 웹캠 등)에 의해 촬영된 트루 이미지일 수 있다. 단계 S12에 있어서, 제1 트루 이미지 및 제1 생성 이미지를 판별 네트워크에 각각 입력하여, 제1 생성 이미지의 제1 판별 분포 및 제1 트루 이미지의 제2 판별 분포를 각각 획득할 수 있고, 제1 판별 분포 및 제2 판별 분포는 벡터 형태의 파라미터일 수 있으며, 예를 들어, 벡터의 방식으로 확률 분포를 나타낼 수 있다. 제1 판별 분포는 제1 생성 이미지의 진실 정도를 나타낼 수 있고, 즉, 제1 판별 분포를 통해 제1 생성 이미지가 트루 이미지인 확률을 설명할 수 있다. 제2 판별 분포는 제1 트루 이미지의 진실 정도를 나타낼 수 있고, 즉, 제2 판별 분포를 통해 제1 트루 이미지가 트루 이미지인 확률을 설명할 수 있다. 분포(예를 들어 다중 차원 벡터)의 형태로 이미지의 진실성을 설명하고, 색상, 무늬, 비례, 배경 등 복수 개의 측면으로부터 이미지의 진실성을 판단할 수 있어, 정보 손실을 감소시키고, 훈련에 정확한 훈련 방향을 제공한다.
한 가지 가능한 구현 방식에 있어서, 단계 S13에서, 트루 이미지의 타깃 확률 분포(즉, 제2 타깃 분포) 및 생성 이미지의 타깃 확률 분포(즉, 제1 타깃 분포)를 기설정할 수 있고, 훈련 과정에서, 트루 이미지의 타깃 확률 분포 및 생성 이미지의 타깃 확률 분포에 따라 생성 이미지에 대응되는 네트워크 손실 및 트루 이미지에 대응되는 네트워크 손실을 각각 결정할 수 있으며, 생성 이미지에 대응되는 네트워크 손실 및 트루 이미지에 대응되는 네트워크 손실을 각각 이용하여 판별 네트워크의 파라미터를 조정할 수 있어, 트루 이미지의 제2 판별 분포가 제2 타깃 분포에 접근하도록 하고, 제1 타깃 분포와 뚜렷한 차이가 존재하도록 하며, 생성 이미지의 제1 판별 분포가 제1 타깃 분포에 접근하도록 하고, 제2 타깃 분포와 뚜렷한 차이가 존재하도록 하여, 트루 이미지 및 생성 이미지의 구분 정도를 증가시킬 수 있고, 판별 네트워크가 트루 이미지 및 생성 이미지를 구분하는 능력을 증강시킬 수 있음으로써, 생성 네트워크에 의해 생성된 이미지의 품질을 향상시킨다.
예시에 있어서, 생성 이미지의 앵커(anchor) 분포(즉, 제1 타깃 분포) 및 트루 이미지의 앵커 분포(즉, 제2 타깃 분포)를 기설정할 수 있고, 생성 이미지의 앵커 분포를 나타내는 벡터와 트루 이미지의 앵커 분포를 나타내는 벡터는 뚜렷한 차이가 존재한다. 예를 들어, 고정적인 분포 U를 기설정하면, 제1 타깃 분포를 A1=U로, 제2 타깃 분포를 A2=U+1로 설정한다. 훈련 과정에서, 판별 네트워크의 네트워크 파라미터를 조정하는 것을 통해, 제1 판별 분포와 생성 이미지의 앵커 분포의 차이가 축소되도록 할 수 있고, 이러한 과정에서, 제1 판별 분포와 트루 이미지의 앵커 분포의 차이는 증가될 것이다. 훈련 과정에서, 판별 네트워크의 네트워크 파라미터를 조정하는 것을 통해, 또한 제2 판별 분포와 트루 이미지의 앵커 분포의 차이를 축소시키도록 하며, 이러한 과정에서, 제2 판별 분포와 생성 이미지의 앵커 분포의 차이는 증가될 것이다. 즉, 트루 이미지 및 생성 이미지에 대한 앵커 분포를 각각 기설정하여, 트루 이미지 및 생성 이미지의 분포가 증가되도록 함으로써, 판별 네트워크가 트루 이미지 및 생성 이미지를 구분하는 능력을 향상시킨다.
한 가지 가능한 구현 방식에 있어서, 단계 S13은, 상기 제1 판별 분포 및 상기 제1 타깃 분포에 따라, 상기 제1 생성 이미지의 제1 분포 손실을 결정하는 단계; 상기 제2 판별 분포 및 상기 제2 타깃 분포에 따라, 상기 제1 트루 이미지의 제2 분포 손실을 결정하는 단계; 및 상기 제1 분포 손실 및 상기 제2 분포 손실에 따라, 상기 제1 네트워크 손실을 결정하는 단계를 포함할 수 있다.
예시에 있어서, 제1 타깃 분포는 정확한 확률 분포이고, 제1 타깃 분포 및 제1 판별 분포 사이의 차이를 결정할 수 있음으로써, 제1 분포 손실을 결정한다.
한 가지 가능한 구현 방식에 있어서, 제1 판별 분포 및 제1 타깃 분포에 따라, 제1 생성 이미지에 대응되는 네트워크 손실(즉, 제1 분포 손실)을 결정할 수 있다. 여기서, 상기 제1 판별 분포 및 상기 제1 타깃 분포에 따라, 상기 제1 생성 이미지의 제1 분포 손실을 결정하는 단계는, 상기 제1 판별 분포를 상기 제1 타깃 분포의 지원 세트에 맵핑하여, 제1 맵핑 분포를 획득하는 단계; 상기 제1 맵핑 분포와 상기 제1 타깃 분포의 제1 상대적 엔트로피를 결정하는 단계; 및 상기 제1 상대적 엔트로피에 따라, 상기 제1 분포 손실을 결정하는 단계를 포함한다.
한 가지 가능한 구현 방식에 있어서, 제1 판별 분포 및 제1 타깃 분포의 지원 세트(상기 지원 세트는 확률 분포의 분포 범위를 나타내는 토폴로지 공간임)는 상이할 수 있고, 즉, 제1 판별 분포의 분포 범위와 제1 타깃 분포의 분포 범위는 상이하다. 분포 범위가 상이할 경우, 두 가지 확률 분포의 차이를 비교하는 것은 의미가 없으므로, 제1 판별 분포를 제1 타깃 분포의 지원 세트에 맵핑할 수 있거나, 제1 타깃 분포를 제1 판별 분포의 지원 세트에 맵핑할 수 있거나, 제1 판별 분포 및 제1 타깃 분포를 동일한 지원 세트에 맵핑할 수 있으며, 즉, 제1 판별 분포의 분포 범위와 제1 타깃 분포의 분포 범위는 동일하고, 동일한 분포 범위에서 두 가지 확률 분포의 차이를 비교할 수 있다. 예시에 있어서, 선형 변환 등 방식을 통할 수 있으며, 예를 들어 투영 매트릭스를 이용하여 제1 판별 분포에 대해 투영 처리를 수행하여, 제1 판별 분포를 제1 타깃 분포의 지원 세트에 맵핑하며, 즉, 제1 판별 분포의 벡터에 대해 선형 변환을 수행할 수 있고, 변환한 후 획득된 벡터는 제1 타깃 분포의 지원 세트에 맵핑된 제1 맵핑 분포이다.
한 가지 가능한 구현 방식에 있어서, 제1 맵핑 분포와 제1 타깃 분포의 제1 상대적 엔트로피, 즉, KL(Kullback-Leibler) 거리를 결정할 수 있고, 상기 제1 상대적 엔트로피는 동일한 지원 세트에서의 두 개의 확률 분포의 차이(즉, 제1 맵핑 분포와 제1 타깃 분포의 차이)를 나타낼 수 있다. 물론, 다른 실시형태에 있어서, JS 발산(Jensen-Shannon divergence) 또는 Wasserstein 거리 등 다른 방식을 통해 제1 맵핑 분포와 제1 타깃 분포의 차이를 결정할 수도 있다.
한 가지 가능한 구현 방식에 있어서, 제1 상대적 엔트로피에 따라, 제1 분포 손실(즉, 생성 이미지에 대응되는 네트워크 손실)을 결정할 수 있다. 예시에 있어서, 제1 상대적 엔트로피를 상기 제1 분포 손실로 결정할 수 있거나, 제1 상대적 엔트로피에 대해 연산 처리를 수행할 수 있으며, 예를 들어, 제1 상대적 엔트로피에 대해 가중, 로그, 지수 등 처리를 수행하여, 상기 제1 분포 손실을 획득한다. 본 발명에서 제1 분포 손실의 결정 방식에 대해 한정하지 않는다.
예시에 있어서, 제2 타깃 분포는 정확한 확률 분포이고, 제2 타깃 분포 및 제1 판별 분포 사이의 차이를 결정할 수 있음으로써, 제2 분포 손실을 결정한다.
한 가지 가능한 구현 방식에 있어서, 제2 판별 분포 및 제2 타깃 분포에 따라, 제1 트루 이미지에 대응되는 네트워크 손실(즉, 제2 분포 손실)을 결정할 수 있다. 여기서, 상기 제2 판별 분포 및 상기 제2 타깃 분포에 따라, 상기 제1 트루 이미지의 제2 분포 손실을 결정하는 단계는, 상기 제2 판별 분포를 상기 제2 타깃 분포의 지원 세트에 맵핑하여, 제2 맵핑 분포를 획득하는 단계; 상기 제2 맵핑 분포와 상기 제2 타깃 분포의 제2 상대적 엔트로피를 결정하는 단계; 및 상기 제2 상대적 엔트로피에 따라, 상기 제2 분포 손실을 결정하는 단계를 포함한다.
한 가지 가능한 구현 방식에 있어서, 제2 판별 분포 및 제2 타깃 분포의 지원 세트(상기 지원 세트는 확률 분포의 분포 범위를 나타내는 토폴로지 공간임)는 상이할 수 있고, 즉, 제2 판별 분포의 분포 범위와 제2 타깃 분포의 분포 범위는 상이하다. 제2 판별 분포를 제2 타깃 분포의 지원 세트에 분포할 수 있거나, 제2 타깃 분포를 제2 판별 분포의 지원 세트에 분포할 수 있거나, 제2 판별 분포 및 제2 타깃 분포를 동일한 지원 세트에 분포할 수 있어, 제2 판별 분포의 분포 범위와 제2 타깃 분포의 분포 범위가 동일하도록 하므로, 동일한 분포 범위에서 두 가지 확률 분포의 차이를 비교할 수 있다. 예시에 있어서, 선형 변환 등 방식을 통할 수 있으며, 예를 들어 투영 매트릭스를 이용하여 제2 판별 분포에 대해 투영 처리를 수행하여, 제2 판별 분포를 제2 타깃 분포의 지원 세트에 맵핑하며, 즉, 제2 판별 분포의 벡터에 대해 선형 변환을 수행할 수 있고, 변환한 후 획득된 벡터는 제2 타깃 분포의 지원 세트에 맵핑된 제2 맵핑 분포이다.
한 가지 가능한 구현 방식에 있어서, 제2 맵핑 분포와 제2 타깃 분포의 제2 상대적 엔트로피를 결정할 수 있고, 상기 제2 상대적 엔트로피는 동일한 지원 세트에서의 두 개의 확률 분포의 차이(즉, 제2 맵핑 분포와 제2 타깃 분포의 차이)를 나타낼 수 있다. 여기서, 제2 상대적 엔트로피의 계산 방법과 제1 상대적 엔트로피는 유사하고, 여기서 더이상 반복하지 않는다. 물론, 다른 실시형태에 있어서, JS 발산(Jensen-Shannon divergence) 또는 Wasserstein 거리 등 다른 방식을 통해 제2 맵핑 분포와 제2 타깃 분포의 차이를 결정할 수도 있다.
한 가지 가능한 구현 방식에 있어서, 제2 상대적 엔트로피에 따라, 제2 분포 손실(즉, 생성 이미지에 대응되는 네트워크 손실)을 결정할 수 있다. 예시에 있어서, 제2 상대적 엔트로피를 상기 제2 분포 손실로 결정할 수 있거나, 제2 상대적 엔트로피에 대해 연산 처리를 수행할 수 있으며, 예를 들어, 제2 상대적 엔트로피에 대해 가중, 로그, 지수 등 처리를 수행하여, 상기 제2 분포 손실을 획득한다. 본 발명에서 제2 분포 손실의 결정 방식에 대해 한정하지 않는다.
한 가지 가능한 구현 방식에 있어서, 제1 생성 이미지의 제1 분포 손실 및 제2 생성 이미지의 제2 분포 손실에 따라 제1 네트워크 손실을 결정할 수 있다. 여기서, 상기 제1 분포 손실 및 상기 제2 분포 손실에 따라, 상기 제1 네트워크 손실을 결정하는 단계는, 상기 제1 분포 손실 및 상기 제2 분포 손실에 대해 가중 합산 처리를 수행하여, 상기 제1 네트워크 손실을 획득하는 단계를 포함한다. 예시에 있어서, 제1 분포 손실 및 제2 분포 손실의 가중치는 동일할 수 있고, 즉, 제1 분포 손실과 제2 분포 손실을 직접 덧셈하여, 제1 네트워크 손실을 획득할 수 있다. 또는, 제1 분포 손실 및 제2 분포 손실의 가중치는 상이할 수 있으며, 즉, 제1 분포 손실 및 제2 분포 손실에 각각의 가중치를 각각 곱한 다음 덧셈하여, 제1 네트워크 손실을 획득할 수 있다. 제1 분포 손실 및 제2 분포 손실의 가중치는 기설정된 것일 수 있고, 본 발명에서 제1 분포 손실 및 제2 분포 손실의 가중치에 대해 한정하지 않는다.
이러한 방식을 통해, 생성 이미지의 타깃 확률 분포 및 트루 이미지의 타깃 확률 분포를 기설정하는 것을 통해 훈련 과정을 안내하고, 각각의 분포 손실을 각각 결정하며, 훈련 과정에서 트루 이미지 및 생성 이미지가 각각의 타깃 확률 분포에 접근하도록 유도하며, 트루 이미지 및 생성 이미지의 구분 정도를 증가시켜, 판별 네트워크에게 더욱 정확한 각도 정보를 제공하고, 판별 네트워크에게 더욱 정확한 훈련 방향을 제공하며, 판별 네트워크가 트루 이미지 및 생성 이미지를 구분하는 능력을 증강시킴으로써, 생성 네트워크에 의해 생성된 이미지의 품질을 향상시킨다.
한 가지 가능한 구현 방식에 있어서, 또한 생성 네트워크의 제2 네트워크 손실을 결정할 수 있다. 예시에 있어서, 판별 네트워크는 입력 이미지가 트루 이미지인지 생성 이미지인지를 판별해야 하므로, 판별 네트워크는 훈련 과정에서 트루 이미지 및 생성 이미지에 대한 구분 능력을 증강시킬 수 있으며, 즉, 트루 이미지 및 생성 이미지의 판별 분포가 각각의 타깃 확률 분포에 접근하도록 하여, 트루 이미지 및 생성 이미지의 구분 정도를 증가시킨다. 그러나, 생성 네트워크의 타깃은 생성 이미지가 트루 이미지에 접근하도록 하기 위해, 즉, 생성 이미지가 충분히 진실되도록 하여, 판별 네트워크가 생성 네트워크에 의해 출력된 생성 이미지를 판별하기 어렵도록 한다. 적대적 훈련이 밸런스 상태에 달성할 경우, 판별 네트워크 및 생성 네트워크의 성능은 모두 강하며, 즉, 판별 네트워크의 판별 능력이 매우 강하여, 트루 이미지 및 진실감 정도가 비교적 낮은 생성 이미지를 분별할 수 있지만, 생성 네트워크에 의해 생성된 이미지 진실감 정도가 매우 높아, 판별 네트워크가 고품질의 생성 이미지를 분별하기 어렵도록 한다. 적대적 훈련에 있어서, 판별 네트워크 성능의 향상은 생성 네트워크의 성능의 향상을 촉진시킬 수 있고, 즉, 판별 네트워크가 트루 이미지 및 생성 이미지를 분별하는 능력이 강할 수록, 생성 네트워크에 의해 생성된 이미지 진실감 정도가 더욱 높도록 한다.
생성 네트워크의 훈련의 목적은 생성 이미지의 진실감 정도를 향상시키는 것이고, 즉, 생성 이미지가 트루 이미지에 접근하도록 하는 것이다. 다시 말해, 생성 네트워크의 훈련은 제1 생성 이미지의 제1 판별 분포가 제1 트루 이미지의 제2 판별 분포에 접근하도록 할 수 있음으로써, 판별 네트워크가 분별되기 어렵도록 한다. 한 가지 가능한 구현 방식에 있어서, 단계 S14는, 상기 제1 판별 분포와 상기 제2 판별 분포의 제3 상대적 엔트로피를 결정하는 단계; 및 상기 제3 상대적 엔트로피에 따라, 상기 제2 네트워크 손실을 결정하는 단계를 포함할 수 있다.
한 가지 가능한 구현 방식에 있어서, 제1 판별 분포와 제2 판별 분포의 제3 상대적 엔트로피를 결정할 수 있고, 상기 제3 상대적 엔트로피는 동일한 지원 세트에서의 두 개의 확률 분포의 차이(즉, 제3 맵핑 분포와 제4 맵핑 분포의 차이)를 나타낸다. 여기서, 제3 상대적 엔트로피의 계산 방법과 제1 상대적 엔트로피는 유사하고, 여기서 더이상 반복하지 않는다. 물론, 다른 실시형태에 있어서, JS 발산(Jensen-Shannon divergence) 또는 Wasserstein 거리 등 다른 방식을 통해 제1 판별 분포와 제2 판별 분포의 차이를 결정할 수도 있어, 상기 차이를 통해 생성 네트워크의 네트워크 손실을 결정한다.
한 가지 가능한 구현 방식에 있어서, 제3 상대적 엔트로피에 따라, 제2 네트워크 손실을 결정할 수 있다. 예시에 있어서, 제3 상대적 엔트로피를 제2 네트워크 손실로 결정할 수 있거나, 제3 상대적 엔트로피에 대해 연산 처리를 수행할 수 있으며, 예를 들어, 제3 상대적 엔트로피에 대해 가중, 로그, 지수 등 처리를 수행하여, 제2 네트워크 손실을 획득한다. 본 발명에서 제2 네트워크 손실의 결정 방식에 대해 한정하지 않는다.
한 가지 가능한 구현 방식에 있어서, 제1 판별 분포와 제2 판별 분포의 지원 세트는 상이하고, 즉, 제1 판별 분포와 제2 판별 분포의 분포 범위는 상이할 수 있다. 선형 변환을 통해 제1 판별 분포와 제2 판별 분포의 지원 세트를 중첩할 수 있고, 예를 들어, 제1 판별 분포와 제2 판별 분포를 타깃 지원 세트에 맵핑하여, 제2 판별 분포의 분포 범위와 제1 판별 분포의 분포 범위가 동일하도록 하고, 동일한 분포 범위에서 두 가지 확률 분포의 차이를 비교할 수 있다.
예시에 있어서, 상기 타깃 지원 세트는 상기 제1 판별 분포의 지원 세트 또는 상기 제2 판별 분포의 지원 세트이다. 선형 변환 등 방식을 통해, 제2 판별 분포를 제1 판별 분포의 지원 세트에 맵핑할 수 있고, 즉, 제2 판별 분포의 벡터에 대해 선형 변환을 수행할 수 있으며, 변환한 후 획득된 벡터는 제1 판별 분포의 지원 세트에 맵핑된 제4 맵핑 분포이며, 제1 판별 분포를 상기 제3 맵핑 분포로 사용한다. 또는, 선형 변환 등 방식을 통해, 제1 판별 분포를 제2 판별 분포의 지원 세트에 맵핑할 수 있고, 즉, 제1 판별 분포의 벡터에 대해 선형 변환을 수행할 수 있으며, 변환한 후 획득된 벡터는 제2 판별 분포의 지원 세트에 맵핑된 제3 맵핑 분포이며, 제2 판별 분포를 상기 제4 맵핑 분포로 사용한다.
예시에 있어서, 상기 타깃 지원 세트는 다른 지원 세트일 수도 있고, 예를 들어, 하나의 지원 세트를 기설정할 수 있으며, 제1 판별 분포 및 제2 판별 분포를 상기 지원 세트에 맵핑하여, 제3 맵핑 분포 및 제4 맵핑 분포를 각각 획득한다. 더 나아가, 제3 맵핑 분포 및 제4 맵핑 분포의 제3 상대적 엔트로피를 계산할 수 있다. 본 발명에서 타깃 지원 세트에 대해 한정하지 않는다.
이러한 방식을 통해, 제1 판별 분포와 제2 판별 분포의 차이를 감소시키는 방식을 통해 생성 네트워크를 훈련시켜, 판별 네트워크의 성능을 향상시키도록 하는 동시에, 생성 네트워크의 성능의 향상을 촉진시키도록 할 수 있음으로써, 진실감 정도가 비교적 높은 생성 이미지를 생성하여, 생성 네트워크가 고화질 이미지를 생성하는데 적용될 수 있도록 한다.
한 가지 가능한 구현 방식에 있어서, 판별 네트워크의 제1 네트워크 손실 및 생성 네트워크의 제2 네트워크 손실에 따라, 생성 네트워크 및 판별 네트워크를 적대적 훈련할 수 있다. 즉, 훈련을 통해, 생성 네트워크 및 판별 네트워크의 성능이 동시에 향상되도록 하여, 판별 네트워크의 분별 능력을 향상시키고, 생성 네트워크가 진실감이 비교적 높은 생성 이미지를 생성하는 능력을 향상시키며, 생성 네트워크 및 판별 네트워크가 밸런스 상태에 달성하도록 한다.
선택적으로, 단계 S15는, 상기 제1 네트워크 손실에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 단계; 상기 제2 네트워크 손실에 따라, 상기 생성 네트워크의 네트워크 파라미터를 조정하는 단계; 및 상기 판별 네트워크 및 상기 생성 네트워크가 훈련 조건을 만족하는 경우, 훈련된 상기 생성 네트워크 및 상기 판별 네트워크를 획득하는 단계를 포함할 수 있다.
훈련 과정에 있어서, 네트워크 파라미터의 복잡 정도가 상이한 것 등 인소로 인해, 판별 네트워크의 훈련 진척은 일반적으로 생성 네트워크보다 앞서나가지만, 판별 네트워크 진척이 비교적 빠르므로, 훈련이 미리 완료되어, 생성 네트워크에게 역방향 전송에서의 구배를 제공할 수 없음으로써, 생성 네트워크의 파라미터를 업데이트할 수 없으며, 즉, 생성 네트워크의 성능을 향상시킬 수 없다. 따라서, 생성 네트워크에 의해 생성된 이미지의 성능이 한정되어, 고화질의 이미지를 생성하는데 적용되지 않으며, 진실감이 비교적 낮다.
한 가지 가능한 구현 방식에 있어서, 판별 네트워크의 훈련 과정에서, 판별 네트워크의 네트워크 파라미터를 조정하기 위한 구배를 한정할 수 있다. 여기서, 상기 제1 네트워크 손실에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 단계는, 제2 랜덤 벡터를 생성 네트워크에 입력하여, 제2 생성 이미지를 획득하는 단계; 상기 제2 생성 이미지에 따라 제2 트루 이미지에 대해 보간 처리를 수행하여, 보간 이미지를 획득하는 단계; 상기 보간 이미지를 상기 판별 네트워크에 입력하여, 상기 보간 이미지의 제3 판별 분포를 획득하는 단계; 상기 제3 판별 분포에 따라, 상기 판별 네트워크의 네트워크 파라미터의 구배를 결정하는 단계; 상기 구배가 구배 임계값보다 클 경우, 상기 제3 판별 분포에 따라 구배 징벌 파라미터를 결정하는 단계; 및 상기 제1 네트워크 손실 및 상기 구배 징벌 파라미터에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 단계를 포함한다.
한 가지 가능한 구현 방식에 있어서, 랜덤 샘플링 등 방식을 통해 제2 랜덤 벡터를 획득할 수 있고, 또한 생성 네트워크를 입력하여, 제2 생성 이미지를 획득하며, 즉, 한 장의 트루가 아닌 이미지를 획득한다. 다른 방식을 통해 제2 생성 이미지를 획득할 수도 있고, 예를 들어, 직접 한 장의 트루가 아닌 이미지를 랜덤으로 생성할 수 있다.
한 가지 가능한 구현 방식에 있어서, 제2 생성 이미지 및 제2 트루 이미지에 대해 보간 처리를 수행하여, 보간 이미지를 획득할 수 있고, 즉, 보간 이미지는 트루 이미지와 트루가 아닌 이미지의 합성 이미지이며, 보간 이미지에서, 일부 트루 이미지를 포함하고, 일부 트루가 아닌 이미지도 포함한다. 예시에 있어서, 제2 트루 이미지 및 제2 생성 이미지에 대해 랜덤 비선형 보간을 수행하여, 상기 보간 이미지를 획득할 수 있고, 본 발명에서 보간 이미지의 획득 방식에 대해 한정하지 않는다.
한 가지 가능한 구현 방식에 있어서, 보간 이미지를 판별 네트워크에 입력하여, 보간 이미지의 제3 판별 분포를 획득할 수 있고, 즉, 판별 네트워크는 상기 트루 이미지와 트루가 아닌 이미지의 합성 이미지에 대해 판별 처리를 수행하여, 제3 판별 분포를 획득할 수 있다.
한 가지 가능한 구현 방식에 있어서, 제3 판별 분포를 이용하여 판별 네트워크의 네트워크 파라미터의 구배를 결정할 수 있고, 예를 들어, 보간 이미지의 타깃 확률 분포(예를 들어, 보간 이미지가 트루 이미지인 확률이 50%인 타깃 확률 분포를 나타낼 수 있음)를 기설정할 수 있고, 제3 판별 분포 및 타깃 확률 분포의 상대적 엔트로피를 이용하여 판별 네트워크의 네트워크 파라미터의 구배를 결정할 수 있다. 예를 들어, 제3 판별 분포 및 타깃 확률 분포의 상대적 엔트로피에 대해 역방향 전송을 수행하여, 상기 상대적 엔트로피와 판별 네트워크의 각 네트워크 파라미터의 편미분을 계산할 수 있음으로써, 네트워크 파라미터의 구배를 획득한다. 물론, 다른 가능한 구현 방식에 있어서, 제3 판별 분포 및 타깃 확률 분포의 JS 발산 등 다른 타입의 차이를 이용하여, 판별 네트워크의 파라미터 구배를 결정할 수도 있다.
한 가지 가능한 구현 방식에 있어서, 판별 네트워크의 네트워크 파라미터의 구배가 기설정된 구배 임계값보다 크거나 같으면, 제3 판별 분포에 따라 구배 징벌 파라미터를 결정할 수 있다. 구배 임계값은 구배를 한정하는 임계값일 수 있고, 구배가 비교적 크면, 훈련 과정에서, 구배의 저하 속도가 비교적 빠를 수 있으므로(즉, 훈련 단계가 크고, 네트워크 손실이 최소값에 가까워지는 속도가 비교적 빠름), 구배 임계값을 통해 구배를 한정할 수 있다. 예시에 있어서, 구배 임계값은 10, 20 등으로 설정할 수 있고, 본 발명에서 구배 임계값에 대해 한정하지 않는다.
예시에 있어서, 구배 징벌 파라미터를 통해 구배 임계값을 초과하는 네트워크 파라미터의 구배를 조정하거나, 구배 저하 속도를 한정하여, 상기 파라미터의 구배가 부드러워지도록 하며, 구배 저하 속도가 느려지도록 한다. 예를 들어, 제3 판별 분포의 소망값에 따라 구배 징벌 파라미터를 결정할 수 있다. 구배 징벌 파라미터는 구배 저하에 대한 보상 파라미터일 수 있고, 예를 들어, 구배 징벌 파라미터를 통해 편미분의 적을 조정할 수 있거나, 구배 징벌 파라미터를 통해 구배 저하의 방향을 변경시켜, 구배를 한정할 수 있음으로써, 판별 네트워크의 네트워크 파라미터의 구배 저하 속도를 감소시키고, 판별 네트워크의 구배 저하가 지나치게 빠름으로 인해, 판별 네트워크가 지나치게 빨리 수렴(즉, 훈련이 지나치게 빠르게 완료됨)되는 것을 방지한다. 예시에 있어서, 제3 판별 분포는 확률 분포이고, 상기 확률 분포의 소망값을 계산할 수 있고, 소망값에 따라 상기 구배 징벌 파라미터를 결정할 수 있으며, 예를 들어, 상기 소망값을 네트워크 파라미터의 편미분의 적으로 결정할 수 있으며, 즉, 소망값을 구배 징벌 파라미터로 결정하고, 구배 징벌 파라미터를 구배의 적으로 사용하며, 본 발명에서 구배 징벌 파라미터의 결정 방식에 대해 한정하지 않는다.
한 가지 가능한 구현 방식에 있어서, 제1 네트워크 손실 및 구배 징벌 파라미터에 따라, 판별 네트워크의 네트워크 파라미터를 조정할 수 있다. 즉, 제1 네트워크 손실에 대해 역방향 전송을 수행하여 구배를 저하시키는 과정에서, 구배 징벌 파라미터를 추가하여, 판별 네트워크의 네트워크 파라미터를 조정하는 동시에, 구배 저하가 지나치게 빠른 것을 방지하며, 즉, 판별 네트워크가 훈련을 지나치게 빠르게 완료하는 것을 방지한다. 예를 들어, 구배 징벌 파라미터를 편미분의 적, 즉 구배의 적으로 사용할 수 있어, 구배 저하 속도를 늦추므로, 판별 네트워크가 훈련을 지나치게 빠르게 완료하는 것을 방지한다.
한 가지 가능한 구현 방식에 있어서, 판별 네트워크의 네트워크 파라미터의 구배가 기설정된 구배 임계값보다 작으면, 제1 네트워크 손실에 따라 판별 네트워크의 네트워크 파라미터를 조정할 수 있고, 즉, 제1 네트워크 손실에 대해 역방향 전송을 수행하여 구배가 저하되도록 하여, 제1 네트워크 손실이 감소되도록 한다.
한 가지 가능한 구현 방식에 있어서, 판별 네트워크의 네트워크 파라미터를 조정할 경우, 판별 네트워크의 구배가 구배 임계값보다 크거나 같은지 여부를 점검하여, 판별 네트워크의 구배가 구배 임계값보다 크거나 같은 경우에 구배 징벌 파라미터를 설정한다. 판별 네트워크의 구배를 점검하지 않고, 다른 방식을 통해 판별 네트워크의 훈련 진척(예를 들어, 판별 네트워크의 네트워크 파라미터의 조정을 스탑하고, 생성 네트워크의 네트워크 파라미터만 조정하는 것 등)을 제어할 수도 있다.
이러한 방식을 통해, 판별 네트워크의 네트워크 파라미터의 구배가 구배 임계값보다 크거나 같은지 여부를 검출하는 것을 통해, 판별 네트워크가 훈련에서의 구배 저하 속도를 한정할 수 있음으로써, 판별 네트워크의 훈련 진척을 한정하고, 판별 네트워크의 구배 소거 발생 확률을 감소시킬 수 있음으로써, 생성 네트워크를 지속적으로 최적화시킬 수 있고, 생성 네트워크의 성능을 향상시켜, 생성 네트워크의 생성 이미지의 진실감 정도가 높아지도록 하고, 고화질 이미지를 생성하는데 적용하도록 한다.
한 가지 가능한 구현 방식에 있어서, 제2 네트워크 손실에 따라 생성 네트워크의 네트워크 파라미터를 조정할 수 있고, 예를 들어, 제2 네트워크 손실에 대해 역방향 전송을 수행하여 구배가 저하되도록 하여, 제2 네트워크 손실이 감소되도록 하여, 생성 네트워크의 성능을 향상시킨다.
한 가지 가능한 구현 방식에 있어서, 판별 네트워크 및 생성 네트워크를 적대적 훈련하여, 제1 네트워크 손실을 통해 판별 네트워크의 네트워크 파라미터를 조정할 경우, 생성 네트워크의 네트워크 파라미터가 변하지 않도록 유지하며, 제2 네트워크 손실을 통해 생성 네트워크의 네트워크 파라미터를 조정할 경우, 판별 네트워크의 네트워크 파라미터가 변하지 않도록 유지한다. 판별 네트워크 및 생성 네트워크가 훈련 조건을 만족할 때까지, 상기 훈련 과정을 반복 실행할 수 있고, 예시에 있어서, 상기 훈련 조건은 판별 네트워크 및 생성 네트워크가 밸런스 상태에 달성하는 것을 포함하며, 예를 들어, 판별 네트워크 및 생성 네트워크의 네트워크 손실은 기설정된 임계값보다 작거나 같으며, 또는 기설정된 구간에 수렴된다. 또는, 상기 훈련 조건은 이하 두 개의 조건이 밸런스 상태에 달성하는 것을 포함한다. 첫 번째에 있어서, 생성 네트워크의 네트워크 손실은 기설정된 임계값보다 작거나 같으며 또는 기설정된 구간에 수렴되는 것이며, 두 번째에 있어서, 판별 네트워크에 의해 출력된 판별 분포가 나타낸 입력 이미지가 트루 이미지인 확률이 최대되는 것이다. 이때, 판별 네트워크의 트루 이미지 및 생성 이미지를 분별하는 능력은 비교적 강하고, 생성 네트워크에 의해 생성된 이미지의 품질이 비교적 높으며, 진실감이 비교적 높다.
한 가지 가능한 구현 방식에 있어서, 판별 네트워크의 구배가 구배 임계값보다 크거나 같은지 여부를 판별하는 것 외에, 또한 판별 네트워크의 훈련 진척을 제어하는 방식을 통해, 판별 네트워크에서 구배가 제거되는 확률을 감소시킬 수 있다.
한 가지 가능한 구현 방식에 있어서, 임의의 훈련 주기가 종료된 후, 판별 네트워크 및 생성 네트워크의 훈련 진척을 검사할 수 있다. 구체적으로, 단계 S15는, 과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터를 현재 훈련 주기의 생성 네트워크에 입력하여, 적어도 하나의 제3 생성 이미지를 획득하는 단계; 상기 과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터에 대응되는 제1 생성 이미지, 적어도 하나의 상기 제3 생성 이미지 및 적어도 하나의 트루 이미지를 현재 훈련 주기의 판별 네트워크에 각각 입력하여, 적어도 하나의 제1 생성 이미지의 제4 판별 분포, 적어도 하나의 제3 생성 이미지의 제5 판별 분포 및 적어도 하나의 트루 이미지의 제6 판별 분포를 각각 획득하는 단계; 상기 제4 판별 분포, 상기 제5 판별 분포 및 상기 제6 판별 분포에 따라 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터를 결정하는 단계; 및 상기 훈련 진척 파라미터가 훈련 진척 임계값보다 작거나 같을 경우, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 것을 중지하고, 상기 생성 네트워크의 네트워크 파라미터만 조정하는 단계를 포함할 수 있다.
한 가지 가능한 구현 방식에 있어서, 훈련 과정에서 경험 버퍼(experience buffer)와 같은 하나의 버퍼를 개척할 수 있고, 상기 버퍼에서, 적어도 하나(예를 들어, m 개, M은 양의 정수임)의 과거 훈련 주기의 제1 랜덤 벡터 및 상기 m 개의 과거 훈련 주기에서 생성 네트워크가 제1 랜덤 벡터에 따라 생성한 m 개의 제1 생성 이미지를 저장할 수 있으며, 즉, 각 과거 훈련 주기는 하나의 제1 랜덤 벡터를 통해 하나의 제1 생성 이미지를 생성할 수 있으며, 버퍼에서, m 개의 과거 훈련 주기의 제1 랜덤 벡터 및 생성된 m 개의 제1 생성 이미지를 저장할 수 있다. 훈련의 진행에 따라, 훈련 주기수가 M을 초과할 경우, 최신의 훈련 주기의 제1 랜덤 벡터 및 제1 생성 이미지를 사용하여 가장 먼저 버퍼에 저장된 제1 랜덤 벡터 및 제1 생성 이미지를 대체할 수 있다.
한 가지 가능한 구현 방식에 있어서, 과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터를 현재 훈련 주기의 생성 네트워크에 입력하여, 적어도 하나의 제3 생성 이미지를 획득할 수 있고, 예를 들어, 버퍼에서의 m(m은 M보다 작거나 같고, m은 양의 정수임) 개의 제1 랜덤 벡터를 현재 훈련 주기의 생성 네트워크에 입력하여, m 개의 제3 생성 이미지를 획득할 수 있다.
한 가지 가능한 구현 방식에 있어서, 현재 훈련 주기의 판별 네트워크를 통해 각각 m 개의 제3 생성 이미지에 대해 판별 처리를 수행하여, m 개의 제5 판별 분포를 획득할 수 있다. 현재 훈련 주기의 판별 네트워크를 통해 각각 m 개의 과거 훈련 주기의 제1 생성 이미지에 대해 판별 처리를 수행하여, m 개의 제4 판별 분포를 획득할 수 있다. 또한 데이터베이스로부터 랜덤 샘플링하여 m 개의 트루 이미지를 얻을 수 있고, 현재 훈련 주기의 판별 네트워크를 통해 각각 m 개의 트루 이미지에 대해 판별 처리를 수행하여, m 개의 제6 판별 분포를 획득할 수 있다.
한 가지 가능한 구현 방식에 있어서, m 개의 제4 판별 분포, m 개의 제5 판별 분포 및 m 개의 제6 판별 분포에 따라 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터를 결정할 수 있고, 즉, 판별 네트워크의 훈련 진척이 생성 네트워크보다 뚜렷하게 앞서 가는지 여부를 결정하며, 뚜렷하게 앞서 가는 것으로 결정된 경우, 생성 네트워크의 훈련 진척 파라미터를 조정하여, 생성 네트워크의 훈련 진척을 향상시키고, 판별 네트워크 및 생성 네트워크의 훈련 진척 차이를 감소시키며, 즉, 판별 네트워크의 훈련을 스탑하고, 생성 네트워크를 독립적으로 훈련하여, 생성 네트워크의 진척 파라미터가 향상되도록 하여, 진척이 빨라진다.
한 가지 가능한 구현 방식에 있어서, 상기 제4 판별 분포, 상기 제5 판별 분포 및 상기 제6 판별 분포에 따라 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터를 결정하는 단계는, 적어도 하나의 상기 제4 판별 분포의 제1 소망값, 적어도 하나의 상기 제5 판별 분포의 제2 소망값 및 적어도 하나의 상기 제6 판별 분포의 제3 소망값을 각각 획득하는 단계; 적어도 하나의 상기 제1 소망값의 제1 평균값, 적어도 하나의 상기 제2 소망값의 제2 평균값 및 적어도 하나의 상기 제3 소망값의 제3 평균값을 각각 획득하는 단계; 상기 제3 평균값과 상기 제2 평균값의 제1 차이값 및 상기 제2 평균값과 상기 제1 평균값의 제2 차이값을 결정하는 단계; 및 상기 제1 차이값과 상기 제2 차이값의 비례값을 상기 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터로 결정하는 단계를 포함한다.
한 가지 가능한 구현 방식에 있어서, m 개의 제4 판별 분포의 소망값을 각각 계산하여, m 개의 제1 소망값을 획득할 수 있고, m 개의 제5 판별 분포의 소망값을 각각 계산하여, m 개의 제2 소망값을 획득할 수 있으며, m 개의 제6 판별 분포의 소망값을 각각 계산하여, m 개의 제3 소망값을 획득할 수 있다. 더 나아가, m 개의 제1 소망값에 대해 평균 처리를 수행하여, 제1 평균값(SB)을 획득할 수 있고, m 개의 제2 소망값에 대해 평균 처리를 수행하여, 제2 평균값(SG)을 획득할 수 있으며, m 개의 제3 소망값에 대해 평균 처리를 수행하여, 제3 평균값(SR)을 획득할 수 있다.
한 가지 가능한 구현 방식에 있어서, 제3 평균값과 제2 평균값의 제1 차이값(SR-SG)을 결정할 수 있고, 제2 평균값과 제1 평균값의 제2 차이값(SG-SB)을 결정할 수 있다. 더 나아가, 제1 차이값과 제2 차이값의 비례값(SR-SG)/(SG-SB)을 상기 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터로 결정할 수 있다. 다른 예시에 있어서, 또한 기설정된 훈련 횟수를 생성 네트워크의 훈련 진척 파라미터로 사용할 수 있고, 예를 들어, 생성 네트워크 및 판별 네트워크가 100 회 공동으로 훈련할 때마다, 판별 네트워크의 훈련을 스탑하도록 하고, 생성 네트워크를 50 회 독립적으로 훈련한 다음, 생성 네트워크 및 판별 네트워크가 100 회 공동으로 훈련하도록 하고......생성 네트워크 및 판별 네트워크가 훈련 조건을 만족할 때까지 계속한다.
한 가지 가능한 구현 방식에 있어서, 훈련 진척 임계값을 설정할 수 있고, 상기 훈련 진척 임계값이 생성 네트워크 훈련 진척을 결정하는 임계값이고, 훈련 진척 파라미터가 훈련 진척 임계값보다 작거나 같으면, 판별 네트워크의 훈련 진척이 생성 네트워크보다 뚜렷하게 앞서 나간 것을 나타내며, 즉, 생성 네트워크의 훈련 진척이 비교적 늦으므로, 판별 네트워크의 네트워크 파라미터를 조정하는 것을 스탑할 수 있으며, 생성 네트워크의 네트워크 파라미터만 조정한다. 예시에 있어서, 다음의 훈련 주기에서, 훈련 진척 파라미터가 훈련 진척 임계값보다 커질 때까지, 이상의 판별 네트워크 및 생성 네트워크의 훈련 진척을 검사하는 것을 반복 수행하므로, 판별 네트워크 및 생성 네트워크의 네트워크 파라미터를 동시에 조정할 수 있고, 즉, 생성 네트워크의 훈련 진척이 판별 네트워크의 훈련 진척에 접근할 때까지, 판별 네트워크의 훈련을 적어도 하나의 훈련 주기동안 스탑하도록 하여, 생성 네트워크(즉, 제3 네트워크 손실에만 따라 생성 네트워크의 네트워크 파라미터를 조정하고, 판별 네트워크의 네트워크 파라미터가 변하지 않도록 유지함)만 훈련한 다음, 생성 네트워크 및 판별 네트워크를 적대적 훈련한다.
다른 구현 방식에 있어서, 훈련 진척 파라미터가 훈련 진척 임계값보다 작거나 같을 경우, 훈련 진척 파라미터가 훈련 진척 임계값보다 커질때 까지, 판별 네트워크의 훈련 주기를 연장하거나 판별 네트워크의 구배 저하 속도를 감소시키는 등과 같은 판별 네트워크의 훈련 속도를 감소시킬 수도 있으므로, 판별 네트워크의 훈련 속도를 회복할 수 있다.
이러한 방식을 통해, 판별 네트워크 및 생성 네트워크의 훈련 진척을 검사하는 것을 통해, 판별 네트워크가 훈련에서의 구배 저하 속도를 한정할 수 있음으로써, 판별 네트워크의 훈련 진척을 한정하고, 판별 네트워크의 구배 소거 발생 확률을 감소시킬 수 있음으로써, 생성 네트워크를 지속적으로 최적화시킬 수 있고, 생성 네트워크의 성능을 향상시켜, 생성 네트워크의 생성 이미지의 진실감 정도가 높아지도록 하고, 고화질 이미지를 생성하는데 적용하도록 한다.
한 가지 가능한 구현 방식에 있어서, 생성 네트워크 및 판별 네트워크의 적대적 훈련이 완료된 후, 즉, 생성 네트워크 및 판별 네트워크의 성능이 비교적 좋을 경우, 생성 네트워크를 사용하여 이미지를 생성할 수 있으며, 생성된 이미지의 진실감은 비교적 높다.
본 발명은 이미지 생성 방법을 더 제공하여, 상기 훈련 완료된 생성적 적대 네트워크를 사용하여 이미지를 생성한다.
본 발명의 일부 실시예에 있어서, 이미지 생성 방법은, 제3 랜덤 벡터를 획득하는 단계; 및 제3 랜덤 벡터를 상기 신경 네트워크 훈련 방법에 입력하여 훈련한 후 획득된 생성 네트워크에 입력하여 처리함으로써, 타깃 이미지를 획득하는 단계를 포함한다.
예시에 있어서, 랜덤 샘플링 등 방식을 통해 제3 랜덤 벡터를 획득할 수 있고, 제3 랜덤 벡터를 훈련된 생성 네트워크에 입력할 수 있다. 생성 네트워크는 진실감이 비교적 높은 타깃 이미지를 출력할 수 있다. 예시에 있어서, 상기 타깃 이미지는 고화질 이미지일 수 있고, 즉, 훈련된 생성 네트워크는 진실감이 비교적 높은 고화질 이미지를 생성하는데 적용될 수 있다.
본 발명의 실시예에 따른 신경 네트워크 훈련 방법에 있어서, 판별 네트워크는 입력 이미지에 대한 판별 분포를 출력할 수 있고, 분포의 형태로 입력 이미지의 진실성을 설명할 수 있으며, 복수 개의 측면으로부터 입력 이미지의 진실성을 판단하므로, 정보 손실을 감소시켜, 신경 네트워크의 훈련에 더욱 포괄적인 감독 정보 및 더욱 정확한 훈련 방향을 제공하고, 훈련 정밀도를 향상시키며, 생성 이미지의 품질을 향상시켜, 생성 네트워크가 고화질 이미지를 생성하는데 적용될 수 있도록 한다. 또한 생성 이미지의 타깃 확률 분포 및 트루 이미지의 타깃 확률 분포를 기설정하여 훈련 과정을 안내하고, 각각의 분포 손실을 각각 결정하며, 훈련 과정에서 트루 이미지 및 생성 이미지가 각각의 타깃 확률 분포에 접근하도록 유도하며, 트루 이미지 및 생성 이미지의 구분 정도를 증가시키며, 판별 네트워크가 트루 이미지 및 생성 이미지를 구분하는 능력을 증강시키며, 제1 판별 분포와 제2 판별 분포의 차이를 감소시키는 방식을 통해 생성 네트워크를 훈련하여, 판별 네트워크 성능이 향상되도록 하는 동시에, 생성 네트워크의 성능의 향상을 촉진하도록 함으로써, 진실감 정도가 비교적 높은 생성 이미지를 생성하여, 생성 네트워크가 고화질 이미지를 생성하는데 적용될 수 있도록 한다. 더 나아가, 또한 판별 네트워크의 네트워크 파라미터의 구배가 구배 임계값보다 크거나 같은지 여부를 검출하거나, 판별 네트워크 및 생성 네트워크의 훈련 진척을 검사하는 것을 통해, 판별 네트워크가 훈련에서의 구배 저하 속도를 한정할 수 있음으로써, 판별 네트워크의 훈련 진척을 한정하고, 판별 네트워크의 구배 소거 발생 확률을 감소시킬 수 있음으로써, 생성 네트워크를 지속적으로 최적화시킬 수 있고, 생성 네트워크의 성능을 향상시켜, 생성 네트워크의 생성 이미지의 진실감 정도가 높아지도록 하고, 고화질 이미지를 생성하는데 적용하도록 한다.
도 2는 본 발명의 실시예에 따른 신경 네트워크 훈련 방법의 응용 예시도이고, 도 2에 도시된 바와 같이, 제1 랜덤 벡터를 생성 네트워크에 입력할 수 있으며, 생성 네트워크는 제1 생성 이미지를 출력할 수 있다. 판별 네트워크는 제1 생성 이미지 및 제1 트루 이미지에 대해 각각 판별 처리를 수행하여, 제1 생성 이미지의 제1 판별 분포 및 제1 트루 이미지의 제2 판별 분포를 획득할 수 있다.
한 가지 가능한 구현 방식에 있어서, 생성 이미지의 앵커 분포(즉, 제1 타깃 분포) 및 트루 이미지의 앵커 분포(즉, 제2 타깃 분포)를 기설정할 수 있다. 제1 판별 분포 및 제1 타깃 분포에 따라, 제1 생성 이미지에 대응되는 제1 분포 손실을 결정할 수 있다. 또한 제2 판별 분포 및 제2 타깃 분포에 따라, 제1 트루 이미지에 대응되는 제2 분포 손실을 결정할 수 있다. 더 나아가, 제1 분포 손실 및 제2 분포 손실을 통해 판별 네트워크의 제1 네트워크 손실을 결정할 수 있다.
한 가지 가능한 구현 방식에 있어서, 제1 판별 분포 및 제2 판별 분포를 통해 생성 네트워크의 제2 네트워크 손실을 결정할 수 있다. 더 나아가, 제1 네트워크 손실 및 제2 네트워크 손실을 통해 생성 네트워크 및 판별 네트워크를 적대적 훈련할 수 있다. 즉, 제1 네트워크 손실을 통해 판별 네트워크의 네트워크 파라미터를 조정하고, 제2 네트워크 손실을 통해 생성 네트워크의 네트워크 파라미터를 조정한다.
한 가지 가능한 구현 방식에 있어서, 판별 네트워크의 훈련 진척은 일반적으로 생성 네트워크보다 더욱 빠르고, 판별 네트워크가 미리 훈련 완료되어 구배가 제거되는 확률을 감소시킴으로써, 생성 네트워크가 계속하여 최적화되지 못하도록 초래한다. 판별 네트워크의 구배를 검출하는 것을 통해, 판별 네트워크의 훈련 진척을 제어할 수 있고, 예시에 있어서, 한 장의 트루 이미지 및 생성 이미지를 보간할 수 있고, 판별 네트워크를 통해 상기 보간 이미지의 제3 판별 분포를 결정할 수 있음으로써, 제3 판별 분포의 소망값에 따라 구배 징벌 파라미터를 결정하며, 판별 네트워크의 구배가 기설정된 구배 임계값보다 크거나 같으면, 판별 네트워크의 구배 저하가 지나치게 빠른 것을 방지하기 위해, 판별 네트워크가 지나치게 빠르게 훈련 완료되는 것을 초래하며, 제1 네트워크 손실에 대해 역방향 전송을 수행하여 구배를 저하시키도록 하는 과정에서, 구배 징벌 파라미터를 추가하여, 판별 네트워크의 구배 저하 속도를 한정할 수 있다.
한 가지 가능한 구현 방식에 있어서, 또한 판별 네트워크 및 생성 네트워크의 훈련 진척을 검사할 수 있고, 예를 들어, m 개의 과거 훈련 주기 중 입력 생성 네트워크의 m 개의 제1 랜덤 벡터를 현재 훈련 주기의 생성 네트워크에 입력하여, m 개의 제3 생성 이미지를 획득할 수 있다. 또한 m 개의 과거 훈련 주기동안 생성된 제1 생성 이미지, m 개의 제3 생성 이미지 및 m 개의 트루 이미지에 따라 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터를 결정한다. 훈련 진척 파라미터가 훈련 진척 임계값보다 작거나 같으면, 판별 네트워크의 훈련 진척이 생성 네트워크보다 뚜렷하게 앞서 나간 것을 나타내며, 판별 네트워크의 네트워크 파라미터를 조정하는 것을 스탑할 수 있으며, 생성 네트워크의 네트워크 파라미터만 조정한다. 또한 다음의 훈련 주기에서, 훈련 진척 파라미터가 훈련 진척 임계값보다 커질 때까지, 이상의 판별 네트워크 및 생성 네트워크의 훈련 진척을 검사하는 것을 반복 수행하며, 판별 네트워크 및 생성 네트워크의 네트워크 파라미터를 동시에 조정할 수 있으며, 즉, 판별 네트워크의 훈련을 적어도 하나의 훈련 주기 동안 스탑하도록 하여, 생성 네트워크만 훈련한다.
한 가지 가능한 구현 방식에 있어서, 생성 네트워크 및 판별 네트워크의 적대적 훈련이 완료된 후, 생성 네트워크를 사용하여 타깃 이미지를 생성할 수 있고, 타깃 이미지는 진실감이 비교적 높은 고화질 이미지일 수 있다.
한 가지 가능한 구현 방식에 있어서, 상기 신경 네트워크 훈련 방법은 적대적 생성의 안정성, 생성 이미지의 품질 및 진실감을 증강시킬 수 있다. 게임 중 시나리오의 생성 또는 합성, 이미지 스타일의 시프트 또는 전환, 및 이미지 클러스터링 등 시나리오에 적용될 수 있고, 본 발명에서 상기 신경 네트워크 훈련 방법의 사용 시나리오를 한정하지 않는다.
도 3은 본 발명의 실시예에 따른 신경 네트워크 훈련 장치의 블록도이고, 도 3에 도시된 바와 같이, 상기 장치는,
제1 랜덤 벡터를 생성 네트워크에 입력하여, 제1 생성 이미지를 획득하기 위한 생성 모듈(11);
상기 제1 생성 이미지 및 제1 실제 이미지를 판별 네트워크에 각각 입력하여, 상기 제1 생성 이미지의 제1 판별 분포와 제1 실제 이미지의 제2 판별 분포를 각각 획득하기 위한 판별 모듈(12) - 상기 제1 판별 분포는 상기 제1 생성 이미지의 진실 정도의 확률 분포를 나타내고, 상기 제2 판별 분포는 상기 제1 실제 이미지의 진실 정도의 확률 분포를 나타냄 - ;
상기 제1 판별 분포, 상기 제2 판별 분포, 기설정된 제1 타깃 분포 및 기설정된 제2 타깃 분포에 따라, 상기 판별 네트워크의 제1 네트워크 손실을 결정하기 위한 제1 결정 모듈(13) - 상기 제1 타깃 분포는 생성 이미지의 타깃 확률 분포이고, 상기 제2 타깃 분포는 실제 이미지의 타깃 확률 분포임 - ;
상기 제1 판별 분포 및 상기 제2 판별 분포에 따라, 상기 생성 네트워크의 제2 네트워크 손실을 결정하기 위한 제2 결정 모듈(14); 및
상기 제1 네트워크 손실 및 상기 제2 네트워크 손실에 따라, 상기 생성 네트워크 및 상기 판별 네트워크를 적대적 훈련하기 위한 훈련 모듈(15)을 포함한다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 결정 모듈은 더 나아가,
상기 제1 판별 분포 및 상기 제1 타깃 분포에 따라, 상기 제1 생성 이미지의 제1 분포 손실을 결정하고;
상기 제2 판별 분포 및 상기 제2 타깃 분포에 따라, 상기 제1 트루 이미지의 제2 분포 손실을 결정하며;
상기 제1 분포 손실 및 상기 제2 분포 손실에 따라, 상기 제1 네트워크 손실을 결정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 결정 모듈은 더 나아가,
상기 제1 판별 분포를 상기 제1 타깃 분포의 지원 세트에 맵핑하여, 제1 맵핑 분포를 획득하고;
상기 제1 맵핑 분포와 상기 제1 타깃 분포의 제1 상대적 엔트로피를 결정하며;
상기 제1 상대적 엔트로피에 따라, 상기 제1 분포 손실을 결정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 결정 모듈은 더 나아가,
상기 제2 판별 분포를 상기 제2 타깃 분포의 지원 세트에 맵핑하여, 제2 맵핑 분포를 획득하고;
상기 제2 맵핑 분포와 상기 제2 타깃 분포의 제2 상대적 엔트로피를 결정하며;
상기 제2 상대적 엔트로피에 따라, 상기 제2 분포 손실을 결정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 제1 결정 모듈은 더 나아가,
상기 제1 분포 손실 및 상기 제2 분포 손실에 대해 가중 합산 처리를 수행하여, 상기 제1 네트워크 손실을 획득하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 제2 결정 모듈은 더 나아가,
상기 제1 판별 분포와 상기 제2 판별 분포의 제3 상대적 엔트로피를 결정하고;
상기 제3 상대적 엔트로피에 따라, 상기 제2 네트워크 손실을 결정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 훈련 모듈은 더 나아가,
상기 제1 네트워크 손실에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하고;
상기 제2 네트워크 손실에 따라, 상기 생성 네트워크의 네트워크 파라미터를 조정하며;
상기 판별 네트워크 및 상기 생성 네트워크가 훈련 조건을 만족하는 경우, 훈련된 상기 생성 네트워크 및 상기 판별 네트워크를 획득하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 훈련 모듈은 더 나아가,
제2 랜덤 벡터를 생성 네트워크에 입력하여, 제2 생성 이미지를 획득하고;
상기 제2 생성 이미지에 따라 제2 트루 이미지에 대해 보간 처리를 수행하여, 보간 이미지를 획득하며;
상기 보간 이미지를 상기 판별 네트워크에 입력하여, 상기 보간 이미지의 제3 판별 분포를 획득하며;
상기 제3 판별 분포에 따라, 상기 판별 네트워크의 네트워크 파라미터의 구배를 결정하며;
상기 구배가 구배 임계값보다 크거나 같을 경우, 상기 제3 판별 분포에 따라 구배 징벌 파라미터를 결정하며;
상기 제1 네트워크 손실 및 상기 구배 징벌 파라미터에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 훈련 모듈은 더 나아가,
과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터를 현재 훈련 주기의 생성 네트워크에 입력하여, 적어도 하나의 제3 생성 이미지를 획득하고;
상기 과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터에 대응되는 제1 생성 이미지, 적어도 하나의 상기 제3 생성 이미지 및 적어도 하나의 트루 이미지를 현재 훈련 주기의 판별 네트워크에 각각 입력하여, 적어도 하나의 제1 생성 이미지의 제4 판별 분포, 적어도 하나의 제3 생성 이미지의 제5 판별 분포 및 적어도 하나의 트루 이미지의 제6 판별 분포를 각각 획득하며;
상기 제4 판별 분포, 상기 제5 판별 분포 및 상기 제6 판별 분포에 따라 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터를 결정하며;
상기 훈련 진척 파라미터가 훈련 진척 임계값보다 작거나 같을 경우, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 것을 중지하고, 상기 생성 네트워크의 네트워크 파라미터만 조정하도록 구성된다.
한 가지 가능한 구현 방식에 있어서, 상기 훈련 모듈은 더 나아가,
적어도 하나의 상기 제4 판별 분포의 제1 소망값, 적어도 하나의 상기 제5 판별 분포의 제2 소망값 및 적어도 하나의 상기 제6 판별 분포의 제3 소망값을 각각 획득하고;
적어도 하나의 상기 제1 소망값의 제1 평균값, 적어도 하나의 상기 제2 소망값의 제2 평균값 및 적어도 하나의 상기 제3 소망값의 제3 평균값을 각각 획득하며;
상기 제3 평균값과 상기 제2 평균값의 제1 차이값 및 상기 제2 평균값과 상기 제1 평균값의 제2 차이값을 결정하며;
상기 제1 차이값과 상기 제2 차이값의 비례값을 상기 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터로 결정하도록 구성된다.
본 발명은 이미지 생성 장치를 더 제공하여, 상기 훈련 완료된 생성적 적대 네트워크를 사용하여 이미지를 생성한다.
본 발명의 일부 실시예에 있어서, 이미지 생성 장치는,
제3 랜덤 벡터를 획득하기 위한 취득 모듈; 및
상기 제3 랜덤 벡터를 훈련한 후 획득된 생성 네트워크에 입력하여 처리하여, 타깃 이미지를 획득하기 위한 획득 모듈을 포함한다.
이해할 수 있는 것은, 본 발명에서 언급한 상기 각 방법 실시예는, 원리 논리를 위반하지 않는 한, 상호 결합되어 결합된 실시예를 형성할 수 있고, 편폭의 제한으로, 본 발명에서 더이상 반복하여 설명하지 않는다.
또한, 본 발명은 신경 네트워크 훈련 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램을 더 제공하고, 상기 분배 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램은 모두 본 발명에서 제공한 어느 하나의 신경 네트워크 훈련 방법을 구현하는데 사용될 수 있으며, 상응하는 기술방안 및 설명 및 참조 방법 부분의 상응하는 기재는, 여기서 더이상 반복하여 설명하지 않는다. 본 분야의 기술자는 구체적인 실시형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다. 일부 실시예에 있어서, 본 발명의 실시예에서 제공한 장치가 갖고 있는 기능 또는 포함하는 모듈은 전술한 방법 실시예에서 설명한 방법을 실행하는데 사용될 수 있고, 그 구체적인 구현은 전술한 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해, 여기서 더이상 반복하여 설명하지 않는다.
본 발명의 실시예는 또한 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 경우 상기 방법을 구현한다. 컴퓨터 판독 가능한 저장 매체는 휘발성 컴퓨터 판독 가능한 저장 매체 또는 비휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.
본 발명의 실시예는 또한 전자 기기를 제공하고, 상기 전자 기기는 프로세서; 및 프로세서 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며; 여기서, 상기 프로세서는 상기 방법을 실행하도록 구성된다. 전자 기기는 단말, 서버 또는 다른 형태의 기기로 제공될 수 있다.
도 4은 일 예시적 실시예에 따라 도시한 전자 기기(800)의 블록도이다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대용 단말 등 단말일 수 있다.
도 4를 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.
처리 컴포넌트(802)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(800)의 전체적인 동작을 제어한다. 처리 컴포넌트(802)는, 상기 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 실행하는 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 상호 작용을 용이하게 하기 위해, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 상호 작용을 용이하게 하기 위해, 멀티미디어 모듈을 포함할 수 있다.
메모리(804)는 전자 기기(800)의 동작을 지원하기 위해, 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 전자 기기(800)에서 동작하는 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 판독 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 판독 전용 메모리(Programmable Read Only Memory, PROM), 판독 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비 휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.
전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전력 관리 시스템, 하나 또는 복수 개의 전력 및 전자 기기(800)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.
멀티미디어 컴포넌트(808)는 상기 전자 기기(800) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 모니터(Liquid Crystal Display, LCD) 및 터치 패널(Touch Panel, TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 수 있을 뿐만 아니라, 상기 터치나 슬라이드 동작과 관련된 지속 시간 및 압력을 검출할 수도 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.
오디오 컴포넌트(810)는 오디오 신호를 출력하는 것 및 입력하는 것 중 적어도 하나를 수행하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크로폰(MICrophone, MIC)을 포함하며, 전자 기기(800)가 콜 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드에 있을 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 추가로 저장되거나 통신 컴포넌트(816)에 의해 전송될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.
I/O 인터페이스(812)는 처리 컴포넌트(802)와 외부 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.
센서 컴포넌트(814)는 전자 기기(800)를 위한 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있으며, 예를 들어, 상기 컴포넌트는 전자 기기(800)의 모니터와 키패드이며, 센서 컴포넌트(814)는 전자 기기(800) 또는 전자 기기(800)에서 하나의 컴포넌트의 위치 변화, 사용자와 전자 기기(800) 접촉의 존재 유무, 전자 기기(800) 방향 또는 가속/감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 그 어떤 물리적 접촉이 없이 근처의 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 이미징 애플리케이션에 사용하기 위한 상보성 금속 산화막 반도체(Complementary Metal Oxide Semiconductor, CMOS) 이미지 센서 또는 전하 결합 소자(Charged Coupled Device, CCD) 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.
통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 전자 기기(800)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 예시적 실시예에 있어서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 하나의 예시적 실시예에 있어서, 상기 통신 컴포넌트(816)는 근거리 통신을 추진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역 (Ultra Wideband, UWB) 기술, 블루투스 기술 및 다른 기술에 기반하여 구현될 수 있다.
예시적 실시예에 있어서, 전자 기기(800)는 하나 또는 복수 개의 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 장치(Digital Signal Processor Device, DSPD), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 전자 기기(800)는 상기 이미지 클러스터링 방법을 실행하기 위한 것이다.
예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(800)의 프로세서(820)에 의해 실행된다.
본 발명의 실시예는 또한 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품을 제공하고, 컴퓨터 판독 가능한 코드가 기기에서 작동될 경우, 기기에서의 프로세서는 전술한 어느 한 실시예에서 제공한 신경 네트워크 훈련 방법을 구현하기 위한 명령어를 실행한다.
본 발명의 실시예는 또한 컴퓨터 판독 가능한 명령어를 저장하기 위한 다른 컴퓨터 프로그램 제품을 제공하고, 명령어가 실행될 경우 컴퓨터가 전술한 어느 한 실시예에서 제공한 이미지 생성 방법의 동작을 실행하도록 한다.
상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합을 통해 구현될 수 있다. 선택 가능한 실시예에 있어서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로서 구체적으로 구현되며, 다른 선택 가능한 실시예에 있어서, 컴퓨터 프로그램 제품은 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로서 구체적으로 구현된다.
도 5은 일 예시적 실시예에 따라 도시한 전자 기기(1900)의 블록도이다. 예를 들어, 전자 기기(1900)는 하나의 서버로 제공될 수 있다. 도 5를 참조하면, 전자 기기(1900)는 처리 컴포넌트(1922)를 포함하고, 또한 하나 또는 복수 개의 프로세서 및 메모리(1932)로 대표되는 메모리 자원을 포함하고, 처리 컴포넌트(1922), 예를 들어 애플리케이션 프로그램에 의해 실행될 수 있는 명령어를 저장하기 위한 것이다. 메모리(1932)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각 명령어 세트에 대응되는 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1922)는 명령어를 실행하여, 상기 얼굴 인식 방법을 실행하도록 구성된다.
전자 기기(1900)는 전자 기기(1900)의 전원 관리를 실행하도록 구성된 하나의 전력 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1950) 및 하나의 입출력(I/O) 인터페이스(1958)를 더 포함할 수 있다. 전자 기기(1900)는 예를 들어 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것 등과 같은 메모리(1932)에 저장된 것에 기반한 운영 시스템을 조작할 수 있다.
예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(1932)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행된다.
본 발명은 시스템, 방법 및 컴퓨터 프로그램 제품 중 적어도 하나일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능한 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능한 저장 매체에는 프로세서가 본 발명의 각 측면을 구현하도록 하는 컴퓨터 판독 가능한 프로그램 명령어가 존재한다.
컴퓨터 판독 가능한 저장 매체는 명령어 실행 기기에 의해 사용되는 명령어를 유지 및 저장할 수 있는 형태가 존재하는 기기일 수 있다. 컴퓨터 판독 가능한 저장 매체는 예를 들어 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 전술한 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기의 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능한 저장 매체의 더 구체적인 예는(비제한 리스트), 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(Random Access Memory, RAM), 판독 전용 메모리(Read Only Memory, ROM) 및 소거 가능하고 프로그램 가능한 판독 전용 메모리((Erasable Programmable Read Only Memory, EPROM) 또는 플래시 메모리), 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 휴대용 컴팩트 디스크 판독 전용 메모리(Portable Compact Disk Read-Only Memory, CD-ROM), DVD (Digital Versatile Disk), 메모리 스틱, 플로피 디스크, 명령어가 저장된 장치와 같은 기계적 코딩 장치 홀 카드 또는 그루브에서의 볼록한 구조 및 전술한 임의의 적절한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능한 저장 매체는 무선 전자파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통한 광펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은 순간 신호 자체로 해석되지 않아야 한다.
여기서 설명한 컴퓨터 판독 가능한 프로그램 명령어는 컴퓨터 판독 가능한 저장 매체로부터 각 컴퓨팅/처리 기기로 다운 로드될 수 있거나, 인터넷, 근거리 통신망, 광역 통신망 및 무선 네트워크 중 적어도 하나와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운 로드될 수 있다. 네트워크는 동 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및 에지 서버 중 적어도 하나를 포함 할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능한 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능한 저장 매체에 저장하기 위해, 컴퓨터 판독 가능한 프로그램 명령어를 전달한다.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(Instruction Set Architecture, ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 객체 코드일 수 있고, 상기 프로그래밍 언어에는 스몰 토크, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 언어 또는 유사한 프로그래밍 언어와 같은 기존 프로그래밍 언어가 포함된다. 컴퓨터 판독 가능 프로그램 명령어는 사용자 컴퓨터에서 완전히 실행되거나, 사용자 컴퓨터에서 부분적으로 실행되거나, 독립적인 소프트웨어 패키지로서 실행되거나, 사용자 컴퓨터에서 일부가 실행되고 원격 컴퓨터에서 일부가 실행되거나, 원격 컴퓨터 또는 서버에서 완전히 실행될 수있다. 원격 컴퓨터와 관련된 상황에서 원격 컴퓨터는 근거리 통신망(Local Area Network, LAN) 또는 광대역 통신망(Wide Area Network, WAN)을 포함하는 모든 타입의 네트워크를 통해 사용자 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결). 일부 실시예에 있어서, 프로그램 가능한 논리 회로, 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 프로그램 가능한 논리 어레이 (Programmable Logic Array, PLA)와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 개인화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 실행할 수 있음으로써, 본 발명의 다양한 측면을 구현한다.
여기서 본 발명의 다양한 측면은 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 블록도 중 적어도 하나를 참조하여 설명하였다. 흐름도 및 블록도 중 적어도 하나의 각 블록 및 흐름도 및 블록도 중 적어도 하나의 블록들의 조합은, 컴퓨터 판독 가능 프로그램 명령어에 의해 모두 구현될 수 있음을 이해해야 한다.
이러한 컴퓨터 판독 가능한 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 제공 될 수 있음으로써, 이에 의해 이러한 명령어가 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 의해 실행되도록 하는 기계가 생성되고, 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 장치가 생성된다. 이러한 컴퓨터 판독 가능한 프로그램 명령어를 컴퓨터 판독 가능한 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그램 가능한 데이터 처리 장치 및 다른 기기가 특정한 방식으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능한 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 명령어를 포함한다.
컴퓨터 판독 가능한 프로그램 명령어는 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에 로딩될 수 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 수행되도록 함으로써, 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 실행되는 명령어는 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현한다.
도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 동작을 디스플레이한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 실행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 다른 순서로 발생될 수도 있다. 예를 들어, 두 개의 연속적인 블록은 트루로 병렬로 실행될 수 있으며, 때로는 관련 기능에 따라 역순으로 실행될 수도 있으며, 이는 관련된 기능에 의해 결정된다. 또한 유의해야 할 것은, 블록도 및 흐름도 중 적어도 하나에서의 각 블록, 및 블록도 및 흐름도 중 적어도 하나에서의 블록의 조합은, 지정된 기능 또는 동작의 전용 하드웨어 기반의 시스템에 의해 구현될 수 있거나, 전용 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.
이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 비철저하며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 한, 많은 수정 및 변경은 본 기술분야의 기술자에게는 자명한 것이다. 본 명세서에서 사용된 용어의 선택은 각 실시예의 원리, 트루 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 본 기술분야의 기술자가 본 명세서에 개시된 각 실시예를 이해할 수 있도록 의도된다.

Claims (25)

  1. 신경 네트워크 훈련 방법으로서,
    제1 랜덤 벡터를 생성 네트워크에 입력하여, 제1 생성 이미지를 획득하는 단계;
    상기 제1 생성 이미지 및 제1 트루 이미지를 판별 네트워크에 각각 입력하여, 상기 제1 생성 이미지의 제1 판별 분포와 제1 트루 이미지의 제2 판별 분포를 각각 획득하는 단계 - 상기 제1 판별 분포는 상기 제1 생성 이미지의 진실 정도의 확률 분포를 나타내고, 상기 제2 판별 분포는 상기 제1 트루 이미지의 진실 정도의 확률 분포를 나타냄 - ;
    상기 제1 판별 분포, 상기 제2 판별 분포, 기설정된 제1 타깃 분포 및 기설정된 제2 타깃 분포에 따라, 상기 판별 네트워크의 제1 네트워크 손실을 결정하는 단계 - 상기 제1 타깃 분포는 생성 이미지의 타깃 확률 분포이고, 상기 제2 타깃 분포는 트루 이미지의 타깃 확률 분포임 - ;
    상기 제1 판별 분포 및 상기 제2 판별 분포에 따라, 상기 생성 네트워크의 제2 네트워크 손실을 결정하는 단계; 및
    상기 제1 네트워크 손실 및 상기 제2 네트워크 손실에 따라, 상기 생성 네트워크 및 상기 판별 네트워크를 적대적 훈련하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
  2. 제1항에 있어서,
    상기 제1 판별 분포, 상기 제2 판별 분포, 기설정된 제1 타깃 분포 및 기설정된 제2 타깃 분포에 따라, 상기 판별 네트워크의 제1 네트워크 손실을 결정하는 단계는,
    상기 제1 판별 분포 및 상기 제1 타깃 분포에 따라, 상기 제1 생성 이미지의 제1 분포 손실을 결정하는 단계;
    상기 제2 판별 분포 및 상기 제2 타깃 분포에 따라, 상기 제1 트루 이미지의 제2 분포 손실을 결정하는 단계; 및
    상기 제1 분포 손실 및 상기 제2 분포 손실에 따라, 상기 제1 네트워크 손실을 결정하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
  3. 제2항에 있어서,
    상기 제1 판별 분포 및 상기 제1 타깃 분포에 따라, 상기 제1 생성 이미지의 제1 분포 손실을 결정하는 단계는,
    상기 제1 판별 분포를 상기 제1 타깃 분포의 지원 세트에 맵핑하여, 제1 맵핑 분포를 획득하는 단계;
    상기 제1 맵핑 분포와 상기 제1 타깃 분포의 제1 상대적 엔트로피를 결정하는 단계; 및
    상기 제1 상대적 엔트로피에 따라, 상기 제1 분포 손실을 결정하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
  4. 제2항에 있어서,
    상기 제2 판별 분포 및 상기 제2 타깃 분포에 따라, 상기 제1 트루 이미지의 제2 분포 손실을 결정하는 단계는,
    상기 제2 판별 분포를 상기 제2 타깃 분포의 지원 세트에 맵핑하여, 제2 맵핑 분포를 획득하는 단계;
    상기 제2 맵핑 분포와 상기 제2 타깃 분포의 제2 상대적 엔트로피를 결정하는 단계; 및
    상기 제2 상대적 엔트로피에 따라, 상기 제2 분포 손실을 결정하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
  5. 제2항에 있어서,
    상기 제1 분포 손실 및 상기 제2 분포 손실에 따라, 상기 제1 네트워크 손실을 결정하는 단계는,
    상기 제1 분포 손실 및 상기 제2 분포 손실에 대해 가중 합산 처리를 수행하여, 상기 제1 네트워크 손실을 획득하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제1 판별 분포 및 상기 제2 판별 분포에 따라, 상기 생성 네트워크의 제2 네트워크 손실을 결정하는 단계는,
    상기 제1 판별 분포와 상기 제2 판별 분포의 제3 상대적 엔트로피를 결정하는 단계; 및
    상기 제3 상대적 엔트로피에 따라, 상기 제2 네트워크 손실을 결정하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 네트워크 손실 및 상기 제2 네트워크 손실에 따라, 상기 생성 네트워크 및 상기 판별 네트워크를 적대적 훈련하는 단계는,
    상기 제1 네트워크 손실에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 단계;
    상기 제2 네트워크 손실에 따라, 상기 생성 네트워크의 네트워크 파라미터를 조정하는 단계; 및
    상기 판별 네트워크 및 상기 생성 네트워크가 훈련 조건을 만족하는 경우, 훈련된 상기 생성 네트워크 및 상기 판별 네트워크를 획득하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
  8. 제7항에 있어서,
    상기 제1 네트워크 손실에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 단계는,
    제2 랜덤 벡터를 생성 네트워크에 입력하여, 제2 생성 이미지를 획득하는 단계;
    상기 제2 생성 이미지에 따라 제2 트루 이미지에 대해 보간 처리를 수행하여, 보간 이미지를 획득하는 단계;
    상기 보간 이미지를 상기 판별 네트워크에 입력하여, 상기 보간 이미지의 제3 판별 분포를 획득하는 단계;
    상기 제3 판별 분포에 따라, 상기 판별 네트워크의 네트워크 파라미터의 구배를 결정하는 단계;
    상기 구배가 구배 임계값보다 크거나 같을 경우, 상기 제3 판별 분포에 따라 구배 징벌 파라미터를 결정하는 단계; 및
    상기 제1 네트워크 손실 및 상기 구배 징벌 파라미터에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 제1 네트워크 손실 및 상기 제2 네트워크 손실에 따라, 상기 생성 네트워크 및 상기 판별 네트워크를 적대적 훈련하는 단계는,
    과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터를 현재 훈련 주기의 생성 네트워크에 입력하여, 적어도 하나의 제3 생성 이미지를 획득하는 단계;
    상기 과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터에 대응되는 제1 생성 이미지, 적어도 하나의 상기 제3 생성 이미지 및 적어도 하나의 트루 이미지를 현재 훈련 주기의 판별 네트워크에 각각 입력하여, 적어도 하나의 제1 생성 이미지의 제4 판별 분포, 적어도 하나의 제3 생성 이미지의 제5 판별 분포 및 적어도 하나의 트루 이미지의 제6 판별 분포를 각각 획득하는 단계;
    상기 제4 판별 분포, 상기 제5 판별 분포 및 상기 제6 판별 분포에 따라 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터를 결정하는 단계; 및
    상기 훈련 진척 파라미터가 훈련 진척 임계값보다 작거나 같을 경우, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 것을 중지하고, 상기 생성 네트워크의 네트워크 파라미터만 조정하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
  10. 제9항에 있어서,
    상기 제4 판별 분포, 상기 제5 판별 분포 및 상기 제6 판별 분포에 따라 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터를 결정하는 단계는,
    적어도 하나의 상기 제4 판별 분포의 제1 소망값, 적어도 하나의 상기 제5 판별 분포의 제2 소망값 및 적어도 하나의 상기 제6 판별 분포의 제3 소망값을 각각 획득하는 단계;
    적어도 하나의 상기 제1 소망값의 제1 평균값, 적어도 하나의 상기 제2 소망값의 제2 평균값 및 적어도 하나의 상기 제3 소망값의 제3 평균값을 각각 획득하는 단계;
    상기 제3 평균값과 상기 제2 평균값의 제1 차이값 및 상기 제2 평균값과 상기 제1 평균값의 제2 차이값을 결정하는 단계; 및
    상기 제1 차이값과 상기 제2 차이값의 비례값을 상기 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터로 결정하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
  11. 이미지 생성 방법으로서,
    제3 랜덤 벡터를 획득하는 단계; 및
    상기 제3 랜덤 벡터를 제1항 내지 제10항 중 어느 한 항에 따른 신경 네트워크 훈련 방법에 따라 훈련한 후 획득된 생성 네트워크에 입력하여 처리함으로써, 타깃 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 생성 방법.
  12. 신경 네트워크 훈련 장치로서,
    제1 랜덤 벡터를 생성 네트워크에 입력하여, 제1 생성 이미지를 획득하기 위한 생성 모듈;
    상기 제1 생성 이미지 및 제1 트루 이미지를 판별 네트워크에 각각 입력하여, 상기 제1 생성 이미지의 제1 판별 분포와 제1 트루 이미지의 제2 판별 분포를 각각 획득하기 위한 판별 모듈 - 상기 제1 판별 분포는 상기 제1 생성 이미지의 진실 정도의 확률 분포를 나타내고, 상기 제2 판별 분포는 상기 제1 트루 이미지의 진실 정도의 확률 분포를 나타냄 - ;
    상기 제1 판별 분포, 상기 제2 판별 분포, 기설정된 제1 타깃 분포 및 기설정된 제2 타깃 분포에 따라, 상기 판별 네트워크의 제1 네트워크 손실을 결정하기 위한 제1 결정 모듈 - 상기 제1 타깃 분포는 생성 이미지의 타깃 확률 분포이고, 상기 제2 타깃 분포는 트루 이미지의 타깃 확률 분포임 - ;
    상기 제1 판별 분포 및 상기 제2 판별 분포에 따라, 상기 생성 네트워크의 제2 네트워크 손실을 결정하기 위한 제2 결정 모듈; 및
    상기 제1 네트워크 손실 및 상기 제2 네트워크 손실에 따라, 상기 생성 네트워크 및 상기 판별 네트워크를 적대적 훈련하기 위한 훈련 모듈을 포함하는 것을 특징으로 하는 신경 네트워크 훈련 장치.
  13. 제12항에 있어서,
    상기 제1 결정 모듈은 더 나아가,
    상기 제1 판별 분포 및 상기 제1 타깃 분포에 따라, 상기 제1 생성 이미지의 제1 분포 손실을 결정하고;
    상기 제2 판별 분포 및 상기 제2 타깃 분포에 따라, 상기 제1 트루 이미지의 제2 분포 손실을 결정하며;
    상기 제1 분포 손실 및 상기 제2 분포 손실에 따라, 상기 제1 네트워크 손실을 결정하도록 구성된 것을 특징으로 하는 신경 네트워크 훈련 장치.
  14. 제13항에 있어서,
    상기 제1 결정 모듈은 더 나아가,
    상기 제1 판별 분포를 상기 제1 타깃 분포의 지원 세트에 맵핑하여, 제1 맵핑 분포를 획득하고;
    상기 제1 맵핑 분포와 상기 제1 타깃 분포의 제1 상대적 엔트로피를 결정하며;
    상기 제1 상대적 엔트로피에 따라, 상기 제1 분포 손실을 결정하도록 구성된 것을 특징으로 하는 신경 네트워크 훈련 장치.
  15. 제13항에 있어서,
    상기 제1 결정 모듈은 더 나아가,
    상기 제2 판별 분포를 상기 제2 타깃 분포의 지원 세트에 맵핑하여, 제2 맵핑 분포를 획득하고;
    상기 제2 맵핑 분포와 상기 제2 타깃 분포의 제2 상대적 엔트로피를 결정하며;
    상기 제2 상대적 엔트로피에 따라, 상기 제2 분포 손실을 결정하도록 구성된 것을 특징으로 하는 신경 네트워크 훈련 장치.
  16. 제13항에 있어서,
    상기 제1 결정 모듈은 더 나아가,
    상기 제1 분포 손실 및 상기 제2 분포 손실에 대해 가중 합산 처리를 수행하여, 상기 제1 네트워크 손실을 획득하도록 구성된 것을 특징으로 하는 신경 네트워크 훈련 장치.
  17. 제12항 내지 제16항 중 어느 한 항에 있어서,
    상기 제2 결정 모듈은 더 나아가,
    상기 제1 판별 분포와 상기 제2 판별 분포의 제3 상대적 엔트로피를 결정하고;
    상기 제3 상대적 엔트로피에 따라, 상기 제2 네트워크 손실을 결정하도록 구성된 것을 특징으로 하는 신경 네트워크 훈련 장치.
  18. 제12항 내지 제17항 중 어느 한 항에 있어서,
    상기 훈련 모듈은 더 나아가,
    상기 제1 네트워크 손실에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하고;
    상기 제2 네트워크 손실에 따라, 상기 생성 네트워크의 네트워크 파라미터를 조정하며;
    상기 판별 네트워크 및 상기 생성 네트워크가 훈련 조건을 만족하는 경우, 훈련된 상기 생성 네트워크 및 상기 판별 네트워크를 획득하도록 구성된 것을 특징으로 하는 신경 네트워크 훈련 장치.
  19. 제18항에 있어서,
    상기 훈련 모듈은 더 나아가,
    제2 랜덤 벡터를 생성 네트워크에 입력하여, 제2 생성 이미지를 획득하고;
    상기 제2 생성 이미지에 따라 제2 트루 이미지에 대해 보간 처리를 수행하여, 보간 이미지를 획득하며;
    상기 보간 이미지를 상기 판별 네트워크에 입력하여, 상기 보간 이미지의 제3 판별 분포를 획득하며;
    상기 제3 판별 분포에 따라, 상기 판별 네트워크의 네트워크 파라미터의 구배를 결정하며;
    상기 구배가 구배 임계값보다 크거나 같을 경우, 상기 제3 판별 분포에 따라 구배 징벌 파라미터를 결정하며;
    상기 제1 네트워크 손실 및 상기 구배 징벌 파라미터에 따라, 상기 판별 네트워크의 네트워크 파라미터를 조정하도록 구성된 것을 특징으로 하는 신경 네트워크 훈련 장치.
  20. 제11항 내지 제19항 중 어느 한 항에 있어서,
    상기 훈련 모듈은 더 나아가,
    과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터를 현재 훈련 주기의 생성 네트워크에 입력하여, 적어도 하나의 제3 생성 이미지를 획득하고;
    상기 과거 훈련 주기에서 생성 네트워크에 입력한 적어도 하나의 제1 랜덤 벡터에 대응되는 제1 생성 이미지, 적어도 하나의 상기 제3 생성 이미지 및 적어도 하나의 트루 이미지를 현재 훈련 주기의 판별 네트워크에 각각 입력하여, 적어도 하나의 제1 생성 이미지의 제4 판별 분포, 적어도 하나의 제3 생성 이미지의 제5 판별 분포 및 적어도 하나의 트루 이미지의 제6 판별 분포를 각각 획득하며;
    상기 제4 판별 분포, 상기 제5 판별 분포 및 상기 제6 판별 분포에 따라 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터를 결정하며;
    상기 훈련 진척 파라미터가 훈련 진척 임계값보다 작거나 같을 경우, 상기 판별 네트워크의 네트워크 파라미터를 조정하는 것을 중지하고, 상기 생성 네트워크의 네트워크 파라미터만 조정하도록 구성된 것을 특징으로 하는 신경 네트워크 훈련 장치.
  21. 제20항에 있어서,
    상기 훈련 모듈은 더 나아가,
    적어도 하나의 상기 제4 판별 분포의 제1 소망값, 적어도 하나의 상기 제5 판별 분포의 제2 소망값 및 적어도 하나의 상기 제6 판별 분포의 제3 소망값을 각각 획득하고;
    적어도 하나의 상기 제1 소망값의 제1 평균값, 적어도 하나의 상기 제2 소망값의 제2 평균값 및 적어도 하나의 상기 제3 소망값의 제3 평균값을 각각 획득하며;
    상기 제3 평균값과 상기 제2 평균값의 제1 차이값 및 상기 제2 평균값과 상기 제1 평균값의 제2 차이값을 결정하며;
    상기 제1 차이값과 상기 제2 차이값의 비례값을 상기 현재 훈련 주기의 생성 네트워크의 훈련 진척 파라미터로 결정하도록 구성된 것을 특징으로 하는 신경 네트워크 훈련 장치.
  22. 이미지 생성 장치로서,
    제3 랜덤 벡터를 획득하기 위한 취득 모듈; 및
    상기 제3 랜덤 벡터를 제12항 내지 제21항 중 어느 한 항에 따른 신경 네트워크 훈련 장치에 따라 훈련한 후 획득된 생성 네트워크에 입력하여 처리함으로써, 타깃 이미지를 획득하기 위한 획득 모듈을 포함하는 것을 특징으로 하는 이미지 생성 장치.
  23. 전자 기기로서,
    프로세서; 및
    프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고,
    상기 프로세서는, 제1항 내지 제11항 중 어느 한 항에 따른 신경 네트워크 훈련 방법을 실행하도록 구성된 것을 특징으로 하는 전자 기기.
  24. 컴퓨터 프로그램 명령이 저장되어 있는 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 경우 제1항 내지 제11항 중 어느 한 항에 따른 신경 네트워크 훈련 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
  25. 컴퓨터 프로그램으로서,
    컴퓨터 판독 가능한 코드를 포함하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 제1항 내지 제11항 중 어느 한 항에 따른 신경 네트워크 훈련 방법을 실행하는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020217010144A 2019-09-27 2019-12-11 신경 네트워크 훈련 방법 및 장치, 이미지 생성 방법 및 장치 Ceased KR20210055747A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910927729.6A CN110634167B (zh) 2019-09-27 2019-09-27 神经网络训练方法及装置和图像生成方法及装置
CN201910927729.6 2019-09-27
PCT/CN2019/124541 WO2021056843A1 (zh) 2019-09-27 2019-12-11 神经网络训练方法及装置和图像生成方法及装置

Publications (1)

Publication Number Publication Date
KR20210055747A true KR20210055747A (ko) 2021-05-17

Family

ID=68973281

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217010144A Ceased KR20210055747A (ko) 2019-09-27 2019-12-11 신경 네트워크 훈련 방법 및 장치, 이미지 생성 방법 및 장치

Country Status (7)

Country Link
US (1) US20210224607A1 (ko)
JP (1) JP7165818B2 (ko)
KR (1) KR20210055747A (ko)
CN (1) CN110634167B (ko)
SG (1) SG11202103479VA (ko)
TW (1) TWI752405B (ko)
WO (1) WO2021056843A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220161839A (ko) * 2021-05-31 2022-12-07 한국전자기술연구원 Gan 구조를 활용한 영상 영역 분할 방법 및 시스템
KR20220167614A (ko) * 2021-06-14 2022-12-21 아주대학교산학협력단 공간 분포를 이용한 휴먼 파싱 방법 및 장치

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7482551B2 (ja) * 2020-02-12 2024-05-14 国立大学法人大阪大学 心的イメージ可視化方法、心的イメージ可視化装置及びプログラム
CN113436081B (zh) * 2020-03-23 2025-02-28 阿里巴巴集团控股有限公司 数据处理方法、图像增强方法及其模型训练方法
GB2594070B (en) * 2020-04-15 2023-02-08 James Hoyle Benjamin Signal processing system and method
US11272097B2 (en) * 2020-07-30 2022-03-08 Steven Brian Demers Aesthetic learning methods and apparatus for automating image capture device controls
CN112258297A (zh) * 2020-11-12 2021-01-22 北京沃东天骏信息技术有限公司 推送物品的描述信息的方法、装置和计算机可读存储介质
KR102354181B1 (ko) * 2020-12-31 2022-01-21 주식회사 나인티나인 비쥬얼라이징 구현 가능한 건설 사업 정보 관리 시스템 및 이의 제어 방법
CN112990211B (zh) * 2021-01-29 2023-07-11 华为技术有限公司 一种神经网络的训练方法、图像处理方法以及装置
CA3207420A1 (en) * 2021-02-04 2022-08-11 Andrew Brock Neural networks with adaptive gradient clipping
EP4047524B1 (en) * 2021-02-18 2025-04-09 Robert Bosch GmbH Device and method for training a machine learning system for generating images
CN113159315B (zh) * 2021-04-06 2025-04-08 华为技术有限公司 一种神经网络的训练方法、数据处理方法以及相关设备
TWI766690B (zh) * 2021-05-18 2022-06-01 詮隼科技股份有限公司 封包產生方法及封包產生系統之設定方法
CN114565693A (zh) * 2021-08-11 2022-05-31 商汤国际私人有限公司 图像生成和神经网络训练方法、装置、设备及介质
CN114501164B (zh) * 2021-12-28 2024-11-22 海信视像科技股份有限公司 音视频数据的标注方法、装置及电子设备
CN114565713A (zh) * 2022-02-10 2022-05-31 北京箩筐时空数据技术有限公司 基于深度强化学习的虚拟三维场景构建方法、装置及设备
CN114881884B (zh) * 2022-05-24 2024-03-29 河南科技大学 一种基于生成对抗网络的红外目标样本增强方法
KR20250011017A (ko) * 2023-07-13 2025-01-21 주식회사 클라리파이 딥러닝 기반 의료영상 이미지 스타일 중립화 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100996209B1 (ko) * 2008-12-23 2010-11-24 중앙대학교 산학협력단 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템
US8520958B2 (en) * 2009-12-21 2013-08-27 Stmicroelectronics International N.V. Parallelization of variable length decoding
WO2018052587A1 (en) * 2016-09-14 2018-03-22 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell image segmentation using multi-stage convolutional neural networks
JP6318211B2 (ja) * 2016-10-03 2018-04-25 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ データ圧縮装置、データ再現装置、データ圧縮方法、データ再現方法及びデータ転送方法
EP3336800B1 (de) * 2016-12-19 2019-08-28 Siemens Healthcare GmbH Bestimmen einer trainingsfunktion zum generieren von annotierten trainingsbildern
CN107293289B (zh) * 2017-06-13 2020-05-29 南京医科大学 一种基于深度卷积生成对抗网络的语音生成方法
US10665326B2 (en) * 2017-07-25 2020-05-26 Insilico Medicine Ip Limited Deep proteome markers of human biological aging and methods of determining a biological aging clock
CN108495110B (zh) * 2018-01-19 2020-03-17 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
CN108510435A (zh) * 2018-03-28 2018-09-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN108615073B (zh) * 2018-04-28 2020-11-03 京东数字科技控股有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
CN109377448B (zh) * 2018-05-20 2021-05-07 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN108805833B (zh) * 2018-05-29 2019-06-18 西安理工大学 基于条件对抗网络的字帖二值化背景噪声杂点去除方法
CN109377452B (zh) * 2018-08-31 2020-08-04 西安电子科技大学 基于vae和生成式对抗网络的人脸图像修复方法
CN109933677A (zh) * 2019-02-14 2019-06-25 厦门一品威客网络科技股份有限公司 图像生成方法和图像生成系统
CN109919921B (zh) * 2019-02-25 2023-10-20 天津大学 基于生成对抗网络的环境影响程度建模方法
CN109920016B (zh) * 2019-03-18 2021-06-25 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220161839A (ko) * 2021-05-31 2022-12-07 한국전자기술연구원 Gan 구조를 활용한 영상 영역 분할 방법 및 시스템
KR20220167614A (ko) * 2021-06-14 2022-12-21 아주대학교산학협력단 공간 분포를 이용한 휴먼 파싱 방법 및 장치
US12272172B2 (en) 2021-06-14 2025-04-08 Ajou University Industry-Academic Cooperation Foundation Method and device for human parsing

Also Published As

Publication number Publication date
CN110634167A (zh) 2019-12-31
CN110634167B (zh) 2021-07-20
US20210224607A1 (en) 2021-07-22
JP7165818B2 (ja) 2022-11-04
WO2021056843A1 (zh) 2021-04-01
TW202113752A (zh) 2021-04-01
JP2022504071A (ja) 2022-01-13
TWI752405B (zh) 2022-01-11
SG11202103479VA (en) 2021-05-28

Similar Documents

Publication Publication Date Title
KR20210055747A (ko) 신경 네트워크 훈련 방법 및 장치, 이미지 생성 방법 및 장치
KR102390580B1 (ko) 얼굴 인식 방법 및 장치, 전자 기기 및 저장 매체
US20220262012A1 (en) Image Processing Method and Apparatus, and Storage Medium
US20210012143A1 (en) Key Point Detection Method and Apparatus, and Storage Medium
CN110633755A (zh) 网络训练方法、图像处理方法及装置、电子设备
JP2021526698A (ja) 画像生成方法および装置、電子機器、並びに記憶媒体
CN107845062B (zh) 图像生成方法及装置
TW202127369A (zh) 網路訓練方法、圖像生成方法、電子設備及電腦可讀儲存介質
CN109165738B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
KR20200081466A (ko) 이미지 처리 방법, 이미지 처리 장치, 전자 기기 및 저장 매체
CN105335684B (zh) 人脸检测方法及装置
WO2021082381A1 (zh) 人脸识别方法及装置、电子设备和存储介质
CN113361540A (zh) 图像处理方法及装置、电子设备和存储介质
TW202133030A (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒體
CN110135349A (zh) 识别方法、装置、设备及存储介质
CN110059548B (zh) 目标检测方法及装置
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN109978759B (zh) 图像处理方法及装置和图像生成网络的训练方法及装置
CN110543900A (zh) 图像处理方法及装置、电子设备和存储介质
KR102374400B1 (ko) 이미지 처리 방법 및 장치, 전자 기기와 저장 매체
HK40019326B (en) Neural network training method and device, and image generating method and device
HK40019326A (en) Neural network training method and device, and image generating method and device
CN111915536B (zh) 一种提高图像清晰度的方法、装置及介质
HK40003483A (en) Face recognition method and apparatus, electronic device and storage medium
HK40020908A (en) Image processing method, device, electronic apparatus and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20210406

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210406

Comment text: Request for Examination of Application

PG1501 Laying open of application
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220923

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20221206

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20220923

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I