TWI825461B - 訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置 - Google Patents

訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置 Download PDF

Info

Publication number
TWI825461B
TWI825461B TW110128994A TW110128994A TWI825461B TW I825461 B TWI825461 B TW I825461B TW 110128994 A TW110128994 A TW 110128994A TW 110128994 A TW110128994 A TW 110128994A TW I825461 B TWI825461 B TW I825461B
Authority
TW
Taiwan
Prior art keywords
generator
image
real image
discriminator
asymmetric
Prior art date
Application number
TW110128994A
Other languages
English (en)
Other versions
TW202307781A (zh
Inventor
馬翊翔
陳思瑋
林祐弘
劉安城
Original Assignee
群聯電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 群聯電子股份有限公司 filed Critical 群聯電子股份有限公司
Priority to TW110128994A priority Critical patent/TWI825461B/zh
Priority to US17/460,274 priority patent/US20230037782A1/en
Publication of TW202307781A publication Critical patent/TW202307781A/zh
Application granted granted Critical
Publication of TWI825461B publication Critical patent/TWI825461B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一種訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置。所述方法包括：輸入屬於第一類別的第一真實影像、屬於第二類別的第二真實影像以及屬於第三類別的第三真實影像至非對稱生成對抗網路以訓練非對稱生成對抗網路，其中非對稱生成對抗網路包括第一生成器、第二生成器、第一鑑別器以及第二鑑別器；以及輸入屬於第二類別的第四真實影像至訓練出的非對稱生成對抗網路中的第一生成器以產生瑕疵影像。

Description

訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置
本發明是有關於一種生成對抗網路（generative adversarial network, GAN），且特別是有關於一種訓練非對稱GAN產生影像的方法以及使用此方法的電子裝置。
近年來，訓練神經網路（neural network）模型進行影像辨識在電腦視覺領域受到大量的關注。例如，可訓練瑕疵分類模型對元件的影像進行瑕疵檢測來檢測多個元件中具有瑕疵的元件。神經網路模型的效能取決於訓練資料的品質、多樣性及數量。然而，真實世界中異常資料（例如，瑕疵樣本或負樣本）通常難以預先收集。由於異常資料的稀缺性，將降低訓練出的模型在應用面上的辨識效能。因此為了取得多樣性的訓練資料集，往往需要花費時間及人力收集更多稀缺的異常資料。如此，將耗費大量的時間及人力成本。
GAN即是透過真實資料及生成器所產生的偽資料之間的差異來訓練生成器，以使得訓練出的生成器可根據真實資料產生大量的偽資料來補足神經網路模型所缺少的異常資料。一般來說，GAN為包括生成器（generator）與鑑別器（discriminator）的機器學習模型。
然而，在製造初期時，通常缺少新元件的實際異常元件。舊有的GAN無法在訓練資料集中缺少新元件的異常資料時訓練出能產生偽異常資料的生成器。因此，對於本領域技術人員來說，存在著改良產生偽資料的方法的需求。
本發明提供一種訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置，能夠提升非對稱GAN中生成器的影像轉換的效能。
本發明提出一種訓練非對稱生成對抗網路產生影像的方法，適用於包括處理器的電子裝置。所述方法包括：輸入屬於第一類別的第一真實影像、屬於第二類別的第二真實影像以及屬於第三類別的第三真實影像至非對稱生成對抗網路以訓練所述非對稱生成對抗網路，其中所述非對稱生成對抗網路包括第一生成器、第二生成器、第一鑑別器以及第二鑑別器；以及輸入屬於所述第二類別的第四真實影像至訓練出的所述非對稱生成對抗網路中的所述第一生成器以產生瑕疵影像。所述第一生成器接收所述第二真實影像並據以產生第二生成影像，並且所述第二生成器接收所述第二生成影像並據以產生第二重建影像。並且，所述第一生成器依據所述第二真實影像及所述第二重建影像執行運算以產生第二數值，並依據所述第二數值更新所述第一生成器的參數。其中所述第一真實影像及所述第三真實影像不具有瑕疵特徵，所述第二真實影像及所述第四真實影像具有瑕疵特徵。其中所述瑕疵影像屬於第四類別，且所述第四類別不具有訓練樣本。
在本發明的一實施例中，所述第一生成器接收所述第一真實影像並據以產生第一生成影像，所述第二生成器接收所述第一生成影像並據以產生第一重建影像。並且所述第一生成器依據所述第一真實影像及所述第一重建影像執行運算以產生第一數值，並依據所述第一數值更新所述第一生成器的參數。
在本發明的一實施例中，所述第一鑑別器在所述第一生成影像與屬於第三類別的第三真實影像之間進行區分來產生第一鑑別值。並且，所述第一生成器依據所述第一鑑別值更新所述第一生成器的參數。
在本發明的一實施例中，所述第一鑑別器表徵為多個第三神經網路權重，並且所述第一鑑別器依據所述第一鑑別值更新所述第一鑑別器的參數。
在本發明的一實施例中，所述第一生成器將所述第一真實影像及所述第一重建影像相減以產生所述第一數值，將所述第二真實影像及所述第二重建影像相減以產生所述第二數值。
在本發明的一實施例中，所述第一生成器表徵為多個第一神經網路權重，其中更新所述第一生成器的參數的步驟包括：在使第一生成損失函數最小化的情況下更新所述多個第一神經網路權重。
在本發明的一實施例中，所述第二生成器接收所述第三真實影像並據以產生第三生成影像，並且所述第一生成器接收所述第三生成影像並據以產生第三重建影像。所述第二鑑別器在所述第三生成影像與所述第一真實影像之間進行區分來產生第二鑑別值。並且，所述第二生成器依據所述第三真實影像及所述第三重建影像執行運算以產生第三數值，並依據所述第二鑑別值以及所述第三數值至少其中之一更新所述第二生成器的參數。
在本發明的一實施例中，所述第二鑑別器表徵為多個第四神經網路權重，並且所述第二鑑別器依據所述第二鑑別值更新所述第二鑑別器的參數。
在本發明的一實施例中，所述第二生成器表徵為多個第二神經網路權重，其中更新所述第二生成器的參數的步驟包括：在使第二生成損失函數最小化的情況下更新所述第二神經網路權重。
在本發明的一實施例中，所述第二生成器將所述第三真實影像及所述第三重建影像相減以產生所述第三數值。
在本發明的一實施例中，所述非對稱生成對抗網路執行多次迭代操作以訓練所述第一生成器、所述第二生成器、所述第一鑑別器以及所述第二鑑別器。
在本發明的一實施例中，所述多個迭代操作包括：在執行第一迭代操作時依據所述第一真實影像更新所述第一鑑別器及所述第一生成器；在執行第二迭代操作時依據所述第二真實影像更新所述第一生成器；以及在執行第三迭代操作時依據所述第三真實影像更新所述第二鑑別器及所述第二生成器。
本發明提出一種使用訓練非對稱生成對抗網路產生影像的電子裝置。所述電子裝置包括儲存裝置以及處理器。所述儲存裝置經配置以儲存真實影像資料集及一或多個指令。所述處理器耦接所述儲存裝置，經配置以執行所述多個指令：輸入屬於第一類別的第一真實影像、屬於第二類別的第二真實影像以及屬於第三類別的第三真實影像至非對稱生成對抗網路訓練所述非對稱生成對抗網路，其中所述非對稱生成對抗網路包括第一生成器、第二生成器、第一鑑別器以及第二鑑別器；以及輸入屬於所述第二類別的第四真實影像至訓練出的所述非對稱生成對抗網路中的所述第一生成器以產生瑕疵影像。所述第一生成器接收所述第二真實影像並據以產生第二生成影像，並且所述第二生成器接收所述第二生成影像並據以產生第二重建影像。所述第一生成器依據所述第二真實影像及所述第二重建影像執行運算以產生第二數值，並依據所述第二數值更新所述第一生成器的參數。其中所述第一真實影像及所述第三真實影像不具有瑕疵特徵，所述第二真實影像及所述第四真實影像具有瑕疵特徵。其中所述瑕疵影像屬於第四類別，且所述第四類別不具有訓練樣本。
在本發明的一實施例中，所述第一生成器接收所述第一真實影像並據以產生第一生成影像，所述第二生成器接收所述第一生成影像並據以產生第一重建影像。並且，所述第一生成器依據所述第一真實影像及所述第一重建影像執行運算以產生第一數值，並依據所述第一數值更新所述第一生成器的參數。
在本發明的一實施例中，所述第一鑑別器在所述第一生成影像與屬於第三類別的第三真實影像之間進行區分來產生第一鑑別值。並且，所述第一生成器依據所述第一鑑別值更新所述第一生成器的參數。
在本發明的一實施例中，所述第一鑑別器表徵為多個第三神經網路權重，並且所述第一鑑別器依據所述第一鑑別值更新所述第一鑑別器的參數。
在本發明的一實施例中，所述第一生成器將所述第一真實影像及所述第一重建影像相減以產生所述第一數值，將所述第二真實影像及所述第二重建影像相減以產生所述第二數值。
在本發明的一實施例中，所述第一生成器表徵為多個第一神經網路權重，其中更新所述第一生成器的參數的運作包括：在使第一生成損失函數最小化的情況下更新所述多個第一神經網路權重。
在本發明的一實施例中，所述第二生成器接收所述第三真實影像並據以產生第三生成影像，並且所述第一生成器接收所述第三生成影像並據以產生第三重建影像。所述第二鑑別器在所述第三生成影像與所述第一真實影像之間進行區分來產生第二鑑別值。並且，所述第二生成器依據所述第三真實影像及所述第三重建影像執行運算以產生第三數值，並依據所述第二鑑別值以及所述第三數值至少其中之一更新所述第二生成器的參數。
在本發明的一實施例中，所述第二鑑別器表徵為多個第四神經網路權重，並且所述第二鑑別器依據所述第二鑑別值更新所述第二鑑別器的參數。
在本發明的一實施例中，所述第二生成器表徵為多個第二神經網路權重，其中更新所述第二生成器的參數的運作包括：在使第二生成損失函數最小化的情況下更新所述第二神經網路權重。
在本發明的一實施例中，所述第二生成器將所述第三真實影像及所述第三重建影像相減以產生所述第三數值。
在本發明的一實施例中，所述非對稱生成對抗網路執行多次迭代操作以訓練所述第一生成器、所述第二生成器、所述第一鑑別器以及所述第二鑑別器。
在本發明的一實施例中，所述迭代操作包括：在執行第一迭代操作時依據所述第一真實影像更新所述第一鑑別器及所述第一生成器；在執行第二迭代操作時依據所述第二真實影像更新所述第一生成器；以及在執行第三迭代操作時依據所述第三真實影像更新所述第二鑑別器及所述第二生成器。
基於上述，本範例實施例提出的訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置，能夠共同執行機器學習訓練非對稱GAN，以更新第一生成器、第二生成器、第一鑑別器以及第二鑑別器的參數。藉此，訓練後的非對稱GAN能夠將元件的缺陷特徵轉移至另一元件的影像上以產生缺陷影像，從而提升生成器的影像轉換的效能。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本案說明書全文（包括申請專利範圍）中提及的「第一」、「第二」等用語是用以命名元件（element）的名稱，或區別不同實施例或範圍，而並非用來限制元件數量的上限或下限，亦非用來限制元件的次序。
在本案說明書之圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施方式中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。
圖1是根據一範例實施例所繪示的電子裝置的方塊圖。請參照圖1，電子裝置10包括處理器110以及儲存裝置120。
處理器110耦接儲存裝置120並執行儲存於儲存裝置120的指令。處理器110例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、算數邏輯單元（arithmetic logic unit，ALU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。
儲存裝置120例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，而用於儲存多種資料及可由處理器110執行的一或多個電腦可讀指令。
這些電腦可讀指令可包括以任何程式語言編寫的邏輯或演算法。程式語言可以是可由處理器104直接執行的機器語言（machine language）或可被編譯（compile）或組譯（assemble）成電腦可讀指令並儲存在儲存裝置120中的組合語言（assembly language）、物件導向程式設計（object-oriented programming, OOP）、腳本語言（scripting language）、微代碼（microcode）等，本發明不在此限制。另一方面，電腦可讀指令亦可以硬體描述語言（hardware description language, HDL）進行編寫，其例如是可通FPGA配置、ASIC或其他等效物實施的邏輯。因此，本範例實施例描述的功能可以任何傳統的電腦程式語言、預程式化的硬體元件或硬體與軟體元件的組合來實施訓練非對稱（asymmetric）GAN的方法，本發明不在此限制。
在本範例實施例中，儲存裝置120中可儲存真實影像資料集121。真實影像資料集121包括的影像可以是利用攝像裝置拍攝元件來獲得。真實影像資料集121可包括多個真實影像（real image），且每個真實影像屬於不同類別。舉例來說，第一類別可以是「第一元件的無瑕影像（亦稱為第一真實影像）」類別，第二類別可以是「第一元件的瑕疵影像（亦稱為第二真實影像）」類別，第三類別可以是「第二元件的無瑕影像（亦稱為第三真實影像）」類別。需注意的是，本範例實施例中代表性不足的類別不具有訓練樣本，即真實影像資料集121中不包括任何屬於第四類別（例如，「第二元件的瑕疵影像」類別）的真實影像。在本範例實施例中，第一元件與第二元件為真實世界中的不同元件。屬於無瑕影像類別的影像表示該影像中不具有瑕疵特徵，因此該影像包括的元件會被判定為良好。而屬於瑕疵影像類別的影像表示該影像具有瑕疵特徵，因此該影像包括的元件會被判定為損壞（例如，元件具有破損或偏移）。
圖2是根據一範例實施例所繪示的訓練非對稱GAN的機制的示意圖。請參照圖2，非對稱GAN 200是一種對抗學習系統，用於在基於循環生成對抗網路（cycle GAN）的無監督模型中學習從未配對的真實世界的影像資料中產生逼真的合成影像。
在本範例實施例中，非對稱GAN 200包括第一生成器G 1、第二生成器G 2、第一鑑別器D B以及第二鑑別器D A。第一生成器G 1、第二生成器G 2、第一鑑別器D B以及第二鑑別器D A皆為神經網路。該第一生成器G 1與第二生成器G 2可執行影像轉換，並可與第一鑑別器D B以及第二鑑別器D A共同執行類似cycle GAN學習以更新參數。舉例來說，第一生成器G 1以及第二生成器G 2可包括卷積神經網路（convolutional neural network，CNN）。第一鑑別器D B以及第二鑑別器D A可實施為基於CNN的分類器，例如包括卷積層（convolution layer）與全連接層（fully connected layer）。
圖3是根據一範例實施例所繪示的訓練非對稱GAN產生影像的方法的流程圖。參考圖3，本範例實施例的方法適用於由用於訓練圖2的非對稱GAN 200的訓練系統（例如，圖1的處理器110）執行。以下即透過使用圖2作為實施例來說明本實施例的訓練非對稱GAN產生影像的方法的詳細步驟。
在一範例實施例中，非對稱GAN 200執行的訓練非對稱GAN產生影像的方法在執行前，處理器110可對各第一生成器G 1、第二生成器G 2、第一鑑別器D B以及第二鑑別器D A先執行初始化參數設定。而訓練非對稱GAN產生影像的方法利用學習運算更新第一生成器G 1、第二生成器G 2、第一鑑別器D B以及第二鑑別器D A之參數，以優化非對稱GAN 200的轉換效能。
大致上來說，生成器會學習從真實影像產生生成影像（generated image）以使得鑑別器判斷生成影像為真（即，判斷為真實影像）。鑑別器會學習從真實影像辨別出生成影像。換句話說，鑑別器會通過與生成器相互對抗直到達成平衡點，以學習區分生成影像與真實影像。
在步驟S302中，第一生成器G 1可接收屬於第一類別的第一真實影像並據以產生第一生成影像，並且可接收屬於第二類別的第二真實影像並據以產生第二生成影像。參照圖2，真實影像資料集121中的第一真實影像及第二真實影像分別以A 1及A 2表示，而第一生成器G 1產生的第一生成影像及第二生成影像分別以B 1’及B 2’表示。
具體來說，第一類別及第二類別具有可用的訓練樣本，且此兩個類別包括的影像分別為對應至相同的第一元件的瑕疵影像及無瑕影像。在一範例實施例中，第一真實影像A 1與第二真實影像A 2例如是以矩陣的方式表示並輸入第一生成器G 1。
在步驟S304中，第二生成器G 2可接收第一生成影像B 1’並據以產生第一重建影像（reconstructed image），並且可接收第二生成影像B 2’並據以產生第二重建影像。參照圖2，第二生成器G 2產生的第一重建影像及第二重建影像分別以A 1’’及A 2’’表示。
舉例來說，可將第一生成影像B 1’視為由第一生成器G 1基於第一真實影像A 1而產生的偽影像，若以數學式則可表示為G 1(A 1)。並且可將第一重建影像A 1’’視為由第二生成器G 2基於第一生成影像B 1’而產生的偽影像，若以數學式則可表示為G 2(G 1(A 1))。類似地，可將第二生成影像B 2’視為由第一生成器G 1基於第二真實影像A 2而產生的偽影像，若以數學式則可表示為G 1(A 2)。並且可將第二重建影像A 2’’視為由第二生成器G 2基於第二生成影像B 2’而產生的偽影像，若以數學式則可表示為G 2(G 1(A 2))。
在步驟S306中，第一鑑別器D B可在第一生成影像B 1’與屬於第三類別的第三真實影像之間進行區分來產生第一鑑別值。參照圖2，真實影像資料集121中的第三真實影像以B 1表示。具體來說，第三類別具有可用的訓練樣本，此第三類別包括的影像對應至不同於第一元件的第二元件且為無瑕影像。
在一範例實施例中，第一鑑別器D B可經配置以在第一生成影像B 1’與第三真實影像B 1之間進行區分。換言之，第一鑑別器D B是用以鑑別第一生成影像B 1’與第三真實影像B 1間相似或差異，並且該第一鑑別值是表示影像之間的相似或差異程度的資訊，其中該第一鑑別值可以數學式表示為D B(G 1(A 1))。舉例來說，此第一鑑別值可以是介於0至1之間的數值，表示第一生成影像B 1’被判斷為第三真實影像B 1的機率。當第一鑑別值越大則表示第一生成影像B 1’與第三真實影像B 1間越相似，當第一鑑別值越小則表示第一生成影像B 1’與第三真實影像B 1間差異越大。然而，第一鑑別值之定義不以此為限，可依據運算需求調整數值之定義。
在一範例實施例中，第一鑑別器D B的鑑別結果（例如，第一鑑別值）可進一步用於更新第一鑑別器D B的參數。舉例來說，第一鑑別器D B可表徵為多個第三神經網路權重。第一鑑別器D B可以是將第一生成影像B 1’及/或真實影像資料集121中對應第三類別的第三真實影像B 1輸入第一鑑別器D B並輸出鑑別結果。接著，第一鑑別器D B基於鑑別結果及第一鑑別損失函數計算第一鑑別損失函數值，並依據第一鑑別損失函數值更新第一鑑別器D B的第三神經網路權重。第一鑑別器D B的第一鑑別損失函數可基於交叉熵（cross-entropy）或其他適當誤差函數，本發明不在此限制。舉例來說，用於訓練第一鑑別器D B的第一鑑別損失函數可以數學式表示為：
其中， 表示第一鑑別器D B的鑑別損失函數， 為期望值， 為第三真實影像所屬的第三真實影像資料集之機率分布， 表示從第三真實影像所屬的第三真實影像資料集中隨機選取的第三真實影像b 1，而 為第三真實影像b 1的鑑別結果。第一鑑別器D B的訓練目標可以是在使第一鑑別損失函數最小化的情況下更新第一鑑別器D B的第三神經網路權重。本發明不在此限制更新第一鑑別器D B的神經網路權重的方法。
在步驟S308中，第一生成器G 1可依據第一真實影像A 1及第一重建影像A 1’’執行運算以產生第一數值，可依據第二真實影像A 2及第二重建影像A 2’’執行運算以產生第二數值，並可依據第一鑑別值、第一數值及/或第二數值更新第一生成器G 1的參數。
具體來說，第一生成器G 1是依據第一鑑別值、第一數值及/或第二數值，且基於第一生成損失函數來計算第一生成損失函數值，並進一步基於此計算出的第一生成損失函數值來調整與更新第一生成器G 1的參數。通過利用第一數值及第二數值作為損失函數，可避免第一生成器G 1不斷產生同一張生成影像來試圖騙過第一鑑別器D B。
在一範例實施例中，用於訓練第一生成器G 1的第一生成損失函數可以數學式表示為：
其中， 表示第一生成損失函數， 為期望值， 為第一真實影像所屬的第一真實影像資料集之機率分布， 表示從第一真實影像所屬的第一真實影像資料集中隨機選取的第一真實影像a 1， 表示第一鑑別值， 表示第一重建影像， 為第二真實影像所屬的第二真實影像資料集之機率分布， 表示從第二真實影像所屬的第二真實影像資料集中隨機選取的第二真實影像a 2， 表示第二重建影像。本範例實施例的第一生成損失函數值可以是介於0至1之間的數值。當此第一生成損失函數值越低，表示非對稱GAN 200越接近理想狀態。然而，各數值之定義不以此為限，可依據運算需求調整數值之定義。
在本範例實施例中，第一生成器G 1可表徵為多個第一神經網路權重，而第二生成器G 2可表徵為多個第二神經網路權重。也就是說，第一生成器G 1和第二生成器G 2為不同的生成器。在本範例實施例中，第一生成器G 1可將第一真實影像A 1及第一重建影像A 1’’相減以產生第一數值，並將第二真實影像A 2及第二重建影像A 2’’相減以產生第二數值。而第一生成器G 1的訓練目標可以是在使第一生成損失函數最小化（即，使第一鑑別損失函數最小化、使第一數值及第二數值最小化）的情況下更新第一生成器G 1的第一神經網路權重。例如，第一生成器G 1可採用梯度下降法（gradient descent）進行反向傳播學習來調整第一神經網路權重，以達到第一生成損失函數最小化。然而，本發明不在此限制更新第一生成器G 1的第一神經網路權重的方法，可依需求採用其他方法更新權重。
值得注意的是，通過步驟S302~S308，第一生成器G 1學習將第一真實影像A 1映射（map）至第一生成影像B 1’，並學習將第二真實影像A 2映射至第二生成影像B 2’，以使得第一鑑別器D B無法辨別第一生成影像B 1’與第三真實影像B 1。換言之，第一生成器G 1的訓練目標是增加第一鑑別器D B的錯誤率，即試圖欺騙第一鑑別器D B而使得第一鑑別器D B判斷第一生成影像B 1’屬於第三真實影像B 1。而第一鑑別器D B的訓練目標則是減少其自身的錯誤率，即試圖區分第一生成影像B 1’與第三真實影像B 1。
在步驟S310中，第二生成器G 2可接收第三真實影像B 1並據以產生第三生成影像，並且第一生成器G 1可接收第三生成影像並據以產生第三重建影像。參照圖2，第二生成器G 2產生的第三生成影像以A 1’表示，第一生成器G 1產生的第三重建影像以B 1’’表示。其中，第二生成器G 2產生的第三生成影像以A 1’表示，而第一生成器G 1產生的第三重建影像以B 1’’表示。
具體來說，真實影像資料集121中不包括任何屬於第四類別的真實影像，因此步驟S310只轉換了第三類別的真實影像。此與步驟S302轉換了兩個類別的真實影像有所差異。在一範例實施例中，第三真實影像B 1例如是以矩陣的方式表示並輸入第二生成器G 2。
舉例來說，可將第三生成影像以A 1’視為由第二生成器G 2基於第三真實影像B 1而產生的偽影像，若以數學式則可表示為G 2(B 1)。並且可將第三重建影像B 1’’視為由第一生成器G 1基於第三生成影像A 1’而產生的偽影像，若以數學式則可表示為G 1(G 2(B 1))。
在步驟S312中，第二鑑別器D A可在第三生成影像A 1’與第一真實影像A 1之間進行區分來產生第二鑑別值。具體來說，第二鑑別器D A可經配置以在第三生成影像A 1’與第一真實影像A 1之間進行區分。換言之，第二鑑別器D A是用以鑑別第三生成影像A 1’與第一真實影像A 1間相似或差異，並且該第二鑑別值是表示影像之間的相似或差異程度的資訊，其中該第二鑑別值可以數學式表示為D A(G 2(B 1))。舉例來說，此第二鑑別值可以是介於0至1之間的數值，表示第三生成影像A 1’被判斷為第一真實影像A 1的機率。當第二鑑別值越大則表示第三生成影像A 1’與第一真實影像A 1間越相似，當第二鑑別值越小則表示第三生成影像A 1’與第一真實影像A 1間差異越大。然而，第二鑑別值之定義不以此為限，可依據運算需求調整數值之定義。
在一範例實施例中，第二鑑別器D A的訓練方式類似於前述第一鑑別器D B。具體來說，第二鑑別器D A的鑑別結果（例如，第二鑑別值）可進一步用於更新第二鑑別器D A的參數。舉例來說，第二鑑別器D A可表徵為多個第四神經網路權重。第二鑑別器D A可以是將第三生成影像A 1’及/或真實影像資料集121中對應第一類別的第一真實影像A 1輸入第二鑑別器D A並輸出鑑別結果。接著，第二鑑別器D A基於鑑別結果及第二鑑別損失函數計算第二鑑別損失函數值，並依據第二鑑別損失函數值更新第二鑑別器D A的第四神經網路權重。第二鑑別器D A的第二鑑別損失函數可基於交叉熵或其他適當誤差函數，本發明不在此限制。舉例來說，用於訓練第二鑑別器D A的第二鑑別損失函數可以數學式表示為：
其中， 表示第二鑑別器D A的鑑別損失函數， 為期望值， 為第一真實影像所屬的第一真實影像資料集之機率分布， 表示從第一真實影像所屬的第一真實影像資料集中隨機選取的第一真實影像a 1，而 為第一真實影像a 1的鑑別結果。第二鑑別器D A的訓練目標可以是在使第二鑑別損失函數最小化的情況下更新第二鑑別器D A的第四神經網路權重。本發明不在此限制更新第二鑑別器D A的神經網路權重的方法。
在步驟S314中，第二生成器G 2可依據第三真實影像B 1及第三重建影像B 1’’執行運算以產生第三數值，並可依據第二鑑別值及/或第三數值更新第二生成器G 2的參數。
具體來說，第二生成器G 2是依據第二鑑別值及/或第三數值，且基於第二生成損失函數來計算第二生成損失函數值，並進一步基於此計算出的第二生成損失函數值來調整與更新第二生成器G 2的參數。在一範例實施例中，用於訓練第二生成器G 2的第二生成損失函數可以數學式表示為：
其中， 表示第二生成損失函數， 為期望值， 為第三真實影像所屬的第三真實影像資料集之機率分布， 表示從第三真實影像所屬的第三真實影像資料集中隨機選取的第三真實影像b 1， 表示第二鑑別值， 表示第三重建影像。本範例實施例的第二生成損失函數值可以是介於0至1之間的數值。當此第二生成損失函數值越低，表示非對稱GAN 200越接近理想狀態。然而，各數值之定義不以此為限，可依據運算需求調整數值之定義。
在本範例實施例中，第二生成器G 2可表徵為多個第二神經網路權重。第二生成器G 2可將第三真實影像B 1及第三重建影像B 1’’相減以產生第三數值。而第二生成器G 2的訓練目標可以是在使第二生成損失函數最小化（即，使第二鑑別損失函數最小化、使第三數值最小化）的情況下更新第二生成器G 2的第二神經網路權重。例如，第二生成器G 2可採用梯度下降法進行反向傳播學習來調整第二神經網路權重，以達到第二生成損失函數最小化。然而，本發明不在此限制更新第二生成器G 2的第二神經網路權重的方法，可依需求採用其他方法更新權重。
值得注意的是，通過步驟S310~S314，第二生成器G 2學習將第三真實影像B 1映射至第三生成影像A 1’，以使得第二鑑別器D A無法辨別第三生成影像A 1’與第一真實影像A 1。換言之，第二生成器G 2的訓練目標是增加第二鑑別器D A的錯誤率，即試圖欺騙第二鑑別器D A而使得第二鑑別器D A判斷第三生成影像A 1’屬於第一真實影像A 1。而第二鑑別器D A的訓練目標則是減少其自身的錯誤率，即試圖區分第三生成影像A 1’與第一真實影像A 1。
在一範例實施例中，上述具有非對稱架構的非對稱GAN 200可透過執行多次迭代訓練第一生成器G 1、第二生成器G 2、第一鑑別器D B以及第二鑑別器D A，以調整與更新第一生成器G 1、第二生成器G 2、第一鑑別器D B以及第二鑑別器D A的參數，直到達成最佳化目標。換言之，本範例實施例的訓練非對稱GAN產生影像的方法通過在最小化第一生成器G 1的第一生成損失函數與最大化第一鑑別器D B的第一鑑別損失函數之間相互對抗，並在最小化第二生成器G 2的第二生成損失函數與最大化第二鑑別器D A的第二鑑別損失函數之間相互對抗，直到達成平衡點以達成最佳化目標。於此，在達成最佳化目標後可判斷非對稱GAN 200完成學習。
另一方面，可以設置一預設閾值來判斷非對稱GAN 200是否完成學習，此預設閾值關聯於迭代次數。具體來說，假設本範例實施例的第一迭代操作包括依據第一真實影像A 1更新第一鑑別器D B及第一生成器G 1，第二迭代操作包括依據第二真實影像A 2更新第一生成器G 1，第三迭代操作依據第三真實影像B 1更新第二鑑別器D A及第二生成器G 2。非對稱GAN 200執行一次迭代操作時可將累積迭代操作的計數值，並在此計數值達到預設閾值時判斷非對稱GAN 200完成學習。在其他範例實施例中，也可以用第一生成損失函數值、第二生成損失函數值、第一鑑別損失函數值及第二鑑別損失函數值是否皆小於或等於預設閾值或是否皆收斂來判斷非對稱GAN 200是否完成學習，本發明不在此限制。
值得注意的是，本範例實施例的步驟S302~S308、步驟S310~S314之間的執行順序可互換。也就是在其他實施例中，可在依序執行S310~S314之後依序執行S302~S308，因此步驟執行順序不以本範例實施例為限。
圖4是根據一範例實施例所繪示的非對稱GAN的迭代過程的流程圖。參考圖4，本範例實施例的方法適用於由用於訓練圖2的非對稱GAN 200的訓練系統（例如，圖1的處理器110）執行。以下即透過使用圖2作為實施例來說明本實施例訓練非對稱GAN的迭代過程的詳細步驟。
首先，處理器110執行指令以判斷輸入影像至非對稱GAN 200中的哪個生成器進行迭代。參照圖4，在步驟S41中，處理器110載入真實影像資料集121，並取得一真實影像。接著，處理器110在步驟S42判斷真實影像對應至第一元件或第二元件，並在步驟S43判斷真實影像對應至瑕疵影像或無瑕影像。具體來說，若處理器110判斷真實影像對應至第一元件與無瑕影像（即判斷真實影像屬於第一類別），則在步驟S51將真實影像作為第一真實影像輸入第一生成器G 1並執行步驟S52~S55的第一迭代操作。若處理器110判斷真實影像對應至第一元件與瑕疵影像（即判斷真實影像屬於第二類別），則在步驟S61將真實影像作為第二真實影像輸入第一生成器G 1並執行步驟S62~S64的第二迭代操作。並且，若處理器110判斷真實影像對應至第二元件與瑕疵影像（即判斷真實影像屬於第三類別），則在步驟S71將真實影像作為第三真實影像輸入第二生成器G 2並執行步驟S72~S75的第三迭代操作。值得注意的是，本範例實施例不限制第一迭代操作、第二迭代操作及第三迭代操作的執行順序，其可同時地或依序地執行。
在步驟S81中，處理器110會在迭代過程中會判斷迭代是否完成。若迭代尚未完成（即步驟S81判斷為否），則處理器110在步驟S82等待迭代完成。若迭代已完成（即步驟S81判斷為是），則處理器110在步驟S83將計數值加1，並在步驟S84判斷計數值是否已達到預設閾值。若計數值未達到預設閾值（即步驟S84判斷為否），則處理器110執行前述步驟S41取得下一個真實影像並繼續執行判斷與迭代操作。若計數值已達到預設閾值（即步驟S84判斷為是），則處理器110可判斷非對稱GAN 200的完成學習。
更具體來說，在步驟S52~S55的第一迭代操作中，非對稱GAN 200會前向傳遞第一真實影像A 1，即第一生成器G 1接收第一真實影像A 1並據以產生第一生成影像B 1’，第二生成器G 2接收第一生成影像B 1’並據以產生第一重建影像A 1’’。接著，第一生成器G 1計算第一生成損失函數。非對稱GAN 200依據第一生成影像B 1’與第一重建影像A 1’’更新第一鑑別器D B，並依據第一生成損失函數更新第一生成器G 1。
另一方面，在步驟S62~S64的第二迭代操作中，非對稱GAN 200會前向傳遞第二真實影像A 2，即第一生成器G 1接收第二真實影像A 2並據以產生第二生成影像B 2’，第二生成器G 2接收第二生成影像B 2’並據以產生第一重建影像A 2’’。接著，第一生成器G 1計算第一生成損失函數，並依據第一生成損失函數更新第一生成器G 1。
另一方面，在步驟S72~S75的第三迭代操作中，非對稱GAN 200會前向傳遞第三真實影像B 1，即第二生成器G 2接收第三真實影像B 1並據以產生第三生成影像A 1’，第一生成器G 1接收第三生成影像A 1’並據以產生第三重建影像B 1’’。接著，第二生成器G 2計算第二生成損失函數。非對稱GAN 200依據第三生成影像A 1’與第三重建影像B 1’’更新第二鑑別器D A，並依據第二生成損失函數更新第二生成器G 2。
請再次參照圖3。在步驟S316中，輸入屬於第二類別的第四真實影像至訓練出的非對稱GAN 200中的第一生成器G 1以產生瑕疵影像。其中該瑕疵影像屬於第四類別的影像。在上述範例實施例中，系統依據真實影像和偽影像（生成影像與重建影像）訓練非對稱GAN 200的非對稱架構以學習第一生成器G 1與第二生成器G 2採用的神經網路權重，使得屬於第二類別的真實影像透過第一生成器G 1映射的生成影像接近第四類別的真實影像。
圖5是根據一範例實施例所繪示的真實影像的範例。圖6是根據一範例實施例所繪示的第二真實影像及第一生成器的輸出結果的範例。請參圖5，本範例實施例的真實影像資料集121包括但不限於影像資料集501、影像資料集502以及影像資料集503。影像資料集501包括對應至第一類別的真實影像，此些真實影像為第一元件的無瑕影像，影像資料集502包括對應至第二類別的真實影像，此些真實影像為第一元件的瑕疵影像，影像資料集503包括對應至第三類別的真實影像，此些真實影像為第二元件的無瑕影像。在本範例實施例中，訓練系統可使用影像資料集501、影像資料集502以及影像資料集503中的影像訓練非對稱GAN 200。具體來說，影像資料集501、影像資料集502及影像資料集503中的真實影像可分別作為圖2中的第一真實影像A 1、第二真實影像A 2及第三真實影像B 1來對非對稱GAN 200進行訓練。
接著請參圖6，訓練出的非對稱GAN 200可用於將屬於第二類別的真實影像轉換為屬於第四類別的偽影像，亦即，此偽影像可視為第二元件的瑕疵影像。如圖6所示，通過本範例實施例提供的訓練非對稱GAN產生影像的方法訓練出的第一生成器G 1，可將屬於第二類別的真實影像5021、5022及5023分別映射產生偽影像5041、5042及5043，並且此些偽影像5041、5042及5043即為第二元件的瑕疵影像。
綜上所述，本範例實施例提出的訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置藉由屬於第一類別、第二類別及第三類別的影像，能夠執行機器學習訓練非對稱GAN以更新第一生成器、第二生成器、第一鑑別器以及第二鑑別器的參數。藉此，訓練後的非對稱GAN包括的第一生成器能夠將元件的缺陷特徵轉移至另一元件的影像上以產生屬於第四類別的缺陷影像，從而提升第一生成器的影像轉換的效能。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:電子裝置 110:處理器 120:儲存裝置 121:真實影像資料集 200:非對稱GAN G 1:第一生成器 G 2:第二生成器 D A:第一鑑別器 D B:第二鑑別器 A 1:第一真實影像 A 2:第二真實影像 A 1’:第三生成影像 A 1’’:第一重建影像 A 2’’:第二重建影像 B 1:第三真實影像 B 1’:第一生成影像 B 2’:第二生成影像 B 1’’:第三重建影像 501, 502, 503:影像資料集 5021, 5022, 5023:真實影像 5041, 5042, 5043:偽影像 S302~S316, S41~S43, S51~S55, S61~S64, S71~S75, S81~S84:步驟
圖1是根據一範例實施例所繪示的電子裝置的方塊圖。 圖2是根據一範例實施例所繪示的訓練非對稱GAN的機制的示意圖。 圖3是根據一範例實施例所繪示的訓練非對稱GAN產生影像的方法的流程圖。 圖4是根據一範例實施例所繪示的非對稱GAN的迭代過程的流程圖。 圖5是根據一範例實施例所繪示的真實影像的範例。 圖6是根據一範例實施例所繪示的第二真實影像及第一生成器的輸出結果的範例。
S302~S316:步驟

Claims (24)

  1. 一種訓練非對稱生成對抗網路產生影像的方法，適用於包括處理器的電子裝置，所述方法包括：輸入屬於第一類別的第一真實影像、屬於第二類別的第二真實影像以及屬於第三類別的第三真實影像至一非對稱生成對抗網路以訓練所述非對稱生成對抗網路，其中所述非對稱生成對抗網路包括第一生成器、第二生成器、第一鑑別器以及第二鑑別器，其中，所述第一生成器接收所述第二真實影像並據以產生第二生成影像，並且所述第二生成器接收所述第二生成影像並據以產生第二重建影像，並且所述第一生成器依據所述第二真實影像及所述第二重建影像執行運算以產生第二數值，並依據所述第二數值更新所述第一生成器的參數；以及輸入屬於所述第二類別的第四真實影像至訓練出的所述非對稱生成對抗網路中的所述第一生成器以產生瑕疵影像，其中所述第一真實影像及所述第三真實影像不具有瑕疵特徵，所述第二真實影像及所述第四真實影像具有瑕疵特徵，其中所述瑕疵影像屬於第四類別，且所述第四類別不具有訓練樣本。
  2. 如請求項1所述的訓練非對稱生成對抗網路產生影像的方法，其中所述第一生成器接收所述第一真實影像並據以產 生第一生成影像，所述第二生成器接收所述第一生成影像並據以產生第一重建影像，並且所述第一生成器依據所述第一真實影像及所述第一重建影像執行運算以產生第一數值，並依據所述第一數值更新所述第一生成器的參數。
  3. 如請求項2所述的訓練非對稱生成對抗網路產生影像的方法，其中所述第一鑑別器在所述第一生成影像與屬於第三類別的第三真實影像之間進行區分來產生第一鑑別值，並且所述第一生成器依據所述第一鑑別值更新所述第一生成器的參數。
  4. 如請求項3所述的訓練非對稱生成對抗網路產生影像的方法，其中所述第一鑑別器表徵為多個第三神經網路權重，並且所述第一鑑別器依據所述第一鑑別值更新所述第一鑑別器的參數。
  5. 如請求項2所述的訓練非對稱生成對抗網路產生影像的方法，其中所述第一生成器將所述第一真實影像及所述第一重建影像相減以產生所述第一數值，將所述第二真實影像及所述第二重建影像相減以產生所述第二數值。
  6. 如請求項1所述的訓練非對稱生成對抗網路產生影像的方法，其中所述第一生成器表徵為多個第一神經網路權重，其中更新所述第一生成器的參數的步驟包括：在使第一生成損失函數最小化的情況下更新所述多個第一神 經網路權重。
  7. 如請求項1所述的訓練非對稱生成對抗網路產生影像的方法，其中所述第二生成器接收所述第三真實影像並據以產生第三生成影像，並且所述第一生成器接收所述第三生成影像並據以產生第三重建影像，所述第二鑑別器在所述第三生成影像與所述第一真實影像之間進行區分來產生第二鑑別值，並且所述第二生成器依據所述第三真實影像及所述第三重建影像執行運算以產生第三數值，並依據所述第二鑑別值以及所述第三數值至少其中之一更新所述第二生成器的參數。
  8. 如請求項7所述的訓練非對稱生成對抗網路產生影像的方法，其中所述第二鑑別器表徵為多個第四神經網路權重，並且所述第二鑑別器依據所述第二鑑別值更新所述第二鑑別器的參數。
  9. 如請求項7所述的訓練非對稱生成對抗網路產生影像的方法，其中所述第二生成器表徵為多個第二神經網路權重，其中更新所述第二生成器的參數的步驟包括：在使第二生成損失函數最小化的情況下更新所述第二神經網路權重。
  10. 如請求項7所述的訓練非對稱生成對抗網路產生影像的方法，其中所述第二生成器將所述第三真實影像及所述第三重建影像相減以產生所述第三數值。
  11. 如請求項1所述的訓練非對稱生成對抗網路產生影像的方法，其中所述非對稱生成對抗網路執行多次迭代操作以訓練所述第一生成器、所述第二生成器、所述第一鑑別器以及所述第二鑑別器。
  12. 如請求項11所述的訓練非對稱生成對抗網路產生影像的方法，其中所述多個迭代操作包括：在執行第一迭代操作時依據所述第一真實影像更新所述第一鑑別器及所述第一生成器；在執行第二迭代操作時依據所述第二真實影像更新所述第一生成器；以及在執行第三迭代操作時依據所述第三真實影像更新所述第二鑑別器及所述第二生成器。
  13. 一種使用訓練非對稱生成對抗網路產生影像的電子裝置，包括：儲存裝置，經配置以儲存真實影像資料集及一或多個指令；以及處理器，耦接所述儲存裝置，經配置以執行所述多個指令：輸入屬於第一類別的第一真實影像、屬於第二類別的第二真實影像以及屬於第三類別的第三真實影像至一非對稱生成對抗網路訓練所述非對稱生成對抗網路，其中所述非對稱生成對抗網路包括第一生成器、第二生成器、第一鑑別器以及第二鑑別器，其中 所述第一生成器接收所述第二真實影像並據以產生第二生成影像，並且所述第二生成器接收所述第二生成影像並據以產生第二重建影像，並且所述第一生成器依據所述第二真實影像及所述第二重建影像執行運算以產生第二數值，並依據所述第二數值更新所述第一生成器的參數；以及輸入屬於所述第二類別的第四真實影像至訓練出的所述非對稱生成對抗網路中的所述第一生成器以產生瑕疵影像，其中所述第一真實影像及所述第三真實影像不具有瑕疵特徵，所述第二真實影像及所述第四真實影像具有瑕疵特徵，其中所述瑕疵影像屬於第四類別，且所述第四類別不具有訓練樣本。
  14. 如請求項13所述的使用訓練非對稱生成對抗網路產生影像的電子裝置，其中所述第一生成器接收所述第一真實影像並據以產生第一生成影像，所述第二生成器接收所述第一生成影像並據以產生第一重建影像，並且所述第一生成器依據所述第一真實影像及所述第一重建影像執行運算以產生第一數值，並依據所述第一數值更新所述第一生成器的參數。
  15. 如請求項14所述的使用訓練非對稱生成對抗網路產生影像的電子裝置，其中所述第一鑑別器在所述第一生成影 像與屬於第三類別的第三真實影像之間進行區分來產生第一鑑別值，並且所述第一生成器依據所述第一鑑別值更新所述第一生成器的參數。
  16. 如請求項15所述的使用訓練非對稱生成對抗網路產生影像的電子裝置，其中所述第一鑑別器表徵為多個第三神經網路權重，並且所述第一鑑別器依據所述第一鑑別值更新所述第一鑑別器的參數。
  17. 如請求項14所述的使用訓練非對稱生成對抗網路產生影像的電子裝置，其中所述第一生成器將所述第一真實影像及所述第一重建影像相減以產生所述第一數值，將所述第二真實影像及所述第二重建影像相減以產生所述第二數值。
  18. 如請求項13所述的使用訓練非對稱生成對抗網路產生影像的電子裝置，其中所述第一生成器表徵為多個第一神經網路權重，其中更新所述第一生成器的參數的運作包括：在使第一生成損失函數最小化的情況下更新所述多個第一神經網路權重。
  19. 如請求項13所述的使用訓練非對稱生成對抗網路產生影像的電子裝置，其中所述第二生成器接收所述第三真實影像並據以產生第三生成影像，並且所述第一生成器接收所述第三生成影像並據以產生第三重建影像，所述第二鑑別器在所述第三生成影像與所述第一真實影像之 間進行區分來產生第二鑑別值，並且所述第二生成器依據所述第三真實影像及所述第三重建影像執行運算以產生第三數值，並依據所述第二鑑別值以及所述第三數值至少其中之一更新所述第二生成器的參數。
  20. 如請求項19所述的使用訓練非對稱生成對抗網路產生影像的電子裝置，其中所述第二鑑別器表徵為多個第四神經網路權重，並且所述第二鑑別器依據所述第二鑑別值更新所述第二鑑別器的參數。
  21. 如請求項19所述的使用訓練非對稱生成對抗網路產生影像的電子裝置，其中所述第二生成器表徵為多個第二神經網路權重，其中更新所述第二生成器的參數的運作包括：在使第二生成損失函數最小化的情況下更新所述第二神經網路權重。
  22. 如請求項19所述的使用訓練非對稱生成對抗網路產生影像的電子裝置，其中所述第二生成器將所述第三真實影像及所述第三重建影像相減以產生所述第三數值。
  23. 如請求項13所述的使用訓練非對稱生成對抗網路產生影像的電子裝置，其中所述非對稱生成對抗網路執行多次迭代操作以訓練所述第一生成器、所述第二生成器、所述第一鑑別器以及所述第二鑑別器。
  24. 如請求項23所述的使用訓練非對稱生成對抗網路產生影像的電子裝置，其中所述迭代操作包括： 在執行第一迭代操作時依據所述第一真實影像更新所述第一鑑別器及所述第一生成器；在執行第二迭代操作時依據所述第二真實影像更新所述第一生成器；以及在執行第三迭代操作時依據所述第三真實影像更新所述第二鑑別器及所述第二生成器。
TW110128994A 2021-08-05 2021-08-05 訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置 TWI825461B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110128994A TWI825461B (zh) 2021-08-05 2021-08-05 訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置
US17/460,274 US20230037782A1 (en) 2021-08-05 2021-08-29 Method for training asymmetric generative adversarial network to generate image and electric apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110128994A TWI825461B (zh) 2021-08-05 2021-08-05 訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置

Publications (2)

Publication Number Publication Date
TW202307781A TW202307781A (zh) 2023-02-16
TWI825461B true TWI825461B (zh) 2023-12-11

Family

ID=85153189

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110128994A TWI825461B (zh) 2021-08-05 2021-08-05 訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置

Country Status (2)

Country Link
US (1) US20230037782A1 (zh)
TW (1) TWI825461B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047056A (zh) * 2018-01-16 2019-07-23 西门子保健有限责任公司 用深度图像到图像网络和对抗网络的跨域图像分析和合成
CN111753980A (zh) * 2019-03-26 2020-10-09 罗伯特·博世有限公司 将第一图像的特征转移到第二图像的方法
TW202046242A (zh) * 2019-05-23 2020-12-16 宏達國際電子股份有限公司 訓練生成對抗網路的方法、產生影像的方法及電腦可讀儲存媒體

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047056A (zh) * 2018-01-16 2019-07-23 西门子保健有限责任公司 用深度图像到图像网络和对抗网络的跨域图像分析和合成
CN111753980A (zh) * 2019-03-26 2020-10-09 罗伯特·博世有限公司 将第一图像的特征转移到第二图像的方法
TW202046242A (zh) * 2019-05-23 2020-12-16 宏達國際電子股份有限公司 訓練生成對抗網路的方法、產生影像的方法及電腦可讀儲存媒體

Also Published As

Publication number Publication date
TW202307781A (zh) 2023-02-16
US20230037782A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US10410121B2 (en) Adjusting automated neural network generation based on evaluation of candidate neural networks
US10657447B1 (en) Automated model building search space reduction
US11853893B2 (en) Execution of a genetic algorithm having variable epoch size with selective execution of a training algorithm
US20180018555A1 (en) System and method for building artificial neural network architectures
CN111428818A (zh) 基于神经通路激活状态的深度学习模型测试方法与装置
WO2020224297A1 (zh) 计算机执行的集成模型的确定方法及装置
US7610250B2 (en) Real-time method of determining eye closure state using off-line adaboost-over-genetic programming
WO2023217290A1 (zh) 基于图神经网络的基因表型预测
JP7028322B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN113111979B (zh) 模型训练方法、图像检测方法及检测装置
CN113128671B (zh) 一种基于多模态机器学习的服务需求动态预测方法及系统
CN113541985B (zh) 物联网故障诊断方法、模型的训练方法及相关装置
WO2023116565A1 (zh) 智能设计网络安全架构图的方法
EP4162408A1 (en) Method and apparatus for enhancing performance of machine learning classification task
CN112507778A (zh) 一种基于线特征的改进词袋模型的回环检测方法
CN113627538B (zh) 训练非对称生成对抗网络产生图像的方法及电子装置
TWI825461B (zh) 訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置
CN112052934A (zh) 一种基于改进灰狼优化算法的电机轴承故障诊断方法
CN111126566A (zh) 基于gan模型的异常家具布局数据检测方法
CN114387524B (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
TWI763520B (zh) 訓練老年性黃斑部退化的分類模型的電子裝置和方法
CN114818859A (zh) 热力管网状况诊断方法、装置、终端设备和存储介质
CN111738455B (zh) 一种基于集成域自适应的故障诊断方法及系统
CN111898465B (zh) 一种人脸识别模型的获取方法和装置
KR20230077367A (ko) 송전탑 영상을 기초로 열화 정도를 판단하는 인공지능 장치 및 그 방법