TWI769820B - 生成對抗網路優化方法及電子設備 - Google Patents

Abstract

本申請公開了一種生成對抗網路優化方法及電子設備，涉及生成對抗網路技術領域。本申請之生成對抗網路優化方法包括：確定生成器之第一權重與判別器之第二權重，第一權重與第二權重相等，第一權重用以表示生成器之學習能力，第二權重用以表示判別器之學習能力；交替反覆運算訓練生成器與判別器，直至生成器與判別器均收斂。本申請能夠平衡生成器和判別器之損失，使得生成器和判別器具有相同之學習能力，從而提高生成對抗網路之穩定性。

Description

生成對抗網路優化方法及電子設備

本申請涉及生成對抗網路技術領域，具體涉及一種生成對抗網路優化方法及電子設備。

生成對抗網路(Generative Adversarial Network，GAN)由生成器和判別器構成，藉由生成器和判別器之對抗訓練來使得生成器產生之樣本服從真實資料分佈。訓練過程中，生成器根據輸入之隨機雜訊生成樣本圖像，其目標係儘量生成真實之圖像去欺騙判別器。判別器學習判別樣本圖像之真偽，其目標係儘量分辨出真實樣本圖像與生成器生成之樣本圖像。

然，生成對抗網路之訓練自由度太大，於訓練不穩定時，生成器和判別器很容易陷入不正常之對抗狀態，發生模式崩潰(Mode collapse)，導致生成樣本圖像之多樣性不足。

鑒於此，本申請提供一種生成對抗網路優化方法及電子設備，能夠平衡生成器和判別器之損失，使得生成器和判別器具有相同之學習能力，從而提高生成對抗網路之穩定性。

本申請之生成對抗網路優化方法包括：確定生成器之第一權重與判別器之第二權重，所述第一權重與所述第二權重相等，所述第一權重用以表示所述生成器之學習能力，所述第二權重用以表示所述判別器之學習能力；交替反覆運算訓練所述生成器與所述判別器，直至所述生成器與所述判別器均收斂。

於本申請實施例中，所述學習能力與所述第一權重或所述第二權重呈正相關關係。

本申請之電子設備包括記憶體及處理器，所述記憶體用以存儲電腦程式，所述電腦程式被所述處理器調用時，實現本申請之生成對抗網路優化方法。

本申請藉由梯度下降法反覆運算更新生成器之第一權重與判別器之第二權重，隨著訓練週期之加長動態調整生成器與判別器之學習率，直至所述生成器之損失函數與所述判別器之損失函數均收斂，從而得到最優之權重。所述第一權重與所述第二權重相等，使得所述生成器和所述判別器具有相同之學習能力，從而提高生成對抗網路之穩定性。

10:生成對抗網路

11:生成器

12:判別器

z:雜訊樣本

x:資料樣本

D:真假判別之概率

20:神經網路

y:輸出

W₁,W₂,W₃:權重

z₁,z₂,z₃:隱藏層輸入

f₁(z₁),f₂(z₂),f₃(z₃):啟動函數

40:電子設備

41:記憶體

42:處理器

S31-S34:步驟

圖1係生成對抗網路之示意圖。

圖2係神經網路之示意圖。

圖3係生成對抗網路優化方法之流程圖。

圖4係電子設備之示意圖。

為了能夠更清楚地理解本申請之上述目的、特徵和優點，下面結合附圖和具體實施例對本申請進行詳細描述。需要說明的是，於不衝突之情況下，本申請之實施例及實施例中之特徵可以相互組合。於下面之描述中闡述了很多具體細節以便於充分理解本申請，所描述之實施例僅係本申請一部分實施例，而不係全部之實施例。

需要說明的是，雖於流程圖中示出了邏輯順序，但於某些情況下，可以以不同於流程圖中之循序執行所示出或描述之步驟。本申請實施例中公開之方法包括用於實現方法之一個或複數步驟或動作。方法步驟和/或動作可以於不脫離請求項之範圍之情況下彼此互換。換句話說，除非指定步驟或動作之特定順序，否則特定步驟和/或動作之順序和/或使用可以於不脫離請求項範圍之情況下被修改。

生成對抗網路通常用於資料增廣，於樣本資料難以收集時，可藉由少量之樣本資料來訓練生成大規模之樣本資料，從而解決樣本資料不足之問題。但生成對抗網路於訓練過程中容易發生梯度消失、訓練不穩定及收斂速度慢等問題。當訓練不穩定時，生成對抗網路容易發生模式崩潰，導致生成樣本資料之多樣性不足。

基於此，本申請提供一種生成對抗網路優化方法、裝置、電子設備及存儲介質，能夠平衡生成器和判別器之損失，使得生成器和判別器具有相同之學習能力，從而提高生成對抗網路之穩定性。

參照圖1，圖1為生成對抗網路10之示意圖。所述生成對抗網路10包括生成器11與判別器12。生成器11用以接收雜訊樣本z並生成第一圖像，並將生成之第一圖像與從資料樣本x中獲取之第二圖像一起饋送到判別器12中，判別器12接收第一圖像和第二圖像並輸出真假判別之概率D，所述概率D之取值為[0，1]，1表示判別結果為真，0表示判別結果為假。

於本申請實施例中，生成器11與判別器12均為神經網路，所述神經網路包括，但不限於，卷積神經網路(Convolutional Neural Networks，CNN)，迴圈神經網路(Recurrent Neural Network，RNN)或深度神經網路(Deep Neural Networks，DNN)等。

於生成對抗網路10之訓練過程中，生成器11與判別器12係交替反覆運算訓練，且均藉由各自之代價函數(Cost)或損失函數(Loss)優化各自之網路。例如，當訓練生成器11時，固定判別器12之權重，更新生成器11之權重；當訓練判別器12時，固定生成器11之權重，更新判別器12之權重。生成器11與判別器12均極力優化各自之網路，從而形成競爭對抗，直到雙方達到一個動態之平衡，即納什均衡。此時，生成器11生成之第一圖像與從資料樣本x中獲取之第二圖像完全相同，判別器12無法判別第一圖像與第二圖像之真假，輸出之概率D為0.5。

於本申請實施例中，權重係指神經網路之權重數量，表徵神經網路之學習能力，所述學習能力與所述權重呈正相關關係。

參照圖2，圖2為神經網路20之示意圖。神經網路20之學習過程由訊號之正向傳播與誤差之反向傳播兩個過程組成。當訊號正向傳播時，資料樣本x從輸入層傳入，經隱藏層逐層處理後，向輸出層傳播。若輸出層之輸出y與期望輸出不符，則轉向誤差之反向傳播階段。誤差之反向傳播係將輸出誤差以某種形式藉由隱藏層向輸入層逐層反向傳播，並將誤差分攤給各層之所有神經單元，從而獲得各層神經單元之誤差訊號，此誤差訊號作為修正權重W之依據。

於本申請實施例中，神經網路包括輸入層、隱藏層及輸出層。所述輸入層用於接收來自於神經網路外部之資料，所述輸出層用於輸出神經網路之計算結果，除輸入層和輸出層以外之其它各層均為隱藏層。所述隱藏層用於把輸入資料之特徵，抽象到另一個維度空間，以線性劃分不同類型之資料。

所述神經網路20之輸出y如公式(1)所示：y=f₃(W₃＊f₂(W₂＊f₁(W₁＊x))) (1)

其中，x為資料樣本，f₁(z₁)、f₂(z₂)、f₃(z₃)分別為隱藏層輸入z₁、z₂、z₃之啟動函數，W₁、W₂、W₃均為層與層之間之權重。

採用梯度下降法更新權重W如公式(2)所示：

其中，W⁺為更新後之權重，W為更新前之權重，Loss為損失函數，η為學習率，所述學習率係指權重W更新之幅度。

於本申請實施例中，損失函數之作用係衡量判別器對生成圖像判斷之能力。損失函數之值越小，說明於當前反覆運算中，判別器能夠有較好之性能，辨別生成器之生成圖像；反之，則說明判別器之性能較差。

請一併參閱圖1至圖3，圖3為生成對抗網路優化方法之流程圖。所述生成對抗網路優化方法包括如下步驟：

S31，確定生成器之第一權重與判別器之第二權重，所述第一權重與所述第二權重相等。

於本申請實施例中，確定所述第一權重與所述第二權重之方法包括但不限於Xavier初始化、Kaiming初始化、Fixup初始化、LSUV初始化或轉移學習等。

所述第一權重與所述第二權重相等，說明所述生成器與所述判別器具有相同之學習能力。

S32，訓練生成器並更新第一權重。

所述第一權重之更新與生成器之學習率及損失函數相關，學習率根據訓練次數動態設置，損失函數L _g 如公式(3)所示：

其中，m為雜訊樣本z之個數，z⁽ⁱ⁾係指第i個雜訊樣本，G(z⁽ⁱ⁾)係指藉由雜訊樣本z⁽ⁱ⁾生成之圖像，D(G(z⁽ⁱ⁾))係指判別所述圖像係否為真之概率，θ_g為所述第一權重。

生成器之目標係最大化損失函數L _g ，盡可能地使生成樣本分佈擬合真實樣本分佈。

S33，訓練判別器並更新第二權重。

所述第二權重之更新與判別器之學習率及損失函數相關，學習率根據訓練次數動態設置，損失函數L _d 如公式(4)所示：

其中，x⁽ⁱ⁾係指第i個真實圖像，D(x⁽ⁱ⁾)係指判別所述真實圖像x⁽ⁱ⁾係否為真之概率，θ_d為所述第二權重。

判別器之目標係最小化損失函數L _d ，盡可能地判別輸入樣本係真實圖像還係生成器生成之圖像。

S34，重複執行步驟S32與步驟S33，直至生成器與判別器均收斂。

於本申請實施例中，並不限定步驟S32與S33之執行順序，即於生成器與判別器之交替反覆運算訓練過程中，可以先訓練生成器，也可以先訓練判別器。

本申請利用梯度下降法反覆運算更新所述第一權重θ_g與所述第二權重θ_d，隨著訓練週期之加長動態調整生成器與判別器之學習率，直至所述生成器之損失函數L _g 與所述判別器之損失函數L _d 均收斂，從而得到最優之權重。

參照圖4，圖4為電子設備40之示意圖。所述電子設備40包括記憶體41及處理器42，所述記憶體41用以存儲電腦程式，所述電腦程式被所述處理器42調用時，實現本申請之生成對抗網路優化方法。

所述電子設備40包括但不限於智慧型電話、平板、個人電腦(personal computer，PC)、電子書閱讀器、工作站、伺服器、個人數位助理(PDA)、可擕式多媒體播放機(Portable Multimedia Player，PMP)、MPEG-1音訊層3(MP3)播放機、移動醫療設備、相機和可穿戴設備中之至少一個。所述可穿戴設備包括附件類型(例如，手錶、戒指、手鐲、腳鏈、項鍊、眼鏡、隱形眼鏡或頭戴式設備(Head-Mounted Device，HMD))、織物或服裝集成類型(例如，電子服裝)、身體安裝類型(例如，皮膚墊或紋身)以及生物可植入類型(例如，可植入電路)中之至少一種。

所述記憶體41用於存儲電腦程式和/或模組，所述處理器42藉由運行或執行存儲於所述記憶體41內之電腦程式和/或模組，以及調用存儲於記憶體41內之資料，實現本申請之生成對抗網路優化方法。所述記憶體41包括易失性或非易失性記憶體件，例如數位多功能盤(DVD)或其它光碟、磁片、硬碟、智慧存儲卡(Smart Media Card，SMC)、安全數位(SecureDigital，SD)卡、快閃記憶體卡(Flash Card)等。

所述處理器42包括中央處理單元(Central Processing Unit，CPU)、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其它可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。

可以理解，當所述電子設備40實現本申請之生成對抗網路優化方法時，所述生成對抗網路優化方法之具體實施方式適用於所述電子設備40。

上面結合附圖對本申請實施例作了詳細說明，但本申請不限於上述實施例，於所屬技術領域普通技術人員所具備之知識範圍內，還可以於不脫 離本申請宗旨之前提下做出各種變化。此外，於不衝突之情況下，本申請之實施例及實施例中之特徵可以相互組合。

S31-S34:步驟

Claims (9)

1. 一種生成對抗網路優化方法，其改良在於，所述方法包括：確定生成器之第一權重與判別器之第二權重，所述第一權重與所述第二權重相等，所述第一權重用以表示所述生成器之學習能力，所述第二權重用以表示所述判別器之學習能力；所述第一權重之更新與所述生成器之學習率及損失函數相關，所述第二權重之更新與所述判別器之學習率及損失函數相關；更新權重之公式如下：

   

   其中，W⁺為更新後之權重，W為更新前之權重，Loss為損失函數，η為學習率，所述學習率係指權重W更新之幅度；交替反覆運算訓練所述生成器與所述判別器，直至所述生成器與所述判別器均收斂。
2. 如請求項1所述之生成對抗網路優化方法，其中，所述學習能力與所述第一權重或所述第二權重呈正相關關係。
3. 如請求項1或2所述之生成對抗網路優化方法，其中，所述生成器與所述判別器均為神經網路，所述神經網路包括以下之一：卷積神經網路、迴圈神經網路、深度神經網路。
4. 如請求項3所述之生成對抗網路優化方法，其中，所述確定生成器之第一權重與判別器之第二權重，採用以下方法之一：Xavier初始化、Kaiming初始化、Fixup初始化、LSUV初始化、轉移學習。
5. 如請求項3所述之生成對抗網路優化方法，其中，所述交替反覆運算訓練所述生成器與所述判別器，包括： 訓練所述生成器並更新所述第一權重；訓練所述判別器並更新所述第二權重。
6. 如請求項5所述之生成對抗網路優化方法，其中，所述學習率根據訓練次數動態設置。
7. 如請求項6所述之生成對抗網路優化方法，其中，所述生成器之損失函數為：

   

   其中，L_g為所述生成器之損失函數，m為雜訊樣本z之個數，z⁽ⁱ⁾係指第i個雜訊樣本，G(z⁽ⁱ⁾)係指藉由雜訊樣本z⁽ⁱ⁾生成之圖像，D(G(z⁽ⁱ⁾))係指判別所述圖像係否為真之概率，θ_g為所述第一權重。
8. 如請求項7所述之生成對抗網路優化方法，其中，所述判別器之損失函數為：

   

   其中，L_d為所述判別器之損失函數，x⁽ⁱ⁾係指第i個真實圖像，D(x⁽ⁱ⁾)係指判別所述真實圖像x⁽ⁱ⁾係否為真之概率，θ_d為所述第二權重。
9. 一種電子設備，包括記憶體及處理器，所述記憶體用以存儲電腦程式，其改良在於，所述電腦程式被所述處理器調用時，實現如請求項1至8任一項所述之生成對抗網路優化方法。

Images