TWI821715B

TWI821715B - 生成器網路模型的訓練方法及其執行的電子裝置

Info

Publication number: TWI821715B
Application number: TW110126673A
Authority: TW
Inventors: 李冠霖; 李竣穎
Original assignee: 和碩聯合科技股份有限公司
Priority date: 2021-07-20
Filing date: 2021-07-20
Publication date: 2023-11-11
Also published as: TW202305667A; US20230022256A1; CN115705485A

Abstract

本發明提出一種生成器網路模型的訓練方法及其執行的電子裝置。訓練方法包括以下步驟：提取第一張量矩陣及第二張量矩陣，第一張量矩陣與第二張量矩陣分別代表第一圖片及第二圖片且分別包括多個第一參數及多個第二參數；根據第一張量矩陣的多個第一參數與第二張量矩陣的多個第二參數之間的多個差值來產生多個第三圖片；將多個原始圖片與多個第三圖片進行相似度檢測；以及將相似度低於或等於相似度閾值的多個第三圖片的至少其中之一作為至少一新的樣本圖片。

Description

生成器網路模型的訓練方法及其執行的電子裝置

本發明是有關於一種應用神經網路運算技術的模型改良方法與裝置，且特別是有關於一種生成對抗網路(Generative Adversarial Network，GAN)模型中的生成器(Generator)網路模型的訓練方法及其執行的電子裝置。

一般的生成對抗網路(Generative Adversarial Network，GAN)模型是用於自動繪製出具有與真實物件十分相似的圖案的圖片。生成對抗網路模型的生成器網路模型與鑑別器網路模型分別經由原始訓練數據集訓練以及對抗後，生成器所產生的圖片中的圖案能夠越來越接近於真實物件的圖案，因此可使優化後的生成器所產生的圖片能夠使鑑別器網路模型視為真實物件的圖案。然而，從另一角度而言，由於一般的生成對抗網路模型只會產生幾乎與原始訓練數據集中的原始圖片為相同或相似度極高的圖案的圖片，而無法產生富含圖案特徵變化的圖片。因此，一般的生成對抗網路模型並不具有可產生富創意的新穎圖片的功能。

有鑑於此，本發明提供一種生成器網路模型的訓練方法及其執行的電子裝置，可使訓練後的生成器網路模型具有可產生富創意的新穎圖片的功能。

本發明的生成器網路模型的訓練方法包括以下步驟：提取第一張量矩陣及第二張量矩陣，其中第一張量矩陣與第二張量矩陣分別代表第一圖片及第二圖片且分別包括多個第一參數及多個第二參數；根據第一張量矩陣的多個第一參數與第二張量矩陣的多個第二參數之間的多個差值來產生多個第三圖片；將多個原始圖片與多個第三圖片進行相似度檢測；以及將相似度低於或等於相似度閾值的多個第三圖片的至少其中之一作為至少一新的樣本圖片。

本發明的電子裝置適於執行生成器網路模型。電子裝置包括：儲存裝置以及處理器。儲存裝置用以儲存生成器網路模型。處理器耦接儲存裝置。處理器用以執行生成器網路模型。處理器從生成器網路模型提取第一張量矩陣及第二張量矩陣。第一張量矩陣與第二張量矩陣分別代表第一圖片及第二圖片且分別包括多個第一參數及多個第二參數。處理器根據第一圖片的第一張量矩陣的多個第一參數與第二圖片的第二張量矩陣的多個第二參數之間的多個差值來產生多個第三圖片。處理器將多個原始圖片與多個第三圖片進行相似度檢測。處理器將相似度低於或等於相似度閾值的多個第三圖片的至少其中之一作為至少一新的樣本圖片。

基於上述，本發明的生成器網路模型的訓練方法及其執行的電子裝置，可產生具有圖案特徵漸變特性的多個樣本圖片。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本揭示確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是依照本發明的一實施例的電子裝置的示意圖。參考圖1，電子裝置100包括處理器110以及儲存裝置120。儲存裝置120可儲存生成對抗網路(Generative Adversarial Network，GAN)模型121。處理器110耦接儲存裝置120。在本實施例中，處理器110可執行生成對抗網路模型121，其中生成對抗網路模型121可包括生成器(Generator)網路模型(生成網路)以及鑑別器(Discriminator)網路模型(判別網路)。處理器110可透過在對生成器網路模型以及鑑別器網路模型進行訓練以及對抗的過程中，可產生新的樣本圖片來取代原始樣本圖片，以使完成訓練的生成器網路模型可產生既保有原始樣本圖片的部分圖案特徵，但又與原始樣本圖片不同的圖案特徵組合的新的變化圖片。

在本實施例中，處理器110可例如是中央處理單元(Central Processing Unit, CPU)、圖形處理器(Graphic Process Unit, GPU)或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)、其他類似處理裝置或這些裝置的組合。儲存裝置120可例如是動態隨機存取記憶體(Dynamic Random Access Memory, DRAM)、快閃記憶體(Flash memory)或非揮發性隨機存取記憶體(Non-Volatile Random Access Memory, NVRAM)等。儲存裝置120可儲存生成對抗網路模型121、相關演算法以及圖片資料，並且提供處理器110讀取並執行之。

圖2是依照本發明的一實施例的訓練方法的流程圖。參考圖1以及圖2，電子裝置100可執行以下步驟S210~S240，以產生可用於訓練生成對抗網路模型121中的生成器網路模型的新的樣本圖片。處理器110可執行生成對抗網路模型121。在步驟S210，處理器110可從生成器網路模型提取第一張量矩陣以及第二張量矩陣。第一張量矩陣與第二張量矩陣分別代表第一圖片及第二圖片且分別包括多個第一參數及多個第二參數。前述的多個第一參數及多個第二參數是指分別在第一張量矩陣與第二張量矩陣中的多個向量數值。例如張量矩陣可為三維空間矩陣，而張量矩陣的多個參數可包括向量空間中的x方向的多個向量數值、y方向的多個向量數值以及z方向的多個向量數值。在步驟S220，處理器110可根據第一張量矩陣的多個第一參數與第二張量矩陣的多個第二參數之間的多個差值來產生多個第三圖片。在步驟S230，處理器110可將多個原始圖片與多個第三圖片進行相似度檢測。在步驟S240，處理器110可將相似度低於或等於相似度閾值的多個第三圖片的至少其中之一作為至少一新的樣本圖片。

舉例而言，請搭配參考圖3A至圖3F，圖3A至圖3F是依照本發明的一實施例的多個圖片的示意圖。在本實施例中，在初始訓練完成生成對抗網路模型121下，處理器110可從生成器網路模型的潛在空間(latent space)中隨機提取第一張量矩陣以及第二張量矩陣，以產生多個與例如圖3A及圖3D所示的原始圖片310、340相似的圖3B的第一圖片320和圖3E的第二圖片350。前述的第一張量矩陣可表現如第一圖片320的圖案內容，並且前述的第二張量矩陣可表現如第二圖片350的圖案內容。原始圖片310、340分別具有圖案311、341，第一圖片320具有圖案321，並且第二圖片350具有圖案351。因此，第一圖片320的圖案321可與原始圖片310的圖案311具有整體相似的圖案特徵，並且第二圖片350的圖案351也可與原始圖片340的圖案341具有整體相似的圖案特徵。

接著，處理器110可根據第一圖片320的第一張量矩陣多個第一參數與第二圖片350的第二張量矩陣多個第二參數的差值來產生例如圖3C及圖3E所示的第三圖片330、360，其中第三圖片330、360的圖案331、361分別為圖案321逐漸變化至圖案351的過程中(或圖案351逐漸變化至圖案321的過程中)的具有新穎圖案特徵的圖片。值得注意的是，當第三圖片330與原始圖片310、340之間的相似度低於或等於相似度閾值時，處理器110將第三圖片330作為新的樣本圖片。同理，當第三圖片360與原始圖片310、340之間的相似度低於或等於相似度閾值時，處理器110將第三圖片360作為新的樣本圖片。

換言之，本實施例的處理器110可在原始圖片310、340的圖案311、341的圖案特徵基礎上，來產生出新的樣本圖片，並且新的樣本圖片的圖案可與原始圖片310、340的圖案311、341具有某種程度上的差異，而不至於過於相似。並且經過多次的遞迴訓練，處理器110可利用逐次新增的新的樣本圖片來逐漸取代原始訓練數據集的圖片。並且，經由遞迴訓練生成對抗網路模型121的生成器網路模型以及鑑別器網路模型後，訓練完成後的生成器網路模型可生成可通過鑑別器網路模型鑑別且具有圖案特徵不同於原始圖片310、340的圖案311、341的第三圖片330、360的圖案331、361，而非與原始圖片310、340的圖案311、341相似的第一圖片320以及第二圖片350的圖案321、351。

圖4是依照本發明的另一實施例的訓練方法的流程圖。圖5是依照本發明的一實施例的訓練生成對抗網路模型的流程示意圖。參考圖1、圖4以及圖5，電子裝置100可執行以下步驟S401~S411，以訓練生成對抗網路模型121。

在步驟S401，處理器110可先利用多個原始圖片501_1~501_M訓練生成對抗網路模型121至穩定，其中M為正整數。

在步驟S402，處理器110執行生成對抗網路模型121，以從生成對抗網路模型121的生成器網路模型121_1的潛在空間中隨機提取第一張量矩陣及第二張量矩陣。第一張量矩陣及第二張量矩陣分別代表第一圖片以及第二圖片，例如圖3B的第一圖片320以及圖3D的第二圖片350。如此，處理器110可在生成器網路模型121_1的潛在空間找出未被顯示出來的圖片。

在步驟S403，處理器110判斷第一圖片以及第二圖片的至少其中之一的模糊度是否高於第一模糊度閾值。若是，則處理器110重新執行步驟S402。若否，則處理器110執行步驟S404。在本實施例中，基於第一圖片以及第二圖片的至少其中之一的模糊度高於第一模糊度閾值，處理器110可從生成器網路模型重新提取新的第一張量矩陣及第二張量矩陣的至少其中之一。換言之，本實施例的處理器110可避免使用圖案過於模糊的圖片。在本實施例中，處理器110可透過拉普拉斯邊緣運算(Laplace edge computing)以及對比度檢測的至少其中之一來判斷第一圖片以及第二圖片的模糊度。

在步驟S404，處理器110將第一圖片的第一張量矩陣(例如三維空間矩陣)的多個第一參數與第二圖片的第二張量矩陣(例如三維空間矩陣)的多個第二參數之間的多個差值分別除以預設參數值，以取得多個差異特徵值，並且將多個差異特徵值逐次累加至對應的第一張量矩陣的多個第一參數，以逐次產生不同的第三張量矩陣。對此，不同的多個第三張量矩陣代表不同的多個第三圖片。並且，前述的預設參數值可對應於產生第三圖片的次數，亦即在一次完整訓練過程中所產生的第三圖片的數量。舉例而言，預設參數值若為10，則表示差異特徵值被除以10等分，因此第一張量矩陣的多個第一參數可進行10次累加而產生10張第三圖片(產生不同的10個第三張量矩陣)。另外，值得注意的是，第10張第三圖片的張量矩陣的整體數值將會等於第二圖片的第二張量矩陣的整體數值，因此第10張第三圖片的圖案內容與第二圖片的圖案內容相同。

在步驟S405，處理器110判斷第三圖片的模糊度是否高於第二模糊度閾值。若是，則處理器110執行步驟S406。若否，則處理器110執行步驟S407。在本實施例中，基於第三圖片的模糊度高於第二模糊度閾值，處理器110可捨棄當次累加運算所產生的第三圖片。換言之，本實施例的處理器110可避免使用圖案過於模糊的第三圖片。在本實施例中，處理器110可透過拉普拉斯邊緣運算以及對比度檢測的至少其中之一來判斷第三圖片的模糊度。

在步驟S406中，處理器110判斷當前累加次數是否等於預設次數。若是，則處理器110執行步驟S411，以結束執行流程。若否，則處理器110執行步驟S404，以進行下一次的累加運算。

在步驟S407中，處理器110判斷第三圖片與多個原始圖片之間是否相似。若是，則處理器110執行步驟S410。若否，則處理器110執行步驟S408。在本實施例中，處理器110可利用卷積神經網路(Convolutional Neural Networks，CNN)中的全連線層(Fully Connected layer，FC layer)來將當次累加運算所產生的第三圖片與原始訓練數據集的原始圖片501_1~501_M進行相似度檢測。值得注意的是，當當次累加運算所產生的第三圖片與原始圖片501_1~501_M的每一個之間的相似度低於或等於相似度閾值時，處理器110將第三圖片330作為新的樣本圖片。換言之，若當次累加運算所產生的第三圖片與原始訓練數據集的原始圖片501_1~501_M的其中之一過於相似，則處理器110捨棄當次累加運算所產生的第三圖片。若當次累加運算所產生的第三圖片與原始訓練數據集的原始圖片501_1~501_M的其中之一未相似(即為不同)，則處理器110執行步驟S408。

在步驟S408中，處理器110將當次累加運算所產生的第三圖片作為新的樣本圖片，並且對新的圖片進行特徵增強處理。在本實施例中，前述的特徵增強處理可包括對新的樣本圖片進行伽瑪濾波(gamma filter)處理以及逆濾波(inverse filter)處理的至少其中之一。因此，處理器110可將新的樣本圖片進一步處理為具有圖案清晰以及圖案特徵明顯的圖片。在步驟S409，處理器110輸出新的樣本圖片。在步驟S410，處理器110判斷當前累加次數是否等於預設次數。若是，則處理器110執行步驟S411，以結束執行流程。若否，則處理器110執行步驟S404，以進行下一次的累加運算。

詳細而言，如圖5所示，處理器110可將第三圖片502_1~502_N中過於模糊的圖片捨棄，接著與原始訓練數據集的原始圖片501_1~501_M進行比對，以排除與原始圖片501_1~501_M過於相似的圖片。N為正整數。因此，處理器110可將排除後所剩餘的第三圖片作為新的樣本圖片503_1~503_P，其中P為正整數。接著，處理器110可利用新的樣本圖片503_1~503_P來替換與原始訓練數據集的原始圖片501_1~501_M的一部分，以產生新的訓練數據集的圖片504_1_504_K，其中K為正整數。在本實施例中，處理器110可利用新的樣本圖片503_1~503_P來訓練生成對抗網路模型121的鑑別器網路模型121_2，以使鑑別器網路模型121_2可將新的樣本圖片503_1~503_P的圖案視為下一次鑑別操作中所可以保留的對象。並且，處理器110可利用新的訓練數據集的圖片504_1_504_K來重新訓練生成對抗網路模型121的生成器網路模型121_1，以使生成器網路模型121_1在下一次圖片生成(繪製)操作中可有機率產生與原始圖片501_1~501_M不同而具有圖案特徵變化的圖片。

值得注意的是，新的訓練數據集的圖片504_1_504_K可包括新的樣本圖片503_1~503_P以及原始圖片501_1~501_M的一部分。換言之，新的樣本圖片503_1~503_P可取代原始圖片501_1~501_M的另一部分。並且，當生成器網路模型121_1以及鑑別器網路模型121_2訓練至穩定後，則處理器110可再次執行步驟S401~S411。以此類推，當處理器110遞迴執行多次後，原始圖片501_1~501_M可能完全被新的樣本圖片所取代。因此，遞迴訓練多期(epoch)完成後的生成對抗網路模型121可完全輸出不同於原始圖片501_1~501_M而具有富含圖案特徵變化的圖片。

關於前述的累加運算，以下更詳細說明。舉例而言，第一張量矩陣T1(例如三維空間矩陣)代表第一圖片，並且第二張量矩陣T2(例如三維空間矩陣)代表第二圖片。以預設參數值為200(即N=200)為例，第一張量矩陣T1的多個第一參數與第二張量矩陣T2的多個第二參數相減可得到具有多個差值的差值矩陣D1(D1=(T2-T1))(差值矩陣D1為三維空間矩陣)，並且將差值矩陣D1中的多個差值分別除以200可得到具有多個差異特徵值的差異特徵矩陣D2(D2=D1/200)。因此，處理器110可將差異特徵矩陣D2的多個差異特徵值逐次(200次)累加至對應的第一張量矩陣T1的多個第一參數，以逐次產生不同的第三圖片的第三張量矩陣T3_1~T3_200。

對此，第1次累加所產生的第三圖片的第三張量矩陣T3_1可由矩陣運算：T3_1=T1+1×D2來產生。第2次累加所產生的第三圖片的第三張量矩陣T3_2可由矩陣運算：T3_2=T1+2×D2來產生。第3次累加所產生的第三圖片的第三張量矩陣T3_3可由矩陣運算：T3_3=T1+3×D2來產生。以此類推，第200次累加所產生的第三圖片的第三張量矩陣T3_200可由矩陣運算：T3_200=T1+200×D2來產生，並且第200次累加所產生的第三圖片的第三張量矩陣T3_200等於第二圖片的第二張量矩陣T2。換言之，處理器110可產生第三圖片502_1~502_199(199張)，並且第三圖片502_1~502_199是第一圖片漸變至第二圖片的結果。

接著，處理器110對第三圖片502_1~502_199進行模糊度以及相似度的判斷。當處理器110判斷第三圖片502_1~502_199的至少其中之一的模糊度高於第二模糊度閾值時，處理器110捨棄過於模糊的圖片，以對剩餘的第三圖片進行相似度檢測。並且，當處理器110排除與原始圖片501_1~501_M過於相似後，假設剩餘10張圖片，則處理器110可例如將具有新穎圖案特徵變化的此10張圖片作為10張新的樣本圖片，並取代原始圖片501_1~501_M的一部分。因此，處理器110可利用包括有此10張新的樣本圖片的新的訓練數據集的圖片504_1_504_K來再次訓練生成對抗網路模型121。

綜上所述，本發明的生成對抗網路模型的訓練方法及其執行的電子裝置，可有效地產生圖案特徵漸變特性的多個樣本圖片，並且可進一步搭配模糊度以及相似度的檢測，以保留圖案清晰且具有新穎圖案特徵變化的圖片來做為新的訓練數據。因此，本發明的生成對抗網路模型經訓練後具有可產生富創意且圖案清晰的新穎圖片的功能。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:電子裝置 110:處理器 120:儲存裝置 121:生成對抗網路模型 121_1:生成器網路模型 121_2:鑑別器網路模型 310、340、501_1~501_M:原始圖片 311、321、331、341、351、361:圖案 320:第一圖片 330、360、502_1~502_N:第三圖片 350:第二圖片 503_1~503_P:新的樣本圖片 504_1~504_K:新的訓練數據集的圖片 S210、S220、S230、S240、S401~S411:步驟

圖1是依照本發明的一實施例的電子裝置的示意圖。圖2是依照本發明的一實施例的訓練方法的流程圖。圖3A是依照本發明的一實施例的原始圖片的示意圖。圖3B是依照本發明的一實施例的第一圖片的示意圖。圖3C是依照本發明的一實施例的第三圖片的示意圖。圖3D是依照本發明的一實施例的另一原始圖片的示意圖。圖3E是依照本發明的一實施例的第二圖片的示意圖。圖3F是依照本發明的一實施例的另一第三圖片的示意圖。圖4是依照本發明的另一實施例的訓練方法的流程圖。圖5是依照本發明的一實施例的訓練生成器網路模型的流程示意圖。

S210、S220、S230、S240:步驟

Claims

一種生成器網路模型的訓練方法，包括：提取一第一張量矩陣及一第二張量矩陣，該第一張量矩陣與該第二張量矩陣分別代表一第一圖片及一第二圖片且分別包括多個第一參數及多個第二參數；根據該第一張量矩陣的該些第一參數與該第二張量矩陣的該些第二參數之間的多個差值產生多個第三圖片；將多個原始圖片與該些第三圖片進行一相似度檢測；以及將相似度低於或等於一相似度閾值的該些第三圖片的至少其中之一作為至少一新的樣本圖片。
如請求項1所述的訓練方法，其中產生該些第三圖片的步驟包括：將該些差值分別除以一預設參數值，以取得多個差異特徵值；以及將該些差異特徵值逐次累加至對應的該第一張量矩陣的該些第一參數，以逐次產生不同的多個第三張量矩陣，該些該第三張量矩陣代表該些第三圖片。
如請求項1所述的訓練方法，還包括：基於該第一圖片以及該第二圖片的至少其中之一的模糊度高於一第一模糊度閾值，重新提取新的第一張量矩陣以及新的第二張量矩陣的至少其中之一。
如請求項3所述的訓練方法，還包括：透過一拉普拉斯邊緣運算以及一對比度檢測的至少其中之一判斷該第一圖片以及該第二圖片的模糊度。
如請求項1所述的訓練方法，在進行該相似度檢測之前，還包括：捨棄模糊度高於一第二模糊度閾值的該些第三圖片的至少其中之一，以對剩餘的第三圖片進行該相似度檢測。
如請求項5所述的訓練方法，在進行該相似度檢測之前，還包括：透過一拉普拉斯邊緣運算以及一對比度檢測的至少其中之一來判斷該些第三圖片的模糊度。
如請求項1所述的訓練方法，還包括：對該至少一新的樣本圖片進行一特徵增強處理。
如請求項7所述的訓練方法，其中該特徵增強處理包括對該少一新的樣本圖片進行一伽瑪濾波處理以及一逆濾波處理的至少其中之一。
如請求項1所述的訓練方法，其中在提取該第一張量矩陣及該第二張量矩陣之前，該生成器網路模型經由該些原始圖片訓練至穩定。
一種適於執行生成器網路模型的電子裝置，包括：一儲存裝置，用以儲存該生成器網路模型；以及一處理器，耦接該儲存裝置，並且用以執行該生成器網路模型，其中該處理器從該生成器網路模型提取一第一張量矩陣及一第二張量矩陣，該第一張量矩陣與該第二張量矩陣分別代表一第一圖片及一第二圖片且分別包括多個第一參數及多個第二參數，並且該處理器根據該第一張量矩陣的該些第一參數與該第二張量矩陣的該些第二參數之間的多個差值來產生多個第三圖片，其中該處理器將多個原始圖片與該些第三圖片進行一相似度檢測，並且該處理器將相似度低於或等於一相似度閾值的該些第三圖片的至少其中之一作為至少一新的樣本圖片。
如請求項10所述的電子裝置，其中該處理器將該些差值分別除以一預設參數值，以取得多個差異特徵值，並且該處理器將該些差異特徵值逐次累加至對應的該第一張量矩陣的該些第一參數，以逐次產生不同的多個第三張量矩陣，該些該第三張量矩陣代表該些第三圖片。
如請求項10所述的電子裝置，其中基於該第一圖片以及該第二圖片的至少其中之一的模糊度高於一第一模糊度閾值，該處理器透過該生成器網路模型重新提取新的第一張量矩陣以及新的第二張量矩陣的至少其中之一。
如請求項12所述的電子裝置，其中該處理器透過一拉普拉斯邊緣運算以及一對比度檢測的至少其中之一判斷該第一圖片以及該第二圖片的模糊度。
如請求項10所述的電子裝置，其中該處理器捨棄模糊度高於一第二模糊度閾值的該些第三圖片的至少其中之一，以對剩餘的第三圖片進行該相似度檢測。
如請求項14所述的電子裝置，其中該處理器透過一拉普拉斯邊緣運算以及一對比度檢測的至少其中之一來判斷該些第三圖片的模糊度。
如請求項10所述的電子裝置，其中該處理器對該至少一新的樣本圖片進行一特徵增強處理。
如請求項16所述的電子裝置，其中該特徵增強處理包括對該少一新的樣本圖片進行一伽瑪濾波處理以及一逆濾波處理的至少其中之一。
如請求項10所述的電子裝置，在提取該第一張量矩陣及該第二張量矩陣之前，該處理器利用該些原始圖片訓練該生成器網路模型至穩定。