TWI778519B - 瑕疵圖像生成方法、裝置、電子設備及存儲介質 - Google Patents

瑕疵圖像生成方法、裝置、電子設備及存儲介質 Download PDF

Info

Publication number
TWI778519B
TWI778519B TW110105184A TW110105184A TWI778519B TW I778519 B TWI778519 B TW I778519B TW 110105184 A TW110105184 A TW 110105184A TW 110105184 A TW110105184 A TW 110105184A TW I778519 B TWI778519 B TW I778519B
Authority
TW
Taiwan
Prior art keywords
image
loss value
generator
flawed
flawless
Prior art date
Application number
TW110105184A
Other languages
English (en)
Other versions
TW202232355A (zh
Inventor
楊榮浩
郭錦斌
盧志德
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Priority to TW110105184A priority Critical patent/TWI778519B/zh
Publication of TW202232355A publication Critical patent/TW202232355A/zh
Application granted granted Critical
Publication of TWI778519B publication Critical patent/TWI778519B/zh

Links

Images

Abstract

本發明涉及圖像生成領域，提供一種瑕疵圖像生成方法、裝置、電子設備及存儲介質。所述方法包括：根據無瑕疵樣本圖像和第一雜訊向量生成第一輸入資料，將自編碼器作為生成對抗網路的生成器，將第一輸入資料登錄至生成器，選擇瑕疵樣本圖像作為第一輸出圖像，藉由生成器生成瑕疵訓練圖像，計算第一損失值，將瑕疵訓練圖像輸入判別器計算第二損失值，由第一、第二損失值得到第三損失值，優化得到瑕疵圖像對抗網路，獲取無瑕疵測試圖像，將無瑕疵測試圖像和第二雜訊輸入生成器生成瑕疵圖像。

Description

瑕疵圖像生成方法、裝置、電子設備及存儲介質
本發明涉及影像處理領域，具體涉及一種瑕疵圖像生成方法、裝置、電子設備及存儲介質。
對產品做表面瑕疵進行檢測時，由於表面瑕疵樣本不易收集，很難建立全面的瑕疵樣本資料，在使用樣本圖像訓練分類網路進行瑕疵檢測時，因為沒有各種瑕疵樣本的型態，使得瑕疵檢測結果精度不高。
鑒於以上內容，有必要提出一種瑕疵圖像生成方法、裝置、電子設備及存儲介質以生成與真實瑕疵樣本圖像類似的瑕疵圖像。
本申請的第一方面提供一種瑕疵圖像生成方法，包括：根據無瑕疵樣本圖像和第一雜訊向量生成第一輸入資料，將自編碼器作為生成對抗網路的生成器，將所述第一輸入資料登錄至所述生成器，選擇瑕疵樣本圖像作為所述生成器的第一輸出圖像，藉由所述生成器根據所述第一輸入資料及所述第一輸出圖像生成瑕疵訓練圖像； 使用預設的誤差函數計算所述無瑕疵樣本圖像與所述瑕疵訓練圖像之間的第一損失值；將所述瑕疵訓練圖像輸入所述生成對抗網路的判別器，藉由所述生成對抗網路的損失函數計算第二損失值；根據所述第一損失值和所述第二損失值得到第三損失值，根據所述第三損失值優化所述生成對抗網路的所述生成器和所述判別器，將優化後的所述生成對抗網路作為瑕疵圖像對抗網路；獲取無瑕疵測試圖像，將所述無瑕疵測試圖像和第二雜訊輸入所述瑕疵圖像對抗網路的生成器，藉由所述瑕疵圖像對抗網路的生成器對所述無瑕疵測試圖像和所述第二雜訊進行處理後生成瑕疵圖像。
優選地，所述根據無瑕疵樣本圖像和第一雜訊向量生成第一輸入資料包括：將所述無瑕疵樣本圖像進行向量化處理，得到所述無瑕疵樣本圖像的特徵向量；使用預設的雜訊生成方法生成符合高斯隨機分佈的所述第一雜訊向量；拼接所述無瑕疵樣本圖像的特徵向量與所述第一雜訊向量，得到所述第一輸入資料。
優選地，所述將所述第一輸入資料登錄至所述生成器，選擇瑕疵樣本圖像作為所述生成器的第一輸出圖像，藉由所述生成器根據所述第一輸入資料及所述第一輸出圖像生成瑕疵訓練圖像包括：將所述第一輸入資料登錄所述生成器；利用所述生成器中的編碼層對所述第一輸入資料進行運算，得到所述第一輸入資料的隱向量；選擇所述瑕疵樣本圖像作為第一輸出圖像； 利用所述生成器中的解碼層根據所述第一輸入資料的隱向量重建所述第一輸出圖像，得到瑕疵訓練圖像。
優選地，所述使用預設的誤差函數計算所述無瑕疵樣本圖像與所述瑕疵訓練圖像之間的第一損失值包括：根據所述無瑕疵樣本圖像得到所述無瑕疵樣本圖像的第一圖元矩陣；根據所述瑕疵訓練圖像得到所述瑕疵訓練圖像的第二圖元矩陣；計算所述第一圖元矩陣與所述第二圖元矩陣的均方差，並將所述均方差作為所述第一損失值。
優選地，所述生成對抗網路的損失函數的計算公式為
Figure 110105184-A0305-02-0005-15
，其中，G為所述生成器， t~P data (t)表示瑕疵樣本訓練資料集t的分佈，D(t)表示判別器D對瑕疵樣本訓練資料集t中的樣本進行真假判別，E表示輸出期望，條件變數d為所述第一輸出圖像，z~p z (z)表示隨機高斯雜訊z的先驗高斯分佈，D(G(z|d|))表示判別器D對條件變數d下的生成器G的輸出是否屬於所述瑕疵樣本訓練資料集的判別結果。
優選地，所述根據所述第一損失值和所述第二損失值得到第三損失值包括：依據公式Loss=αLoss1+βLoss2對所述第一損失值和所述第二損失值加權求和得到所述第三損失值，其中，Loss為所述第三損失值，α為所述第一損失值的權重，Loss1為所述第一損失值，β為第二損失值的權重，Loss2為所述第二損失值。
優選地，所述根據所述第三損失值優化所述生成對抗網路的所述生成器和所述判別器，得到瑕疵圖像對抗網路包括：以所述第三損失值為損失函數，調整所述生成器與所述判別器的參數； 當所述判別器對所述生成器的輸出的判斷準確率滿足預設條件時，停止對所述生成器和所述判別器的優化。
本申請的第二方面提供一種瑕疵圖像生成裝置，所述裝置包括：訓練圖像生成模組，用於根據無瑕疵樣本圖像和第一雜訊向量生成第一輸入資料，將自編碼器作為生成對抗網路的生成器，將所述第一輸入資料登錄至所述生成器，選擇瑕疵樣本圖像作為所述生成器的第一輸出圖像，藉由所述生成器根據所述第一輸入資料及所述第一輸出圖像生成瑕疵訓練圖像；第一損失值計算模組，用於使用預設的誤差函數計算所述無瑕疵樣本圖像與所述瑕疵訓練圖像之間的第一損失值；第二損失值計算模組，用於將所述瑕疵訓練圖像輸入所述生成對抗網路的判別器，藉由所述生成對抗網路的損失函數計算第二損失值；對抗網路優化模組，用於根據所述第一損失值和所述第二損失值得到第三損失值，根據所述第三損失值優化所述生成對抗網路的所述生成器和所述判別器，將優化後的所述生成對抗網路作為瑕疵圖像對抗網路；瑕疵圖像生成模組，用於獲取無瑕疵測試圖像，將所述無瑕疵測試圖像和第二雜訊輸入所述瑕疵圖像對抗網路的生成器，藉由所述瑕疵圖像對抗網路的生成器對所述無瑕疵測試圖像和所述第二雜訊進行處理後生成瑕疵圖像。
本申請的第三方面提供一種電子設備，所述電子設備包括：記憶體，存儲至少一個指令；及處理器，執行所述記憶體中存儲的指令以實現所述瑕疵圖像生成方法。
本申請的第四方面提供一種存儲介質，其上存儲有電腦程式，所述電腦程式被處理器執行時實現所述的瑕疵圖像生成方法。
利用本發明，可以生成與瑕疵樣本圖像近似的瑕疵圖像，可以產生多樣且全面的瑕疵圖像，以實現後續利用瑕疵圖像對基於深度學習或神經網路的圖像瑕疵檢測模型進行訓練和優化，從而最終提高瑕疵檢測的準確率。
30:瑕疵圖像生成裝置
301:訓練圖像生成模組
302:第一損失值計算模組
303:第二損失值計算模組
304:對抗網路優化模組
305:瑕疵圖像生成模組
6:電子設備
61:記憶體
62:處理器
63:電腦程式
S11~S15:步驟
圖1為本發明一實施方式中瑕疵圖像生成方法的流程圖。
圖2為本發明一實施方式中瑕疵圖像生成裝置的結構圖。
圖3為本發明一實施方式中電子設備的示意圖。
為了能夠更清楚地理解本發明的上述目的、特徵和優點，下面結合附圖和具體實施例對本發明進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本發明，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體地實施例的目的，不是旨在於限制本發明。
優選地，本發明瑕疵圖像生成方法應用在一個或者多個電子設備中。所述電子設備是一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計閘陣列(Field-Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電子設備可以是桌上型電腦、筆記型電腦、平板電腦及雲端伺服器等計算設備。所述電子設備可以與使用者藉由鍵盤、滑鼠、遙控器、觸控板或聲控設備等方式進行人機交互。
實施例1
圖1是本發明一實施方式中瑕疵圖像生成方法的流程圖。所述瑕疵圖像生成方法應用於電子設備中。根據不同的需求，所述流程圖中步驟的順序可以改變，某些步驟可以省略。
參閱圖1所示，所述瑕疵圖像生成方法具體包括以下步驟：
步驟S11，根據無瑕疵樣本圖像和第一雜訊向量生成第一輸入資料，將自編碼器作為生成對抗網路的生成器，將所述第一輸入資料登錄至所述生成器，選擇瑕疵樣本圖像作為所述生成器的第一輸出圖像，藉由所述生成器根據所述第一輸入資料及所述第一輸出圖像生成瑕疵訓練圖像。
在本發明的至少一個實施例中，所述方法包括：獲取無瑕疵樣本訓練資料集與瑕疵樣本訓練資料集，所述無瑕疵樣本資料集包括無瑕疵樣本圖像，所述瑕疵樣本訓練資料集包括瑕疵樣本圖像。
在本發明的至少一個實施例中，所述根據無瑕疵樣本圖像和第一雜訊向量生成第一輸入資料包括：將所述無瑕疵樣本圖像進行向量化處理，得到所述無瑕疵樣本圖像的特徵向量；使用預設的雜訊生成方法生成符合高斯隨機分佈的所述第一雜訊向量； 拼接所述無瑕疵樣本圖像的特徵向量與所述第一雜訊向量，得到所述第一輸入資料。
例如，當無瑕疵樣本圖像的特徵向量為[x1，x2，x3，…，xn]，第一雜訊向量為[y1，y2，y3，…，ym]時，拼接所述無瑕疵樣本圖像的特徵向量與所述第一雜訊向量，得到所述第一輸入資料[x1，x2，x3，…，xn，y1，y2，y3，…，ym]。
在本發明的至少一個實施例中，所述將所述第一輸入資料登錄至所述生成器，選擇瑕疵樣本圖像作為所述生成器的第一輸出圖像，藉由所述生成器根據所述第一輸入資料及所述第一輸出圖像生成瑕疵訓練圖像包括：將所述第一輸入資料登錄所述生成器；利用所述生成器中的編碼層對所述第一輸入資料進行運算，得到所述第一輸入資料的隱向量；選擇所述瑕疵樣本圖像作為第一輸出圖像；利用所述生成器中的解碼層根據所述第一輸入資料的隱向量重建所述第一輸出圖像，得到瑕疵訓練圖像。
步驟S12，使用預設的誤差函數計算所述無瑕疵樣本圖像與所述瑕疵訓練圖像之間的第一損失值。
在本發明的至少一個實施例中，所述使用預設的誤差函數計算所述無瑕疵樣本圖像與所述瑕疵訓練圖像之間的第一損失值包括：根據所述無瑕疵樣本圖像得到所述無瑕疵樣本圖像的第一圖元矩陣；根據所述瑕疵訓練圖像得到所述瑕疵訓練圖像的第二圖元矩陣；計算所述第一圖元矩陣與所述第二圖元矩陣的均方差，並將所述均方差作為所述第一損失值。
具體地，計算所述第一圖元矩陣與所述第二圖元矩陣的均方差的 公式為
Figure 110105184-A0305-02-0010-1
，其中MSE為所述均方差，n為所述第一圖元矩陣 與所述第二圖元矩陣的圖元數量，y i 為所述第一圖元矩陣的第i個向量，
Figure 110105184-A0305-02-0010-5
為所述第二圖元矩陣中的第i個向量。
步驟S13，將所述瑕疵訓練圖像輸入所述生成對抗網路的判別器，藉由所述生成對抗網路的損失函數計算第二損失值。
在本發明的至少一個實施例中，所述判別器用於判斷所述瑕疵訓練圖像是否屬於所述瑕疵樣本訓練資料集。
在本發明的至少一個實施例中，所述生成對抗網路的損失函數的 計算公式為
Figure 110105184-A0305-02-0010-11
，其中，G為所 述生成器，t~P data (t)表示瑕疵樣本訓練資料集t的分佈，D(t)表示判別器D對瑕疵樣本訓練資料集t中的樣本進行真假判別，E表示輸出期望，條件變數d為所述第一輸出圖像，z~p z (z)表示隨機高斯雜訊z的先驗高斯分佈，D(G(z|d|))表示判別器D對條件變數d下的生成器G的輸出是否屬於所述瑕疵樣本訓練資料集的判別結果。
步驟S14，根據所述第一損失值和所述第二損失值得到第三損失值，根據所述第三損失值優化所述生成對抗網路的所述生成器和所述判別器，將優化後的所述生成對抗網路作為瑕疵圖像對抗網路。
在本發明的至少一個實施例中，所述根據所述第一損失值和所述第二損失值得到第三損失值包括：依據公式Loss=αLoss1+βLoss2對所述第一損失值和所述第二損失值加權求和得到所述第三損失值，其中，Loss為所述第三損失值，α為所述第一損失值的權重，Loss1為所述第一損失值，β為第二損失值的權重，Loss2為所述第二損失值。
在本發明的至少一個實施例中，所述根據所述第三損失值優化所述生成對抗網路的所述生成器和所述判別器，得到瑕疵圖像對抗網路包括：以所述第三損失值為損失函數，調整所述生成器與所述判別器的參數；當所述判別器對所述生成器的輸出的判斷準確率滿足預設條件時，停止對所述生成器和所述判別器的優化。
步驟S15，獲取無瑕疵測試圖像，將所述無瑕疵測試圖像和第二雜訊輸入所述瑕疵圖像對抗網路的生成器，藉由所述瑕疵圖像對抗網路的生成器對所述無瑕疵測試圖像和所述第二雜訊進行處理後生成瑕疵圖像。
在本發明的至少一個實施例中，所述將所述無瑕疵測試圖像和第二雜訊輸入所述瑕疵圖像對抗網路的生成器，藉由所述瑕疵圖像對抗網路的生成器對所述無瑕疵測試圖像和所述第二雜訊進行處理後生成瑕疵圖像包括：將所述無瑕疵測試圖像進行向量化處理，得到所述無瑕疵測試圖像的特徵向量；使用預設的雜訊生成方法生成符合高斯隨機分佈的第二雜訊向量；拼接所述無瑕疵樣本圖像的特徵向量與所述第二雜訊向量，得到第二輸入資料；將所述第二輸入資料登錄所述瑕疵圖像對抗網路的生成器；利用所述瑕疵圖像對抗網路的生成器中的編碼層對第二輸入資料進行運算，得到所述第二輸入資料的隱向量；利用所述瑕疵圖像對抗網路的生成器根據所述第一輸入資料的隱向量得到瑕疵圖像。
利用本申請，可以生成與瑕疵樣本圖像近似的瑕疵圖像，可以產生多樣且全面的瑕疵圖像，以實現後續利用瑕疵圖像對基於深度學習或神經網路的圖像瑕疵檢測模型進行訓練和優化，從而最終提高瑕疵檢測的準確率。
實施例2
圖2為本發明一實施方式中瑕疵圖像生成裝置30的結構圖。
在一些實施例中，所述瑕疵圖像生成裝置30運行於電子設備中。所述瑕疵圖像生成裝置30可以包括多個由程式碼段所組成的功能模組。所述瑕疵圖像生成裝置30中的各個程式段的程式碼可以存儲於記憶體中，並由至少一個處理器所執行，以執行瑕疵圖像生成功能。
本實施例中，所述瑕疵圖像生成裝置30根據其所執行的功能，可以被劃分為多個功能模組。參閱圖2所示，所述瑕疵圖像生成裝置30可以包括訓練圖像生成模組301，第一損失值計算模組302，第二損失值計算模組303、對抗網路優化模組304及瑕疵圖像生成模組305。本發明所稱的模組是指一種能夠被至少一個處理器所執行並且能夠完成固定功能的一系列電腦程式段，其存儲在記憶體中。所述在一些實施例中，關於各模組的功能將在後續的實施例中詳述。
所述訓練圖像生成模組301根據無瑕疵樣本圖像和第一雜訊向量生成第一輸入資料，將自編碼器作為生成對抗網路的生成器，將所述第一輸入資料登錄至所述生成器，選擇瑕疵樣本圖像作為所述生成器的第一輸出圖像，藉由所述生成器根據所述第一輸入資料及所述第一輸出圖像生成瑕疵訓練圖像。
在本發明的至少一個實施例中，所述訓練圖像生成模組301獲取無瑕疵樣本訓練資料集與瑕疵樣本訓練資料集，所述無瑕疵樣本資料集包括無瑕疵樣本圖像，所述瑕疵樣本訓練資料集包括瑕疵樣本圖像。
在本發明的至少一個實施例中，所述訓練圖像生成模組302根據無瑕疵樣本圖像和第一雜訊向量生成第一輸入資料包括： 將所述無瑕疵樣本圖像進行向量化處理，得到所述無瑕疵樣本圖像的特徵向量；使用預設的雜訊生成方法生成符合高斯隨機分佈的所述第一雜訊向量；拼接所述無瑕疵樣本圖像的特徵向量與所述第一雜訊向量，得到所述第一輸入資料。
在本發明的至少一個實施例中，所述訓練圖像生成模組302將所述第一輸入資料登錄至所述生成器，選擇瑕疵樣本圖像作為所述生成器的第一輸出圖像，藉由所述生成器根據所述第一輸入資料及所述第一輸出圖像生成瑕疵訓練圖像包括：將所述第一輸入資料登錄所述生成器；利用所述生成器中的編碼層對所述第一輸入資料的所述特徵向量進行運算，得到所述第一輸入資料的隱向量；選擇所述瑕疵樣本圖像作為第一輸出圖像；利用所述生成器中的解碼層根據所述第一輸入資料的隱向量重建所述第一輸出圖像，得到瑕疵訓練圖像。
所述第一損失值計算模組302使用預設的誤差函數計算所述無瑕疵樣本圖像與所述瑕疵訓練圖像之間的第一損失值。
在本發明的至少一個實施例中，所述使用預設的誤差函數計算所述無瑕疵樣本圖像與所述瑕疵訓練圖像之間的第一損失值包括：根據所述無瑕疵樣本圖像得到所述無瑕疵樣本圖像的第一圖元矩陣；根據所述瑕疵訓練圖像得到所述瑕疵訓練圖像的第二圖元矩陣；計算所述第一圖元矩陣與所述第二圖元矩陣的均方差，並將所述均方差作為所述第一損失值。
具體地，計算所述第一圖元矩陣與所述第二圖元矩陣的均方差的 公式為
Figure 110105184-A0305-02-0014-4
，其中MSE為所述均方差，n為所述第一圖元矩陣 與所述第二圖元矩陣的圖元數量，y i 為所述第一圖元矩陣的第i個向量，
Figure 110105184-A0305-02-0014-6
為所述第二圖元矩陣中的第i個向量。
所述第二損失值計算模組303將所述瑕疵訓練圖像輸入所述生成對抗網路的判別器，藉由所述生成對抗網路的損失函數計算第二損失值。
在本發明的至少一個實施例中，所述判別器用於判斷所述瑕疵訓練圖像是否屬於所述瑕疵樣本訓練資料集。
在本發明的至少一個實施例中，所述生成對抗網路的損失函數的 計算公式為
Figure 110105184-A0305-02-0014-10
，其中，G為所 述生成器，t~P data (t)表示瑕疵樣本訓練資料集t的分佈，D(t)表示判別器D對瑕疵樣本訓練資料集t中的樣本進行真假判別，E表示輸出期望，條件變數d為所述第一輸出圖像，z~p z (z)表示隨機高斯雜訊z的先驗高斯分佈，D(G(z|d|))表示判別器D對條件變數d下的生成器G的輸出是否屬於所述瑕疵樣本訓練資料集的判別結果。
所述對抗網路優化模組304根據所述第一損失值和所述第二損失值得到第三損失值，根據所述第三損失值優化所述生成對抗網路的所述生成器和所述判別器，將優化後的所述生成對抗網路作為瑕疵圖像對抗網路。
在本發明的至少一個實施例中，所述對抗網路優化模組305根據所述第一損失值和所述第二損失值得到第三損失值包括：依據公式Loss=αLoss1+βLoss2對所述第一損失值和所述第二損失值加權求和得到所述第三損失值，其中，Loss為所述第三損失值，α為所述第一損失值的權重，Loss1為所述第一損失值，β為第二損失值的權重，Loss2為所述第二損失值。
在本發明的至少一個實施例中，所述對抗網路優化模組305根據所述第三損失值優化所述生成對抗網路的所述生成器和所述判別器，得到瑕疵圖像對抗網路包括：以所述第三損失值為損失函數，調整所述生成器與所述判別器的參數；當所述判別器對所述生成器的輸出的判斷準確率滿足預設條件時，停止對所述生成器和所述判別器的優化。
所述瑕疵圖像生成模組305獲取無瑕疵測試圖像，將所述無瑕疵測試圖像和第二雜訊輸入所述瑕疵圖像對抗網路的生成器，藉由所述瑕疵圖像對抗網路的生成器對所述無瑕疵測試圖像和所述第二雜訊進行處理後生成瑕疵圖像。
在本發明的至少一個實施例中，所述瑕疵圖像生成模組305將所述無瑕疵測試圖像和第二雜訊輸入所述瑕疵圖像對抗網路的生成器，藉由所述瑕疵圖像對抗網路的生成器對所述無瑕疵測試圖像和所述第二雜訊進行處理後生成瑕疵圖像包括：將所述無瑕疵測試圖像進行向量化處理，得到所述無瑕疵測試圖像的特徵向量；使用預設的雜訊生成方法生成符合高斯隨機分佈的第二雜訊向量；拼接所述無瑕疵樣本圖像的特徵向量與所述第二雜訊向量，得到第二輸入資料；將所述第二輸入資料登錄所述瑕疵圖像對抗網路的生成器；利用所述瑕疵圖像對抗網路的生成器中的編碼層對第二輸入資料進行運算，得到所述第二輸入資料的隱向量；利用所述瑕疵圖像對抗網路的生成器根據所述第一輸入資料的隱向量得到瑕疵圖像。
利用本申請，可以生成與瑕疵樣本圖像近似的瑕疵圖像，可以產生多樣且全面的瑕疵圖像，以實現後續利用瑕疵圖像對基於深度學習或神經網路的圖像瑕疵檢測模型進行訓練和優化，從而最終提高瑕疵檢測的準確率。
實施例3
圖3為本發明一實施方式中電子設備6的示意圖。
所述電子設備6包括記憶體61、處理器62以及存儲在所述記憶體61中並可在所述處理器62上運行的電腦程式63。所述處理器62執行所述電腦程式63時實現上述瑕疵圖像生成方法實施例中的步驟，例如圖1所示的步驟S11~S15。或者，所述處理器62執行所述電腦程式63時實現上述瑕疵圖像生成裝置實施例中各模組/單元的功能，例如圖2中的模組301~305。
示例性的，所述電腦程式63可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被存儲在所述記憶體61中，並由所述處理器62執行，以完成本發明。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，所述指令段用於描述所述電腦程式63在所述電子設備6中的執行過程。例如，所述電腦程式63可以被分割成圖2中的訓練圖像生成模組301，第一損失值計算模組302，第二損失值計算模組303、對抗網路優化模組304及瑕疵圖像生成模組305，各模組具體功能參見實施例2。
本實施方式中，所述電子設備6可以是桌上型電腦、筆記本、掌上型電腦、伺服器及雲端終端裝置等計算設備。本領域技術人員可以理解，所述示意圖僅僅是電子設備6的示例，並不構成對電子設備6的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子設備6還可以包括輸入輸出設備、網路接入設備、匯流排等。
所稱處理器62可以是中央處理模組(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專 用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者所述處理器62也可以是任何常規的處理器等，所述處理器62是所述電子設備6的控制中心，利用各種介面和線路連接整個電子設備6的各個部分。
所述記憶體61可用於存儲所述電腦程式63和/或模組/單元，所述處理器62藉由運行或執行存儲在所述記憶體61內的電腦程式和/或模組/單元，以及調用存儲在記憶體61內的資料，實現所述電子設備6的各種功能。所述記憶體61可主要包括存儲程式區和存儲資料區，其中，存儲程式區可存儲作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；存儲資料區可存儲根據電子設備6的使用所創建的資料(比如音訊資料、電話本等)等。此外，記憶體61可以包括高速隨機存取記憶體，還可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。
所述電子設備6集成的模組/單元如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本發明實現上述實施例方法中的全部或部分流程，也可以藉由電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲介質中，所述電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體(ROM，Read-Only Memory)、隨 機存取記憶體(RAM，Random Access Memory)、電載波信號、電信信號以及軟體分發介質等。
在本發明所提供的幾個實施例中，應該理解到，所揭露的裝置和方法，可以藉由其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
另外，在本發明各個實施例中的各功能模組可以集成在相同處理模組中，也可以是各個模組單獨物理存在，也可以兩個或兩個以上模組集成在相同模組中。上述集成的模組既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將請求項中的任何附圖標記視為限制所涉及的請求項。此外，顯然“包括”一詞不排除其他模組或步驟，單數不排除複數。電子設備請求項中陳述的多個模組或電子設備也可以由同一個模組或電子設備藉由軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，在援依本案創作精神所作之等效修飾或變化，皆應包含於以下之申請專利範圍內。
S11~S15:步驟

Claims (9)

  1. 一種瑕疵圖像生成方法，其中，所述方法包括：根據無瑕疵樣本圖像和第一雜訊向量生成第一輸入資料，將自編碼器作為生成對抗網路的生成器，將所述第一輸入資料登錄至所述生成器，選擇瑕疵樣本圖像作為所述生成器的第一輸出圖像，藉由所述生成器根據所述第一輸入資料及所述第一輸出圖像生成瑕疵訓練圖像；使用預設的誤差函數計算所述無瑕疵樣本圖像與所述瑕疵訓練圖像之間的第一損失值，包括：根據所述無瑕疵樣本圖像得到所述無瑕疵樣本圖像的第一圖元矩陣；根據所述瑕疵訓練圖像得到所述瑕疵訓練圖像的第二圖元矩陣；計算所述第一圖元矩陣與所述第二圖元矩陣的均方差，並將所述均方差作為所述第一損失值；將所述瑕疵訓練圖像輸入所述生成對抗網路的判別器，藉由所述生成對抗網路的損失函數計算第二損失值；根據所述第一損失值和所述第二損失值得到第三損失值，根據所述第三損失值優化所述生成對抗網路的所述生成器和所述判別器，將優化後的所述生成對抗網路作為瑕疵圖像對抗網路；獲取無瑕疵測試圖像，將所述無瑕疵測試圖像和第二雜訊輸入所述瑕疵圖像對抗網路的生成器，藉由所述瑕疵圖像對抗網路的生成器對所述無瑕疵測試圖像和所述第二雜訊進行處理後生成瑕疵圖像。
  2. 如請求項1所述的瑕疵圖像生成方法，其中，所述根據所述無瑕疵樣本圖像和所述第一雜訊向量生成所述第一輸入資料包括： 將所述無瑕疵樣本圖像進行向量化處理，得到所述無瑕疵樣本圖像的特徵向量；使用預設的雜訊生成方法生成符合高斯隨機分佈的所述第一雜訊向量；拼接所述無瑕疵樣本圖像的特徵向量與所述第一雜訊向量，得到所述第一輸入資料。
  3. 如請求項2所述的瑕疵圖像生成方法，其中，所述將所述第一輸入資料登錄至所述生成器，選擇瑕疵樣本圖像作為所述生成器的所述第一輸出圖像，藉由所述生成器根據所述第一輸入資料及所述第一輸出圖像生成所述瑕疵訓練圖像包括：將所述第一輸入資料登錄所述生成器；利用所述生成器中的編碼層對所述第一輸入資料進行運算，得到所述第一輸入資料的隱向量；選擇所述瑕疵樣本圖像作為所述第一輸出圖像；利用所述生成器中的解碼層根據所述第一輸入資料的隱向量重建所述第一輸出圖像，得到所述瑕疵訓練圖像。
  4. 如請求項1所述的瑕疵圖像生成方法，其中，所述生成對抗 網路的損失函數的計算公式為
    Figure 110105184-A0305-02-0021-8
    D(G(z|d|)))]，其中，G為所述生成器，t~P data (t)表示瑕疵樣本訓練資料集t的分佈，D(t)表示判別器D對瑕疵樣本訓練資料集t中的樣本進行真假判別，E表示輸出期望，條件變數d為所述第一輸出圖像，z~p z (z)表示隨機高斯雜訊z的先驗高斯分佈，D(G(z|d|))表示判別器D對條件變數d下的生成器G的輸出是否屬於所述瑕疵樣本訓練資料集的判別結果。
  5. 如請求項1所述的瑕疵圖像生成方法，其中，所述根據所述第一損失值和所述第二損失值得到所述第三損失值包括： 依據公式Loss=αLoss1+βLoss2對所述第一損失值和所述第二損失值加權求和得到所述第三損失值，其中，Loss為所述第三損失值，α為所述第一損失值的權重，Loss1為所述第一損失值，β為第二損失值的權重，Loss2為所述第二損失值。
  6. 如請求項1所述的瑕疵圖像生成方法，其中，所述根據所述第三損失值優化所述生成對抗網路的所述生成器和所述判別器，得到所述瑕疵圖像對抗網路包括：以所述第三損失值為損失函數，調整所述生成器與所述判別器的參數；當所述判別器對所述生成器的輸出的判斷準確率滿足預設條件時，停止對所述生成器和所述判別器的優化。
  7. 一種瑕疵圖像生成裝置，其中，所述裝置包括：訓練圖像生成模組，用於根據無瑕疵樣本圖像和第一雜訊向量生成第一輸入資料，將自編碼器作為生成對抗網路的生成器，將所述第一輸入資料登錄至所述生成器，選擇瑕疵樣本圖像作為所述生成器的第一輸出圖像，藉由所述生成器根據所述第一輸入資料及所述第一輸出圖像生成瑕疵訓練圖像；第一損失值計算模組，用於使用預設的誤差函數計算所述無瑕疵樣本圖像與所述瑕疵訓練圖像之間的第一損失值，包括：根據所述無瑕疵樣本圖像得到所述無瑕疵樣本圖像的第一圖元矩陣；根據所述瑕疵訓練圖像得到所述瑕疵訓練圖像的第二圖元矩陣；計算所述第一圖元矩陣與所述第二圖元矩陣的均方差，並將所述均方差作為所述第一損失值；第二損失值計算模組，用於將所述瑕疵訓練圖像輸入所述生成對抗網路的判別器，藉由所述生成對抗網路的損失函數計算第二損失值； 對抗網路優化模組，用於根據所述第一損失值和所述第二損失值得到第三損失值，根據所述第三損失值優化所述生成對抗網路的所述生成器和所述判別器，將優化後的所述生成對抗網路作為瑕疵圖像對抗網路；瑕疵圖像生成模組，用於獲取無瑕疵測試圖像，將所述無瑕疵測試圖像和第二雜訊輸入所述瑕疵圖像對抗網路的生成器，藉由所述瑕疵圖像對抗網路的生成器對所述無瑕疵測試圖像和所述第二雜訊進行處理後生成瑕疵圖像。
  8. 一種電子設備，其中，所述電子設備包括：記憶體，存儲至少一個指令；及處理器，執行所述記憶體中存儲的指令以實現如請求項1至6中任一項所述的瑕疵圖像生成方法。
  9. 一種存儲介質，其上存儲有電腦程式，其中：所述電腦程式被處理器執行時實現如請求項1至6中任一項所述的瑕疵圖像生成方法。
TW110105184A 2021-02-09 2021-02-09 瑕疵圖像生成方法、裝置、電子設備及存儲介質 TWI778519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110105184A TWI778519B (zh) 2021-02-09 2021-02-09 瑕疵圖像生成方法、裝置、電子設備及存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110105184A TWI778519B (zh) 2021-02-09 2021-02-09 瑕疵圖像生成方法、裝置、電子設備及存儲介質

Publications (2)

Publication Number Publication Date
TW202232355A TW202232355A (zh) 2022-08-16
TWI778519B true TWI778519B (zh) 2022-09-21

Family

ID=83782635

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110105184A TWI778519B (zh) 2021-02-09 2021-02-09 瑕疵圖像生成方法、裝置、電子設備及存儲介質

Country Status (1)

Country Link
TW (1) TWI778519B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180024968A1 (en) * 2016-07-22 2018-01-25 Xerox Corporation System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization
WO2020095051A2 (en) * 2018-11-07 2020-05-14 Gtn Ltd A quantum circuit based system configured to model physical or chemical systems
TW202030637A (zh) * 2019-01-31 2020-08-16 大陸商北京市商湯科技開發有限公司 人臉圖像識別方法、裝置、電子設備及儲存介質
WO2020236624A1 (en) * 2019-05-17 2020-11-26 Magic Leap, Inc. Methods and apparatuses for corner detection using neural network and corner detector

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180024968A1 (en) * 2016-07-22 2018-01-25 Xerox Corporation System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization
WO2020095051A2 (en) * 2018-11-07 2020-05-14 Gtn Ltd A quantum circuit based system configured to model physical or chemical systems
TW202030637A (zh) * 2019-01-31 2020-08-16 大陸商北京市商湯科技開發有限公司 人臉圖像識別方法、裝置、電子設備及儲存介質
WO2020236624A1 (en) * 2019-05-17 2020-11-26 Magic Leap, Inc. Methods and apparatuses for corner detection using neural network and corner detector

Also Published As

Publication number Publication date
TW202232355A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN108197652B (zh) 用于生成信息的方法和装置
US20220207707A1 (en) Image defect detection method, electronic device using the same
JP2020533654A (ja) ホログラフィック偽造防止コードの検査方法及び装置
NZ747892A (en) Automation of image validation
US20220189008A1 (en) Method for detecting data defects and computing device utilizing method
CN114943673A (zh) 瑕疵图像生成方法、装置、电子设备及存储介质
WO2022009009A1 (en) Printed circuit board assembly defect detection
CN107492383A (zh) 直播内容的筛选方法、装置、设备及存储介质
US20150255090A1 (en) Method and apparatus for detecting speech segment
CN115705255A (zh) 学习因果关系
CN114627412A (zh) 基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机存储介质
CN108648135B (zh) 隐藏模型训练及使用方法、装置和计算机可读存储介质
TWI778519B (zh) 瑕疵圖像生成方法、裝置、電子設備及存儲介質
CN114663334A (zh) 瑕疵检测方法、装置、电子设备及存储介质
TWI762193B (zh) 圖像瑕疵檢測方法、裝置、電子設備及存儲介質
CN114238968A (zh) 应用程序检测方法及装置、存储介质及电子设备
TWI755212B (zh) 模型輸入尺寸確定方法及相關設備
TWI792134B (zh) 圖像瑕疵檢測方法、裝置、電子設備及存儲介質
TWI764492B (zh) 缺陷檢測分類方法、裝置、電子設備及存儲介質
TWI765475B (zh) 圖像瑕疵檢測方法、裝置、電腦裝置及介質
TW202232380A (zh) 圖像瑕疵檢測方法、電子設備及存儲介質
TWI755213B (zh) 瑕疵檢測方法、裝置、電腦裝置及儲存介質
TWI769633B (zh) 圖像瑕疵檢測方法、裝置、電腦裝置及介質
TWI748867B (zh) 圖像瑕疵檢測方法、裝置、電子設備及存儲介質
TWI761109B (zh) 細胞密度分群方法、裝置、電子設備及電腦存儲介質

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent