TWI760657B - 異常偵測模型的訓練方法及使用此方法的電子裝置 - Google Patents

異常偵測模型的訓練方法及使用此方法的電子裝置 Download PDF

Info

Publication number
TWI760657B
TWI760657B TW108141454A TW108141454A TWI760657B TW I760657 B TWI760657 B TW I760657B TW 108141454 A TW108141454 A TW 108141454A TW 108141454 A TW108141454 A TW 108141454A TW I760657 B TWI760657 B TW I760657B
Authority
TW
Taiwan
Prior art keywords
network model
training
task information
training sample
vector
Prior art date
Application number
TW108141454A
Other languages
English (en)
Other versions
TW202119249A (zh
Inventor
朱仕任
Original Assignee
和碩聯合科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和碩聯合科技股份有限公司 filed Critical 和碩聯合科技股份有限公司
Priority to TW108141454A priority Critical patent/TWI760657B/zh
Priority to CN202010800796.4A priority patent/CN112801122B/zh
Priority to US17/081,334 priority patent/US11756179B2/en
Publication of TW202119249A publication Critical patent/TW202119249A/zh
Application granted granted Critical
Publication of TWI760657B publication Critical patent/TWI760657B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一種異常偵測模型的訓練方法及使用此方法的電子裝置。異常偵測模型包括生成網路模型及鑑別網路模型。異常偵測模型的訓練方法包括以下步驟。將多個原始圖像的其中一者及多個任務資訊的其中一者作為一訓練樣本。將該訓練樣本輸入至該生成網路模型及該鑑別網路模型以運算出對應於該訓練樣本的多個網路損失結果。若訓練樣本的原始圖像與訓練樣本的任務資訊不匹配，則根據此些網路損失結果的倒數加權後相加得到第一損失函數，並依據第一損失函數訓練生成網路模型。

Description

異常偵測模型的訓練方法及使用此方法的電子裝置
本發明是有關於一種模型的訓練方法，且特別是有關於一種異常偵測模型的訓練方法及使用此方法的電子裝置。
在深度學習的浪潮下，圖像的異常偵測取得了快速的發展，其中常見的作法是基於自動編碼器重建誤差以進行異常偵測。此類作法的優點在於只須使用正常訓練樣本來訓練異常偵測模型，而無須使用實務上不易取得的異常訓練樣本來訓練異常偵測模型。
然而，現行的異常偵測模型通常只能用以執行單一異常偵測任務。若要讓單一異常偵測模型可執行多重異常偵測任務，只能在各偵測任務所定義的異常特徵與其他偵測任務所定義的正常特徵沒有明顯重疊的情況下方能實現。舉例來說，若多重異常偵測任務中的某一偵測任務的異常特徵剛好是另一偵測任務的正常特徵，便無法透過同一個異常偵測模型執行上述的多重異常偵測任務。於此情況下，只能針對上述的多重異常偵測任務中的每一偵測任務建立及訓練對應的異常偵測模型。如此一來，將會導致所須建立及訓練對應的異常偵測模型的數量太多，大大地增加多重異常偵測的開發成本及開發複雜度。
有鑑於此，本發明提供一種異常偵測模型的訓練方法及使用此方法的電子裝置，可讓訓練後的單一異常偵測模型可執行多重異常偵測任務。
本發明的異常偵測模型的訓練方法用於電子裝置，其中異常偵測模型包括生成網路模型及鑑別網路模型。異常偵測模型的訓練方法包括以下步驟。將多個原始圖像的其中一者及多個任務資訊的其中一者作為一訓練樣本。將該訓練樣本輸入至該生成網路模型及該鑑別網路模型以運算出對應於該訓練樣本的多個網路損失結果。若訓練樣本的原始圖像與訓練樣本的任務資訊不匹配，則根據此些網路損失結果倒數加權後相加得到第一損失函數，並依據第一損失函數訓練生成網路模型。
本發明的電子裝置包括儲存器以及處理器。儲存器用以儲存多個原始圖像及多個任務資訊。處理器耦接儲存器，用以運行異常偵測模型，其中異常偵測模型包括生成網路模型及鑑別網路模型。處理器用以執行以下步驟。將此些原始圖像的其中一者及此些任務資訊的其中一者作為訓練樣本。將訓練樣本輸入至生成網路模型及鑑別網路模型以運算出對應於訓練樣本的多個網路損失結果。若訓練樣本的原始圖像與訓練樣本的任務資訊不匹配，則根據此些網路損失結果的倒數加權後相加得到第一損失函數，並依據第一損失函數訓練生成網路模型。
基於上述，本發明所提出的異常偵測模型的訓練方法及使用此方法的電子裝置，可將原始圖像及任務資訊作為異常偵測模型的訓練樣本，致使異常偵測模型根據訓練樣本產生多個網路損失結果。此外，若訓練樣本的原始圖像與訓練樣本的任務資訊不匹配，則根據此些網路損失結果的倒數加權後相加得到第一損失函數，並依據第一損失函數訓練異常偵測模型中的生成網路模型。如此一來，異常偵測模型可根據任務資訊與原始圖像的各種排列組合進行學習，因此訓練後的單一異常偵測模型將可執行多重異常偵測任務。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
為了使本發明的內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。
圖1是依照本發明一實施例所繪示的電子裝置的電路方塊示意圖。請參照圖1，電子裝置100可例如是個人電腦、伺服器、筆記型電腦、平板電腦、智慧型手機等，但本發明並不以此為限。電子裝置100包括儲存器110以及處理器120，但不限於此。
儲存器110用以儲存多個原始圖像OPT_1~OPT_N以及多個任務資訊TSI_1~TSI_N，其中此些原始圖像OPT_1~OPT_N中的每一者對應於此些任務資訊TSI_1~TSI_N的其中一者。更進一步來說，若原始圖像OPT_1是對應於任務資訊TSI_1，則表示原始圖像OPT_1與任務資訊TSI_1相匹配。相對地，若原始圖像OPT_1並非對應於任務資訊TSI_1，則表示原始圖像OPT_1與任務資訊TSI_1不匹配。
在本發明的一實施例中，儲存器110可例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合，但本發明並不限於此。
處理器120耦接儲存器110，用以運行異常偵測模型130。在本發明的一實施例中，處理器110可例如是各類型的中央處理器(central processing unit，CPU)、系統晶片(system-on-chip，SOC)、應用處理器(application processor)、圖形處理器(graphics processing unit，GPU)、微處理器(microprocessor)、數位信號處理器(digital signal processor，DSP)、可程式化控制器、特殊應用積體電路(application specific integrated circuits，ASIC)、可程式化邏輯裝置(programmable logic device，PLD)或其他類似裝置或此些裝置的組合，本發明並不限制處理器120的類型。在一些實施例中，處理器120例如是用以負責電子裝置100的整體運作。
本發明的一些實施例中，處理器120可運行異常偵測模型130以對測試機台上的電路板進行多重異常檢測，或對產線輸送帶上的物品進行多重異常檢測，但本發明不限於此。
圖2是依照本發明一實施例所繪示的異常偵測模型的框架示意圖。請參照圖2，異常偵測模型130可例如是生成對抗網路(Generative Adversarial Networks，GAN)模型。更進一步來說，異常偵測模型130可例如是GANomaly模型，其可包括生成網路模型(generative model) 131及鑑別網路模型(discriminative model) 132。在本發明的實施例中，異常偵測模型130的訓練，例如，用來調校處理器120運行異常偵測模型130時所使用的各項參數以及權重值等，而實際進行多重異常偵測任務則是使用，例如，訓練後的異常偵測模型130來偵測多重異常。
圖3是依照本發明一實施例所繪示的異常偵測模型的訓練方法的步驟流程圖，可用於圖1的電子裝置100，但不限於此。請合併參照圖1~圖3。首先，於步驟S310中，處理器120可將原始圖像OPT_1~OPT_N的其中一者及任務資訊TSI_1~TSI_N的其中一者作為訓練樣本TP。接著，於步驟S320中，處理器120可將訓練樣本TP輸入至生成網路模型131及鑑別網路模型132以運算出對應於訓練樣本TP的多個網路損失結果Lenc、Lcon、Ladv。詳細來說，如圖2所示，處理器120可將訓練樣本TP中的原始圖像x及任務資訊c輸入至生成網路模型131及鑑別網路模型132以運算出網路損失結果Lenc、Lcon、Ladv。之後，於步驟S330中，處理器120可判斷訓練樣本TP的原始圖像x與訓練樣本TP的任務資訊c是否匹配。
若步驟S330的判斷結果為否，即訓練樣本TP的原始圖像x與訓練樣本TP的任務資訊c不匹配，則於步驟S340中，處理器120可根據網路損失結果Lenc、Lcon、Ladv的倒數加權後相加得到第一損失函數LF1，並依據第一損失函數LF1訓練生成網路模型131。換句話說，處理器120可根據第一損失函數LF1調校生成網路模型131內的各項參數以及權重值。
在本發明的一實施例中，第一損失函數LF1可例如是根據下列式(1)來計算得出，其中W11、W12、W13分別為對應於網路損失結果Lenc、Lcon、Ladv的權重值，其可根據實際應用自行設定。
Figure 02_image001
式(1)
相對地，若步驟S330的判斷結果為是，即訓練樣本TP的原始圖像x與訓練樣本TP的任務資訊c相匹配，則於步驟S350中，處理器120可根據網路損失結果Lenc、Lcon、Ladv計算第二損失函數LF2，並依據第二損失函數LF2訓練生成網路模型131。換句話說，處理器120可根據第二損失函數LF2調校生成網路模型131內的各項參數以及權重值。
在本發明的一實施例中，第二損失函數LF2可例如是根據下列式(2)來計算得出，其中W21、W22、W23分別為對應於網路損失結果Lenc、Lcon、Ladv的權重值，其可根據實際應用自行設定。
Figure 02_image003
式(2)
由於處理器120將原始圖像x及任務資訊c輸入至異常偵測模型130，並根據原始圖像x與任務資訊c是否匹配而以第一損失函數LF1或第二損失函數LF2來訓練異常偵測模型130，因此異常偵測模型130可根據任務資訊TSI_1~TSI_N與原始圖像OPT_1~OPT_N的各種排列組合進行學習。如此一來，訓練後的異常偵測模型130將可執行多重異常偵測任務。
在本發明的一實施例中，處理器120可對任務資訊c進行編碼以得到任務編碼，並將原始圖像x及任務資訊c的任務編碼作為訓練樣本TP。在本發明的一實施例中，處理器120可對任務資訊c進行獨熱編碼(one-hot encoding)以得到任務編碼，但本發明並不以此為限。在本發明的其他實施例中，處理器120也可採用其他的編碼方式對任務資訊c進行編碼以得到任務編碼，端視實際應用及設計需求而定。
圖4是依照本發明一實施例所繪示的圖3的步驟S320的細節步驟流程圖。請合併參照圖1~圖4，圖3的步驟S320可包括細節步驟S421~S425。首先，於步驟S421中，可將訓練樣本TP的原始圖像x輸入生成網路模型131以運算出第一潛在向量(latent vector) z。接著，於步驟S422中，可將訓練樣本TP的任務資訊c與第一潛在向量z合併以得到合併後潛在向量。在本發明的一實施例中，可將任務資訊c串接在第一潛在向量z之後以得到合併後潛在向量，但本發明並不以此為限。於此，「串接」代表在不改變任務資訊c之向量元素與第一潛在向量z之向量元素的情況下將兩個向量(即任務資訊c與第一潛在向量z)串連結合為一個向量。具體而言，假設任務資訊c為M*1的向量而第一潛在向量z為N*1的向量，則串接任務資訊c與第一潛在向量z而產生的合併後潛在向量為(M+N)*1的向量。此外，合併後潛在向量的向量元素是由任務資訊c的向量元素與第一潛在向量z的向量元素所組成。
然後，於步驟S423中，將上述的合併後潛在向量透過生成網路模型131運算出重建圖像x’及第二潛在向量z’。接著，於步驟S424中，將原始圖像x及重建圖像x’輸入鑑別網路模型132以分別運算出第一特徵向量(feature vector) f(x)及第二特徵向量f(x’)。之後，於步驟S425中，根據第一潛在向量z、第二潛在向量z’、原始圖像x、重建圖像x’、第一特徵向量f(x)及第二特徵向量f(x’)計算網路損失結果Lenc、Lcon、Ladv。
詳細來說，生成網路模型131可包括編碼器E1、解碼器D1以及編碼器E2。編碼器E1可對原始圖像x進行編碼以產生第一潛在向量z。解碼器D1可將第一潛在向量z與任務資訊c合併以得到合併後潛在向量，並對合併後潛在向量進行解碼以產生重建圖像x’。 編碼器E2可對重建圖像x’進行編碼以產生第二潛在向量z’。
接著，處理器120可在像素層面計算原始圖像x與重建圖像x’間的差距以得到網路損失結果Lcon，在圖像的特徵層面計算第一特徵向量f(x)與第二特徵向量f(x’)間的差距以得到網路損失結果Ladv，以及在潛在向量層面計算第一潛在向量z與第二潛在向量z’間的差距以得到網路損失結果Lenc，其分別如式(3)~式(5)所示。
Figure 02_image005
式(3)
Figure 02_image007
式(4)
Figure 02_image009
式(5)
在取得網路損失結果Lcon、Ladv、Lenc之後，處理器120可將式(3)~式(5)代入式(1)或式(2)，以計算第一損失函數LF1或第二損失函數LF2，並據以訓練生成網路模型131。
處理器120可交替地訓練生成網路模型131及鑑別網路模型132。在訓練鑑別網路模型132的階段，處理器120可將訓練樣本TP的任務資訊c與第一特徵向量f(x)或第二特徵向量f(x’)合併以得到合併後特徵向量。在本發明的一實施例中，可將任務資訊c串接在第一特徵向量f(x)或第二特徵向量f(x’)之後以得到合併後特徵向量，但本發明並不以此為限。
接著，處理器120將合併後特徵向量透過鑑別網路模型132進行運算以得到鑑別結果DRST，並依據鑑別結果DRST訓練鑑別網路模型132。換句話說，處理器120可根據鑑別結果DRST調校鑑別網路模型132內的各項參數以及權重值。
在本發明的一實施例中，鑑別網路模型132可將合併後特徵向量透過Softmax函數進行運算以得到鑑別結果DRST，其中鑑別結果DRST包括以下四種類別：輸入至鑑別網路模型132的圖像為真(real)圖像、輸入至鑑別網路模型132的圖像為假(fake)圖像、輸入至鑑別網路模型132的圖像為真圖像且與任務資訊c不匹配、輸入至鑑別網路模型132的圖像為假圖像且與任務資訊c不匹配。以下將以一種應用情境來舉例說明異常偵測模型130的訓練方法。
在本發明的一應用情境中，處理器120可將圖5所示的訓練畫面500劃分為多個原始圖像OPT_1~OPT_N，將此些原始圖像OPT_1~OPT_N位於訓練畫面500的位置資訊作為此些任務資訊TSI_1~TSI_N，並將此些原始圖像OPT_1~OPT_N及此些任務資訊TSI_1~TSI_N儲存在儲存器110中。
舉例來說，假設訓練畫面500為電路板的拍攝畫面；原始圖像OPT_1為「元件區域焊有電容器」的圖像，且位於訓練畫面500的第一個位置(即任務資訊TSI_1為「第一個位置」)；而原始圖像OPT_2為「元件區域並未焊有電容器」的圖像，且位於訓練畫面500的第二個位置(即任務資訊TSI_2為「第二個位置」)。因此，若處理器120將原始圖像OPT_1及任務資訊TSI_1(或原始圖像OPT_2及任務資訊TSI_2)作為訓練樣本TP並輸入至生成網路模型131及鑑別網路模型132以運算出網路損失結果Lenc、Lcon、Ladv。基於原始圖像OPT_1與任務資訊TSI_1相匹配(或原始圖像OPT_2與任務資訊TSI_2相匹配)，因此處理器120依據第二損失函數LF2訓練生成網路模型131。
相對地，若處理器120將原始圖像OPT_1及任務資訊TSI_2(或原始圖像OPT_2及任務資訊TSI_1)作為訓練樣本TP並輸入至生成網路模型131及鑑別網路模型132以運算出網路損失結果Lenc、Lcon、Ladv，基於原始圖像OPT_1與任務資訊TSI_2不匹配(或原始圖像OPT_2與任務資訊TSI_1不匹配)，因此處理器120依據第一損失函數LF1訓練生成網路模型131。
另外，在訓練鑑別網路模型132的階段，若處理器120將原始圖像OPT_1及任務資訊TSI_1作為訓練樣本TP並輸入至鑑別網路模型132，鑑別網路模型132可根據原始圖像OPT_1產生特徵向量，鑑別網路模型132可將任務資訊TSI_1與鑑別網路模型132所產生的特徵向量合併以得到合併後特徵向量，且鑑別網路模型132可對合併後特徵向量進行運算以得到鑑別結果DRST。基於原始圖像OPT_1為真圖像且與任務資訊TSI_1相匹配，處理器120可根據所得到的鑑別結果DRST訓練鑑別網路模型132。
相對地，若處理器120將原始圖像OPT_1及任務資訊TSI_2作為訓練樣本TP並輸入至鑑別網路模型132，鑑別網路模型132可根據原始圖像OPT_1產生特徵向量，鑑別網路模型132可將任務資訊TSI_2與鑑別網路模型132所產生的特徵向量合併以得到合併後特徵向量，且鑑別網路模型132可對合併後特徵向量進行運算以得到鑑別結果DRST。基於原始圖像OPT_1為真圖像且與任務資訊TSI_2不匹配，處理器120可根據所得到的鑑別結果DRST訓練鑑別網路模型132。
類似地，若處理器120將原始圖像OPT_1的重建圖像及任務資訊TSI_1作為訓練樣本TP並輸入至鑑別網路模型132，鑑別網路模型132可根據原始圖像OPT_1的重建圖像產生特徵向量，鑑別網路模型132可將任務資訊TSI_1與鑑別網路模型132所產生的特徵向量合併以得到合併後特徵向量，且鑑別網路模型132可對合併後特徵向量進行運算以得到鑑別結果DRST。基於原始圖像OPT_1的重建圖像為假圖像且與任務資訊TSI_1相匹配，處理器120可根據所得到的鑑別結果DRST訓練鑑別網路模型132。
相對地，若處理器120將原始圖像OPT_1的重建圖像及任務資訊TSI_2作為訓練樣本TP並輸入至鑑別網路模型132，鑑別網路模型132可根據原始圖像OPT_1原始圖像OPT_1的重建圖像產生特徵向量，鑑別網路模型132可將任務資訊TSI_2與鑑別網路模型132所產生的特徵向量合併以得到合併後特徵向量，且鑑別網路模型132可對合併後特徵向量進行運算以得到鑑別結果DRST。基於原始圖像OPT_1的重建圖像為假圖像且與任務資訊TSI_2不匹配，處理器120可根據所得到的鑑別結果DRST訓練鑑別網路模型132。
透過多次的訓練之後，異常偵測模型130即可根據所輸入的任務資訊(位置資訊)決定當下所輸入的圖像的真假，以及決定所輸入的圖像與所輸入的任務資訊(位置資訊)是否匹配。如此一來，單一異常偵測模型130即可執行「元件區域焊有電容器」以及「元件區域並未焊有電容器」此兩種偵測任務。
綜上所述，本發明實施例所提出的異常偵測模型的訓練方法及使用此方法的電子裝置，可將原始圖像及任務資訊作為異常偵測模型的訓練樣本，致使異常偵測模型根據訓練樣本產生多個網路損失結果。此外，若訓練樣本的原始圖像與訓練樣本的任務資訊不匹配，則根據此些網路損失結果的倒數加權後相加得到第一損失函數，並依據第一損失函數訓練異常偵測模型中的生成網路模型。如此一來，異常偵測模型可根據任務資訊與原始圖像的各種排列組合進行學習，因此訓練後的單一異常偵測模型將可執行多重異常偵測任務。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:電子裝置 110:儲存器 120:處理器 130:異常偵測模型 131:生成網路模型 132:鑑別網路模型 500:訓練畫面 c、TSI_1~TSI_N:任務資訊 D1:解碼器 E1、E2:編碼器 f(x):第一特徵向量 f(x’):第二特徵向量 LF1:第一損失函數 LF2:第二損失函數 Lenc、Lcon、Ladv:網路損失結果 OPT_1~OPT_N、x:原始圖像 S310、S320、S330、S340、S350、S421~S425:步驟 TP:訓練樣本 x’:重建圖像 z:第一潛在向量 z’:第二潛在向量
下面的所附圖式是本發明說明書的一部分，繪示了本發明的示例實施例，所附圖式與說明書的描述一起說明本發明的原理。 圖1是依照本發明一實施例所繪示的電子裝置的電路方塊示意圖。 圖2是依照本發明一實施例所繪示的異常偵測模型的框架示意圖。 圖3是依照本發明一實施例所繪示的異常偵測模型的訓練方法的步驟流程圖。 圖4是依照本發明一實施例所繪示的圖3的步驟S320的細節步驟流程圖。 圖5是依照本發明一實施例所繪示的訓練畫面劃分為多個原始圖像的示意圖。
S310、S320、S330、S340、S350:步驟

Claims (12)

  1. 一種異常偵測模型的訓練方法，用於一電子裝置，其中該異常偵測模型包括一生成網路模型及一鑑別網路模型，且該訓練方法包括：將多個原始圖像的其中一者及多個任務資訊的其中一者作為一訓練樣本；將該訓練樣本輸入至該生成網路模型及該鑑別網路模型以運算出對應於該訓練樣本的多個網路損失結果；若該訓練樣本的原始圖像與該訓練樣本的任務資訊不匹配，則根據該些網路損失結果得到一第一損失函數，並依據該第一損失函數訓練該生成網路模型；以及若該訓練樣本的原始圖像與該訓練樣本的任務資訊相匹配，則根據該些網路損失結果計算一第二損失函數，並依據該第二損失函數訓練該生成網路模型。
  2. 如申請專利範圍第1項所述的異常偵測模型的訓練方法，其中該第一損失函數為該些網路損失結果的倒數加權後相加。
  3. 如申請專利範圍第1項所述的異常偵測模型的訓練方法，其中將該些原始圖像的其中一者及該些任務資訊的其中一者作為該訓練樣本的步驟包括：對該任務資訊進行編碼以得到一任務編碼；以及將該原始圖像及該任務編碼作為該訓練樣本。
  4. 如申請專利範圍第1項所述的異常偵測模型的訓練方法，更包括：將一訓練畫面劃分為該些原始圖像；以及將該些原始圖像位於該訓練畫面的位置資訊作為該些任務資訊。
  5. 如申請專利範圍第1項所述的異常偵測模型的訓練方法，其中將該訓練樣本輸入至該生成網路模型及該鑑別網路模型以運算出對應於該訓練樣本的該些網路損失結果的步驟包括：將該訓練樣本的該原始圖像輸入該生成網路模型以運算出一第一潛在向量；將該訓練樣本的該任務資訊與該第一潛在向量合併以得到一合併後潛在向量；將該合併後潛在向量透過該生成網路模型運算出一重建圖像及一第二潛在向量；將該原始圖像及該重建圖像輸入該鑑別網路模型以分別運算出一第一特徵向量及一第二特徵向量；以及根據該第一潛在向量、該第二潛在向量、該原始圖像、該重建圖像、該第一特徵向量及該第二特徵向量計算該些網路損失結果。
  6. 如申請專利範圍第5項所述的異常偵測模型的訓練方法，更包括：將該訓練樣本的該任務資訊與該第一特徵向量或該第二特徵 向量合併，以得到一合併後特徵向量；以及將該合併後特徵向量透過該鑑別網路模型進行運算以得到一鑑別結果，並依據該鑑別結果訓練該鑑別網路模型。
  7. 一種電子裝置，包括：一儲存器，用以儲存多個原始圖像及多個任務資訊；以及一處理器，耦接該儲存器，用以運行一異常偵測模型，其中該異常偵測模型包括一生成網路模型及一鑑別網路模型，該處理器用以執行以下步驟：將該些原始圖像的其中一者及該些任務資訊的其中一者作為一訓練樣本；將該訓練樣本輸入至該生成網路模型及該鑑別網路模型以運算出對應於該訓練樣本的多個網路損失結果；若該訓練樣本的原始圖像與該訓練樣本的任務資訊不匹配，則根據該些網路損失結果得到一第一損失函數，並依據該第一損失函數訓練該生成網路模型；以及若該訓練樣本的原始圖像與該訓練樣本的任務資訊相匹配，則根據該些網路損失結果計算一第二損失函數，並依據該第二損失函數訓練該生成網路模型。
  8. 如申請專利範圍第7項所述的電子裝置，其中該第一損失函數為該些網路損失結果的倒數加權後相加。
  9. 如申請專利範圍第7項所述的電子裝置，其中該處理器對該任務資訊進行編碼以得到一任務編碼，並將該原始圖像及該任務編碼作為該訓練樣本。
  10. 如申請專利範圍第7項所述的電子裝置，其中該處理器將一訓練畫面劃分為該些原始圖像，將該些原始圖像位於該訓練畫面的位置資訊作為該些任務資訊，並將該些原始圖像及該些任務資訊儲存在該儲存器。
  11. 如申請專利範圍第7項所述的電子裝置，其中該處理器更用以執行以下步驟：將該訓練樣本的該原始圖像輸入該生成網路模型以運算出一第一潛在向量；將該訓練樣本的該任務資訊與該第一潛在向量合併以得到一合併後潛在向量；將該合併後潛在向量透過該生成網路模型運算出一重建圖像及一第二潛在向量；將該原始圖像及該重建圖像輸入該鑑別網路模型以分別運算出一第一特徵向量及一第二特徵向量；以及根據該第一潛在向量、該第二潛在向量、該原始圖像、該重建圖像、該第一特徵向量及該第二特徵向量計算該些網路損失結果。
  12. 如申請專利範圍第11項所述的電子裝置，其中該處理器更用以執行以下步驟： 將該訓練樣本的該任務資訊與該第一特徵向量或該第二特徵向量合併，以得到一合併後特徵向量；以及將該合併後特徵向量透過該鑑別網路模型進行運算以得到一鑑別結果，並依據該鑑別結果訓練該鑑別網路模型。
TW108141454A 2019-11-14 2019-11-14 異常偵測模型的訓練方法及使用此方法的電子裝置 TWI760657B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108141454A TWI760657B (zh) 2019-11-14 2019-11-14 異常偵測模型的訓練方法及使用此方法的電子裝置
CN202010800796.4A CN112801122B (zh) 2019-11-14 2020-08-11 异常检测模型的训练方法及使用此方法的电子装置
US17/081,334 US11756179B2 (en) 2019-11-14 2020-10-27 Training method for anomaly detection model and electronic device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108141454A TWI760657B (zh) 2019-11-14 2019-11-14 異常偵測模型的訓練方法及使用此方法的電子裝置

Publications (2)

Publication Number Publication Date
TW202119249A TW202119249A (zh) 2021-05-16
TWI760657B true TWI760657B (zh) 2022-04-11

Family

ID=75806508

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108141454A TWI760657B (zh) 2019-11-14 2019-11-14 異常偵測模型的訓練方法及使用此方法的電子裝置

Country Status (3)

Country Link
US (1) US11756179B2 (zh)
CN (1) CN112801122B (zh)
TW (1) TWI760657B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931175B (zh) * 2020-09-23 2020-12-25 四川大学 一种基于小样本学习的工业控制系统入侵检测方法
CN113468703A (zh) * 2021-07-23 2021-10-01 河南工业大学 一种ads-b报文异常检测器及检测方法
CN114359225B (zh) * 2022-01-05 2024-08-02 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备及存储介质
TWI781874B (zh) * 2022-01-19 2022-10-21 中華電信股份有限公司 基於自編碼機神經網路模型偵測電信網路的異常的電子裝置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009051915A1 (en) * 2007-10-12 2009-04-23 Microsoft Corporation Active learning using a discriminative classifier and a generative model to detect and/or prevent malicious behavior
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547911B2 (en) 2010-12-14 2017-01-17 The United States Of America, As Represented By The Secretary Of The Navy Velocity estimation from imagery using symmetric displaced frame difference equation
CN105808923A (zh) 2016-02-29 2016-07-27 北京航空航天大学 一种数据序列的异常检测方法和装置
CN108764173B (zh) * 2018-05-31 2021-09-03 西安电子科技大学 基于多类生成对抗网络的高光谱图像分类方法
US10825148B2 (en) * 2018-11-29 2020-11-03 Adobe Inc. Boundary-aware object removal and content fill
US10380724B1 (en) * 2019-01-28 2019-08-13 StradVision, Inc. Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations
CN110348330B (zh) * 2019-06-24 2022-06-14 电子科技大学 基于vae-acgan的人脸姿态虚拟视图生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009051915A1 (en) * 2007-10-12 2009-04-23 Microsoft Corporation Active learning using a discriminative classifier and a generative model to detect and/or prevent malicious behavior
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
期刊韕Kyota Higa; Hideaki Sato; Soma Shiraishi; Katsumi Kikuchi; Kota Iwamoto韕 韕"Anomaly Detection Combining Discriminative and Generative Models"韕2019韕IEEE International Conference on Imaging Systems and Techniques (IST)韕9-10 Dec. 2019韕Abstract.韕; *
網路文獻韕David Huang韕"機器學習中的貝氏定理：生成模型(Generative Model)與判別模型(Discriminative Model)"韕 韕 韕taweihuang.hpd.io韕20170321韕 韕https://taweihuang.hpd.io/2017/03/21/mlbayes/ *

Also Published As

Publication number Publication date
TW202119249A (zh) 2021-05-16
CN112801122B (zh) 2023-11-07
CN112801122A (zh) 2021-05-14
US11756179B2 (en) 2023-09-12
US20210150698A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
TWI760657B (zh) 異常偵測模型的訓練方法及使用此方法的電子裝置
Tan et al. Channel attention image steganography with generative adversarial networks
Joo et al. Exemplar fine-tuning for 3d human model fitting towards in-the-wild 3d human pose estimation
Bulat et al. Binarized convolutional landmark localizers for human pose estimation and face alignment with limited resources
JP2010097609A5 (zh)
CN110084193B (zh) 用于面部图像生成的数据处理方法、设备和介质
US10832034B2 (en) Facial image generating method, facial image generating apparatus, and facial image generating device
CN109684901B (zh) 图像处理装置和图像处理方法
KR102513707B1 (ko) 학습 장치, 추론 장치, 학습 모델 생성 방법 및 추론 방법
Chaumont Deep learning in steganography and steganalysis from 2015 to 2018
CN110363830B (zh) 元素图像生成方法、装置及系统
CN108960280A (zh) 一种图片相似度检测方法及系统
AU2018282486A1 (en) Systems and methods for generating random numbers using physical variations present in material samples
US20210134048A1 (en) Computer device and method for generating synthesized depth map
TW202127312A (zh) 影像處理方法及存儲介質
JP2007259306A (ja) 予測器及び画像符号化器
CN111753729A (zh) 一种假脸检测方法、装置、电子设备及存储介质
Romanuke Two-layer perceptron for classifying flat scaled-turned-shifted objects by additional feature distortions in training
Gueze et al. Floor plan reconstruction from sparse views: Combining graph neural network with constrained diffusion
Sachnev et al. Binary Coded Genetic Algorithm with Ensemble Classifier for feature selection in JPEG steganalysis
JP2020060398A (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
Cronin et al. Self-optimizing image processing algorithm for safety critical systems
JP7391784B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7424572B1 (ja) モデル生成方法、モデル生成システム、モデル生成プログラム、異物検出方法、異物検出システム、異物検出プログラム及び推論モデル
CN116978091A (zh) 模型训练方法、目标识别方法、终端设备以及存储介质