TWI692776B - 基於神經網路的分類裝置及分類方法 - Google Patents
基於神經網路的分類裝置及分類方法 Download PDFInfo
- Publication number
- TWI692776B TWI692776B TW107138155A TW107138155A TWI692776B TW I692776 B TWI692776 B TW I692776B TW 107138155 A TW107138155 A TW 107138155A TW 107138155 A TW107138155 A TW 107138155A TW I692776 B TWI692776 B TW I692776B
- Authority
- TW
- Taiwan
- Prior art keywords
- subset
- samples
- category
- classification
- neural network
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
提供一種基於神經網路的分類方法,包括:通過神經網路產生分別對應一或多個樣本的一或多個分數向量。根據一或多個分數向量以及第一判定閾值判定出一或多個樣本的第一子集合,其中第一子集合關聯於第一類別。根據第一子集合從一或多個樣本挑選出待複驗樣本。
Description
本揭露是有關於一種基於神經網路的分類裝置及分類方法。
在工業製造產業(例如:半導體產業)中,經常利用影像辨識技術來挑選出瑕疵品,藉以控管產品的出貨品質。例如,業界常使用由機器學習訓練而成的辨識模型來進行瑕疵品的檢測。然而,現有的檢測方案時常存在瑕疵分類的準確率不夠高(或誤判率(Overkill Rate)過高),且無法針對重大的瑕疵類別進行辨識的問題。
因此,工業製造產業仍無法完全地仰賴圖像辨識科技來檢驗產品的瑕疵,且現有的影像辨識技術大多以提高整體之預測正確率為目標。為了防止瑕疵品流入市面,需使用人工的方式來對產品進行複驗。然而,由於產品的生產數量龐大,工廠通常需消耗
大量的人力資源,且僅能採用抽檢的方式而無法全面性地對產品進行人工複驗,生產品質堪慮。
為了解決上述的問題,需要提出一種能有效地降低人力資源成本並可針對重大之瑕疵類別的分類進行改善的分類方法。
本揭露提供一種基於神經網路的分類裝置,包括儲存媒體以及處理器。儲存媒體儲存多個模組。處理器耦接儲存媒體,存取並執行儲存媒體的多個模組,多個模組包括神經網路、分類器以及運算模組。神經網路產生對應一或多個樣本的一或多個分數向量。分類器根據一或多個分數向量以及第一判定閾值判定出一或多個樣本的第一子集合,其中第一子集合關聯於第一類別。運算模組根據第一子集合從一或多個樣本挑選出待複驗樣本。
本揭露提供一種基於神經網路的分類方法,包括:通過神經網路產生對應一或多個樣本的一或多個分數向量。根據一或多個分數向量以及第一判定閾值判定出一或多個樣本的第一子集合,其中第一子集合關聯於第一類別。根據第一子集合從一或多個樣本挑選出待複驗樣本。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
10:分類裝置
110:處理器
130:儲存媒體
131:神經網路
135:分類器
137:運算模組
200、300、400:分類方法
A、B1、B2、BK、Bi、Bj、Bm、C:樣本的子集合
I1、I2、I3:待複驗樣本的樣本集合
S1、S2、SN:分數向量
S210、S230、S235、S250、S310、S330、S350、S370、S410、S430、S450、S470:步驟
U:總樣本集合
圖1依照本揭露的第一實施例繪示基於神經網路的分類裝置的示意圖。
圖2A依照本揭露的第二實施例繪示基於神經網路的分類方法的流程圖。
圖2B依照本揭露的第二實施例繪示基於神經網路的分類方法的流程的示意圖。
圖3A依照本揭露的第三實施例繪示基於神經網路的分類方法的流程圖。
圖3B依照本揭露的第三實施例繪示基於神經網路的分類方法的流程的示意圖。
圖4A依照本揭露的第四實施例繪示基於神經網路的分類方法的流程圖。
圖4B依照本揭露的第四實施例繪示基於神經網路的分類方法的流程的示意圖。
圖5A、5B、5C以及5D依照本揭露的實施例繪示實施本揭露的方法400的實驗結果的示意圖。
圖6A、6B、6C以及6D依照本揭露的實施例繪示實施本揭露的方法400的實驗結果的示意圖。
工業製造過程中,常使用基於神經網路(或其他種人工智
慧領域的技術)的解決方案來分類具有瑕疵的樣品。然而,現行的神經網路並無法達到百分之百的整體準確率(Overall Accuracy)。因此,仍需要運用人力進行樣品的複驗。為了降低待複驗樣本的數量以減少人力開銷,本揭露提出了一種基於神經網路的分類裝置和分類方法。
圖1依照本揭露的第一實施例繪示基於神經網路的分類裝置10的示意圖。分類裝置10可包括處理器110以及儲存媒體130,其中儲存媒體130儲存多個模組,包括神經網路131、分類器135以及運算模組137,該些模組的功用將會於本文的後續說明。熟習相關技藝者當知,本揭露的神經網路131、分類器135以及運算模組137也可以是以硬體電路的方式實現,而非以儲存於儲存媒體130中的模組的形式實現,本揭露不限於此。分類裝置10可應用於對晶圓或印刷電路板的外觀瑕疵進行分類,但本揭露不限於此。
處理器110耦接儲存媒體130,並且可存取或執行儲存於儲存媒體130的多個模組。處理器110可例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit,ASIC)或其他類似元件或上述元件的組合,本揭露不限於此。
儲存媒體130用以儲存分類裝置10運行時所需的各項軟
體、資料及各類程式碼。儲存媒體130可例如是任何型態的固定式或可移動式的隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-only Memory,ROM)、快閃記憶體(Flash Memory)、硬碟(Hard Disk Drive,HDD)、固態硬碟(Solid State Drive,SSD)或類似元件或上述元件的組合,本揭露不限於此。
圖2A依照本揭露的第二實施例繪示基於神經網路的分類方法200的流程圖,且圖2B依照本揭露的第二實施例繪示基於神經網路的分類方法200的流程的示意圖,其中分類方法200可應用於分類裝置10,本揭露不限於此。分類方法200可針對樣品的各個不同瑕疵類別設置對應的判定閾值(Decision Threshold)。如此,分類方法200可針對較顯著的影響品質的瑕疵類別的分類進行改善,從而減少該瑕疵類別的待複驗樣本的數量。以下請同時參照圖2A和圖2B。
在步驟S210,神經網路131可產生分別對應於一或多個樣本的一或多個分數向量。具體來說,神經網路131可用以處理由N個樣本所組成的總樣本集合U中的各個樣本,其中N為任意的正整數。神經網路131可產生分別對應於N個樣本的N個分數向量S1、S2、...、SN。每一個分數向量中的每個元素可分別對應於一種類別,例如,分數向量SN中的每個元素可分別對應於一種瑕疵類別。在本揭露中,假設每一樣本可能具有K種類別的瑕疵,所述K種類分別是類別1、類別2、...、類別K,其中K為任意的正整數。因此,每一樣本的分數向量(即:分數向量S1、S2、...、
及SN)的維度可以是K×1。在晶圓製造或印刷電路板製造的產業中,所述樣本可例如是由自動光學檢測設備(Automated Optical Inspection Equipment,AOI Equipment)取得的晶圓之外觀的圖像資料或是由自動外觀檢測設備(Automated Visual Inspection Equipment,AVI Equipment)取得的印刷電路板之外觀的圖像資料,但本揭露不限於此。
在步驟S230,分類器135可根據一或多個分數向量以及第一判定閾值判定出一或多個樣本的第一子集合,其中第一子集合關聯於第一類別。具體來說,假設本實施例中的第一類別為類別1。若類別1的瑕疵對於產品具有顯著的不良影響且分類裝置10欲改善類別1的分類(例如:改善類別1的分類的準確率(Accuracy)或查準率(Precision Rate)),則分類器135可根據分數向量S1、S2、...、及SN以及對應於類別1的第一判定閾值判定出總樣本集合U的第一子集合。在本實施例中,所述第一子集合可例如是如圖2B所示的子集合B1,其中待複驗樣本的樣本集合I1為子集合B1在總樣本集合U內的補集,如公式(1)所示。值得注意的是,在步驟S230,分類器135僅需執行一次推論(One-Time Inference)即可判定出一或多個樣本的第一子集合。
I1=U-B1...公式(1)
第一判定閾值可經配置以使第一子集合中的樣本滿足第一要求,且第一判定閾值可例如是關聯於準確率或查準率的信賴度閾值(Confidence Threshold)或似然比閾值(Likelihood Ratio
Threshold)。此外,第一判定閾值可被預先配置(例如:使用驗證資料集)。具體來說,第一判定閾值可經配置以使子集合B1內的樣本滿足針對類別1的分類的準確率或查準率的要求。例如,第一判定閾值可經配置以使子集合B1滿足類別1的樣本的查準率達到99.95%以上的要求。第一判定閾值可由使用者依其要求而配置,本揭露不限制第一判定閾值為99.95%以上的查準率。由於子集合B1內的樣本已滿足第一要求,故該些樣本不需再經過人工複驗。
在步驟S250,運算模組137可根據第一子集合從一或多個樣本挑選出待複驗樣本。具體來說,運算模組137可根據子集合B1而從總樣本集合U挑選出待複驗樣本的樣本集合I1。
在一些實施例中,方法200更可包括步驟S235。在步驟S235,分類器135可根據一或多個分數向量以及第二判定閾值判定出一或多個樣本的第二子集合,其中第二子集合關聯於第二類別。具體來說,假設除了類別1之外,分類裝置10也欲改善類別i的分類,則分類器135可根據分數向量S1、S2、...、及SN以及對應於類別i的第二判定閾值判定出總樣本集合U的第二子集合Bi(i可例如是2、3、...、及/或K)。在本實施例中,第二子集合可例如是如圖2B所示的子集合B2、...、及/或BK。值得注意的是,在步驟S235,分類器135僅需執行一次推論即可判定出一或多個樣本的第二子集合。
第二判定閾值可經配置以使第二子集合中的樣本滿足第
二要求,且第二判定閾值可例如是關聯於準確率或查準率的信賴度閾值或似然比閾值。此外,第二判定閾值可被預先配置(例如:使用驗證資料集)。具體來說,第二判定閾值可經配置以使子集合Bi內的樣本滿足類別i的分類的準確率或查準率的要求。例如,第二判定閾值可經配置以使子集合BK內的樣本的分類為類別K的查準率高於99.95%。需注意的是,第一判定閾值與第二判定閾值可以相同或相異。例如,在一些實施例中,第一判定閾值可經配置以使子集合B1內的樣本的分類為類別1的查準率高於99.95%,且第二判定閾值可經配置以使子集合BK內的樣本的分類為類別K的查準率高於80%。由於子集合BK內的樣本已滿足第二要求,故該些樣本不需再經過人工複驗。
在一實施例中,若方法200包括步驟S235,則在步驟S250,運算模組137可根據第一子集合及第二子集合從一或多個樣本挑選出待複驗樣本,其中待複驗樣本為第一子集合及第二子集合的聯集在一或多個樣本內的補集。具體來說,運算模組137可根據子集合B1、B2、...、及BK而從總樣本集合U挑選出待複驗樣本的樣本集合I1,其中待複驗樣本的樣本集合I1為子集合B1、B2、...、及BK的聯集在總樣本集合U內的補集,如公式(2)所示。
方法200可用以辨識工業視覺資料集,所述工業視覺資料集可例如是如表1所示的有關於晶圓(Wafer)的瑕疵的資料集,瑕疵的類別可包括但不限於針印偏移(Probe Mark Shift)、誤判
(Overkill)、裸晶不完整(Ugly Die)、製程瑕疵(Process Defect)、微粒(Particle)、異物(Foreign Material)以及墊變色(Pad Discolor)等七種類別的瑕疵,可分別表示為類別1、類別2、類別3、類別4、類別5、類別6以及類別7。
假設使用者的要求為瑕疵的分類的整體準確率(Overall Accuracy)需達到99.95%,但其所使用的神經網路並無法符合要求(例如:表1所使用的分類器之準確率並未達到99.95%,而是介於98%至99.95%之間),則可實施本揭露的方法200以使特定的瑕疵類別的分類中的部分樣本符合99.95%的準確率,使得所述部份樣本不需再經過人工複驗。以表1的驗證集為例,表2顯示針對表1的驗證集實施K次交叉驗證(K-fold Cross-validation)和方法200所能達到的分類查準率,其中K為5(即:根據表1的驗證集產生5個子樣本集合,可分別表示為子集合#1、子集合#2、子集合#3、子集合#4以及子集合#5),並且「不需人工複驗樣本比率」代表符合準確率要求的樣本在樣本數中所佔的比率由表2可知,本發明可使類別1至類別7中符合準確率要求的樣本比率達
到約85.14%。換言之,就算所使用的分類器之準確率未達到99.95%,本發明仍可最大化符合準確率要求的樣本比率,使得高達85.14%的樣本符合準確率99.95%的要求。因此,所述85.14%的樣本將不需再經過人工複驗的流程。
再以表1的測試集為例,表3顯示針對表1的測試集實施K次交叉驗證和方法200所能達到的分類查準率,其中K為5(即:根據表1的測試集產生5個子樣本集合,可分別表示為子集合#1、子集合#2、子集合#3、子集合#4以及子集合#5)。由表3可知,就算所使用的分類器之查準率未達到99.95%,本發明仍可最大化符合準確率要求的樣本比率,使得高達84.82%的樣本符合查準率99.95%的要求。因此,所述84.82%的樣本將不需再經過人工複驗的流程。
圖3A依照本揭露的第三實施例繪示基於神經網路的分類方法300的流程圖,且圖3B依照本揭露的第三實施例繪示基於神經網路的分類方法300的流程的示意圖,其中分類方法300可應用於分類裝置10,本揭露不限於此。方法300可在維持特定瑕疵類別的分類的查準率(或準確率)的同時,最大化該瑕疵類別的召回率(Recall Rate),其相當於最小化該瑕疵類別的漏檢率(Miss Rate)。以下請同時參照圖3A和圖3B。
在步驟S310,神經網路131可產生分別對應於一或多個樣本的一或多個分數向量。具體來說,類似於步驟S210,神經網路131可產生分別對應於N個樣本的N個分數向量S1、S2、...、SN,且每一個分數向量中可包括一或多個元素,其中所述一或多個元素中的每一者分別對應於一種類別。
在步驟S330,分類器135可根據一或多個分數向量以及第三判定閾值判定出一或多個樣本的第三子集合,其中第三子集合關聯於第一類別。具體來說,假設本實施例中的第一類別為類別j。若類別j的瑕疵對於產品具有顯著的不良影響且分類裝置10欲改善類別j的分類(例如:改善類別j的分類的召回率或漏檢率),
則分類器135可根據分數向量S1、S2、...、及SN以及對應於類別j的第三判定閾值判定出總樣本集合U的第三子集合。在本實施例中,第三子集合可例如是如圖3B所示的子集合A。
第三判定閾值可經配置以使第三子集合中的樣本滿足召回率第三要求,且第三判定閾值可例如是關聯於召回率及漏檢率的信賴度閾值或似然比閾值。此外,第三判定閾值可被預先配置(例如:使用驗證資料集)。具體來說,第三判定閾值可經配置以使子集合A內的樣本滿足針對類別j的分類的召回率及漏檢率的要求。例如,第三判定閾值可經配置以使子集合A滿足類別j的樣本的召回率達到99.95%以上的要求。第三判定閾值可由使用者依其要求而配置,本揭露不限制第三判定閾值為99.95%以上的召回率。
在步驟S350,分類器135可根據一或多個分數向量以及第一判定閾值從第三子集合中判定出第一子集合,其中第一子集合關聯於第一類別。具體來說,分類器135可根據分數向量S1、S2、...、及SN以及對應於類別j的第一判定閾值判定出總樣本集合U的第一子集合。在本實施例中,所述第一子集合可例如是如圖3B所示的子集合Bj。需注意的是,步驟S330以及步驟S350可分別由不同的分類器執行,本揭露不限於使用僅單一個分類器135來執行所述兩個步驟。另一方面,在步驟S350,分類器135僅需執行一次推論即可判定出一或多個樣本的第一子集合。
第一判定閾值可經配置以使第一子集合中的樣本滿足第
一要求,且第一判定閾值可例如是關聯於準確率或查準率的信賴度閾值或似然比閾值。此外,第一判定閾值可被預先配置(例如:使用驗證資料集)。具體來說,第一判定閾值可經配置以使子集合Bj內的樣本滿足針對類別j的分類的準確率或查準率的要求。例如,第一判定閾值可經配置以使子集合Bj滿足類別j的樣本的查準率達到99.95%以上的要求。第一判定閾值可由使用者依其要求而配置,本揭露不限制第一判定閾值為99.95%以上的查準率。由於子集合Bj內的樣本已滿足第一要求,故該些樣本不需再經過人工複驗。
在步驟S370,運算模組137可根據第一子集合從一或多個樣本挑選出待複驗樣本,其中待複驗樣本為第一子集合在第三子集合內的補集。具體來說,運算模組137可根據子集合Bj以及子集合A而挑選出待複驗樣本的樣本集合I2,其中待複驗樣本的樣本集合I2為子集合Bj在子集合A內的補集,如公式(3)所示。方法300可應用於辨識工業視覺資料集,但本揭露不限於此。
I2=A-Bj...公式(3)
圖4A依照本揭露的第四實施例繪示基於神經網路的分類方法400的流程圖,且圖4B依照本揭露的第四實施例繪示基於神經網路的分類方法400的流程的示意圖,其中分類方法400可應用於分類裝置10,本揭露不限於此。方法400可在維持特定瑕疵類別的分類的查準率(或準確率)的同時,最大化該瑕疵類別的召回率,其相當於最小化該瑕疵類別的漏檢率。以下請同時參照圖
4A和圖4B。
在步驟S410,神經網路131可產生分別對應於一或多個樣本的一或多個分數向量。具體來說,類似於步驟S210,神經網路131可產生分別對應於N個樣本的N個分數向量S1、S2、...、SN,且每一個分數向量中可包括一或多個元素,其中所述一或多個元素中的每一者分別對應於一種類別。
在步驟S430,分類器135可根據一或多個分數向量以及第三判定閾值判定出一或多個樣本的第三子集合,其中第三子集合關聯於第一類別。具體來說,假設本實施例中的第一類別為類別m,則分類器135可根據分數向量S1、S2、...、及SN以及對應於類別m的第三判定閾值判定出總樣本集合U的第三子集合。在本實施例中,第三子集合可例如是如圖4B所示的子集合C。
第三判定閾值可經配置以使第三子集合中的樣本滿足召回率第三要求,且第三判定閾值可例如是關聯於召回率及漏檢率的信賴度閾值或似然比閾值。此外,第三判定閾值可被預先配置(例如:使用驗證資料集)。具體來說,第三判定閾值可經配置以使子集合C內的樣本滿足針對類別m的分類的召回率及漏檢率的要求。例如,第三判定閾值可經配置以使子集合C滿足類別m的樣本的召回率達到99.95%以上的要求。第三判定閾值可由使用者依其要求而配置,本揭露不限制第三判定閾值為99.95%以上的召回率。
在步驟S450,分類器135可根據一或多個分數向量以及
第一判定閾值判定出一或多個樣本的第一子集合,其中第一子集合關聯於第一類別。具體來說,假設本實施例中的第一類別為類別m,分類器135可根據分數向量S1、S2、...、及SN以及對應於類別m的第一判定閾值判定出總樣本集合U的第一子集合。在本實施例中,所述第一子集合可例如是如圖4B所示的子集合Bm。需注意的是,本揭露並不限制步驟S430和步驟S450的執行順序。另一方面,在步驟S450,分類器135僅需執行一次推論即可判定出一或多個樣本的第一子集合。
第一判定閾值可經配置以使第一子集合中的樣本滿足第一要求,且第一判定閾值可例如是關聯於準確率或查準率的信賴度閾值或似然比閾值。此外,第一判定閾值可被預先配置(例如:使用驗證資料集)。具體來說,第一判定閾值可經配置以使子集合Bm內的樣本滿足針對類別m的分類的準確率或查準率的要求。例如,第一判定閾值可經配置以使子集合Bm滿足類別m的樣本的查準率達到99.95%以上的要求。第一判定閾值可由使用者依其要求而配置,本揭露不限制第一判定閾值為99.95%以上的查準率。由於子集合Bm內的樣本已滿足第一要求,故該些樣本不需再經過人工複驗。
在步驟S470,運算模組137可根據第一子集合及第三子集合從一或多個樣本中挑選出待複驗樣本,其中待複驗樣本為第一子集合在第三子集合中的補集。具體來說,運算模組137可根據子集合Bm以及子集合C而挑選出待複驗樣本的樣本集合I3,
其中待複驗樣本的樣本集合I3為子集合Bm在子集合C內的補集,如公式(4)所示。方法400可應用於辨識工業視覺資料集,但本揭露不限於此。
I3=C-Bm...公式(4)
方法400可用以辨識工業視覺資料集,所述工業視覺資料集可例如是如表4所示的有關於印刷電路板(Printed Circuit Board,PCB)的瑕疵的資料集「XDS_5_Sets_790K-R1」,所述資料集中包括存在瑕疵的樣本(表示為類別a)以及無瑕疵的樣本(表示為類別b)。
假設使用者的要求為類別a的召回率達到99.95%以上(即:偽陰性率(False Negative Rate,FNR)達到0.05%以下)並且真陰性率(True Negative Rate,TNR)達到50%以上。以表4的驗證集為例,表5顯示針對表4的驗證集實施似然比檢驗(Likelihood Ratio Test,LRT)和方法400以使類別a的召回率達到99.95%以上。表6顯示針對表4的驗證集實施機率閾值(Probability)和方法400以使類別a的查準率達到99.95%以上。由表5和表6可知,方法400可顯著地降低需人工複驗的樣本數
量。
再以表4的驗證集為例,表7顯示針對表4的測試集實施似然比檢驗和方法400以使類別a的召回率達到99.95%以上。表8顯示針對表4的測試集實施機率閾值和方法400以使類別a的查準率達到99.95%以上。由表7和表8可知,方法400可顯著地降低需人工複驗的樣本數量。
方法400可顯著地降低待人工複驗樣本的數量。舉例來說,以自動外觀檢測設備(AVI)的檢測出一片PCB的雙面共有100點瑕疵,其中20點為真瑕疵且80點為假瑕疵。在導入基於神經網路(可例如是習知類別的神經網路)的辨識系統後,神經網路可檢測出該PCB的雙面共有60點瑕疵,其中20點為真瑕疵且40
點為假瑕疵。因此,相對於僅使用AVI進行PCB檢測,導入基於神經網路的辨識系統可減少約40%的待人工複驗樣本的數量。另一方面,在導入本揭露的方法400後,分類裝置10可檢測出該PCB的雙面共有40點瑕疵,其中17點為真瑕疵且23點為假瑕疵。換言之,相對於僅使用AVI進行PCB檢測,導入本揭露的方法400可減少約60%的待人工複驗樣本的數量。
方法400還可用以辨識如表1所示的有關於晶圓的瑕疵的資料集。假設使用者的要求為瑕疵的分類的整體準確率達到99.95%,但其所使用的神經網路並無法符合要求,則可實施本揭露的方法400以降低特定的瑕疵類別的待複驗樣本。
以表1的針印偏移的驗證集為例,圖5A顯示針對表1的針印偏移(即:類別1的瑕疵)的驗證集實施似然比檢驗和方法400以使針印偏移的樣本的召回率達到99.95%以上。圖5B顯示針對表1的針印偏移的驗證集實施機率閾值和方法400以使針印偏移的樣本的查準率達到99.95%以上。由圖5A和5B可知,方法400可顯著地降低需人工複驗的樣本數量。
以表1的針印偏移的測試集為例,圖5C顯示針對表1的針印偏移的測試集實施似然比檢驗和方法400以使針印偏移的樣本的召回率達到99.95%以上。圖5D顯示針對表1的針印偏移的測試集實施機率閾值和方法400以使針印偏移的樣本的查準率達到99.95%以上。由圖5C和5D可知,方法400可顯著地降低需人工複驗的樣本數量。
再以表1的誤判的驗證集為例,圖6A顯示針對表1的誤判(即:類別2的瑕疵)的驗證集實施似然比檢驗和方法400以使誤判的樣本的召回率達到99.95%以上。圖6B顯示針對表1的誤判的驗證集實施機率閾值和方法400以使誤判的樣本的查準率達到99.95%以上。由圖6A和6B可知,方法400可顯著地降低需人工複驗的樣本數量。
再以表1的誤判的測試集為例,圖6C顯示針對表1的誤判的測試集實施似然比檢驗和方法400以使誤判的樣本的召回率達到99.95%以上。圖6D顯示針對表1的誤判的測試集實施機率閾值和方法400以使誤判的樣本的查準率達到99.95%以上。由圖6C和6D可知,方法400可顯著地降低需人工複驗的樣本數量。
綜上所述,本揭露可有效地降低待複驗樣本的數量。針對具有多種瑕疵的產品,在現有的神經網路無法達到所要求的分類的整體準確率的情況下,本揭露可基於優先程度的考量而改善特定瑕疵類別的分類查準率。即讓可全自動判讀的資料比例達到最大,進而減少剩餘資料所需人工複檢之成本。換言之,本揭露可大量地減少人力資源開銷,並且能有效地防止具有重大瑕疵的產品流入市面。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
300:分類方法 S310、S330、S350、S370:步驟
Claims (6)
- 一種基於神經網路的分類裝置,適用於改善特定瑕疵類別的分類準確率或查準率,包括:儲存媒體,儲存多個模組;以及處理器,耦接所述儲存媒體,所述處理器存取並執行所述儲存媒體的所述多個模組,所述多個模組包括:神經網路,產生分別對應一或多個樣本的一或多個分數向量;分類器,根據所述一或多個分數向量以及第一判定閾值判定出所述一或多個樣本的第一子集合,根據所述一或多個分數向量以及第二判定閾值判定出所述一或多個樣本的第二子集合,其中所述第一子集合關聯於第一類別,並且所述第二子集合關聯於第二類別;以及運算模組,根據所述第一子集合及所述第二子集合從所述一或多個樣本挑選出待複驗樣本,其中所述待複驗樣本為所述第一子集合及所述第二子集合的聯集在所述一或多個樣本內的補集。
- 如申請專利範圍第1項所述的分類裝置,其中所述第一判定閾值經配置以使所述第一子集合中的樣本滿足第一要求;以及所述第二判定閾值經配置以使所述第二子集合中的樣本滿足第二要求。
- 如申請專利範圍第1項所述的分類裝置,其中所述第一判定閾值關聯於下列的至少其中之一:準確率及查準率。
- 一種基於神經網路的分類方法,適用於改善特定瑕疵類別的分類準確率或查準率,包括:通過神經網路產生分別對應一或多個樣本的一或多個分數向量;根據所述一或多個分數向量以及第一判定閾值判定出所述一或多個樣本的第一子集合,其中所述第一子集合關聯於第一類別;根據所述一或多個分數向量以及第二判定閾值判定出所述一或多個樣本的第二子集合,其中所述第二子集合關聯於第二類別;以及根據所述第一子集合及所述第二子集合從所述一或多個樣本挑選出待複驗樣本,其中所述待複驗樣本為所述第一子集合及所述第二子集合的聯集在所述一或多個樣本內的補集。
- 如申請專利範圍第4項所述的分類方法,其中所述第一判定閾值經配置以使所述第一子集合中的樣本滿足第一要求;以及所述第二判定閾值經配置以使所述第二子集合中的樣本滿足第二要求。
- 如申請專利範圍第4項所述的分類方法,其中所述第一判定閾值關聯於下列的至少其中之一:準確率及查準率。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107138155A TWI692776B (zh) | 2018-10-29 | 2018-10-29 | 基於神經網路的分類裝置及分類方法 |
CN201811462176.3A CN111191670B (zh) | 2018-10-29 | 2018-11-30 | 基于神经网络的分类装置及分类方法 |
US16/221,612 US11704534B2 (en) | 2018-10-29 | 2018-12-17 | Neural-network-based classification device and classification method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107138155A TWI692776B (zh) | 2018-10-29 | 2018-10-29 | 基於神經網路的分類裝置及分類方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI692776B true TWI692776B (zh) | 2020-05-01 |
TW202016943A TW202016943A (zh) | 2020-05-01 |
Family
ID=70325366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107138155A TWI692776B (zh) | 2018-10-29 | 2018-10-29 | 基於神經網路的分類裝置及分類方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11704534B2 (zh) |
CN (1) | CN111191670B (zh) |
TW (1) | TWI692776B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI692776B (zh) * | 2018-10-29 | 2020-05-01 | 財團法人工業技術研究院 | 基於神經網路的分類裝置及分類方法 |
CN113379686B (zh) * | 2021-05-26 | 2024-07-19 | 广东炬森智能装备有限公司 | 一种pcb板缺陷检测方法及装置 |
CN116580025B (zh) * | 2023-07-12 | 2024-04-02 | 宁德时代新能源科技股份有限公司 | 缺陷过滤方法、装置、计算机设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090060340A1 (en) * | 2007-08-29 | 2009-03-05 | Hui Zhou | Method And Apparatus For Automatic Image Categorization Using Image Texture |
US7593904B1 (en) * | 2005-06-30 | 2009-09-22 | Hewlett-Packard Development Company, L.P. | Effecting action to address an issue associated with a category based on information that enables ranking of categories |
TW201627877A (zh) * | 2015-01-26 | 2016-08-01 | 華邦電子股份有限公司 | 晶圓測試圖樣的損失率計算方法 |
CN107607554A (zh) * | 2017-09-26 | 2018-01-19 | 天津工业大学 | 一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法 |
TW201824100A (zh) * | 2016-12-30 | 2018-07-01 | 國立成功大學 | 大量客製化產品的品質預測方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7089238B1 (en) | 2001-06-27 | 2006-08-08 | Inxight Software, Inc. | Method and apparatus for incremental computation of the accuracy of a categorization-by-example system |
US7296020B2 (en) | 2002-06-05 | 2007-11-13 | International Business Machines Corp | Automatic evaluation of categorization system quality |
GB0304639D0 (en) | 2003-02-28 | 2003-04-02 | Kiq Ltd | Classification using re-sampling of probability estimates |
US8495002B2 (en) | 2003-05-06 | 2013-07-23 | International Business Machines Corporation | Software tool for training and testing a knowledge base |
US9792359B2 (en) | 2005-04-29 | 2017-10-17 | Entit Software Llc | Providing training information for training a categorizer |
US8635172B1 (en) | 2011-10-07 | 2014-01-21 | Google Inc. | Dynamic techniques for evaluating quality of clustering or classification system aimed to minimize the number of manual reviews based on Bayesian inference and Markov Chain Monte Carlo (MCMC) techniques |
CN103324937B (zh) | 2012-03-21 | 2016-08-03 | 日电(中国)有限公司 | 标注目标的方法和装置 |
US8811727B2 (en) | 2012-06-15 | 2014-08-19 | Moataz A. Rashad Mohamed | Methods for efficient classifier training for accurate object recognition in images and video |
JP5905375B2 (ja) * | 2012-10-25 | 2016-04-20 | 日本電信電話株式会社 | 誤分類検出装置、方法、及びプログラム |
US9652688B2 (en) | 2014-11-26 | 2017-05-16 | Captricity, Inc. | Analyzing content of digital images |
TWI553494B (zh) | 2015-11-04 | 2016-10-11 | 創意引晴股份有限公司 | 基於多模態融合之智能高容錯視頻識別系統及其識別方法 |
CN106203523B (zh) * | 2016-07-17 | 2019-03-01 | 西安电子科技大学 | 基于梯度提升决策树半监督算法融合的高光谱图像分类方法 |
US11250311B2 (en) * | 2017-03-15 | 2022-02-15 | Salesforce.Com, Inc. | Deep neural network-based decision network |
CN107463951A (zh) * | 2017-07-19 | 2017-12-12 | 清华大学 | 一种提高深度学习模型鲁棒性的方法及装置 |
CN107451247B (zh) | 2017-07-28 | 2021-03-30 | 北京小米移动软件有限公司 | 用户识别方法及装置 |
US20190378009A1 (en) * | 2018-06-12 | 2019-12-12 | Nokia Technologies Oy | Method and electronic device for classifying an input |
TWI692776B (zh) * | 2018-10-29 | 2020-05-01 | 財團法人工業技術研究院 | 基於神經網路的分類裝置及分類方法 |
EP3944159A1 (en) * | 2020-07-17 | 2022-01-26 | Tata Consultancy Services Limited | Method and system for defending universal adversarial attacks on time-series data |
-
2018
- 2018-10-29 TW TW107138155A patent/TWI692776B/zh active
- 2018-11-30 CN CN201811462176.3A patent/CN111191670B/zh active Active
- 2018-12-17 US US16/221,612 patent/US11704534B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7593904B1 (en) * | 2005-06-30 | 2009-09-22 | Hewlett-Packard Development Company, L.P. | Effecting action to address an issue associated with a category based on information that enables ranking of categories |
US20090060340A1 (en) * | 2007-08-29 | 2009-03-05 | Hui Zhou | Method And Apparatus For Automatic Image Categorization Using Image Texture |
TW201627877A (zh) * | 2015-01-26 | 2016-08-01 | 華邦電子股份有限公司 | 晶圓測試圖樣的損失率計算方法 |
TW201824100A (zh) * | 2016-12-30 | 2018-07-01 | 國立成功大學 | 大量客製化產品的品質預測方法 |
CN107607554A (zh) * | 2017-09-26 | 2018-01-19 | 天津工业大学 | 一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法 |
Also Published As
Publication number | Publication date |
---|---|
TW202016943A (zh) | 2020-05-01 |
CN111191670B (zh) | 2024-07-09 |
US20200134393A1 (en) | 2020-04-30 |
US11704534B2 (en) | 2023-07-18 |
CN111191670A (zh) | 2020-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI692776B (zh) | 基於神經網路的分類裝置及分類方法 | |
JP6992475B2 (ja) | 情報処理装置、識別システム、設定方法及びプログラム | |
CN110880175B (zh) | 一种焊点缺陷检测方法、系统以及设备 | |
TWI761806B (zh) | 影像辨識裝置、影像辨識方法及其電腦程式產品 | |
TW202203152A (zh) | 訓練自動缺陷分類之檢測儀器的方法與系統及其儲存媒體 | |
WO2020187319A1 (zh) | 检测方法及检测系统 | |
JP6584250B2 (ja) | 画像分類方法、分類器の構成方法および画像分類装置 | |
US20210027105A1 (en) | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof | |
CN110223269A (zh) | 一种fpc缺陷检测方法和装置 | |
JP2010054346A (ja) | 欠陥検査方法及び装置 | |
TW202029070A (zh) | 神經網路的訓練方法、基於神經網路的分類方法及其裝置 | |
KR102427690B1 (ko) | 딥러닝 기반 클래스 분류 장치 및 방법 | |
Reshadat et al. | Improving the performance of automated optical inspection (AOI) using machine learning classifiers | |
CN116309513A (zh) | 电子元件缺陷的检测方法、装置、设备及存储介质 | |
TWI753347B (zh) | 基於神經網路的分類裝置及分類方法 | |
KR102107362B1 (ko) | 기판의 결함 검사 방법 | |
US11455490B2 (en) | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof | |
TWI722861B (zh) | 分類方法及分類系統 | |
TWI727595B (zh) | 基於神經網路的分類裝置及分類方法 | |
JP7070334B2 (ja) | 画像分類装置、画像検査装置、及び画像分類方法 | |
TW202141421A (zh) | 人工智慧自動光學檢測方法及系統 | |
JP7118365B2 (ja) | 画像検査装置 | |
Mezher et al. | A Novel Strategy for Improving Robustness in Computer Vision Manufacturing Defect Detection | |
Lin et al. | A Deep Learning-based General Defect Detection Framework for Automated Optical Inspection | |
WO2022254858A1 (ja) | 検査装置、検査方法、および検査プログラム |