TWI727595B

TWI727595B - 基於神經網路的分類裝置及分類方法

Info

Publication number: TWI727595B
Application number: TW109100330A
Authority: TW
Inventors: 賴璟皓; 黃茂裕
Original assignee: 財團法人工業技術研究院
Priority date: 2018-10-29
Filing date: 2018-10-29
Publication date: 2021-05-11
Also published as: TW202032573A

Abstract

提供一種基於神經網路的分類方法，包括：通過神經網路產生分別對應一或多個樣本的一或多個分數向量。根據一或多個分數向量以及第一判定閾值判定出一或多個樣本的第一子集合，其中第一子集合關聯於第一類別。根據第一子集合從一或多個樣本挑選出待複驗樣本。

Description

基於神經網路的分類裝置及分類方法

本揭露是有關於一種基於神經網路的分類裝置及分類方法。

在工業製造產業（例如：半導體產業）中，經常利用影像辨識技術來挑選出瑕疵品，藉以控管產品的出貨品質。例如，業界常使用由機器學習訓練而成的辨識模型來進行瑕疵品的檢測。然而，現有的檢測方案時常存在瑕疵分類的準確率不夠高（或誤判率（Overkill Rate）過高），且無法針對重大的瑕疵類別進行辨識的問題。

因此，工業製造產業仍無法完全地仰賴圖像辨識科技來檢驗產品的瑕疵，且現有的影像辨識技術大多以提高整體之預測正確率為目標。為了防止瑕疵品流入市面，需使用人工的方式來對產品進行複驗。然而，由於產品的生產數量龐大，工廠通常需消耗大量的人力資源，且僅能採用抽檢的方式而無法全面性地對產品進行人工複驗，生產品質堪慮。

為了解決上述的問題，需要提出一種能有效地降低人力資源成本並可針對重大之瑕疵類別的分類進行改善的分類方法。

本揭露提供一種基於神經網路的分類裝置，包括儲存媒體以及處理器。儲存媒體儲存多個模組。處理器耦接儲存媒體，存取並執行儲存媒體的多個模組，多個模組包括神經網路、分類器以及運算模組。神經網路產生對應一或多個樣本的一或多個分數向量。分類器根據一或多個分數向量以及第一判定閾值判定出一或多個樣本的第一子集合，其中第一子集合關聯於第一類別。運算模組根據第一子集合從一或多個樣本挑選出待複驗樣本。

本揭露提供一種基於神經網路的分類方法，包括：通過神經網路產生對應一或多個樣本的一或多個分數向量。根據一或多個分數向量以及第一判定閾值判定出一或多個樣本的第一子集合，其中第一子集合關聯於第一類別。根據第一子集合從一或多個樣本挑選出待複驗樣本。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

工業製造過程中，常使用基於神經網路（或其他種人工智慧領域的技術）的解決方案來分類具有瑕疵的樣品。然而，現行的神經網路並無法達到百分之百的整體準確率（Overall Accuracy）。因此，仍需要運用人力進行樣品的複驗。為了降低待複驗樣本的數量以減少人力開銷，本揭露提出了一種基於神經網路的分類裝置和分類方法。

圖1依照本揭露的第一實施例繪示基於神經網路的分類裝置10的示意圖。分類裝置10可包括處理器110以及儲存媒體130，其中儲存媒體130儲存多個模組，包括神經網路131、分類器135以及運算模組137，該些模組的功用將會於本文的後續說明。熟習相關技藝者當知，本揭露的神經網路131、分類器135以及運算模組137也可以是以硬體電路的方式實現，而非以儲存於儲存媒體130中的模組的形式實現，本揭露不限於此。分類裝置10可應用於對晶圓或印刷電路板的外觀瑕疵進行分類，但本揭露不限於此。

處理器110耦接儲存媒體130，並且可存取或執行儲存於儲存媒體130的多個模組。處理器110可例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位信號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）或其他類似元件或上述元件的組合，本揭露不限於此。

儲存媒體130用以儲存分類裝置10運行時所需的各項軟體、資料及各類程式碼。儲存媒體130可例如是任何型態的固定式或可移動式的隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-only Memory，ROM）、快閃記憶體（Flash Memory）、硬碟（Hard Disk Drive，HDD）、固態硬碟（Solid State Drive，SSD）或類似元件或上述元件的組合，本揭露不限於此。

圖2A依照本揭露的第二實施例繪示基於神經網路的分類方法200的流程圖，且圖2B依照本揭露的第二實施例繪示基於神經網路的分類方法200的流程的示意圖，其中分類方法200可應用於分類裝置10，本揭露不限於此。分類方法200可針對樣品的各個不同瑕疵類別設置對應的判定閾值（Decision Threshold）。如此，分類方法200可針對較顯著的影響品質的瑕疵類別的分類進行改善，從而減少該瑕疵類別的待複驗樣本的數量。以下請同時參照圖2A和圖2B。

在步驟S210，神經網路131可產生分別對應於一或多個樣本的一或多個分數向量。具體來說，神經網路131可用以處理由N個樣本所組成的總樣本集合U中的各個樣本，其中N為任意的正整數。神經網路131可產生分別對應於N個樣本的N個分數向量S1、S2、…、SN。每一個分數向量中的每個元素可分別對應於一種類別，例如，分數向量SN中的每個元素可分別對應於一種瑕疵類別。在本揭露中，假設每一樣本可能具有K種類別的瑕疵，所述K種類分別是類別1、類別2、…、類別K，其中K為任意的正整數。因此，每一樣本的分數向量（即：分數向量S1、S2、…、及SN）的維度可以是K×1。在晶圓製造或印刷電路板製造的產業中，所述樣本可例如是由自動光學檢測設備（Automated Optical Inspection Equipment，AOI Equipment）取得的晶圓之外觀的圖像資料或是由自動外觀檢測設備（Automated Visual Inspection Equipment，AVI Equipment）取得的印刷電路板之外觀的圖像資料，但本揭露不限於此。

在步驟S230，分類器135可根據一或多個分數向量以及第一判定閾值判定出一或多個樣本的第一子集合，其中第一子集合關聯於第一類別。具體來說，假設本實施例中的第一類別為類別1。若類別1的瑕疵對於產品具有顯著的不良影響且分類裝置10欲改善類別1的分類（例如：改善類別1的分類的準確率（Accuracy）或查準率（Precision Rate）），則分類器135可根據分數向量S1、S2、…、及SN以及對應於類別1的第一判定閾值判定出總樣本集合U的第一子集合。在本實施例中，所述第一子集合可例如是如圖2B所示的子集合B1，其中待複驗樣本的樣本集合I1為子集合B1在總樣本集合U內的補集，如公式（1）所示。值得注意的是，在步驟S230，分類器135僅需執行一次推論（One-Time Inference）即可判定出一或多個樣本的第一子集合。

…公式（1）

第一判定閾值可經配置以使第一子集合中的樣本滿足第一要求，且第一判定閾值可例如是關聯於準確率或查準率的信賴度閾值（Confidence Threshold）或似然比閾值（Likelihood Ratio Threshold）。此外，第一判定閾值可被預先配置（例如：使用驗證資料集）。具體來說，第一判定閾值可經配置以使子集合B1內的樣本滿足針對類別1的分類的準確率或查準率的要求。例如，第一判定閾值可經配置以使子集合B1滿足類別1的樣本的查準率達到99.95%以上的要求。第一判定閾值可由使用者依其要求而配置，本揭露不限制第一判定閾值為99.95%以上的查準率。由於子集合B1內的樣本已滿足第一要求，故該些樣本不需再經過人工複驗。

在步驟S250，運算模組137可根據第一子集合從一或多個樣本挑選出待複驗樣本。具體來說，運算模組137可根據子集合B1而從總樣本集合U挑選出待複驗樣本的樣本集合I1。

在一些實施例中，方法200更可包括步驟S235。在步驟S235，分類器135可根據一或多個分數向量以及第二判定閾值判定出一或多個樣本的第二子集合，其中第二子集合關聯於第二類別。具體來說，假設除了類別1之外，分類裝置10也欲改善類別i的分類，則分類器135可根據分數向量S1、S2、…、及SN以及對應於類別i的第二判定閾值判定出總樣本集合U的第二子集合Bi（i可例如是2、3、…、及/或K）。在本實施例中，第二子集合可例如是如圖2B所示的子集合B2、…、及/或BK。值得注意的是，在步驟S235，分類器135僅需執行一次推論即可判定出一或多個樣本的第二子集合。

第二判定閾值可經配置以使第二子集合中的樣本滿足第二要求，且第二判定閾值可例如是關聯於準確率或查準率的信賴度閾值或似然比閾值。此外，第二判定閾值可被預先配置（例如：使用驗證資料集）。具體來說，第二判定閾值可經配置以使子集合Bi內的樣本滿足類別i的分類的準確率或查準率的要求。例如，第二判定閾值可經配置以使子集合BK內的樣本的分類為類別K的查準率高於99.95%。需注意的是，第一判定閾值與第二判定閾值可以相同或相異。例如，在一些實施例中，第一判定閾值可經配置以使子集合B1內的樣本的分類為類別1的查準率高於99.95%，且第二判定閾值可經配置以使子集合BK內的樣本的分類為類別K的查準率高於80%。由於子集合BK內的樣本已滿足第二要求，故該些樣本不需再經過人工複驗。

在一實施例中，若方法200包括步驟S235，則在步驟S250，運算模組137可根據第一子集合及第二子集合從一或多個樣本挑選出待複驗樣本，其中待複驗樣本為第一子集合及第二子集合的聯集在一或多個樣本內的補集。具體來說，運算模組137可根據子集合B1、B2、…、及BK而從總樣本集合U挑選出待複驗樣本的樣本集合I1，其中待複驗樣本的樣本集合I1為子集合B1、B2、…、及BK的聯集在總樣本集合U內的補集，如公式（2）所示。

…公式（2）

方法200可用以辨識工業視覺資料集，所述工業視覺資料集可例如是如表1所示的有關於晶圓（Wafer）的瑕疵的資料集，瑕疵的類別可包括但不限於針印偏移（Probe Mark Shift）、誤判（Overkill）、裸晶不完整（Ugly Die）、製程瑕疵（Process Defect）、微粒（Particle）、異物（Foreign Material）以及墊變色（Pad Discolor）等七種類別的瑕疵，可分別表示為類別1、類別2、類別3、類別4、類別5、類別6以及類別7。表1

	訓練集	驗證集	測試集	總和
針印偏移	5265	1755	1755	8775
誤判	2775	925	925	4625
裸晶不完整	4294	1432	1432	7158
製程瑕疵	1752	584	584	2920
微粒	4835	1611	1611	8057
異物	1235	412	412	2059
墊變色	778	259	259	1296
總和	20934	6978	6978	34890

假設使用者的要求為瑕疵的分類的整體準確率（Overall Accuracy）需達到99.95%，但其所使用的神經網路並無法符合要求（例如：表1所使用的分類器之準確率並未達到99.95%，而是介於98%至99.95%之間），則可實施本揭露的方法200以使特定的瑕疵類別的分類中的部分樣本符合99.95%的準確率，使得所述部份樣本不需再經過人工複驗。以表1的驗證集為例，表2顯示針對表1的驗證集實施K次交叉驗證（K-fold Cross-validation）和方法200所能達到的分類查準率，其中K為5（即：根據表1的驗證集產生5個子樣本集合，可分別表示為子集合#1、子集合#2、子集合#3、子集合#4以及子集合#5），並且「不需人工複驗樣本比率」代表符合準確率要求的樣本在樣本數中所佔的比率由表2可知，本發明可使類別1至類別7中符合準確率要求的樣本比率達到約85.14%。換言之，就算所使用的分類器之準確率未達到99.95%，本發明仍可最大化符合準確率要求的樣本比率，使得高達85.14%的樣本符合準確率99.95%的要求。因此，所述85.14%的樣本將不需再經過人工複驗的流程。表2

	#1	#2	#3	#4	#5
類別1	樣本數	1754	1736	1768	1711	1704
不需人工複檢樣本比率(%)	99.04	98.02	99.55	98.84	98.78
類別2	樣本數	896	865	847	535	897
不需人工複檢樣本比率(%)	95.52	94.639	92.47	57.16	97.39
類別3	樣本數	1019	1294	1304	1334	1122
不需人工複檢樣本比率(%)	72.53	92.03	89.38	91.62	78.35
類別4	樣本數	284	336	498	442	312
不需人工複檢樣本比率(%)	46.63	57.63	85.71	76.74	54.64
類別5	樣本數	1108	1380	1277	1345	1512
不需人工複檢樣本比率(%)	69.00	86.41	80.21	83.13	91.64
類別6	樣本數	152	186	261	269	305
不需人工複檢樣本比率(%)	38.48	41.52	65.91	65.13	74.94
類別7	樣本數	259	256	258	209	268
不需人工複檢樣本比率(%)	100.0	98.84	100.0	84.27	100.0
總體樣本數	5472	6053	6213	5845	6121
總體加權平均不需人工複檢樣本比例(%)	78.42	86.74	89.04	83.76	87.72
交叉驗證總體平均不需人工複檢樣本比例(%): 85.14

再以表1的測試集為例，表3顯示針對表1的測試集實施K次交叉驗證和方法200所能達到的分類查準率，其中K為5（即：根據表1的測試集產生5個子樣本集合，可分別表示為子集合#1、子集合#2、子集合#3、子集合#4以及子集合#5）。由表3可知，就算所使用的分類器之查準率未達到99.95%，本發明仍可最大化符合準確率要求的樣本比率，使得高達84.82%的樣本符合查準率99.95%的要求。因此，所述84.82%的樣本將不需再經過人工複驗的流程。表3

	#1	#2	#3	#4	#5
類別1	樣本數	1754	1725	1762	1764	1697
不需人工複檢樣本比率(%)	98.81	100.00	99.49	99.32	98.04
類別2	樣本數	706	898	838	519	914
不需人工複檢樣本比率(%)	76.66	95.7356	91.68	56.66	97.65
類別3	樣本數	1021	1301	1271	1325	1145
不需人工複檢樣本比率(%)	71.30	92.60	90.40	90.82	78.64
類別4	樣本數	352	355	479	469	299
不需人工複檢樣本比率(%)	61.65	58.29	82.16	80.72	51.91
類別5	樣本數	1134	1382	1284	1347	1470
不需人工複檢樣本比率(%)	68.73	86.38	80.40	84.61	90.85
類別6	樣本數	157	186	280	194	288
不需人工複檢樣本比率(%)	38.57	47.09	62.50	48.99	69.73
類別7	樣本數	259	258	258	246	255
不需人工複檢樣本比率(%)	100.00	99.61	100.00	99.19	100.00
總體樣本數	5383	6108	6172	5864	6068
總體加權平均不需人工複檢樣本比例(%)	77.14	87.53	88.45	84.04	86.96
交叉驗證總體平均不需人工複檢樣本比例(%): 84.82

圖3A依照本揭露的第三實施例繪示基於神經網路的分類方法300的流程圖，且圖3B依照本揭露的第三實施例繪示基於神經網路的分類方法300的流程的示意圖，其中分類方法300可應用於分類裝置10，本揭露不限於此。方法300可在維持特定瑕疵類別的分類的查準率（或準確率）的同時，最大化該瑕疵類別的召回率（Recall Rate），其相當於最小化該瑕疵類別的漏檢率（Miss Rate）。以下請同時參照圖3A和圖3B。

在步驟S310，神經網路131可產生分別對應於一或多個樣本的一或多個分數向量。具體來說，類似於步驟S210，神經網路131可產生分別對應於N個樣本的N個分數向量S1、S2、…、SN，且每一個分數向量中可包括一或多個元素，其中所述一或多個元素中的每一者分別對應於一種類別。

在步驟S330，分類器135可根據一或多個分數向量以及第三判定閾值判定出一或多個樣本的第三子集合，其中第三子集合關聯於第一類別。具體來說，假設本實施例中的第一類別為類別j。若類別j的瑕疵對於產品具有顯著的不良影響且分類裝置10欲改善類別j的分類（例如：改善類別j的分類的召回率或漏檢率），則分類器135可根據分數向量S1、S2、…、及SN以及對應於類別j的第三判定閾值判定出總樣本集合U的第三子集合。在本實施例中，第三子集合可例如是如圖3B所示的子集合A。

第三判定閾值可經配置以使第三子集合中的樣本滿足召回率第三要求，且第三判定閾值可例如是關聯於召回率及漏檢率的信賴度閾值或似然比閾值。此外，第三判定閾值可被預先配置（例如：使用驗證資料集）。具體來說，第三判定閾值可經配置以使子集合A內的樣本滿足針對類別j的分類的召回率及漏檢率的要求。例如，第三判定閾值可經配置以使子集合A滿足類別j的樣本的召回率達到99.95%以上的要求。第三判定閾值可由使用者依其要求而配置，本揭露不限制第三判定閾值為99.95%以上的召回率。

在步驟S350，分類器135可根據一或多個分數向量以及第一判定閾值從第三子集合中判定出第一子集合，其中第一子集合關聯於第一類別。具體來說，分類器135可根據分數向量S1、S2、…、及SN以及對應於類別j的第一判定閾值判定出總樣本集合U的第一子集合。在本實施例中，所述第一子集合可例如是如圖3B所示的子集合Bj。需注意的是，步驟S330以及步驟S350可分別由不同的分類器執行，本揭露不限於使用僅單一個分類器135來執行所述兩個步驟。另一方面，在步驟S350，分類器135僅需執行一次推論即可判定出一或多個樣本的第一子集合。

第一判定閾值可經配置以使第一子集合中的樣本滿足第一要求，且第一判定閾值可例如是關聯於準確率或查準率的信賴度閾值或似然比閾值。此外，第一判定閾值可被預先配置（例如：使用驗證資料集）。具體來說，第一判定閾值可經配置以使子集合Bj內的樣本滿足針對類別j的分類的準確率或查準率的要求。例如，第一判定閾值可經配置以使子集合Bj滿足類別j的樣本的查準率達到99.95%以上的要求。第一判定閾值可由使用者依其要求而配置，本揭露不限制第一判定閾值為99.95%以上的查準率。由於子集合Bj內的樣本已滿足第一要求，故該些樣本不需再經過人工複驗。

在步驟S370，運算模組137可根據第一子集合從一或多個樣本挑選出待複驗樣本，其中待複驗樣本為第一子集合在第三子集合內的補集。具體來說，運算模組137可根據子集合Bj以及子集合A而挑選出待複驗樣本的樣本集合I2，其中待複驗樣本的樣本集合I2為子集合Bj在子集合A內的補集，如公式（3）所示。方法300可應用於辨識工業視覺資料集，但本揭露不限於此。

…公式（3）

圖4A依照本揭露的第四實施例繪示基於神經網路的分類方法400的流程圖，且圖4B依照本揭露的第四實施例繪示基於神經網路的分類方法400的流程的示意圖，其中分類方法400可應用於分類裝置10，本揭露不限於此。方法400可在維持特定瑕疵類別的分類的查準率（或準確率）的同時，最大化該瑕疵類別的召回率，其相當於最小化該瑕疵類別的漏檢率。以下請同時參照圖4A和圖4B。

在步驟S410，神經網路131可產生分別對應於一或多個樣本的一或多個分數向量。具體來說，類似於步驟S210，神經網路131可產生分別對應於N個樣本的N個分數向量S1、S2、…、SN，且每一個分數向量中可包括一或多個元素，其中所述一或多個元素中的每一者分別對應於一種類別。

在步驟S430，分類器135可根據一或多個分數向量以及第三判定閾值判定出一或多個樣本的第三子集合，其中第三子集合關聯於第一類別。具體來說，假設本實施例中的第一類別為類別m，則分類器135可根據分數向量S1、S2、…、及SN以及對應於類別m的第三判定閾值判定出總樣本集合U的第三子集合。在本實施例中，第三子集合可例如是如圖4B所示的子集合C。

第三判定閾值可經配置以使第三子集合中的樣本滿足召回率第三要求，且第三判定閾值可例如是關聯於召回率及漏檢率的信賴度閾值或似然比閾值。此外，第三判定閾值可被預先配置（例如：使用驗證資料集）。具體來說，第三判定閾值可經配置以使子集合C內的樣本滿足針對類別m的分類的召回率及漏檢率的要求。例如，第三判定閾值可經配置以使子集合C滿足類別m的樣本的召回率達到99.95%以上的要求。第三判定閾值可由使用者依其要求而配置，本揭露不限制第三判定閾值為99.95%以上的召回率。

在步驟S450，分類器135可根據一或多個分數向量以及第一判定閾值判定出一或多個樣本的第一子集合，其中第一子集合關聯於第一類別。具體來說，假設本實施例中的第一類別為類別m，分類器135可根據分數向量S1、S2、…、及SN以及對應於類別m的第一判定閾值判定出總樣本集合U的第一子集合。在本實施例中，所述第一子集合可例如是如圖4B所示的子集合Bm。需注意的是，本揭露並不限制步驟S430和步驟S450的執行順序。另一方面，在步驟S450，分類器135僅需執行一次推論即可判定出一或多個樣本的第一子集合。

第一判定閾值可經配置以使第一子集合中的樣本滿足第一要求，且第一判定閾值可例如是關聯於準確率或查準率的信賴度閾值或似然比閾值。此外，第一判定閾值可被預先配置（例如：使用驗證資料集）。具體來說，第一判定閾值可經配置以使子集合Bm內的樣本滿足針對類別m的分類的準確率或查準率的要求。例如，第一判定閾值可經配置以使子集合Bm滿足類別m的樣本的查準率達到99.95%以上的要求。第一判定閾值可由使用者依其要求而配置，本揭露不限制第一判定閾值為99.95%以上的查準率。由於子集合Bm內的樣本已滿足第一要求，故該些樣本不需再經過人工複驗。

在步驟S470，運算模組137可根據第一子集合及第三子集合從一或多個樣本中挑選出待複驗樣本，其中待複驗樣本為第一子集合在第三子集合中的補集。具體來說，運算模組137可根據子集合Bm以及子集合C而挑選出待複驗樣本的樣本集合I3，其中待複驗樣本的樣本集合I3為子集合Bm在子集合C內的補集，如公式（4）所示。方法400可應用於辨識工業視覺資料集，但本揭露不限於此。

…公式（4）

方法400可用以辨識工業視覺資料集，所述工業視覺資料集可例如是如表4所示的有關於印刷電路板（Printed Circuit Board，PCB）的瑕疵的資料集「XDS_5_Sets_790K-R1」，所述資料集中包括存在瑕疵的樣本（表示為類別a）以及無瑕疵的樣本（表示為類別b）。表4

XDS_5_Sets_790K-R1
	訓練集	驗證集	測試集	總和
類別a	55930	13870	27772	97572
類別b	215659	33910	67788	317357
總和	271589	47780	95560	414929
類別b/類別a	3.86	2.44	2.44	3.25

假設使用者的要求為類別a的召回率達到99.95%以上（即：偽陰性率（False Negative Rate，FNR）達到0.05%以下）並且真陰性率（True Negative Rate，TNR）達到50%以上。以表4的驗證集為例，表5顯示針對表4的驗證集實施似然比檢驗（Likelihood Ratio Test，LRT）和方法400以使類別a的召回率達到99.95%以上。表6顯示針對表4的驗證集實施機率閾值（Probability）和方法400以使類別a的查準率達到99.95%以上。由表5和表6可知，方法400可顯著地降低需人工複驗的樣本數量。表5

整體準確率(%)	整體錯誤率(%)	XDS_5_Sets_790K-R1(使用的神經網路模型: DFB-Net)
神經網路的預測結果
66.72	33.28	類別a	類別b	FNR / TNR (%)	不需人工複驗的樣本比例(%)	不需人工複驗的樣本數量	樣本數
真實情況(ground true)	類別a	13864	6	0.0433	37.71	18020	13870
類別b	15896	18014	53.12	33910
總和	29760	18020	LRT閾值:0.0026	47780

表6

整體準確率(%)	整體錯誤率(%)	XDS_5_Sets_790K-R1(使用的神經網路模型: DFB-Net)
神經網路的預測結果
95.70	4.30	類別a	類別b	FNR / 查準率 (%)	不需人工複驗的樣本比例(%)	不需人工複驗的樣本數量	樣本數
真實情況(ground true)	類別a	11819	2051	14.7873 / 99.96	24.75	11824	13870
類別b	5	33905		33910
總和	11824	35956	機率閾值:0.9942	47780

再以表4的驗證集為例，表7顯示針對表4的測試集實施似然比檢驗和方法400以使類別a的召回率達到99.95%以上。表8顯示針對表4的測試集實施機率閾值和方法400以使類別a的查準率達到99.95%以上。由表7和表8可知，方法400可顯著地降低需人工複驗的樣本數量。表7

整體準確率(%)	整體錯誤率(%)	XDS_5_Sets_790K-R1(使用的神經網路模型: DFB-Net)
神經網路的預測結果
66.72	33.28	類別a	類別b	FNR / TNR (%)	不需人工複驗的樣本比例(%)	不需人工複驗的樣本數量	樣本數
真實情況(ground true)	類別a	27759	13	0.0468	37.81	36128	27772
類別b	31673	36115	53.28	67788
總和	59432	36128	LRT閾值:0.0026	95560

表8

整體準確率(%)	整體錯誤率(%)	XDS_5_Sets_790K-R1(使用的神經網路模型: DFB-Net)
神經網路的預測結果
95.70	4.30	類別a	類別b	FNR / 查準率 (%)	不需人工複驗的樣本比例(%)	不需人工複驗的樣本數量	樣本數
真實情況(ground true)	類別a	23737	4035	14.529 / 99.9514.529	24.85	23750	27772
類別b	13	67775		67788
總和	23750	71810	機率閾值:0.9942	95560

方法400可顯著地降低待人工複驗樣本的數量。舉例來說，以自動外觀檢測設備（AVI）的檢測出一片PCB的雙面共有100點瑕疵，其中20點為真瑕疵且80點為假瑕疵。在導入基於神經網路（可例如是習知類別的神經網路）的辨識系統後，神經網路可檢測出該PCB的雙面共有60點瑕疵，其中20點為真瑕疵且40點為假瑕疵。因此，相對於僅使用AVI進行PCB檢測，導入基於神經網路的辨識系統可減少約40%的待人工複驗樣本的數量。另一方面，在導入本揭露的方法400後，分類裝置10可檢測出該PCB的雙面共有40點瑕疵，其中17點為真瑕疵且23點為假瑕疵。換言之，相對於僅使用AVI進行PCB檢測，導入本揭露的方法400可減少約60%的待人工複驗樣本的數量。

方法400還可用以辨識如表1所示的有關於晶圓的瑕疵的資料集。假設使用者的要求為瑕疵的分類的整體準確率達到99.95%，但其所使用的神經網路並無法符合要求，則可實施本揭露的方法400以降低特定的瑕疵類別的待複驗樣本。

以表1的針印偏移的驗證集為例，圖5A顯示針對表1的針印偏移（即：類別1的瑕疵）的驗證集實施似然比檢驗和方法400以使針印偏移的樣本的召回率達到99.95%以上。圖5B顯示針對表1的針印偏移的驗證集實施機率閾值和方法400以使針印偏移的樣本的查準率達到99.95%以上。由圖5A和5B可知，方法400可顯著地降低需人工複驗的樣本數量。

以表1的針印偏移的測試集為例，圖5C顯示針對表1的針印偏移的測試集實施似然比檢驗和方法400以使針印偏移的樣本的召回率達到99.95%以上。圖5D顯示針對表1的針印偏移的測試集實施機率閾值和方法400以使針印偏移的樣本的查準率達到99.95%以上。由圖5C和5D可知，方法400可顯著地降低需人工複驗的樣本數量。

再以表1的誤判的驗證集為例，圖6A顯示針對表1的誤判（即：類別2的瑕疵）的驗證集實施似然比檢驗和方法400以使誤判的樣本的召回率達到99.95%以上。圖6B顯示針對表1的誤判的驗證集實施機率閾值和方法400以使誤判的樣本的查準率達到99.95%以上。由圖6A和6B可知，方法400可顯著地降低需人工複驗的樣本數量。

再以表1的誤判的測試集為例，圖6C顯示針對表1的誤判的測試集實施似然比檢驗和方法400以使誤判的樣本的召回率達到99.95%以上。圖6D顯示針對表1的誤判的測試集實施機率閾值和方法400以使誤判的樣本的查準率達到99.95%以上。由圖6C和6D可知，方法400可顯著地降低需人工複驗的樣本數量。

綜上所述，本揭露可有效地降低待複驗樣本的數量。針對具有多種瑕疵的產品，在現有的神經網路無法達到所要求的分類的整體準確率的情況下，本揭露可基於優先程度的考量而改善特定瑕疵類別的分類查準率。即讓可全自動判讀的資料比例達到最大，進而減少剩餘資料所需人工複檢之成本。換言之，本揭露可大量地減少人力資源開銷，並且能有效地防止具有重大瑕疵的產品流入市面。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10:分類裝置 110:處理器 130:儲存媒體 131:神經網路 135:分類器 137:運算模組 200、300、400:分類方法 A、B1、B2、BK、Bi、Bj、Bm、C:樣本的子集合 I1、I2、I3:待複驗樣本的樣本集合 S1、S2、SN:分數向量 S210、S230、S235、S250、S310、S330、S350、S370、S410、S430、S450、S470:步驟 U:總樣本集合

圖1依照本揭露的第一實施例繪示基於神經網路的分類裝置的示意圖。圖2A依照本揭露的第二實施例繪示基於神經網路的分類方法的流程圖。圖2B依照本揭露的第二實施例繪示基於神經網路的分類方法的流程的示意圖。圖3A依照本揭露的第三實施例繪示基於神經網路的分類方法的流程圖。圖3B依照本揭露的第三實施例繪示基於神經網路的分類方法的流程的示意圖。圖4A依照本揭露的第四實施例繪示基於神經網路的分類方法的流程圖。圖4B依照本揭露的第四實施例繪示基於神經網路的分類方法的流程的示意圖。圖5A、5B、5C以及5D依照本揭露的實施例繪示實施本揭露的方法400的實驗結果的示意圖。圖6A、6B、6C以及6D依照本揭露的實施例繪示實施本揭露的方法400的實驗結果的示意圖。

300:分類方法

S310、S330、S350、S370:步驟

Claims

一種基於神經網路的分類裝置，適用於改善特定瑕疵類別的分類準確率或查準率，包括：儲存媒體，儲存多個模組；以及處理器，耦接所述儲存媒體，所述處理器存取並執行所述儲存媒體的所述多個模組，所述多個模組包括：神經網路，產生分別對應一或多個樣本的一或多個分數向量；分類器，根據所述一或多個分數向量以及第一判定閾值判定出所述一或多個樣本的第一子集合，根據所述一或多個分數向量以及第三判定閾值判定出所述一或多個樣本的第三子集合，其中所述第一子集合以及所述第三子集合關聯於第一類別；以及運算模組，根據所述第一子集合以及所述第三子集合從所述一或多個樣本挑選出待複驗樣本，其中所述待複驗樣本為所述第一子集合在所述第三子集合中的補集。
如申請專利範圍第1項所述的分類裝置，其中所述第三判定閾值經配置以使所述第三子集合中的樣本滿足第三要求。
如申請專利範圍第1項所述的分類裝置，其中所述第三判定閾值關聯於下列的至少其中之一：召回率及漏檢率，其中所述第一判定閾值關聯於下列的至少其中之一：準確率及查準率。
一種基於神經網路的分類方法，適用於改善特定瑕疵類別的分類準確率或查準率，包括：通過神經網路產生分別對應一或多個樣本的一或多個分數向量；根據所述一或多個分數向量以及第一判定閾值判定出所述一或多個樣本的第一子集合，其中所述第一子集合關聯於第一類別；根據所述一或多個分數向量以及第三判定閾值判定出所述一或多個樣本的第三子集合，其中所述第三子集合關聯於所述第一類別；以及根據所述第一子集合以及所述第三子集合從所述一或多個樣本挑選出待複驗樣本，其中所述待複驗樣本為所述第一子集合在所述第三子集合中的補集。
如申請專利範圍第4項所述的分類方法，其中所述第三判定閾值經配置以使所述第三子集合中的樣本滿足第三要求。
如申請專利範圍第4項所述的分類方法，其中所述第三判定閾值關聯於下列的至少其中之一：召回率及漏檢率，其中所述第一判定閾值關聯於下列的至少其中之一：準確率及查準率。