TWI775586B

TWI775586B - 多分支的檢測系統及多分支的檢測方法

Info

Publication number: TWI775586B
Application number: TW110132356A
Authority: TW
Inventors: 馬清文; 劉馨勻; 張永政; 陳斯明; 莊世珣; 黃晉邦
Original assignee: 世界先進積體電路股份有限公司; 國立陽明交通大學
Priority date: 2021-08-31
Filing date: 2021-08-31
Publication date: 2022-08-21
Also published as: TW202312085A

Abstract

一種多分支的檢測方法包含以下步驟：藉由一第一卷積層模組接收一原始圖像，並產生原始圖像的複數個第一特徵地圖(feature maps)；藉由一物件位置擷取模組接收第一特徵地圖之一者，搜尋第一特徵地圖中的一預測瑕疵位置，框選並擷取(crop)原始圖像中對應預測瑕疵位置處，以取得一特徵重點圖片，並將擷取出的特徵重點圖片放大為一第二圖像；藉由一第二卷積層模組接收第二圖像，並產生第二圖像的一第二特徵地圖。

Description

多分支的檢測系統及多分支的檢測方法

本發明是關於一種檢測系統，特別是關於一種多分支的檢測系統及多分支的檢測方法。

傳統上要預測晶圓上是否有瑕疵，常採用自動光學檢測(automated optical inspection，AOI)，自動光學檢測是運用電腦視覺做為檢測技術，代替人類的眼睛、大腦、手部的動作，則配有視覺感測設備中，檢測出產品的缺陷、判斷並挑選出有缺陷的部分，自動光學檢測是製程中，利用光學儀器取得成品的表面狀態，再以電腦影像處理技術來分類瑕疵，屬於非接觸式檢查，亦可以在製程中檢查半成品。

然而，自動光學檢測檢查晶粒(die)的誤差高，隨著半導體的發展，客戶也要求較高的良率，因此，如何準確的預測晶圓上的瑕疵，已成為本領域需解決的問題之一。

為了解決上述的問題，本揭露內容之一態樣提供了一種多分支的檢測系統。多分支的檢測系統包含：一處理器以及一儲存裝置。處理器用以存取儲存裝置所儲存之程式，以實現一第一卷積層模組、一物件位置擷取模組、一第二卷積層模組、一第一輸出模組、一第一連階層模組、一第二連階層模組、一第一輸出模組、一第二輸出模組、以及一比較模組。第一卷積層模組，用以接收一原始圖像，並產生原始圖像的複數個第一特徵地圖(feature maps)。物件位置擷取模組搜尋複數個第一特徵地圖之一者中的一預測瑕疵位置，擷取(crop)原始圖像中對應預測瑕疵位置處，以取得一特徵重點圖片，並將擷取出的特徵重點圖片放大，以取得一放大圖像。第二卷積層模組用以接收放大圖像，並產生一第二特徵地圖。第一連階層模組，用以接收第一特徵地圖之一，以產生一第一分類結果。第二連階層模組，用以接收微第二特徵地圖，以產生一第二分類結果。第一輸出模組模組，輸出對應第一分類結果的複數個第一信心程度值。第二輸出模組，輸出對應該第二分類結果的複數個第二信心程度值；以及比較模組比較該些第一信心程度值中的最大者，與該些第二信心程度值中的最大者，將兩者中的較大者所對應的分類視為該原始圖像預測瑕疵的類別。

本揭露內容之另一態樣提供了一種多分支的檢測方法。多分支的檢測方法包含以下步驟：藉由一第一卷積層模組接收一原始圖像，並產生該原始圖像的複數個第一特徵地圖(feature maps)；藉由一物件位置擷取模組接收此些第一特徵地圖之一者，搜尋該第一特徵地圖中的一預測瑕疵位置，擷取(crop)原始圖像中對應該預測瑕疵位置處，以取得一特徵重點圖片，並將擷取出的該特徵重點圖片放大，以取得一放大圖像；藉由一第二卷積層模組接收該放大圖像，並產生該第二圖像的一第二特徵地圖；藉由一第一連階層模組接收第一特徵地圖，以產生一第一分類結果；藉由一第二連階層模組接收第二特徵地圖，以產生一第二分類結果；藉由一第一輸出模組輸出對應第一分類結果的複數個第一信心程度值；藉由一第二輸出模組輸出對應第二分類結果的複數個第二信心程度值；以及藉由一比較模組比較該些第一信心程度值中的最大者，與該些第二信心程度值中的最大者，將兩者中的較大者所對應的分類預測瑕疵視為原始圖像預測瑕疵的類別。

本發明所示之多分支的檢測系統及多分支的檢測方法，提供了利用多分支檢測的概念，產生第一分類結果、對應第一分類結果的第一信心程度值、第二分類結果、對應第二分類結果的複數個第二信心程度值。藉此可以比較出第二信心程度值及第一信心程度值中的最大機率者，其所對應的預測瑕疵類型，達到更精準判定預測瑕疵類型的效果。此外，透過第一輸出模組與第二輸出模組，將收到的輸出經公式轉換考慮每個類別比重的機率值輸出分布，調整原先第二分類結果及第一分類的結果。另外，多分支的檢測系統及多分支的檢測方法也提供了複判機制，透過複判機制可以進一步檢查預測瑕疵類別是否正確，藉此提升多分支的檢測系統整體判斷預測瑕疵類別的準確率。

以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。

必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。

於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。

請參照第1~3圖，第1圖係依照本發明一實施例繪示多分支的檢測系統100之方塊圖。第2圖係依照本發明一實施例多分支的檢測方法200之流程圖。第3圖係依照本發明一實施例繪示多分支的檢測系統的流程圖。

如第1圖所示，多分支的檢測系統100包含一處理器10及一儲存裝置20。於一實施例中，處理器10用以存取儲存裝置20所儲存之程式，以實現一第一卷積層模組22、一物件位置擷取模組24、一第二卷積層模組26、一第一連接層模組28、一第二連階層模組30、一第一輸出模組32、一第二輸出模組34及一比較模組36。

於一實施例中，第一卷積層模組22、物件位置擷取模組24、第二卷積層模組26、第一連接層模組28、第二連階層模組30、第一輸出模組32、第二輸出模組34及比較模組36可以由軟體、韌體或電路實現之。

於一實施例中，第一卷積層模組22、物件位置擷取模組24、第二第一卷積層模組26、第一連接層模組28、第二連階層模組30、第一輸出模組模組32、第二輸出模組模組34及比較模組36可以分別或一併由電路實現之，並設置於儲存裝置20之外，與儲存裝置20及處理器10電性耦接。其中，第一連接層模組28可以為全連接層模組，第二連階層模組30可以是一全連接層模組。

於一實施例中，處理器10可由體積電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路來實施。

於一實施例中，儲存裝置20可被實作為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之儲存媒體。

於一實施例中，多分支的檢測方法200可以由多分支的檢測系統100實現之。

於步驟210中，第一卷積層模組22接收一原始圖像IMG0，並產生原始圖像IMG0的複數個第一特徵地圖(feature maps)。

請一併參閱第3圖，原始圖像IMG0輸入第一卷積層模組22後，第一卷積層模組22產生原始圖像IMG0的第一特徵地圖。

於一實施例中，第一卷積層模組22將一擷取特徵地圖(即第一特徵地圖)傳送到物件位置擷取模組24。

於一實施例中，多分支的檢測方法200可以採用運行卷積神經網路(Convolutional Neural Network，CNN)模型以辨識影像，CNN模型在影像識別方面的威力非常強大，許多影樣辨識的模型也都是以CNN模型的架構為基礎去做延伸，例如，於一些實施例中，多分支的檢測方法200可以採用深度殘差網路(Deep residual network，ResNet)模型。因此，本發明並不限於採用CNN模型，只要是能更夠進行影像辨識的模型都可以採用。

於一實施例中，CNN模型主要可以分成卷積層(Convolution Layer)、池化層(Pooling Layer)、全連接層(Fully Connected Layer)。

於一實施例中，原始圖像IMG0輸入第一卷積層模組22後，第一卷積層模組22執行卷積層及池化層的演算法，以產生原始圖像IMG0的第一特徵地圖。

於步驟220中，物件位置擷取模組24接收第一特徵地圖之一者，搜尋第一特徵地圖中的一預測瑕疵位置DF，框選並擷取(crop)原始圖像IMG0中對應此預測瑕疵位置DF處，以取得一特徵重點圖片COP，並將擷取出的特徵重點圖片COP放大，已取得一放大圖像。舉例而言，可放大至原始圖像IMG0一樣的大小，以取得一第二圖像IMG1，然本發明並不以此為限。

第4圖係依照本發明一實施例繪示產生第二圖像IMG1的方法之示意圖。於一實施例中，物件位置擷取模組24可透過現有的預測瑕疵檢測演算法，例如自動光學檢測法，以找到預測瑕疵位置DF。物件位置擷取模組24將預測瑕疵位置DF框選並擷取出來。

於一實施例中，框選時，物件位置擷取模組24會稍微框選比預測瑕疵位置DF所在之處大一點的範圍，例如預測瑕疵位置DF所在之處的上、下、左及右方，都增加像素的大小，作為框選範圍，以得到特徵重點圖片COP。

於一實施例中，下列算式中的所應用到的卷積模組包括多個卷積層。於一實施例中，物件位置擷取模組24採用演算法，例如：注意對象定位模組(Attention Object Location Module，AOLM)以找出需要被框選的預測瑕疵位置DF：步驟1:

=

，其中，符號

就是所有特徵圖下像素加總的平均值，符號A(x,y)代表該座標點下所有特徵圖加總，符號C代表特徵圖數量，符號W代表特徵圖影像寬度，符號H代表特徵圖影像高度。步驟2:

其中，符號

為像素(x,y)下遮罩的判斷式，當符號

代表該點像素所有特徵圖總和大於

。步驟3:計算出符號M，符號M代表遮罩影像在conv_5c和conv_5b交集； M =

，交集的部分即為選取的範圍。其中，符號conv_5c及符號conv_5b為多個卷積層層(layer)名稱。

第4圖係依照本發明一實施例繪示產生第一圖像IMG1的方法之示意圖。如第4圖所示，當物件位置擷取模組24從第一特徵地圖得知預測瑕疵位置DF後，擷取出特徵重點圖片COP，再將擷取出的特徵重點圖片COP放大至與原始圖像IMG0一樣的大小，以取得一第二圖像IMG1。

於一實施例中，由於是將特徵重點圖片COP放大至與原始圖像IMG0一樣的大小，因此，第二圖像IMG1中的預測瑕疵位置DF’的大小會比原始圖像IMG0中的預測瑕疵位置DF大。

於步驟230中，第二卷積層模組26接收放大圖像IMG1，並產生第一圖像IMG1的一第二特徵地圖。

於步驟240中，第一連階層模組28接收第一特徵地圖，以產生一第一分類結果。於一實施例中，第一連階層模組28針對第一特徵地圖運行全連接層演算法，以產生一第一分類結果。

於步驟250中，第二連階層模組30接收第二特徵地圖，以產生一第二分類結果。於一實施例中，第二連階層模組30針對第二特徵地圖運行全連接層演算法，以產生一第二分類結果。

於一實施例中，步驟240與步驟250無先後執行順序之分，亦可以同時進行。

藉此，有了第二分類結果與第一分類結果，可以比較此兩種方式最後何者可以得到較高的信心程度值。

於步驟260中，第一輸出模組32接收第一分類結果，以輸出對應第一分類結果的複數個第一信心程度值33。

於一實施例中，第一輸出模組32用以輸出對應第一分類結果的複數個第一信心程度值。此第一輸出模組32可以是一Softmax模組。

於一實施例中，第一輸出模組32採用一平衡Softmax (Balanced Softmax)演算法，第一輸出模組模組32輸出複數個機率，此些機率為此些第一信心程度值33。

於步驟270中，第二輸出模組34接收第二分類結果，以輸出對應第二分類結果的複數個第二信心程度值35。

於一實施例中，第二輸出模組用以輸出對應第二分類結果的複數個第二信心程度值。此第二輸出模組34可以是一Softmax模組。

於一實施例中，第二輸出模組34採用一平衡Softmax (Balanced Softmax)演算法，第二輸出模組34輸出複數個機率，此些機率為此些第二信心程度值35。

於一實施例中，請參閱第5圖，第5圖係依照本發明一實施例繪示各種類型預測瑕疵發生次數之示意圖。由第5圖可看出，若將各類型預測瑕疵分為12類型分別為預測瑕疵A1~A12，其中預測瑕疵A1~A12舉例而言分別對應到色差預測瑕疵、殘留預測瑕疵、損壞預測瑕疵、焊墊殘留預測瑕疵、誤判預測瑕疵….等等。預測瑕疵類別並不限於此12種類別。

其中最常發生的舉例而言為預測瑕疵A1類型，次之是預測瑕疵A2類型，再次之是針痕預測瑕疵A3型；由第5圖可看出，資料型態為長尾資料，因此第一輸出模組32與第二輸出模組34可各自採用Balanced Softmax演算法，以處理長尾資料。

更具體而言，真實世界中的數據分布大多符合長尾分布，例如，常見的主要類型樣本占了大部分的比例，而大量的罕見類別只在數據集中少量出現。例如，一個動物圖片集中，寵物貓的圖片數量可能遠遠超過熊貓的圖片數量。長尾問題的難點主要存在於以下兩個方面：根據長尾問題的設定，訓練集是類別不均衡的(用以訓練模型的熊貓圖片遠不及寵物貓的圖片)；罕見類別在模型訓練過程中很少出現，因此無法在優化過程中針對所有類別有較全面的參數更新，這使得即使有了一個較好的優化目標，也很難使模型收斂到對應的全局最優。

因此，從多項分布的Exponential Family形式出發重新對邏輯回歸進行了推導並顯式考慮了標籤分布遷移，得到了適合長尾問題的Balanced Softmax。同時， Balanced Softmax可以讓數量不多的類別在模型參數上有較好的更新因此在一些實施例中，採用Balanced Softmax。Softmax 及Balanced Softmax的公式如下： Softmax Layer:

Balanced Softmax Layer:

其中，符號e代表指數函數(exponent function)，符號j代表第jth類別，符號k代表共k類別(共k種Defect code )，符號

代表第jth預測類別全連接層輸出，符號

代表第jth 類別訓練影像張數。

藉此，採用Balanced Softmax可以將收到的值考慮類別比重後再以機率值輸出。

長尾現象(Long-tailed phenomenon)是指資料呈現長尾分布。某些類別的圖片異常多，某些類別的圖片特別少。在圖片較少的類別上，辨識準確度較差的情形產生。

神經網路更新權重的方法是透過計算實際輸出值(此例輸出是softmax 機率值)和期望輸出值(標記(label) 結果)的誤差為基準，由於某些類別的圖片異常多，容易導致預測偏向圖片異常多的類別，導致在參數更新上有問題。

於一實施例中，假設以三種類型的預測瑕疵為例，然本發明並不以此為限：實際結果(Ground Truth)：

，代表此張圖片的標註(labelling) 是表面微粒預測瑕疵(Non-killing_Surface Particle)NK_SP； Softmax Layer：

，此代表 K_MG的機率為0.93； NK_SP的機率為0.05, K_PD的機率為0.02； Balanced Softmax Layer:

，此代表…K_MG的機率為0.99 NK_SP的機率為0.009, K_PD的機率為0.001相較於Softmax Layer，Balanced Softmax Layer在更新上會有較佳的表現，因為Balanced Softmax Layer在表面微粒預測瑕疵(Non-killing_Surface Particle)NK_SP損失函數(loss function)的偏導數(梯度)較佳，在此例中，使用Balanced Softmax Layer算出的偏導數(梯度)會得到一個參數較好的更新。其中，偏導數(梯度)不只考慮大小，也考慮參數的更新方向。

於步驟280中，比較模組36，比較複數個第一信心程度值33中的最大者，第3圖中的x是此些第二信心程度值33中的最大者為80%，x例如對應到薄膜微粒預測瑕疵(Killing_Film Particle, K_FP)，視為一第一判斷結果。第3圖中的x’是此些第二信心程度值35中的最大者為85%，x’例如對應到表面微粒預測瑕疵(Non-killing_Surface Particle, NK_SP)，視為一第二判斷結果，比較第二判斷結果及第一判斷結果，將第二判斷結果及第一判斷結果的較大者所對應的一預測瑕疵狀態(例如第二信心程度值35中的最大者85%，x’所對應到預測瑕疵類別視為原始圖像的一預測瑕疵類別。

於一實施例中，在上述步驟中可以多次重覆，直到多分支的檢測系統100穩定，輸出結果算出的損失函數收斂或小於一定值，或是損失函數(loss function)小於一定值，又或是達到預設重複運算次數。此類神經訓練的方法可使用已知的方式實現之。當多分支的檢測系統100中的類神經網路訓練完畢，則可進入實際應用階段。由第3圖可看出多分支的檢測系統100是分成原始圖項IMG0及第二圖像IMG1兩個分支各自進行類神經運算，再取出正確性較佳的結果作為此回合判定的預測瑕疵類別。

於一實施例中，處理器10用以存取儲存裝置20所儲存之程式，以實現一複判機制模組；複判機制模組，用以從第一連階層模組28或第二連階層模組30接收對應預測瑕疵類別的所輸出的一特徵值向量，依據特徵值向量判斷預測瑕疵類別與對應的一已標籤類別的一相似性。於一實施例中，複判機制模組採用KNN(k nearest neighbor)分類演算法。

於一實施例中，複判機制模組可以由軟體、韌體或電路實現之。

於一實施例中，複判機制模組可以分別或一併由電路實現之，並設置於儲存裝置20之外，與儲存裝置20及處理器10電性耦接。

於一實施例中，請參閱第7圖，第7圖係依照本發明一實施例複判機制之示意圖。透過以下公式可計算出第h個預測瑕疵碼(defect code)的門檻值：

；其中，符號h代表第h個預測瑕疵碼，符號i代表第i-th 圖片特徵向量，符號k代表鄰近第i-th相同類別的k個點，符號

代表第h個預測瑕疵碼類別影像張數。

接著，透過以下更新版KNN複判機制(Modified KNN Reconfirm Mechanism)的分類演算法公式可以判斷出預測瑕疵類別經複判後，屬於未知的(unknown)、有疑慮的(confused)或正確的等狀態(status)。

其中，第一行的意思為如果

大於所有類別的門檻值，則此預測瑕疵影像(test image)經複判後，屬於未知的。第二行的意思為如果

大於兩個以上類別的門檻值，則此預測瑕疵影像(test image)預測瑕疵經複判後，屬於有疑慮的。第三行的意思為其他情況下都視為正確的。其中，符號j代表第jth類別，符號k代表共k類別(共k種Defect code )，符號

代表第hth預測類別全連接層輸出，符號

代表第jth 類別訓練影像張數，符號 test代表複判照片。

藉由複判機制可以針對步驟280的輸出結果進行進一步的審視，應用不同的機制(如更新版KNN複判機制)，可以達到提升檢測系統100整體準確率的效果。

請參閱第6圖，第6圖係依照本發明一實施例繪示多種類型預測瑕疵發生分布之示意圖。在第6圖中，依據上述公式，焊墊殘留預測瑕疵(Killing_Pad Residue, K_PR)屬於有疑慮的，因為屬於一或多個類別(由第6圖可看出，焊墊殘留預測瑕疵K_PR，以三角形標示之，且其位於白色圓圈所代表的預測瑕疵類別與黑點所代表的預測瑕疵類別之間)，另外，依據上述公式，金屬晶粒預測瑕疵(Non-killing_Metal Grain, NK_MG)屬於未知的類別，因為距離各種預測瑕疵類別都太遠。在第6圖中，圖片K_FP(IMG0)、NK_SP(IMG0)、NK_MG(IMG0)、K_PR(IMG0)代表原始圖像IMG0。

因此，在一對照實施利中，採用單分支檢測系統，其中單分支檢測系統不具有第二卷積層模組26、第二連接層30、第二輸出模組34。採用單分支檢測檢測系統與多分支檢測系統其結果如下: (1) 表面微粒預測瑕疵(Non-killing_Surface Particle, NK_SP)準確率，單分支檢測系統為78%經由多分支檢測系統提升到80%。 (2) 薄膜微粒預測瑕疵(Killing_Film Particle, K_FP)準確率，單分支檢測系統為92%經由多分支檢測系統提升到94%。 (3) 焊墊殘留預測瑕疵(Killing_Pad Residue, K_PR)準確率，單分支檢測系統為78%經由多分支檢測系統準確率提升到88%。本發明所示之多分支的檢測系統及多分支的檢測方法，可以提升預測瑕疵判斷的準確率。

本發明所示之多分支的檢測系統及多分支的檢測方法，提供了利用多分支檢測的概念，產生第二分類結果、對應第二分類結果的第二信心程度值、第一分類結果、對應第一分類結果的複數個第一信心程度值。藉此可以比較出第二信心程度值及第一信心程度值中的最大機率者，其所對應的預測瑕疵類型，達到更精準判定預測瑕疵類型的效果。另外，多分支的檢測系統及多分支的檢測方法也提供了複判機制，透過複判機制可以進一步檢查預測瑕疵類別是否正確，藉此提升多分支的檢測系統整體判斷預測瑕疵類別的準確率。

本發明之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置。程式碼也可以透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置。當在一般用途處理單元實作時，程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100:多分支的檢測系統 10:處理器 20:儲存裝置 22:第一卷積層模組 24:物件位置擷取模組 26:第二卷積層模組 28:第一連接層模組 30:第二連階層模組 32:第一輸出模組 34:第二輸出模組 36:比較模組 200:多分支的檢測方法 210~280:步驟 IMG0:原始圖像 DF:預測瑕疵位置 DF’:預測瑕疵位置 33:第一信心程度值 x, x’:信心程度值 COP:特徵重點圖片 A1~A12:瑕疵類別

第1圖係依照本發明一實施例繪示多分支的檢測系統圖。第2圖係依照本發明一實施例多分支的檢測方法之檢測步驟。第3圖係依照本發明一實施例繪示多分支的檢測系統的流程圖。第4圖係依照本發明一實施例繪示產生第二第一圖像的方法之示意圖。第5圖係依照本發明一實施例繪示各種類型疵發生次數之示意圖。第6圖係依照本發明一實施例繪示多種類型瑕疵發生分布之示意圖。

200:多分支的檢測方法

210~280:步驟

Claims

一種多分支的檢測系統，包含：一處理器；以及一儲存裝置，該處理器用以存取該儲存裝置所儲存之程式，其中該儲存裝置包括：一第一卷積層模組，用以接收一原始圖像，並產生該原始圖像的複數個第一特徵地圖(feature maps)；一物件位置擷取模組，搜尋該些第一特徵地圖之一者中的一預測瑕疵位置，擷取(crop)該原始圖像中對應該預測瑕疵位置處，以取得一特徵重點圖片，並將擷取出的該特徵重點圖片放大，以取得一放大圖像；一第二卷積層模組，用以接收該放大圖像，並產生一第二特徵地圖；一第一連階層模組，用以接收該些第一特徵地圖之一者，以產生一第一分類結果；一第二連階層模組，用以接收該第二特徵地圖，以產生一第二分類結果；一第一輸出模組，輸出對應該第一分類結果的複數個第一信心程度值；一第二輸出模組，輸出對應該第二分類結果的複數個第二信心程度值；以及一比較模組，比較該些第一信心程度值中的最大者，與該些第二信心程度值中的最大者，將兩者中的較大者所對應的分類視為該原始圖像預測瑕疵的類別。
如請求項1之多分支的檢測系統，其中，該第一輸出模組採用一平衡Softmax(Balanced Softmax)演算法，一第一Softmax模組輸出複數個機率，該些機率為該些第一信心程度值。
如請求項1之多分支的檢測系統，其中，該第二輸出模組採用一平衡Softmax(Balanced Softmax)演算法，該第二輸出模組輸出複數個機率，該些機率為該些第二信心程度值。
如請求項1之多分支的檢測系統，其中，該處理器用以存取該儲存裝置所儲存之程式，以實現一複判機制模組；該複判機制模組，用以從該第一連階層模組或該第二連階層模組接收對應該預測瑕疵類別的所輸出的一第一特徵向量與一第二特徵向量，依據該第一、第二特徵向量判斷該預測瑕疵類別與對應的一已標籤類別的一相似性。
如請求項4之多分支的檢測系統，其中，該複判機制模組採用KNN(k nearest neighbor)分類演算法。
一種多分支的檢測方法，包含：藉由一第一卷積層模組接收一原始圖像，並產生該原始圖像的複數個第一特徵地圖(feature maps)；藉由一物件位置擷取模組接收該些第一特徵地圖之一者，搜尋該第一特徵地圖中的一預測瑕疵位置，擷取(crop)該原始圖像中對應該預測瑕疵位置處，以取得一特徵重點圖片，並將擷取出的該特徵重點圖片放大，以取得一放大圖像；藉由一第二卷積層模組接收該放大圖像，並產生該第二圖像的一第二特徵地圖；藉由一第一連階層模組接收該第一特徵地圖，以產生一第一分類結果；藉由一第二連階層模組接收該第二特徵地圖，以產生一第二分類結果；藉由一第一輸出模組輸出對應該第一分類結果的複數個第一信心程度值；藉由一第二輸出模組輸出對應該第二分類結果的複數個第二信心程度值；以及藉由一比較模組比較該些第一信心程度值中的最大者，與該些第二信心程度值中的最大者，將兩者中的較大者所對應的分類預測瑕疵視為該原始圖預測瑕疵的類別。
如請求項6之多分支的檢測方法，其中，該第一輸出模組採用一平衡Softmax(Balanced Softmax)演算法，一第一Softmax模組輸出複數個機率，該些機率為該些第一信心程度值。
如請求項6之多分支的檢測方法，其中，該第二輸出模組採用一平衡Softmax(Balanced Softmax)演算法，一第二Softmax模組輸出複數個機率，該些機率為該些第二信心程度值。
如請求項6之多分支的檢測方法，藉由一複判機制模組，用以從該第一連階層模組或該第二連階層模組接收對應該預測瑕疵類別的所輸出的一第一特徵向量與一第二特徵向量，依據該第一、第二特徵向量判斷該預測瑕疵類別與對應的一已標籤類別的一相似性。
如請求項9之多分支的檢測方法，其中，該複判機制模組採用KNN(k nearest neighbor)分類演算法。