TWI794899B

TWI794899B - 晶片表面檢測系統

Info

Publication number: TWI794899B
Application number: TW110126841A
Authority: TW
Inventors: 張保榮; 謝佳衛
Original assignee: 國立高雄大學
Priority date: 2021-07-21
Filing date: 2021-07-21
Publication date: 2023-03-01
Also published as: TW202305344A

Abstract

一種晶片表面檢測系統，用以解決習知物體表面缺陷系統整體執行效率不佳的問題。係包含：一資料庫模組，用以儲存數個第一影像、數個第二影像及數個第三影像，以作為一訓練樣本資料；一模型建構模組，用以對YOLOv5模型進行改良，以建立一測試模型；及一人工智慧平台，將訓練完畢的測試模型載入使用，並透過一拍攝模組朝一檢測機台上的數個晶片槽拍攝，以產生一待檢測影像，該人工智慧平台將該待檢測影像輸入至該測試模型中，以產生數個預測結果，該人工智慧平台根據該數個預測結果生成一晶片檢測報告，並將該晶片檢測報告用以顯示於一顯示器上。

Description

晶片表面檢測系統

本發明係關於一種檢測系統，尤其是一種用以檢測晶片表面是否存在缺陷的晶片表面檢測系統。

一種習知的物體表面缺陷系統，係採用YOLO模型作為深度學習模型，該習知的物體表面缺陷系統透過照相機對傳送帶上的物體進行拍照，以生成一圖像。該習知的物體表面缺陷系統將該圖像輸入至該深度學習模型並進行處理，以偵測出該物體的表面是否具有缺陷以及缺陷的數量等結果。類似於該習知的物體表面缺陷系統已揭露於中國公開第110148106號專利案當中。

上述習知的物體表面缺陷系統所採用的YOLO模型，係採用BottleneckCSP模組執行特徵擷取，由於該BottleneckCSP模組所使用的卷積層在進行特徵擷取時，會造成整體網路架構龐大的計算量，導致在整體執行效率不佳的問題。

有鑑於此，習知的物品表面缺陷系統確實仍有加以改善之必要。

為解決上述問題，本發明的目的是提供一種晶片表面檢測系統，係可以檢測晶片表面是否具有缺陷者。

本發明的次一目的是提供一種晶片表面檢測系統，係可以針對習知YOLOv5模型進行改良，並以改良後的網路架構模型進行物件偵測者。

本發明全文所述方向性或其近似用語，例如「前」、「後」、「左」、「右」、「上(頂)」、「下(底)」、「內」、「外」、「側面」等，主要係參考附加圖式的方向，各方向性或其近似用語僅用以輔助說明及理解本發明的各實施例，非用以限制本發明。

本發明全文所記載的元件及構件使用「一」或「一個」之量詞，僅是為了方便使用且提供本發明範圍的通常意義；於本發明中應被解讀為包括一個或至少一個，且單一的概念也包括複數的情況，除非其明顯意指其他意思。

本發明的晶片表面檢測系統，包含：一資料庫模組，用以儲存數個第一影像、數個第二影像及數個第三影像，以作為一訓練樣本資料，各該第一影像為晶片表面具有缺陷的影像，各該第二影像為晶片表面不具有缺陷的影像，各該第三影像為用以放置晶片的晶片槽內不具有晶片的影像；一模型建構模組，耦接該資料庫模組，該模型建構模組以YOLOv5的網路架構作為基礎，並將該網路架構中的第一個BottleneckCSP模組及前二個Convolutional模組，分別以GhostBottleneck模組取代，且將用以取代前二個Convolutional模組的GhostBottleneck模組的步長設定為2，該模型建構模組將該網路架構中的第二個及第三個BottleneckCSP模組，以包含SELayer模組的GhostBottleneck模組取代，以及將該網路架構中所剩餘的BottleneckCSP模組，各自以SELayer模組取代，以建立該測試模型的一目標檢測網路，該模型建構模組將該訓練樣本資料作為該目標檢測網路的輸入層資料，以及，將晶片表面具有缺陷與用以放置該晶片的晶片槽位置，晶片表面不具有缺陷與用以放置該晶片的晶片槽位置，以及用以放置晶片的晶片槽內不具有晶片與該晶片槽位置的預測結果，作為該目標檢測網路的輸出層資料，以訓練該測試模型；及一人工智慧平台，耦接該模型建構模組，該人工智慧平台將訓練完畢的測試模型載入使用，並透過一拍攝模組朝一檢測機台上的數個晶片槽拍攝，以產生一待檢測影像，該人工智慧平台將該待檢測影像輸入至該測試模型中，以產生數個預測結果，該人工智慧平台根據該數個預測結果生成一晶片檢測報告，並將該晶片檢測報告用以顯示於一顯示器上。

據此，本發明的晶片表面檢測系統，係可以透過該模型建構模組以YOLOv5的網路架構作為基礎，並將該網路架構中的BottleneckCSP模組，採用GhostBottleneck模組及SELayer模組中的至少一個模組取代，以建立該目標檢測網路，且根據表三及表四所記載數據可以得知，本發明改良後的網路架構可以在大幅度的減少參數量及計算量的同時，仍可以維持良好的辨識準確率，該人工智慧平台可以將該待檢測影像輸入至該測試模組，並將相對應生成的晶片檢測報告顯示於該顯示器上，以供使用者得知晶片的檢測結果。如此，本發明的晶片表面檢測系統，係可以達到提升系統整體執行效率的功效。

其中，當該數個預測結果中具有任一預測結果為晶片表面具有缺陷時，該人工智慧平台產生並發送一停止訊號至該檢測機台，以控制該檢測機台暫時停止運作，該人工智慧平台產生並發送一控制訊號至該檢測機台，使該檢測機台控制一機器手臂將表面具有缺陷的晶片由相對應的晶片槽中取出，該人工智慧平台在該機器手臂完成作業後，產生並發送一啟動訊號至該檢測機台，以控制該檢測機台重新恢復運作。如此，係可以透過該機器手臂將表面具有缺陷的晶片挑出，係具有避免晶片後續應用的損失擴大的功效。

其中，該人工智慧平台根據晶片表面具有缺陷的檢測結果生成另一晶片檢測報告，並將該另一晶片檢測報告用以顯示於該顯示器上。如此，係具有告知使用者哪些晶片的表面具有缺陷的功效。

〔本發明〕

1:資料庫模組

2:模型建構模組

21:測試模型

3:人工智慧平台

31:拍攝模組

A:機器手臂

D:顯示器

N:目標檢測網路

T:檢測機台

〔第1圖〕本發明一較佳實施例的系統方塊圖。

〔第2圖〕本發明一較佳實施例的網路架構圖。

為讓本發明之上述及其他目的、特徵及優點能更明顯易懂，下文特舉本發明之較佳實施例，並配合所附圖式，作詳細說明如下。

請參照第1圖所示，其係本發明晶片表面檢測系統的一較佳實施例，係包含一資料庫模組1、一模型建構模組2及一人工智慧平台3，該資料庫模組1耦接該模型建構模組2，該模型建構模組2耦接該人工智慧平台3。

該資料庫模組1用以儲存數個第一影像、數個第二影像及數個第三影像，以作為一訓練樣本資料。各該第一影像為晶片表面具有缺陷的影像；各該第二影像為晶片表面不具有缺陷的影像；各該第三影像為用以放置晶片的晶片槽內不具有晶片的影像。在本實施例中，該訓練樣本資料的影像數量可以為642張，其中553張影像可以作為訓練資料集，剩餘89張影像可以作為驗證資料集。在另一實施例中，該訓練資料集與該驗證資料集的影像數量比例可以約為4：1，本發明不加以限制。

該模型建構模組2耦接該資料庫模組1，在本實施例中，該模型建構模組2為採用PyTorch框架，以建構一測試模型21。具體而言，該模型建構模組2係可以執行一資料預處理程序，該資料預處理程序係可以透過Mosaic數據增強技術，以對該數個第一影像、該數個第二影像及該數個第三影像進行翻轉、縮放或色域變化等影像處理，以加強該訓練樣本資料的健全性。

請一併參照第2圖所示，該模型建構模組2以YOLOv5的網路架構作為基礎，並將該網路架構中的第一個BottleneckCSP模組及前二個Convolutional模組，分別以GhostBottleneck模組取代，且將用以取代前二個Convolutional模組的GhostBottleneck模組的步長(Stride)設定為2。該模型建構模組2將該網路架構中的第二個及第三個BottleneckCSP模組，以包含SELayer模組的GhostBottleneck模組取代，以及將該網路架構中所剩餘的BottleneckCSP模組，各自以SELayer模組取代，以建立該測試模型21的一目標檢測網路N。

該模型建構模組2可以設定該測試模型21的預配置參數，在本實施例中，該預配置參數可以如下列表一所示。在本實施例中，該模型建構模組2不在GhostBottleneck模組中使用激勵函數，係以上一層輸入的線性組合作為本層的輸出，意即執行矩陣相乘。

該模型建構模組2將該訓練樣本資料作為該目標檢測網路N的輸入層資料，以及，將晶片表面具有缺陷與用以放置該晶片的晶片槽位置，晶片表面不具有缺陷與用以放置該晶片的晶片槽位置，以及用以放置晶片的晶片槽內不具有晶片與該晶片槽位置等預測結果，作為該目標檢測網路N的輸出層資料，以訓練該測試模型21。

值得一提的是，該模型建構模組2將該訓練樣本資料作為該目標檢測網路N的輸入層資料之前，係可以透過一影像標注工具(如：LabelImg)對該數個第一影像、該數個第二影像及該數個第三影像進行手動標注，以在上述影像中標注數個晶片槽位置，以及位於該晶片槽內的晶片為具有缺陷(defect)或不具有缺陷(occupy)，或是該晶片槽內不具有晶片(empty)等標注資訊，並生成相對應的xml注釋文件。在本實施例中，該訓練樣本資料係可以採用由台灣恩智浦半導體股份有限公司所提供的公開資料集，故該模型建構模組2可以不需再透過該影像標注工具對該數個第一影像、該數個第二影像及該數個第三影像進行手動標注。

該人工智慧平台3耦接該模型建構模組2，在本實施例中，該人工智慧平台3可以為NVIDIA Jetson Nano平台，可同時執行多個神經網路，並適合應用於影像分類、物體偵測、分割等處理。該人工智慧平台3將訓練完畢的測試模型21載入使用，並透過控制一拍攝模組31朝一檢測機台T上的數個晶片槽拍攝，以產生一待檢測影像。該人工智慧平台3將該待檢測影像輸入至該預測模型M中，以產生數個預測結果。該人工智慧平台3根據該數個預測結果生成一晶片檢測報告，並將該晶片檢測報告用以顯示於一顯示器D上，以供產線人員等使用者得知晶片的檢測結果。舉例而言，該晶片檢測報告可以包含晶片具有缺陷、晶片不具有缺陷及晶片槽內不具有晶片等預測結果及其預測機率值及相對應位置座標，該晶片檢測報告的部分片段可以如下列表二所示：

在本發明晶片表面檢測系統中，當該人工智慧平台3所產生的數個預測結果中，具有任一預測結果為晶片表面具有缺陷時，該人工智慧平台3可以產生並發送一停止訊號至該檢測機台T，以控制該檢測機台T暫時停止運作。較佳地，該人工智慧平台3係可以根據晶片表面具有缺陷的預測結果生成另一晶片檢測報告，並將該另一晶片檢測報告用以顯示於該顯示器D上。再且，該人工智慧平台3還可以產生並發送一控制訊號至該檢測機台T，使該檢測機台T控制一機器手臂A將表面具有缺陷的晶片由相對應的晶片槽中取出，並可以在該機器手臂A完成作業後，該人工智慧平台3可以產生並發送一啟動訊號至該檢測機台T，以控制該檢測機台T重新恢復運作。另一方面，當具有任一預測結果為晶片表面具有缺陷時，亦可以透過人工方式將表面具有缺陷的晶片由相對應的晶片槽中取出，為本發明相關領域中具有通常知識者可以理解。

在本發明中，當該預測結果為晶片表面不具有缺陷，或是晶片槽內不具有晶片時，該人工智慧平台3不採取任何動作，以避免影響該檢測機台T的效率，為本發明相關領域中具有通常知識者可以理解。

本發明晶片表面檢測系統，與採用習知YOLOv5的網路架構相比較，在以一部具有1805幀的測試影片作為輸入影像來源，並將輸入影像大小設定為416*416，批量大小設定為64，以及迭代次數設定為2000次，以得出本發明與習知YOLOv5各自根據上述參數設定進行訓練所需花費的時間(Training)、對該測試影片進行推論所需花費的時間(Inference)，以及計算每一幀影像推論的平均時間(Average)，係可以如下列表三所示，上述時間的計算方式，係屬於本發明相關領域中的通常知識，在此不多加贅述。

另一方面，本發明與習知YOLOv5各自在於即時偵測的速度(Speed)與辨識準確率(Precision)、操作成本所包含的參數量(Parameter)與計算量(Flop)及效能指標(PI)，係可以如下列表四所示：

綜上所述，本發明的晶片表面檢測系統，係可以透過該模型建構模組以YOLOv5的網路架構作為基礎，並將該網路架構中的BottleneckCSP模組，採用GhostBottleneck模組及SELayer模組中的至少一個模組取代，以建立該目標檢測網路，且根據表三及表四所記載數據可以得知，本發明改良後的網路架構可以在大幅度的減少參數量及計算量的同時，仍可以維持良好的辨識準確率，該人工智慧平台可以將該待檢測影像輸入至該測試模組，並將相對應生成的晶片檢測報告顯示於該顯示器上，以供使用者得知晶片的檢測結果。如此，本發明的晶片表面檢測系統，係可以達到提升系統整體執行效率的功效。

雖然本發明已利用上述較佳實施例揭示，然其並非用以限定本發明，任何熟習此技藝者在不脫離本發明之精神和範圍之內，相對上述實施例進行各種更動與修改仍屬本發明所保護之技術範疇，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。