TWI759906B

TWI759906B - 基於深度學習之階層式圖片分類系統及其方法

Info

Publication number: TWI759906B
Application number: TW109135634A
Authority: TW
Inventors: 何紹威
Original assignee: 維曙智能科技有限公司
Priority date: 2020-10-15
Filing date: 2020-10-15
Publication date: 2022-04-01
Also published as: TW202217283A

Abstract

本發明提出一種用於晶圓缺陷分析判斷之基於深度學習之階層式圖片分類系統及其方法，所述方法包含採集一圖片資料之至少一類存入一資料庫，從該資料庫取一設定占比之該圖片資料，作為一訓練集，以一第一訓練分類器儲存至少一分類演算法模型，並以該訓練集對該圖片資料做訓練程式，產生一訓練結果，以一訓練分類結果判斷器設定一閥值，從圖片資料中任意取出兩類，判斷任意該兩類該圖片資料之分類準確度是否高於該閥值，當判斷該兩類該圖片資料之該分類準確度，都高於該閥值，則輸出一結果。

Description

基於深度學習之階層式圖片分類系統及其方法

本發明係關於一種階層式圖片分類方法，特別關於一種基於深度學習之階層式圖片分類方法，適用於對半導體之光罩缺陷分類和晶圓缺陷分類，目的在現有的半導體製程中，導入基於深度學習方式的自動化缺陷分類系統及方法。

傳統之半導體製程，存在有光罩或晶圓之缺陷，其需仰賴許多人工經驗做缺陷之分析，並根據缺陷之種類，回推判斷是哪一段製程發生錯誤，從而找到問題發生根本原因，並且解決以及避免再次發生。

而現存的作法是，由生產線上的工程師，來做缺陷類型的辨別，而只要有人工介入的行為，就會有人為錯誤發生的可能，且由於人的經驗，是不能快速複製的，當需要處理的數量變大，或有其他人為因素影響時，便會產生時間的延遲，因此缺陷分析自動化在半導體製程是有其必要性的。

在缺陷分類演算法方面，過去在影像辨識是使用基於規則的系統(rule-based system)，然而該方法會需要大量的人為編寫規則，並且當一個新型的錯誤發生，或者是缺陷的內容難以使用規則定義時，便容易造成誤判，這時候就需要修改程式增加規則。而深度學習方式可以根據資料量不斷的增加，讓機器學習模型自動改進模型，當新型態的缺陷產生，可以在不變動程式的情況，讓模型重新訓練學會判斷。

現有的光罩自動光學檢測機器以及晶圓厚度檢測機器都著重於找到超出規範的部分，並且記錄下此點的位置以及大小等資訊，再由生產線上的工程師，以人工辨別缺陷，回推缺陷發生原因和後續的處理方式。

不論在光罩檢測機台或是晶圓檢測機台，現有的產品都不存在詳細的缺陷分類。在光罩檢測機臺上，部分的產品並沒有缺陷分類，而少數的產品雖然存在缺陷分類，但是也只是很粗略地分成粒子缺陷(Particle Defect)和纖維缺陷(Fiber Defect)，實際上的殺手缺陷(Killer Defect)應該是不可回復的缺陷，例如薄膜面的破損(Pellicle Broken)，這種情況必須更換薄膜，而薄膜破損的類別並不存在現有的檢測機台中。

在晶圓檢測技術上，會使用例如總厚度變異(Total Thickness Variation，TTV)以及翹曲量(bow/warpage)之晶圓數據等量測，也就是以數值的方式，判斷是否有局部或整體的厚度差異超出可容許標準。但是以晶圓廠的實際需求，會希望得到跟製程有關的分類：例如在邊緣有凹洞缺陷(Dimple Defect)，這可能就代表製程中存在微塵顆粒造成晶圓上的凹洞-不同的缺陷形態和不同的位置，都代表缺陷是發生在不同的製程階段。

對此，本發明提供一種基於深度學習之階層式圖片分類方法，能有效解決上述問題

據此，本發明提出適用於晶圓缺陷分析領域之經改善之基於深度學習之階層式圖片分類方法。

本發明提出一種基於深度學習之階層式圖片分類方法，該方法包含以下步驟：步驟1，採集至少一光罩之一圖片資料，並將該圖片資料之至少一類存入一資料庫；步驟2，從該資料庫取一設定占比之該圖片資料，作為一訓練集；步驟3，以一第一訓練分類器儲存至少一分類演算法模型，並以該訓練集對該圖片資料做訓練程式，產生一訓練結果；步驟4，以一訓練分類結果判斷器設定一閥值；步驟5，從該圖片資料之至少一類中，任意取出兩類該圖片資料；步驟6，任意該兩類該圖片資料具有一分類準確度，判斷該分類準確度是否高於該閥值；以及，當判斷該兩類該圖片資料之該分類準確度，高於該閥值，則至步驟7，輸出一結果。

根據本發明的一方面，更包含步驟6.1，整合該分類準確度最差的兩類該圖片資料，以成為一類該圖片資料，其中，當步驟6，判斷該兩類該圖片資料之該分類準確度，都不高於該閥值時，則執行步驟6.1，並回到步驟3。

根據本發明的一方面，其中設定占比為80%。

根據本發明的一方面，其中該分類演算法模型為一VGG16、一VGG19、一Inception V3、一Xception以及一ResNet50中的任意一種。

根據本發明的一方面，其中該結果為經過分類之該圖片資料。

根據本發明的另一方面，提供一種基於深度學習之階層式圖片分類系統，包含：一資料庫，用以儲存一圖片資料之至少一類；一訓練集，連接該資料庫，該訓練集從該資料庫，採集一設定占比之該圖片資料，該圖片資料包含一第一訓練類、一第二訓練類、一第三訓練類以及一第四訓練類，該訓練集產生一第一模型，該第一模型具有一第一分類準確度，該第一模型整併該圖片資料中之該第一訓練類以及該第二訓練類為一合併訓練類；一第一訓練分類器，連接該訓練集，該第一訓練分類器具有一第二模型，該第二模型具有一第二分類準確度，該第二模型對該圖片資料分類訓練，分類成該合併訓練類、該第三訓練類以及該第四訓練類；一訓練分類結果判斷器，連接該第一訓練分類器，該訓練分類結果判斷器具有一第三模型，該第三模型具有一第三分類準確度，該訓練分類結果判斷器設定一閥值，該第三模型對該合併訓練類進行訓練分類，分類出該第一訓練類以及該第二訓練類；一測試集，連接該資料庫，該測試集從該資料庫採集一剩餘占比之該圖片資料，該圖片資料包含一第一測試類、一第二測試類、一第三測試類以及一第四測試類，該測試集整併該圖片資料中之該第一測試類以及該第二測試類為一合併測試類；一第一測試分類器，連接該測試集以及該第一訓練分類器，該第一測試分類器接收該第一訓練分類器之該第二模型，該第二模型對該圖片資料分類測試，分類成該合併測試類、該第三測試類以及該第四測試類，並輸出該第三測試類以及該第四測試類；一第二測試分類器，連接該第一測試分類器以及該訓練分類結果判斷器，該第二測試分類器接收訓練分類結果判斷器之該第三模型，該第三模型，對該合併測試類進行測試分類，分類出該第一測試類以及該第二測試類。進一步地，所述設備還包括：報警模組，當被測個體體溫超過正常體溫範圍值時就會啟動所述報警模組。

根據本發明的一方面，其中該設定占比為80%，該剩餘占比與該設定占比之和為100%。

根據本發明的一方面，其中該第二模型為一分類演算法模型，該第一模型、該第二模型以及該第三模型為一VGG16、一VGG19、一Inception V3、一Xception以及一ResNet50中的任意一種。

根據本發明的一方面，其中該第一分類準確度小於該閥值，該第二分類準確度大於該閥值，以及當該第三分類準確度大於該閥值，則輸出該第一訓練類以及該第二訓練類。

根據本發明的一方面，當該第三準確度小於該閥值時，該訓練分類結果判斷器將該合併訓練類傳回該第一訓練分類器。

本發明由下列申請專利範圍界定，且在此段落中不應視為對那些申請專利範圍的限制。本發明進一步的態樣及優點在下文中結合較佳實施例討論，且可隨後獨立地或以組合請求。

1:階層式圖片分類系統

100:資料庫

101:訓練集

102:第一訓練分類器

103:訓練分類結果判斷器

201:測試集

202:第一測試分類器

203:第二測試分類器

A:分類準確度

A1:第一分類準確度

A2:第二分類準確度

A3:第三分類準確度

C1:第一類

C2:第二類

C3:第三類

C4:第四類

CBE:合併測試類

CBT:合併訓練類

CE1:第一測試類

CE2:第二測試類

CE3:第三測試類

CE4:第四測試類

CT1:第一訓練類

CT2:第二訓練類

CT3:第三訓練類

CT4:第四訓練類

D:圖片資料

M1:第一模型

M2:第二模型

M3:第三模型

P1:設定占比

P2:剩餘占比

T:閥值

S1:步驟

S2:步驟

S3:步驟

S4:步驟

S5:步驟

S6:步驟

S6.1:步驟

S7:步驟

第1圖係根據本發明之一基於深度學習之階層式圖片分類方法流程圖。

第2圖係根據本發明另一基於深度學習之階層式圖片分類系統的示意圖。

第3圖為根據本發明實施例中所使用之光罩及擷取光罩之圖片資料示意圖。

以下，一方面參照隨附的圖式一方面對實施形態進行說明。再者，圖式是概略性地表示，為了方便說明而適當將構成省略或將構成簡化。另外，圖式所示的構成等的大小及位置的相互關係未必準確地記載，可適當變更。

另外，以下所示的說明中，對同樣的構成要素標註相同符號而進行圖示，關於該些構成要素的名稱及功能亦設為同樣。因此，有時為了避免重複而將關於該些構成要素的詳細說明省略。

本發明的一實施例參照第1圖、第2圖以及第3圖進行描述，其中第1圖為根據本發明之一基於深度學習之階層式圖片分類方法流程圖。第2圖為根據本發明另一基於深度學習之階層式圖片分類系統的示意圖。第3圖為根據本發明實施例中所使用之光罩及擷取光罩之圖片資料示意圖。基於深度學習之階層式圖片分類方法包含以下步驟：步驟S1，採集至少一光罩300之一圖片資料D之至少一類，如第3圖所示。將圖片資料D存入一資料庫100，如第2圖所示。

步驟S2，從資料庫100取一設定占比P1之圖片資料D，作為一訓練集101。需說明的是，本實施例中較佳之設定占比之值為80%，並以此為例作說明。然，本發明所述設定占比之值包括，但不限於60%、70%、75%、80%、85%、90%、95%，所述設定占比之值可為0%-100%間之任意百分比數值。需說明的是，本實施例中，係以圖片資料D包含四類為例作說明，其分別為包含第一類C1、第二類C2、第三類C3以及第四類C4。然，本發明之圖片資料D包含至少一類，但不限於四類，其包含一類以上之分類。

步驟S3，以第一訓練分類器102儲存至少一分類演算法模型，並以訓練集101對圖片資料D做訓練程式，產生一訓練結果。請參考第2圖，需說明的是，第一訓練分類器102具有第二模型M2，且第二模型M2為一分類演算法模型。需說明的是本發明之分類演算法模型包含，但不限於VGG16、VGG19、Inception V3、Xception以及ResNet50中的任意一種分類演算法模型。在本發明中，以Xception以及ResNet50中的任意一種分類演算法模型，以訓練集101對圖片資料D做訓練程式，對於光罩瑕疵分類之產生之訓練結果效果最佳。

步驟S4，以一訓練分類結果判斷器103設定一閥值T。步驟S5，從圖片資料D之至少一類中，任意取出兩類圖片資料。任意兩類圖片資料D具有一分類準確度A。請參考第2圖以及表一，表一為根據本發明之類別真值表示意圖。例如，以圖片資料D包含四類為例作說明，圖片資料D分別為包含第一類C1、第二類C2、第三類C3以及第四類C4。第一類C1、第二類C2具有一分類準確度A，其中分類準確度A之計算方式如下：(True C1+True C2)/(True C1+True C2+False C1+False C2)。

步驟S6，判斷分類準確度A是否高於閥值T。

當判斷兩類該圖片資料D之分類準確度A，都高於該閥值T，表示兩類之圖片資料D之分類準確度A高於標準值，則至步驟S7，輸出結果。需說明的是，前述輸出之結果為，經過分類前述分類方法，進行分類程式後，所得經過分類之第一類C1、第二類C2、第三類C3以及第四類C4的圖片資料D。

在一個實施例中，階層式圖片分類方法更包含步驟6.1，整合該分類準確度A最差的兩類該圖片資料D，以成為一類圖片資料D，其中，當步驟S6，判斷兩類(例如第一類C1、第二類C2)圖片資料D之分類準確度A，都不高於該閥值T時，則執行步驟S6.1：將分類準確度A最差的第一類C1、第二類C2圖片資料D，合併成為一類圖片資料D並回到步驟3。

參照第2圖，提供一種基於深度學習之階層式圖片分類系統1，包含：資料庫100、訓練集101、第一訓練分類器102、訓練分類結果判斷器103、測試集201、第一測試分類器202以及第二測試分類器203。資料庫100用以儲存一圖片資料D之至少一類。訓練集101連接資料庫100，第一訓練分類器102連接訓練集101，訓練分類結果判斷器103連接第一訓練分類器102。測試集201連接該資料庫100。第一測試分類器202連接測試集201以及第一訓練分類器102。第二測試分類器203連接第一測試分類器202以及該訓練分類結果判斷器103。

訓練集101從資料庫100，採集一設定占比P1之圖片資料D。圖片資料D包含第一訓練類CT1、第二訓練類CT2、第三訓練類CT3以及第四訓練類CT4。需說明的是，在訓練程式中，本發明之圖片資料D包含至少一訓練類，但不限於四訓練類，其包含一類以上之訓練類分類。

本實施例之設定占比P1為80%。需說明的是，本實施例中其中設定占比之值為80%。然本發明之設定占比P1之值可為任意百分比數值並不以此為限。本實施例中較佳之設定占比之值為80%，並以此為例作說明。然，本發明所述設定占比之值包括，但不限於60%、70%、75%、80%、85%、90%、95%，所述設定占比之值可為0%-100%間之任意百分比數值。

訓練集101產生第一模型M1，第一模型M1具有第一分類準確度A1。第一模型M1整併該圖片資料D中之第一訓練類CT1以及第二訓練類CT2為一合併訓練類CBT。

第一訓練分類器102具有一第二模型M2。第二模型M2具有一第二分類準確度A2，第二模型M2對圖片資料D進行分類訓練程式，最終分類成合併訓練類CBT、第三訓練類CT3以及第四訓練類CT4。需說明的是，本發明之第二模型M2為一分類演算法模型。

訓練分類結果判斷器103具有第三模型M3。第三模型M3具有一第三分類準確度A3。訓練分類結果判斷器103設定一閥值T。第三模型M3對合併訓練類CBT進行訓練分類程式，以分類出第一訓練類CT1以及第二訓練類CT2。需說明的是，本發明之第一模型M1、第二模型M2以及第三模型M3為一VGG16、一VGG19、一Inception V3、一Xception以及一ResNet50中的任意一種。本發明之第一分類準確度A1係小於閥值T。第二分類準確度A2係大於閥值T。當第三分類準確度A3大於閥值T，則輸出第一訓練類CE1以及第二訓練類CE2。

請參考第2圖以及表一，表一為根據本發明之類別真值表示意圖。例如，以圖片資料D包含四類為例作說明，在訓練程式，圖片資料D分別為包含第一訓練類CT1、第二訓練類CT2、第三訓練類CT3以及第四訓練類CT4。第一訓練類CT1、第二訓練類CT2具有第一分類準確度A1，其中分類準確度A之計算方式如下： (True CT1+True CT2)/(True CT1+True CT2+False CT1+False CT2)第二分類準確度A2、第三分類準確度A3之計算方式亦同。

測試集201從資料庫100採集一剩餘占比P2之圖片資料D。其中剩餘占比P2與設定占比P1之和為100%。因此本實施例中剩餘占比P2之值為20%。圖片資料D包含第一測試類CE1、第二測試類CE2、第三測試類CE3以及第四測試類CE4。測試集201整併圖片資料D中之第一測試類CE1以及第二測試類CE2為一合併測試類CBE。需說明的是，在測試程式中，本發明之圖片資料D包含至少一測試類，但不限於四測試類，其包含一類以上之測試類分類。

第一測試分類器202連接測試集201以及第一訓練分類器102。第一測試分類器202接收第一訓練分類器102之第二模型M2。第二模型M2對圖片資料D進行分類測試程式，以分類出合併測試類CBE、第三測試類CE3以及第四測試類CE4，並輸出第三測試類CE3以及第四測試類CE4。

第二測試分類器203連接第一測試分類器202以及該訓練分類結果判斷器103。第二測試分類器203接收訓練分類結果判斷器103之第三模型M3。第三模型M3對合併測試類CBE進行測試分類程式，以分類出第一測試類CE1以及第二測試類CE2。

請參考第3圖，需說明的是，本發明之圖片資料D係擷取半導體光罩300之影像圖片資料，其包含半導體光罩之瑕疵的影像。例如半導體光罩300之瑕疵分類，薄膜面(downside)缺限包含五類：誤判缺陷(False Count Defect)，粒子缺陷(Particle Defect)，纖維缺陷(Fiber Defect)，薄膜破損缺陷(Pellicle Broken Defect)，薄膜刮傷缺陷(Pellicle Scratch Defect)。第一測試分類器202為一四類分類器，將上述之五類缺限分類為誤判缺陷(False Count Defect)，粒子缺陷 (Particle Defect)，(纖維缺陷(Fiber Defect)+薄膜破損缺陷(Pellicle Broken Defect))，薄膜刮傷缺陷(Pellicle Scratch Defect)。接著，第二測試分類器203為一兩類分類器，將(纖維缺陷(Fiber Defect)+薄膜破損缺陷(Pellicle Broken Defect))分為纖維缺陷(Fiber Defect)以及薄膜破損缺陷(Pellicle Broken Defect)。

以上，對本基於深度學習之階層式圖片分類方法及其系統進行了說明，但本實施形態只要不偏離其主旨，則可除了所述實施形態以外進行各種變更。所述的各種實施形態及變形例可適當組合而實施。