TWI765364B

TWI765364B - 人工智慧瑕疵影像分類方法與其系統

Info

Publication number: TWI765364B
Application number: TW109133821A
Authority: TW
Inventors: 梁明況; 戴明吉; 羅安鈞; 鄧宇珊; 沈志明; 沈敬翔; 莊亞晉; 楊泓昱; 呂景隆
Original assignee: 財團法人工業技術研究院; 菱生精密工業股份有限公司
Priority date: 2020-09-29
Filing date: 2020-09-29
Publication date: 2022-05-21
Also published as: TW202214008A

Abstract

本發明提供一種人工智慧瑕疵影像分類方法與其系統。該方法包括：利用傳送單元傳送微機電麥克風產品至特定位置；利用定位單元定位該微機電麥克風產品；利用第一影像擷取單元掃描該微機電麥克風產品以擷取待測影像；將該待測影像與多個參考影像進行比對，根據比對結果判斷該待測影像的瑕疵分類；根據該比對結果將瑕疵區域標示在該待測影像上；以及根據該瑕疵分類將該微機電麥克風產品分類存放。

Description

人工智慧瑕疵影像分類方法與其系統

本發明是有關於一種人工智慧瑕疵影像分類方法與人工智慧瑕疵影像分類系統。

從十九世紀初開始，工業生產的方式從人工逐漸轉變為機械化。而微電腦在十九世紀中問世後，人們開始利用它來進行一些簡單的自動控制，使得工業界再次興起新的革命。隨著工業生產欲提升產量、速度、精準度之需求，人類開始大量投入自動化生產流程的開發。此外，人工智慧（Artificial Intelligence，AI）構想的崛起，使得人們開始思考該如何才能讓自動化系統中的機器學會「感受」人類眼中看見的世界，進而能夠學習人類的行為模式對事物進行判定。

直至今日，機器視覺已成為工業自動化系統的重要組成之一。機器視覺系統（Machine Vision）是一個能自動輸出控制信號的影像識別分析器。機器視覺系統如同人類的雙眼及大腦，其運用微電腦強大的運算能力，對取得的影像進行適當的分析識別，並得到控制信號的輸出以作為控制機器的參數之一。

近年來政府因應工業4.0政策，投資機械產業使其不止「自動化」，更要逐步走向「智慧化」生產。因此，機械產業導入AI影像辨識系統作為智慧化的第一步。在工業製程當中，其中一個重要的步驟為「品管檢測」。過去品管檢測多為人工完成。然而，由人工進行品管檢測可能有以下缺點：工人長期處於工作的狀態下容易因不堪負荷而降低品管檢測的良率；耗費大量的人力資源及檢測時間等成本，從而降低了生產效率。

本發明提供一種人工智慧瑕疵影像分類方法與其系統，提供自動化影像檢測，並提升瑕疵影像檢測的準確率。

本發明提供一種人工智慧瑕疵影像分類系統，用於檢測微機電麥克風產品。該系統包括：傳送單元、定位單元、第一影像擷取單元、儲存單元以及處理單元。傳送單元傳送該微機電麥克風產品至特定位置。定位單元定位該微機電麥克風產品。第一影像擷取單元掃描該微機電麥克風產品以擷取待測影像。儲存單元儲存多個模組及多個參考影像。處理單元耦接該傳送單元、該定位單元、該第一影像擷取單元及該儲存單元，該處理器執行該些模組。該些模組包括：影像辨識模組，將該待測影像與該些參考影像進行比對，根據比對結果判斷該待測影像的瑕疵分類；瑕疵標示模組，根據該比對結果將瑕疵區域標示在該待測影像上；產品分類模組，根據該瑕疵分類將該微機電麥克風產品分類存放。

本發明提供一種人工智慧瑕疵影像分類方法，用於檢測微機電麥克風產品。該方法包括：利用傳送單元傳送該微機電麥克風產品至特定位置；利用定位單元定位該微機電麥克風產品；利用第一影像擷取單元掃描該微機電麥克風產品以擷取待測影像；將該待測影像與多個參考影像進行比對，根據比對結果判斷該待測影像的瑕疵分類；根據該比對結果將瑕疵區域標示在該待測影像上；以及根據該瑕疵分類將該微機電麥克風產品分類存放。

基於上述，本發明實施例提供的人工智慧瑕疵影像分類方法與其系統通過待測影像與參考影像的相互比對判斷待測影像所屬的瑕疵分類，進而根據瑕疵分類將待測影像對應的待測物分類存放。

為讓本發明的上述特徵能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是根據本發明一範例實施例所繪示的人工智慧瑕疵影像分類系統的示意圖。

請參照圖1，人工智慧瑕疵影像分類系統100包括傳送單元110、定位單元120、影像擷取單元130、儲存單元140以及處理單元150。處理單元150耦接於傳送單元110、定位單元120、影像擷取單元130以及儲存單元140。

傳送單元110用以傳送待測物至特定位置。待測物例如為麥克風產品，本發明不在此限制。在一範例實施例中，傳送單元110可以輸送台面來實作。舉例來說，處理單元150會控制輸送台面，以將待測物傳送至特定位置。特別是，特定位置可為影像擷取單元130的鏡頭的下方，以利後續影像擷取單元130對待測物進行影像掃描。或者是，特定位置可為方便檢測者拿取待測物的位置。檢測者可從特定位置拿取待測物，並放置待測物於影像擷取單元130的鏡頭的下方以進行影像掃描。

定位單元120用以定位待測物。在一範例實施例中，定位單元120包括固定元件以定位並固定待測物。固定元件可具有凹槽，該凹槽有足夠的空間供待測物放置。舉例來說，定位單元120設置於影像擷取單元130的鏡頭的下方。處理單元150可控制傳送單元110將待測物傳送至特定位置，並且定位單元120在該特定位置自動定位待測物。或者是，檢測者可從特定位置拿取待測物並放置待測物於影像擷取單元130的鏡頭的下方，並使用定位單元120定位待測物。

影像擷取單元130（亦稱為，第一影像擷取單元）用以掃描待測物以擷取待測物的影像。在一範例實施例中，影像擷取單元130可採用掃描電子顯微鏡（Scanning Electron Microscope，SEM），以掃描待測物的表面影像作為待測影像。利用掃描電子顯微鏡掃描出的待測影像具有高解析度，其解析度高於一般光學影像擷取裝置所擷取的影像的解析度。例如，待測影像的解析度可小於或等於1奈米（nm），並且相對於待測物的影像放大倍率會介於10~20萬倍之間。然而，影像的解析度或放大倍率可根據所採用的掃描電子顯微鏡不同而具有更高或更低的解析度，本發明不在此限制。

在另一範例實施例中，影像擷取單元130亦可採用超音波掃描顯微鏡（Scanning Acoustic Tomography，SAT）或X光檢測系統等可穿透一定厚度的固態與液態物質並獲取物體內部影像的裝置，以掃描待測物的內部影像作為待測影像。

儲存單元140用以儲存各類模組以及運行人工智慧瑕疵影像分類系統100時的各類必要資料及程式碼。儲存單元140可以是固定或可移動的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk）或其他類似裝置的一或多個組合。特別是，在本範例實施例中，儲存單元140儲存有影像辨識模組141、瑕疵標示模組142以及產品分類模組143。此外，儲存單元140還儲存多個參考影像144。

影像辨識模組141會將待測影像與參考影像144進行比對，並根據比對結果判斷待測影像的瑕疵分類。瑕疵標示模組142會根據比對結果將瑕疵區域標示在待測影像上。產品分類模組143會根據瑕疵分類將待測物分類存放。如何通過影像辨識模組141、瑕疵標示模組142與產品分類模組143完成人工智慧瑕疵影像分類系統100的作業將於後方進行說明。

處理單元150耦接於儲存單元140，用以存取儲存單元140中的資料以執行人工智慧瑕疵影像分類系統100的各類運作。特別是，處理單元150會執行前述的影像辨識模組141、瑕疵標示模組142以及產品分類模組143，以執行本發明提供的人工智慧瑕疵影像分類方法。處理單元150可以是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位信號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）或其他類似元件或上述元件的組合，本發明不在此限制。

圖2是根據本發明一範例實施例所繪示的人工智慧瑕疵影像分類方法的流程圖。

請參照圖1及圖2，本範例實施例的方式適用於上述實施例中的人工智慧瑕疵影像分類系統100，以下即搭配人工智慧瑕疵影像分類系統100中的各項元件說明本實施人工智慧瑕疵影像分類方法的詳細步驟。

需先說明的是，本實施例以麥克風產品作為待測物進行人工智慧瑕疵影像分類方法的細節說明。特別是，麥克風產品可為微機電（Micro-Electro-Mechanical Systems，MEMS）麥克風產品，本發明不在此限制。

在步驟S202，處理單元150會透過傳送單元110傳送微機電麥克風產品至特定位置，並透過定位單元120定位微機電麥克風產品。此外，若微機電麥克風產品具有封蓋，可在步驟S202之前利用加熱單元去除封蓋，以露出微機電麥克風產品內部的晶片封裝結構。

在步驟S204，處理單元150會透過影像擷取單元130掃描微機電麥克風產品以擷取待測影像。具體來說，影像擷取單元130可採用掃描電子顯微鏡掃描微機電麥克風產品，並產生相對應被掃描區域的待測影像。

藉由待測影像以及儲存單元140儲存的參考影像144，處理單元150會運行影像辨識模組141、瑕疵標示模組142以及產品分類模組143，進而判斷被檢測的微機電麥克風產品的分類。

具體來說，在步驟S206，影像辨識模組141將待測影像與多個參考影像144進行比對，並根據比對結果判斷待測影像的瑕疵分類。瑕疵分類例如可包括球型接線遺失（ball bond left）品、楔型接線遺失（wedge bond left）品、晶片破裂（chip crack）品、汙染（contamination）品及/或合格（OK）品，本發明不在此限制。

舉例來說，影像辨識模組141可利用影像辨識模型來判斷待測影像是否存在與各個參考影像144相似的瑕疵，從而檢測出待測物的瑕疵分類。在一範例實施例中，影像辨識模型包括卷積神經網路模型（Convolutional Neural Network，CNN）及分類器。影像辨識模組141將待測影像輸入至卷積神經網路模型時，待測影像會經過卷積層（Convolutional layer）提取特徵、線性整流層（Rectified Linear Units Layer，ReLU layer）增強函數特性、池化層（Pooling Layer）減小數據的空間大小等，藉此以獲取瑕疵的瑕疵特徵（例如，瑕疵的輪廓）。在待測影像通過卷積神經網路模型而獲取瑕疵特徵後，影像辨識模組141會進一步將瑕疵特徵輸入至分類器。分類器依據瑕疵特徵判斷此瑕疵屬於哪一種參考影像144對應的瑕疵分類，並據此產生比對結果。影像辨識模組141會根據比對結果判斷待測影像的瑕疵分類。

在本範例實施例中，影像辨識模型包括的分類器是利用多個參考影像144、對應各個參考影像144的目標邊界框（bounding box）及各個邊界框對應的瑕疵分類訓練獲得。

首先，處理單元150取得影像資料集。影像資料集包括上述多個參考影像144、對應各個參考影像144的目標邊界框及各個邊界框對應的瑕疵分類。參考影像144對應的目標邊界框及目標邊界框對應的瑕疵分類可由人工進行標記。詳細來說，處理單元150包括瑕疵標示模組（未繪示）。瑕疵標示模組透過輸入單元（未繪示）接收檢測者在參考影像144上標記的目標邊界框及輸入的目標邊界框對應的瑕疵分類，以標示及分類參考影像144的目標邊界框。舉例來說，瑕疵標示模組可為LabelImg等程式。在一範例實施例中，參考影像144為第一影像格式，而標示的目標邊界框以第二影像格式儲存，第一影像格式不同於第二影像格式。舉例來說，第一影像格式為JPEG格式，第二影像格式為XML（PASCAL VOC format）格式。

接著，處理單元150將影像資料集輸入影像辨識模型以訓練影像辨識模型，並將訓練後的影像辨識模型儲存在儲存單元140中。然而，在本發明的其它實施例中，人工智慧瑕疵影像分類系統100會將影像辨識模型儲存在遠端的儲存單元中，影像辨識模組141會根據需求從遠端的儲存單元中獲取相對應的影像辨識模型。

回到圖2，在步驟S208，瑕疵標示模組142根據比對結果將瑕疵區域標示在待測影像上。舉例來說，瑕疵標示模組142會根據影像辨識模型輸出的比對結果判斷待測影像的瑕疵區域，並將瑕疵區域標示在待測影像上。

在步驟S210，產品分類模組143根據瑕疵分類將微機電麥克風產品分類存放。具體來說，產品分類模組143會根據影像辨識模組141針對待測影像判斷出的瑕疵分類，將該待測影像對應的微機電麥克風產品分類存放。

值得一提的是，在本發明的一範例實施例中，用於訓練影像辨識模型的參考影像144與待測影像採用相同的掃描電子顯微鏡掃描產生。藉由掃描電子顯微鏡掃描微機電麥克風產品產生的高解析度參考影像144，訓練出的影像辨識模型可更精確的辨識待測影像的瑕疵分類。藉此，可提升影像辨識的準確率。

由於掃描電子顯微鏡需要較長的影像掃描時間。因此，本發明的另一範例實施例可在人工智慧瑕疵影像分類系統100執行上述瑕疵分類之前，先初步篩選瑕疵較明顯的待測物。

圖3是根據本發明一範例實施例所繪示的人工智慧瑕疵影像分類系統的示意圖。

請參照圖3，除了與圖1相同的元件以外，人工智慧瑕疵影像分類系統100還可包括初步篩選單元160。初步篩選單元160耦接處理單元150且包括但不限於X光檢測系統161、加熱單元162以及影像擷取單元163（亦稱為，第二影像擷取單元）。

X光檢測系統161用以預先檢查待測物的內部結構。由於完成的待測物可能會有封蓋，此封蓋會遮蔽待測物的內部結構。因此，可先利用X光檢測系統161檢查待測物的內部結構是否有明顯的元件缺失。

加熱單元162用以加熱待測物以去除待測物的封蓋。加熱單元162例如是加熱板（Hot plate），本發明不在此限制。

影像擷取單元163用以擷取待測物的初篩影像。影像擷取單元163所擷取的影像的解析度比影像擷取單元130的解析度低。例如，影像擷取單元163可為光學影像擷取裝置。在工業製成的流程中，待測物會被送入自動光學檢查裝置（Automated Optical Inspection，AOI）進行初步的瑕疵篩檢。影像擷取單元163例如為設置在自動光學檢查裝置中的光學影像擷取裝置。藉由通過影像擷取單元163掃描待測物以擷取待測物的影像，自動光學檢查裝置會通過擷取影像判斷待測物的結構完整性，進而找出疑似存在瑕疵的待測物。

圖4是根據本發明一範例實施例所繪示的初步篩選操作的示意圖。本範例實施例以微機電麥克風5為例進行說明。然而，本發明不限制待測物的種類。

請參圖4，微機電麥克風5為具有封蓋的麥克風產品。在步驟S402，處理單元150利用X光檢測系統161檢查微機電麥克風5是否包括晶片。若微機電麥克風5包括晶片，則在步驟S404，處理單元150利用加熱單元162去除微機電麥克風5的封蓋，以獲得微機電麥克風5的晶片封裝結構。另一方面，若微機電麥克風5不包括晶片，處理單元150可直接將該微機電麥克風5進行分類（例如，瑕疵分類為「晶片缺失」），並將該微機電麥克風5分類存放。

在步驟S406，處理單元150利用影像擷取單元163掃描晶片封裝結構以擷取初篩影像，並對初篩影像進行初步瑕疵檢測操作。具體來說，影像擷取單元163採用光學影像擷取裝置掃描微機電麥克風5的晶片封裝結構，並產生相對應被掃描區域的初篩影像。接著，處理單元150對初篩影像進行初步瑕疵檢測操作以判斷初篩影像是否具有預設瑕疵。若初篩影像不具有預設瑕疵，則在步驟S408，處理單元150利用影像擷取單元130擷取待測影像並執行圖2所示的瑕疵分類操作。其中待測影像反映微機電麥克風5的晶片封裝結構。另一方面，若初篩影像具有預設瑕疵，則處理單元150可直接將該微機電麥克風5進行分類（例如，瑕疵分類為「晶片瑕疵」），並將該微機電麥克風5分類存放。

值得一提的是，檢測者可根據需求增刪或調整X光檢測系統161、影像擷取單元163及影像擷取單元130的數量及各項瑕疵檢測順序，本發明不在此限制。

在本發明另一範例實施例中，影像擷取單元130亦可採用超音波掃描顯微鏡或X光檢測系統掃描微機電麥克風產品並產生待測影像與參考影像144。藉由超音波掃描顯微鏡或X光檢測系統掃描待測物，不需經過去除封蓋處理即可穿透待測物的封蓋並產生反映晶片封裝結構的內部結構的影像。處理器150可利用產生的影像訓練影像辨識模型並將影像用於執行瑕疵分類。辨識影像及訓練模型的方法可參照前述說明，於此不再贅述。

綜上所述，本發明實施例提供的人工智慧瑕疵影像分類方法與其系統能擷取高解析度的待測影像及參考影像，並通過待測影像與參考影像的相互比對判斷待測影像所屬的瑕疵分類，進而根據瑕疵分類將待測影像對應的待測物分類存放。據以，藉由高解析度參考影像訓練出的影像辨識模型可更精確的辨識待測影像的瑕疵分類。藉此，可提升影像辨識的準確率。

本實施例根據高解析度的參考影像進行影像辨識模型的訓練，此訓練後的影像辨識模型用於辨識影像產生辨識結果。此外，還可利用回歸分析辨識結果來找出製程參數與良率的關係，並應用於建立自動良率改善以提升生產線的生產良率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100: 人工智慧瑕疵影像分類系統 110: 傳送單元 120: 定位單元 130, 163: 影像擷取單元 140: 儲存單元 141: 影像辨識模組 142: 瑕疵標示模組 143: 產品分類模組 144: 參考影像 150: 處理單元 160: 初步篩選單元 161: X光檢測系統 162: 加熱單元 5: 微機電麥克風 S202~S210, S402~S408: 步驟

圖1是根據本發明一範例實施例所繪示的人工智慧瑕疵影像分類系統的示意圖。圖2是根據本發明一範例實施例所繪示的人工智慧瑕疵影像分類方法的流程圖。圖3是根據本發明一範例實施例所繪示的人工智慧瑕疵影像分類系統的示意圖。圖4是根據本發明一範例實施例所繪示的初步篩選操作的示意圖。

S202~S210: 步驟

Claims

一種人工智慧瑕疵影像分類系統，用於檢測微機電麥克風產品，該系統包括：一傳送單元，傳送該微機電麥克風產品至特定位置；一定位單元，定位該微機電麥克風產品；一第一影像擷取單元，掃描該微機電麥克風產品以擷取待測影像；一儲存單元，儲存多個模組及多個參考影像；以及一處理單元，耦接該傳送單元、該定位單元、該第一影像擷取單元及該儲存單元，該處理器執行該些模組，該些模組包括：一影像辨識模組，將該待測影像與該些參考影像進行比對，根據比對結果判斷該待測影像的瑕疵分類；一瑕疵標示模組，根據該比對結果將瑕疵區域標示在該待測影像上；以及一產品分類模組，根據該瑕疵分類將該微機電麥克風產品分類存放，其中該處理單元取得一影像資料集，該影像資料集包括該些參考影像、對應該些參考影像的多個目標邊界框及該些目標邊界框對應的瑕疵分類，該處理單元將該影像資料集輸入一影像辨識模型以訓練影像辨識模型，並且該處理單元將該待測影像輸入該影像辨識模型以判斷該待測影像的該瑕疵分類。
如請求項1所述的人工智慧瑕疵影像分類系統，其中該第一影像擷取單元包括掃描電子顯微鏡、超音波掃描顯微鏡及X光檢測系統至少其中之一。
如請求項1所述的人工智慧瑕疵影像分類系統，其中該待測影像的解析度小於或等於1奈米。
如請求項1所述的人工智慧瑕疵影像分類系統，其中該待測影像相對於該微機電麥克風產品的影像放大倍率介於10~20萬倍之間。
如請求項1所述的人工智慧瑕疵影像分類系統，其中該瑕疵分類包括球型接線遺失品、楔型接線遺失品、晶片破裂品、汙染品及合格品至少其中之一。
如請求項1所述的人工智慧瑕疵影像分類系統，其中該些參考影像為第一影像格式，其中該處理單元透過一瑕疵標示模組標示及分類該些參考影像的該些目標邊界框後，將該些目標邊界框以第二影像格式儲存，其中該第一影像格式不同於該第二影像格式。
如請求項1所述的人工智慧瑕疵影像分類系統，其中該待測影像反映該微機電麥克風產品的晶片封裝結構。
如請求項7所述的人工智慧瑕疵影像分類系統，其中該系統更包括：一X光檢測系統；一加熱單元；以及一第二影像擷取單元，該X光檢測系統、該加熱單元及該第二影像擷取單元耦接該處理單元，其中該處理單元利用該X光檢測系統檢查該微機電麥克風產品是否包括一晶片，其中若該微機電麥克風產品包括該晶片，則該處理單元利用該加熱單元去除該微機電麥克風產品的封蓋，以獲得該微機電麥克風產品的該晶片封裝結構，其中該處理單元利用該第二影像擷取單元掃描該晶片封裝結構以擷取初篩影像，並對該初篩影像進行初步瑕疵檢測操作，其中若該初篩影像不具有預設瑕疵，則該處理單元利用該第一影像擷取單元擷取該待測影像。
一種人工智慧瑕疵影像分類方法，用於檢測微機電麥克風產品，該方法包括：利用傳送單元傳送該微機電麥克風產品至特定位置；利用定位單元定位該微機電麥克風產品；利用第一影像擷取單元掃描該微機電麥克風產品以擷取待測影像；將該待測影像與多個參考影像進行比對，根據比對結果判斷該待測影像的瑕疵分類；根據該比對結果將瑕疵區域標示在該待測影像上；以及根據該瑕疵分類將該微機電麥克風產品分類存放，其中該方法更包括：取得一影像資料集，該影像資料集包括該些參考影像、對應該些參考影像的多個目標邊界框及該些目標邊界框對應的瑕疵分類，將該影像資料集輸入一影像辨識模型以訓練影像辨識模型，並且將該待測影像輸入該影像辨識模型以判斷該待測影像的該瑕疵分類。
如請求項9所述的人工智慧瑕疵影像分類方法，其中該第一影像擷取單元包括掃描電子顯微鏡、超音波掃描顯微鏡及X光檢測系統至少其中之一。
如請求項9所述的人工智慧瑕疵影像分類方法，其中該待測影像的解析度小於或等於1奈米。
如請求項9所述的人工智慧瑕疵影像分類方法，其中該待測影像相對於該微機電麥克風產品的影像放大倍率介於10~20萬倍之間。
如請求項9所述的人工智慧瑕疵影像分類方法，其中該瑕疵分類包括球型接線遺失品、楔型接線遺失品、晶片破裂品、汙染品及合格品至少其中之一。
如請求項9所述的人工智慧瑕疵影像分類方法，其中該些參考影像為第一影像格式，該方法更包括：透過一瑕疵標示模組標示及分類該些參考影像的該些目標邊界框後，將該些目標邊界框以第二影像格式儲存，其中該第一影像格式不同於該第二影像格式。
如請求項9所述的人工智慧瑕疵影像分類方法，其中該待測影像反映該微機電麥克風產品的晶片封裝結構。
如請求項15所述的人工智慧瑕疵影像分類方法，其中該方法更包括：利用X光檢測系統檢查該微機電麥克風產品是否包括一晶片，若該微機電麥克風產品包括該晶片，則利用加熱單元去除該微機電麥克風產品的封蓋，以獲得該微機電麥克風產品的該晶片封裝結構；利用第二影像擷取單元掃描該晶片封裝結構以擷取初篩影像，並對該初篩影像進行初步瑕疵檢測操作，若該初篩影像不具有預設瑕疵，則利用該第一影像擷取單元擷取該待測影像。