TWI752846B - 自動光學與類神經網路整合的二次檢測系統及其方法 - Google Patents
自動光學與類神經網路整合的二次檢測系統及其方法 Download PDFInfo
- Publication number
- TWI752846B TWI752846B TW110109065A TW110109065A TWI752846B TW I752846 B TWI752846 B TW I752846B TW 110109065 A TW110109065 A TW 110109065A TW 110109065 A TW110109065 A TW 110109065A TW I752846 B TWI752846 B TW I752846B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- pin solder
- component
- template
- solder joint
- Prior art date
Links
Images
Landscapes
- Electric Connection Of Electric Components To Printed Circuits (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
一種自動光學與類神經網路整合的二次檢測系統及其方法，自動光學檢測設備先對電路板進行針腳焊點的自動光學檢測，當檢測結果為異常時，再由二次檢測裝置透過孿生神經網路將元件圖像特徵以及模板圖像特徵計算出檢測圖像概率值以及分別將對應的元件針腳焊點圖像特徵以及模板針腳焊點圖像特徵計算出多個針腳焊點圖像概率值，取得檢測圖像概率值以及多個針腳焊點圖像概率值的最小概率值，對最小概率值進行判斷以決定是否變更自動光學檢測設備的檢測結果，藉此可以達成提供精確的自動光學檢測檢測結果與提高直通率的技術功效。
Description
一種檢測系統及其方法，尤其是指一種自動光學與類神經網路整合的二次檢測系統及其方法。
自動光學檢測（Automated Optical Inspection，AOI）設備是基於光學原理而進行檢測的設備，自動光學檢測設備可用於電路板中電子元件的針腳焊接製程中常見缺陷的檢測，自動光學檢測設備是透過攝影裝置擷取電路板的圖像，再逐一對各個針腳焊點與預先建立的焊點合格參數進行比較，藉以檢測出電路板中電子元件的針腳焊點缺陷，並透過顯示裝置或自動標記以進行電路板中電子元件的針腳焊點缺陷的顯示或是標示，進而提供後續維修人員進行檢修。
但是在實際使用中，由於電路板中的電子元件數量較多而導致自動光學檢測所生成檢測結果的直通率（First Pass Yield， FPY），即多數會被自動光學檢測生成檢測結果為異常，若是要提高自動光學檢測檢測結果的直通率，則需要工程師花費大量時間精力已針對特定的電路板進行反復的合格參數調整，不具備通用性。
綜上所述，可知先前技術中長期以來一直存在現有對於電子元件針腳焊點採用自動光學檢測成效過低的問題，因此有必要提出改進的技術手段，來解決此一問題。
有鑒於先前技術存在現有對於電子元件針腳焊點採用自動光學檢測成效過低的問題，本發明遂揭露一種自動光學與類神經網路整合的二次檢測系統及其方法，其中：
本發明所揭露的自動光學與類神經網路整合的二次檢測系統，其包含：自動光學檢測（Automated Optical Inspection，AOI）設備以及二次檢測裝置，二次檢測裝置更包含：接收模組、圖像擷取模組、圖像查詢模組、針腳焊點圖像模組、圖像特徵模組、概率值模組以及結果判斷模組。
自動光學檢測設備是對電路板進行針腳焊點的自動光學檢測，當針腳焊點的自動光學檢測的檢測結果為異常時，提供二次自動光學檢測的檢測圖像以及檢測結果資訊。
二次檢測裝置的接收模組是用以自自動光學檢測設備接收檢測圖像以及檢測結果資訊；二次檢測裝置的圖像擷取模組是用以依據檢測結果資訊中電子元件資訊以及位置資訊擷取出檢測圖像中對應的電子元件範圍為元件圖像；圖像查詢模組是用以依據檢測結果資訊中電路板資訊查詢出模板圖像；二次檢測裝置的針腳焊點圖像模組是用以分別對元件圖像的每一個針腳焊點擷取元件針腳焊點圖像以及對模板圖像的每一個針腳焊點擷取模板針腳焊點圖像；二次檢測裝置的圖像特徵模組是用以透過卷積神經網路（Convolutional Neural Networks，CNN）分別對元件圖像進行圖像特徵的提取以生成元件圖像特徵，對模板圖像進行圖像特徵的提取以生成模板圖像特徵，對元件針腳焊點圖像進行圖像特徵的提取以生成元件針腳焊點圖像特徵以及對模板針腳焊點圖像進行圖像特徵的提取以生成模板針腳焊點圖像特徵；二次檢測裝置的概率值模組是透過孿生神經網路（siamese network）將元件圖像特徵以及模板圖像特徵計算出檢測圖像概率值以及分別將對應的元件針腳焊點圖像特徵以及模板針腳焊點圖像特徵計算出多個針腳焊點圖像概率值；及二次檢測裝置的結果判斷模組是用以取得檢測圖像概率值以及多個針腳焊點圖像概率值的最小概率值，當最小概率值大於等於門檻值時，將自動光學檢測設備的檢測結果變更為正常，當最小概率值小於門檻值時，不對自動光學檢測設備的檢測結果進行變更。
本發明所揭露的自動光學與類神經網路整合的二次檢測方法，其包含下列步驟：
首先，自動光學檢測設備對電路板進行針腳焊點的自動光學檢測；接著，當針腳焊點的自動光學檢測的檢測結果為異常時，自動光學檢測設備提供自動光學檢測的檢測圖像以及檢測結果資訊至二次檢測裝置；接著，二次檢測裝置依據檢測結果資訊中電子元件資訊以及位置資訊擷取出檢測圖像中對應的電子元件範圍為元件圖像；接著，二次檢測裝置依據檢測結果資訊中電路板資訊查詢出模板圖像；接著，二次檢測裝置對元件圖像的每一個針腳焊點擷取元件針腳焊點圖像；接著，二次檢測裝置對模板圖像的每一個針腳焊點擷取模板針腳焊點圖像；接著，二次檢測裝置透過卷積神經網路對元件圖像進行圖像特徵的提取以生成元件圖像特徵；接著，二次檢測裝置透過卷積神經網路對模板圖像進行圖像特徵的提取以生成模板圖像特徵；接著，二次檢測裝置透過卷積神經網路對元件針腳焊點圖像進行圖像特徵的提取以生成元件針腳焊點圖像特徵；接著，二次檢測裝置透過卷積神經網路對模板針腳焊點圖像進行圖像特徵的提取以生成模板針腳焊點圖像特徵；接著，二次檢測裝置透過孿生神經網路將元件圖像特徵以及模板圖像特徵計算出檢測圖像概率值；接著，二次檢測裝置透過孿生神經網路將對應的元件針腳焊點圖像特徵以及模板針腳焊點圖像特徵計算出多個針腳焊點圖像概率值；接著，二次檢測裝置取得檢測圖像概率值以及多個針腳焊點圖像概率值的最小概率值；接著，當最小概率值大於等於門檻值時，二次檢測裝置將自動光學檢測設備的檢測結果變更為正常；最後，當最小概率值小於門檻值時，二次檢測裝置不對自動光學檢測設備的檢測結果進行變更。
本發明所揭露的系統及方法如上，與先前技術之間的差異在於由自動光學檢測設備先對電路板進行針腳焊點的自動光學檢測，當檢測結果為異常時，再由二次檢測裝置透過孿生神經網路將元件圖像特徵以及模板圖像特徵計算出檢測圖像概率值以及分別將對應的元件針腳焊點圖像特徵以及模板針腳焊點圖像特徵計算出多個針腳焊點圖像概率值，取得檢測圖像概率值以及多個針腳焊點圖像概率值的最小概率值，當最小概率值大於等於門檻值時，將自動光學檢測設備的檢測結果變更為正常，當最小概率值小於門檻值時，不對自動光學檢測設備的檢測結果進行變更。
透過上述的技術手段，本發明可以達成提供精確的自動光學檢測檢測結果與提高直通率的技術功效。
以下將配合圖式及實施例來詳細說明本發明的實施方式，藉此對本發明如何應用技術手段來解決技術問題並達成技術功效的實現過程能充分理解並據以實施。
以下首先要說明本發明所揭露的自動光學與類神經網路整合的二次檢測系統，並請參考「第1圖」所示，「第1圖」繪示為本發明自動光學與類神經網路整合的二次檢測系統的系統方塊圖。
本發明所揭露的自動光學與類神經網路整合的二次檢測系統，其包含：自動光學檢測設備10以及二次檢測裝置20，二次檢測裝置20更包含：接收模組21、圖像擷取模組22、圖像查詢模組23、針腳焊點圖像模組24、圖像特徵模組25、概率值模組26以及結果判斷模組27。
自動光學檢測設備10是提供對電路板上的電子元件焊接狀態進行針腳焊點的自動光學檢測，當電路板中電子元件在針腳焊點進行自動光學檢測的檢測結果為異常時，自動光學檢測設備10提供自動光學檢測的檢測圖像以及檢測結果資訊至二次檢測裝置20。
二次檢測裝置20可透過有線傳輸方式或是無線傳輸方是與自動光學檢測設備10建立連線，前述的有線傳輸方式例如是：電纜網路、光纖網路…等，前述的無線傳輸方是例如是：Wi-Fi、行動通訊網路（例如是：3G、4G、5G…等）…等，在此僅為舉例說明之，並不以此侷限本發明的應用範疇。
二次檢測裝置20的接收模組21即可自自動光學檢測設備10接收檢測圖像以及檢測結果資訊，接著，二次檢測裝置20的圖像擷取模組22會依據檢測結果資訊中電子元件資訊以及位置資訊擷取出檢測圖像中對應的電子元件範圍為元件圖像，即二次檢測裝置20的圖像擷取模組22是以檢測結果資訊中位置資訊為中心且依據檢測結果資訊中電子元件資訊找出被設定的擷取範圍進行圖像的擷取以擷取出檢測圖像中對應的電子元件範圍為元件圖像，電子元件資訊與擷取範圍是預先被相互對應儲存於二次檢測裝置20中，被擷取出的元件圖像31請參考「第2A圖」所示，「第2A圖」繪示為本發明自動光學與類神經網路整合的元件圖像示意圖。
接著，二次檢測裝置20的圖像查詢模組23會依據檢測結果資訊中電路板資訊查詢出模板圖像32，模板圖像32請參考「第2B圖」所示，「第2B圖」繪示為本發明自動光學與類神經網路整合的模板圖像示意圖。
二次檢測裝置20的針腳焊點圖像模組24分別對元件圖像31的每一個針腳焊點擷取元件針腳焊點圖像311以及對模板圖像32的每一個針腳焊點擷取模板針腳焊點圖像321，由元件圖像31所擷取的元件針腳焊點圖像311以及由模板圖像32所擷取的模板針腳焊點圖像321請分別參考「第3A圖」以及「第3B圖」所示，「第3A圖」繪示為本發明自動光學與類神經網路整合的二次檢測的元件針腳焊點圖像示意圖，「第3B圖」繪示為本發明自動光學與類神經網路整合的二次檢測的模板針腳焊點圖像示意圖。
在二次檢測裝置20的針腳焊點圖像模組24分別對元件圖像31的每一個針腳焊點擷取元件針腳焊點圖像311以及對模板圖像32的每一個針腳焊點擷取模板針腳焊點圖像321後，二次檢測裝置20的圖像特徵模組25會透過卷積神經網路分別對元件圖像31進行圖像特徵的提取以生成元件圖像特徵、對模板圖像32進行圖像特徵的提取以生成模板圖像特徵、對元件針腳焊點圖像進行圖像特徵的提取以生成元件針腳焊點圖像特徵以及對模板針腳焊點圖像進行圖像特徵的提取以生成模板針腳焊點圖像特徵。
二次檢測裝置20的圖像特徵模組25使用的卷積神經網路是分別對不同的圖像特徵進行圖像特徵的提取以生成為對應圖像特徵的元件圖像特徵、模板圖像特徵、元件針腳焊點圖像特徵以及模板針腳焊點圖像特徵的特徵矩陣41，特徵矩陣41的示意請參考「第4圖」所示，「第4圖」繪示為本發明自動光學與類神經網路整合的二次檢測的特徵矩陣示意圖，圖像特徵即是某一個維度的特徵，圖像特徵即是例如是：光暗度、色彩、形狀…等，在此僅為舉例說明之，並不以此侷限本發明的應用範疇，亦即二次檢測裝置20的圖像特徵模組25進行圖像特徵的提取以生成的元件圖像特徵、模板圖像特徵、元件針腳焊點圖像特徵以及模板針腳焊點圖像特徵可以是採用單一圖像特徵或是多個圖像特徵。
接著，二次檢測裝置20的概率值模組26是透過孿生神經網路將元件圖像特徵以及模板圖像特徵計算出檢測圖像概率值以及分別將對應的元件針腳焊點圖像特徵以及模板針腳焊點圖像特徵計算出多個針腳焊點圖像概率值。
二次檢測裝置20的概率值模組26使用的孿生神經網路是將元件圖像特徵減去模板圖像特徵後，由全連接層（dense layer）輸出為輸出數值，再將輸出數值透過sigmoid函數（S函數）轉換以計算出檢測圖像概率值，值得注意的是，檢測圖像概率值的範圍介於0至1。
二次檢測裝置20的概率值模組26使用的孿生神經網路是將對應的元件針腳焊點圖像特徵減去對應的模板針腳焊點圖像特徵後，由全連接層輸出為針腳輸出數值，再將針腳輸出數值透過sigmoid函數轉換以計算出針腳焊點圖像概率值，值得注意的是，針腳焊點圖像概率值的範圍介於0至1。
接著，二次檢測裝置20的結果判斷模組27取得由二次檢測裝置20的概率值模組26計算出的檢測圖像概率值以及多個針腳焊點圖像概率值中最小的最小概率值，當最小概率值大於等於門檻值時，將自動光學檢測設備10的檢測結果變更為正常，當最小概率值小於門檻值時，不對自動光學檢測設備10的檢測結果進行變更。
由自動光學檢測設備10先對電路板中電子元件進行針腳焊點的二次自動光學檢測，當檢測結果為異常時，再由二次檢測裝置20進行再次的檢測，藉此可以精確的判別電路板中電子元件的針腳焊點是否真的出現異常，藉以減少後續人工複檢電路板的數量。
接著，以下將以第一個實施例來說明本發明第一實施態樣的運作系統與方法，並請同時參考「第5A圖」以及「第5B圖」所示，「第5A圖」以及「第5B圖」繪示為本發明自動光學與類神經網路整合的二次檢測方法的方法流程圖。
首先，自動光學檢測設備對電路板進行針腳焊點的自動光學檢測（步驟101）；接著，當針腳焊點的自動光學檢測的檢測結果為異常時，自動光學檢測設備提供自動光學檢測的檢測圖像以及檢測結果資訊至二次檢測裝置（步驟102）；接著，二次檢測裝置依據檢測結果資訊中電子元件資訊以及位置資訊擷取出檢測圖像中對應的電子元件範圍為元件圖像（步驟103）；接著，二次檢測裝置依據檢測結果資訊中電路板資訊查詢出模板圖像（步驟104）；接著，二次檢測裝置對元件圖像的每一個針腳焊點擷取元件針腳焊點圖像（步驟105）；接著，二次檢測裝置對模板圖像的每一個針腳焊點擷取模板針腳焊點圖像（步驟106）；接著，二次檢測裝置透過卷積神經網路對元件圖像進行圖像特徵的提取以生成元件圖像特徵（步驟107）；接著，二次檢測裝置透過卷積神經網路對模板圖像進行圖像特徵的提取以生成模板圖像特徵（步驟108）；接著，二次檢測裝置透過卷積神經網路對元件針腳焊點圖像進行圖像特徵的提取以生成元件針腳焊點圖像特徵（步驟109）；接著，二次檢測裝置透過卷積神經網路對模板針腳焊點圖像進行圖像特徵的提取以生成模板針腳焊點圖像特徵（步驟110）；接著，二次檢測裝置透過孿生神經網路將元件圖像特徵以及模板圖像特徵計算出檢測圖像概率值（步驟111）；接著，二次檢測裝置透過孿生神經網路將對應的元件針腳焊點圖像特徵以及模板針腳焊點圖像特徵計算出多個針腳焊點圖像概率值（步驟112）；接著，二次檢測裝置取得檢測圖像概率值以及多個針腳焊點圖像概率值的最小概率值（步驟113）；接著，當最小概率值大於等於門檻值時，二次檢測裝置將自動光學檢測設備的檢測結果變更為正常（步驟114）；最後，當最小概率值小於門檻值時，二次檢測裝置不對自動光學檢測設備的檢測結果進行變更（步驟115）。
綜上所述，可知本發明與先前技術之間的差異在於自動光學檢測設備先對電路板進行針腳焊點的自動光學檢測，當檢測結果為異常時，再由二次檢測裝置透過孿生神經網路將元件圖像特徵以及模板圖像特徵計算出檢測圖像概率值以及分別將對應的元件針腳焊點圖像特徵以及模板針腳焊點圖像特徵計算出多個針腳焊點圖像概率值，取得檢測圖像概率值以及多個針腳焊點圖像概率值的最小概率值，當最小概率值大於等於門檻值時，將自動光學檢測設備的檢測結果變更為正常，當最小概率值小於門檻值時，不對自動光學檢測設備的檢測結果進行變更。
藉由此一技術手段可以來解決先前技術所存在現有對於電子元件針腳焊點採用自動光學檢測成效過低的問題，進而達成提供精確的自動光學檢測檢測結果與提高直通率的技術功效。
雖然本發明所揭露的實施方式如上，惟所述的內容並非用以直接限定本發明的專利保護範圍。任何本發明所屬技術領域中具有通常知識者，在不脫離本發明所揭露的精神和範圍的前提下，可以在實施的形式上及細節上作些許的更動。本發明的專利保護範圍，仍須以所附的申請專利範圍所界定者為準。
10:自動光學檢測設備
20:二次檢測裝置
21:接收模組
22:圖像擷取模組
23:圖像查詢模組
24:針腳焊點圖像模組
25:圖像特徵模組
26:概率值模組
27:結果判斷模組
31:元件圖像
311:元件針腳焊點圖像
32:模板圖像
321:模板針腳焊點圖像
41:特徵矩陣
步驟 101:自動光學檢測設備對電路板進行針腳焊點的自動光學檢測
步驟 102:當針腳焊點的自動光學檢測的檢測結果為異常時，自動光學檢測設備提供自動光學檢測的檢測圖像以及檢測結果資訊至二次檢測裝置
步驟 103:二次檢測裝置依據檢測結果資訊中電子元件資訊以及位置資訊擷取出檢測圖像中對應的電子元件範圍為元件圖像
步驟 104:二次檢測裝置依據檢測結果資訊中電路板資訊查詢出模板圖像
步驟 105:二次檢測裝置對元件圖像的每一個針腳焊點擷取元件針腳焊點圖像
步驟 106:二次檢測裝置對模板圖像的每一個針腳焊點擷取模板針腳焊點圖像
步驟 107:二次檢測裝置透過卷積神經網路對元件圖像進行圖像特徵的提取以生成元件圖像特徵
步驟 108:二次檢測裝置透過卷積神經網路對模板圖像進行圖像特徵的提取以生成模板圖像特徵
步驟 109:二次檢測裝置透過卷積神經網路對元件針腳焊點圖像進行圖像特徵的提取以生成元件針腳焊點圖像特徵
步驟 110:二次檢測裝置透過卷積神經網路對模板針腳焊點圖像進行圖像特徵的提取以生成模板針腳焊點圖像特徵
步驟 111:二次檢測裝置透過孿生神經網路將元件圖像特徵以及模板圖像特徵計算出檢測圖像概率值
步驟 112:二次檢測裝置透過孿生神經網路將對應的元件針腳焊點圖像特徵以及模板針腳焊點圖像特徵計算出多個針腳焊點圖像概率值
步驟 113:二次檢測裝置取得檢測圖像概率值以及多個針腳焊點圖像概率值的最小概率值
步驟 114:當最小概率值大於等於門檻值時，二次檢測裝置將自動光學檢測設備的檢測結果變更為正常
步驟 115:當最小概率值小於門檻值時，二次檢測裝置不對自動光學檢測設備的檢測結果進行變更
第1圖繪示為本發明自動光學與類神經網路整合的二次檢測系統的系統方塊圖。
第2A圖繪示為本發明自動光學與類神經網路整合的元件圖像示意圖。
第2B圖繪示為本發明自動光學與類神經網路整合的模板圖像示意圖。
第3A圖繪示為本發明自動光學與類神經網路整合的二次檢測的元件針腳焊點圖像示意圖。
第3B圖繪示為本發明自動光學與類神經網路整合的二次檢測的模板針腳焊點圖像示意圖。
第4圖繪示為本發明自動光學與類神經網路整合的二次檢測的特徵矩陣示意圖。
第5A圖以及第5B圖繪示為本發明自動光學與類神經網路整合的二次檢測方法的方法流程圖。
10:自動光學檢測設備
20:二次檢測裝置
21:接收模組
22:圖像擷取模組
23:圖像查詢模組
24:針腳焊點圖像模組
25:圖像特徵模組
26:概率值模組
27:結果判斷模組
Claims (10)
- 一種自動光學與類神經網路整合的二次檢測系統，其包含： 一自動光學檢測（Automated Optical Inspection，AOI）設備，對一電路板進行針腳焊點的自動光學檢測，當針腳焊點的自動光學檢測的檢測結果為異常時，提供自動光學檢測的一檢測圖像以及一檢測結果資訊；及 一二次檢測裝置，所述二次檢測裝置更包含： 一接收模組，用以自所述自動光學檢測設備接收所述檢測圖像以及所述檢測結果資訊； 一圖像擷取模組，用以依據所述檢測結果資訊中電子元件資訊以及位置資訊擷取出所述檢測圖像中對應的電子元件範圍為一元件圖像； 一圖像查詢模組，用以依據所述檢測結果資訊中電路板資訊查詢出一模板圖像； 一針腳焊點圖像模組，用以分別對所述元件圖像的每一個針腳焊點擷取一元件針腳焊點圖像以及對所述模板圖像的每一個針腳焊點擷取一模板針腳焊點圖像； 一圖像特徵模組，用以透過卷積神經網路（Convolutional Neural Networks，CNN）分別對所述元件圖像進行圖像特徵的提取以生成一元件圖像特徵、對所述模板圖像進行圖像特徵的提取以生成一模板圖像特徵、對所述元件針腳焊點圖像進行圖像特徵的提取以生成一元件針腳焊點圖像特徵以及對所述模板針腳焊點圖像進行圖像特徵的提取以生成一模板針腳焊點圖像特徵； 一概率值模組，透過孿生神經網路（siamese Network）將所述元件圖像特徵以及所述模板圖像特徵計算出一檢測圖像概率值以及分別將對應的所述元件針腳焊點圖像特徵以及所述模板針腳焊點圖像特徵計算出多個針腳焊點圖像概率值；及 一結果判斷模組，用以取得所述檢測圖像概率值以及多個針腳焊點圖像概率值的最小概率值，當最小概率值大於等於門檻值時，將所述自動光學檢測設備的檢測結果變更為正常，當最小概率值小於門檻值時，不對所述自動光學檢測設備的檢測結果進行變更。
- 如請求項1所述的自動光學與類神經網路整合的二次檢測系統，其中所述卷積神經網路是分別對不同的圖像特徵進行圖像特徵的提取以生成為對應圖像特徵的所述元件圖像特徵、所述模板圖像特徵、所述元件針腳焊點圖像特徵以及所述模板針腳焊點圖像特徵的特徵矩陣。
- 如請求項1所述的自動光學與類神經網路整合的二次檢測系統，其中所述孿生神經網路是將所述元件圖像特徵減去所述模板圖像特徵後，由全連接層（dense layer）輸出為一輸出數值，再將所述輸出數值透過sigmoid函數（S函數）轉換以計算出所述檢測圖像概率值，所述檢測圖像概率值的範圍介於0至1。
- 如請求項1所述的自動光學與類神經網路整合的二次檢測系統，其中所述孿生神經網路是將對應的所述元件針腳焊點圖像特徵減去對應的所述模板針腳焊點圖像特徵後，由全連接層輸出為一針腳輸出數值，再將所述針腳輸出數值透過sigmoid函數轉換以計算出所述針腳焊點圖像概率值，所述針腳焊點圖像概率值的範圍介於0至1。
- 如請求項1所述的自動光學與類神經網路整合的二次檢測系統，其中所述圖像擷取模組是以所述檢測結果資訊中位置資訊為中心且依據所述檢測結果資訊中電子元件資訊找出被設定的擷取範圍進行圖像的擷取以擷取出所述檢測圖像中對應的電子元件範圍為所述元件圖像。
- 一種自動光學與類神經網路整合的二次檢測方法，其包含下列步驟： 一自動光學檢測設備對一電路板進行針腳焊點的自動光學檢測； 當針腳焊點的自動光學檢測的檢測結果為異常時，所述自動光學檢測設備提供自動光學檢測的一檢測圖像以及一檢測結果資訊至一二次檢測裝置； 所述二次檢測裝置依據所述檢測結果資訊中電子元件資訊以及位置資訊擷取出所述檢測圖像中對應的電子元件範圍為一元件圖像； 所述二次檢測裝置依據所述檢測結果資訊中電路板資訊查詢出一模板圖像； 所述二次檢測裝置對所述元件圖像的每一個針腳焊點擷取一元件針腳焊點圖像； 所述二次檢測裝置對所述模板圖像的每一個針腳焊點擷取一模板針腳焊點圖像； 所述二次檢測裝置透過卷積神經網路對所述元件圖像進行圖像特徵的提取以生成一元件圖像特徵； 所述二次檢測裝置透過卷積神經網路對所述模板圖像進行圖像特徵的提取以生成一模板圖像特徵； 所述二次檢測裝置透過卷積神經網路對所述元件針腳焊點圖像進行圖像特徵的提取以生成一元件針腳焊點圖像特徵； 所述二次檢測裝置透過卷積神經網路對所述模板針腳焊點圖像進行圖像特徵的提取以生成一模板針腳焊點圖像特徵； 所述二次檢測裝置透過孿生神經網路將所述元件圖像特徵以及所述模板圖像特徵計算出一檢測圖像概率值； 所述二次檢測裝置透過孿生神經網路將對應的所述元件針腳焊點圖像特徵以及所述模板針腳焊點圖像特徵計算出多個針腳焊點圖像概率值； 所述二次檢測裝置取得所述檢測圖像概率值以及多個針腳焊點圖像概率值的最小概率值； 當最小概率值大於等於門檻值時，所述二次檢測裝置將所述自動光學檢測設備的檢測結果變更為正常；及 當最小概率值小於門檻值時，所述二次檢測裝置不對所述自動光學檢測設備的檢測結果進行變更。
- 如請求項6所述的自動光學與類神經網路整合的二次檢測方法，其中所述卷積神經網路是分別對不同的圖像特徵進行圖像特徵的提取以生成為對應圖像特徵的所述元件圖像特徵、所述模板圖像特徵、所述元件針腳焊點圖像特徵以及所述模板針腳焊點圖像特徵的特徵矩陣。
- 如請求項6所述的自動光學與類神經網路整合的二次檢測方法，其中所述孿生神經網路是將所述元件圖像特徵減去所述模板圖像特徵後，由全連接層輸出為一輸出數值，再將所述輸出數值透過sigmoid函數轉換以計算出所述檢測圖像概率值，所述檢測圖像概率值的範圍介於0至1。
- 如請求項6所述的自動光學與類神經網路整合的二次檢測方法，其中所述孿生神經網路是將對應的所述元件針腳焊點圖像特徵減去對應的所述模板針腳焊點圖像特徵後，由全連接層輸出為一針腳輸出數值，再將所述針腳輸出數值透過sigmoid函數轉換以計算出所述針腳焊點圖像概率值，所述針腳焊點圖像概率值的範圍介於0至1。
- 如請求項6所述的自動光學與類神經網路整合的二次檢測方法，其中所述二次檢測裝置依據所述檢測結果資訊中電子元件資訊以及位置資訊擷取出所述檢測圖像中對應的電子元件範圍為所述元件圖像的步驟是以所述檢測結果資訊中位置資訊為中心且依據所述檢測結果資訊中電子元件資訊找出被設定的擷取範圍進行圖像的擷取以擷取出所述檢測圖像中對應的電子元件範圍為所述元件圖像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110109065A TWI752846B (zh) | 2021-03-15 | 2021-03-15 | 自動光學與類神經網路整合的二次檢測系統及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110109065A TWI752846B (zh) | 2021-03-15 | 2021-03-15 | 自動光學與類神經網路整合的二次檢測系統及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI752846B true TWI752846B (zh) | 2022-01-11 |
| TW202238441A TW202238441A (zh) | 2022-10-01 |
Family
ID=80809255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110109065A TWI752846B (zh) | 2021-03-15 | 2021-03-15 | 自動光學與類神經網路整合的二次檢測系統及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI752846B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI244359B (en) * | 2002-10-09 | 2005-11-21 | Wei Kuang Mechanical Eng Co Lt | Automatic optical detecting system for defect components on printed circuit board |
| US20160336241A1 (en) * | 2014-11-19 | 2016-11-17 | Deca Technologies Inc. | Automated optical inspection of unit specific patterning |
| TWI653605B (zh) * | 2017-12-25 | 2019-03-11 | 由田新技股份有限公司 | 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統 |
| TWI665443B (zh) * | 2017-03-21 | 2019-07-11 | 德律科技股份有限公司 | 自動光學檢測系統及其操作方法 |
| TW202001696A (zh) * | 2018-06-29 | 2020-01-01 | 由田新技股份有限公司 | 利用深度學習系統的自動光學檢測分類設備及其訓練設備 |
| TWI707299B (zh) * | 2019-10-18 | 2020-10-11 | 汎思數據股份有限公司 | 光學檢測二次圖像分類方法 |
| CN111915604A (zh) * | 2020-08-20 | 2020-11-10 | 魏小燕 | 一种互联网人工智能电子零配件识别与检测系统 |
-
2021
- 2021-03-15 TW TW110109065A patent/TWI752846B/zh active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI244359B (en) * | 2002-10-09 | 2005-11-21 | Wei Kuang Mechanical Eng Co Lt | Automatic optical detecting system for defect components on printed circuit board |
| US20160336241A1 (en) * | 2014-11-19 | 2016-11-17 | Deca Technologies Inc. | Automated optical inspection of unit specific patterning |
| TWI665443B (zh) * | 2017-03-21 | 2019-07-11 | 德律科技股份有限公司 | 自動光學檢測系統及其操作方法 |
| TWI653605B (zh) * | 2017-12-25 | 2019-03-11 | 由田新技股份有限公司 | 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統 |
| TW202001696A (zh) * | 2018-06-29 | 2020-01-01 | 由田新技股份有限公司 | 利用深度學習系統的自動光學檢測分類設備及其訓練設備 |
| TWI707299B (zh) * | 2019-10-18 | 2020-10-11 | 汎思數據股份有限公司 | 光學檢測二次圖像分類方法 |
| CN111915604A (zh) * | 2020-08-20 | 2020-11-10 | 魏小燕 | 一种互联网人工智能电子零配件识别与检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202238441A (zh) | 2022-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018072326A1 (zh) | 基于图像识别的焊点类型检测和装置 | |
| CN106127746A (zh) | 电路板元件漏件检测方法和系统 | |
| CN114240939B (zh) | 一种主板元器件外观缺陷检测方法、系统、设备及介质 | |
| TWI715051B (zh) | 機器學習方法及應用機器學習方法的自動光學檢測設備 | |
| CN113077416A (zh) | 一种基于图像处理的焊点焊接缺陷检测方法与系统 | |
| CN113449767B (zh) | 一种多图像融合的变电站设备异常识别定位方法 | |
| CN112183311A (zh) | 一种基于双模态数据融合的变电站设备故障检测方法 | |
| KR102174424B1 (ko) | 서버 기반 부품 검사방법 및 그를 위한 시스템 및 장치 | |
| CN114820439A (zh) | 基于aoi的pcb裸板缺陷的检测系统及方法 | |
| CN114581760A (zh) | 一种机房巡检的设备故障检测方法及系统 | |
| CN117455917B (zh) | 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 | |
| TWI752846B (zh) | 自動光學與類神經網路整合的二次檢測系統及其方法 | |
| CN110441318A (zh) | 一种基于机器视觉的化纤喷丝头孔缺陷检测方法 | |
| CN116205835A (zh) | 电路板瑕疵检测方法、装置及电子设备 | |
| CN101118263A (zh) | 极性元件的极性方向自动检测方法 | |
| CN117589770A (zh) | Pcb贴片板检测方法、装置、设备及介质 | |
| CN112260402A (zh) | 基于视频监控的变电站智能巡检机器人状态的监控方法 | |
| CN112489017A (zh) | 一种电力设备故障智能识别方法及识别系统 | |
| CN116843659A (zh) | 一种基于红外图像的电路板故障自动检测方法 | |
| WO2023080587A1 (ko) | 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법 | |
| CN112927170B (zh) | 半导体制造工艺中的自动缺陷去除方法 | |
| CN112257514B (zh) | 一种用于设备故障巡检的红外视觉智检的拍摄方法 | |
| US11704788B2 (en) | Secondary detection system for integrating automated optical inspection and neural network and method thereof | |
| CN106971391A (zh) | 一种基于颜色识别的多模板定位浸锡检测方法 | |
| CN207610993U (zh) | 一种基于智能移动终端的视觉缺陷检测系统 |