TWI810016B - 軟性電路板檢測系統 - Google Patents
軟性電路板檢測系統 Download PDFInfo
- Publication number
- TWI810016B TWI810016B TW111130253A TW111130253A TWI810016B TW I810016 B TWI810016 B TW I810016B TW 111130253 A TW111130253 A TW 111130253A TW 111130253 A TW111130253 A TW 111130253A TW I810016 B TWI810016 B TW I810016B
- Authority
- TW
- Taiwan
- Prior art keywords
- circuit board
- defect
- circuit
- image
- images
- Prior art date
Links
Images
Landscapes
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Monitoring And Testing Of Exchanges (AREA)
Abstract
一種軟性電路板檢測系統,用以解決習知軟性電路板檢測過程中之無法識別的影像須由人工篩選的問題。係包含:一處理模組,以一預建立缺陷辨識模型辨識一電路板影像,以產生一辨識結果;在具有多個無法識別的電路板影像的一情形中,該處理模組執行一修正判定流程:在確認無法識別之電路板影像之數量不小於一比對發起數量的一情形中,將所述無法識別之電路板影像進行比對以獲取對應的相似程度百分比,並在相似程度百分比不小於一相似度閥值時,判定對應的電路板影像為相同。
Description
本發明係關於一種檢測系統,尤其是一種軟性電路板檢測系統,用以檢測軟性電路板是否存在缺陷的軟性電路板檢測系統。
軟式電路板目前被廣泛運用於各種電子產品,其性能決定該電子產品的品質良劣。為了確保軟性電路板的成品品質,於後端製程會加入自動光學檢測(AOI)或自動視覺檢測(AVI)等檢測系統,以對該軟性電路板進行較精確的瑕疵檢測。
隨著電子產品的電路結構越來越複雜,安裝於該軟性電路板上的零件數量自然越來越多,導致該軟性電路板上的線路與連接也越來越密集,進而造成上述檢測系統產生誤判或漏檢的情形發生。因此,該軟性電路板在經過該檢測系統檢測之後,通常會有疑似具有缺陷且無法識別出其可對應的缺陷種類的影像/電路板,而此類無法識別的影像必須在透過人工的方式做進一步確認,以確認該些無法識別的影像是具有實質影響的缺陷(屬非良品)或是無不良影響的缺陷(屬良品,可視為誤判(false reject)的情形)。
然而,以純人工方式對該軟性電路板進行缺陷檢測,具有耗時、高成本及效率低等問題,有鑑於此,習知的軟性電路板檢測方法確實仍有加以改善之必要。
為解決上述問題,本發明的目的是提供一種軟性電路板檢測系統,係可達成自動化修正誤判的效果者。
本發明的次一目的是提供一種軟性電路板檢測系統,係可更精準辨識電路板之缺陷者。
本發明全文所記載的元件及構件使用「一」或「一個」之量詞,僅是為了方便使用且提供本發明範圍的通常意義;於本發明中應被解讀為包括一個或至少一個,且單一的概念也包括複數的情況,除非其明顯意指其他意思。
本發明全文所述「耦接」用語,包含電性地及/或訊號地直接或間接連接,係本領域中具有通常知識者可以依據使用需求予以選擇者。
本發明全文所述之「電腦(Computer)」及/或「處理模組(Processing Module)」,係指具備特定功能且以硬體或硬體與軟體實現的各式資料處理裝置,特別是一處理器或具有一處理器的電腦以處理分析資訊及/或產生對應控制資訊,例如:電子控制器、伺服器、雲端平台、虛擬機器、桌上型電腦、筆記型電腦、平板電腦或智慧型手機等,係本發明所屬技術領域中具有通常知識者可以理解。另,可包含對應的資料接收或傳輸單元,以進行所需資料的接收或傳輸。另,可包含對應的資料庫/儲存單元,以儲存所需資料。特別是,除非另外特別排除或矛盾,所述「一電腦」或「一處理模組」可以分別是基於分散式系統架構中的「多個電腦的集合」或「多個處理模組的集合」,係包含或代表多個電腦間或多個處理模組間之資訊串流處理的過程、機制及結果。
本發明的軟性電路板檢測系統,係運作於一電腦內,包含:一輸入模組,用以輸入一電路板影像;及一處理模組,耦接該輸入模組以接收
該電路板影像,並以一預建立缺陷辨識模型辨識該電路板影像,以產生一辨識結果;該預建立缺陷辨識模型具有缺陷種類資料,以對應電路板影像辨識出對應的缺陷種類;在辨識結果為有缺陷時,代表該電路板影像被識別為具有至少一種可識別的缺陷種類;在辨識結果為無缺陷時,代表該電路板影像被識別為不具有任一缺陷種類;在辨識結果為無法識別時,代表該電路板影像被識別為疑似具有缺陷,且無法識別出其可對應的缺陷種類;其中,在具有多個無法識別的電路板影像的一情形中,該處理模組執行一修正判定流程:確認無法識別之電路板影像之數量不小於一比對發起數量,該比對發起數量不小於2;及將所述無法識別之電路板影像進行比對以獲取對應的相似程度百分比,並在相似程度百分比不小於一相似度閥值時,判定對應的電路板影像為相同。
本發明的軟性電路板檢測系統,係運作於一電腦內,包含:一輸入模組,用以輸入一電路板影像;及一處理模組,耦接該輸入模組以接收該電路板影像,並以一預建立缺陷辨識模型辨識該電路板影像,以產生一辨識結果;該預建立缺陷辨識模型具有缺陷種類資料,以對應電路板影像辨識出對應的缺陷種類;在辨識結果為有缺陷時,代表該電路板影像被識別為具有至少一種可識別的缺陷種類;在辨識結果為無缺陷時,代表該電路板影像被識別為不具有任一缺陷種類;在辨識結果為無法識別時,代表該電路板影像被識別為疑似具有缺陷,且無法識別出其可對應的缺陷種類;其中,在具有多個無法識別的電路板影像的一情形中,該處理模組執行一修正判定流程:確認無法識別之電路板影像之數量是否不小於一比對發起數量,該比對發起數量不小於2;從無法識別之電路板影像中隨機選取一模板數量的影像以作為準模板影像,該模板數量不小於1;自各準模板影像的幾何中心依一截取比例向外截取一特定區域,以形成對應的模板影像;及將所述模板影像與其他
無法識別之電路板影像進行比對以獲取對應的相似程度百分比,並在相似程度百分比不小於一相似度閥值時,判定對應的電路板影像與模板影像為相同。
本發明的軟性電路板檢測系統,係運作於一電腦內,包含前述系統之輸入模組、處理模組及預建立缺陷辨識模型,該預建立缺陷辨識模型是以卷積神經網路及YOLOv2物件偵測模型作為模型架構;基於該預建立缺陷辨識模型所使用的一訓練網路架構,且基於應用所述YOLOv2物件偵測模型,各該缺陷種類具有對應的判斷閥值,以供該預建立缺陷辨識模型區辨各該缺陷種類;所述預建立缺陷辨識模型所使用的該訓練網路架構係如下表所示:
據此,本發明的軟性電路板檢測系統,藉由該處理模組所執行的該修正判定流程,從無法識別的電路板影像中找出高度相似的數個影像,並將此等彼此為高度相似的影像自無法識別的一分類移除,而可達成自動化修正誤判的效果;特別是可透過截取模板影像的尺寸小於對應的準模板影像的尺寸,可應用影像尺寸較小的模板影像與尺寸較大的電路板影像進行比對,而可提高篩選為相同影像的機率。另,透過預建立模型以卷積神經網路及YOLOv2物件偵測模型作為對應的模型架構,可辨識預定義的各種缺陷種類與並獲得具有高準確率辨識效果的判斷閥值,進而可達成建立穩健且準確的缺陷辨識模型的功效。
其中,該模板數量為10。如此,藉由設定適當的模板數量,可簡化比對的程序,藉以達成提升整體比對效率的功效。
其中,該相似度閥值為97%。如此,藉由設定適當的相似度閥值,可達成有效地、不會過於嚴苛地及精準地篩選出高度近似的影像的功效。
其中,該比對發起數量為40。如此,藉由設定適當的發起數量,可在具有較多無法識別之電路板影像時,進行影像間是否具有高度近似的情形的判斷,以達成在可供比對影像較充足的情形下進行比對,避免系統
資源的耗損的功效。
其中,在判定對應的電路板影像與模板影像是否為相同後,再運用一相同影像數閥值,以針對經判定為相同的電路板影像的數量判定是否不小於該相同影像數閥值;該相同影像數閥值不少於2。如此,可藉由設定適當的相同影像數閥值,並隨相同影像數閥值的提升,以達成提升篩選出高度近似影像的準確度的功效。
其中,該相同影像數閥值為12。如此,相較所述相同影像數閥值設定為小於12的情形中,該相同影像數閥值設定為12能提升篩選出高度近似影像的準確度,以避免僅有少數影像相同時即較寬鬆判定為高度近似影像的情形,而可達成提升判斷的信度的功效;且相較所述相同影像數閥值設定為大於12的情形中,可達成避免篩選條件過於嚴苛的功效。
其中,該缺陷種類包含短路、斷路、缺口及凸出;所述短路代表兩條以上獨立線路間具有非預期的一接線相連,並具有對應的判斷閥值為0.50;所述斷路代表一獨立線路具有斷開特徵,並具有對應的判斷閥值為0.55;所述缺口代表一獨立線路間具有非預期的穿孔或非導電特徵,且未達斷路的狀態,並具有對應的判斷閥值為0.65;所述凸出代表一獨立線路具有一凸出區域朝另一獨立線路方向延伸,且未達連接兩獨立線路的狀態,並具有對應的判斷閥值為0.75。如此,透過各種缺陷種類的定義與判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含短路態樣一,所述短路態樣一代表兩條以上獨立線路間具小於線路1/2寬度的絲狀接線相連,並具有對應的判斷閥值為0.70。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含短路態樣二,所述短路態樣二代表兩條
以上獨立線路間具有不小於線路1/2寬度的一般接線相連,但未達所述短路態樣三的狀態,並具有對應的判斷閥值為0.50。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含短路態樣三,所述短路態樣三代表兩條以上獨立線路間具有非預期的大面積導電區域相連,所述大面積導電區域之面積不小於對應對路圖影像的1/3面積,並具有對應的判斷閥值為0.50。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含斷路,所述斷路代表一獨立線路具有斷開特徵,並具有對應的判斷閥值為0.55。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含大型斷路,所述大型斷路代表線路上的測試點被削除1/3以上面積,並具有對應的判斷閥值為0.60。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含缺口態樣一,所述缺口態樣一代表一獨立線路間具有大於線路1/2寬度的穿孔或非導電特徵,且未達斷路的狀態,並具有對應的判斷閥值為0.65。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含缺口態樣二,所述缺口態樣二代表一獨立線路表面上有大於線路1/2寬度的凹陷,且未達斷路的狀態,並具有對應的判斷閥值為0.45。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含凸出態樣一,所述凸出態樣一代表一獨立線路具有一凸出區域朝另一獨立線路方向延伸,該凸出區域大於兩獨立線
路之間的縫隙的1/2寬度,且未達連接兩獨立線路的狀態,並具有對應的判斷閥值為0.75。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含凸出態樣二,所述凸出態樣二代表一獨立線路具有一凸出區域與另一獨立線路接近,該凸出區域與另一獨立線路接近處具有一定程處的高低落差或色差,且未達連接兩獨立線路的狀態,並具有對應的判斷閥值為0.70。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含刮傷,所述刮傷代表連續兩條線路以上線路受損變形大於1/2線寬的特徵或是線路剝離變形的狀態,並具有對應的判斷閥值為0.60。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含滲漏,所述滲漏代表兩條以上獨立線路間具有非預期的接線相連,所述非預期的接線的邊緣形狀沿獨立線路的延伸方向呈現弧形,並具有對應的判斷閥值為0.55。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含異物,所述異物代表一異物連接兩條線路以上或蓋住線路大於線路1/2寬度,該異物是不透明且呈不規則形狀的金屬或非金屬,並具有對應的判斷閥值為0.45。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含異物但為可行態樣一,所述異物但為可行態樣一代表電路板上具有呈透明或半透明、呈不規則形狀且為無金屬光澤的一異物,並可辨識該異物下方所遮蓋之線路,並具有對應的判斷閥值為0.72。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率
的辨識效果。
其中,該缺陷種類包含異物但為可行態樣二,所述異物但為可行態樣二代表電路板上具有遮蓋二條線路以上呈長條形且為無金屬光澤的一異物,並具有對應的判斷閥值為0.72。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含線路小瑕疵,所述線路小瑕疵代表線路上有微小黑色點狀或其他瑕疵特徵,該瑕疵特徵的尺寸小於所在的線路1/3寬度,並具有對應的判斷閥值為0.72。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
其中,該缺陷種類包含測試點不均勻,所述測試點不均勻代表線路上的測試點處具有凹陷的形狀,並具有對應的判斷閥值為0.65。如此,透過所定義的缺陷種類與對應判斷閥值的設定,可達成高準確率的辨識效果。
1:輸入模組
2:處理模組
S1、S2、S2’、AS1、AS2:步驟
〔第1圖〕本發明一較佳實施例的系統架構示意圖。
〔第2圖〕本發明系統辨識電路板影像的流程示意圖。
〔第3圖〕本發明針對無法識別之電路板影像的一修正判定流程示意圖。
〔第4圖〕本發明針對無法識別之電路板影像的另一修正判定流程示意圖。
為讓本發明之上述及其他目的、特徵及優點能更明顯易懂,下文特舉本發明之較佳實施例,並配合所附圖式作詳細說明。
請參照第1圖所示,其係本發明軟性電路板檢測系統的一較佳
實施例,係運作於一電腦內,包含:一輸入模組1及一處理模組2,該輸入模組1與該處理模組2耦接。
該輸入模組1用以輸入/接收一電路板影像。詳言之,當一電路板經由自動光學檢測或自動視覺檢測等檢驗機台之檢測作業,以判斷是否有缺陷時,可先透過一拍攝裝置(如:相機及/或攝影機)對該電路板拍攝,以產生該電路板影像;換言之,該輸入模組1可包含所述拍攝裝置。可選地,該輸入模組1於輸入該電路板影像時,另可同時接收該電路板影像的產品資訊,以將各電路板影像與對應的產品資訊關聯;較佳地,該產品資訊可包含電路板的產品名稱、產品批次編號及產品檢驗人員代號中至少一者的內容;更佳地,該產品資訊另可包含該同一批進行檢測的電路板的檢驗數量、判別檢驗數量比率、檢驗電路板影像數量、檢驗開始時間及檢驗結束時間中至少一者的內容。
該處理模組2耦接該輸入模組1以接收該電路板影像,並以一預建立缺陷辨識模型(將詳述如後續段落)辨識該電路板影像,以產生一辨識結果,該辨識結果包含有缺陷、無缺陷、無法識別;換言之,該辨識結果可對應為一分類結果或具有一分類的效果。詳言之,該預建立缺陷辨識模型具有缺陷種類資料,以對應電路板影像辨識出對應的缺陷種類。在辨識結果為有缺陷時,代表該電路板影像(及其所對應的電路板)被識別為具有至少一種可識別的缺陷種類;在辨識結果為無缺陷時,代表該電路板影像(及其所對應的電路板)被識別為品質正常/不具有任一缺陷種類;在辨識結果為無法識別時,代表該電路板影像(及其所對應的電路板)被識別為疑似具有缺陷,且無法識別出其可對應的缺陷種類。較佳地,可先辨識該電路板影像是否有缺陷,以獲取一暫態有缺陷的辨識結果或一無缺陷的辨識結果;再進一步辨識該暫態有缺陷的辨識結果以對應該預建立缺陷辨識模型中的缺陷種類
進行分類,且若為無法分類者將被分類為無法識別的辨識結果。較佳地,該處理模組2將具有相同辨識結果的電路板影像存放在該電腦中的同一個資料夾內。
較佳地,所述預建立缺陷辨識模型是以卷積神經網路(CNN)等深度學習技術作為模型架構,並以多個訓練樣本集作為輸入層資料,以辨識結果分別為有缺陷、無缺陷及無法識別作為輸出層資料以進行訓練。在本實施例中,該預建立缺陷辨識模型可以採用即時物件偵測模型(YOLOv1、YOLOv2或YOLOv3)作為模型架構。
特別是,所述預建立缺陷辨識模型是以YOLOv2的技術進行訓練,包含資料收集階段、訓練驗證階段、模型訓練階段。
在所述資料收集階段中,針對要判斷的缺陷種類,可以各缺陷種類的第一數量N1張影像作為訓練集,以對應的第二數量N2張影像作為驗證集,再以一特定次數進行疊代,以完成該所述預建立缺陷辨識模型的訓練/建立。
較佳地,所述缺陷種類為短路、斷路、缺口及凸出;所述短路係指應獨立的電性線路間發生電性連接的情形;所述斷路係指應為完整的單一線路發生斷開形成兩獨立線路的情形;所述缺口係指單一線路上具有未截斷該單一線路的孔洞或凹陷;所述凸出係指應為的單一線路在局部位置的寬度過大,但未與其他線路發生實體接合的情形。
更佳地,所述缺陷種類可包含下述16類缺陷:短路態樣一、短路態樣二、短路態樣三、斷路、大型斷路、缺口態樣一、缺口態樣二、凸出態樣一、凸出態樣二、刮傷、滲漏、異物、異物但為可行態樣一、異物但為可行態樣二、線路小瑕疵、測試點(Test Pad)不均勻等狀態;其中,缺陷種類為異物但為可行態樣一、異物但為可行態樣二、線路小瑕疵、測試點不均勻
中之任一者,表示電路板之線路雖有缺陷但仍具有正常功能,而屬良品的範圍。
詳言之,所述短路態樣一是指微短路(系統對應代號例如是Micro Short),代表兩條以上獨立線路間具有非預期的絲狀接線相連,特別是以小於線路1/2寬度的絲狀接線相連。所述短路態樣二是指一般性的短路(系統對應代號例如是Short),代表兩條以上獨立線路間具有非預期的一般接線相連,特別是以不小於線路1/2寬度的一般接線相連,且未達短路態樣三的狀態。所述短路態樣三是指大型短路(系統對應代號例如是Big Short),代表兩條以上獨立線路間具有非預期的大面積導電區域相連,所述大面積導電區域之面積不小於對應對路圖影像的1/3面積。所述斷路(系統對應代號例如是Open)代表一獨立線路具有斷開特徵。所述大型斷路(系統對應代號例如是Big Open),代表線路上的測試點被削除1/3以上面積。所述缺口態樣一是指類斷路(系統對應代號例如是Near Open),代表一獨立線路間具有非預期的穿孔或非導電特徵,該等非預期特徵特別是大於線路1/2寬度,且未達斷路的狀態。所述缺口態樣二是指頂部凹陷(系統對應代號例如是Top Nick),代表一獨立線路表面上有非預期的凹陷/凹痕,該凹陷特別是大於線路1/2寬度,且未達斷路的狀態。所述凸出態樣一是指類短路(系統對應代號例如是Near Short)的一情形,代表一獨立線路具有一凸出區域朝另一獨立線路方向延伸,該凸出區域大於兩獨立線路之間的縫隙的1/2寬度,且未達連接兩獨立線路的狀態。所述凸出態樣二是指類短路(系統對應代號例如是Near Short1)的另一情形,代表一獨立線路具有一凸出區域與另一獨立線路接近,該凸出區域與另一獨立線路接近處具有一定程度的高低落差或色差,且未達連接兩獨立線路的狀態。所述刮傷(系統對應代號例如是Scratch)代表連續兩條線路以上線路受損變形大於1/2線寬的特徵(刮痕),或者是線路剝離變形的狀
態。所述滲漏(系統對應代號例如是Leakage)代表兩條以上獨立線路間具有非預期的接線相連,所述非預期的接線的邊緣形狀(沿獨立線路的延伸方向)呈現弧形。所述異物(系統對應代號例如是Material)代表一異物/非預期物體連接兩條線路以上或蓋住線路大於線路1/2寬度,該異物是不透明且呈不規則形狀的金屬或非金屬。所述異物但為可行態樣一(系統對應代號例如是OK)代表電路板上具有呈透明或半透明、呈不規則形狀且為無金屬光澤的一異物,並可辨識該異物下方所遮蓋之線路。所述異物但為可行態樣二(系統對應代號例如是OK1)代表電路板上具有遮蓋二條線路以上呈長條形且為無金屬光澤的一異物。所述線路小瑕疵(系統對應代號例如是OK2)代表線路上有微小黑色點狀或其他瑕疵特徵,該瑕疵特徵的任一尺寸小於所在的線路1/3寬度。所述測試點不均勻(系統對應代號例如是UnevenOK)代表線路上的測試點處具有凹陷的形狀。
以上述16類缺陷的訓練為例,在本發明的一實際訓練範例中,以各缺陷種類的100~2700張影像作為訓練集,以對應的1400張~26000張影像作為驗證集,再以進行疊代32000次,已完成本案預建立缺陷辨識模型的訓練。應注意的是,各缺陷種類的訓練集、驗證集、疊代次數僅為本發明的一案例,並非用於限定本發明僅限於此。
特別地,在一實際案例中,基於疊代次數為32000次的條件下,針對各缺陷種類的訓練與驗證的具體資料數係呈現如下列表一。
特別地,基於上述表一的訓練資料,所述缺陷辨識模型基於YOLOv2的技術,並應用卷積神經網路的架構,以形成對應的模型架構來進行對應的模型訓練,其中,具體使用的架構配置呈現如下列表二所示。
在所應用的卷積神經網路的架構中,基於網路中採樣是32倍,藉由去掉全連接層(FC Layer,Fully Connected Layer),使網路可以接收任意尺寸的圖片,使模型具有多尺度訓練的改進。另,藉由在每個卷積層後面都加入一個批次標準化(BN,Batch Normalization)的作業替代dropout程序,以提升模型收斂速度,而可達成一定正則化效果,降低模型的過擬合。另,應用跨層連接融合細粒度特徵(Fine-Grained Features),使前面的特徵圖維度是後面的特徵圖的2倍,穿透層(Passthrough Layer)抽取前面層的每個2×2的局部區域,然後將其轉化為通道(channel)維度,例如是對於維度為26×26×512的特徵圖,經穿透層處理後會變成維度為13×13×2048的新特徵圖,如此即可與後續維度為13×13×1024的特徵圖連接在一起,以形成維度為13×13×3072大小的特徵圖,然後在此特徵圖基礎上卷積做預測。
基於上述實際訓練範例中表一與表二所應用的資料與模型架
構,所述缺陷辨識模型的績效指標/平均精度均值(mAP,Mean Average Precision)為94.2%,損失為0.1075。
特別是,基於所述預建立缺陷辨識模型,上述各缺陷種類的對應判斷閥值與判斷準確度係呈現如下表三。特別是,本發明之系統可包含或可應用以下缺陷種類與對應判斷閥值中的一者或多者之任意組合。如此,透過各種缺陷種類的定義與判斷閥值的設定,可達成高準確率的辨識效果。
較佳地,上述16類缺陷亦可簡化成四大類缺陷,包含短路、斷路、缺口及凸出;所述短路可對應上述16類缺陷中的短路態樣二,代表兩
條以上獨立線路間具有非預期的一接線相連,並具有對應的判斷閥值為0.5;所述斷路可對應上述16類缺陷中的斷路,代表一獨立線路具有斷開特徵,並具有對應的判斷閥值為0.55;所述缺口可對應上述16類缺陷中的缺口態樣一,代表一獨立線路間具有非預期的穿孔或非導電特徵,且未達斷路的狀態,並具有對應的判斷閥值為0.65;所述凸出可對應上述16類缺陷中的突出態樣一,代表一獨立線路具有一凸出區域朝另一獨立線路方向延伸,且未達連接兩獨立線路的狀態,並具有對應的判斷閥值為0.75。如此,透過各種缺陷種類的定義與判斷閥值的設定,可達成高準確率的辨識效果。
基於上述預建立缺陷辨識模型,在該輸入模組1輸入該電路板影像後,且在該處理模組2透過該預建立缺陷辨識模型辨識該電路板影像後,可獲取無缺陷、有缺陷、無法識別的辨識結果,並可整理如第2圖的流程圖。當辨識結果為無缺陷,該等對應影像可被歸類為無缺陷的一分類,例如是該處理模組2給定對應的資料標籤與該等影像關聯,或是該處理模組2於該電腦中建立一對應的資料夾(例如是一名稱為「無缺陷」的資料夾),並將具有相同辨識結果的電路板影像存放於該對應的資料夾中。
當辨識結果為有缺陷,且可由該預建立缺陷辨識模型辨識出對應的缺陷種類時,該處理模組2將根據各該電路板影像的缺陷種類產生對應的分類,例如是該處理模組2給定對應的資料標籤與該等影像關聯,或建立對應各該缺陷種類的資料夾,並將具有相同辨識結果的電路板影像存放於該對應的資料夾中;其中,在可辨識出對應的缺陷種類的情形中,特別是指該缺陷辨識模型會針對各缺陷種類給定/產生的一分數,且該分數中的至少一者不小於對應缺陷種類的閥值;詳言之,若僅有一分數不小於對應缺陷種類的閥值,則該電路板影像的缺陷種類即為該分數;若有多個分數不小於對應缺陷種類的閥值,則該電路板影像的缺陷種類可由該多個分數中最大者決定;
若該多個分數不小於對應缺陷種類的閥值且彼此相等時,則可由一預定邏輯決定該電路板影像的缺陷種類。
當辨識結果為有缺陷,且無法由該預建立缺陷辨識模型辨識出對應的缺陷種類時,特別是經該缺陷辨識模型針對各缺陷種類所給定/產生的對應分數是不存在/空集合或是分數未達閥值的情形中,該等對應影像可被歸類為無法識別的一分類,例如是該處理模組2給定對應的資料標籤與該等影像關聯,或於該電腦中建立一對應的資料夾(例如是一名稱為「無法識別」的資料夾),並將具有相同辨識結果的電路板影像存放於該對應的資料夾中。較佳的,辨識結果為無法識別的電路板影像可再經至少一次影像/圖片旋轉,並由該預建立缺陷辨識模型再次判別是否可辨識出對應具缺陷種類,以提升辨識準確度。
應注意的是,基於本發明系統的實際應用與統計,經所述預建立缺陷辨識模型辨識後被分類為無法識別的電路板影像中,有大部分的影像所對應的電路板是屬於良品,且此現象特別是集中發生於該些無法識別的電路板影像中彼此具有高度相似影像的多者,因而可歸類為誤判的情形。鑑此,為避免透過入工再次檢閱該些無法識別的電路板影像的工時與成本耗費,本發明提出如下所述的修正判定流程/假圖判定流程,以達成自動化修正誤判的效果。
請參照第3圖,針對上述無法識別的電路板影像,在具有多個無法識別的電路板影像的一情形中,處理模組2執行一修正判定流程/假圖判定流程,以自多個無法識別的電路板影像中辨識出彼此具有高相似度影像者,以將具有高相似度影像的該等電路板影像自無法識別的一分類移除,並可選地再歸類為一功能正常的分類中。該修正判定流程包含以下步驟S1與步驟S2。
步驟S1:確認是否有多個無法識別之電路板影像
在步驟S1中,確認無法識別之電路板影像之數量是否不小於一比對發起數量,該比對發起數量不小於2;較佳地,該比對發起數量為40。如此,藉由設定適當的發起數量,可在具有較多無法識別之電路板影像時,進行影像間是否具有高度近似的情形的判斷,以在可供比對影像較充足的情形下進行比對,避免系統資源的耗損。換言之,在確認無法識別之電路板影像之數量不小於一比對發起數量的情形後,才會進行後續對應的步驟S2。
步驟S2:確認是否具有高度近似的電路板影像
在步驟S2中,將所述無法識別之電路板影像進行比對以獲取對應的相似程度百分比(例如是將二個無法識別之電路板影像進行比對以獲取一對應的相似程度百分比),並在相似程度百分比不小於一相似度閥值時,判定對應的電路板影像為相同。所述相似程度百分比例如是以0%表示完全不同,以100%表示完全相同。較佳地,該相似度閥值為97%。特別是,相較相似度閥值設定為大於97%的情形中,相似度閥值設定為97%能有效且不至於過於嚴苛地篩選出高度近似的影像;相較相似度閥值設定為小於97%的情形中,相似度閥值設定為97%能較精準地篩選出高度近似的影像。
在步驟S2中,可選地,除了所述相似程度百分比與相似度閥值之外,另要求經判定為相同的影像數須不小於相同影像數閥值;該相同影像數閥值不少於2,如此,可藉由設定適當的相同影像數閥值,並隨相同影像數閥值的提升,提升篩選出高度近似影像的準確度。較佳地,該相同影像數閥值為12,如此,相較所述相同影像數閥值設定為小於12的情形中,該相同影像數閥值設定為12能提升篩選出高度近似影像的準確度,以避免僅有少數影像相同時即較寬鬆判定為高度近似影像的情形,而可提升判斷的信度;且相較所述相同影像數閥值設定為大於12的情形中,可避免篩選條件過於嚴
苛。
請參照第4圖,基於第3圖所述修正判定流程,另一修正判定流程另包含一模板匹配(Template Matching)子流程,以將具有高相似度影像的該等電路板影像自無法識別的一分類移除,並可選地再歸類為一功能正常的分類中。該模板匹配子流程包含步驟AS1及AS2,該另一修正判定流程且具有對應的步驟S1、AS1、AS2及S2’。其中,在確認無法識別之電路板影像之數量不小於一比對發起數量的情形後,才會進行後續對應的步驟AS1、AS2及S2’。
步驟AS1:隨機選取模板數量
在步驟AS1中,從無法識別之電路板影像中隨機選取一模板數量的影像以作為準模板影像,該模板數量不小於1;較佳地,該模板數量為10。應注意的是,所述模板數量小於所述比對發起數量,並藉由選定適當的模板數量,可簡化比對的程序,藉以提升整體比對效率。較佳地,該模板數量除以該發起數量的一比值可設定為1/2、1/3、1/4、1/5中之任一者。
步驟AS2:截取較小區域作為比對用的模板影像
在步驟AS2中,自各準模板影像的幾何中心依一截取比例向外截取一特定區域,以形成對應的模板影像;所述模板影像的尺寸小於對應的準模板影像的尺寸。較佳地,該截取比例為50%;舉例而言,以截取比例為50%進行影像截取為例,若一原始影像的四個邊界座標分別為(0,0)、(10,0)、(10,10)、(0,10),且其幾何中心座標為(5,5);則截取後影像的四個邊界座標分別為(1.465,1.465)、(8.535,1.465)、(8.535,8.535)、(1.465,8.535),其幾何中心中心座標仍為(5,5)。如此,透過設定適當的截取比例,可應用影像尺寸較小的模板影像與尺寸較大的電路板影像進行比對,而可提高篩選為相同影像的機率。
步驟S2’:確認是否具有高度近似的電路板影像
將所述模板影像與其他無法識別之電路板影像進行比對以獲取對應的相似程度百分比,(如前述步驟S2)並在相似程度百分比不小於一相似度閥值時,判定對應的電路板影像與模板影像為相同;較佳地,該相似度閥值為97%。可選地,另要求經判定為相同的影像數須不小於相同影像數閥值;該相同影像數閥值不少於2,較佳為12。
基於第4圖的該另一修正判定流程,在一具體範例中,該比對發起數量為40,該模板數量為10,該截取比例為50%,該相似度閥值為97%,且該相同影像數閥值為12,可以提升整體判斷的準確性、信度與效率。
綜上所述,本發明的軟性電路板檢測系統,藉由該處理模組所執行的該修正判定流程,從無法識別的電路板影像中找出高度相似的數個影像,並將此等彼此為高度相似的影像自無法識別的一分類移除,再可選地歸類為一功能正常的分類中,而可達成自動化修正誤判的效果;特別是可透過截取模板影像的尺寸小於對應的準模板影像的尺寸,可應用影像尺寸較小的模板影像與尺寸較大的電路板影像進行比對,而可提高篩選為相同影像的機率。另,透過預建立模型以卷積神經網路及YOLOv2物件偵測模型作為對應的模型架構,可建立穩健且準確的缺陷辨識模型。另,透過各種缺陷種類的定義與判斷閥值的設定,可達成高準確率的辨識效果。
雖然本發明已利用上述較佳實施例揭示,然其並非用以限定本發明,任何熟習此技藝者在不脫離本發明之精神和範圍之內,相對上述實施例進行各種更動與修改仍屬本發明所保護之技術範疇,因此本發明之保護範圍當包含後附之申請專利範圍所記載的文義及均等範圍內之所有變更。又,上述之數個實施例或範例能夠組合時,則本發明包含任意組合的實施態樣。
S1,S2:步驟
Claims (25)
- 一種軟性電路板檢測系統,係運作於一電腦內,包含:一輸入模組,用以輸入一電路板影像;及一處理模組,耦接該輸入模組以接收該電路板影像,並以一預建立缺陷辨識模型辨識該電路板影像,以產生一辨識結果;該預建立缺陷辨識模型具有缺陷種類資料,以對應電路板影像辨識出對應的缺陷種類;在辨識結果為有缺陷時,代表該電路板影像被識別為具有至少一種可識別的缺陷種類;在辨識結果為無缺陷時,代表該電路板影像被識別為不具有任一缺陷種類;在辨識結果為無法識別時,代表該電路板影像被識別為疑似具有缺陷,且無法識別出其可對應的缺陷種類;其中,在具有多個無法識別的電路板影像的一情形中,該處理模組執行一修正判定流程:確認無法識別之電路板影像之數量不小於一比對發起數量,該比對發起數量不小於2;及在確認無法識別之電路板影像之數量不小於該比對發起數量的一情形中,將所述無法識別之電路板影像進行比對以獲取對應的相似程度百分比,並在相似程度百分比不小於一相似度閥值時,判定對應的電路板影像為相同。
- 一種軟性電路板檢測系統,係運作於一電腦內,包含:一輸入模組,用以輸入一電路板影像;及一處理模組,耦接該輸入模組以接收該電路板影像,並以一預建立缺陷辨識模型辨識該電路板影像,以產生一辨識結果;該預建立缺陷辨識模型具有缺陷種類資料,以對應電路板影像辨識出對應的缺陷種類;在辨識結果為有缺陷時,代表該電路板影像被識別為具有至少一種可識別的缺陷種類;在辨識結果為無缺陷時,代表該電路板影像被識別為不具有任一缺陷種類;在辨 識結果為無法識別時,代表該電路板影像被識別為疑似具有缺陷,且無法識別出其可對應的缺陷種類;其中,在具有多個無法識別的電路板影像的一情形中,該處理模組執行一修正判定流程:確認無法識別之電路板影像之數量是否不小於一比對發起數量,該比對發起數量不小於2;在確認無法識別之電路板影像之數量不小於該比對發起數量的一情形中,從無法識別之電路板影像中隨機選取一模板數量的影像以作為準模板影像,該模板數量不小於1;自各準模板影像的幾何中心依一截取比例向外截取一特定區域,以形成對應的模板影像,所述模板影像的尺寸小於對應的準模板影像的尺寸;及將所述模板影像與其他無法識別之電路板影像進行比對以獲取對應的相似程度百分比,並在相似程度百分比不小於一相似度閥值時,判定對應的電路板影像與模板影像為相同。
- 如請求項2之軟性電路板檢測系統,其中,該模板數量為10。
- 如請求項1至3中任一項之軟性電路板檢測系統,其中,該相似度閥值為97%。
- 如請求項1至3中任一項之軟性電路板檢測系統,其中,該比對發起數量為40。
- 如請求項1至3中任一項之軟性電路板檢測系統,其中,在判定對應的電路板影像與模板影像是否為相同後,再運用一相同影像數閥值,以針對經判定為相同的電路板影像的數量判定是否不小於該相同影像數閥值;該相同影像數閥值不少於2。
- 如請求項6之軟性電路板檢測系統,其中,該相同影像數閥 值為12。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含短路、斷路、缺口及凸出;所述短路代表兩條以上獨立線路間具有非預期的一接線相連,並具有對應的判斷閥值為0.50;所述斷路代表一獨立線路具有斷開特徵,並具有對應的判斷閥值為0.55;所述缺口代表一獨立線路間具有非預期的穿孔或非導電特徵,且未達斷路的狀態,並具有對應的判斷閥值為0.65;所述凸出代表一獨立線路具有一凸出區域朝另一獨立線路方向延伸,且未達連接兩獨立線路的狀態,並具有對應的判斷閥值為0.75。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含短路態樣一,所述短路態樣一代表兩條以上獨立線路間具小於線路1/2寬度的絲狀接線相連,並具有對應的判斷閥值為0.70。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含短路態樣二,所述短路態樣二代表兩條以上獨立線路間具有不小於線路1/2寬度的一般接線相連,但未達所述短路態樣三的狀態,並具有對應的判斷閥值為0.50。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含短路態樣三,所述短路態樣三代表兩條以上獨立線路間具有非預期的大面積導電區域相連,所述大面積導電區域之面積不小於對應對路圖影像的1/3面 積,並具有對應的判斷閥值為0.50。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含斷路,所述斷路代表一獨立線路具有斷開特徵,並具有對應的判斷閥值為0.55。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含大型斷路,所述大型斷路代表線路上的測試點被削除1/3以上面積,並具有對應的判斷閥值為0.60。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含缺口態樣一,所述缺口態樣一代表一獨立線路間具有大於線路1/2寬度的穿孔或非導電特徵,且未達斷路的狀態,並具有對應的判斷閥值為0.65。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含缺口態樣二,所述缺口態樣二代表一獨立線路表面上有大於線路1/2寬度的凹陷,且未達斷路的狀態,並具有對應的判斷閥值為0.45。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含凸出態樣一,所述凸出態樣一代表一獨立線路具有一凸出區域朝另一獨立線路方向延伸,該凸出區域大於兩獨立線路之間的縫隙的1/2寬度,且未達連接兩獨立線路的狀態,並具有對應的判斷閥值為0.75。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含凸出態樣二,所述凸出態樣二代表一獨立線路具有一凸出區域與另一獨立線路接近,該凸出區域與另一獨立線路接近處具有一定程度的高低落差或色差,且未達連接兩獨立線路的狀態,並具有對應的判斷閥值為0.70。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含刮傷,所述刮傷代表連續兩條線路以上線路受損變形大於1/2線寬的特徵或是線路剝離變形的狀態,並具有對應的判斷閥值為0.60。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含滲漏,所述滲漏代表兩條以上獨立線路間具有非預期的接線相連,所述非預期的接線的邊緣形狀沿獨立線路的延伸方向呈現弧形,並具有對應的判斷閥值為0.55。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含異物,所述異物代表一異物連接兩條線路以上或蓋住線路大於線路1/2寬度,該異物是不透明呈不規則形狀的金屬或非金屬,並具有對應的判斷閥值為0.45。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含異物但為可行態樣一,所述異物但為可行態樣一代表電路板上具有呈透明或半透明、呈不規則形狀且為無金屬光澤的一異物,並可辨識該異物下方所遮蓋之線路,並具有對應的判斷閥值為0.72。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含異物但為可行態樣二,所述異物但為可行態樣二代表電路板上具有遮蓋二條線路以上呈長條形且為無金屬光澤的一異物,並具有對應的判斷閥值為0.72。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含線路小瑕疵,所述線路小瑕疵代表線路上有微小黑色點狀或其他瑕疵特徵,該瑕疵特徵的尺寸小於所在的線路1/3寬度,並具有對應的判斷閥值為0.72。
- 如請求項8之軟性電路板檢測系統,其中,該缺陷種類包含測試點不均勻,所述測試點不均勻代表線路上的測試點處具有凹陷的形狀,並具有對應的判斷閥值為0.65。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111130253A TWI810016B (zh) | 2022-08-11 | 2022-08-11 | 軟性電路板檢測系統 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111130253A TWI810016B (zh) | 2022-08-11 | 2022-08-11 | 軟性電路板檢測系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI810016B true TWI810016B (zh) | 2023-07-21 |
TW202407370A TW202407370A (zh) | 2024-02-16 |
Family
ID=88149493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111130253A TWI810016B (zh) | 2022-08-11 | 2022-08-11 | 軟性電路板檢測系統 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI810016B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201218143A (en) * | 2010-10-28 | 2012-05-01 | Au Optronics Corp | Display device and system for inspecting bonding resistance and inpsecting method thereof |
CN110223269A (zh) * | 2019-04-24 | 2019-09-10 | 深圳市派科斯科技有限公司 | 一种fpc缺陷检测方法和装置 |
US20200393506A1 (en) * | 2017-11-15 | 2020-12-17 | Proteantecs Ltd. | Integrated circuit margin measurement and failure prediction device |
TW202204914A (zh) * | 2020-07-27 | 2022-02-01 | 法商思電子系統意象公司 | 顯示裝置及其線缺陷的檢測方法 |
CN114255212A (zh) * | 2021-12-07 | 2022-03-29 | 深圳技术大学 | 一种基于cnn的fpc表面缺陷检测方法及其系统 |
CN114266743A (zh) * | 2021-12-17 | 2022-04-01 | 深圳技术大学 | 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质 |
-
2022
- 2022-08-11 TW TW111130253A patent/TWI810016B/zh active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201218143A (en) * | 2010-10-28 | 2012-05-01 | Au Optronics Corp | Display device and system for inspecting bonding resistance and inpsecting method thereof |
US20200393506A1 (en) * | 2017-11-15 | 2020-12-17 | Proteantecs Ltd. | Integrated circuit margin measurement and failure prediction device |
CN110223269A (zh) * | 2019-04-24 | 2019-09-10 | 深圳市派科斯科技有限公司 | 一种fpc缺陷检测方法和装置 |
TW202204914A (zh) * | 2020-07-27 | 2022-02-01 | 法商思電子系統意象公司 | 顯示裝置及其線缺陷的檢測方法 |
CN114255212A (zh) * | 2021-12-07 | 2022-03-29 | 深圳技术大学 | 一种基于cnn的fpc表面缺陷检测方法及其系统 |
CN114266743A (zh) * | 2021-12-17 | 2022-04-01 | 深圳技术大学 | 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
TW202407370A (zh) | 2024-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI757825B (zh) | 基於假點缺陷檢測之pcb檢修系統及檢修方法 | |
Anitha et al. | A survey on defect detection in bare PCB and assembled PCB using image processing techniques | |
CN110659660B (zh) | 利用深度学习系统的自动光学检测分类设备及其训练设备 | |
CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
CN111899241B (zh) | 一种定量化的炉前pcb贴片缺陷在线检测方法及系统 | |
WO2018061067A1 (ja) | 欠陥検査装置及び欠陥検査方法 | |
CN110544231B (zh) | 基于背景标准化和集中补偿算法的锂电池电极表面缺陷检测方法 | |
TWI765442B (zh) | 瑕疵等級判定的方法及存儲介質 | |
KR100868884B1 (ko) | 유리 기판 유리 불량 정보 시스템 및 분류 방법 | |
WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
JP2011158373A (ja) | 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置 | |
CN109462999B (zh) | 通过数据平衡基于学习的视觉检查方法以及利用其的视觉检查装置 | |
US20200090319A1 (en) | Machine learning method implemented in aoi device | |
CN115690670A (zh) | 一种晶圆瑕疵智能识别方法和系统 | |
CN110175614A (zh) | 一种印刷电路板过孔内壁质量的检测方法 | |
CN115239626A (zh) | 缺陷检测方法、光学检测设备、电子设备以及存储介质 | |
Iwahori et al. | Defect classification of electronic board using dense SIFT and CNN | |
TWI810016B (zh) | 軟性電路板檢測系統 | |
Zhang et al. | An automatic defect detection method for TO56 semiconductor laser using deep convolutional neural network | |
Driels et al. | Automatic defect classification of printed wiring board solder joints | |
CN114527134B (zh) | 缺陷特征阈值取得装置、应用其的影像检测系统及方法 | |
US20220375096A1 (en) | System and method to detect quality of silk cocoons | |
CN114441554B (zh) | 检测方法 | |
TWI773493B (zh) | 缺陷特徵閾值取得裝置、應用其之影像檢測系統及方法 | |
CN118038026B (zh) | 基于旋转目标检测的变电站二次接线可信质检方法 |