TWI840006B - 印刷電路板缺陷檢測模型訓練方法及缺陷檢測方法 - Google Patents
印刷電路板缺陷檢測模型訓練方法及缺陷檢測方法 Download PDFInfo
- Publication number
- TWI840006B TWI840006B TW111147431A TW111147431A TWI840006B TW I840006 B TWI840006 B TW I840006B TW 111147431 A TW111147431 A TW 111147431A TW 111147431 A TW111147431 A TW 111147431A TW I840006 B TWI840006 B TW I840006B
- Authority
- TW
- Taiwan
- Prior art keywords
- printed circuit
- circuit board
- learning
- sample
- information
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 120
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 238000012549 training Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013461 design Methods 0.000 claims abstract description 26
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims description 27
- 229910052802 copper Inorganic materials 0.000 claims description 27
- 239000010949 copper Substances 0.000 claims description 27
- 230000002950 deficient Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000005728 strengthening Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本公開提供了一種印刷電路板缺陷檢測模型訓練方法及缺陷檢測方法，訓練方法包括：獲取印刷電路板的設計文檔資訊，設計文檔資訊包括印刷電路板的區域資訊；並利用掃描相機設備對印刷電路板進行掃描，得到印刷電路板的掃描圖像；基於印刷電路板的掃描圖像和區域資訊，生成學習樣本，每個學習樣本包括樣本圖像及對應的標簽，包括：截取掃描圖像中的局部圖像，得到樣本圖像，並對樣本圖像進行人工打標，其中，人工打標所得到的標簽包括區域資訊以及缺陷資訊；建立樣本庫，包括按照上述步驟收集並存儲基於多個印刷電路板各自生成的學習樣本；利用樣本庫的學習樣本，對基礎模型進行訓練，得到印刷電路板缺陷檢測模型。
Description
本發明涉及PCB缺陷檢測領域，尤其涉及一種印刷電路板缺陷檢測模型訓練方法及缺陷檢測方法。
自動光學檢測（Automated Optical Inspection，簡稱AOI）設備現已成為電子製造業確保產品質量的重要檢測工具和過程質量控製工具，AOI設備的檢測原理為：當自動檢測時，AOI設備通過高清CCD攝像頭自動掃描PCB產品以採集圖像，測試的檢測點與數據庫中的合格參數進行比較，經過圖像處理，檢查出被測產品上的缺陷。
通常由AOI設備檢測到缺陷後，就會將缺陷信息發送給檢修工進行檢修。但是AOI設備的檢測精度較低，比如電路板上的灰塵或者汙點都會被AOI設備誤判為缺陷，因此，需要提高現有技術中的PCB缺陷精測精度。
以上背景技術內容的公開僅用於輔助理解本發明的發明構思及技術方案，其並不必然屬於本專利申請的現有技術，也不必然會給出技術教導；在沒有明確的證據表明上述內容在本專利申請的申請日之前已經公開的情況下，上述背景技術不應當用於評價本申請的新穎性和創造性。
本發明的目的是提供一種印刷電路板缺陷檢測模型的訓練方法，以訓練得到改進的AI模型，能夠精確並快速地識別出電路板的缺陷。
為達到上述目的，本發明採用的技術方案如下：
一種印刷電路板缺陷檢測模型訓練方法，包括以下步驟：
獲取印刷電路板的設計文檔資訊，所述設計文檔資訊包括所述印刷電路板的層資訊和/或區域塊位置資訊；並利用掃描相機設備對所述印刷電路板進行掃描，得到所述印刷電路板的掃描圖像；
基於所述印刷電路板的掃描圖像和設計文檔資訊，生成一個或多個學習樣本，每個學習樣本包括樣本圖像及對應的標簽，包括：截取所述掃描圖像中的局部圖像，得到樣本圖像，並對所述樣本圖像進行人工打標，其中，人工打標所得到的標簽包括層資訊、區域塊位置資訊中的一種或兩種資訊以及缺陷資訊；
建立樣本庫，包括按照上述步驟收集並存儲基於多個印刷電路板各自生成的學習樣本；
利用所述樣本庫的學習樣本，對基礎模型進行訓練，得到印刷電路板缺陷檢測模型。
進一步地，所述基礎模型配置有第一學習子模塊和第二學習子模塊，其中，
所述第一學習子模塊基於學習樣本中的樣本圖像和標簽中的缺陷資訊進行學習訓練，得到中間模型；
所述第二學習子模塊基於學習樣本中的標簽，學習所述層資訊、區域塊位置資訊中的一種或兩種資訊與缺陷資訊之間的特徵資訊；並且，
所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習，得到所述印刷電路板缺陷檢測模型。
進一步地，所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習包括：
若樣本圖像對應的層信息為電源層或接地層，則所述中間模型的學習目標為將樣本圖像中的特徵學習為非短路的特徵。
進一步地，所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習包括：
若樣本圖像對應的層信息為線路層或對應的區域塊位置資訊為銅面區域，則所述中間模型將學習註意力集中在特定學習樣本上，所述特定學習樣本的標簽中的缺陷資訊為有缺陷，且缺陷類型為短路、斷路以外的其他類型，或者所述特定學習樣本的標簽中的缺陷資訊為無缺陷。
進一步地，所述中間模型學習所述特定學習樣本的方法為：
若所述特定學習樣本的樣本圖像中存在兩個分開的銅特徵或連接著兩根排線的線特徵，則弱化該樣本圖像中兩個分開的銅特徵的識別力或連接著兩根排線的線特徵的識別力。
進一步地，所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習包括：
若樣本圖像對應的層信息為線路層或對應的區域塊位置資訊為銅面區域，則所述中間模型學習缺陷類型為短路的缺陷資訊所對應的樣本圖像的方法為：強化該樣本圖像中兩個分開的銅特徵的識別力，或者，強化該樣本圖像中連接著兩根排線的線特徵的識別力。
進一步地，所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習包括：
若樣本圖像對應的層信息為線路層或對應的區域塊位置資訊為銅面區域，則所述中間模型學習缺陷類型為斷路的缺陷資訊所對應的樣本圖像的方法為：強化該樣本圖像中排線上存在缺口的特徵的識別力。
進一步地，對所述樣本庫進行預處理，包括：遍歷樣本庫中的樣本圖像，若樣本圖像對應的層信息為線路層或對應的區域塊位置資訊為銅面區域，則利用圖像處理器對該樣本圖像中的電子器件和銅導線分別標記不同的顏色；
利用完成預處理後的樣本庫的學習樣本，對基礎模型進行訓練，得到印刷電路板缺陷檢測模型。
進一步地，所述掃描相機設備集成在AOI設備上，所述印刷電路板的設計文檔資訊被輸入至所述AOI設備，所述基礎模型為所述AOI設備的檢測模型或其後端的AI模型。
進一步地，利用所述樣本庫構建訓練集和測試集，利用所述訓練集對所述基礎模型進行多輪次的訓練；
利用所述測試集對訓練後的模型進行驗證，包括：利用均方差誤差損失函數或平均絕對值誤差損失函數來計算訓練後的模型的損失值；並且根據預測結果與標簽一致的預測次數以及預測總次數來計算訓練後的模型的準確率；
驗證所述損失值和準確率是否均滿足預設的訓練目標，則將當前訓練後的模型作為所述印刷電路板缺陷檢測模型；否則利用所述訓練集進行疊代訓練，直至疊代訓練得到的模型的損失值和準確率均通過驗證。
根據本發明的另一方面，提供了一種印刷電路板缺陷檢測方法，包括以下步驟：
獲取待檢測的印刷電路板的圖像及其層資訊和/或區域塊位置資訊；
將所述印刷電路板的圖像及其層資訊和/或區域塊位置資訊輸入預先完成訓練的印刷電路板缺陷檢測模型；
所述印刷電路板缺陷檢測模型輸出檢測結果；
其中，所述印刷電路板缺陷檢測模型通過以下步驟完成訓練：
獲取印刷電路板的設計文檔資訊，所述設計文檔資訊包括所述印刷電路板的層資訊和/或區域塊位置資訊；並利用掃描相機設備對所述印刷電路板進行掃描，得到所述印刷電路板的掃描圖像；
基於所述印刷電路板的掃描圖像和設計文檔資訊，生成一個或多個學習樣本，每個學習樣本包括樣本圖像及對應的標簽，包括：截取所述掃描圖像中的局部圖像，得到樣本圖像，並對所述樣本圖像進行人工打標，其中，人工打標所得到的標簽包括層資訊、區域塊位置資訊中的一種或兩種資訊以及缺陷資訊；
建立樣本庫，包括按照上述步驟收集並存儲基於多個印刷電路板各自生成的學習樣本；
利用所述樣本庫的學習樣本，對基礎模型進行訓練，所述基礎模型配置有第一學習子模塊和第二學習子模塊，所述第一學習子模塊基於學習樣本中的樣本圖像和標簽中的缺陷資訊進行學習訓練，得到中間模型；所述第二學習子模塊基於學習樣本中的標簽，學習所述層資訊、區域塊位置資訊中的一種或兩種資訊與缺陷資訊之間的特徵資訊；所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習，得到所述印刷電路板缺陷檢測模型。
進一步地，所述印刷電路板缺陷檢測模型通過如上所述的印刷電路板缺陷檢測模型訓練方法訓練得到。
本發明提供的技術方案帶來的有益效果如下：
a. 充分利用電路板的區域資訊，去學習區域信息與缺陷之間的規律，訓練得到改進的AI模型，改進後的AI模型結合電路板的區域資訊對電路板圖像進行精準識別；
b. 掌握電路板區域與電路板缺陷的關聯特徵，可以快速排除某些區域不可能存在的缺陷類型，提高缺陷檢測效率和檢測結果的精準度。
為了使本技術領域的人員更好地理解本發明方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分的實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。
需要說明的是，本發明的說明書和發明申請專利範圍及上述附圖中的術語「第一」、「第二」等是用於區別類似的對象，而不必用於描述特定的順序或先後次序。應該理解這樣使用的數據在適當情況下可以互換，以便這裏描述的本發明的實施例能夠以除了在這裏圖示或描述的那些以外的順序實施。此外，術語「包括」和「具有」以及他們的任何變形，意圖在於覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、裝置、產品或設備不必限於清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其他步驟或單元。
在印刷電路板（PCB）缺陷檢測中，通常是將電路板的掃描圖像輸入AI模型，通過圖像分析技術去提取圖像中的特徵，分析是否符合缺陷的特徵，也就是說，目前的缺陷檢測技術中，僅對電路板圖像進行分析檢測。本發明提出了一種電路板圖像結合其相應區域資訊來作出缺陷檢測的技術，利用電路板的整層所屬區域資訊或局部所屬區域資訊來協助AI模型更快、更準地得出PCB缺陷檢測結果。如圖1所示，每個電路板/每種類型的電路板均有相應的設計文檔，裏面會詳細記錄電路板的各個層資訊，以及每層上的分佈設計資訊，稱之為區域塊位置資訊；在利用AOI設備對電路板進行掃描之前，將設計文檔輸入AOI設備，AOI設備按照設計文檔逐一地對對應的PCB各層進行掃描，本發明實施例中，AOI設備將掃描的PCB圖像與相應的PCB區域資訊（層資訊和/或區域塊位置資訊）發送給後端的AI模型，AI模型根據這兩個輸入資訊，得到PCB缺陷檢測結果，在本發明的一個實施例中，AOI具備缺陷初步識別的功能，相應地，將AOI設備識別到有缺陷的區域截取出來，得到PCB子圖像，再傳給後端的AI模型。
PCB掃描圖像上稍有異常的局部區域被AOI設備識別，根據經驗，其中會有被誤判的情況，比如一些灰塵或者汙點，而被截取出的子圖像發送給AI模型，由其結合各個PCB子圖像的區域信息對各個PCB子圖像進行精確識別，有效排除AOI設備誤識別的假缺陷。不同於其他PCB缺陷檢測模型，本發明中的AI模型是一種結合區域資訊對PCB圖像進行AI識別的模型，為此，本發明提出了一種對其訓練的方法，如圖2所示，印刷電路板缺陷檢測模型訓練方法包括以下步驟：
獲取印刷電路板的設計文檔資訊，所述設計文檔資訊包括所述印刷電路板的層資訊和/或區域塊位置資訊；並利用掃描相機設備對所述印刷電路板進行掃描，得到所述印刷電路板的掃描圖像；
基於所述印刷電路板的掃描圖像和設計文檔資訊，生成一個或多個學習樣本，每個學習樣本包括樣本圖像及對應的標簽，包括：截取所述掃描圖像中的局部圖像，得到樣本圖像，並對所述樣本圖像進行人工打標，其中，人工打標所得到的標簽包括層資訊、區域塊位置資訊中的一種或兩種資訊以及缺陷資訊；
建立樣本庫，包括按照上述步驟收集並存儲基於多個印刷電路板各自生成的學習樣本；
利用所述樣本庫的學習樣本，對基礎模型進行訓練，得到印刷電路板缺陷檢測模型。
利用具有印刷電路板的層資訊和/或區域塊位置資訊（在圖3中簡稱為區域信息）的學習樣本，對AI基礎模型進行訓練的具體方式如下：參見圖3，所述基礎模型配置有第一學習子模塊和第二學習子模塊，其中，
所述第一學習子模塊基於學習樣本中的樣本圖像和標簽中的缺陷資訊進行學習訓練，得到中間模型；
所述第二學習子模塊基於學習樣本中的標簽，學習所述層資訊、區域塊位置資訊中的一種或兩種資訊與缺陷資訊之間的特徵資訊；並且，
所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習，得到所述印刷電路板缺陷檢測模型。
其中，所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習包括以下幾個方面：
第一方面、第二學習子模塊學習到電源層或接地層的PCB圖像不存在短路缺陷的特徵資訊，基於此學習成果，中間模型在學習層資訊為電源層或接地層的樣本圖像時，中間模型的學習目標為將樣本圖像中的特徵學習為非短路的特徵。
第二方面、第二學習子模塊學習到層資訊為線路層或對應的區域塊位置資訊為銅面區域的圖像中，缺陷類型大概率集中在短路、斷路兩大類型，基於此學習成果，中間模型在學習線路層或對應的區域塊位置資訊為銅面區域的樣本圖像時，中間模型將學習註意力集中在特定學習樣本上，所述特定學習樣本的標簽中的缺陷資訊為有缺陷，且缺陷類型為短路、斷路以外的其他類型，或者所述特定學習樣本的標簽中的缺陷資訊為無缺陷。即對小概率的缺陷類型進行學習，降低將線路層或銅面區域的圖像中的缺陷誤識別為短路或斷路類型的概率，提高識別正確率。
具體地，中間模型學習所述特定學習樣本的方法為：若所述特定學習樣本的樣本圖像中存在兩個分開的銅特徵或連接著兩根排線的線特徵，則弱化該樣本圖像中兩個分開的銅特徵的識別力或連接著兩根排線的線特徵的識別力。
協力廠商面、除了第二方面的將學習註意力集中在特定學習樣本上，同樣也需要對非特定學習樣本（即標簽中的缺陷資訊為短路或斷路類型）進行學習，對於短路類型的樣本圖像，中間模型強化該樣本圖像中兩個分開的銅特徵的識別力；或者，中間模型強化該樣本圖像中連接著兩根排線的線特徵的識別力。對於斷路類型的樣本圖像，所述中間模型結合所述第二學習子模塊學習到的特徵資訊，強化該樣本圖像中排線上存在缺口的特徵的識別力。
在本發明的一個實施例中，電路板的區域資訊可以用來對所述樣本庫進行預處理，包括：遍歷樣本庫中的樣本圖像，若樣本圖像對應的層信息為線路層或對應的區域塊位置資訊為銅面區域，則利用圖像處理器對該樣本圖像中的電子器件和銅導線分別標記不同的顏色；利用完成預處理後的樣本庫的學習樣本，對基礎模型進行訓練，得到印刷電路板缺陷檢測模型。通過獲知哪些區域是電子器件的所在區域，哪些區域是銅導線的所在區域，可以對電子器件和銅導線分別標記不同的顏色，可以使得模型更容易區分電子器件和銅導線，進一步提高缺陷識別的效率和精確度。
在印刷電路板缺陷檢測模型的訓練過程中，還涉及模型的收斂和驗證：利用所述樣本庫構建訓練集和測試集，利用所述訓練集對所述基礎模型進行多輪次的訓練；
利用所述測試集對訓練後的模型進行驗證，包括：利用均方差誤差損失函數或平均絕對值誤差損失函數來計算訓練後的模型的損失值；並且根據預測結果與標簽一致的預測次數以及預測總次數來計算訓練後的模型的準確率：
；
驗證所述損失值和準確率是否均滿足預設的訓練目標，則將當前訓練後的模型作為所述印刷電路板缺陷檢測模型；否則利用所述訓練集進行疊代訓練，直至疊代訓練得到的模型的損失值和準確率均通過驗證。
在本發明的一個實施例中，提供了一種印刷電路板缺陷檢測方法，如圖4所示，檢測方法包括以下步驟：
獲取待檢測的印刷電路板的圖像及其層資訊和/或區域塊位置資訊；
將所述印刷電路板的圖像及其層資訊和/或區域塊位置資訊輸入預先完成訓練的印刷電路板缺陷檢測模型；
所述印刷電路板缺陷檢測模型輸出檢測結果；
其中，所述印刷電路板缺陷檢測模型通過以下步驟完成訓練：
獲取印刷電路板的設計文檔資訊，所述設計文檔資訊包括所述印刷電路板的層資訊和/或區域塊位置資訊；並利用掃描相機設備對所述印刷電路板進行掃描，得到所述印刷電路板的掃描圖像；
基於所述印刷電路板的掃描圖像和設計文檔資訊，生成一個或多個學習樣本，每個學習樣本包括樣本圖像及對應的標簽，包括：截取所述掃描圖像中的局部圖像，得到樣本圖像，並對所述樣本圖像進行人工打標，其中，人工打標所得到的標簽包括層資訊、區域塊位置資訊中的一種或兩種資訊以及缺陷資訊；
建立樣本庫，包括按照上述步驟收集並存儲基於多個印刷電路板各自生成的學習樣本；
利用所述樣本庫的學習樣本，對基礎模型進行訓練，所述基礎模型配置有第一學習子模塊和第二學習子模塊，所述第一學習子模塊基於學習樣本中的樣本圖像和標簽中的缺陷資訊進行學習訓練，得到中間模型；所述第二學習子模塊基於學習樣本中的標簽，學習所述層資訊、區域塊位置資訊中的一種或兩種資訊與缺陷資訊之間的特徵資訊；所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習，得到所述印刷電路板缺陷檢測模型。
本缺陷檢測方法實施例是利用上述訓練方法實施例所訓練得到的印刷電路板缺陷檢測模型對輸入的待檢測的印刷電路板的圖像及其層資訊和/或區域塊位置資訊進行AI識別，進而輸出缺陷檢測結果。將上述印刷電路板缺陷檢測模型訓練方法實施例的全部內容通過引入本印刷電路板缺陷檢測方法實施例。
需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限製的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
以上所述僅是本申請的具體實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本申請原理的前提下，還可以做出若幹改進和潤飾，這些改進和潤飾也應視為本申請的保護範圍。
無
為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為本發明的一個示例性實施例提供的構思圖；
圖2為本發明的一個示例性實施例提供的印刷電路板缺陷檢測模型訓練的流程示意圖；
圖3為本發明的一個示例性實施例提供的利用電路板區域資訊對AI基礎模型進行訓練的流程示意圖；
圖4為本發明的一個示例性實施例提供的印刷電路板缺陷檢測的資訊流圖。
Claims (11)
- 一種印刷電路板缺陷檢測模型訓練方法，其中，包括以下步驟：獲取印刷電路板的設計文檔資訊，所述設計文檔資訊包括所述印刷電路板的層資訊和/或區域塊位置資訊；並利用掃描相機設備對所述印刷電路板進行掃描，得到所述印刷電路板的掃描圖像；基於所述印刷電路板的掃描圖像和設計文檔資訊，生成一個或多個學習樣本，每個學習樣本包括樣本圖像及對應的標簽，包括：截取所述掃描圖像中的局部圖像，得到樣本圖像，並對所述樣本圖像進行人工打標，其中，人工打標所得到的標簽包括層資訊、區域塊位置資訊中的一種或兩種資訊以及缺陷資訊；建立樣本庫，包括按照上述步驟收集並存儲基於多個印刷電路板各自生成的學習樣本；利用所述樣本庫的學習樣本，對基礎模型進行訓練，得到印刷電路板缺陷檢測模型，其中，所述基礎模型配置有第一學習子模塊和第二學習子模塊，所述第一學習子模塊基於學習樣本中的樣本圖像和標簽中的缺陷資訊進行學習訓練，得到中間模型；所述第二學習子模塊基於學習樣本中的標簽，學習所述層資訊、區域塊位置資訊中的一種或兩種資訊與缺陷資訊之間的特徵資訊；並且，所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習，得到所述印刷電 路板缺陷檢測模型。
- 如請求項1所述的印刷電路板缺陷檢測模型訓練方法，其中，所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習包括：若樣本圖像對應的層信息為電源層或接地層，則所述中間模型的學習目標為將樣本圖像中的特徵學習為非短路的特徵。
- 如請求項1所述的印刷電路板缺陷檢測模型訓練方法，其中，所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習包括：若樣本圖像對應的層信息為線路層或對應的區域塊位置資訊為銅面區域，則所述中間模型將學習註意力集中在特定學習樣本上，所述特定學習樣本的標簽中的缺陷資訊為有缺陷，且缺陷類型為短路、斷路以外的其他類型，或者所述特定學習樣本的標簽中的缺陷資訊為無缺陷。
- 如請求項3所述的印刷電路板缺陷檢測模型訓練方法，其中，所述中間模型學習所述特定學習樣本的方法為：若所述特定學習樣本的樣本圖像中存在兩個分開的銅特徵或連接著兩根排線的線特徵，則弱化該樣本圖像中兩個分開的銅特徵的識別力或連接著兩根排線的線特徵的識別力。
- 如請求項1所述的印刷電路板缺陷檢測模型訓練方法，其中，所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習包括： 若樣本圖像對應的層信息為線路層或對應的區域塊位置資訊為銅面區域，則所述中間模型學習缺陷類型為短路的缺陷資訊所對應的樣本圖像的方法為：強化該樣本圖像中兩個分開的銅特徵的識別力，或者，強化該樣本圖像中連接著兩根排線的線特徵的識別力。
- 如請求項1所述的印刷電路板缺陷檢測模型訓練方法，其中，所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習包括：若樣本圖像對應的層信息為線路層或對應的區域塊位置資訊為銅面區域，則所述中間模型學習缺陷類型為斷路的缺陷資訊所對應的樣本圖像的方法為：強化該樣本圖像中排線上存在缺口的特徵的識別力。
- 如請求項1至6中任一項所述的印刷電路板缺陷檢測模型訓練方法，其中，對所述樣本庫進行預處理，包括：遍歷樣本庫中的樣本圖像，若樣本圖像對應的層信息為線路層或對應的區域塊位置資訊為銅面區域，則利用圖像處理器對該樣本圖像中的電子器件和銅導線分別標記不同的顏色；利用完成預處理後的樣本庫的學習樣本，對基礎模型進行訓練，得到印刷電路板缺陷檢測模型。
- 如請求項1至6中任一項所述的印刷電路板缺陷檢測模型訓練方法，其中，所述掃描相機設備集成在AOI設備上，所 述印刷電路板的設計文檔資訊被輸入至所述AOI設備，所述基礎模型為所述AOI設備的檢測模型或其後端的AI模型。
- 如請求項1至6中任一項所述的印刷電路板缺陷檢測模型訓練方法，其中，利用所述樣本庫構建訓練集和測試集，利用所述訓練集對所述基礎模型進行多輪次的訓練；利用所述測試集對訓練後的模型進行驗證，包括：利用均方差誤差損失函數或平均絕對值誤差損失函數來計算訓練後的模型的損失值；並且根據預測結果與標簽一致的預測次數以及預測總次數來計算訓練後的模型的準確率；驗證所述損失值和準確率是否均滿足預設的訓練目標，則將當前訓練後的模型作為所述印刷電路板缺陷檢測模型；否則利用所述訓練集進行疊代訓練，直至疊代訓練得到的模型的損失值和準確率均通過驗證。
- 一種印刷電路板缺陷檢測方法，其中，包括以下步驟：獲取待檢測的印刷電路板的圖像及其層資訊和/或區域塊位置資訊；將所述印刷電路板的圖像及其層資訊和/或區域塊位置資訊輸入預先完成訓練的印刷電路板缺陷檢測模型；所述印刷電路板缺陷檢測模型輸出檢測結果；其中，所述印刷電路板缺陷檢測模型通過以下步驟完成訓練； 獲取印刷電路板的設計文檔資訊，所述設計文檔資訊包括所述印刷電路板的層資訊和/或區域塊位置資訊；並利用掃描相機設備對所述印刷電路板進行掃描，得到所述印刷電路板的掃描圖像；基於所述印刷電路板的掃描圖像和設計文檔資訊，生成一個或多個學習樣本，每個學習樣本包括樣本圖像及對應的標簽，包括：截取所述掃描圖像中的局部圖像，得到樣本圖像，並對所述樣本圖像進行人工打標，其中，人工打標所得到的標簽包括層資訊、區域塊位置資訊中的一種或兩種資訊以及缺陷資訊；建立樣本庫，包括按照上述步驟收集並存儲基於多個印刷電路板各自生成的學習樣本；利用所述樣本庫的學習樣本，對基礎模型進行訓練，所述基礎模型配置有第一學習子模塊和第二學習子模塊，所述第一學習子模塊基於學習樣本中的樣本圖像和標簽中的缺陷資訊進行學習訓練，得到中間模型；所述第二學習子模塊基於學習樣本中的標簽，學習所述層資訊、區域塊位置資訊中的一種或兩種資訊與缺陷資訊之間的特徵資訊；所述中間模型結合所述第二學習子模塊學習到的特徵資訊，對所述學習樣本中的樣本圖像進行再學習，得到所述印刷電路板缺陷檢測模型。
- 如請求項10所述的印刷電路板缺陷檢測方法，其中，所述印刷電路板缺陷檢測模型通過如請求項2至9中任一項所述的印刷電路板缺陷檢測模型訓練方法訓練得到。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210694133.8A CN114782431B (zh) | 2022-06-20 | 2022-06-20 | 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法 |
| CN202210694133.8 | 2022-06-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202402117A TW202402117A (zh) | 2024-01-01 |
| TWI840006B true TWI840006B (zh) | 2024-04-21 |
Family
ID=82421972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111147431A TWI840006B (zh) | 2022-06-20 | 2022-12-09 | 印刷電路板缺陷檢測模型訓練方法及缺陷檢測方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114782431B (zh) |
| TW (1) | TWI840006B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116967615B (zh) * | 2023-07-31 | 2024-04-12 | 上海感图网络科技有限公司 | 电路板复检打标方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109239102A (zh) * | 2018-08-21 | 2019-01-18 | 南京理工大学 | 一种基于cnn的柔性电路板外观缺陷检测方法 |
| TW202210852A (zh) * | 2020-08-21 | 2022-03-16 | 美商科磊股份有限公司 | 用於重複缺陷檢測之無監督學習 |
| CN114549512A (zh) * | 2022-03-01 | 2022-05-27 | 成都数之联科技股份有限公司 | 一种电路板缺陷检测方法、装置、设备及介质 |
| TW202223740A (zh) * | 2020-12-01 | 2022-06-16 | 凌華科技股份有限公司 | 自動檢測系統及其操作方法 |
| TW202224506A (zh) * | 2020-12-01 | 2022-06-16 | 由田新技股份有限公司 | 基板資訊分析系統及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862067B (zh) * | 2020-07-28 | 2021-10-26 | 中山佳维电子有限公司 | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 |
| CN114445365A (zh) * | 2022-01-25 | 2022-05-06 | 深圳市中钞科信金融科技有限公司 | 基于深度学习算法的钞票印刷质量检查方法 |
-
2022
- 2022-06-20 CN CN202210694133.8A patent/CN114782431B/zh active Active
- 2022-12-09 TW TW111147431A patent/TWI840006B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109239102A (zh) * | 2018-08-21 | 2019-01-18 | 南京理工大学 | 一种基于cnn的柔性电路板外观缺陷检测方法 |
| TW202210852A (zh) * | 2020-08-21 | 2022-03-16 | 美商科磊股份有限公司 | 用於重複缺陷檢測之無監督學習 |
| TW202223740A (zh) * | 2020-12-01 | 2022-06-16 | 凌華科技股份有限公司 | 自動檢測系統及其操作方法 |
| TW202224506A (zh) * | 2020-12-01 | 2022-06-16 | 由田新技股份有限公司 | 基板資訊分析系統及方法 |
| CN114549512A (zh) * | 2022-03-01 | 2022-05-27 | 成都数之联科技股份有限公司 | 一种电路板缺陷检测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114782431B (zh) | 2022-10-14 |
| CN114782431A (zh) | 2022-07-22 |
| TW202402117A (zh) | 2024-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109239102B (zh) | 一种基于cnn的柔性电路板外观缺陷检测方法 | |
| TWI757825B (zh) | 基於假點缺陷檢測之pcb檢修系統及檢修方法 | |
| CN110659660B (zh) | 利用深度学习系统的自动光学检测分类设备及其训练设备 | |
| CN110021005B (zh) | 电路板瑕疵筛选方法及其装置与计算机可读取记录介质 | |
| CN118150575A (zh) | 自动光学检测方法、设备、及其深度学习系统 | |
| CN111024728B (zh) | 一种基于计算机视觉与超声波探伤的铁路检测方法和系统 | |
| TWI840006B (zh) | 印刷電路板缺陷檢測模型訓練方法及缺陷檢測方法 | |
| CN112381175A (zh) | 一种基于图像处理的电路板识别与分析方法 | |
| TWI707137B (zh) | 智能產線監測系統及監測方法 | |
| CN116718600B (zh) | 一种用于对线束产品进行智能化检测的检测装置 | |
| CN110186375A (zh) | 智能化高铁白车身焊接装配特征检测装置及检测方法 | |
| TW201930908A (zh) | 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體 | |
| TWM604031U (zh) | 基於人工智能的光學檢測系統 | |
| CN113077416A (zh) | 一种基于图像处理的焊点焊接缺陷检测方法与系统 | |
| Chavan et al. | Quality control of PCB using image processing | |
| CN113191362B (zh) | 一种变电设备油渗漏缺陷检测装置及方法 | |
| Londe et al. | Automatic PCB defects detection and classification using MATLAB | |
| CN115272340B (zh) | 工业产品缺陷检测方法和装置 | |
| JP7423368B2 (ja) | 不良検出装置及び不良検出方法 | |
| CN1459628A (zh) | 电路板板材表面瑕疵检测即时汇报装置 | |
| CN110989422A (zh) | 一种基于流水号喷码的aoi过检参数的管理系统及管理方法 | |
| TWI832180B (zh) | 瑕疵檢測方法及系統 | |
| CN115035101B (zh) | 半导体芯片载板的缺陷验证方法、检测方法及aoi设备 | |
| TWI843333B (zh) | 半導體芯片載板的缺陷驗證方法、檢測方法及aoi設備 | |
| TWI787630B (zh) | 基於人工智能的瑕疵檢測方法及其光學檢測系統 |