TWI826207B - Pcb缺陷檢測系統及pcb缺陷檢測方法 - Google Patents
Pcb缺陷檢測系統及pcb缺陷檢測方法 Download PDFInfo
- Publication number
- TWI826207B TWI826207B TW111150248A TW111150248A TWI826207B TW I826207 B TWI826207 B TW I826207B TW 111150248 A TW111150248 A TW 111150248A TW 111150248 A TW111150248 A TW 111150248A TW I826207 B TWI826207 B TW I826207B
- Authority
- TW
- Taiwan
- Prior art keywords
- defect
- model
- pcb
- detection sub
- detection
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 284
- 238000001514 detection method Methods 0.000 title claims abstract description 247
- 238000012549 training Methods 0.000 claims description 28
- 238000007689 inspection Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 20
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000003672 processing method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003647 oxidation Effects 0.000 description 3
- 238000007254 oxidation reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本公開提供了一種PCB缺陷檢測系統及PCB缺陷檢測方法，系統被配置為對目標PCB圖像進行缺陷檢測，系統至少包括第一檢測子模型和第二檢測子模型，第一檢測子模型比第二檢測子模型的優先級高；第一檢測子模型/第二檢測子模型被預先訓練以預測一PCB圖像具有第一缺陷類型/第二缺陷類型的概率，第一缺陷類型與第二缺陷類型不同；若第一檢測子模型預測得到目標PCB圖像具有第一缺陷類型的概率超過預設的第一閾值，則確定目標PCB圖像的缺陷檢測結果為第一缺陷類型；否則將目標PCB圖像輸入第二檢測子模型。本公開提出分多個子模型分別專註學習特定的一種缺陷類型，提高模型學習效率和缺陷檢測效率，並提升缺陷識別精度。
Description
本發明涉及PCB檢測領域，尤其涉及一種PCB缺陷檢測系統及PCB缺陷檢測方法。
在典型的 AI 訓練過程中，AI模型被訓練為通過向其中輸入大量各種類型的圖像來識別各種類型的缺陷和非缺陷（誤報缺陷）。這種訓練方法的缺點是，在實際生產中，不同類型的缺陷或誤報缺陷以不同的頻率發生，訓練過程中不同類型的缺陷可能會造成不相等的識別準確率，以及試圖識別所有類型的缺陷和誤報所導致的低效率。此外，根據不同類型缺陷或誤報的發生頻率，頻率低的缺陷類型會拉低整體的識別精準度，因此，可能需要相當長的時間才能達到可接受的整體準確度水平。
以上背景技術內容的公開僅用於輔助理解本發明的發明構思及技術方案，其並不必然屬於本專利申請的現有技術，也不必然會給出技術教導；在沒有明確的證據表明上述內容在本專利申請的申請日之前已經公開的情況下，上述背景技術不應當用於評價本申請的新穎性和創造性。
本發明的目的是提供一種提高檢測效率和準確率的PCB缺陷檢測系統及PCB缺陷檢測方法。
為達到上述目的，本發明采用的技術方案如下：
一種PCB缺陷檢測系統，其被配置為對目標PCB圖像進行缺陷檢測，所述系統至少包括第一檢測子模型和第二檢測子模型，其中，所述第一檢測子模型的優先級比所述第二檢測子模型的優先級高；
所述第一檢測子模型被預先訓練以預測一PCB圖像具有第一缺陷類型的概率，所述第二檢測子模型被預先訓練以預測一PCB圖像具有第二缺陷類型的概率，所述第一缺陷類型與第二缺陷類型屬於不同的PCB缺陷類型；
若所述第一檢測子模型預測得到所述目標PCB圖像具有第一缺陷類型的概率超過預設的第一基準概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為所述第一缺陷類型；否則將所述目標PCB圖像輸入所述第二檢測子模型。
進一步地，所述第一檢測子模型預先訓練所使用的訓練樣本集中樣本圖像的標簽僅包括所述第一缺陷類型，或者，僅包括所述第一缺陷類型和無缺陷類型；
所述第二檢測子模型預先訓練所使用的訓練樣本集中樣本圖像的標簽僅包括所述第二缺陷類型，或者，僅包括所述第二缺陷類型和無缺陷類型。
進一步地，將所述目標PCB圖像輸入所述第二檢測子模型後，若所述第二檢測子模型預測得到所述目標PCB圖像具有第二缺陷類型的概率超過預設的第二基準概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為所述第二缺陷類型，所述第二基準概率閾值與第一基準概率閾值相等或不等。
進一步地，所述系統還包括一個或多個其他檢測子模型，所述其他檢測子模型被預先訓練以預測一PCB圖像具有其他缺陷類型的概率，所述其他缺陷類型與第一缺陷類型、第二缺陷類型均不同，所述其他檢測子模型的優先級低於所述第二檢測子模型的優先級；
將所述目標PCB圖像輸入所述第二檢測子模型後，若所述第二檢測子模型預測得到所述目標PCB圖像具有第二缺陷類型的概率未超過預設的第二基準概率閾值，則將所述目標PCB圖像輸入所述其他檢測子模型中優先級最高的一個。
進一步地，將所述目標PCB圖像輸入所述其他檢測子模型中優先級最高的一個後，若所述其他檢測子模型預測得到所述目標PCB圖像具有相應其他缺陷類型的概率超過預設的第三基準概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為所述其他缺陷類型，所述第三基準概率閾值與第一基準概率閾值相等或不等。
進一步地，若所有的檢測子模型預測得到所述目標PCB圖像具有相應缺陷類型的概率均未超過預設的對應基準概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為預測得到的最高概率對應的缺陷類型。
進一步地，若所有的檢測子模型預測得到所述目標PCB圖像具有相應缺陷類型的概率均低於各自的預設的下限概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為無缺陷。
進一步地，若所有的檢測子模型預測得到所述目標PCB圖像具有相應缺陷類型的概率均未超過預設的對應基準概率閾值，則利用人工識別所述目標PCB圖像的缺陷類型，以識別結果作為所述目標PCB圖像的標簽，得到一學習樣本；
將該學習樣本加入與所述標簽對應的訓練樣本集，利用更新後的訓練樣本集對與所述標簽對應的檢測子模型進行再訓練，以更新該檢測子模型。
進一步地，所述確定所述目標PCB圖像的缺陷檢測結果之後，統計各個PCB缺陷類型的歷史被檢次數，按照所述各個PCB缺陷類型的歷史被檢次數由多到少的順序，對各個檢測子模型的優先級由高到低進行排序。
根據本發明的另一方面，提供了一種PCB缺陷檢測方法，包括以下步驟：
獲取目標PCB圖像；
按照優先級由高到低的順序，依次將所述目標PCB圖像輸入各個檢測子模型，其中，各個檢測子模型被預先訓練以預測一PCB圖像具有對應的缺陷類型的概率，且各個檢測子模型對應的缺陷類型不同，直至當前輸入的檢測子模型預測得到所述目標PCB圖像具有對應缺陷類型的概率超過預設的對應基準概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為當前輸入的檢測子模型對應的缺陷類型。
進一步地，所述目標PCB圖像的獲取步驟包括：
利用AOI設備對目標PCB進行掃描，獲取PCB掃描圖像；
利用AOI設備對所述PCB掃描圖像進行識別，得到缺陷列表，所述缺陷列表中存在一個或多個缺陷信息，每個缺陷信息包括缺陷位置；
截取所述PCB掃描圖像在所述缺陷位置的局部圖像，得到一個或多個所述目標PCB圖像。
進一步地，每個缺陷信息還包括缺陷預判類型，所述確定所述目標PCB圖像的缺陷檢測結果之前還包括：
判斷所述當前輸入的檢測子模型對應的缺陷類型與所述目標PCB圖像對應的缺陷預判類型是否一致，若一致，則確定所述目標PCB圖像的缺陷檢測結果為當前輸入的檢測子模型對應的缺陷類型。
進一步地，若所述當前輸入的檢測子模型對應的缺陷類型與所述目標PCB圖像對應的缺陷預判類型不一致，則利用人工識別所述目標PCB圖像的缺陷類型，以識別結果作為所述目標PCB圖像的標簽，得到一學習樣本；
將該學習樣本加入與所述標簽對應的訓練樣本集，利用更新後的訓練樣本集對與所述標簽對應的檢測子模型進行再訓練，以更新該檢測子模型。
進一步地，獲取目標PCB圖像的同時還獲取其所屬區域信息；
根據所述PCB圖像所屬區域信息，確定各個檢測子模型的優先級高低順序。
本發明提供的技術方案帶來的有益效果如下：
a. 檢測系統配置多個檢測子模型，以分別專註學習特定的一種缺陷和誤報缺陷的類型，每個檢測子模型均僅需要較短時間就可以達到可接受的識別準確度水平；
b. 可以後續靈活配置更多新的檢測子模型以解決新的缺陷類型的識別問題，並且不會影響先前的檢測子模型正常投入生產。
為了使本技術領域的人員更好地理解本發明方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分的實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。
需要說明的是，本發明的說明書和發明申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別類似的對象，而不必用於描述特定的順序或先後次序。應該理解這樣使用的數據在適當情況下可以互換，以便這裏描述的本發明的實施例能夠以除了在這裏圖示或描述的那些以外的順序實施。此外，術語“包括”和“具有”以及他們的任何變形，意圖在於覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、裝置、產品或設備不必限於清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其他步驟或單元。
本發明提出由多個檢測子模型各自專註於學習各自對應的缺陷或誤報缺陷的特定類型，並在一組窄的參數上優化模型（因為單個檢測子模型不涉及多種特定類型的缺陷），這些窄的參數專註於準確識別對應的一種特定類型的圖像，使得學習過程要加快很多，並且一旦完成，就可以通過識別更頻繁發生的缺陷或誤報缺陷而不是那些發生頻率較低的缺陷或誤報缺陷來提高驗證效率，從而降低對生產的影響。
並且，隨著 AI 訓練過程的繼續，後續可以靈活添加其他類型缺陷和檢測子模型，而經過訓練的檢測子模型已經通過識別最常見的缺陷和誤報缺陷來實時提供檢測服務。
在本發明的一個實施例中，提供了一種PCB缺陷檢測系統，其被配置為對目標PCB圖像進行缺陷檢測，如圖1所示，所述系統至少包括第一檢測子模型和第二檢測子模型，其中，所述第一檢測子模型的優先級比所述第二檢測子模型的優先級高；
所述第一檢測子模型被預先訓練以預測一PCB圖像具有第一缺陷類型的概率，所述第二檢測子模型被預先訓練以預測一PCB圖像具有第二缺陷類型的概率，所述第一缺陷類型與第二缺陷類型屬於不同的PCB缺陷類型，並且以不同的頻率發生；
若所述第一檢測子模型預測得到所述目標PCB圖像具有第一缺陷類型的概率超過預設的第一基準概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為所述第一缺陷類型；否則將所述目標PCB圖像輸入所述第二檢測子模型。
以圖1為例，檢測系統配置有n個檢測子模型，優先級由高到低排序分別為No.1、No.2、…、No.k、…、No.n，各個檢測子模型在預先訓練的時候，分別專註於學習一種缺陷的圖像特征，各個不同的檢測子模型學習的缺陷類型均有所區分。本實施例中，優先級根據缺陷類型發生頻率來排序，頻率越高，即該種類型的缺陷最容易發生，則其優先級越高，比如最容易發生的缺陷為斷路，那麽將第一檢測子模型設置為專用於檢測PCB圖像是否具有斷路缺陷特征，若真實缺陷為斷路類型，則第一檢測子模型輸出預測到的所述目標PCB圖像具有斷路缺陷類型的概率超過預設的第一基準概率閾值，則快速得到檢測結果為斷路缺陷，無需再輸入後續的第二檢測子模型或其他檢測子模型，提高了檢測效率。
各個檢測子模型專註於學習不同類型的缺陷，這種學習方式相比於現有技術中將各種缺陷類型的大量圖片輸入AI裝置進行訓練，學習效率更高，識別準確率更高。相應地，在預先訓練中，各自的學習樣本是各自統一類型的，比如第一檢測子模型對應的缺陷類型為斷路，第二檢測子模型對應的缺陷類型為短路，第三檢測子模型對應的缺陷類型為氧化，第四檢測子模型對應的缺陷類型為冷焊缺陷，則輸入給第一檢測子模型的樣本圖像的缺陷類型僅為斷路類型，輸入給第二檢測子模型的樣本圖像的缺陷類型僅為短路類型，輸入給第三檢測子模型的樣本圖像的缺陷類型僅為氧化類型，輸入給第四檢測子模型的樣本圖像的缺陷類型僅為冷焊缺陷類型，除了給各個檢測子模型輸入具有缺陷的樣本圖像進行訓練，本發明不限定還給其輸入無缺陷的樣本圖像。
參見圖1，將目標PCB圖像輸入第一檢測子模型，若其預測目標PCB圖像具有斷路缺陷的概率大於或等於比如85%（可以根據精度要求調節相應的基準概率閾值，精度要求越高，則設置基準概率閾值越大），則系統輸出目標PCB圖像的缺陷檢測結果為斷路；若預測出概率低於85%，則將所述目標PCB圖像輸入所述第二檢測子模型後，若所述第二檢測子模型預測得到所述目標PCB圖像具有短路缺陷的概率大於或等於比如84%（也可以設置為85%），則系統輸出目標PCB圖像的缺陷檢測結果為短路。如此由優先級別高到低的輸入不同的檢測子模型，直至有一個檢測子模型預測目標PCB圖像具有其對應專註學習的缺陷類型的概率大於預設的概率閾值，則系統輸出目標PCB圖像的缺陷檢測結果為該對應專註學習的缺陷類型，至此不再需要輸入下一個優先級的檢測子模型。
還存在這樣一種情況：直至輸入優先級最低的No.n檢測子模型，其預測到的概率低於預設的概率閾值，即所有的檢測子模型預測得到所述目標PCB圖像具有相應缺陷類型的概率均未超過預設的對應基準概率閾值，在這種情況下，本發明實施例提供了三種處理方式：
方式一、如圖2所示，確定所述目標PCB圖像的缺陷檢測結果為預測得到的最高概率對應的缺陷類型，比如，第一檢測子模型預測到的概率為78%，第二檢測子模型預測到的概率為75%，第三檢測子模型預測到的概率為82%，第四檢測子模型預測到的概率為77%，則以第三檢測子模型對應專註學習的氧化類型作為系統的缺陷檢測結果。
方式二、如圖3所示，進一步判斷是否所有的檢測子模型預測得到所述目標PCB圖像具有相應缺陷類型的概率均低於各自的預設的下限概率閾值（比如均為50%），則確定所述目標PCB圖像的缺陷檢測結果為無缺陷，比如，第一檢測子模型預測到的概率為18%，第二檢測子模型預測到的概率為44%，第三檢測子模型預測到的概率為42%，第四檢測子模型預測到的概率為39%，則系統輸出目標PCB圖像的缺陷檢測結果為無缺陷。
方式三、如圖4所示，利用人工識別所述目標PCB圖像的缺陷類型，以識別結果作為所述目標PCB圖像的標簽，得到一學習樣本；將該學習樣本加入與所述標簽對應的訓練樣本集，利用更新後的訓練樣本集對與所述標簽對應的檢測子模型進行再訓練，以更新該檢測子模型。同時，系統可以輸出目標PCB圖像的缺陷檢測結果為人工識別目標PCB圖像的缺陷類型的識別結果。
本實施例中，可以根據經驗設定各個檢測子模型的初始優先級別，後續可以根據實際檢測結果來更新優先級別，具體為：所述確定所述目標PCB圖像的缺陷檢測結果之後，統計各個PCB缺陷類型的歷史被檢次數，按照所述各個PCB缺陷類型的歷史被檢次數由多到少的順序，對各個檢測子模型的優先級由高到低進行排序。這對於某些情況尤其至關重要，比如以產品批次為劃分，若在某一批次的電路板產品生產過程中，由於生產工藝參數或生產設備故障或者是產品本身的設計特點導致該批次的比如一萬片電路板中出現頻率最高的缺陷類型不是短路或者斷路，而是在經驗認知中優先級較低的缺陷類型，比如FM缺陷，那麽通過這裏的統計歷史被檢次數，比如在檢了500片電路板之後，統計得到FM缺陷的被檢次數超過斷路/短路的被檢次數，那麽，接下來的檢測中，優先輸入對應FM缺陷類型的檢測子模型，並且可以將最終的優先級別排序保存為該批次型號的產品的特定檢測子模型優先級信息。
在本發明的一個實施例中，不同的電路板區域具有不同的缺陷類型優先級，比如，對於線路層，短路是優先級較高的一種缺陷類型，但對於電源層或接地層，短路則是優先級較低甚至是最低的一種缺陷類型。如圖5所示，本發明實施例提供了一種PCB缺陷檢測方法，包括以下步驟：
獲取目標PCB圖像；
按照優先級由高到低的順序，依次將所述目標PCB圖像輸入各個檢測子模型，其中，各個檢測子模型被預先訓練以預測一PCB圖像具有對應的缺陷類型的概率，且各個檢測子模型對應的缺陷類型不同，直至當前輸入的檢測子模型預測得到所述目標PCB圖像具有對應缺陷類型的概率超過預設的對應基準概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為當前輸入的檢測子模型對應的缺陷類型。
具體如圖6所示，所述目標PCB圖像的獲取步驟包括：
利用AOI設備對目標PCB進行掃描，獲取PCB掃描圖像；
利用AOI設備對所述PCB掃描圖像進行識別，得到缺陷列表，所述缺陷列表中存在一個或多個缺陷信息，每個缺陷信息包括缺陷位置；
截取所述PCB掃描圖像在所述缺陷位置的局部圖像，得到一個或多個所述目標PCB圖像。
在一個特別的實施例中，每個缺陷信息還包括缺陷預判類型，所述確定所述目標PCB圖像的缺陷檢測結果之前還包括：
判斷所述當前輸入的檢測子模型對應的缺陷類型與所述目標PCB圖像對應的缺陷預判類型是否一致，若一致，則確定所述目標PCB圖像的缺陷檢測結果為當前輸入的檢測子模型對應的缺陷類型；若不一致，則利用人工識別所述目標PCB圖像的缺陷類型，以識別結果作為所述目標PCB圖像的標簽，得到一學習樣本；將該學習樣本加入與所述標簽對應的訓練樣本集，利用更新後的訓練樣本集對與所述標簽對應的檢測子模型進行再訓練，以更新該檢測子模型。同時，可以輸出目標PCB圖像的缺陷檢測結果為人工識別目標PCB圖像的缺陷類型的識別結果。
在一個特別的實施例中，獲取目標PCB圖像的同時還獲取其所屬區域信息；
根據所述PCB圖像所屬區域信息，確定各個檢測子模型的優先級高低順序，然後按照該順序，依次將PCB圖像輸入至檢測子模型中，直至當前輸入的檢測子模型預測得到所述目標PCB圖像具有對應缺陷類型的概率超過預設的對應基準概率閾值。
本發明的PCB缺陷檢測方法實施例於上述PCB缺陷檢測系統實施例屬於相同發明構思，在此通過引用的方式將系統實施例的全部內容並入本方法實施例中。
需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限製的情況下，由語句“包括一個……”限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
以上所述僅是本申請的具體實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本申請原理的前提下，還可以做出若幹改進和潤飾，這些改進和潤飾也應視為本申請的保護範圍。
無
為了更清楚地說明本申請實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為本發明的一個示例性實施例提供的PCB缺陷檢測系統的檢測流程示意圖；
圖2為本發明的一個示例性實施例提供的在所有檢測子模型的預測概率均低於閾值狀況下第一種處理方式流程示意圖；
圖3為本發明的一個示例性實施例提供的在所有檢測子模型的預測概率均低於閾值狀況下第二種處理方式流程示意圖；
圖4為本發明的一個示例性實施例提供的在所有檢測子模型的預測概率均低於閾值狀況下第三種處理方式流程示意圖；
圖5為本發明的一個示例性實施例提供的PCB缺陷檢測方法概述示意圖；
圖6為本發明的一個示例性實施例提供的PCB缺陷檢測方法的詳細流程示意圖。
Claims (13)
- 一種PCB缺陷檢測系統，其中，其被配置為對目標PCB圖像進行缺陷檢測，所述系統至少包括第一檢測子模型和第二檢測子模型，其中，所述第一檢測子模型的優先級比所述第二檢測子模型的優先級高；所述第一檢測子模型被預先訓練以預測一PCB圖像具有第一缺陷類型的概率，所述第二檢測子模型被預先訓練以預測一PCB圖像具有第二缺陷類型的概率，所述第一缺陷類型與第二缺陷類型屬於不同的PCB缺陷類型；所述第一檢測子模型輸出的缺陷種類僅為第一缺陷類型，所述第二檢測子模型輸出的缺陷種類僅為第二缺陷類型；若所述第一檢測子模型預測得到所述目標PCB圖像具有第一缺陷類型的概率超過預設的第一基準概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為所述第一缺陷類型，且不再需要將所述目標PCB圖像輸入至下一個優先級的檢測子模型；否則將所述目標PCB圖像輸入所述第二檢測子模型；將所述目標PCB圖像輸入所述第二檢測子模型後，若所述第二檢測子模型預測得到所述目標PCB圖像具有第二缺陷類型的概率超過預設的第二基準概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為所述第二缺陷類型，且不再需要將所述目標PCB圖像輸入至下一個優先級的檢測子模型；確定所述目標PCB圖像的缺陷檢測結果之後，統計各個PCB缺陷類型的歷史被檢次數，按照所述各個PCB缺陷類型的歷史被檢次數由多到少的順序，對各個檢測子模型的優先級由高到低進行排序。
- 如請求項1所述的PCB缺陷檢測系統，其中，所述第一檢測子模型預先訓練所使用的訓練樣本集中樣本圖像的標簽僅包括所述第一缺陷類型，或者，僅包括所述第一缺陷類型和無缺陷類型；所述第二檢測子模型預先訓練所使用的訓練樣本集中樣本圖像的標簽僅包括所述第二缺陷類型，或者，僅包括所述第二缺陷類型和無缺陷類型。
- 如請求項1所述的PCB缺陷檢測系統，其中，所述第二基準概率閾值與第一基準概率閾值相等或不等。
- 如請求項1或2或3所述的PCB缺陷檢測系統，其中，所述系統還包括一個或多個其他檢測子模型，所述其他檢測子模型被預先訓練以預測一PCB圖像具有其他缺陷類型的概率，所述其他缺陷類型與第一缺陷類型、第二缺陷類型均不同，所述其他檢測子模型的優先級低於所述第二檢測子模型的優先級；將所述目標PCB圖像輸入所述第二檢測子模型後，若所述第二檢測子模型預測得到所述目標PCB圖像具有第二缺陷類型的概率未超過預設的第二基準概率閾值，則將所述目標PCB圖像輸入所述其他檢測子模型中優先級最高的一個。
- 如請求項4所述的PCB缺陷檢測系統，其中，將所述目標PCB圖像輸入所述其他檢測子模型中優先級最高的一個後，若所述其他檢測子模型預測得到所述目標PCB圖像具有相應其他缺陷類型的概率超過預設的第三基準概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為所述其他缺陷類型，所述第三基準概率閾值與第一基準概率閾值相等或不等。
- 如請求項4所述的PCB缺陷檢測系統，其中，若所有的檢測子模型預測得到所述目標PCB圖像具有相應缺陷類型的概率均未超過預設的對應基準概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為預測得到的最高概率對應的缺陷類型。
- 如請求項4所述的PCB缺陷檢測系統，其中，若所有的檢測子模型預測得到所述目標PCB圖像具有相應缺陷類型的概率均低於各自的預設的下限概率閾值，則確定所述目標PCB圖像的缺陷檢測結果為無缺陷。
- 如請求項4所述的PCB缺陷檢測系統，其中，若所有的檢測子模型預測得到所述目標PCB圖像具有相應缺陷類型的概率均未超過預設的對應基準概率閾值，則利用人工識別所述目標PCB圖像的缺陷類型，以識別結果作為所述目標PCB圖像的標簽，得到一學習樣本；將該學習樣本加入與所述標簽對應的訓練樣本集，利用更新後的訓練樣本集對與所述標簽對應的檢測子模型進行再訓練，以更新該檢測子模型。
- 一種PCB缺陷檢測方法，其中，包括以下步驟：利用AOI設備獲取目標PCB圖像；利用PCB缺陷檢測系統按照優先級由高到低的順序，依次將所述目標PCB圖像輸入各個檢測子模型，其中，各個檢測子模型被預先訓練以預測一PCB圖像具有對應的缺陷類型的概率，各個檢測子模型輸出的缺陷種類僅有一種缺陷類型，且各個檢測子模型對應的缺陷類型不同，直至當前輸入的檢測子模型預測得到所述目標PCB圖像具有對應缺陷類型的概率超過預設的對應基準概率閾 值，則確定所述目標PCB圖像的缺陷檢測結果為當前輸入的檢測子模型對應的缺陷類型，且不再需要將所述目標PCB圖像輸入至下一個優先級的檢測子模型；利用所述PCB缺陷檢測系統確定所述目標PCB圖像的缺陷檢測結果之後，統計各個PCB缺陷類型的歷史被檢次數，按照所述各個PCB缺陷類型的歷史被檢次數由多到少的順序，對各個檢測子模型的優先級由高到低進行排序。
- 如請求項9所述的PCB缺陷檢測方法，其中，所述目標PCB圖像的獲取步驟包括：利用AOI設備對目標PCB進行掃描，獲取PCB掃描圖像；利用AOI設備對所述PCB掃描圖像進行識別，得到缺陷列表，所述缺陷列表中存在一個或多個缺陷信息，每個缺陷信息包括缺陷位置；利用PCB缺陷檢測系統截取所述PCB掃描圖像在所述缺陷位置的局部圖像，得到一個或多個所述目標PCB圖像。
- 如請求項10所述的PCB缺陷檢測方法，其中，每個缺陷信息還包括缺陷預判類型，所述確定所述目標PCB圖像的缺陷檢測結果之前還包括：利用PCB缺陷檢測系統判斷所述當前輸入的檢測子模型對應的缺陷類型與所述目標PCB圖像對應的缺陷預判類型是否一致，若一致，則確定所述目標PCB圖像的缺陷檢測結果為當前輸入的檢測子模型對應的缺陷類型。
- 如請求項11所述的PCB缺陷檢測方法，其中，若所述當前輸入的檢測子模型對應的缺陷類型與所述目標PCB圖像 對應的缺陷預判類型不一致，則利用人工識別所述目標PCB圖像的缺陷類型，以識別結果作為所述目標PCB圖像的標簽，得到一學習樣本；利用PCB缺陷檢測系統將該學習樣本加入與所述標簽對應的訓練樣本集，利用更新後的訓練樣本集對與所述標簽對應的檢測子模型進行再訓練，以更新該檢測子模型。
- 如請求項9至12中任一項所述的PCB缺陷檢測方法，其中，獲取目標PCB圖像的同時還獲取其所屬區域信息；利用PCB缺陷檢測系統根據所述PCB圖像所屬區域信息，確定各個檢測子模型的優先級高低順序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210720601.4A CN114820598B (zh) | 2022-06-24 | 2022-06-24 | Pcb缺陷检测系统及pcb缺陷检测方法 |
| CN202210720601.4 | 2022-06-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI826207B true TWI826207B (zh) | 2023-12-11 |
| TW202401294A TW202401294A (zh) | 2024-01-01 |
Family
ID=82521390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111150248A TWI826207B (zh) | 2022-06-24 | 2022-12-28 | Pcb缺陷檢測系統及pcb缺陷檢測方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114820598B (zh) |
| TW (1) | TWI826207B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115035118B (zh) * | 2022-08-11 | 2022-11-01 | 南通华钛电子科技有限公司 | 一种基于识别模型的pcb生产线残缺检测方法及系统 |
| CN116563278B (zh) * | 2023-07-06 | 2023-11-17 | 宁德时代新能源科技股份有限公司 | 检测结果显示方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741295A (zh) * | 2018-11-28 | 2019-05-10 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
| TW202109018A (zh) * | 2019-08-16 | 2021-03-01 | 南韓商樂人股份有限公司 | 基板缺陷檢查裝置及方法 |
| US20210334587A1 (en) * | 2018-09-04 | 2021-10-28 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
| CN113989280A (zh) * | 2021-12-28 | 2022-01-28 | 武汉市鑫景诚路桥钢模有限公司 | 基于图像处理技术的钢结构焊接裂纹缺陷检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741296B (zh) * | 2018-11-28 | 2023-10-20 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
| CN109829883B (zh) * | 2018-12-19 | 2020-11-17 | 歌尔光学科技有限公司 | 产品质量检测方法及装置 |
| CN114549997B (zh) * | 2022-04-27 | 2022-07-29 | 清华大学 | 一种基于区域特征提取的x光图像缺陷检测方法和装置 |
-
2022
- 2022-06-24 CN CN202210720601.4A patent/CN114820598B/zh active Active
- 2022-12-28 TW TW111150248A patent/TWI826207B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210334587A1 (en) * | 2018-09-04 | 2021-10-28 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
| CN109741295A (zh) * | 2018-11-28 | 2019-05-10 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
| TW202109018A (zh) * | 2019-08-16 | 2021-03-01 | 南韓商樂人股份有限公司 | 基板缺陷檢查裝置及方法 |
| CN113989280A (zh) * | 2021-12-28 | 2022-01-28 | 武汉市鑫景诚路桥钢模有限公司 | 基于图像处理技术的钢结构焊接裂纹缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202401294A (zh) | 2024-01-01 |
| CN114820598B (zh) | 2023-05-16 |
| CN114820598A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI826207B (zh) | Pcb缺陷檢測系統及pcb缺陷檢測方法 | |
| CN114549997B (zh) | 一种基于区域特征提取的x光图像缺陷检测方法和装置 | |
| TWI834426B (zh) | Pcb缺陷檢測模型的評估方法、評估裝置及訓練方法 | |
| CN106201897B (zh) | 基于主成分分布函数的软件缺陷预测不平衡数据处理方法 | |
| CN109726730B (zh) | 自动光学检测图像分类方法、系统及计算机可读介质 | |
| CN110705630A (zh) | 半监督学习式目标检测神经网络训练方法、装置及应用 | |
| US20230142578A1 (en) | System and method for detecting welding based on edge computing | |
| TWI707299B (zh) | 光學檢測二次圖像分類方法 | |
| CN111310826A (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
| CN112529109A (zh) | 一种基于无监督多模型的异常检测方法及系统 | |
| CN111191670B (zh) | 基于神经网络的分类装置及分类方法 | |
| CN115100188A (zh) | 一种层次化缺陷分析的钢板表面质量自动分级与判定方法 | |
| Khare et al. | PCB-fire: Automated classification and fault detection in PCB | |
| KR20230064319A (ko) | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 | |
| Ren et al. | Defect Detection for Printed Circuit Board Assembly Using Deep Learning | |
| Mirzaei et al. | Application of machine learning for anomaly detection in printed circuit boards imbalance date set | |
| TW202402117A (zh) | 印刷電路板缺陷檢測模型訓練方法及缺陷檢測方法 | |
| Abbes et al. | Defect-Net: A new CNN model for steel surface defect classification | |
| US20230419466A1 (en) | Method and apparatus for identifying defect grade of bad picture, and storage medium | |
| CN113008998B (zh) | 一种基于pcnn的隐蔽工程内部缺陷判断方法 | |
| KR20210106038A (ko) | 딥러닝 기반의 ai 기술을 활용한 2차전지 분리막 자동 검사장치 | |
| TWI745767B (zh) | 光學檢測二次圖像分類方法 | |
| TWI843333B (zh) | 半導體芯片載板的缺陷驗證方法、檢測方法及aoi設備 | |
| WO2023032549A1 (ja) | 欠陥検査装置、欠陥検査方法および予測モデル生成方法 | |
| CN111724352B (zh) | 一种基于核密度估计的贴片led瑕疵标注方法 |