TWI794718B - 電路板檢測方法、電子裝置及存儲介質 - Google Patents

電路板檢測方法、電子裝置及存儲介質 Download PDF

Info

Publication number
TWI794718B
TWI794718B TW110100144A TW110100144A TWI794718B TW I794718 B TWI794718 B TW I794718B TW 110100144 A TW110100144 A TW 110100144A TW 110100144 A TW110100144 A TW 110100144A TW I794718 B TWI794718 B TW I794718B
Authority
TW
Taiwan
Prior art keywords
circuit board
component
image
preset
silk
Prior art date
Application number
TW110100144A
Other languages
English (en)
Other versions
TW202225682A (zh
Inventor
夏子清
吳洪
王藝錕
李歐洋
黃超
朱素蓉
陳敏
寧家和
陳中舒
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Publication of TW202225682A publication Critical patent/TW202225682A/zh
Application granted granted Critical
Publication of TWI794718B publication Critical patent/TWI794718B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646—Soldering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本發明提供一種電路板檢測方法，包括：獲取輸入的電路板圖像；根據預設的檢測方式，對電路板圖像中的電路板的指定元件進行檢測，指定元件包括絲印元件和非絲印元件中的一種或兩種，預設的檢測方式包括：若指定元件為絲印元件，根據目標檢測方法對絲印元件進行檢測；或者，若指定元件為非絲印元件，根據語義分割方法對非絲印元件進行檢測；在指定元件未通過檢測時，判斷指定元件是否允許在預設角度範圍內偏移；在指定元件允許在預設角度範圍內偏移時，確定電路板通過檢測。本發明還提供一種電子裝置和存儲介質。

Description

電路板檢測方法、電子裝置及存儲介質
本發明涉及檢測技術領域，尤其涉及一種電路板檢測方法、電子裝置及存儲介質。
隨著半導體技術的發展，在印刷電路板的生產過程中，對電路板的精度要求越來越高。外觀檢測是判斷電路板精度的重要檢測項目，用於檢測電路板的絲印區域和電子元件是否存在外觀缺陷。目前，通常藉由電腦視覺，例如OpenCV，對電路板的外觀進行檢測，檢測項目包括顏色提取、亮度檢測、元件定位等。然而，OpenCV電腦視覺檢測的檢測參數通常為預先設置，並且在電路板的檢測過程中，無法對及時有效地對檢測結果進行複判，因此，難以確保檢測精度。
有鑒於此，有必要提供一種電路板檢測方法、電子裝置及存儲介質，可以根據多種深度學習模型對電路板的外觀進行檢測並對檢測結果進行複判。
本發明的第一方面提供一種電路板檢測方法，所述方法包括：獲取輸入的電路板圖像； 根據預設的檢測方式，對所述電路板圖像中的電路板的指定元件進行檢測，所述指定元件包括絲印元件和非絲印元件中的一種或兩種，所述預設的檢測方式包括：若所述指定元件為絲印元件，根據目標檢測方法對所述絲印元件進行檢測；或者，若所述指定元件為非絲印元件，根據語義分割方法對所述非絲印元件進行檢測；在所述指定元件未通過檢測時，判斷所述電路板圖像中的所述指定元件是否允許在預設角度範圍內偏移；在所述指定元件允許在預設角度範圍內偏移時，確定所述電路板通過檢測。
優選地，所述方法還包括：在所述指定元件允許在所述預設角度範圍內偏移時，判斷所述指定元件是否在允許預設距離內偏移；及在判定所述指定元件允許在所述預設距離內偏移時，確定所述電路板通過檢測。
優選地，所述方法還包括：當判定所述指定元件允許在所述預設距離內偏移時，判斷所述電路板圖像是否包含焊接引腳；當判定所述電路板圖像包含焊接引腳時，根據焊盤裸露面積和分類識別演算法分析所述焊接引腳的焊接品質是否合格；及當所述焊接引腳的焊接品質合格時，確定所述電路板通過檢測。
優選地，所述方法還包括：對所述輸入的電路板圖像進行分析，獲得所述電路板圖像的基本資訊；及設置所述電路板圖像的預處理方式、檢測參數、預設的元件類型、所述預設角度範圍及所述預設距離。
優選地，所述方法還包括： 根據設置的所述預處理方式對所述輸入的電路板圖像進行預處理。
優選地，所述方法還包括：將所述電路板的檢測結果顯示在顯示螢幕上。
優選地，所述根據目標檢測方法對所述絲印元件進行檢測包括：檢測並提取所述絲印元件的絲印區域圖像；及將所述絲印區域圖像輸入第一卷積神經網路模型並判斷絲印區域是否存在缺陷。
優選地，所述根據語義分割方法對所述非絲印元件進行檢測包括：將所述非絲印元件的圖像輸入第二卷積神經網路模型並判斷所述非絲印元件是否存在缺陷。
本發明的第二方面提供一種電子裝置，包括：處理器；以及記憶體，所述記憶體中存儲有複數個程式模組，所述複數個程式模組由所述處理器載入並執行上述的電路板檢測方法。
本發明的第三方面提供一種電腦可讀存儲介質，其上存儲有至少一條電腦指令，所述指令由處理器並載人執行上述的電路板檢測方法。
上述電路板檢測方法、電子裝置及存儲介質可以根據深度學習模型對電路板的外觀進行檢測，並對深度學習模型的檢測結果進行複判，有效提高了對電路板的檢測精度。
1:電子裝置
10:處理器
100:電路板檢測系統
101:獲取模組
102:分析模組
103:設置模組
104:預處理模組
105:檢測模組
106:判斷模組
107:確定模組
108:顯示模組
20:記憶體
30:電腦程式
40:顯示螢幕
2:終端設備
S201~S209:步驟
圖1是本發明較佳實施方式提供的電路板檢測方法的應用環境架構示意圖。
圖2是本發明較佳實施方式提供的電路板檢測方法的流程圖。
圖3是本發明較佳實施方式提供的電路板圖像中的非絲印元件的檢測過程示意圖。
圖4是本發明較佳實施方式提供的電路板檢測系統的結構示意圖。
圖5是本發明較佳實施方式提供的電子裝置的結構示意圖。
為了能夠更清楚地理解本發明的上述目的、特徵和優點，下面結合附圖和具體實施例對本發明進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本發明，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本發明。
請參閱圖1所示，是本發明較佳實施方式提供的電路板檢測方法的應用環境架構示意圖。
本發明中的電路板檢測方法應用在電子裝置1中，所述電子裝置1與複數個至少一個終端設備2藉由網路建立通信連接。所述網路可以是有線網路，也可以是無線網路，例如無線電、無線保真(Wireless Fidelity,Wi-Fi)、蜂窩、衛星、廣播等。蜂窩網路可以是4G網路或5G網路。
所述電子裝置1可以為安裝有電路板檢測程式的電子設備，例如個人電腦、伺服器等，其中，所述伺服器可以是單一的伺服器、伺服器集群或雲端伺服器等。
所述終端設備2可以是智慧手機、個人電腦、穿戴式設備等。
請參閱圖2所示，是本發明較佳所述方式提供的電路板檢測方法的流程圖。根據不同的需求，所述流程圖中步驟的順序可以改變，某些步驟可以省略。
S201，獲取輸入的電路板圖像。
在一實施方式中，S201包括：獲取所述終端設備2輸入的待檢測的電路板圖像。
在其他實施方式中，S201包括：接收所述終端設備2發送的電路板檢測請求，從記憶體存儲的電路板圖像庫中獲取待檢測的電路板圖像。
S202，對所述輸入的電路板圖像進行分析，獲得所述電路板圖像的基本資訊。
在一實施方式中，所述電路板圖像的基本資訊包括，但不僅限於，所述電路板的料號、所在設備的機種、在電路板上的位置資訊。
S203，設置所述電路板圖像的預處理方式、檢測參數、預設的元件類型、預設角度範圍及預設距離。
在一實施方式中，所述預處理方式包括，但不僅限於，提高對比、亮度、色彩空間轉換、超解析度重構、二值化處理。所述檢測參數為深度學習模型的參數，例如卷積神經網路模型的參數，所述卷積神經網路模型的參數可以包括權重、收斂值、學習率等。所述預設的元件類型為所述電路板圖像中的非絲印元件對應的預設的元件類型。所述預設角度範圍為大於一預設角度的範圍，優選地，所述預設角度為7度。所述預設距離為圖元距離，即偏移的圖元點 數量。其中，絲印元件對應的預設距離為1.13px，非絲印元件對應的預設距離為0.27px。
S204，根據設置的所述預處理方式對所述輸入的電路板圖像進行預處理。
在一實施方式中，根據設置的一種或多種預處理方式對所述輸入的電路板圖像進行預處理，以提高所述電路板圖像的對比度、亮度、飽和度及/或解析度。
S205，根據預設的檢測方式，對所述電路板圖像中的電路板的指定元件進行檢測。
在一實施方式中，所述指定元件包括絲印元件和非絲印元件中的一種或兩種。所述預設的檢測方式包括：若所述指定元件為絲印元件，根據目標檢測方法對所述絲印元件進行檢測，若所述指定元件為非絲印元件，根據殘差網路(ResNet)分類方法和語義分割方法對所述非絲印元件進行檢測。
在一實施方式中，藉由目標檢測方法對所述電路板圖像進行目標檢測，以判斷其中的電路板是否包含絲印元件。其中，所述絲印元件包括具有絲印部分的電路板區域和電子元件。
在一實施方式中，所述目標檢測方法為將所述電路板圖像輸入已訓練好的Faster R-CNN(深度卷積神經網路)模型，藉由所述Faster R-CNN模型檢測所述電路板圖像是否包含絲印部分，所述絲印部分可以是數位、字母、符號等。當檢測到所述電路板圖像包含絲印部分時，例如檢測到所述電路板圖像包含數位、字母、符號時，則判定所述電路板包含絲印元件，並將包含絲印部分的區域確定為絲印元件所在的位置。當檢測到所述電路板圖像未包含絲印部分時，則判定所述電路板不包含絲印元件。
在一實施方式中，進一步藉由所述Faster R-CNN模型檢測所述電路板圖像是否包含不具有絲印部分的電子元件。其中，不具有絲印部分的電子元件為形狀不規則的區域。當檢測到所述電路板圖像包含不具有絲印部分的電子元件時，則判定所述電路板包含非絲印元件，並將包含形狀不規則的電子元件區域確定為非絲印元件所在的位置。當檢測到所述電路板圖像未包含不具有絲印部分的電子元件時，則判定所述電路板不包含非絲印元件。當所述電路板既不包含絲印元件，也不包含非絲印元件時，確定所述電路板未通過檢測。
在一實施方式中，當所述電路板圖像中的電路板包含絲印元件時，根據目標檢測方法對絲印元件進行檢測。
在一實施方式中，檢測並提取所述絲印元件對應的絲印區域圖像，將提取的絲印區域圖像輸入第一卷積神經網路模型以判斷絲印區域是否存在缺陷。在一實施方式中，所述第一卷積神經網路模型為已經根據資料集完成訓練的Faster R-CNN模型。
在一實施方式中，所述Faster R-CNN模型包括用於生成候選區域(Region Proposal)的候選區域網路(Region Proposal Network，RPN)及對候選區域進行缺陷檢測的深度卷積神經網路Fast R-CNN。候選區域網路是一個全卷積網路，其主要作用是對圖片的卷積層特徵進行計算分析，然後在不同的圖像比例下，針對不同的缺陷類型生成矩形框。其中，所述矩形框的座標藉由四個參數來表示，分別為邊框中心點座標x和y，高度h，寬度w。同一張圖片會產生複數個矩形框，這些矩形框即有可能是缺陷的區域(Region Proposal)。Fast R-CNN對候選區域網路輸出得到的候選區域進行計算分析，篩去冗餘或錯誤的候選區域，得到最優的矩形框和類別得分，即為最後的檢測結果。
在一實施方式中，首先將絲印區域圖像預先縮放為固定解析度為M*N的圖像，然後將解析度為M*N的圖像輸入Faster R-CNN模型。然後藉由卷 積層(Conv layers)提取M*N圖像的特徵映射。優選地，所述卷積層包含13個conv(卷積)層、13個relu(整流)層以及4個pooling(池化)層。然後藉由所述候選區域網路對M*N圖像進行卷積運算，藉由softmax(歸一化)判斷錨點，藉由邊框回歸運算修正錨點獲得精確的候選區域。然後，藉由興趣區域池化層(ROI Pooling)收集特徵映射和候選區域，提取候選區域特徵映射。最後藉由候選區域特徵映射計算確定候選區域的類別，同時再次執行邊框回歸運算獲得檢測框最終的精確位置。
在一實施方式中，當所述電路板圖像中的電路板包含非絲印元件時，根據殘差網路分類方法和語義分割方法對所述電路板圖像中電路板的所述非絲印元件進行檢測。
在一實施方式中，先藉由所述殘差網路分類方法對非絲印元件進行分類，並判斷所述非絲印元件的類型是否屬於預設的元件類型。當所述非絲印元件的類型不屬於所述預設的元件類型時，確定所述電路板圖像未通過檢測。
在一實施方式中，當所述非絲印元件的類型屬於所述預設的元件類型時，將所述非絲印元件的圖像輸入第二卷積神經網路模型以判斷所述非絲印元件是否存在缺陷，從而根據語義分割方法對所述非絲印元件進行檢測。在一實施方式中，所述第二卷積神經網路模型為已經根據資料集完成訓練的DeepLabV3+模型。
請參閱圖3所示，在一實施方式中，所述DeepLabV3+模型包括編碼器(Encoder)和解碼器(Decoder)。所述DeepLabV3+模型編碼器前端採用空洞卷積獲取淺層低級特徵，傳輸到解碼器前端。編碼器後端採用空間金字塔池化模組(Atrous Spatial Pyramid Pooling,ASPP)獲取深層高級特徵資訊。所述空間金字塔池化模組包括一個1*1卷積層、三個3*3的空洞卷積及一個全域平均池化層(Image Pooling)。將四個層輸出的特徵拼接(contact)在一起，藉由1*1 的卷積層進行融合得到256通道特徵圖，即所述深層高級特徵資訊，output_stride為16。其中，output_stride為輸入圖片的解析度與輸出特徵圖的解析度的比值解碼器。所述解碼器接收所述深層高級特徵資訊，並對所述深層高級特徵資訊進行雙線性上採樣得到output_stride為4的256通道特徵。同時，所述解碼器採用1*1卷積降通道將淺層低級特徵通道降低到256。所述解碼器進一步對處理後的深層高級特徵和淺層低級特徵進行拼接，再採用3*3卷積層進一步融合特徵，並經過雙線性4倍採樣得到深度學習分割預測結果。其中，可以藉由不同的顏色對預測結果中的分割區域進行標示。最後根據分割預測結果判斷非絲印元件是否存在缺陷。當分割出的元件輪廓與標準輪廓不同時，確定所述非絲印元件存在缺陷。當分割出的元件輪廓與標準輪廓相同時，確定所述非絲印元件不存在缺陷。
S206，在所述指定元件未通過檢測時，判斷所述電路板圖像中的所述指定元件是否允許在預設角度範圍內偏移。
在一實施方式中，S206包括：當所述絲印元件及/或所述非絲印元件存在缺陷時，將所述電路板圖像旋轉所述預設範圍中的所述預設角度，再次根據上述目標檢測方法對旋轉後的所述電路板圖像中的絲印元件進行檢測，及/或再次根據上述語義分割方法對旋轉後的所述電路板圖像中的非絲印元件進行檢測，從而對所述指定元件的檢測結果進行複判。當根據上述目標檢測方法檢測到旋轉後的所述電路板圖像中的絲印元件不存在缺陷，及/或根據上述語義分割方法檢測到旋轉後的所述電路板圖像中的非絲印元件不存在缺陷時，判定所述指定元件允許在預設角度範圍內偏移，所述流程進入步驟S207。當根據上述目標檢測方法檢測到旋轉後的所述電路板圖像中的絲印元件仍存在缺陷，及/或根據上述語義分割方法檢測到旋轉後的所述電路板圖像中的非絲印元件仍存在缺陷時，判定所述指定元件不允許在預設角度範圍內偏移，所述流程進入步驟S208。
可以理解，在其他實施方式中，也可以基於原拍攝角度旋轉所述預設角度並重新拍攝得到所述電路板的圖像，從而得到旋轉後的電路板圖像。
需要說明的是，所述電路板圖像中的絲印元件和非絲印元件的位置可以在允許範圍內偏移一定角度，而不視為存在缺陷，從而提高電路板的檢測精度。
S207，確定所述電路板通過檢測。
S208，確定所述電路板未通過檢測。
S209，將所述電路板的檢測結果顯示在顯示螢幕上。
在一實施方式中，當確定所述電路板通過檢測時，在所述顯示螢幕上顯示文字“檢測通過”。當確定所述電路板未通過檢測時，所述顯示螢幕上顯示文字“檢測失敗”，並顯示存在缺陷的電路板圖像，在所述電路板圖像上用矩形框標示缺陷區域，用編號標示缺陷類型。
進一步地，所述方法還包括：將所述電路板的檢測結果發送至所述終端設備2。
在另一實施方式中，所述方法還包括：當判定所述指定元件，即所述絲印元件和所述非絲印元件允許在預設角度範圍內偏移時，判斷所述電路板圖像中的所述指定元件是否允許在預設距離內偏移，即判斷所述絲印元件是否允許在1.23px內偏移，判斷所述非絲印元件是否允許在0.27px內偏移。
在所述另一實施方式中，當判定所述絲印元件和所述非絲印元件允許在預設角度範圍內偏移時，控制所述電路板圖像中的絲印元件平移1.23px，再次根據上述目標檢測方法對平移後的絲印元件進行檢測，及/或控制所述電路板圖像中的非絲印元件平移0.27px，再次根據上述語義分割方法對平移後的非絲印元件進行檢測，從而對所述指定元件的檢測結果進行複判。當根據上述目標檢測方法檢測到平移後的絲印元件不存在缺陷，及/或根據上述語義分割方法檢 測到平移後的非絲印元件不存在缺陷時，判斷所述指定元件允許在預設距離內偏移，確定所述電路板通過檢測。當根據上述目標檢測方法檢測到平移後的絲印元件仍存在缺陷，及/或根據上述語義分割方法檢測到平移後的非絲印元件仍存在缺陷時，判斷所述指定元件不允許在預設距離內偏移，確定所述電路板未通過檢測。
在所述另一實施方式中，可以控制所述電路板圖像中的絲印元件及/或非絲印元件在水準左方向、水準右方向、豎直上方向和豎直下方向中的至少一個方向上平移。可以理解，在其他實施方式中，也可以基於原拍攝角度平移所述預設距離並重新拍攝得到所述電路板的圖像，從而得到平移後的電路板圖像，進而得到平移後的電路板圖像中的絲印元件及/或非絲印元件。
需要說明的是，所述電路板圖像中的絲印元件和非絲印元件的位置可以在允許範圍內偏移一定角度以及偏移一定距離，而不視為存在缺陷，從而提高電路板的檢測精度。
在另一實施方式中，所述方法還包括：當判定所述指定元件允許在所述預設距離內偏移時，判斷所述電路板圖像是否包含焊接引腳。
在所述另一實施方式中，藉由DeepLabV3+模型判斷所述電路板圖像是否包含焊接引腳。當判定所述電路板圖像包含焊接引腳時，根據焊盤裸露面積和分類識別演算法分析所述焊接引腳的焊接品質是否合格。當所述焊接引腳的焊接品質合格時，確定所述電路板通過檢測。當所述焊接引腳的焊接品質不合格時，確定所述電路板未通過檢測。
在所述另一實施方式中，所述分類識別演算法為支援向量資料描述演算法(Support Vector Data Description，SVDD)。當判定所述電路板圖像包含焊接引腳時，判斷所述電路板圖像中的焊盤裸露面積是否在預設面積範圍內，並藉由所述支援向量資料描述演算法檢測所述焊接引腳是否存在焊接異常 點。當判定所述焊盤裸露面積在預設面積範圍內，且藉由所述支援向量資料描述演算法檢測所述焊接引腳不存在焊接異常點時，確定所述焊接引腳的焊接品質合格。當判定所述焊盤裸露面積不在預設面積範圍內，及/或藉由所述支援向量資料描述演算法檢測所述焊接引腳存在焊接異常點時，確定所述焊接引腳的焊接品質不合格。當確定所述焊接引腳的焊接品質合格時，確定所述電路板通過檢測。當確定所述焊接引腳的焊接品質不合格時，確定所述電路板未通過檢測。
在所述另一實施方式中，藉由所述支援向量資料描述演算法檢測是否存在焊接異常點的步驟包括：將複數個焊接正常點作為原始訓練樣本，藉由非線性映射將原始訓練樣本映射到高維的特徵空間，在特徵空間中尋找一個包含全部或大部分被映射到特徵空間的訓練樣本且體積最小的超球體(最優超球體)。將所述焊接引腳的所有焊接點作為新樣本點，藉由非線性映射判斷每個新樣本點在特徵空間中的像是否落入所述最優超球體內。如果新樣本點在特徵空間中的像落入最優超球體上或最優超球體內，則所述新樣本點被視為一個正常點，即所述樣本點對應的焊接點為焊接正常點。如果新樣本點在特徵空間中的像落入到最優超球體外，則所述新樣本點被視為一個異常點，即所述新樣本點對應的焊接點為焊接異常點。其中，所述最優超球體由其球心和半徑決定。
請參閱圖4所示，是本發明較佳實施方式提供的電路板檢測系統的功能模組圖。
在一些實施方式中，電路板檢測系統100運行於所述電子裝置1中。所述電路板檢測系統100可以包括複數個由程式碼段所組成的功能模組。所述電路板檢測系統100中的各個程式段的程式碼可以存儲於電子裝置1的記憶體20中，並由所述至少一個處理器10所執行，以實現電路板檢測功能。
本實施方式中，電路板檢測系統100根據其所執行的功能，可以被劃分為複數個功能模組。參閱圖3所示，所述功能模組可以包括獲取模組101、分析模組102、設置模組103、預處理模組104、檢測模組105、判斷模組106、確定模組107及顯示模組108。本發明所稱的模組是指一種能夠被至少一個處理器所執行並且能夠完成固定功能的一系列電腦程式段，其存儲在記憶體20中。可以理解的是，在其他實施例中，上述模組也可為固化於所述處理器10中的程式指令或固件(firmware)。
所述獲取模組101用於獲取輸入的電路板圖像。
所述分析模組102用於對所述輸入的電路板圖像進行分析，獲得所述電路板圖像的基本資訊。
所述設置模組103用於設置所述電路板圖像的預處理方式、檢測參數、預設的元件類型、預設角度範圍及預設距離。
所述預處理模組104用於根據設置的所述預處理方式對所述輸入的電路板圖像進行預處理。
所述檢測模組105用於根據預設的檢測方式，對所述電路板圖像中的電路板的指定元件進行檢測。
所述判斷模組106還用於當所述指定元件未通過檢測時，判斷所述電路板圖像中所述指定元件是否允許在預設角度範圍內偏移。
所述確定模組107用於當所述指定元件通過檢測或判定所述電路板圖像中所述指定元件允許在預設角度範圍內偏移時，確定所述電路板通過檢測，以及當判定所述電路板圖像中所述指定元件不允許在預設角度範圍內偏移時，確定所述電路板未通過檢測。
所述顯示模組108用於將所述電路板的檢測結果顯示在顯示螢幕上。
在另一實施方式中，所述判斷模組106還用於當判定所述電路板圖像中所述指定元件允許在預設角度範圍內偏移時，判斷所述電路板圖像中所述指定元件是否允許在預設距離內偏移。當判定所述電路板圖像中所述指定元件允許在預設距離內偏移時，所述確定模組107還用於確定所述電路板通過檢測。當判定所述電路板圖像中所述指定元件不允許在預設距離內偏移時，所述確定模組107還用於確定所述電路板未通過檢測。
在另一實施方式中，當判定所述電路板圖像中所述指定元件允許在預設距離內偏移時，所述判斷模組106還用於判斷所述電路板圖像是否包含焊接引腳。當判定所述電路板圖像包含焊接引腳時，所述判斷模組106還用於根據焊盤裸露面積和分類識別演算法分析所述焊接引腳的焊接品質是否合格。當所述焊接引腳的焊接品質合格時，所述確定模組107確定所述電路板通過檢測。當所述焊接引腳的焊接品質不合格時，所述確定模組107確定所述電路板未通過檢測。
請參閱圖5所示，是本發明較佳實施方式提供的電子裝置的結構示意圖。
所述電子裝置1包括，但不僅限於，處理器10、記憶體20、存儲在所述記憶體20中並可在所述處理器10上運行的電腦程式30及顯示螢幕40。例如，所述電腦程式30為電路板檢測程式。所述處理器10執行所述電腦程式30時實現電路板檢測方法中的步驟，例如圖2所示的步驟S201~S209。或者，所述處理器10執行所述電腦程式30時實現電路板檢測系統中各模組/單元的功能，例如圖4中的模組101-108。
示例性的，所述電腦程式30可以被分割成一個或複數個模組/單元，所述一個或者複數個模組/單元被存儲在所述記憶體20中，並由所述處理器10執行，以完成本發明。所述一個或複數個模組/單元可以是能夠完成特定功能 的一系列電腦程式指令段，所述指令段用於描述所述電腦程式30在所述電子裝置1中的執行過程。例如，所述電腦程式30可以被分割成圖3中的獲取模組101、分析模組102、設置模組103、預處理模組104、檢測模組105、判斷模組106、確定模組107及顯示模組108。各模組具體功能參見電路板檢測系統實施例中各模組的功能。
本領域技術人員可以理解，所述示意圖僅僅是電子裝置1的示例，並不構成對電子裝置1的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子裝置1還可以包括輸入輸出設備、網路接入設備、匯流排等。
所稱處理器10可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者所述處理器10也可以是任何常規的處理器等，所述處理器10是所述電子裝置1的控制中心，利用各種介面和線路連接整個電子裝置1的各個部分。
所述記憶體20可用於存儲所述電腦程式30和/或模組/單元，所述處理器10藉由運行或執行存儲在所述記憶體20內的電腦程式和/或模組/單元，以及調用存儲在記憶體20內的資料，實現所述電子裝置1的各種功能。所述記憶體20可主要包括存儲程式區和存儲資料區，其中，存儲程式區可存儲作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；存儲資料區可存儲根據電子裝置1的使用所創建的資料(比如音訊資料、電話本等)等。此外，記憶體20可以包括易失性和非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital, SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他記憶體件。所述顯示螢幕40為液晶顯示螢幕(Liquid Crystal Display，LCD)或有機發光半導體(Organic Light-Emitting Diode，OLED)顯示螢幕。
所述電子裝置1集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本發明實現上述實施例方法中的全部或部分流程，也可以藉由電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲介質中，所述電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)。
本發明提供的電路板檢測方法、電子裝置及存儲介質可以根據深度學習模型對電路板的外觀進行檢測，並對深度學習模型的檢測結果進行複判，有效提高了電路板的檢測精度。
對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附申請專利範圍而不是上述說明限定，因此旨在將落在申請專利範圍的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將申請專利範圍中的任何附圖標記視為限制所涉及的申請專利範圍。此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除複數。裝置申請 專利範圍中陳述的複數個單元或裝置也可以由同一個單元或裝置藉由軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，於爰依本發明精神所作之等效修飾或變化，皆應涵蓋於以下之申請專利範圍內。
S201~S209:步驟

Claims (8)

  1. 一種電路板檢測方法，其中，所述方法包括：獲取輸入的電路板圖像；根據預設的檢測方式，對所述電路板圖像中的電路板的指定元件進行檢測，所述指定元件包括絲印元件和非絲印元件中的一種或兩種，所述預設的檢測方式包括：若所述指定元件為絲印元件，根據目標檢測方法對所述絲印元件進行檢測，包括：檢測並提取所述絲印元件對應的絲印區域圖像，將提取的絲印區域圖像輸入根據資料集完成訓練的Faster R-CNN模型以判斷絲印區域是否存在缺陷；或者，若所述指定元件為非絲印元件，根據語義分割方法對所述非絲印元件進行檢測，包括：藉由殘差網路分類方法對所述非絲印元件進行分類，並判斷所述非絲印元件的類型是否屬於預設的元件類型，當所述非絲印元件的類型屬於所述預設的元件類型時，將所述非絲印元件的圖像輸入根據資料集完成訓練的DeepLabV3+模型以判斷所述非絲印元件是否存在缺陷；在所述指定元件未通過檢測時，判斷所述電路板圖像中的所述指定元件是否允許在預設角度範圍內偏移；在所述指定元件允許在預設角度範圍內偏移時，確定所述電路板通過檢測。
  2. 如請求項1所述之電路板檢測方法，其中，所述方法還包括：在所述指定元件允許在所述預設角度範圍內偏移時，判斷所述指定元件是否在允許預設距離內偏移；及在判定所述指定元件允許在所述預設距離內偏移時，確定所述電路板通過檢測。
  3. 如請求項2所述之電路板檢測方法，其中，所述方法還包括： 當判定所述指定元件允許在所述預設距離內偏移時，判斷所述電路板圖像是否包含焊接引腳；當判定所述電路板圖像包含焊接引腳時，根據焊盤裸露面積和分類識別演算法分析所述焊接引腳的焊接品質是否合格；及當所述焊接引腳的焊接品質合格時，確定所述電路板通過檢測。
  4. 如請求項3所述之電路板檢測方法，其中，所述方法還包括：對所述輸入的電路板圖像進行分析，獲得所述電路板圖像的基本資訊；及設置所述電路板圖像的預處理方式、檢測參數、預設的元件類型、所述預設角度範圍及所述預設距離。
  5. 如請求項4所述之電路板檢測方法，其中，所述方法還包括：根據設置的所述預處理方式對所述輸入的電路板圖像進行預處理。
  6. 如請求項1所述之電路板檢測方法，其中，所述方法還包括：將所述電路板的檢測結果顯示在顯示螢幕上。
  7. 一種電子裝置，其中，所述電子裝置包括：處理器；以及記憶體，所述記憶體中存儲有複數個程式模組，所述複數個程式模組由所述處理器載入並執行如請求項1至6中任意一項所述之電路板檢測方法。
  8. 一種電腦可讀存儲介質，其上存儲有至少一條電腦指令，其中，所述指令由處理器載入並執行如請求項1至6中任意一項所述之電路板檢測方法。
TW110100144A 2020-11-25 2021-01-04 電路板檢測方法、電子裝置及存儲介質 TWI794718B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011345653.5 2020-11-25
CN202011345653.5A CN114549390A (zh) 2020-11-25 2020-11-25 电路板检测方法、电子装置及存储介质

Publications (2)

Publication Number Publication Date
TW202225682A TW202225682A (zh) 2022-07-01
TWI794718B true TWI794718B (zh) 2023-03-01

Family

ID=81658413

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110100144A TWI794718B (zh) 2020-11-25 2021-01-04 電路板檢測方法、電子裝置及存儲介質

Country Status (3)

Country Link
US (1) US20220164943A1 (zh)
CN (1) CN114549390A (zh)
TW (1) TWI794718B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115243461B (zh) * 2022-07-27 2024-01-19 苏州浪潮智能科技有限公司 一种印制电路板的丝印处理方法、装置、设备及介质
CN115713499B (zh) * 2022-11-08 2023-07-14 哈尔滨工业大学 一种贴片元件贴装后质量检测方法
CN116486178B (zh) * 2023-05-16 2024-01-19 中科慧远视觉技术（洛阳）有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN117828499B (zh) * 2024-03-04 2024-05-28 深圳市恒天翊电子有限公司 Pcba异常件确定方法、系统、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767431A (zh) * 2018-12-29 2019-05-17 北京领邦智能装备股份公司 零件外观缺陷检测方法、装置、设备及可读存储介质
CN109886964A (zh) * 2019-03-29 2019-06-14 北京百度网讯科技有限公司 电路板缺陷检测方法、装置及设备
US10380741B2 (en) * 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection
CN110555839A (zh) * 2019-09-06 2019-12-10 腾讯云计算（北京）有限责任公司 缺陷检测识别方法、装置、计算机设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07273428A (ja) * 1994-03-29 1995-10-20 Olympus Optical Co Ltd レジストパターン形成に基く加工方法並びにレジストパターン作成装置
EP1386143A1 (en) * 2001-05-02 2004-02-04 Teradyne, Inc. Inspection system using dynamically obtained values and related techniques
US7324685B2 (en) * 2003-10-20 2008-01-29 Hewlett-Packard Development Company, L.P. Inspection systems and methods
JP3589424B1 (ja) * 2003-12-22 2004-11-17 株式会社メガトレード 基板検査装置
JP4423130B2 (ja) * 2004-07-30 2010-03-03 富士通株式会社 プリント回路基板外観検査方法、プリント回路基板外観検査プログラム及びプリント回路基板外観検査装置
US9392695B2 (en) * 2014-01-03 2016-07-12 Samsung Electro-Mechanics Co., Ltd. Electric component module
US9572257B2 (en) * 2014-07-31 2017-02-14 Keysight Technologies, Inc. Multi-layered printed circuit board having core layers including indicia
JP6393011B2 (ja) * 2015-07-23 2018-09-19 フィニサー コーポレイション 部品のアライメント
US10064276B2 (en) * 2015-10-21 2018-08-28 Adventive Ipbank 3D bendable printed circuit board with redundant interconnections
US9971338B1 (en) * 2017-03-21 2018-05-15 Tempo Automation, Inc. Printed circuit board design and manufacturing
US10168383B2 (en) * 2017-05-12 2019-01-01 International Business Machines Corporation Testing printed circuit board assembly

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380741B2 (en) * 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection
CN109767431A (zh) * 2018-12-29 2019-05-17 北京领邦智能装备股份公司 零件外观缺陷检测方法、装置、设备及可读存储介质
CN109886964A (zh) * 2019-03-29 2019-06-14 北京百度网讯科技有限公司 电路板缺陷检测方法、装置及设备
CN110555839A (zh) * 2019-09-06 2019-12-10 腾讯云计算（北京）有限责任公司 缺陷检测识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
TW202225682A (zh) 2022-07-01
CN114549390A (zh) 2022-05-27
US20220164943A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
TWI794718B (zh) 電路板檢測方法、電子裝置及存儲介質
CN107067003B (zh) 感兴趣区域边界的提取方法、装置、设备和计算机存储介质
US11176650B2 (en) Data generation apparatus, data generation method, and data generation program
CN111340752A (zh) 屏幕的检测方法、装置、电子设备及计算机可读存储介质
CN114266773B (zh) 显示面板缺陷定位方法、装置、设备及存储介质
CN105335963A (zh) 一种边缘缺陷检测方法及装置
CN111325717B (zh) 手机缺陷位置识别方法及设备
CN112767366A (zh) 基于深度学习的图像识别方法、装置、设备及存储介质
CN110415214A (zh) 摄像头模组的外观检测方法、装置、电子设备及存储介质
CN112990136B (zh) 一种目标检测方法及装置
CN114331985A (zh) 电子元器件划痕缺陷检测方法、装置和计算机设备
CN117152123B (zh) 一种用于锡膏印刷的检测定位优化方法、系统及存储介质
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN116228741A (zh) 一种pcba元器件缺陷检测方法及装置
CN116503415A (zh) 缺陷检测方法、装置、计算机设备及计算机可读存储介质
TWI748828B (zh) 產品瑕疵檢測方法、電腦裝置及儲存媒體
CN117589770A (zh) Pcb贴片板检测方法、装置、设备及介质
CN112989768A (zh) 连线题批改方法、装置、电子设备及存储介质
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
US11914675B2 (en) Image processing method, apparatus, computer device and storage medium
CN116091503A (zh) 一种面板异物缺陷的判别方法、装置、设备及介质
CN116993654A (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
CN114913350A (zh) 素材查重方法、装置、设备及存储介质
CN112084364A (zh) 对象分析方法、局部图像搜索方法、设备及存储介质
CN117557786B (zh) 物料质量检测方法、装置、计算机设备及存储介质