TWI744999B - 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置 - Google Patents

焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置 Download PDF

Info

Publication number
TWI744999B
TWI744999B TW109124993A TW109124993A TWI744999B TW I744999 B TWI744999 B TW I744999B TW 109124993 A TW109124993 A TW 109124993A TW 109124993 A TW109124993 A TW 109124993A TW I744999 B TWI744999 B TW I744999B
Authority
TW
Taiwan
Prior art keywords
images
solder joint
image
model
surface mount
Prior art date
Application number
TW109124993A
Other languages
English (en)
Other versions
TW202205205A (zh
Inventor
鄭圳州
李明隆
Original Assignee
和碩聯合科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和碩聯合科技股份有限公司 filed Critical 和碩聯合科技股份有限公司
Priority to TW109124993A priority Critical patent/TWI744999B/zh
Priority to CN202110612874.2A priority patent/CN113971654A/zh
Priority to US17/361,646 priority patent/US11833618B2/en
Application granted granted Critical
Publication of TWI744999B publication Critical patent/TWI744999B/zh
Publication of TW202205205A publication Critical patent/TW202205205A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K1/00—Soldering, e.g. brazing, or unsoldering
    • B23K1/0008—Soldering, e.g. brazing, or unsoldering specially adapted for particular articles or work
    • B23K1/0016—Brazing of electronic components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/006—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to using of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Electric Connection Of Electric Components To Printed Circuits (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

一種焊點檢測模型訓練方法包含以下步驟: 根據複數個第一樣本影像訓練第一辨識模型辨識影像中設置有焊點的表面貼裝元件；根據複數個第二樣本影像訓練第二辨識模型辨識影像中未設置焊點的表面貼裝元件；輸入已標記的複數個原始影像至訓練完畢的第一辨識模型以輸出複數個第一影像；輸入複數個第一影像至訓練完畢的第二辨識模型以輸出複數個第二影像；以複數個第二影像遮罩複數個第一影像，以產生複數個焊點正常影像及複數個焊點異常影像；以及根據複數個焊點正常影像及複數個焊點異常影像訓練焊點檢測模型。

Description

焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置
本案涉及一種電子裝置及方法。詳細而言，本案涉及一種焊點檢測方法、焊點檢測模型訓練方法及焊點檢測裝置。
在印刷電路板的表面貼裝元件焊點異常檢測方面，傳統作法如神經模型監督式學習方式需要透過收集不同情境的異常影像，造成需要很多人力及時間資源的消耗，更棘手的是無法突顯正常與異常的圖片之間的差異。在訓練神經模型時，最佳化損失函數不易收斂，模型往往無法從訓練過程中獲得辨識焊點正常或異常的能力，訓練後模型的準確度不足，常會有誤判率居高不下的情形，需要再花額外更多的人力時間作判斷。
部分檢測作法雖然可使用正常的圖片為訓練資料，省去收集異常影像的麻煩，但圖片萃取後的特徵往往無法有效代表原圖，而採取投票方式的神經模型則有多樣性不足的問題，即便模型數目增加，判斷力並沒有增加，造成判斷準確率無法如預期提升。因此，在本領域中存在上述技術缺陷及不足而有待解決。
本案的一面向涉及一種焊點檢測模型訓練方法，適以訓練焊點檢測模型。焊點檢測模型用以檢測表面貼裝元件的焊點是否異常。焊點檢測模型訓練方法包含以下步驟：根據複數個第一樣本影像訓練第一辨識模型辨識影像中設置有焊點的表面貼裝元件；根據複數個第二樣本影像訓練第二辨識模型辨識影像中未設置焊點的表面貼裝元件；輸入已標記的複數個原始影像至訓練完畢的第一辨識模型以輸出複數個第一影像，其中複數個第一影像每一者包含設置有焊點的表面貼裝元件；輸入複數個第一影像至訓練完畢的第二辨識模型以輸出複數個第二影像，其中複數個第二影像每一者包含未設置焊點的表面貼裝元件；以複數個第二影像遮罩複數個第一影像，以產生複數個焊點正常影像及複數個焊點異常影像；以及根據複數個焊點正常影像及複數個焊點異常影像訓練焊點檢測模型。
本案的另一面向涉及一種焊點檢測方法。焊點檢測方法包含以下步驟:輸入待測影像至第一辨識模型以獲得第一影像，其中第一辨識模型用以辨識設置有焊點的表面貼裝元件；輸入第一影像至第二辨識模型以獲得第二影像，其中第二辨識模型用以辨識表面貼裝元件；以第二影像遮罩第一影像，藉以產生第三影像並輸入至焊點檢測模型；依據焊點檢測模型的輸出結果判斷待測影像中的焊點是否異常。
本案的另一面向涉及一種焊點檢測裝置。焊點檢測裝置包含儲存單元及處理器。儲存單元用以儲存第一辨識模型、第二辨識模型及焊點檢測模型。處理器用以完成以下動作:根據複數個第一樣本影像訓練第一辨識模型辨識影像中設置有焊點的表面貼裝元件；根據複數個第二樣本影像訓練第二辨識模型辨識影像中未設置焊點的表面貼裝元件；輸入已標記的複數個原始影像至訓練完畢的第一辨識模型以輸出複數個第一影像，其中複數個第一影像每一者包含設置有焊點的表面貼裝元件；輸入複數個第一影像至訓練完畢的第二辨識模型以輸出複數個第二影像，其中複數個第二影像每一者包含未設置焊點的表面貼裝元件；以複數個第二影像遮罩複數個第一影像，以產生複數個焊點正常影像及複數個焊點異常影像；以及根據複數個焊點正常影像及複數個焊點異常影像訓練焊點檢測模型。
依據前述實施例，本案可藉由多個訓練完畢的辨識模型以獲得目標影像，再使用焊點檢測模型針對目標影像進行辨認，因此，能夠迅速檢測表面貼裝元件中的焊點是否異常。
以下將以圖式及詳細敘述清楚說明本案之精神，任何所屬技術領域中具有通常知識者在瞭解本案之實施例後，當可由本案所教示之技術，加以改變及修飾，其並不脫離本案之精神與範圍。
關於本文中所使用之『包含』、『包括』、『具有』、『含有』等等，均為開放性的用語，即意指包含但不限於。
第1圖為根據本案一些實施例繪示的焊點檢測裝置之示意圖。如第1圖所示，焊點檢測裝置100包含處理器110及儲存單元120。儲存單元120用以儲存多個機器學習模型，例如包含第一辨識模型121、第二辨識模型122及焊點檢測模型123。
在一些實施例中，焊點檢測裝置100可包含個人電腦、筆記型電腦或伺服器。
在一些實施例中，處理器110包含但不限於單一處理器以及多個微處理器之集成，例如，中央處理器(Central Processing Unit, CPU)或繪圖處理器(Graphic Processing Unit, GPU)等。在一些實施例中，處理器110耦接於外部裝置或伺服器，藉此，處理器110可自儲存單元120存取指令，讀取儲存單元120內儲存的影像或圖片集，以將影像或圖片集傳至第一辨識模型121、第二辨識模型122及焊點檢測模型123，執行下面段落之方法，藉以訓練第一辨識模型121、第二辨識模型122及焊點檢測模型123。為了更佳地理解訓練焊點辨識模型之方法，其詳細步驟將於下面段落中解釋之。
於一些實施例中，第一辨識模型121及第二辨識模型122包含深度神經網路，例如單次偵測(Single Shot Multibox Detector，SSD)模型，焊點檢測模型123包含深度神經網路，例如卷積神經網路(Convolutional  Neural Network, CNN)。
第2圖為根據本案一些實施例繪示的焊點檢測模型訓練方法之流程圖。如第2圖所示，在一些實施例中，此焊點檢測模型訓練方法200可由第1圖中所示的焊點檢測裝置100所執行。在一些實施例中，焊點檢測模型訓練方法200適以訓練焊點檢測模型123。焊點檢測模型123用以檢測表面貼裝元件的焊點是否異常。此焊點檢測模型訓練方法200之詳細步驟將於下面段落中敘述，請一併參閱第1圖及第2圖。
於步驟210中，根據複數個第一樣本影像訓練第一辨識模型辨識影像中設置有焊點的表面貼裝元件。
在一些實施例中，處理器110根據複數個第一樣本影像訓練儲存單元120中第一辨識模型121辨識影像中設置有焊點的表面貼裝元件。在一些實施例中，複數個第一樣本影像每一者包含設置有焊點的表面貼裝元件。詳細來說，每一個第一樣本影像中的表面貼裝元件具有焊點。
在一些實施例中，處理器110根據複數個第一樣本影像及複數個第一樣本影像每一者中表面貼裝元件對應的第一座標訓練第一辨識模型121。詳細來說，處理器110根據表面貼裝元件在第一樣本影像的座標來告訴第一辨識模型121表面貼裝元件於影像中的位置，以利第一辨識模型121可以依據表面貼裝元件的確切位置進行訓練。
於步驟220中，根據複數個第二樣本影像訓練第二辨識模型辨識影像中未設置焊點的表面貼裝元件。
在一些實施例中，處理器110根據複數個第二樣本影像訓練儲存單元120中第二辨識模型122辨識影像中未設置焊點的表面貼裝元件。在一些實施例中，每一個第二樣本影像只有包含表面貼裝元件，而未包含焊點。
在一些實施例中，根據複數個第二樣本影像及複數個第二樣本影像每一者中表面貼裝元件對應的一第二座標訓練第二辨識模型122。詳細來說，處理器110根據表面貼裝元件在第二樣本影像的座標來告訴第二辨識模型122表面貼裝元件於影像中的位置，以利第二辨識模型122可以依據表面貼裝元件的確切位置進行訓練。
於步驟230中，輸入已標記的複數個原始影像至訓練完畢的第一辨識模型以輸出複數個第一影像。
在一些實施例中，處理器110輸入已標記的複數個原始影像至第一辨識模型121以獲得複數個第一影像，其中複數個第一影像每一者包含設置有焊點的表面貼裝元件。
在一些實施例中，已標記的複數個原始影像包含複數個已知正常的表面貼裝元件之影像及複數個已知異常的表面貼裝元件之影像。詳細來說，處理器110將已經知道焊點是正常還是異常的多個原始影像輸入至第一辨識模型121，以獲得包含正常或是異常焊點的表面貼裝元件的多個影像，即所述多個第一影像。
於步驟240中，輸入複數個第一影像至訓練完畢的第二辨識模型以輸出複數個第二影像。
在一些實施例中，處理器110將來自第一辨識模型121的多個第一影像輸入至第二辨識模型122以獲得複數個第二影像，其中每一個第二影像包含未設置焊點的表面貼裝元件。
於步驟250中，以複數個第二影像遮罩複數個第一影像，以產生複數個焊點正常影像及複數個焊點異常影像。
在一些實施例中，處理器110從第二辨識模型122獲得複數個第二影像，來遮罩從第一辨識模型121獲得的複數個第一影像，藉以產生複數個焊點正常影像及複數個焊點異常影像。處理器110以已知正常的多個表面貼裝元件的影像來執行步驟230至250從而獲得對應的複數個焊點正常影像，同理，處理器110以已知異常的多個表面貼裝元件的影像來執行步驟230至250從而獲得對應的複數個焊點異常影像。於一些實施例中，焊點異常影像包含焊點的大小、位置、形狀、顏色、平整度、完整度等符合一缺陷判定。
於步驟260中，根據複數個焊點正常影像與複數個焊點異常影像以訓練焊點檢測模型。
在一些實施例中，處理器110將複數個焊點正常影像與複數個焊點異常影像進行白平衡處理後，處理器110將白平衡處理後的複數個焊點正常影像與複數個焊點異常影像以訓練焊點檢測模型123，使得焊點檢測模型123得以判斷影像中之焊點是否異常。
第3圖為根據本案一些實施例繪示的焊點檢測方法之流程圖。此焊點檢測方法300可由第1圖中所示的焊點檢測裝置100所執行，其中所述焊點檢測裝置100包含經焊點檢測模型訓練方法200所訓練完畢的第一辨識模型121、第二辨識模型122及焊點檢測模型123。在一些實施例中，此焊點檢測方法300之詳細步驟將於下面段落中敘述。
此外，為使焊點檢測方法300易於理解，請一併參閱第4A圖至第4G圖以及第5A圖至第5G圖，上述第4A圖至第4G圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構正常圖，而第5A圖至第5G圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構異常圖。
於步驟310中，輸入待測影像至第一辨識模型以獲得第一影像。
在一些實施例中，焊點檢測裝置100取得如第4A圖所示的待測影像。接著，處理器110將待測影像輸入到第一辨識模型121。隨後，如第4B圖所示，第一辨識模型121擷取待測影像中的第一目標區域450，並將第一目標區域450作為如第4C圖所示之第一影像，第一影像包含設置有焊點的表面貼裝元件。在一些實施例中，第一目標區域450可為感興趣區域(Region of Interest; ROI)。
如第4B圖所示，第一目標區域450包含表面貼裝元件410及焊點430，處理器110進一步將第一目標區域450等比例放大成為如第4C圖所示之第一影像。在另一實施例中，表面貼裝元件410為第4C圖中間兩個似長方形輪廓的結構，焊點430為第4C圖兩側似半月形輪廓的結構。
於步驟320中，輸入第一影像至第二辨識模型以獲得第二影像。
在一些實施例中，焊點檢測裝置100的處理器110將第4C所示之第一影像輸入到第二辨識模型122。接著，如第4D圖所示，第二辨識模型122將第一影像的第二目標區域470擷取出來，以獲得如第4E圖所示之第二影像，第二影像包含未設置有焊點的的表面貼裝元件。
在一些實施例中，第二目標區域470包含表面貼裝元件410，處理器110進一步將第二目標區域470擷取出來成為如第4E圖所示之第二影像。在一些實施例中，第二目標區域470可為感興趣區域。
於步驟330中，以第二影像遮罩第一影像，以產生第三影像並輸入至焊點檢測模型。
在一些實施例中，焊點檢測裝置100的處理器110以如第5E圖所示之第二影像遮罩如第4D圖所示之第一影像，將影像中相同位置的表面貼裝元件410遮罩後產生的遮罩影像，將遮罩影像作等比例放大以產生如第4F圖所示之第三影像，即僅包含焊點的影像。在一些實施例中，處理器110進一步將如第4F圖所示之第三影像進行白平衡處理成為如第4G圖所示之第三影像。
於步驟340中，依據焊點檢測模型的輸出結果判斷待測影像中的焊點是否異常。
在一些實施例中，處理器110將如第4G圖所示之第三影像輸入至焊點檢測模型123以辨別影像是否異常。上述實施例以正常焊點圖(第4A圖至第4G圖)為例作說明，下面會進一步根據異常焊點圖(第5A圖至第5G圖)為例作說明。
在一些實施例中，處理器110執行上述步驟310接收第5A圖，再將第5A圖輸入至第一辨識模型121，隨後，第一辨識模型121將第5B圖擷取第一目標區域550做為如5C圖所示之第一影像，第一影像包含設置有焊點的的表面貼裝元件。第一目標區域550包含表面貼裝元件510及焊點530。接著，處理器110執行上述步驟320將由第5D圖擷取第二目標區域570做為如第5E圖所示之第二影像，第二影像包含未設置有焊點的的表面貼裝元件。第二目標區域570包含表面貼裝元件510。在一些實施例中，第一目標區域550及第二目標區域570可為感興趣區域。
再者，處理器110執行上述步驟330，以如第5E圖所示之第二影像遮罩第5D圖影像中相同位置的表面貼裝元件510並獲得如第5F圖所示之第三影像。處理器110將如第5F圖所示之第三影像作白平衡處理已得出如第5G圖所示之第三影像。隨後，處理器110輸入如第5G圖所示之第三影像至焊點檢測模型123以辨別如第5G圖所示之焊點530是否異常。
在一些實施例中，請參閱第4G圖及第5G圖，可看到焊點正常圖如第4G圖所示，焊點為圖式中兩側似半月形輪廓的結構，請參閱第5G圖，相比較第4G圖的兩側焊點430與第5G圖中右側焊點530，只有第5G圖中的左側焊點530非似半月形輪廓的結構，表示此左側焊點530為異常。
如上所述，本案藉由二個辨識模型取得第4G圖之焊點430部分或第5G圖之焊點530部分，而使用焊點檢測模型123僅針對正常焊點430及異常焊點530進行辨認，因此，能夠迅速檢測表面貼裝元件中的焊點是否異常。
在一些實施例中，本案可進行遞迴式焊點檢測方法，而遞迴式焊點檢測方法分述如下。請參閱第1圖、第3圖、第4A圖至第4G圖及第5A圖至第5G圖，一塊印刷電路板(Printed circuit board, PCB)可能包含複數個如第4A圖或第5A圖所示之元件結構，本案可處理器110將複數個如第4A圖或第5A圖所示之元件結構影像偵測並擷取出來，以上為影像擷取步驟。
接著，再執行完第4B圖至第4C圖及第5B圖至第5C圖之相關步驟後，處理器110從複數個如第4D圖及第5D圖所示之第二目標區域中，偵測並擷取出需遮罩印刷電路板結構或元件結構，擷取出來的需遮罩印刷電路板結構或元件為如第4E圖及第5E圖之遮罩影像，以上為遮罩擷取步驟。詳細而言，需遮罩印刷電路板結構或元件結構像是中央處理器(Central Processing Unit, CPU)、電阻、電容及印刷電路板結構。
接著，將遮罩影像執行如上述步驟330的遮罩步驟。詳細來說，在執行步驟330中，由第4E圖之遮罩影像以遮罩第4D圖之影像，以上為遮罩步驟。隨後，本案可進行遞迴式焊點檢測方法不斷重複上述影像擷取步驟、遮罩擷取步驟及遮罩步驟，以遮罩非目標結構(例如，印刷電路板結構或元件結構)，而留下目標結構(例如，第4G圖所示之焊點430)。
依據前述實施例，本案提供一種焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置，可藉由多個訓練完畢的辨識模型以獲得目標影像，再使用焊點檢測模型針對目標影像進行辨認，因此，能夠迅速檢測表面貼裝元件中的焊點是否異常。
再者，本案可進行遞迴式焊點檢測方法，藉由不斷執行影像擷取步驟、遮罩擷取步驟及遮罩步驟，得以在短時間內將目標影像的最佳化，以大幅提升辨別的準確率。
雖然本案以詳細之實施例揭露如上，然而本案並不排除其他可行之實施態樣。因此，本案之保護範圍當視後附之申請專利範圍所界定者為準，而非受於前述實施例之限制。
對本領域技術人員而言，在不脫離本案之精神和範圍內，當可對本案作各種之更動與潤飾。基於前述實施例，所有對本案所作的更動與潤飾，亦涵蓋於本案之保護範圍內。
100:焊點檢測裝置
110:處理器
120:儲存單元
121:第一辨識模型
122:第二辨識模型
123:焊點檢測模型
200:方法
210~260:步驟
300:方法
310~340:步驟
410:表面貼裝元件
430:焊點
450:第一目標區域
470:第二目標區域
410:表面貼裝元件
530:焊點
550:第一目標區域
570:第二目標區域
參照後續段落中的實施方式以及下列圖式，當可更佳地理解本案的內容： 第1圖為根據本案一些實施例繪示的焊點檢測裝置之示意圖； 第2圖為根據本案一些實施例繪示的焊點檢測模型訓練方法之流程圖； 第3圖為根據本案一些實施例繪示的焊點檢測方法之流程圖； 第4A圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構正常圖； 第4B圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構正常圖； 第4C圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構正常圖； 第4D圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構正常圖； 第4E圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構正常圖； 第4F圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構正常圖； 第4G圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構正常圖； 第5A圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構異常圖； 第5B圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構異常圖； 第5C圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構異常圖； 第5D圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構異常圖； 第5E圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構異常圖； 第5F圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構異常圖；以及 第5G圖為根據本案一些實施例繪示的表面貼裝元件焊點之結構異常圖。
200:方法
210~260:步驟

Claims (11)

  1. 一種焊點檢測模型訓練方法，適以訓練一焊點檢測模型，其中該焊點檢測模型用以檢測一表面貼裝元件的焊點是否異常，該焊點檢測模型訓練方法包含： 根據複數個第一樣本影像訓練一第一辨識模型，以辨識影像中設置有焊點的表面貼裝元件； 根據複數個第二樣本影像訓練一第二辨識模型，以辨識影像中未設置焊點的表面貼裝元件； 輸入已標記的複數個原始影像至訓練完畢的該第一辨識模型以輸出複數個第一影像，其中該些第一影像每一者包含設置有焊點的表面貼裝元件； 輸入該些第一影像至訓練完畢的該第二辨識模型以輸出複數個第二影像，其中該些第二影像每一者包含未設置焊點的表面貼裝元件； 以該些第二影像遮罩該些第一影像，以產生複數個焊點正常影像及複數個焊點異常影像；以及 根據該些焊點正常影像及該些焊點異常影像訓練該焊點檢測模型。
  2. 如請求項1所述之焊點檢測模型訓練方法，其中根據該些第一樣本影像訓練該第一辨識模型以辨識影像中設置有焊點的表面貼裝元件的步驟更包含： 根據該些第一樣本影像及該些第一樣本影像每一者中表面貼裝元件對應的一第一座標訓練該第一辨識模型， 其中根據該些第二樣本影像訓練該第二辨識模型以辨識 影像中未設置焊點的表面貼裝元件的步驟更包含： 根據該些第二樣本影像及該些第二樣本影像每一者中表面貼裝元件對應的一第二座標訓練該第二辨識模型。
  3. 如請求項1所述之焊點檢測模型訓練方法，其中已標記的該些原始影像包含複數個已知焊點正常的表面貼裝元件之影像及複數個已知焊點異常的表面貼裝元件之影像。
  4. 如請求項1所述之焊點檢測模型訓練方法，其中根據該些焊點正常影像及該些焊點異常影像以訓練該焊點檢測模型的步驟包含: 將該些焊點正常影像及該些焊點異常影像進行白平衡處理；以及 藉由白平衡處理後的該些焊點正常影像與該些焊點異常影像訓練該焊點檢測模型。
  5. 如請求項1所述之焊點檢測模型訓練方法，其中該些第一樣本影像每一者包含設置有焊點的表面貼裝元件，該些第二樣本影像每一者包含未設置焊點的表面貼裝元件。
  6. 一種焊點檢測方法，包含： 輸入一待測影像至一第一辨識模型以獲得一第一影像，其中該第一辨識模型用以辨識該待測影像中設置有一焊點的一表面貼裝元件； 輸入該第一影像至一第二辨識模型以獲得一第二影像，其中該第二辨識模型用以辨識該第一影像中該表面貼裝元件； 以該第二影像遮罩該第一影像，以產生一第三影像並輸入至一焊點檢測模型；以及 依據該焊點檢測模型的輸出結果判斷該待測影像中的該焊點是否異常。
  7. 如請求項6所述之焊點檢測方法，其中輸入該待測影像至該第一辨識模型以獲得該第一影像的步驟包含: 藉由該第一辨識模型辨識並擷取該待測影像中的一第一目標區域，其中該第一目標區域包含該表面貼裝元件及該焊點；以及 將該第一目標區域放大，以作為該第一影像。
  8. 如請求項7所述之焊點檢測方法，其中輸入該第一影像至該第二辨識模型以獲得該第二影像的步驟包含: 藉由該第二辨識模型辨識並擷取該第一影像中的一第二目標區域以作為該第二影像，其中該第二目標區域包含該表面貼裝元件。
  9. 如請求項8所述之焊點檢測方法，其中以該第二影像遮罩該第一影像，以產生該第三影像並輸入至該焊點檢測模型的步驟包含: 將該第二影像遮罩該第一影像以產生一遮罩影像；以及 將該遮罩影像放大，以作為該第三影像。
  10. 如請求項6所述之焊點檢測方法，其中將該第三影像輸入至該焊點檢測模型更包含： 將該第三影像進行白平衡處理後輸入該焊點檢測模型。
  11. 一種焊點檢測裝置，包含： 一儲存單元，用以儲存一第一辨識模型、一第二辨識模型及一焊點檢測模型；以及 一處理器，用以執行以下步驟: 根據複數個第一樣本影像訓練該第一辨識模型辨識影像中設置有焊點的表面貼裝元件； 根據複數個第二樣本影像訓練該第二辨識模型辨識影像中未設置焊點的表面貼裝元件； 輸入已標記的複數個原始影像至訓練完畢的該第一辨識模型以輸出複數個第一影像，其中該些第一影像每一者包含設置有焊點的表面貼裝元件； 輸入該些第一影像至訓練完畢的該第二辨識模型以輸出複數個第二影像，其中該些第二影像每一者包含未設置焊點的表面貼裝元件； 以該些第二影像遮罩該些第一影像，以產生複數個焊點正常影像及複數個焊點異常影像；以及 根據該些焊點正常影像及該些焊點異常影像訓練該焊點檢測模型。
TW109124993A 2020-07-23 2020-07-23 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置 TWI744999B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109124993A TWI744999B (zh) 2020-07-23 2020-07-23 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置
CN202110612874.2A CN113971654A (zh) 2020-07-23 2021-06-02 焊点检测模型训练方法、焊点检测方法及焊点检测装置
US17/361,646 US11833618B2 (en) 2020-07-23 2021-06-29 Solder joint inspection model training method, solder joint inspection method, and solder joint inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109124993A TWI744999B (zh) 2020-07-23 2020-07-23 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置

Publications (2)

Publication Number Publication Date
TWI744999B true TWI744999B (zh) 2021-11-01
TW202205205A TW202205205A (zh) 2022-02-01

Family

ID=79586145

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109124993A TWI744999B (zh) 2020-07-23 2020-07-23 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置

Country Status (3)

Country Link
US (1) US11833618B2 (zh)
CN (1) CN113971654A (zh)
TW (1) TWI744999B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220023977A1 (en) * 2020-07-23 2022-01-27 Pegatron Corporation Solder joint inspection model training method, solder joint inspection method, and solder joint inspection device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115128079A (zh) * 2021-03-10 2022-09-30 英业达科技有限公司 自动光学与类神经网络整合的二次检测系统及其方法
US11927436B2 (en) * 2021-08-17 2024-03-12 Hewlett Packard Enterprise Development Lp Measurement machine and method for detecting a defect in solder joints
CN115482240B (zh) * 2022-11-10 2023-03-21 富联裕展科技(深圳)有限公司 焊接设备稳定度的确定方法、装置、焊接设备及存储介质
TWI833525B (zh) * 2022-12-26 2024-02-21 和碩聯合科技股份有限公司 異常偵測方法、異常偵測裝置及異常偵測系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI411483B (zh) * 2008-06-19 2013-10-11 Akim Corp Welding anomaly detection method, seam welding abnormal detection device, seam welding device
CN106530284A (zh) * 2016-10-21 2017-03-22 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
TWI661394B (zh) * 2018-08-22 2019-06-01 林佑學 焊點影像辨識方法
CN110321933A (zh) * 2019-06-11 2019-10-11 武汉闻道复兴智能科技有限责任公司 一种基于深度学习的故障识别方法和装置
WO2020129617A1 (ja) * 2018-12-19 2020-06-25 パナソニックＩｐマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5532739A (en) * 1993-10-06 1996-07-02 Cognex Corporation Automated optical inspection apparatus
JP4088232B2 (ja) * 2003-10-07 2008-05-21 株式会社新川 ボンディング方法、ボンディング装置及びボンディングプログラム
CN104504703A (zh) * 2014-12-20 2015-04-08 河南机电高等专科学校 一种基于片式元器件smt焊点彩色图像分割方法
TWI669519B (zh) 2018-01-05 2019-08-21 財團法人工業技術研究院 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
CN108428247B (zh) * 2018-02-27 2020-06-12 广州视源电子科技股份有限公司 焊锡点方向的检测方法和系统
KR102012318B1 (ko) * 2018-04-30 2019-08-20 재단법인 경북아이티융합 산업기술원 영상센서를 이용한 용접 품질 전수 검사 장치 및 그 방법
TW202006608A (zh) * 2018-07-02 2020-02-01 由田新技股份有限公司 遞迴性深度學習系統的訓練方法與檢測系統
JP7149124B2 (ja) * 2018-07-25 2022-10-06 日本放送協会 画像オブジェクト抽出装置及びプログラム
CN109447986B (zh) * 2018-11-19 2020-08-04 杭州睿琪软件有限公司 一种焊接图像采集方法、装置、电子设备和存储介质
US11551348B2 (en) * 2019-04-09 2023-01-10 KLA Corp. Learnable defect detection for semiconductor applications
CN111783621B (zh) * 2020-06-29 2024-01-23 北京百度网讯科技有限公司 人脸表情识别及模型训练的方法、装置、设备及存储介质
TWI744999B (zh) * 2020-07-23 2021-11-01 和碩聯合科技股份有限公司 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置
JP7156421B2 (ja) * 2021-02-16 2022-10-19 株式会社安川電機 溶接システム、溶接品質の評価方法、及び溶接品の製造方法
CN115482400A (zh) * 2021-06-15 2022-12-16 英业达科技有限公司 印刷焊点质量识别与维修建议系统及其方法
CN114119461B (zh) * 2021-10-08 2022-11-29 厦门微亚智能科技有限公司 基于深度学习的锂电池模组侧面焊缝外观检测方法及系统
CN114663353A (zh) * 2022-02-25 2022-06-24 广州大学 神经网络训练方法、焊接接头裂纹检测方法、装置和介质
CN114596290A (zh) * 2022-03-11 2022-06-07 腾讯科技（深圳）有限公司 缺陷检测方法及其装置、存储介质、程序产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI411483B (zh) * 2008-06-19 2013-10-11 Akim Corp Welding anomaly detection method, seam welding abnormal detection device, seam welding device
CN106530284A (zh) * 2016-10-21 2017-03-22 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
TWI661394B (zh) * 2018-08-22 2019-06-01 林佑學 焊點影像辨識方法
WO2020129617A1 (ja) * 2018-12-19 2020-06-25 パナソニックＩｐマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
CN110321933A (zh) * 2019-06-11 2019-10-11 武汉闻道复兴智能科技有限责任公司 一种基于深度学习的故障识别方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220023977A1 (en) * 2020-07-23 2022-01-27 Pegatron Corporation Solder joint inspection model training method, solder joint inspection method, and solder joint inspection device
US11833618B2 (en) * 2020-07-23 2023-12-05 Pegatron Corporation Solder joint inspection model training method, solder joint inspection method, and solder joint inspection device

Also Published As

Publication number Publication date
CN113971654A (zh) 2022-01-25
TW202205205A (zh) 2022-02-01
US20220023977A1 (en) 2022-01-27
US11833618B2 (en) 2023-12-05

Similar Documents

Publication Publication Date Title
TWI744999B (zh) 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置
Huang et al. A PCB dataset for defects detection and classification
Adibhatla et al. Applying deep learning to defect detection in printed circuit boards via a newest model of you-only-look-once
CN111899241B (zh) 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
WO2017088553A1 (zh) 电子元件极性方向的快速识别、标注的方法和系统
CN106127746A (zh) 电路板元件漏件检测方法和系统
CN110287862B (zh) 基于深度学习的防偷拍检测方法
CN106651802A (zh) 机器视觉焊锡定位检测方法
CN112819756A (zh) Pcb板表面缺陷检测装置及方法
Xia et al. An efficient and robust target detection algorithm for identifying minor defects of printed circuit board based on PHFE and FL-RFCN
CN111882547A (zh) 一种基于神经网络的pcb漏件检测方法
CN110321867A (zh) 基于部件约束网络的遮挡目标检测方法
Banerjee et al. Object tracking test automation using a robotic arm
Aggarwal et al. A survey on automatic printed circuit board defect detection techniques
Abbas Recovering homography from camera captured documents using convolutional neural networks
Li et al. An improved PCB defect detector based on feature pyramid networks
CN113420839B (zh) 用于堆叠平面目标物体的半自动标注方法及分割定位系统
Hu et al. Printed Circuit Board (PCB) Surface Micro Defect Detection Model Based on Residual Network with Novel Attention Mechanism.
Takacs et al. Novel outlier filtering method for AOI image databases
Liu et al. PCB Board Defect Detection Method based on Improved YOLOv8
CN112801998B (zh) 一种印制电路板检测方法、装置、计算机设备和存储介质
Junhong et al. On-line inspection system for finished circuit board based on machine vision
CN112001205B (zh) 一种二次人脸检测的网络模型样本采集的方法
JP2008298680A (ja) 基板外観検査装置、基板外観検査方法及びそのプログラム
CN112001204B (zh) 一种二次人脸检测的网络模型的训练方法