TW202223369A - 基板異物檢查裝置及基板異物檢查方法 - Google Patents

基板異物檢查裝置及基板異物檢查方法 Download PDF

Info

Publication number
TW202223369A
TW202223369A TW110138099A TW110138099A TW202223369A TW 202223369 A TW202223369 A TW 202223369A TW 110138099 A TW110138099 A TW 110138099A TW 110138099 A TW110138099 A TW 110138099A TW 202223369 A TW202223369 A TW 202223369A
Authority
TW
Taiwan
Prior art keywords
image data
printed circuit
foreign matter
dimensional
circuit board
Prior art date
Application number
TW110138099A
Other languages
English (en)
Other versions
TWI819395B (zh
Inventor
在間尚洋
菊池和義
大山剛
坂井田憲彥
Original Assignee
日商Ｃｋｄ股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商Ｃｋｄ股份有限公司 filed Critical 日商Ｃｋｄ股份有限公司
Publication of TW202223369A publication Critical patent/TW202223369A/zh
Application granted granted Critical
Publication of TWI819395B publication Critical patent/TWI819395B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Electric Connection Of Electric Components To Printed Circuits (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Liquid Crystal (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

[課題]可更加簡便並以非常良好之精度檢測出異物。 [解決手段]使用AI模型100取得將藉由相機32D所獲得的圖像資料作為原圖像資料並輸入AI模型100所重建之圖像資料作為重建圖像資料，該AI模型100係針對神經網路(neural networks)僅將與無異物之印刷基板相關之圖像資料作為學習資料學習而生成，該神經網路具有從所輸入的圖像資料提取特徵量之編碼部及從該特徵量重建圖像資料之解碼部。將原圖像資料及重建圖像資料進行比較，基於比較結果，判定在印刷基板中有無異物。由於不須準備比較用的主基板(master substrate)，故異物檢查變得簡便。再者，因為在比較之兩圖像資料中印刷基板的形狀、外觀各者幾乎相同等等，故能以非常良好的精度進行異物之檢測。

Description

基板異物檢查裝置及基板異物檢查方法
本發明關於用以檢查在基板中有無異物之基板異物檢查裝置及基板異物檢查方法。
一般而言，在印刷基板上安裝電子零件之基板生產線中，首先，在印刷基板的焊盤(land)上印刷焊膏(焊料印刷工序)。然後，根據該焊膏的黏性而將電子零件暫時固定在印刷基板上(安裝工序)。之後，將這樣的印刷基板引導到回焊爐，藉由將焊膏加熱熔融以進行焊接(回焊工序)。
通常，在這樣的基板生產線中，有時會設置基板異物檢查裝置，其係基於拍攝印刷有焊膏之印刷基板而得到的圖像資料，檢查在印刷基板有無異物(例如，參照專利文獻1等)。
記載於上述專利文獻1的基板異物檢查裝置(三維形狀測定裝置)中，關於有無異物的檢查係如下述方式進行。亦即，藉由一面對印刷基板照射複數道色光(color light)並一面對該印刷基板進行拍攝，取得二維影像作為二維資訊，且使用此二維影像進行異物的檢測。再者，藉由一面對印刷基板照射格柵圖案光並一面對該印刷基板進行拍攝，取得三維影像作為三維資訊，且使用此三維影像進行異物的檢測。然後，將基於二維影像的檢測結果與基於三維影像的檢測結果合併，藉此進行關於有無異物的最終判斷。
在此，使用了上述之二維影像或三維影像的異物檢測，係藉由將二維影像或三維影像與基準影像作比較而進行。基準影像係在與取得二維影像或三維影像時相同的條件下對作為標準之基板(主基板)拍攝而取得者。
再者，上述專利文獻1中，係作成為於使用三維影像的情況，亦可透過判別高度是否急遽地變化或是否超越基準值等而可檢測出異物。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特開2016-519768號公報
[發明欲解決之課題]
但是，為了進行將二維影像或三維影像與主基板之基準影像相比以檢測異物，檢查對象之印刷基板與主基板必須相同。因此，若在無法保持該等基板的相同性的情況，就無法進行異物檢測。
又，一般的印刷基板的製造工序係開孔工序、阻劑塗布工序、焊膏印刷工序等之包含很多進行定位的工序或使用遮罩的工序。再者，焊膏為將焊粒以助焊劑(flux)混拌而成者。因此，經過上述各種工序，印刷有焊膏之印刷基板的形狀或外觀並非固定。因而，即便在檢查對象之印刷基板無異物，在該印刷基板之二維影像或三維影像與基準影像之間必然會產生差分。從而，為了防止因為此差分而產生誤檢測，不得不設定比較寬鬆的檢查條件，結果，會有異物的檢測能力降低、無法檢測出微小異物等的不良狀況產生之虞。
再者，即便欲藉由判別高度是否急遽地變化或是否超過基準值等來檢測出異物，結果，若非高於焊膏的基準值者，則恐有無法作為異物而被檢測出之虞。此係因為於已印刷的焊膏中，可存在有側面係幾乎垂直地聳立者，也就是，高度係急遽地變化者之故。
本發明係有鑑於上述情事而完成者，其目的在於提供一種可更簡便且以非常良好的精度進行異物檢測之基板異物檢查裝置等。 [用以解決課題之手段]
以下，針對適合於解決上述目的之各手段，分項進行說明。此外，視需要，於對應的手段註記特有的作用效果。
手段1．一種基板異物檢查裝置，係檢查在印刷有焊膏的印刷基板中有無異物，其特徵為具備： 圖像資料取得手段，可取得在包含印刷焊膏的部分的前述印刷基板中之既定的被檢查區域的圖像資料； 識別手段，係針對神經網路僅將與在無異物之前述印刷基板中的前述被檢查區域相關之圖像資料作為學習資料學習所生成，該神經網路係具有從輸入的圖像資料提取特徵量之編碼部、及由該特徵量重建圖像資料之解碼部； 重建圖像資料取得手段，可取得藉由前述圖像資料取得手段所獲得的圖像資料作為原圖像資料並輸入前述識別手段而重建所得的圖像資料作為重建圖像資料；及 比較手段，可將前述原圖像資料及前述重建圖像資料進行比較， 且構成為基於前述比較手段的比較結果，可判定在前述印刷基板中有無異物。
另外，就作為上述「學習資料」使用之「在無異物之前述印刷基板中與前述被檢查區域有關的圖像資料」而言，可列舉出在目前為止的異物檢查所蓄積之圖像資料、後述之手段3的假想良品圖像資料、及於焊膏的印刷後作業員透過目視篩選出無異物之印刷基板的圖像資料等。
然後，上述「神經網路」中包含例如具有複數個卷積層的卷積神經網路等。上述「學習」中，包含例如深度學習(deep learning)等。上述「識別手段(生成模型)」中，包含例如自編碼器(Auto-Encoder)、卷積自編碼器(Convolutional Auto-Encoder)等。
另外，「識別手段」係因為僅學習在無異物之印刷基板中圖像資料而生成者，所以將與具異物之印刷基板有關的原圖像資料輸入識別手段時所生成的重建圖像資料，係與去除了雜訊(noise)部分(相當於異物的部分)的原圖像資料幾乎成為一致。亦即，在印刷基板有異物時，生成假定為無異物的情況之關於該印刷基板的假想圖像資料，作為與該印刷基板有關的重建圖像資料。
根據上述手段1，比較原圖像資料、及將該原圖像資料輸入識別手段而重建之重建圖像資料，基於其比較結果，判定在印刷基板中有無異物。因此，作比較之兩圖像資料係分別與相同的印刷基板有關。
從而，與藉由和主基板之基準影像的比較來檢測出異物的手法不同，無須準備用以比較的主基板。因此，並不會因無法維持檢查對象之印刷基板與主基板的同一性這樣的理由，而限制檢查對象之印刷基板。藉此，可更簡便地進行異物檢查。
然後，在作比較之兩圖像資料中，印刷基板的形狀、外觀(例如焊膏的形狀、位置等)等係分別幾乎相同，因而和藉由與基準影像的比較而檢測出異物的手法不同，無須為了防止誤檢測而設定比較寬鬆的檢查條件，可設定更加嚴格的檢查條件。再者，因為焊膏的高度或其變化之狀態等係對異物的檢測不會帶來影響，所以可檢測出具有比焊膏的側面還要平緩地位移之側面的異物、比焊膏還要低的異物等。又，在作比較之兩圖像資料中，可使檢查對象即印刷基板的攝像條件(例如印刷基板的配置位置、配置角度或撓曲等)、檢查裝置側的攝像條件(例如照明狀態或相機的視角等)等一致。此等作用效果係相輔相成，能以非常良好的精度進行異物的檢測。
再者，由於構成為利用識別手段進行異物檢查，所以也不需要預先記憶為了異物檢查而存在於印刷基板上的多個焊盤及分別印刷於此等焊盤之焊膏各自的印刷設定資訊等，且也不需要在檢查時參照該資訊，因此，可謀求提升檢查效率。
手段2．如手段1之基板異物檢查裝置，其特徵為具備學習資料生成手段，係在將與無異物之前述印刷基板中的前述被檢查區域相關的圖像資料設為基底圖像資料，將該基底圖像資料中之與焊膏相關之區域的圖像設為基底焊料區域圖像，及將和該基底焊料區域圖像對應且與無異物之焊膏相關之區域的圖像設為良品焊料區域圖像時，使用預先取得的複數種類的前述良品焊料區域圖像，將在前述基底圖像資料中之前述基底焊料區域圖像的至少一部分替換成各自不同之種類的前述良品焊料區域圖像，藉以取得複數種類之假想良品圖像資料， 作為前述學習資料，係使用藉由前述學習資料生成手段所獲得之前述假想良品圖像資料。
另外，就「基底焊料區域圖像」而言，例如，可舉出印刷基板中焊膏的印刷預定部位(亦即焊盤)的圖像。再者，作為「良品焊料區域圖像」，可例舉出焊膏圖像、具備焊盤及被印刷於該焊盤的焊膏兩者之圖像等。然後，「將基底焊料區域圖像替換為良品焊料區域圖像」，係指將焊膏的印刷預定部位(焊盤)的圖像之中的一部分替換成作為良品焊料區域圖像之焊膏的圖像、或是將焊膏的印刷預定部位(焊盤)的圖像整體替換成作為良品焊料區域圖像之具備焊盤及焊膏兩者的圖像等。
由於焊膏的形狀不會為固定，所以在神經網路的學習之際，必須準備非常多與無異物之印刷基板相關的圖像資料(學習資料)。但是，在從1個印刷基板得到1個學習資料這樣的手法中，為了備齊必須數量的學習資料而不得不準備極多的印刷基板，恐有需龐大的成本之虞。
關於這點，根據上述手段2，可取得複數種假想良品圖像資料，並將取得之複數種假想良品圖像資料作為學習資料，進行神經網路的學習，該複數種假想良品圖像資料係將基底圖像資料中之基底焊料區域替換為各自不同種的良品焊料區域圖像而成者。從而，由與1個印刷基板1有關的1個基底圖像資料，可生成多個不同的學習資料。可減少為了學習所準備之印刷基板的數量，而可有效地謀求降低成本。
手段3．如手段1或2之基板異物檢查裝置，其特徵為具備：三維測量用照射手段，對前述印刷基板的前述被檢查區域照射三維測量用的光；及二維測量用照射手段，對前述印刷基板的前述被檢查區域照射二維測量用的光， 前述圖像資料取得手段係可取得三維圖像資料及二維圖像資料，前述三維圖像資料係與被照射前述三維測量用的光之前述被檢查區域相關的圖像資料，前述二維圖像資料係與被照射前述二維測量用的光之前述被檢查區域相關的圖像資料， 前述比較手段，係可比較前述三維圖像資料及藉由前述識別手段以該三維圖像資料為基礎重建之重建三維圖像資料，且可比較前述二維圖像資料及藉由前述識別手段以該二維圖像資料為基礎重建之重建二維圖像資料， 且構成為基於前述三維圖像資料相關的比較結果及與前述二維圖像資料相關的比較結果，可判定在前述印刷基板中有無異物。
此外，「三維測量用光」係指例如具有條紋狀光強度分布的圖案光等，「二維測量用光」係指例如均一光等。
根據上述手段3，使用三維圖像資料及二維圖像資料兩者，可判定在印刷基板之有無異物。因此能以更良好的精度進行異物之檢測。
手段4．一種基板異物檢查方法，係用以檢查在印刷有焊膏的印刷基板中有無異物，其特徵為具備： 圖像資料取得工序，取得在包含印刷焊膏的部分的前述印刷基板之既定的被檢查區域的圖像資料； 重建圖像資料取得工序，使用識別手段，取得藉由前述圖像資料取得工序所獲得的圖像資料作為原圖像資料並輸入前述識別手段而重建所得的圖像資料作為重建圖像資料，該識別手段係使神經網路僅將與在無異物之前述印刷基板中的前述被檢查區域相關之圖像資料作為學習資料學習所生成，該神經網路係具有從所輸入的圖像資料提取特徵量之編碼部、及由該特徵量重建圖像資料之解碼部；及 比較工序，將前述原圖像資料及前述重建圖像資料進行比較， 基於前述比較工序的比較結果，判定在前述印刷基板中有無異物。
根據上述手段4，可發揮與上述手段1相同的作用效果。
手段5．如手段4之基板異物檢查方法，其特徵為具備學習資料生成工序，係在將與無異物之前述印刷基板中的前述被檢查區域相關的圖像資料設為基底圖像資料，將該基底圖像資料中之與焊膏相關之區域的圖像設為基底焊料區域圖像，於將和該基底焊料區域圖像對應且無異物之關於焊膏之區域的圖像設為良品焊料區域圖像時，使用預先取得的複數種類的前述良品焊料區域圖像，將在前述基底圖像資料中之前述基底焊料區域圖像的至少一部分替換成各自不同種類的前述良品焊料區域圖像，藉以取得複數種類之假想良品圖像資料， 作為前述學習資料，係使用藉由前述學習資料生成工序所獲得之前述假想良品圖像資料。
根據上述手段5，可發揮與上述手段2相同的作用效果。
手段6．如手段4或5之基板異物檢查方法，其特徵為具備：三維測量用照射工序，對前述印刷基板的前述被檢查區域照射三維測量用的光；及二維測量用照射工序，對前述印刷基板的前述被檢查區域照射二維測量用的光， 前述圖像資料取得工序係包含取得三維圖像資料的工序及取得二維圖像資料的工序，前述三維圖像資料係與被照射前述三維測量用的光之前述被檢查區域相關的圖像資料，前述二維圖像資料係與被照射前述二維測量用的光之前述被檢查區域相關的圖像資料， 前述比較工序，係包含：比較前述三維圖像資料及藉由前述識別手段以該三維圖像資料為基礎重建之重建三維圖像資料之工序；及可比較前述二維圖像資料及藉由前述識別手段以該二維圖像資料為基礎重建之重建二維圖像資料之工序， 基於與前述三維圖像資料相關的比較結果及與前述二維圖像資料相關的比較結果，判定在前述印刷基板中有無異物。
根據上述手段6，可發揮與上述手段3相同的作用效果。
[用以實施發明的形態]
以下，將參照圖式針對一實施形態進行說明。首先，針對成為檢查對象之印刷基板的構成進行說明。圖1係放大印刷基板的一部分之部分放大俯視圖。
如圖1所示，印刷基板1係在由玻璃環氧樹脂等構成的平板狀基底基板2的表面，形成有由銅箔構成的配線圖案(圖示省略)、複數個焊盤3。又，在基底基板2的表面，在除了焊盤3外的部分塗佈阻劑膜4。然後，於焊盤3上，印刷將焊粒以助焊劑(flux)混拌而成的焊膏5。此外，圖1等中，權宜上，在顯示焊膏5的部分附加散佈點狀圖樣。
接下來，針對製造印刷基板1的生產線(製造工序)，將參照圖2來作說明。圖2係顯示印刷基板1的生產線10的構成之方塊圖。如圖2所示，於生產線10中，自其上游側(圖2上側)依序設置有焊料印刷機12、焊料印刷後檢查裝置13、零件安裝機14、回焊裝置15及回焊後檢查裝置16。印刷基板1係針對這些裝置以此順序被搬送方式進行設定。本實施形態中，焊料印刷後檢查裝置13係構成「基板異物檢查裝置」。
焊料印刷機12係進行在印刷基板1的各焊盤3上印刷焊膏5之焊料印刷工序。例如，藉由網版印刷進行焊膏5的印刷。在網版印刷中，首先在使網遮罩(screen mask)的下面接觸於印刷基板1的狀態下，在該網遮罩上面供給焊膏5。在前述網遮罩中，形成有與印刷基板1的各焊盤3對應之複數個開口部。接著，藉由在前述網遮罩的上面使既定的刮板(squeegee)一面接觸一面移動，於前述開口部內填充焊膏5。之後，藉由使印刷基板1離開前述網遮罩的下面，在印刷基板1的各焊盤3印刷焊膏5。
焊料印刷後檢查裝置13係進行焊料印刷後檢查工序，其用來檢查印刷於焊盤3上之焊膏5的狀態、在印刷有焊膏5之印刷基板1中有無異物。關於焊料印刷後檢查裝置13的詳情，將於後闡述。
零件安裝機14係進行在印刷有焊膏5的焊盤3上搭載電子零件25(參照圖1)之零件安裝工序(mount process)。電子零件25具有複數個電極(無圖示)，該電極係分別暫時固定於既定的焊膏5。
回焊裝置15係進行使焊膏5加熱熔融，將焊盤3和電子零件25的前述電極進行焊料接合(焊接)之回焊工序。
回焊後檢查裝置16係進行回焊後檢查工序，該回焊後檢查工序係針對在回焊工序中是否已適當地進行焊料接合等進行檢查。例如使用亮度圖像資料等檢查電子零件25中有無位置偏移等。
亦即，在生產線10中，一邊依序搬送印刷基板1，一邊進行焊料印刷工序→焊料印刷後檢查工序→零件安裝工序(mount process)→回焊工序→回焊後檢查工序。
此外，雖省略了圖示，但生產線10係於焊料印刷機12和焊料印刷後檢查裝置13之間等的上述各裝置間，具備有用以移送印刷基板1的輸送機(conveyor)等。又，在焊料印刷後檢查裝置13與零件安裝機14之間或在回焊後檢查裝置16的下游側，設有分歧裝置。然後，在焊料印刷後檢查裝置13或回焊後檢查裝置16被判定為良品的印刷基板1，係原樣地朝下游側被引導，另一方面，被判定為不良品的印刷基板1則透過分歧裝置朝不良品儲存部排出。
在此，針對焊料印刷後檢查裝置13的構成，參照圖3、4詳細說明。圖3係示意性顯示焊料印刷後檢查裝置13的概略構成圖。圖4係顯示焊料印刷後檢查裝置13之功能構成的方塊圖。
焊料印刷後檢查裝置13具備有：搬送機構31，進行印刷基板1的搬送或定位等；檢查單元32，用以進行印刷基板1的檢查；及控制裝置33，以搬送機構31或檢查單元32的驅動控制為首，執行焊料印刷後檢查裝置13之各種控制、圖像處理或演算處理(參照圖4)。
搬送機構31係具備沿著印刷基板1的搬入搬出方向配置之一對搬送軌道31a、以及以可對各搬送軌道31a旋轉的方式配設之環狀輸送帶31b。再者，雖省略了圖示，但於搬送機構31，設有驅動前述輸送帶31b之馬達等的驅動手段以及用以將印刷基板1定位於既定位置之夾持機構。搬送機構31係藉由控制裝置33(後述之搬送機構控制部79)進行驅動控制。
在上述構成下，被搬入焊料印刷後檢查裝置13的印刷基板1，其與搬入搬出方向正交之寬度方向的兩側緣部係分別被插入搬送軌道31a，且載置於輸送帶31b上。接著，輸送帶31b開始動作，印刷基板1被搬送至既定的檢查位置。當印刷基板1到達檢查位置時，輸送帶31b會停止，同時前述夾持機構作動。藉由此挾持機構的動作，輸送帶31b被往上推，成為藉由輸送帶31b與搬送軌道31a的上邊部而挾持印刷基板1的兩側緣部之狀態。藉此，印刷基板1被定位固定於檢查位置。當檢查結束時，便解除藉由挾持機構之固定，並且輸送帶31b開始動作。藉此，印刷基板1從焊料印刷後檢查裝置13被搬出。當然，搬送機構31的構成並未受限於上述形態，亦可採用其他構成。
檢查單元32係配設於搬送軌道31a(印刷基板1的搬送路)的上方。檢查單元32係具備第一照明裝置32A、第二照明裝置32B、第三照明裝置32C及相機32D。又，檢查單元32係具備可朝X軸方向(圖3左右方向)移動之X軸移動機構32E(參照圖4)、及可朝Y軸方向(圖3前後方向)移動之Y軸移動機構32F(參照圖4)。檢查單元32係藉由控制裝置33(後述之移動機構控制部76)進行驅動控制。本實施形態中，第一照明裝置32A及第二照明裝置32B係構成「三維測量用照射手段」，第三照明裝置32C係構成「二維測量用照射手段」，相機32D係構成「圖像資料取得手段」。
第一照明裝置32A及第二照明裝置32B係在進行印刷基板1的三維測量的時候，分別對印刷基板1之既定的被檢查區域從斜上方照射三維測量用的既定光(具有條紋狀光強度分布的圖案光)。
具體言之，第一照明裝置32A係具備發出既定光的第一光源32Aa、將由該第一光源32Aa發出的光轉換成具有條紋狀光強度分布的第一圖案光之形成第一格柵的第一液晶光閘32Ab，並藉控制裝置33(後述之照明控制部72)驅動控制。
第二照明裝置32B係具備發出既定光的第二光源32Ba、將由該第二光源32Ba發出的光轉換成具有條紋狀光強度分布的第二圖案光之形成第二格柵的第二液晶光閘32Bb，並藉由控制裝置33(後述之照明控制部72)驅動控制。
在上述構成下，由各光源32Aa、32Ba發出的光係分別引導到聚光透鏡(省略圖示)，於此形成平行光後，透過液晶光閘32Ab、32Bb引導到投影透鏡(省略圖示)，並作為圖案光而投影到印刷基板1。又，在本實施形態中，以各圖案光的相位分別各位移四分之一間距的方式，進行液晶光閘32Ab、32Bb的切換控制。
又，藉由以液晶光閘32Ab、32Bb作為格柵使用，可照射接近理想的正弦波之圖案光。藉此，三維測量的測量解析度得以提升。又，可電性地進行圖案光的相移控制，謀求裝置的緊湊(compact)化。
第三照明裝置32C係已在進行印刷基板1的二維測量的時候，對印刷基板1之既定的被檢查區域照射二維測量用的既定光(例如均一光)之方式構成。
具體言之，第三照明裝置32C具備：可照射藍色光之環形燈具(ring light)、可照射綠色光之環形燈具、及可照射紅色光之環形燈具。此外，第三照明裝置32C由於是與周知技術相同的構成，因而省略關於其詳細的說明。
相機32係從正上方拍攝印刷基板1之既定的被檢查區域。相機32D係以具有CCD(Charge Coupled Device，電荷耦合元件)型影像感測器或CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)型影像感測器等的攝像元件、和對該攝像元件使印刷基板1的影像成像之光學系(透鏡單元或光闌等)，且其光軸沿著上下方向(Z軸方向)之方式配置。當然，攝像元件並未受此等所限，亦可採用其他的攝像元件。
相機32D係藉由控制裝置33(後述之相機控制部73)驅動控制。更詳言之，控制裝置33係一邊與利用各照明裝置32A、32B、32C所進行的照射處理同步，一邊執行利用相機32D的攝像處理。藉此，在從照明裝置32A、32B、32C的任一者照射的光中之在印刷基板1反射的光係藉由相機32D攝像。結果，可取得包含焊膏5的印刷部分之印刷基板1的被檢查區域的圖像資料。又，印刷基板1的「被檢查區域」，係以相機32D的攝像視野(攝像範圍)的大小作為1單位而預先設定於印刷基板1之複數個區域中的一個區域。
此外，本實施形態中的相機32D係由彩色相機(color camera)構成。藉此，可從第三照明裝置32C的各色環形燈具同時照射，將反射到印刷基板1的各色光一次拍攝。
藉相機32D拍攝且生成的圖像資料，係在該相機32D的內部轉換成數位信號後，以數位信號的形式傳送到控制裝置33(後述之圖像取得部74)並記憶。接著，控制裝置33係基於該圖像資料，實施後述的各種圖像處理或演算處理等。
控制裝置33係由包含執行既定的演算處理之CPU(Central Processing Unit，中央處理單元)、記憶各種程式或固定值資料等的ROM(Read Only Memory，唯讀記憶體)、在各種演算處理的執行時暫時記憶各種資料之RAM(Random Access Memory，隨機存取記憶體)及此等的周邊電路等之電腦所構成。
然後，控制裝置33係藉由CPU根據各種程式動作，而發揮作為後述之主控制部71、照明控制部72、相機控制部73、圖像取得部74、資料處理部75、移動機構控制部76、學習部77、檢查部78、搬送機構控制部79等的各種功能部之功能。
不過，上述各種功能部係藉由上述CPU、ROM、RAM等各種硬體協同作用而實現，不需要明確地區別以硬體或軟體實現的功能，此等功能的一部分或全部亦可藉由IC等硬體電路實現。
再者，於控制裝置33設有：由鍵盤、滑鼠或觸控面板等所構成的輸入部55；具有由液晶顯示器等所構成之顯示畫面的顯示部56；可記憶各種資料、程式、演算結果或檢查結果等的記憶部57；以及可與外部收發各種資料之通信部58等。
在此，針對構成控制裝置33之上述各種功能部詳細地說明。
主控制部71係掌管焊料印刷後檢查裝置13整體的控制之功能部，構成為可與照明控制部72或相機控制部73等其他功能部收發各種信號。
照明控制部72係驅動控制照明裝置32A、32B、32C的功能部，基於來自主控制部71的指令信號，進行照射光的切換控制等。
相機控制部73係驅動控制相機32D之功能部，基於來自主控制部71的指令信號控制拍攝時間點等。
圖像取得部74係用以取入藉相機32D拍攝並取得的圖像資料之功能部。
資料處理部75係對藉由圖像取得部74取入的圖像資料施以既定的圖像處理，或使用該圖像資料進行二維測量處理或三維測量處理等之功能部。
移動機構控制部76係對X軸移動機構32E及Y軸移動機構32F進行驅動控制之功能部，基於來自主控制部71的指令信號，控制檢查單元32的位置。移動機構控制部76，係可藉由驅動控制X軸移動機構32E及Y軸移動機構32F，而將檢查單元32朝定位固定於檢查位置之印刷基板1的任意的被檢查區域的上方位置移動。然後，藉由一邊使檢查單元32依序移動到設定於印刷基板1的複數個被檢查區域，一邊執行該被檢查區域的檢查，來執行印刷基板1全部區域的檢查。
學習部77係使用學習資料進行深度神經網路(Deep Neural Networks)90(以下，僅稱為「神經網路90」。參照圖5)的學習，構建作為識別手段的AI(Artificial Intelligence，人工智慧)模型100之功能部。
又，本實施形態中的AI模型100係如後述，僅以無異物之良品的印刷基板1的被檢查區域之圖像資料作為學習資料，使神經網路90深層學習(deep learning)而構建的生成模型，具有所謂的自編碼器(Auto-Encoder)的構造。
在此，參照圖5說明關於神經網路90的構造。圖5係概念地示意顯示神經網路90的構造之圖。如圖5所示，神經網路90具有卷積自編碼器(CAE：Convolutional Auto-Encoder)的構造，其具有：從輸入的圖像資料GA抽出特徵量(潛在變數)TA之作為編碼部的編碼器部91、和從該特徵量TA重建圖像資料GB之作為解碼部的解碼器部92。
由於卷積自編碼器的構造係為周知，所以省略詳細的說明，而編碼器部91具有複數個卷積層(Convolution Layer)93，各卷積層93中，對輸入資料進行使用複數個過濾器(核心(kernel))94之卷積演算的結果係被作為下一層的輸入資料而輸出。同樣地，解碼器部92具有複數個反卷積層(Deconvolution Layer)95，各反卷積層95中，對輸入資料進行使用複數個過濾器(核心)96之反卷積演算的結果係被作為下一層的輸入資料而輸出。接著，在後述的學習處理中，更新各過濾器94、96的加權(參數)。
檢查部78係對印刷有焊膏5之印刷基板1進行檢查之功能部。例如在本實施形態中，針對是否有異物附著於印刷基板1、焊膏5是否適當地被印刷等，進行檢查。
搬送機構控制部79係對搬送機構31進行驅動控制之功能部，基於來自主控制部71的指令信號，控制印刷基板1的位置。
記憶部57係由HDD(Hard Disk Drive，硬碟機)或SSD(Solid State Drive，固態硬碟)等所構成，例如具有記憶AI模型100(神經網路90及透過其學習獲得之學習資訊)之既定的記憶區域。
通信部58係以具備例如依照有線LAN(Local Area Network，區域網路)或無線LAN等通信規格之無線通信介面等，可與外部收發各種資料之方式構成。例如藉檢查部78進行之檢查的結果等經由通信部58被輸出至外部，藉回焊後檢查裝置16進行之檢查的結果經由通信部58被輸入。
接著，參照圖6的流程圖，說明關於藉由焊料印刷後檢查裝置13所進行之神經網路90的學習處理。
當基於既定的學習程式之執行，開始學習處理時，主控制部71最初在步驟S101中，執行用以進行神經網路90的學習之前處理。
在此前處理中，首先經由通信部58取得蓄積於回焊後檢查裝置16之多數印刷基板1的檢查資訊。接著，基於該檢查資訊，從記憶部57，取得在回焊後檢查合格的與無異物之良品的印刷基板1相關的圖像資料。此圖像資料係被用作為用以進行神經網路90的學習之學習資料。又，於此圖像資料包含：在由第一照明裝置32A或第二照明裝置32B照射圖案光的狀態下，利用相機32D對印刷基板1進行攝像而得之圖像資料即三維圖像資料；及在由第三照明裝置32C照射均一光的狀態下，利用相機32D對印刷基板1進行攝像而得之圖像資料即二維圖像資料。進行這樣的處理直到取得作為學習資料所需數量的圖像資料為止。
又，從回焊後檢查裝置16取得檢查資訊的印刷基板1，係以與作為檢查對象之印刷基板1相同構成者較佳。不過，印刷基板1的厚度、材質、大小或配置布局等不需要有同一性，以基於各式各樣種類的學習資料來學習者在通用性方面是較佳的。
當在步驟S101中取得學習所需數量的圖像資料時，在接下來的步驟S102中，基於來自主控制部71的指令，學習部77準備未學習的神經網路90。例如，讀取預先儲存於記憶部57等的神經網路90。或者，基於儲存於記憶部57等之網路構成資訊(例如神經網路的層數或各層的節點數等)，構建神經網路90。本實施形態中，將用以進行使用二維圖像資料之學習者(二維用神經網路)及用以進行使用三維圖像資料之學習者(三維用神經網路)分別構建，俾作為神經網路90。
在步驟S103中，取得重建圖像資料。亦即，基於來自主控制部71的指令，學習部77係將在步驟S102中所取得的圖像資料作為輸入資料賦予到神經網路90的輸入層，藉此取得從神經網路90的輸出層輸出之重建圖像資料。更詳言之，在二維用神經網路的學習之際，學習部77係以在步驟S102中所取得的二維圖像資料作為輸入資料，賦予到神經網路90(二維用神經網路)的輸入層，藉此取得從該神經網路90的輸出層所輸出之重建二維圖像資料。再者，在三維用神經網路的學習之際，學習部77係以在步驟S102中所取得的三維圖像資料作為輸入資料，賦予到神經網路90(三維用神經網路)的輸入層，藉此取得從該神經網路90的輸出層所輸出之重建三維圖像資料。
在接下來的步驟S104中，學習部77係比較輸入的圖像資料及藉由神經網路90所輸出的重建圖像資料，判定其誤差是否夠小(是否在既定的閾值以下)。例如在二維用神經網路的學習之際，比較二維圖像資料與重建二維圖像資料。
在此，在前述誤差夠小的情況下，在步驟S106，判定學習部77是否滿足學習的結束條件。例如，在無經過後述之步驟S105的處理下進行了既定次數連續在步驟S104被判定為肯定的情況時，或使用了所有準備的圖像資料之學習被反覆進行了既定次數的情況時，判定為滿足結束條件。在滿足結束條件的情況下，將神經網路90及其學習資訊(後述之更新後的參數等)作為AI模型100儲存於記憶部57，結束本學習處理。本實施形態中，最終，儲存對應於二維圖像資料者(二維用AI模型)及對應於三維圖像資料者(三維用AI模型)，作為AI模型。
另一方面，在步驟S106中未滿足結束條件的情況下，返回步驟S102，再次進行神經網路90的學習。
又，於步驟S104，在前述誤差不夠小的情況下，在步驟S105中進行網路更新處理(神經網路90的學習)後，再度返回步驟S103，重複進行上述一系列的處理。
具體言之，在步驟S105的網路更新處理中，例如使用誤差反向傳播法(Backpropagation)等周知的學習演算法，以表示學習用圖像資料與重建圖像資料的差分之損失函數變得極小的方式，將神經網路90中之上述各過濾器94、96的加權(參數)更新為更適當者。此外，作為損失函數，例如可利用BCE(Binary Cross-entropy，二元交叉熵)等。
藉由反覆進行幾次步驟S103～105的處理，在神經網路90中，學習用圖像資料與重建圖像資料的誤差變得極小，可輸出更正確的重建圖像資料。
然後，最終所得之AI模型100係在與無異物之印刷基板1相關的圖像資料被輸入時，生成與該圖像資料幾乎一致的重建圖像資料。再者，AI模型100係在與有異物之印刷基板1相關的圖像資料被輸入時，生成與去除了雜訊部分(相當於異物的部分)的該圖像資料幾乎一致的重建圖像資料。亦即，在印刷基板1有異物時，生成假定為無異物的情況之與該印刷基板1相關的假想圖像資料，來作為與該印刷基板1相關之重建圖像資料。
接著，針對藉由焊料印刷後檢查裝置13進行的檢查處理，參照圖7的流程圖來說明。其中，圖7所示的檢查處理係按各印刷基板1的被檢查區域來執行的處理。
當印刷基板1被搬入焊料印刷後檢查裝置13，且定位於既定的檢查位置時，便基於既定的檢查程式的執行，開始檢查處理。
當檢查處理開始時，首先在步驟S301中，執行圖像資料取得工序。圖像資料取得工序係包含取得三維圖像資料的工序、和取得二維圖像資料的工序。
在圖像資料取得工序中，首先，執行三維圖像資料的取得工序。本實施形態中，在印刷基板1之各被檢查區域關於的檢查中，係在一邊使自第一照明裝置32A所照射之第一圖案光的相位改變，一邊在相位不同的第一圖案光下進行4次攝像處理後，一邊使自第二照明裝置32B照射之第二圖案光的相位改變，一邊在相位不同的第二圖案光下進行4次攝像處理，取得總共8種三維圖像資料。以下，詳細地說明。
如上述，當被搬入焊料印刷後檢查裝置13的印刷基板1定位固定於既定的檢查位置時，基於來自主控制部71的指令，移動機構控制部76首先對X軸移動機構32E及Y軸移動機構32F進行驅動控制以使檢查單元32移動，使相機32D的攝像視野(攝像範圍)對準印刷基板1的既定被檢查區域。
同時，照明控制部72係對兩照明裝置32A、32B的液晶光閘(liquid crystal shutter)32Ab、32Bb進行切換控制，將形成於該兩液晶光閘32Ab、32Bb之第一格柵及第二格柵的位置設定在既定的基準位置。
當第一格柵及第二格柵的切換設定完成時，照明控制部72便使第一照明裝置32A的第一光源32Aa發光，照射第一圖案光，且相機控制部73驅動控制相機32D，以執行在該第一圖案光下之第1次的攝像處理。又，藉由攝像處理所產生的圖像資料，隨時被取入圖像取得部74(以下相同)。藉此，取得含有複數個焊盤3(焊膏5)之被檢查區域的三維圖像資料。
其後，照明控制部72係在第一圖案光下之第1次的攝像處理結束的同時，熄滅第一照明裝置32A的第一光源32Aa，並執行第一液晶光閘32Ab的切換處理。具體言之，將形成於第一液晶光閘32Ab之第一格柵的位置從前述基準位置，切換設定到第一圖案光的相位偏移四分之一間距(90°)的第二位置。
當第一格柵的切換設定完成時，照明控制部72便使第一照明裝置32A的光源32Aa發光，照射第一圖案光，且相機控制部73驅動控制相機32D，以執行在該第一圖案光下之第2次的攝像處理。之後，反覆進行相同的處理，取得在相位各相差90°之第一圖案光下的4種三維圖像資料。
接著，照明控制部72係使第二照明裝置32B的第二光源32Ba發光，照射第二圖案光，且相機控制部73驅動控制相機32D，以執行在該第二圖案光下之第1次的攝像處理。
之後，照明控制部72係在第二圖案光下的第1次攝像處理結束的同時，將第二照明裝置32B的第二光源32Ba熄滅，並且執行第二液晶光閘32Bb的切換處理。具體言之，將形成於第二液晶光閘32Bb之第二格柵的位置，從前述基準位置切換設定為第二圖案光的相位偏移四分之一間距(90°)之第二位置。
當第二格柵的切換設定完成時，照明控制部72便使第二照明裝置32B的光源32Ba發光，照射第二圖案光，並且相機控制部73驅動控制相機32D，執行在該第二圖案光下之第2次的攝像處理。之後，藉由反覆進行相同的處理，取得在相位各相差90°之第二圖案光下的4種三維圖像資料。本實施形態中，在取得三維圖像資料之際，從第一照明裝置32A或第二照明裝置32B對印刷基板1的被檢查區域照射圖案光的工序係相當於「三維測量用照射工序」。
接下來，執行二維圖像資料的取得工序。本實施形態中，基於來自主控制部71的指令，在關於印刷基板1的各被檢查區域的檢查中，照明控制部72使第三照明裝置32C發光，一邊對既定被檢查區域照射均一光，同時相機控制部73一邊驅動控制相機32D，執行在該均一光下的攝像處理。藉此，拍攝印刷基板1上的既定被檢查區域，取得關於該被檢查區域之二維圖像資料。本實施形態中，在取得二維圖像資料之際，從第三照明裝置32C對印刷基板1的被檢查區域照射均一光的工序係相當於「二維測量用照射工序」。又，所取得之三維圖像資料及二維圖像資料係分別被賦予號碼並記憶在記憶部57。
在下一個步驟S302中，執行三維測量資料取得處理。具體言之，基於來自主控制部71的指令，資料處理部75基於在上述步驟S301中於各圖案光下所得到的複數個三維圖像資料，利用周知的相移法，進行含有複數個焊膏5之既定的被檢查區域的三維形狀測量，將這樣的測量結果(三維測量資料)記憶於記憶部57。又，本實施形態中，由於係從2方向照射圖案光以進行三維形狀測量，所以可防止產生沒有被照射圖案光之影子的部分。
下一個步驟S303中，執行二維測量資料取得處理。具體言之，基於來自主控制部71的指令，資料處理部75基於在上述步驟S302中於均一光下所得到的二維圖像資料，進行含有複數個焊膏5之既定的被檢查區域的二維形狀測量，將這樣的測量結果(二維測量資料)記憶於記憶部57。
步驟S304中，執行重建圖像資料取得工序。具體而言，基於來自主控制部71的指令，檢查部78將在步驟S301取得之既定號碼(例如001號)的三維圖像資料(原圖像資料)，輸入對應於三維圖像資料之AI模型100(三維用AI模型)的輸入層。接著，將藉由該AI模型100所重建且從輸出層輸出的圖像資料取得作為前述既定號碼(例如001號)的重建三維圖像資料。然後，將取得之重建三維圖像資料與同一號碼的三維圖像資料(原圖像資料)賦予關聯而記憶。
然後，針對在步驟S301所取得之二維圖像資料也進行上述相同的處理。亦即，檢查部78將在步驟S301取得之既定號碼的二維圖像資料(原圖像資料)，輸入對應於二維圖像資料之AI模型100(二維用AI模型)的輸入層。接著，將藉由該AI模型100所重建且從輸出層輸出的圖像資料取得作為前述既定號碼的重建二維圖像資料。又，將取得之重建二維圖像資料與同一號碼的二維圖像資料(原圖像資料)賦予關聯而記憶。本實施形態中，進行重建三維圖像資料及重建二維圖像資料的取得處理之檢查部78係構成「重建圖像資料取得手段」。
在此，AI模型100，係在輸入與無異物之印刷基板1相關的圖像資料之情況是當然的，即便在輸入如圖8所示之與有異物M之印刷基板1相關的圖像資料的情況，亦如上述般藉由學習，而輸出如類似於圖9之無異物之圖像資料，作為重建圖像資料。
步驟S305中，進行基於取得之圖像資料的良否判定處理。本實施形態中，執行下述處理：針對與焊膏5相關之既定的三維資訊進行良否判定之三維良否判定處理；針對與焊膏5關於之既定的二維資訊進行良否判定之二維良否判定處理；及針對印刷基板1之有無異物進行良否判定之異物有無判定處理。
在三維良否判定處理中，係基於在上述步驟S302的三維測量資料取得處理所取得的三維測量資料，針對與焊膏5相關之既定的三維資訊進行良否判定。
具體言之，檢查部78係基於來自主控制部71的指令，首先基於在上述步驟S302中所取得的三維測量資料，算出焊膏5的「體積」及「高度」。接著，將此等焊膏5的「體積」及「高度」分別與預先記憶於記憶部57的基準資料作比較，判定焊膏5的「體積」及「高度」是否分別在基準範圍內。又，關於此等檢查項目(三維資訊)的良否判定處理，由於係可藉由周知的方法執行，所以省略詳細的說明。
在二維良否判定處理中，基於在上述步驟S303的二維測量資料取得處理中所取得的二維測量資料，針對與焊膏5相關之既定的二維資訊進行良否判定。
具體言之，檢查部78係基於來自主控制部71的指令，首先基於在上述步驟S303所取得的二維測量資料，算出焊膏5的「面積」及「位置偏移量」，並且進行涵蓋焊膏5的「二維形狀」及複數個焊盤3間之「焊橋(solder bridge)」的抽出。
接著，將焊膏5的「面積」及「位置偏移」、與「二維形狀」及「焊橋」分別與記憶於記憶部57的基準資料作比較，判定此等是否分別在基準範圍內。又，針對此等檢查項目(二維資訊)的良否判定處理，由於係可藉由周知的方法執行，所以省略詳細的說明。
異物有無判定處理中，基於來自主控制部71的指令，檢查部78係比較在上述步驟S304中分別取得之同一號碼的三維圖像資料(原圖像資料)及重建三維圖像資料，算出兩圖像資料的差分。例如，分別比較在兩圖像資料中之同一座標的點(dot)，算出亮度差成為既定值以上的點之塊的面積(點數)。
再者，藉由檢查部78係比較在步驟S304分別取得之同一號碼的二維圖像資料(原圖像資料)及重建二維圖像資料，算出兩圖像資料的差分。本實施形態中，比較原圖像資料及重建圖像資料之檢查部78係構成「比較手段」。且，比較原圖像資料及重建圖像資料之工序係相當於「比較工序」。
接著，檢查部78係基於與三維圖像資料相關的比較結果及與二維圖像資料相關的比較結果，判定在印刷基板1中有無異物。具體言之，檢查部78係判定算出之各差分是否比既定的閾值還要大。然後，在各差分之中的至少一者係比既定的閾值還要大的情況時，判定為「有異物」。另一方面，在各差分係分別比既定的閾值還要小的情況時，判定為「無異物」。
再者，檢查部78係在「三維良否判定處理」、「二維良否判定處理」及「異物有無判定處理」全部判定為「良」的情況時，針對印刷基板1中之檢查對象的被檢查區域判定為「良」，且將此結果記憶於記憶部57。
另一方面，在「三維良否判定處理」、「二維良否判定處理」及「異物有無判定處理」的任一者中被判定為「不良」的情況時，針對檢查對象的被檢查區域判定為「不良」，且將該結果記憶於記憶部57。
然後，焊料印刷後檢查裝置13，係在針對印刷基板1中所有的被檢查區域進行了上述檢查處理之結果，針對全部的被檢查區域被判定為「良」的情況時，判定為沒有異常的印刷基板1(合格判定)，且將此結果記憶於記憶部57。
另一方面，焊料印刷後檢查裝置13，係在就算存在有一個被判定為「不良」的被檢查區域之情況時，判定為有不良處的印刷基板1(不合格判定)，將此結果記憶於記憶部57，且透過顯示部56和通信部58等，將其要旨通知外部。
如以上詳述，根據本實施形態，將原圖像資料即二維圖像資料及三維圖像資料、與對AI模型100輸入該等資料而重建之重建二維圖像資料及重建三維圖像資料作比較，基於其比較結果，判定在印刷基板1中有無異物。因此，作比較的兩圖像資料係分別與相同的印刷基板1有關。
從而，與藉由和主基板之基準影像的比較來檢測出異物的手法不同，無須準備用以比較的主基板。因此，並不會因無法維持檢查對象之印刷基板1與主基板的同一性這樣的理由，而限制檢查對象之印刷基板1。藉此，可更簡便地進行異物檢查。
然後，在作比較的兩圖像資料中，印刷基板1的形狀、外觀(例如焊膏5的形狀、位置等)等係分別幾乎相同，因而藉由與基準影像的比較而檢測出異物的手法不同，無須為了防止誤檢測而設定比較寬鬆的檢查條件，可設定更加嚴格的檢查條件。再者，因為焊膏5的高度或其變化之狀態等對異物的檢測不會帶來影響，所以可檢測出具有比焊膏5的側面還要平緩地位移之側面的異物、比焊膏5還要低的異物等。又，在比較之兩圖像資料中，可使檢查對象即印刷基板1的攝像條件(例如印刷基板1的配置位置、配置角度或撓曲等)、檢查裝置側的攝像條件(例如照明狀態或相機32D的視角等)等一致。此等作用效果係相輔相成，能以非常良好的精度進行異物的檢測。
再者，由於係成為利用AI模型100進行異物檢查的構成，所以也不需要預先記憶存在於用於異物檢查之印刷基板1上的多個焊盤3及分別印刷於此等焊盤3之焊膏5各自的印刷設定資訊等，且也不需要在檢查時參照該資訊，因此，可謀求提升檢查效率。
再者，本實施形態中，因為使用三維圖像資料及二維圖像資料兩者，判定在印刷基板1中有無異物，所以能以更良好的精度進行異物之檢測。
此外，不限於上述實施形態的記載內容，例如，亦可以如下方式實施。不言而喻，以下未例示的其他應用例、變更例當然亦可。
(a)上述實施形態中，在神經網路90之學習的時候，於回焊後檢查合格的與無異物之良品的印刷基板1相關的圖像資料被用於作為學習資料。相對於此，亦可例如於焊膏5印刷後，作業員透過目視篩選出與無異物之印刷基板1相關的圖像資料作為學習資料使用。
又，學習部77亦可以生成假想良品圖像資料，且使用此假想良品圖像資料進行神經網路90的學習之方式構成。
更詳言之，如圖10所示，事先取得複數個與在無異物之印刷基板1中之被檢查區域有關的圖像資料，作為基底圖像資料200。基底圖像資料200係可例如藉由焊料印刷後檢查裝置13，透過利用與檢查時相同條件對印刷基板1進行攝像而取得。另外，基底圖像資料200亦可為對未印刷有焊膏5的印刷基板1進行拍攝而獲得的圖像，亦可為在對印刷有焊膏5的印刷基板1進行拍攝而獲得的圖像中消除焊膏5的部分且以消除部分會變成焊盤3的方式所進行的補充處理的圖像。
於基底圖像資料200中，係含有複數個關於焊膏5之區域的圖像亦即基底焊料區域圖像5a1、5a2、5a3。在本例中，基底焊料區域圖像5a1、5a2、5a3係分別與印刷有焊膏5的焊盤3對應。
再者，如圖11所示，事先分別取得複數種良品焊料區域圖像5g1、5g2、5g3，該等良品焊料區域圖像5g1、5g2、5g3係與基底焊料區域圖像5a1、5a2、5a3對應之和無異物之焊膏5相關的區域的圖像。良品焊料區域圖像5g1、5g2、5g3為焊膏5的圖像，且分別對應於不同尺寸的基底焊料區域圖像5a1、5a2、5a3。本例中，良品焊料區域圖像5g1係與基底焊料區域圖像5a1對應，良品焊料區域圖像5g2係與基底焊料區域圖像5a2對應，良品焊料區域圖像5g3係與基底焊料區域圖像5a3對應。良品焊料區域圖像5g1、5g2、5g3係可例如，從與檢查合格的無異物之良品的印刷基板1相關的圖像資料等取得。
然後，學習部77在例如上述之步驟S101的前處理中，使用基底圖像資料200及良品焊料區域圖像5g1、5g2、5g2，生成如圖12所示的假想良品圖像資料。亦即，學習部77係進行將在基底圖像資料200中之基底焊料區域圖像5a1、5a2、5a3的至少一部分(本例中，基底焊料區域圖像5a1、5a3、5a3中，成為與良品焊料區域圖像5g1、5g2、5g3相同形狀的一定範圍)，替換成良品焊料區域圖像5g1、5g2、5g3之處理，藉此生成假想良品圖像資料201。
又，學習部77係一邊變更成為基準之基底圖像資料200或用於替換之良品焊料區域圖像5g1、5g2、5g3等，一邊反覆進行上述處理，藉此生成必要數量之不同種類的假想良品圖像資料201。然後，學習部77將該生成之假想良品圖像資料201作為學習資料，進行神經網路90的學習。本例中，學習部77係構成「學習資料生成手段」，生成假想良品圖像資料201的工序係相當於「學習資料生成工序」。
藉由採用關於如上述之學習的構成，由與1個印刷基板1有關的1個基底圖像資料200，可生成多個不同的學習資料(假想良品圖像資料201)。因此，為了學習所準備之印刷基板1的數量係為可得到必要數量的基底圖像資料200之程度即足夠的數量。藉此，可減少為了學習所準備之印刷基板1的數量，其結果，可有效地謀求降低成本。
又，如圖13所示，作為良品焊料區域圖像5h1、5h2、5h3，亦可使用具備焊盤3及被印刷於該焊盤3之焊膏5兩者的圖像。在此情況，將整體的基底焊料區域圖像5a1、5a2、5a3替換成良品焊料區域圖像5h1、5h2、5h3，藉此可生成假想良品圖像資料。
再者，就假想良品圖像資料而言，亦可生成相當於二維圖像資料者與相當於三維圖像資料者。又，在如下所述的(b)般構成的情況，亦可僅生成相當於二維圖像資料者及相當於三維圖像資料者中之一者。
(b)上述實施形態中，雖設成使用二維圖像資料及三維圖像資料來進行關於有無異物的檢查之構成，但亦可設成僅使用兩圖像資料中之一者來進行關於有無異物的檢查之構成。
(c)上述實施形態中，就AI模型100而言，雖設置了與二維圖像資料對應者(二維用AI模型)、以及與三維圖像資料對應者(三維AI模型)，但亦可設置與二維圖像資料及三維圖像資料分別對應之共通的AI模型。
(d)三維測量方法或二維測量方法等焊膏5的測量方法係未受限於上述實施形態，亦可採用其他的構成。例如在上述實施形態中，係構成為在進行利用相移法的三維測量方面，取得在各圖案光的相位各相差90°的4種圖像資料，但相移次數及相移量並未受此等所限。再者，採用相移法作為三維測量法，但未受此所限，亦可採用光切斷法、疊紋法、聚焦法、空間編碼法等的其他三維測量法。
(e)上述實施形態中，在檢查處理中，雖以進行「三維良否判定處理」及「二維良否判定處理」的方式構成，但亦可設為不進行兩處理中之一者或兩者的構成。
(f)作為識別手段的AI模型100(神經網路90)的構成及其學習方法，並未受限於上述實施形態。例如，亦可構成為在進行神經網路90的學習處理、或重建圖像資料取得工序等時，依需要對各種資料進行正規化(normalization)等的處理。又，神經網路90的構造並未受限於圖5所示者，例如亦可作成在卷積層93後設有池化(pooling)層之構成。當然，亦可作成神經網路90的層數、各層的節點數、各節點(node)的連接構造等不同之構成。
再者，上述實施形態中，AI模型100(神經網路90)係成為具有卷積自編碼器(CAE)的構造之生成模型，但不限於此，例如亦可設成變分自編碼器(VAE: Variational Autoencoder)等具有不同類型的自編碼器的構造之生成模型。
且，上述實施形態中，雖構成為藉由誤差反向傳播法學習神經網路90之構成，但不限於此，亦可構成為使用其他各種學習演算法來學習。
另外，神經網路90亦可由所謂的AI晶片等的AI處理專用電路所構成。於此情況，亦可設成透過僅參數等的學習資訊記憶於記憶部57，再由AI處理專用電路將其讀取並設定於神經網路90而構成AI模型100。
並且，上述實施形態中，雖構成為控制裝置33具備學習部77，在控制裝置33內進行神經網路90的學習，但未受此所限。例如，亦可構成為省略學習部77，且將神經網路90的學習在控制裝置33的外部進行，且構成為將在外部進行學習之AI模型100(已學習的神經網路90)記憶於記憶部57。當然，在如上述(a)進行使用了假想良品圖像資料201的學習的情況時，亦可在控制裝置33的外部產生假想良品圖像資料201。
1:印刷基板 5:焊膏 5a1,5a2,5a3:基底焊料區域圖像 5g1,5g2,5g3,5h1,5h2,5h3:良品焊料區域圖像 13:焊料印刷後檢查裝置(基板異物檢查裝置) 32A:第一照明裝置(三維測量用照射手段) 32B:第二照明裝置(三維測量用照射手段) 32C:第三照明裝置(二維測量用照射手段) 32D:相機(圖像資料取得手段) 33:控制裝置 77:學習部(學習資料生成手段) 78:檢查部(重建圖像資料取得手段、比較手段) 90:神經網路 91:編碼器部(Encoder) 92:解碼器部(Decoder) 100:AI模型(識別手段) 200:基底圖像資料 201:假想良品圖像資料
圖1係將印刷基板的一部分放大的部分放大俯視圖。 圖2係顯示印刷基板之生產線的構成的方塊圖。 圖3係示意性顯示焊料印刷後檢查裝置的概略構成圖。 圖4係顯示焊料印刷後檢查裝置之功能構成的方塊圖。 圖5係用以說明神經網路之構造的示意圖。 圖6係顯示神經網路的學習處理之流程的流程圖。 圖7係顯示檢查處理之流程的流程圖。 圖8係顯示有異物的印刷基板之圖像資料的一例的圖。 圖9係顯示藉由AI模型重建之圖像資料的一例的圖。 圖10係顯示基底圖像資料的一例的圖。 圖11係顯示良品焊料區域圖像的一例的圖。 圖12係顯示假想良品圖像資料的一例的圖。 圖13係顯示良品焊料區域圖像的另一例的圖。
13:焊料印刷後檢查裝置
31:搬送機構
32:檢查單元
32A:第一照明裝置
32B:第二照明裝置
32C:第三照明裝置
32D:相機
32E:X軸移動機構
32F:Y軸移動機構
33:控制裝置
55:輸入部
56:顯示部
57:記憶部
58:通信部
71:主控制部
72:照明控制部
73:相機控制部
74:圖像取得部
75:資料處理部
76:移動機構控制部
77:學習部
78:檢查部
79:搬送機構控制部
100:AI模型

Claims (6)

  1. 一種基板異物檢查裝置，係檢查在印刷有焊膏的印刷基板中有無異物，其特徵為具備： 圖像資料取得手段，可取得在包含印刷焊膏的部分的前述印刷基板中之既定的被檢查區域的圖像資料； 識別手段，係針對神經網路僅將與在無異物之前述印刷基板中的前述被檢查區域相關之圖像資料作為學習資料學習所生成，該神經網路係具有從輸入的圖像資料提取特徵量之編碼部、及由該特徵量重建圖像資料之解碼部； 重建圖像資料取得手段，可取得藉由前述圖像資料取得手段所獲得的圖像資料作為原圖像資料並輸入前述識別手段而重建所得的圖像資料作為重建圖像資料；及 比較手段，可將前述原圖像資料及前述重建圖像資料進行比較， 且構成為基於前述比較手段的比較結果，可判定在前述印刷基板中有無異物。
  2. 如請求項1之基板異物檢查裝置，其具備學習資料生成手段，係在將與無異物之前述印刷基板中的前述被檢查區域相關的圖像資料設為基底圖像資料，將該基底圖像資料中之與焊膏相關之區域的圖像設為基底焊料區域圖像，及將和該基底焊料區域圖像對應且與無異物之焊膏相關之區域的圖像設為良品焊料區域圖像時， 使用預先取得的複數種類的前述良品焊料區域圖像，將在前述基底圖像資料中之前述基底焊料區域圖像的至少一部分替換成各自不同之種類的前述良品焊料區域圖像，藉以取得複數種類之假想良品圖像資料， 作為前述學習資料，係使用藉由前述學習資料生成手段所獲得之前述假想良品圖像資料。
  3. 如請求項1或2之基板異物檢查裝置，其具備： 三維測量用照射手段，對前述印刷基板的前述被檢查區域照射三維測量用的光；及 二維測量用照射手段，對前述印刷基板的前述被檢查區域照射二維測量用的光， 前述圖像資料取得手段係可取得三維圖像資料及二維圖像資料，前述三維圖像資料係與被照射前述三維測量用的光之前述被檢查區域相關的圖像資料，前述二維圖像資料係與被照射前述二維測量用的光之前述被檢查區域相關的圖像資料， 前述比較手段，係可比較前述三維圖像資料及藉由前述識別手段以該三維圖像資料為基礎重建之重建三維圖像資料，且可比較前述二維圖像資料及藉由前述識別手段以該二維圖像資料為基礎重建之重建二維圖像資料，且構成為基於與前述三維圖像資料相關的比較結果及與前述二維圖像資料相關的比較結果，可判定在前述印刷基板中有無異物。
  4. 一種基板異物檢查方法，係用以檢查在印刷有焊膏的印刷基板中有無異物，其特徵為具備： 圖像資料取得工序，取得在包含印刷焊膏的部分的前述印刷基板之既定的被檢查區域的圖像資料； 重建圖像資料取得工序，使用識別手段，取得藉由前述圖像資料取得工序所獲得的圖像資料作為原圖像資料並輸入前述識別手段而重建所得的圖像資料作為重建圖像資料，該識別手段係使神經網路僅將與在無異物之前述印刷基板中的前述被檢查區域相關之圖像資料作為學習資料學習所生成，該神經網路係具有從所輸入的圖像資料提取特徵量之編碼部、及由該特徵量重建圖像資料之解碼部；及 比較工序，將前述原圖像資料及前述重建圖像資料進行比較， 基於前述比較工序的比較結果，判定在前述印刷基板中有無異物。
  5. 如請求項4之基板異物檢查方法，其具備學習資料生成工序，係在將與無異物之前述印刷基板中的前述被檢查區域相關的圖像資料設為基底圖像資料，將該基底圖像資料中之與焊膏相關之區域的圖像設為基底焊料區域圖像，及將和該基底焊料區域圖像對應且與無異物之焊膏相關之區域的圖像設為良品焊料區域圖像時， 使用預先取得的複數種類的前述良品焊料區域圖像，將在前述基底圖像資料中之前述基底焊料區域圖像的至少一部分替換成各自不同種類的前述良品焊料區域圖像，藉以取得複數種類之假想良品圖像資料， 作為前述學習資料，係使用藉由前述學習資料生成工序所獲得之前述假想良品圖像資料。
  6. 如請求項4或5之基板異物檢查方法，其具備： 三維測量用照射工序，對前述印刷基板的前述被檢查區域照射三維測量用的光；及 二維測量用照射工序，對前述印刷基板的前述被檢查區域照射二維測量用的光， 前述圖像資料取得工序係包含取得三維圖像資料的工序及取得二維圖像資料的工序，前述三維圖像資料係與被照射前述三維測量用的光之前述被檢查區域相關的圖像資料，前述二維圖像資料即與前述二維測量用的光所照射之前述被檢查區域相關的圖像資料， 前述比較工序係包含：比較前述三維圖像資料及藉由前述識別手段以該三維圖像資料為基礎重建之重建三維圖像資料之工序；與比較前述二維圖像資料及藉由前述識別手段以該二維圖像資料為基礎重建之重建二維圖像資料之工序， 基於與前述三維圖像資料相關的比較結果及與前述二維圖像資料相關的比較結果，判定在前述印刷基板中有無異物。
TW110138099A 2020-12-03 2021-10-14 基板異物檢查裝置及基板異物檢查方法 TWI819395B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-200874 2020-12-03
JP2020200874A JP7046150B1 (ja) 2020-12-03 2020-12-03 基板異物検査装置及び基板異物検査方法

Publications (2)

Publication Number Publication Date
TW202223369A true TW202223369A (zh) 2022-06-16
TWI819395B TWI819395B (zh) 2023-10-21

Family

ID=81255891

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110138099A TWI819395B (zh) 2020-12-03 2021-10-14 基板異物檢查裝置及基板異物檢查方法

Country Status (7)

Country Link
US (1) US20230186458A1 (zh)
JP (1) JP7046150B1 (zh)
CN (1) CN115803611A (zh)
DE (1) DE112021006288T5 (zh)
MX (1) MX2022015423A (zh)
TW (1) TWI819395B (zh)
WO (1) WO2022118523A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7342207B1 (ja) 2022-07-15 2023-09-11 Ckd株式会社 包装体検査装置及び包装体検査方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2959156B2 (ja) * 1991-03-25 1999-10-06 松下電器産業株式会社 半田の形状検査方法
TW484104B (en) * 1999-08-05 2002-04-21 Orbotech Ltd Apparatus and method for the inspection of objects
JP4493421B2 (ja) * 2004-06-30 2010-06-30 株式会社リコー プリント回路基板検査装置とプリント回路基板組み立て検査ラインシステムおよびプログラム
KR101590831B1 (ko) * 2013-04-02 2016-02-03 주식회사 고영테크놀러지 기판의 이물질 검사방법
JP6450697B2 (ja) 2016-03-22 2019-01-09 Ckd株式会社 基板検査装置
KR20180015983A (ko) * 2016-08-04 2018-02-14 주식회사 고영테크놀러지 인쇄 회로 기판의 검사 및 불량 교정 장치와 그 방법
JP2021042955A (ja) 2017-12-27 2021-03-18 キユーピー株式会社 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
KR101911061B1 (ko) 2018-03-26 2018-10-23 주식회사 대곤코퍼레이션 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 시스템 및 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 방법

Also Published As

Publication number Publication date
TWI819395B (zh) 2023-10-21
WO2022118523A1 (ja) 2022-06-09
US20230186458A1 (en) 2023-06-15
CN115803611A (zh) 2023-03-14
MX2022015423A (es) 2023-01-11
DE112021006288T5 (de) 2023-09-21
JP2022088818A (ja) 2022-06-15
JP7046150B1 (ja) 2022-04-01

Similar Documents

Publication Publication Date Title
KR101251372B1 (ko) 3차원형상 측정방법
KR101147183B1 (ko) 삼차원 계측 장치 및 기판 검사 장치
US10126252B2 (en) Enhanced illumination control for three-dimensional imaging
KR101578056B1 (ko) 삼차원 계측 장치
KR101144749B1 (ko) 소자의 불량 검사방법
KR101622628B1 (ko) 부품이 실장된 기판 검사방법 및 검사장치
US20230186458A1 (en) Substrate foreign matter inspection device and substrate foreign matter inspection method
US20230232603A1 (en) Solder printing inspection device
JP2017223509A (ja) 半田印刷検査装置
TWI792296B (zh) 網遮罩檢查方法及網遮罩檢查裝置
TWI797617B (zh) 網遮罩檢查裝置
KR101442666B1 (ko) 복수 행의 조명부재를 포함하는 비전검사장치
JP2023044154A (ja) 基板の毛髪検査装置及び基板の毛髪検査方法
JP6366655B2 (ja) 半田印刷検査装置及び基板製造システム
JP3868917B2 (ja) 三次元計測装置及び検査装置
JP4034325B2 (ja) 三次元計測装置及び検査装置
KR101132781B1 (ko) 기판 검사방법 및 이를 포함하는 기판 제조방법
US20240193751A1 (en) Apparatus for hair inspection on substrate and method for hair inspection on substrate
JP3730222B2 (ja) 三次元計測装置及び検査装置
Mahon Automatic 3-D inspection of solder paste on surface mount printed circuit boards
JPH0772094A (ja) ハンダ付け検査装置
KR20110097748A (ko) 터미널 검사방법