JP7153127B2 - 良否判定装置および良否判定方法 - Google Patents
良否判定装置および良否判定方法 Download PDFInfo
- Publication number
- JP7153127B2 JP7153127B2 JP2021505479A JP2021505479A JP7153127B2 JP 7153127 B2 JP7153127 B2 JP 7153127B2 JP 2021505479 A JP2021505479 A JP 2021505479A JP 2021505479 A JP2021505479 A JP 2021505479A JP 7153127 B2 JP7153127 B2 JP 7153127B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- board
- pass
- work
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000009826 distribution Methods 0.000 claims description 88
- 238000003860 storage Methods 0.000 claims description 75
- 238000003384 imaging method Methods 0.000 claims description 67
- 239000000758 substrate Substances 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 8
- 230000000717 retained effect Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 description 19
- 230000002950 deficient Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000011179 visual inspection Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 229910000679 solder Inorganic materials 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 210000000746 body region Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000007639 printing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Manufacturing & Machinery (AREA)
- Theoretical Computer Science (AREA)
- Operations Research (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Description
1-1.対基板作業ラインWMLの構成例
対基板作業ラインWMLでは、基板90に所定の対基板作業を行う。対基板作業ラインWMLを構成する対基板作業機WMの種類および数は、限定されない。図1に示すように、本実施形態の対基板作業ラインWMLは、印刷機WM1、印刷検査機WM2、部品装着機WM3、リフロー炉WM4および外観検査機WM5の複数(5つ)の対基板作業機WMを備えており、基板90は、基板搬送装置(図示略)によって、この順に搬送される。
部品装着機WM3は、基板90に複数の部品91を装着する。図2に示すように、部品装着機WM3は、基板搬送装置11、部品供給装置12、部品移載装置13、部品カメラ14、基板カメラ15および制御装置16を備えている。
例えば、既述したように、部品装着機WM3は、部品カメラ14によって撮像された画像を画像処理して、部品91の適否、部品91の保持姿勢を認識している。このとき、例えば、画像から抽出される部品91についての特徴量(例えば、部品91の色、外形形状、面積など)に基づいて、部品91の適否、部品91の保持姿勢などの部品91の保持作業の良否を判定しようとすると、判定条件の漏れによる誤判定の可能性がある。
分布取得部41は、基準画像BP1の各画像について画像全体の特徴量である基準特徴量BF1を抽出して、抽出された複数の基準特徴量BF1の分布である特徴量分布FD1を取得する。基準画像BP1は、基板90に所定の対基板作業を行う対基板作業機WMの撮像装置80が対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像をいう。
良否判断部42は、対象画像OP1の各画像について画像全体の特徴量である対象特徴量OF1を抽出して、特徴量分布FD1によって規定される特徴領域FR1に対する対象特徴量OF1の外れ度合いに基づいて、対象画像OP1を取得したときの対基板作業の良否を判断する。
閾値設定部43は、マハラノビス距離MD1の閾値TH1を設定する。閾値設定部43は、スミルノフ・グラブス検定によって取得された外れ値情報を用いて、閾値TH1を設定すると好適である。スミルノフ・グラブス検定は、データが正規分布に従うときに、データに含まれる外れ値を検出する。本実施形態の閾値設定部43は、スミルノフ・グラブス検定によって外れ値を検出し、当該外れ値をマハラノビス距離MD1の閾値TH1として設定する。これにより、閾値設定部43は、マハラノビス距離MD1の閾値TH1を容易に設定することができる。
部品91の部品種が同じであっても、ベンダ(製造メーカ)が異なると、部品91の外形形状、外形寸法、色などが若干異なる場合がある。そこで、良否判定装置40は、変更部44をさらに備えていると好適である。
ここで、基準画像BP1および特徴量分布FD1のうちの少なくとも一方を画像関連情報50aとする。既述したように、基準画像BP1は、基板90に所定の対基板作業を行う対基板作業機WMの撮像装置80が対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像をいう。
記憶部51は、画像関連情報50aと、検索情報50bとを関連付けて記憶装置50mに記憶させる。画像関連情報50aは、既述したように、基準画像BP1および特徴量分布FD1のうちの少なくとも一方である。検索情報50bは、画像関連情報50aを検索可能な情報であって、基準画像BP1が取得されたときの取得条件を含む。検索情報50bには、例えば、画像関連情報50aの管理番号、名称、作成日、データ容量、作成者などの情報が含まれる。既述したように、取得条件は、対基板作業機WMによって規定可能な条件であり、対象物に関する情報、撮像装置80に関する情報、および、撮像装置80の撮像条件に関する情報のうちの少なくとも対象物に関する情報を含むと好適である。
取得部52は、対基板作業機WMの撮像装置80が対基板作業において対象物を撮像した対象画像OP1の取得条件と一致する取得条件を含む検索情報50bに関連付けられている画像関連情報50aを、記憶装置50mから取得する。
提供部53は、対象画像OP1、および、対象画像OP1と基準画像BP1を用いて取得される特徴量分布FD1のうちの少なくとも一方を、記憶装置50mに記憶させる。なお、提供部53が特徴量分布FD1を記憶装置50mに記憶させる場合、分布取得部41は、対象画像OP1と基準画像BP1を用いて、特徴量分布FD1を取得する。
図9に示すように、記憶部51および記憶装置50mは、対基板作業機WMと通信可能なデータサーバ70に設けられ、取得部52および良否判断部42は、対基板作業機WMに設けられると好適である。また、データサーバ70は、複数の対基板作業機WMの間で情報を共有可能な共有サーバであると好適である。なお、図3に示すように、提供部53、分布取得部41、閾値設定部43および変更部44は、適宜、対基板作業機WMに設けることができる。
良否判定装置40について既述したことは、良否判定方法についても同様に言える。具体的には、良否判定方法は、記憶工程と、取得工程と、良否判断工程とを備える。記憶工程は、記憶部51が行う制御に相当する。取得工程は、取得部52が行う制御に相当する。良否判断工程は、良否判断部42が行う制御に相当する。また、良否判定方法は、提供工程、分布取得工程、閾値設定工程および変更工程のうちの少なくとも一つをさらに備えると好適である。提供工程は、提供部53が行う制御に相当する。分布取得工程は、分布取得部41が行う制御に相当する。閾値設定工程は、閾値設定部43が行う制御に相当する。変更工程は、変更部44が行う制御に相当する。
良否判定装置40によれば、記憶部51、取得部52および良否判断部42を備えている。これにより、良否判定装置40は、画像関連情報50aを取得して、取得した画像関連情報50aを用いて対基板作業の良否を判断することができる。良否判定装置40について上述したことは、良否判定方法についても同様に言える。
50a:画像関連情報、50b:検索情報、50c:作業結果情報、
50m:記憶装置、41:分布取得部、42:良否判断部、
70:データサーバ、80:撮像装置、90:基板、91:部品、
BP1:基準画像、BF1:基準特徴量、FD1:特徴量分布、
FR1:特徴領域、MD1:マハラノビス距離、TH1:閾値、
OP1:対象画像、OF1:対象特徴量、
WM:対基板作業機、WM3:部品装着機。
Claims (12)
- 基板に所定の対基板作業を行う対基板作業機の撮像装置が前記対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像を基準画像とし、前記基準画像の各画像について画像全体の特徴量である基準特徴量が抽出されたときの複数の前記基準特徴量の分布を特徴量分布とするとき、
前記基準画像および前記特徴量分布のうちの少なくとも一方である画像関連情報と、
前記画像関連情報を検索可能な情報であって前記基準画像が取得されたときの取得条件を含む検索情報と、
を関連付けて記憶装置に記憶させる記憶部と、
前記対基板作業機の前記撮像装置が前記対基板作業において前記対象物を撮像した対象画像の取得条件と一致する取得条件を含む前記検索情報に関連付けられている前記画像関連情報を、前記記憶装置から取得する取得部と、
前記取得部によって取得された前記画像関連情報を用いて、前記対象画像を取得したときの前記対基板作業の良否を判断する良否判断部と、
を備え、
前記取得条件は、前記対基板作業機によって規定可能な条件であり、前記対象物に関する情報、前記撮像装置に関する情報、および、前記撮像装置の撮像条件に関する情報のうちの少なくとも前記対象物に関する情報と、前記撮像装置に関する情報を含む良否判定装置。 - 前記画像全体の特徴量は、画像を構成する複数の画素の輝度および色、並びに、これらによって形成される形状および前記形状の面積のうちの少なくとも一つである請求項1に記載の良否判定装置。
- 前記記憶部は、前記基準画像を取得したときの前記対基板作業の良否に関する作業結果情報を、前記画像関連情報および前記検索情報と関連付けて記憶させる請求項1または請求項2に記載の良否判定装置。
- 前記取得部は、少なくとも前記画像関連情報である前記基準画像を前記記憶装置から取得し、
前記取得部によって取得された前記基準画像を用いて前記特徴量分布を取得する分布取得部をさらに備え、
前記良否判断部は、前記対象画像の各画像について画像全体の特徴量である対象特徴量を抽出して、前記特徴量分布によって規定される特徴領域に対する前記対象特徴量の外れ度合いに基づいて、前記対象画像を取得したときの前記対基板作業の良否を判断する請求項1~請求項3のいずれか一項に記載の良否判定装置。 - 前記取得部は、少なくとも前記画像関連情報である前記特徴量分布を前記記憶装置から取得し、
前記良否判断部は、前記対象画像の各画像について画像全体の特徴量である対象特徴量を抽出して、前記特徴量分布によって規定される特徴領域に対する前記対象特徴量の外れ度合いに基づいて、前記対象画像を取得したときの前記対基板作業の良否を判断する請求項1~請求項3のいずれか一項に記載の良否判定装置。 - 前記良否判断部は、前記特徴領域からのマハラノビス距離が所定の閾値を超えるか否かに基づいて、前記対基板作業の良否を判断する請求項4または請求項5に記載の良否判定装置。
- 前記良否判断部は、マハラノビス・タグチ法の一手法であるRT法によって、前記対基板作業の良否を判断する請求項6に記載の良否判定装置。
- 前記対象画像、および、前記対象画像と前記基準画像を用いて取得される前記特徴量分布のうちの少なくとも一方を、前記記憶装置に記憶させる提供部をさらに備える請求項1~請求項7のいずれか一項に記載の良否判定装置。
- 前記対基板作業機は、基板に前記対象物である部品を装着する部品装着機であり、
前記部品装着機に供給される前記部品のベンダが変更され且つベンダ変更後の前記部品に合致する前記画像関連情報を保持しないときに、
前記取得部は、前記画像関連情報を前記記憶装置から取得する請求項1~請求項8のいずれか一項に記載の良否判定装置。 - 前記記憶部および前記記憶装置は、前記対基板作業機と通信可能なデータサーバに設けられ、
前記取得部および前記良否判断部は、前記対基板作業機に設けられる請求項1~請求項9のいずれか一項に記載の良否判定装置。 - 前記データサーバは、複数の前記対基板作業機の間で情報を共有可能な共有サーバである請求項10に記載の良否判定装置。
- 基板に所定の対基板作業を行う対基板作業機の撮像装置が前記対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像を基準画像とし、前記基準画像の各画像について画像全体の特徴量である基準特徴量が抽出されたときの複数の前記基準特徴量の分布を特徴量分布とするとき、
前記基準画像および前記特徴量分布のうちの少なくとも一方である画像関連情報と、
前記画像関連情報を検索可能な情報であって前記基準画像が取得されたときの取得条件を含む検索情報と、
を関連付けて記憶装置に記憶させる記憶工程と、
前記対基板作業機の前記撮像装置が前記対基板作業において前記対象物を撮像した対象画像の取得条件と一致する取得条件を含む前記検索情報に関連付けられている前記画像関連情報を、前記記憶装置から取得する取得工程と、
前記取得工程によって取得された前記画像関連情報を用いて、前記対象画像を取得したときの前記対基板作業の良否を判断する良否判断工程と、
を備え、
前記取得条件は、前記対基板作業機によって規定可能な条件であり、前記対象物に関する情報、前記撮像装置に関する情報、および、前記撮像装置の撮像条件に関する情報のうちの少なくとも前記対象物に関する情報と、前記撮像装置に関する情報を含む良否判定方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/010711 WO2020183735A1 (ja) | 2019-03-14 | 2019-03-14 | 良否判定装置および良否判定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020183735A1 JPWO2020183735A1 (ja) | 2021-11-25 |
JP7153127B2 true JP7153127B2 (ja) | 2022-10-13 |
Family
ID=72427001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021505479A Active JP7153127B2 (ja) | 2019-03-14 | 2019-03-14 | 良否判定装置および良否判定方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7153127B2 (ja) |
WO (1) | WO2020183735A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006292725A (ja) | 2005-03-17 | 2006-10-26 | Omron Corp | 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置 |
JP2007139621A (ja) | 2005-11-18 | 2007-06-07 | Omron Corp | 判定装置、判定装置の制御プログラム、および判定装置の制御プログラムを記録した記録媒体 |
JP2009002743A (ja) | 2007-06-20 | 2009-01-08 | Hitachi High-Technologies Corp | 外観検査方法及びその装置および画像処理評価システム |
JP2010211714A (ja) | 2009-03-12 | 2010-09-24 | Toyota Motor Corp | 物体検出装置 |
JP2013168538A (ja) | 2012-02-16 | 2013-08-29 | Fuji Mach Mfg Co Ltd | 基板外観検査機および基板外観検査方法 |
JP2014230146A (ja) | 2013-05-23 | 2014-12-08 | 富士ゼロックス株式会社 | 画像評価方法、画像評価装置及び画像評価プログラム |
JP2017215239A (ja) | 2016-06-01 | 2017-12-07 | ティー・エス・ビー株式会社 | 太陽電池検査システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08254501A (ja) * | 1995-03-16 | 1996-10-01 | Hitachi Denshi Ltd | 外観検査方法及び装置 |
JP3733094B2 (ja) * | 2002-08-22 | 2006-01-11 | トヨタ自動車株式会社 | 良否判定装置、良否判定プログラムおよび良否判定方法 |
JP3918854B2 (ja) * | 2004-09-06 | 2007-05-23 | オムロン株式会社 | 基板検査方法および基板検査装置 |
JP5625935B2 (ja) * | 2011-01-18 | 2014-11-19 | オムロン株式会社 | 判定基準値の適否判定方法およびその適正値の特定方法ならびに適正値への変更方法、部品実装基板の検査システム、生産現場におけるシミュレーション方法およびシミュレーションシステム |
-
2019
- 2019-03-14 JP JP2021505479A patent/JP7153127B2/ja active Active
- 2019-03-14 WO PCT/JP2019/010711 patent/WO2020183735A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006292725A (ja) | 2005-03-17 | 2006-10-26 | Omron Corp | 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置 |
JP2007139621A (ja) | 2005-11-18 | 2007-06-07 | Omron Corp | 判定装置、判定装置の制御プログラム、および判定装置の制御プログラムを記録した記録媒体 |
JP2009002743A (ja) | 2007-06-20 | 2009-01-08 | Hitachi High-Technologies Corp | 外観検査方法及びその装置および画像処理評価システム |
JP2010211714A (ja) | 2009-03-12 | 2010-09-24 | Toyota Motor Corp | 物体検出装置 |
JP2013168538A (ja) | 2012-02-16 | 2013-08-29 | Fuji Mach Mfg Co Ltd | 基板外観検査機および基板外観検査方法 |
JP2014230146A (ja) | 2013-05-23 | 2014-12-08 | 富士ゼロックス株式会社 | 画像評価方法、画像評価装置及び画像評価プログラム |
JP2017215239A (ja) | 2016-06-01 | 2017-12-07 | ティー・エス・ビー株式会社 | 太陽電池検査システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020183735A1 (ja) | 2021-11-25 |
WO2020183735A1 (ja) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6310058B2 (ja) | 画像処理装置および基板生産システム | |
US7555831B2 (en) | Method of validating component feeder exchanges | |
KR101451690B1 (ko) | 부품 실장 시스템, 부품 실장 장치 및 부품 검사 장치 | |
WO2022064585A1 (ja) | 採取可否判定装置および採取可否判定方法 | |
JP7002671B2 (ja) | データ管理装置およびデータ管理方法 | |
JP6734868B2 (ja) | 基板用の画像処理装置および画像処理方法 | |
JP6646916B2 (ja) | 基板用の画像処理装置および画像処理方法 | |
JP7153127B2 (ja) | 良否判定装置および良否判定方法 | |
US20220151120A1 (en) | Correction amount calculating device and correction amount calculating method | |
JP7153126B2 (ja) | 良否判定装置および良否判定方法 | |
JP6904978B2 (ja) | 部品装着機 | |
JP7147067B2 (ja) | データ管理装置 | |
US7040137B1 (en) | Method for improving pick reliability in a component placement machine | |
CN109196971B (zh) | 元件安装系统 | |
JP2011023616A (ja) | 部品実装方法および部品実装装置 | |
JP7142169B2 (ja) | 画像データ管理装置および画像データ管理方法 | |
US11191200B2 (en) | Component mounting method | |
WO2023286155A1 (ja) | 表面実装機用のファイル管理装置、表面実装機 | |
JP7124126B2 (ja) | 部品実装装置 | |
WO2024062597A1 (ja) | 部品認識装置および部品認識方法 | |
JP7094366B2 (ja) | 検査設定装置および検査設定方法 | |
WO2023162142A1 (ja) | 画像確認装置および画像確認方法 | |
US20230110169A1 (en) | Data management device and data management method | |
JP7061667B2 (ja) | 画像データ保存装置および画像データ保存方法 | |
KR101157156B1 (ko) | 전자부품 방향인식방법, 이를 이용한 전자부품 정렬 및장착 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220930 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7153127 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |