JP7153126B2 - 良否判定装置および良否判定方法 - Google Patents

良否判定装置および良否判定方法 Download PDF

Info

Publication number
JP7153126B2
JP7153126B2 JP2021505478A JP2021505478A JP7153126B2 JP 7153126 B2 JP7153126 B2 JP 7153126B2 JP 2021505478 A JP2021505478 A JP 2021505478A JP 2021505478 A JP2021505478 A JP 2021505478A JP 7153126 B2 JP7153126 B2 JP 7153126B2
Authority
JP
Japan
Prior art keywords
board
work
pass
image
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021505478A
Other languages
English (en)
Other versions
JPWO2020183734A1 (ja
Inventor
秀一郎 鬼頭
賢志郎 西田
恵市 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2020183734A1 publication Critical patent/JPWO2020183734A1/ja
Application granted granted Critical
Publication of JP7153126B2 publication Critical patent/JP7153126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Description

本明細書は、良否判定装置および良否判定方法に関する技術を開示する。
特許文献1に記載の実装装置は、制御部を備えている。制御部は、撮像部によって撮像された電子部品の画像を解析し電子部品のデータを取得して、電子部品のデータを蓄積する。また、制御部は、蓄積された電子部品のデータを統計し、統計結果に基づいて第1の許容範囲を設定する。そして、制御部は、第1の許容範囲と、オペレータによって設定された第2の許容範囲との両方の許容範囲に基づいて、電子部品の画像に基づく電子部品の良否判定を実行する。
第2の許容範囲に基づいて電子部品の良否判定を行う場合、制御部は、電子部品の厚さ、長さ、幅などの各種の電子部品データが、この種の電子部品データについて設定される許容範囲内に収まっているか否かによって判定する。オペレータは、電子部品の厚さ、長さ、幅などの各種のパラメータを任意に設定することができる。
特開2013-172062号公報
しかしながら、特許文献1に記載の実装装置では、オペレータが、電子部品の厚さ、長さ、幅などの各種のパラメータを設定する必要がある。そのため、特許文献1に記載の実装装置は、設定されていないパラメータについて、第2の許容範囲に基づく電子部品の良否判定を行うことができず、パラメータ漏れによる誤判定の可能性がある。また、誤判定を低減しようとすると、オペレータが設定すべきパラメータの数が増加し、パラメータの設定作業が煩雑になる。
このような事情に鑑みて、本明細書は、対基板作業機の撮像装置によって撮像された各画像の画像全体の特徴量に基づいて、対基板作業の良否を判断することが可能な良否判定装置および良否判定方法を開示する。
本明細書は、分布取得部と、良否判断部とを備える良否判定装置を開示する。ここで、基板に所定の対基板作業を行う対基板作業機の撮像装置が前記対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像を基準画像とする。前記基準画像より後に取得される少なくとも一つの画像であって前記基準画像と関連する画像を対象画像とする。このとき、前記分布取得部は、前記基準画像の各画像について画像全体の特徴量である基準特徴量を抽出して、抽出された複数の前記基準特徴量の分布である特徴量分布を取得する。前記良否判断部は、前記対象画像の各画像について画像全体の特徴量である対象特徴量を抽出して、前記特徴量分布によって規定される特徴領域に対する前記対象特徴量の外れ度合いに基づいて、前記対象画像を取得したときの前記対基板作業の良否を判断する。
また、本明細書は、分布取得工程と、良否判断工程とを備える良否判定方法を開示する。ここで、基板に所定の対基板作業を行う対基板作業機の撮像装置が前記対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像を基準画像とする。前記基準画像より後に取得される少なくとも一つの画像であって前記基準画像と関連する画像を対象画像とする。このとき、前記分布取得工程は、前記基準画像の各画像について画像全体の特徴量である基準特徴量を抽出して、抽出された複数の前記基準特徴量の分布である特徴量分布を取得する。前記良否判断工程は、前記対象画像の各画像について画像全体の特徴量である対象特徴量を抽出して、前記特徴量分布によって規定される特徴領域に対する前記対象特徴量の外れ度合いに基づいて、前記対象画像を取得したときの前記対基板作業の良否を判断する。
上記の良否判定装置によれば、分布取得部および良否判断部を備えている。これにより、良否判定装置は、対基板作業機の撮像装置によって撮像された各画像の画像全体の特徴量に基づいて、対基板作業の良否を判断することができる。良否判定装置について上述したことは、良否判定方法についても同様に言える。
対基板作業ラインWMLの構成例を示す構成図である。 部品装着機WM3の構成例を示す平面図である。 良否判定装置40の制御ブロックの一例を示すブロック図である。 部品91の一例を示す底面図である。 保持部材30に保持されている図4Aに示す部品91を、部品カメラ14によって撮像した画像の一例を示す模式図である。 特徴量分布FD1の一例を示す模式図である。 対基板作業の作業結果とマハラノビス距離MD1との関係の一例を示すヒストグラムである。 変更部44による制御手順の一例を示すフローチャートである。 変更部44による制御手順の他の一例を示すフローチャートである。
1.実施形態
1-1.対基板作業ラインWMLの構成例
対基板作業ラインWMLでは、基板90に所定の対基板作業を行う。対基板作業ラインWMLを構成する対基板作業機WMの種類および数は、限定されない。図1に示すように、本実施形態の対基板作業ラインWMLは、印刷機WM1、印刷検査機WM2、部品装着機WM3、リフロー炉WM4および外観検査機WM5の複数(5つ)の対基板作業機WMを備えており、基板90は、基板搬送装置(図示略)によって、この順に搬送される。
印刷機WM1は、基板90において、複数の部品91の各々の装着位置に、はんだを印刷する。印刷検査機WM2は、印刷機WM1によって印刷されたはんだの印刷状態を検査する。部品装着機WM3は、基板90(印刷機WM1によって印刷されたはんだの上)に複数の部品91を装着する。部品装着機WM3は、一つであっても良く、複数であっても良い。部品装着機WM3が複数設けられる場合は、複数の部品装着機WM3が分担して、複数の部品91を装着することができる。
リフロー炉WM4は、部品装着機WM3によって複数の部品91が装着された基板90を加熱し、はんだを溶融させて、はんだ付けを行う。外観検査機WM5は、部品装着機WM3によって装着された複数の部品91の装着状態などを検査する。このように、対基板作業ラインWMLは、複数(5つ)の対基板作業機WMを用いて、基板90を順に搬送し、検査処理を含む生産処理を実行して基板製品900を生産することができる。なお、対基板作業ラインWMLは、例えば、機能検査機、バッファ装置、基板供給装置、基板反転装置、シールド装着装置、接着剤塗布装置、紫外線照射装置などの対基板作業機WMを必要に応じて備えることもできる。
対基板作業ラインWMLを構成する複数(5つ)の対基板作業機WMおよび管理装置WMCは、通信部LCによって電気的に接続されている。通信部LCは、有線によって通信可能に接続することができ、無線によって通信可能に接続することもできる。また、通信方法は、種々の方法をとり得る。本実施形態では、複数(5つ)の対基板作業機WMおよび管理装置WMCによって、構内情報通信網(LAN:Local Area Network)が構成されている。これにより、複数(5つ)の対基板作業機WMは、通信部LCを介して、互いに通信することができる。また、複数(5つ)の対基板作業機WMは、通信部LCを介して、管理装置WMCと通信することができる。
管理装置WMCは、対基板作業ラインWMLを構成する複数(5つ)の対基板作業機WMの制御を行い、対基板作業ラインWMLの動作状況を監視する。管理装置WMCには、複数(5つ)の対基板作業機WMを制御する種々の制御データが記憶されている。管理装置WMCは、複数(5つ)の対基板作業機WMの各々に制御データを送信する。また、複数(5つ)の対基板作業機WMの各々は、管理装置WMCに動作状況および生産状況を送信する。
管理装置WMCには、例えば、データサーバ70を設けることができる。データサーバ70は、例えば、対基板作業機WMが対基板作業に関して取得した取得データを保存することができる。例えば、対基板作業機WMによって撮像された種々の画像データなどは、取得データに含まれる。対基板作業機WMによって取得された稼働状況の記録(ログデータ)などは、取得データに含まれる。
また、データサーバ70は、基板90の生産に関する種々の生産情報を保存することもできる。例えば、部品91の種類ごとの形状に関する情報、電気的特性に関する情報、部品91の取り扱い方法に関する情報などの部品データは、生産情報に含まれる。印刷検査機WM2、外観検査機WM5などの検査機による検査結果は、生産情報に含まれる。
1-2.部品装着機WM3の構成例
部品装着機WM3は、基板90に複数の部品91を装着する。図2に示すように、部品装着機WM3は、基板搬送装置11、部品供給装置12、部品移載装置13、部品カメラ14、基板カメラ15および制御装置16を備えている。
基板搬送装置11は、例えば、ベルトコンベアなどによって構成され、基板90を搬送方向(X軸方向)に搬送する。基板90は、回路基板であり、電子回路および電気回路のうちの少なくとも一方が形成される。基板搬送装置11は、部品装着機WM3の機内に基板90を搬入し、機内の所定位置に基板90を位置決めする。基板搬送装置11は、部品装着機WM3による複数の部品91の装着処理が終了した後に、基板90を部品装着機WM3の機外に搬出する。
部品供給装置12は、基板90に装着される複数の部品91を供給する。部品供給装置12は、基板90の搬送方向(X軸方向)に沿って設けられる複数のフィーダ121を備えている。複数のフィーダ121の各々は、複数の部品91が収納されるキャリアテープ(図示略)をピッチ送りさせて、フィーダ121の先端側に位置する供給位置において部品91を採取可能に供給する。また、部品供給装置12は、チップ部品などと比べて比較的大型の電子部品(例えば、リード部品など)を、トレイ上に配置した状態で供給することもできる。
部品移載装置13は、ヘッド駆動装置131および移動台132を備えている。ヘッド駆動装置131は、直動機構によって移動台132を、X軸方向およびY軸方向に移動可能に構成されている。移動台132には、クランプ部材(図示略)によって装着ヘッド20が着脱可能(交換可能)に設けられている。装着ヘッド20は、少なくとも一つの保持部材30を用いて、部品供給装置12によって供給される部品91を採取し保持して、基板搬送装置11によって位置決めされた基板90に部品91を装着する。保持部材30は、例えば、吸着ノズル、チャックなどを用いることができる。
部品カメラ14および基板カメラ15は、公知の撮像装置を用いることができる。部品カメラ14は、光軸がZ軸方向の上向き(鉛直上方方向)になるように、部品装着機WM3の基台に固定されている。部品カメラ14は、保持部材30に保持されている部品91を下方から撮像することができる。基板カメラ15は、光軸がZ軸方向の下向き(鉛直下方方向)になるように、部品移載装置13の移動台132に設けられている。基板カメラ15は、基板90を上方から撮像することができる。部品カメラ14および基板カメラ15は、制御装置16から送出される制御信号に基づいて撮像を行う。部品カメラ14および基板カメラ15によって撮像された画像データは、制御装置16に送信される。
制御装置16は、公知の演算装置および記憶装置を備えており、制御回路が構成されている(いずれも図示略)。制御装置16には、部品装着機WM3に設けられる各種センサから出力される情報、画像データなどが入力される。制御装置16は、制御プログラムおよび予め設定されている所定の装着条件などに基づいて、各装置に対して制御信号を送出する。
例えば、制御装置16は、基板搬送装置11によって位置決めされた基板90を基板カメラ15に撮像させる。制御装置16は、基板カメラ15によって撮像された画像を画像処理して、基板90の位置決め状態を認識する。また、制御装置16は、部品供給装置12によって供給された部品91を保持部材30に採取させ保持させて、保持部材30に保持されている部品91を部品カメラ14に撮像させる。制御装置16は、部品カメラ14によって撮像された画像を画像処理して、部品91の適否、部品91の保持姿勢を認識する。
制御装置16は、制御プログラムなどによって予め設定される装着予定位置の上方に向かって、保持部材30を移動させる。また、制御装置16は、基板90の位置決め状態、部品91の保持姿勢などに基づいて、装着予定位置を補正して、実際に部品91を装着する装着位置を設定する。装着予定位置および装着位置は、位置(X軸座標およびY軸座標)の他に回転角度を含む。
制御装置16は、装着位置に合わせて、保持部材30の目標位置(X軸座標およびY軸座標)および回転角度を補正する。制御装置16は、補正された目標位置において補正された回転角度で保持部材30を下降させて、基板90に部品91を装着する。制御装置16は、上記のピックアンドプレースサイクルを繰り返すことによって、基板90に複数の部品91を装着する装着処理を実行する。
1-3.良否判定装置40の構成例
例えば、既述したように、部品装着機WM3は、部品カメラ14によって撮像された画像を画像処理して、部品91の適否、部品91の保持姿勢を認識している。このとき、例えば、画像から抽出される部品91についての特徴量(例えば、部品91の色、外形形状、面積など)に基づいて、部品91の適否、部品91の保持姿勢などの部品91の保持作業の良否を判定しようとすると、判定条件の漏れによる誤判定の可能性がある。
例えば、正規の部品91は、白色の円形状であり、部品91の面積(円の面積)が所定値であったとする。このとき、部品装着機WM3が、部品91の色および面積のみを判定条件として設定すると、例えば、部品91の色は白色であり、面積は所定値であるが、外形形状が四角形の部品91について、部品91の不適を判定することができない。また、誤判定を低減しようとすると、設定すべき判定条件の数が増加し、判定条件の設定作業が煩雑になる。
そこで、本実施形態では、良否判定装置40を備えている。良否判定装置40は、対基板作業機WMの撮像装置80によって撮像された各画像の画像全体の特徴量に基づいて、対基板作業の良否を判断する。良否判定装置40は、制御ブロックとして捉えると、分布取得部41と、良否判断部42とを備えている。良否判定装置40は、閾値設定部43、変更部44および代替判断部45のうちの少なくとも一つをさらに備えると好適である。但し、良否判定装置40は、代替判断部45を備えるときには、変更部44を備える。
図3に示すように、本実施形態の良否判定装置40は、分布取得部41と、良否判断部42と、閾値設定部43と、変更部44と、代替判断部45とを備えている。また、本実施形態の良否判定装置40は、部品装着機WM3の制御装置16に設けられているが、他の対基板作業機WMに設けることもできる。さらに、良否判定装置40は、対基板作業機WMの外部(例えば、管理装置WMCなど)に設けることもできる。
1-3-1.分布取得部41
分布取得部41は、基準画像BP1の各画像について画像全体の特徴量である基準特徴量BF1を抽出して、抽出された複数の基準特徴量BF1の分布である特徴量分布FD1を取得する。基準画像BP1は、基板90に所定の対基板作業を行う対基板作業機WMの撮像装置80が対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像をいう。
対基板作業機WMが部品装着機WM3の場合、撮像装置80は、例えば、部品カメラ14であり、このときの対象物は、保持部材30に保持されている部品91である。この場合、対基板作業は、部品91の保持作業である。また、基準画像BP1は、部品種が同じ部品91について、同種の撮像条件で撮像された画像であれば良い。撮像条件には、例えば、光源の種類、光の照射方向、露光時間、絞り値などが含まれる。なお、例えば、自然光などの影響によって撮像条件を完全に一致させることは困難であるので、撮像条件は、対基板作業機WM(部品装着機WM3)によって規定可能な取得条件であれば良い。
基準画像BP1は、例えば、ロータリヘッドまたはラインヘッドによって保持されている複数の部品91を部品カメラ14が同時に撮像した一の画像から、各部品91の領域が抽出された画像であっても良い。また、基準画像BP1は、複数の部品91を部品カメラ14が順に撮像した画像であっても良い。さらに、基準画像BP1は、これらの画像が混在する画像であっても良い。
なお、対基板作業機WMが部品装着機WM3の場合、撮像装置80は、例えば、装着ヘッド20に設けられる側方カメラ(図示略)であっても良い。側方カメラは、部品91の側面側から部品91を撮像する点で、部品カメラ14と異なるが、上述したことが同様に言える。
また、対基板作業機WMが部品装着機WM3の場合、撮像装置80は、例えば、基板カメラ15であっても良い。このときの対象物は、基板搬送装置11によって位置決めされた基板90である。この場合、対基板作業は、基板90の位置決め作業である。さらに、対基板作業機WMが外観検査機WM5の場合、撮像装置80は、外観検査機WM5に設けられるカメラ(図示略)である。このときの対象物は、基板90に装着されている部品91である。この場合、対基板作業は、部品装着機WM3による部品91の装着作業である。
また、対基板作業機WMが印刷検査機WM2の場合、撮像装置80は、印刷検査機WM2に設けられるカメラ(図示略)である。このときの対象物は、基板90に印刷されているはんだである。この場合、対基板作業は、印刷機WM1によるはんだの印刷作業である。このように、対基板作業機WM、撮像装置80、対象物および対基板作業は、限定されない。また、撮像条件について既述したことは、上述したいずれの場合も、同様に言える。本明細書は、説明の便宜上、部品装着機WM3の部品カメラ14が、保持部材30に保持されている部品91を撮像した基準画像BP1について記述されている。
図4Aは、部品91の一例を示す底面図である。図4Bは、保持部材30に保持されている図4Aに示す部品91を、部品カメラ14によって撮像した画像の一例を示している。図4Bでは、画像を構成する複数の画素が格子状に配置されている様子が合わせて図示されている。例えば、部品91がチップ抵抗器、チップコンデンサなどの場合、部品91は、電極部の領域である電極領域AR11および電極領域AR12と、本体部の領域である本体領域AR13とを備えている。
電極領域AR11および電極領域AR12は、銀色である。また、部品91の裏面(底面)側の本体領域AR13は、例えば、白色であり、部品91の表面側の本体領域AR13は、例えば、黒色であるとする。このときに、例えば、保持部材30が部品91の裏面(底面)側を誤って吸着すると(部品91の反転)、部品カメラ14は、部品91の表面側を撮像する。
この場合、電極領域AR11および電極領域AR12は、銀色であり、表面側の本体領域AR13は、黒色であるので、これらの領域の輝度の差は、保持部材30が部品91の表面側を吸着する場合(正規の吸着状態であり、撮像される本体領域AR13は、白色)と比べて、大きくなる。このように、画像における部品91の輝度および色のうちの少なくとも一方が変化すると、画像全体の特徴が、正規の吸着状態のときと比べて変化する。
また、例えば、保持部材30が部品91の端部を誤って吸着すると(部品91の立ち吸着)、部品91の保持姿勢が正規の吸着状態と比べて変化するので、画像において、電極領域AR11、電極領域AR12および本体領域AR13の各領域の形状(図4Bでは、長方形)が変形する。また、部品91の各領域の面積が正規の吸着状態と比べて変化する。さらに、部品91の各領域の外周の長さが正規の吸着状態と比べて変化する。
このように、画像における部品91の形状および形状の面積のうちの少なくとも一方が変化すると、画像全体の特徴が、正規の吸着状態のときと比べて変化する。なお、各領域の形状は、画像を構成する複数の画素の輝度および色のうちの少なくとも一方によって形成される。また、部品91の反転、部品91の立ち吸着は、対基板作業(この場合、部品91の保持作業)の作業結果が不良の場合の一例であり、不良の要因は、これらに限定されない。また、チップ抵抗器、チップコンデンサは、部品91の一例であり、部品91は、これらに限定されない。
上述したように、対基板作業の作業結果が不良のときには、画像全体の特徴が、作業結果が良好のときと比べて変化する。そこで、分布取得部41は、基準画像BP1の各画像について画像全体の特徴量である基準特徴量BF1を抽出して、抽出された複数の基準特徴量BF1の分布である特徴量分布FD1を取得する。図4Bに示すように、基準画像BP1の外縁は、対象物(例えば、一つの部品91)の外縁と一致させる。また、既述したように、画像全体の特徴量は、画像を構成する複数の画素の輝度および色、並びに、これらによって形成される形状および当該形状の面積のうちの少なくとも一つであると好適である。
分布取得部41は、例えば、多変量解析において公知の方法(例えば、主成分分析など)によって、特徴量分布FD1を取得することができる。図5は、特徴量分布FD1の一例を示している。同図は、図4Bに示す画像を構成する複数の画素の輝度および色、並びに、これらによって形成される形状(図4Bに示す例では、長方形)および当該形状の面積を画像全体の特徴量としたときの特徴量分布FD1の一例を示している。
また、図5の特徴領域FR1に図示されている複数の点は、基準画像BP1の各画像の基準特徴量BF1をイメージしている。同図に示すように、特徴量分布FD1は、二次元の特徴領域FR1によって表すこともでき、三次元以上の特徴領域FR1によって表すこともできる。特徴領域FR1は、複数の基準特徴量BF1の外縁を示しており、「単位空間」ともいう。
なお、対基板作業機WMによる対基板作業は、通常、作業結果が良好であり、作業結果が不良の割合は、極めて低い。例えば、部品装着機WM3における部品91の吸着率は、極めて高い。そのため、対基板作業の作業結果が不良のときの画像が基準画像BP1に含まれていても、その影響は少ない。そこで、本明細書では、基準画像BP1を取得したときの対基板作業の作業結果は、良好であるとして取り扱っている。良否判定装置40による判定精度を向上させるためには、基準画像BP1は、対基板作業の作業結果が良好のときの画像に限定すると良い。
1-3-2.良否判断部42
良否判断部42は、対象画像OP1の各画像について画像全体の特徴量である対象特徴量OF1を抽出して、特徴量分布FD1によって規定される特徴領域FR1に対する対象特徴量OF1の外れ度合いに基づいて、対象画像OP1を取得したときの対基板作業の良否を判断する。
対象画像OP1は、基準画像BP1より後に取得される少なくとも一つの画像であって基準画像BP1と関連する画像をいう。対象画像OP1は、対基板作業機WMによって規定可能な取得条件が基準画像BP1を取得したときと一致するときに基準画像BP1と関連し、取得条件は、対象物の種類、撮像装置80の種類、および、撮像装置80の撮像条件の種類のうちの少なくとも対象物の種類を含むと好適である。
基準画像BP1と対象画像OP1を比較するためには、基準画像BP1を取得したときの対象物の種類(図4Bに示す例では、部品91の部品種)と、対象画像OP1を取得したときの対象物の種類(部品91の部品種)とが少なくとも一致している必要がある。また、撮像装置80(図4Bに示す例では、部品カメラ14)の種類および撮像条件のうちの少なくとも一方が異なると、同一の対象物を撮像しても取得した画像に差異が生じる可能性がある。そのため、撮像装置80の種類および撮像条件のうちの少なくとも一方が一致していると良い。
なお、基準画像BP1について既述したように、撮像条件には、例えば、光源の種類、光の照射方向、露光時間、絞り値などが含まれる。また、例えば、自然光などの影響によって撮像条件を完全に一致させることは困難であるので、撮像条件は、対基板作業機WMによって規定可能な取得条件であれば良い。
良否判断部42は、分布取得部41と同様にして、対象画像OP1の各画像について画像全体の特徴量である対象特徴量OF1を抽出することができる。そして、良否判断部42は、特徴量分布FD1によって規定される特徴領域FR1に対する対象特徴量OF1の外れ度合いに基づいて、対象画像OP1を取得したときの対基板作業の良否を判断する。
良否判断部42は、公知の種々の方法を用いて、対象画像OP1を取得したときの対基板作業の良否を判断することができる。良否判断部42は、例えば、ニューラルネットワーク、ディープラーニング、サポートベクターなどの手法を用いることができる。また、良否判断部42は、マハラノビス・タグチ法、部分空間法などの手法を用いることもできる。マハラノビス・タグチ法は、ニューラルネットワークなどの人工知能的な手法と比べて、学習データに相当する基準画像BP1の数が少なく済む。
そこで、良否判断部42は、特徴領域FR1からのマハラノビス距離MD1が所定の閾値TH1を超えるか否かに基づいて、対基板作業の良否を判断すると好適である。また、良否判断部42は、マハラノビス・タグチ法の一手法であるRT法によって、対基板作業の良否を判断すると好適である。RT法(Recognition Taguchi method)は、画像データを用いた良否判断に適しており、本実施形態に用いると好適である。
本実施形態の良否判断部42は、RT法によって、対象画像OP1を取得したときの対基板作業の良否を判断する。良否判断部42は、特徴領域FR1からのマハラノビス距離MD1が所定の閾値TH1を超えるか否かに基づいて、対基板作業の良否を判断する。具体的には、良否判断部42は、マハラノビス距離MD1が所定の閾値TH1以下のときに、対象画像OP1を取得したときの対基板作業の作業結果を良好と判断する。また、良否判断部42は、マハラノビス距離MD1が所定の閾値TH1より大きいときに、対象画像OP1を取得したときの対基板作業の作業結果を不良と判断する。
既述したように、例えば、図4Bに示す本体領域AR13は、対基板作業(この場合、部品91の保持作業)の作業結果が良好であれば(正規の吸着状態であれば)、白色である。大多数の画像において本体領域AR13の色が白色のときに、例えば、部品91の反転が生じて、本体領域AR13の色が黒色になると、図5に示すマハラノビス距離MD1は、著しく増加する。よって、良否判断部42は、対基板作業(部品91の保持作業)の作業結果を不良と判断することができる。上述したことは、他の特徴量についても同様に言える。
1-3-3.閾値設定部43
閾値設定部43は、マハラノビス距離MD1の閾値TH1を設定する。閾値設定部43は、スミルノフ・グラブス検定によって取得された外れ値情報を用いて、閾値TH1を設定すると好適である。スミルノフ・グラブス検定は、データが正規分布に従うときに、データに含まれる外れ値を検出する。本実施形態の閾値設定部43は、スミルノフ・グラブス検定によって外れ値を検出し、当該外れ値をマハラノビス距離MD1の閾値TH1として設定する。これにより、閾値設定部43は、マハラノビス距離MD1の閾値TH1を容易に設定することができる。
また、閾値設定部43は、良否判断部42によって対基板作業が良好と判断され且つ実際の対基板作業が不良のときに、当該対基板作業を良好と判断したときに用いた対象特徴量OF1のマハラノビス距離MD1より閾値TH1が小さくなるように、閾値TH1を修正することができる。
例えば、図5に示す対象特徴量OF1に基づいて、良否判断部42が対基板作業を良好と判断したとする。実際の対基板作業が不良のときに、閾値設定部43は、当該対象特徴量OF1のマハラノビス距離MD1より閾値TH1が小さくなるように、閾値TH1を修正する。これにより、閾値設定部43は、マハラノビス距離MD1の閾値TH1を適正化することができる。
閾値設定部43は、良否判断部42によって対基板作業が不良と判断され且つ実際の対基板作業が良好のときに、当該対基板作業を不良と判断したときに用いた対象特徴量OF1のマハラノビス距離MD1より閾値TH1が大きくなるように、閾値TH1を修正することもできる。この場合も、閾値設定部43は、マハラノビス距離MD1の閾値TH1を適正化することができる。
また、閾値設定部43は、良否判断部42によって対基板作業が不良と判断された回数が所定回数に達したときに、対基板作業を良好と判断したときに用いた対象特徴量OF1と、対基板作業を不良と判断したときに用いた対象特徴量OF1とを使用して判別分析法によって閾値TH1を修正することができる。これにより、閾値設定部43は、マハラノビス距離MD1の閾値TH1を適正化することができる。
図6は、対基板作業の作業結果とマハラノビス距離MD1との関係の一例を示すヒストグラムである。同図の横軸は、マハラノビス距離MD1を示し、縦軸は、対基板作業の作業結果の度数を示している。データD1~データD13は、対基板作業の作業結果が良好のときのデータの度数である。データD14~データD23は、対基板作業の作業結果が不良のときのデータの度数である。
対基板作業の作業結果は、実際の作業結果(良否)を示している。例えば、図4Aに示す部品91の保持作業が良好であったとする。このときに、保持部材30に保持されている部品91を部品カメラ14によって撮像した画像(図4Bに示す画像)に基づいて、マハラノビス距離MD1を算出する。これにより、マハラノビス距離MD1に対応する距離において、対基板作業の作業結果が良好のときのデータが一つ取得される。これを繰り返すことにより、同図に示すヒストグラムが得られる。
所定回数は、判別分析法において必要な対基板作業の作業結果が不良のときのデータ数であり、任意に設定することができる。良否判断部42によって対基板作業が不良と判断された回数が所定回数に達すると、対基板作業の作業結果が不良のときのデータが所定数、蓄積する。このとき、閾値設定部43は、対基板作業を良好と判断したとき(データD1~データD13)に用いた対象特徴量OF1と、対基板作業を不良と判断したとき(データD14~データD23)に用いた対象特徴量OF1とを使用して判別分析法によって閾値TH1を修正する。図6に示す閾値TH1は、判別分析法によって閾値TH1が修正されたことを示している。なお、マハラノビス・タグチ法、RT法、スミルノフ・グラブス検定、判別分析法などの手法自体は、公知であり、本明細書では、これらの詳細な説明が省略されている。
1-3-4.変更部44および代替判断部45
部品91の部品種が同じであっても、ベンダ(製造メーカ)が異なると、部品91の外形形状、外形寸法、色などが若干異なる場合がある。そこで、良否判定装置40は、変更部44をさらに備えていると好適である。
変更部44は、部品装着機WM3に供給される部品91のベンダが切り替わるタイミングで、良否判断部42が使用する特徴量分布FD1を、ベンダ変更後の部品91に合致する特徴量分布FD1に切り替える。但し、部品装着機WM3に供給される部品91のベンダが変更され、且つ、ベンダ変更後の部品91に合致する特徴量分布FD1を良否判定装置40が保持しているものとする。これにより、良否判断部42は、部品91のベンダの変更に関わらず、適切な特徴量分布FD1を用いて、対基板作業の良否を判断することができる。
具体的には、変更部44は、部品91のベンダが切り替わるタイミングであるか否かを判断する(図7に示すステップS11)。変更部44は、例えば、フィーダ121の識別情報などから、部品91のベンダが切り替わるタイミングを知得することができる。ベンダの切り替わりタイミングのとき(ステップS11で「Yes」の場合)、変更部44は、良否判断部42が使用する特徴量分布FD1を、ベンダ変更後の部品91に合致する特徴量分布FD1に切り替える(ステップS12)。そして、制御は、一旦、終了する。ベンダの切り替わりタイミングでないとき(ステップS11で「No」の場合)、ステップS12に示す処理を実行しないで、制御は、一旦、終了する。
部品装着機WM3に供給される部品91のベンダが変更され、且つ、ベンダ変更後の部品91に合致する特徴量分布FD1を良否判定装置40が保持していない場合、良否判定装置40は、変更部44と、代替判断部45とをさらに備えていると好適である。代替判断部45は、対象画像OP1から抽出される部品91についての特徴量である部品特徴量PF1が所定条件を満たすか否かに基づいて、対象画像OP1を取得したときの対基板作業の良否を判断する。部品特徴量PF1には、例えば、部品91の外形形状、外形寸法(幅、奥行、高さ)、色などが含まれる。
また、この場合、変更部44は、部品装着機WM3に供給される部品91のベンダが切り替わるタイミングで、良否判断部42による対基板作業の良否判断から、代替判断部45による対基板作業の良否判断に切り替えると好適である。これにより、良否判定装置40は、対基板作業の良否判断を継続することができる。
さらに、分布取得部41は、代替判断部45による対基板作業の良否判断が行われている間に、ベンダ変更後の部品91を撮像した基準画像BP1に基づいて、特徴量分布FD1を取得すると好適である。これにより、分布取得部41は、ベンダ変更後の部品91に合致する特徴量分布FD1を取得することができる。なお、分布取得部41がベンダ変更後の部品91に合致する特徴量分布FD1を取得した後は、良否判定装置40は、良否判断部42による対基板作業の良否判断を行うことができる。
具体的には、変更部44は、部品91のベンダが切り替わるタイミングであるか否かを判断する(図8に示すステップS21)。変更部44は、例えば、フィーダ121の識別情報などから、部品91のベンダが切り替わるタイミングを知得することができる。ベンダの切り替わりタイミングのとき(ステップS21で「Yes」の場合)、変更部44は、良否判断部42による対基板作業の良否判断から、代替判断部45による対基板作業の良否判断に切り替える(ステップS22)。
また、分布取得部41は、代替判断部45による対基板作業の良否判断が行われている間に、ベンダ変更後の部品91を撮像した基準画像BP1に基づいて、特徴量分布FD1を取得する(ステップS23)。そして、制御は、一旦、終了する。ベンダの切り替わりタイミングでないとき(ステップS21で「No」の場合)、変更部44は、良否判断部42による対基板作業の良否判断を継続させる(ステップS24)。そして、制御は、一旦、終了する。
2.良否判定方法
良否判定装置40について既述したことは、良否判定方法についても同様に言える。具体的には、良否判定方法は、分布取得工程と、良否判断工程とを備える。分布取得工程は、分布取得部41が行う制御に相当する。良否判断工程は、良否判断部42が行う制御に相当する。また、良否判定方法は、閾値設定工程、変更工程および代替判断工程のうちの少なくとも一つをさらに備えると好適である。但し、良否判定方法は、代替判断工程を備えるときには、変更工程を備える。閾値設定工程は、閾値設定部43が行う制御に相当する。変更工程は、変更部44が行う制御に相当する。代替判断工程は、代替判断部45が行う制御に相当する。
3.実施形態の効果の一例
良否判定装置40によれば、分布取得部41および良否判断部42を備えている。これにより、良否判定装置40は、対基板作業機WMの撮像装置80によって撮像された基準画像BP1の各画像の画像全体の特徴量に基づいて、対基板作業の良否を判断することができる。良否判定装置40について上述したことは、良否判定方法についても同様に言える。
40:良否判定装置、41:分布取得部、42:良否判断部、
43:閾値設定部、44:変更部、45:代替判断部、
80:撮像装置、90:基板、91:部品、
BP1:基準画像、BF1:基準特徴量、FD1:特徴量分布、
FR1:特徴領域、MD1:マハラノビス距離、TH1:閾値、
OP1:対象画像、OF1:対象特徴量、PF1:部品特徴量、
WM:対基板作業機、WM3:部品装着機。

Claims (10)

  1. 基板に所定の対基板作業を行う対基板作業機の撮像装置が前記対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像を基準画像とし、前記基準画像より後に取得される少なくとも一つの画像であって前記基準画像と関連する画像を対象画像とするとき、
    前記基準画像の各画像について画像全体の特徴量である基準特徴量を抽出して、抽出された複数の前記基準特徴量の分布である特徴量分布を取得する分布取得部と、
    前記対象画像の各画像について画像全体の特徴量である対象特徴量を抽出して、前記特徴量分布によって規定される特徴領域に対する前記対象特徴量の外れ度合いに基づいて、前記対象画像を取得したときの前記対基板作業の良否を判断する良否判断部と、
    を備え
    前記対基板作業機は、基板に前記対象物である部品を装着する部品装着機であり、
    前記部品装着機に供給される前記部品のベンダが変更され且つベンダ変更後の前記部品に合致する前記特徴量分布を保持しないときに、
    前記対象画像から抽出される前記部品についての特徴量である部品特徴量が所定条件を満たすか否かに基づいて、前記対象画像を取得したときの前記対基板作業の良否を判断する代替判断部と、
    前記部品装着機に供給される前記部品のベンダが切り替わるタイミングで、前記良否判断部による前記対基板作業の良否判断から、前記代替判断部による前記対基板作業の良否判断に切り替える変更部と、
    をさらに備え、
    前記分布取得部は、前記代替判断部による前記対基板作業の良否判断が行われている間に、ベンダ変更後の前記部品を撮像した前記基準画像のうち前記対基板作業の作業結果が良好の画像に基づいて、前記特徴量分布を取得する良否判定装置。
  2. 前記画像全体の特徴量は、画像を構成する複数の画素の輝度および色、並びに、これらによって形成される形状および前記形状の面積のうちの少なくとも一つである請求項1に記載の良否判定装置。
  3. 前記対象画像は、前記対基板作業機によって規定可能な取得条件が前記基準画像を取得したときと一致するときに前記基準画像と関連し、
    前記取得条件は、前記対象物の種類、前記撮像装置の種類、および、前記撮像装置の撮像条件の種類のうちの少なくとも前記対象物の種類を含む請求項1または請求項2に記載の良否判定装置。
  4. 前記良否判断部は、前記特徴領域からのマハラノビス距離が所定の閾値を超えるか否かに基づいて、前記対基板作業の良否を判断する請求項1~請求項3のいずれか一項に記載の良否判定装置。
  5. 前記良否判断部は、マハラノビス・タグチ法の一手法であるRT法によって、前記対基板作業の良否を判断する請求項4に記載の良否判定装置。
  6. 前記マハラノビス距離の前記閾値を設定する閾値設定部をさらに備える請求項4または請求項5に記載の良否判定装置。
  7. 前記閾値設定部は、スミルノフ・グラブス検定によって取得された外れ値情報を用いて、前記閾値を設定する請求項6に記載の良否判定装置。
  8. 前記閾値設定部は、前記良否判断部によって前記対基板作業が良好と判断され且つ実際の前記対基板作業が不良のときに、当該対基板作業を良好と判断したときに用いた前記対象特徴量の前記マハラノビス距離より前記閾値が小さくなるように、前記閾値を修正する請求項6または請求項7に記載の良否判定装置。
  9. 前記閾値設定部は、前記良否判断部によって前記対基板作業が不良と判断された回数が所定回数に達したときに、前記対基板作業を良好と判断したときに用いた前記対象特徴量と、前記対基板作業を不良と判断したときに用いた前記対象特徴量とを使用して判別分析法によって前記閾値を修正する請求項6または請求項7に記載の良否判定装置。
  10. 基板に所定の対基板作業を行う対基板作業機の撮像装置が前記対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像を基準画像とし、前記基準画像より後に取得される少なくとも一つの画像であって前記基準画像と関連する画像を対象画像とするとき、
    前記基準画像の各画像について画像全体の特徴量である基準特徴量を抽出して、抽出された複数の前記基準特徴量の分布である特徴量分布を取得する分布取得工程と、
    前記対象画像の各画像について画像全体の特徴量である対象特徴量を抽出して、前記特徴量分布によって規定される特徴領域に対する前記対象特徴量の外れ度合いに基づいて、前記対象画像を取得したときの前記対基板作業の良否を判断する良否判断工程と、
    を備え
    前記対基板作業機は、基板に前記対象物である部品を装着する部品装着機であり、
    前記部品装着機に供給される前記部品のベンダが変更され且つベンダ変更後の前記部品に合致する前記特徴量分布を保持しないときに、
    前記対象画像から抽出される前記部品についての特徴量である部品特徴量が所定条件を満たすか否かに基づいて、前記対象画像を取得したときの前記対基板作業の良否を判断する代替判断工程と、
    前記部品装着機に供給される前記部品のベンダが切り替わるタイミングで、前記良否判断工程による前記対基板作業の良否判断から、前記代替判断工程による前記対基板作業の良否判断に切り替える変更工程と、
    をさらに備え、
    前記分布取得工程は、前記代替判断工程による前記対基板作業の良否判断が行われている間に、ベンダ変更後の前記部品を撮像した前記基準画像のうち前記対基板作業の作業結果が良好の画像に基づいて、前記特徴量分布を取得する良否判定方法。
JP2021505478A 2019-03-14 2019-03-14 良否判定装置および良否判定方法 Active JP7153126B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010710 WO2020183734A1 (ja) 2019-03-14 2019-03-14 良否判定装置および良否判定方法

Publications (2)

Publication Number Publication Date
JPWO2020183734A1 JPWO2020183734A1 (ja) 2021-11-25
JP7153126B2 true JP7153126B2 (ja) 2022-10-13

Family

ID=72426675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021505478A Active JP7153126B2 (ja) 2019-03-14 2019-03-14 良否判定装置および良否判定方法

Country Status (2)

Country Link
JP (1) JP7153126B2 (ja)
WO (1) WO2020183734A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005253685A (ja) 2004-03-11 2005-09-22 Konica Minolta Medical & Graphic Inc 画像診断支援装置及び画像診断支援プログラム
JP2007139621A (ja) 2005-11-18 2007-06-07 Omron Corp 判定装置、判定装置の制御プログラム、および判定装置の制御プログラムを記録した記録媒体
JP2013140040A (ja) 2011-12-28 2013-07-18 Keyence Corp 外観検査装置、外観検査方法及びコンピュータプログラム
JP2013168538A (ja) 2012-02-16 2013-08-29 Fuji Mach Mfg Co Ltd 基板外観検査機および基板外観検査方法
JP2013172062A (ja) 2012-02-22 2013-09-02 Sony Corp 実装装置、電子部品の良否判定方法、プログラム及び基板の製造方法
JP2014230146A (ja) 2013-05-23 2014-12-08 富士ゼロックス株式会社 画像評価方法、画像評価装置及び画像評価プログラム
JP2017111625A (ja) 2015-12-16 2017-06-22 三菱重工業株式会社 品質モニタリングシステムおよび品質モニタリング方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08254501A (ja) * 1995-03-16 1996-10-01 Hitachi Denshi Ltd 外観検査方法及び装置
JP2005252451A (ja) * 2004-03-02 2005-09-15 Sony Corp 画質検査方法及び画質検査装置
JP4935109B2 (ja) * 2005-03-17 2012-05-23 オムロン株式会社 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置
JP5405245B2 (ja) * 2009-09-09 2014-02-05 リコーエレメックス株式会社 画像検査方法及び画像検査装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005253685A (ja) 2004-03-11 2005-09-22 Konica Minolta Medical & Graphic Inc 画像診断支援装置及び画像診断支援プログラム
JP2007139621A (ja) 2005-11-18 2007-06-07 Omron Corp 判定装置、判定装置の制御プログラム、および判定装置の制御プログラムを記録した記録媒体
JP2013140040A (ja) 2011-12-28 2013-07-18 Keyence Corp 外観検査装置、外観検査方法及びコンピュータプログラム
JP2013168538A (ja) 2012-02-16 2013-08-29 Fuji Mach Mfg Co Ltd 基板外観検査機および基板外観検査方法
JP2013172062A (ja) 2012-02-22 2013-09-02 Sony Corp 実装装置、電子部品の良否判定方法、プログラム及び基板の製造方法
JP2014230146A (ja) 2013-05-23 2014-12-08 富士ゼロックス株式会社 画像評価方法、画像評価装置及び画像評価プログラム
JP2017111625A (ja) 2015-12-16 2017-06-22 三菱重工業株式会社 品質モニタリングシステムおよび品質モニタリング方法

Also Published As

Publication number Publication date
WO2020183734A1 (ja) 2020-09-17
JPWO2020183734A1 (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
JP6310058B2 (ja) 画像処理装置および基板生産システム
JP2011228583A (ja) 電子部品の撮像判定方法及び部品実装機
JP2014072409A (ja) 部品検査方法及び装置
JP2009094283A (ja) 実装基板の生産方法、表面実装機及び実装基板生産管理装置
WO2017098561A1 (ja) 基板用の画像処理装置および画像処理方法
JP6646916B2 (ja) 基板用の画像処理装置および画像処理方法
WO2017145249A1 (ja) 画像処理システム及び画像処理方法
US11751370B2 (en) Correction amount calculation device, component mounting machine, and correction amount calculation method
JP4852456B2 (ja) 実装ライン及び実装方法
JP7153126B2 (ja) 良否判定装置および良否判定方法
US20220151120A1 (en) Correction amount calculating device and correction amount calculating method
JP2003347794A (ja) 電子回路部品取出し方法および取出し装置
JP6904978B2 (ja) 部品装着機
JP7153127B2 (ja) 良否判定装置および良否判定方法
CN109196971B (zh) 元件安装系统
JP5297913B2 (ja) 実装機
JP7147067B2 (ja) データ管理装置
JP2006073959A (ja) 部品認識装置及び表面実装機並びに部品試験装置
JP7142169B2 (ja) 画像データ管理装置および画像データ管理方法
JP7094366B2 (ja) 検査設定装置および検査設定方法
JP7473735B2 (ja) 異物検出装置および異物検出方法
WO2024062597A1 (ja) 部品認識装置および部品認識方法
WO2023209948A1 (ja) 対象物撮像装置及びこれを備えた部品実装装置
WO2024062635A1 (ja) 検査装置及び検査方法
JP2023089746A (ja) 画像認識装置及び部品実装機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220930

R150 Certificate of patent or registration of utility model

Ref document number: 7153126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150