JPWO2020183735A1 - 良否判定装置および良否判定方法 - Google Patents

良否判定装置および良否判定方法 Download PDF

Info

Publication number
JPWO2020183735A1
JPWO2020183735A1 JP2021505479A JP2021505479A JPWO2020183735A1 JP WO2020183735 A1 JPWO2020183735 A1 JP WO2020183735A1 JP 2021505479 A JP2021505479 A JP 2021505479A JP 2021505479 A JP2021505479 A JP 2021505479A JP WO2020183735 A1 JPWO2020183735 A1 JP WO2020183735A1
Authority
JP
Japan
Prior art keywords
image
work
feature amount
board
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021505479A
Other languages
English (en)
Other versions
JP7153127B2 (ja
Inventor
秀一郎 鬼頭
賢志郎 西田
恵市 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2020183735A1 publication Critical patent/JPWO2020183735A1/ja
Application granted granted Critical
Publication of JP7153127B2 publication Critical patent/JP7153127B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

良否判定装置は、記憶部と、取得部と、良否判断部とを備える。ここで、基準画像の各画像について画像全体の特徴量である基準特徴量が抽出されたときの複数の基準特徴量の分布を特徴量分布とする。このとき、記憶部は、基準画像および特徴量分布のうちの少なくとも一方である画像関連情報と、画像関連情報を検索可能な情報であって基準画像が取得されたときの取得条件を含む検索情報と、を関連付けて記憶装置に記憶させる。取得部は、対基板作業機の撮像装置が対基板作業において対象物を撮像した対象画像の取得条件と一致する取得条件を含む検索情報に関連付けられている画像関連情報を、記憶装置から取得する。良否判断部は、取得部によって取得された画像関連情報を用いて、対象画像を取得したときの対基板作業の良否を判断する。

Description

本明細書は、良否判定装置および良否判定方法に関する技術を開示する。
特許文献1に記載の画像処理システムでは、各部品実装機の制御装置は、生産開始時にフィーダから供給される部品に関する学習結果が、学習用コンピュータの記憶装置に保存されているか否かを、学習用コンピュータに問い合わせる。そして、制御装置は、記憶装置に当該学習結果が保存されているときに、当該学習結果を記憶装置から取り寄せて、生産開始当初から当該学習結果を用いて学習型超解像処理を行う。
特許文献2に記載の外観検査支援システムは、複数の外観検査装置の間で検査データの精度を互いに参照する。具体的には、外観検査支援システムは、評価ユニットと、成績データ保持ユニットと、成績提供ユニットとを備えている。評価ユニットは、検査データを用いた検査の実績に基づいて、当該検査データによる検査精度を部品ごとに評価する。成績データ保持ユニットは、評価された検査精度に関する情報を、部品ごとに成績データとして保持する。成績提供ユニットは、ネットワークを介して接続された他の検査装置へ成績データを提供する。
特開2018−097731号公報 特開2002−277407号公報
しかしながら、特許文献1に記載の画像処理システムは、検索する学習結果が、低解像度画像および高解像度画像との関係に関するものであり、対基板作業機の対基板作業の良否を判断するものではない。また、特許文献2に記載の外観検査支援システムは、複数の外観検査装置の間で、検査精度に関する情報を互いに参照するものである。
このような事情に鑑みて、本明細書は、基準画像および特徴量分布のうちの少なくとも一方である画像関連情報を取得して、取得した画像関連情報を用いて対基板作業の良否を判断することが可能な良否判定装置および良否判定方法を開示する。
本明細書は、記憶部と、取得部と、良否判断部とを備える良否判定装置を開示する。ここで、基板に所定の対基板作業を行う対基板作業機の撮像装置が前記対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像を基準画像とする。前記基準画像の各画像について画像全体の特徴量である基準特徴量が抽出されたときの複数の前記基準特徴量の分布を特徴量分布とする。このとき、前記記憶部は、前記基準画像および前記特徴量分布のうちの少なくとも一方である画像関連情報と、前記画像関連情報を検索可能な情報であって前記基準画像が取得されたときの取得条件を含む検索情報と、を関連付けて記憶装置に記憶させる。前記取得部は、前記対基板作業機の前記撮像装置が前記対基板作業において前記対象物を撮像した対象画像の取得条件と一致する取得条件を含む前記検索情報に関連付けられている前記画像関連情報を、前記記憶装置から取得する。前記良否判断部は、前記取得部によって取得された前記画像関連情報を用いて、前記対象画像を取得したときの前記対基板作業の良否を判断する。
また、本明細書は、記憶工程と、取得工程と、良否判断工程とを備える良否判定方法を開示する。ここで、基板に所定の対基板作業を行う対基板作業機の撮像装置が前記対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像を基準画像とする。前記基準画像の各画像について画像全体の特徴量である基準特徴量が抽出されたときの複数の前記基準特徴量の分布を特徴量分布とする。このとき、前記記憶工程は、前記基準画像および前記特徴量分布のうちの少なくとも一方である画像関連情報と、前記画像関連情報を検索可能な情報であって前記基準画像が取得されたときの取得条件を含む検索情報と、を関連付けて記憶装置に記憶させる。前記取得工程は、前記対基板作業機の前記撮像装置が前記対基板作業において前記対象物を撮像した対象画像の取得条件と一致する取得条件を含む前記検索情報に関連付けられている前記画像関連情報を、前記記憶装置から取得する。前記良否判断工程は、前記取得工程によって取得された前記画像関連情報を用いて、前記対象画像を取得したときの前記対基板作業の良否を判断する。
上記の良否判定装置によれば、記憶部、取得部および良否判断部を備えている。これにより、良否判定装置は、画像関連情報を取得して、取得した画像関連情報を用いて対基板作業の良否を判断することができる。良否判定装置について上述したことは、良否判定方法についても同様に言える。
対基板作業ラインWMLの構成例を示す構成図である。 部品装着機WM3の構成例を示す平面図である。 良否判定装置40の制御ブロックの一例を示すブロック図である。 部品91の一例を示す底面図である。 保持部材30に保持されている図4Aに示す部品91を、部品カメラ14によって撮像した画像の一例を示す模式図である。 特徴量分布FD1の一例を示す模式図である。 対基板作業の作業結果とマハラノビス距離MD1との関係の一例を示すヒストグラムである。 変更部44による制御手順の一例を示すフローチャートである。 記憶装置50mに記憶されている画像関連情報50a、検索情報50bおよび作業結果情報50cの一例を示す模式図である。 良否判定装置40の配置例を示す模式図である。
1.実施形態
1−1.対基板作業ラインWMLの構成例
対基板作業ラインWMLでは、基板90に所定の対基板作業を行う。対基板作業ラインWMLを構成する対基板作業機WMの種類および数は、限定されない。図1に示すように、本実施形態の対基板作業ラインWMLは、印刷機WM1、印刷検査機WM2、部品装着機WM3、リフロー炉WM4および外観検査機WM5の複数(5つ)の対基板作業機WMを備えており、基板90は、基板搬送装置(図示略)によって、この順に搬送される。
印刷機WM1は、基板90において、複数の部品91の各々の装着位置に、はんだを印刷する。印刷検査機WM2は、印刷機WM1によって印刷されたはんだの印刷状態を検査する。部品装着機WM3は、基板90(印刷機WM1によって印刷されたはんだの上)に複数の部品91を装着する。部品装着機WM3は、一つであっても良く、複数であっても良い。部品装着機WM3が複数設けられる場合は、複数の部品装着機WM3が分担して、複数の部品91を装着することができる。
リフロー炉WM4は、部品装着機WM3によって複数の部品91が装着された基板90を加熱し、はんだを溶融させて、はんだ付けを行う。外観検査機WM5は、部品装着機WM3によって装着された複数の部品91の装着状態などを検査する。このように、対基板作業ラインWMLは、複数(5つ)の対基板作業機WMを用いて、基板90を順に搬送し、検査処理を含む生産処理を実行して基板製品900を生産することができる。なお、対基板作業ラインWMLは、例えば、機能検査機、バッファ装置、基板供給装置、基板反転装置、シールド装着装置、接着剤塗布装置、紫外線照射装置などの対基板作業機WMを必要に応じて備えることもできる。
対基板作業ラインWMLを構成する複数(5つ)の対基板作業機WMおよび管理装置WMCは、通信部LCによって電気的に接続されている。通信部LCは、有線によって通信可能に接続することができ、無線によって通信可能に接続することもできる。また、通信方法は、種々の方法をとり得る。本実施形態では、複数(5つ)の対基板作業機WMおよび管理装置WMCによって、構内情報通信網(LAN:Local Area Network)が構成されている。これにより、複数(5つ)の対基板作業機WMは、通信部LCを介して、互いに通信することができる。また、複数(5つ)の対基板作業機WMは、通信部LCを介して、管理装置WMCと通信することができる。
管理装置WMCは、対基板作業ラインWMLを構成する複数(5つ)の対基板作業機WMの制御を行い、対基板作業ラインWMLの動作状況を監視する。管理装置WMCには、複数(5つ)の対基板作業機WMを制御する種々の制御データが記憶されている。管理装置WMCは、複数(5つ)の対基板作業機WMの各々に制御データを送信する。また、複数(5つ)の対基板作業機WMの各々は、管理装置WMCに動作状況および生産状況を送信する。
管理装置WMCには、例えば、データサーバ70を設けることができる。データサーバ70は、例えば、対基板作業機WMが対基板作業に関して取得した取得データを保存することができる。例えば、対基板作業機WMによって撮像された種々の画像データなどは、取得データに含まれる。対基板作業機WMによって取得された稼働状況の記録(ログデータ)などは、取得データに含まれる。
また、データサーバ70は、基板90の生産に関する種々の生産情報を保存することもできる。例えば、部品91の種類ごとの形状に関する情報、電気的特性に関する情報、部品91の取り扱い方法に関する情報などの部品データは、生産情報に含まれる。印刷検査機WM2、外観検査機WM5などの検査機による検査結果は、生産情報に含まれる。
1−2.部品装着機WM3の構成例
部品装着機WM3は、基板90に複数の部品91を装着する。図2に示すように、部品装着機WM3は、基板搬送装置11、部品供給装置12、部品移載装置13、部品カメラ14、基板カメラ15および制御装置16を備えている。
基板搬送装置11は、例えば、ベルトコンベアなどによって構成され、基板90を搬送方向(X軸方向)に搬送する。基板90は、回路基板であり、電子回路および電気回路のうちの少なくとも一方が形成される。基板搬送装置11は、部品装着機WM3の機内に基板90を搬入し、機内の所定位置に基板90を位置決めする。基板搬送装置11は、部品装着機WM3による複数の部品91の装着処理が終了した後に、基板90を部品装着機WM3の機外に搬出する。
部品供給装置12は、基板90に装着される複数の部品91を供給する。部品供給装置12は、基板90の搬送方向(X軸方向)に沿って設けられる複数のフィーダ121を備えている。複数のフィーダ121の各々は、複数の部品91が収納されるキャリアテープ(図示略)をピッチ送りさせて、フィーダ121の先端側に位置する供給位置において部品91を採取可能に供給する。また、部品供給装置12は、チップ部品などと比べて比較的大型の電子部品(例えば、リード部品など)を、トレイ上に配置した状態で供給することもできる。
部品移載装置13は、ヘッド駆動装置131および移動台132を備えている。ヘッド駆動装置131は、直動機構によって移動台132を、X軸方向およびY軸方向に移動可能に構成されている。移動台132には、クランプ部材(図示略)によって装着ヘッド20が着脱可能(交換可能)に設けられている。装着ヘッド20は、少なくとも一つの保持部材30を用いて、部品供給装置12によって供給される部品91を採取し保持して、基板搬送装置11によって位置決めされた基板90に部品91を装着する。保持部材30は、例えば、吸着ノズル、チャックなどを用いることができる。
部品カメラ14および基板カメラ15は、公知の撮像装置を用いることができる。部品カメラ14は、光軸がZ軸方向の上向き(鉛直上方方向)になるように、部品装着機WM3の基台に固定されている。部品カメラ14は、保持部材30に保持されている部品91を下方から撮像することができる。基板カメラ15は、光軸がZ軸方向の下向き(鉛直下方方向)になるように、部品移載装置13の移動台132に設けられている。基板カメラ15は、基板90を上方から撮像することができる。部品カメラ14および基板カメラ15は、制御装置16から送出される制御信号に基づいて撮像を行う。部品カメラ14および基板カメラ15によって撮像された画像データは、制御装置16に送信される。
制御装置16は、公知の演算装置および記憶装置を備えており、制御回路が構成されている(いずれも図示略)。制御装置16には、部品装着機WM3に設けられる各種センサから出力される情報、画像データなどが入力される。制御装置16は、制御プログラムおよび予め設定されている所定の装着条件などに基づいて、各装置に対して制御信号を送出する。
例えば、制御装置16は、基板搬送装置11によって位置決めされた基板90を基板カメラ15に撮像させる。制御装置16は、基板カメラ15によって撮像された画像を画像処理して、基板90の位置決め状態を認識する。また、制御装置16は、部品供給装置12によって供給された部品91を保持部材30に採取させ保持させて、保持部材30に保持されている部品91を部品カメラ14に撮像させる。制御装置16は、部品カメラ14によって撮像された画像を画像処理して、部品91の適否、部品91の保持姿勢を認識する。
制御装置16は、制御プログラムなどによって予め設定される装着予定位置の上方に向かって、保持部材30を移動させる。また、制御装置16は、基板90の位置決め状態、部品91の保持姿勢などに基づいて、装着予定位置を補正して、実際に部品91を装着する装着位置を設定する。装着予定位置および装着位置は、位置(X軸座標およびY軸座標)の他に回転角度を含む。
制御装置16は、装着位置に合わせて、保持部材30の目標位置(X軸座標およびY軸座標)および回転角度を補正する。制御装置16は、補正された目標位置において補正された回転角度で保持部材30を下降させて、基板90に部品91を装着する。制御装置16は、上記のピックアンドプレースサイクルを繰り返すことによって、基板90に複数の部品91を装着する装着処理を実行する。
1−3.良否判定装置40の構成例
例えば、既述したように、部品装着機WM3は、部品カメラ14によって撮像された画像を画像処理して、部品91の適否、部品91の保持姿勢を認識している。このとき、例えば、画像から抽出される部品91についての特徴量(例えば、部品91の色、外形形状、面積など)に基づいて、部品91の適否、部品91の保持姿勢などの部品91の保持作業の良否を判定しようとすると、判定条件の漏れによる誤判定の可能性がある。
例えば、正規の部品91は、白色の円形状であり、部品91の面積(円の面積)が所定値であったとする。このとき、部品装着機WM3が、部品91の色および面積のみを判定条件として設定すると、例えば、部品91の色は白色であり、面積は所定値であるが、外形形状が四角形の部品91について、部品91の不適を判定することができない。また、誤判定を低減しようとすると、設定すべき判定条件の数が増加し、判定条件の設定作業が煩雑になる。
そこで、本実施形態では、良否判定装置40を備えている。良否判定装置40は、対基板作業機WMの撮像装置80によって撮像された各画像の画像全体の特徴量に基づいて、対基板作業の良否を判断する。良否判定装置40は、制御ブロックとして捉えると、分布取得部41と、良否判断部42とを備えている。良否判定装置40は、閾値設定部43および変更部44のうちの少なくとも一方をさらに備えると好適である。
図3に示すように、本実施形態の良否判定装置40は、分布取得部41と、良否判断部42と、閾値設定部43と、変更部44とを備えている。また、本実施形態の良否判定装置40は、部品装着機WM3の制御装置16に設けられているが、他の対基板作業機WMに設けることもできる。さらに、良否判定装置40は、対基板作業機WMの外部(例えば、管理装置WMCなど)に設けることもできる。
1−3−1.分布取得部41
分布取得部41は、基準画像BP1の各画像について画像全体の特徴量である基準特徴量BF1を抽出して、抽出された複数の基準特徴量BF1の分布である特徴量分布FD1を取得する。基準画像BP1は、基板90に所定の対基板作業を行う対基板作業機WMの撮像装置80が対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像をいう。
対基板作業機WMが部品装着機WM3の場合、撮像装置80は、例えば、部品カメラ14であり、このときの対象物は、保持部材30に保持されている部品91である。この場合、対基板作業は、部品91の保持作業である。また、基準画像BP1は、部品種が同じ部品91について、同種の撮像条件で撮像された画像であれば良い。撮像条件には、例えば、光源の種類、光の照射方向、露光時間、絞り値などが含まれる。なお、例えば、自然光などの影響によって撮像条件を完全に一致させることは困難であるので、撮像条件は、対基板作業機WM(部品装着機WM3)によって規定可能な取得条件であれば良い。
基準画像BP1は、例えば、ロータリヘッドまたはラインヘッドによって保持されている複数の部品91を部品カメラ14が同時に撮像した一の画像から、各部品91の領域が抽出された画像であっても良い。また、基準画像BP1は、複数の部品91を部品カメラ14が順に撮像した画像であっても良い。さらに、基準画像BP1は、これらの画像が混在する画像であっても良い。
なお、対基板作業機WMが部品装着機WM3の場合、撮像装置80は、例えば、装着ヘッド20に設けられる側方カメラ(図示略)であっても良い。側方カメラは、部品91の側面側から部品91を撮像する点で、部品カメラ14と異なるが、上述したことが同様に言える。
また、対基板作業機WMが部品装着機WM3の場合、撮像装置80は、例えば、基板カメラ15であっても良い。このときの対象物は、基板搬送装置11によって位置決めされた基板90である。この場合、対基板作業は、基板90の位置決め作業である。さらに、対基板作業機WMが外観検査機WM5の場合、撮像装置80は、外観検査機WM5に設けられるカメラ(図示略)である。このときの対象物は、基板90に装着されている部品91である。この場合、対基板作業は、部品装着機WM3による部品91の装着作業である。
また、対基板作業機WMが印刷検査機WM2の場合、撮像装置80は、印刷検査機WM2に設けられるカメラ(図示略)である。このときの対象物は、基板90に印刷されているはんだである。この場合、対基板作業は、印刷機WM1によるはんだの印刷作業である。このように、対基板作業機WM、撮像装置80、対象物および対基板作業は、限定されない。また、撮像条件について既述したことは、上述したいずれの場合も、同様に言える。本明細書は、説明の便宜上、部品装着機WM3の部品カメラ14が、保持部材30に保持されている部品91を撮像した基準画像BP1について記述されている。
図4Aは、部品91の一例を示す底面図である。図4Bは、保持部材30に保持されている図4Aに示す部品91を、部品カメラ14によって撮像した画像の一例を示している。図4Bでは、画像を構成する複数の画素が格子状に配置されている様子が合わせて図示されている。例えば、部品91がチップ抵抗器、チップコンデンサなどの場合、部品91は、電極部の領域である電極領域AR11および電極領域AR12と、本体部の領域である本体領域AR13とを備えている。
電極領域AR11および電極領域AR12は、銀色である。また、部品91の裏面(底面)側の本体領域AR13は、例えば、白色であり、部品91の表面側の本体領域AR13は、例えば、黒色であるとする。このときに、例えば、保持部材30が部品91の裏面(底面)側を誤って吸着すると(部品91の反転)、部品カメラ14は、部品91の表面側を撮像する。
この場合、電極領域AR11および電極領域AR12は、銀色であり、表面側の本体領域AR13は、黒色であるので、これらの領域の輝度の差は、保持部材30が部品91の表面側を吸着する場合(正規の吸着状態であり、撮像される本体領域AR13は、白色)と比べて、大きくなる。このように、画像における部品91の輝度および色のうちの少なくとも一方が変化すると、画像全体の特徴が、正規の吸着状態のときと比べて変化する。
また、例えば、保持部材30が部品91の端部を誤って吸着すると(部品91の立ち吸着)、部品91の保持姿勢が正規の吸着状態と比べて変化するので、画像において、電極領域AR11、電極領域AR12および本体領域AR13の各領域の形状(図4Bでは、長方形)が変形する。また、部品91の各領域の面積が正規の吸着状態と比べて変化する。さらに、部品91の各領域の外周の長さが正規の吸着状態と比べて変化する。
このように、画像における部品91の形状および形状の面積のうちの少なくとも一方が変化すると、画像全体の特徴が、正規の吸着状態のときと比べて変化する。なお、各領域の形状は、画像を構成する複数の画素の輝度および色のうちの少なくとも一方によって形成される。また、部品91の反転、部品91の立ち吸着は、対基板作業(この場合、部品91の保持作業)の作業結果が不良の場合の一例であり、不良の要因は、これらに限定されない。また、チップ抵抗器、チップコンデンサは、部品91の一例であり、部品91は、これらに限定されない。
上述したように、対基板作業の作業結果が不良のときには、画像全体の特徴が、作業結果が良好のときと比べて変化する。そこで、分布取得部41は、基準画像BP1の各画像について画像全体の特徴量である基準特徴量BF1を抽出して、抽出された複数の基準特徴量BF1の分布である特徴量分布FD1を取得する。図4Bに示すように、基準画像BP1の外縁は、対象物(例えば、一つの部品91)の外縁と一致させる。また、既述したように、画像全体の特徴量は、画像を構成する複数の画素の輝度および色、並びに、これらによって形成される形状および当該形状の面積のうちの少なくとも一つであると好適である。
分布取得部41は、例えば、多変量解析において公知の方法(例えば、主成分分析など)によって、特徴量分布FD1を取得することができる。図5は、特徴量分布FD1の一例を示している。同図は、図4Bに示す画像を構成する複数の画素の輝度および色、並びに、これらによって形成される形状(図4Bに示す例では、長方形)および当該形状の面積を画像全体の特徴量としたときの特徴量分布FD1の一例を示している。
また、図5の特徴領域FR1に図示されている複数の点は、基準画像BP1の各画像の基準特徴量BF1をイメージしている。同図に示すように、特徴量分布FD1は、二次元の特徴領域FR1によって表すこともでき、三次元以上の特徴領域FR1によって表すこともできる。特徴領域FR1は、複数の基準特徴量BF1の外縁を示しており、「単位空間」ともいう。
なお、対基板作業機WMによる対基板作業は、通常、作業結果が良好であり、作業結果が不良の割合は、極めて低い。例えば、部品装着機WM3における部品91の吸着率は、極めて高い。そのため、対基板作業の作業結果が不良のときの画像が基準画像BP1に含まれていても、その影響は少ない。そこで、本明細書では、基準画像BP1を取得したときの対基板作業の作業結果は、良好であるとして取り扱っている。良否判定装置40による判定精度を向上させるためには、基準画像BP1は、対基板作業の作業結果が良好のときの画像に限定すると良い。
1−3−2.良否判断部42
良否判断部42は、対象画像OP1の各画像について画像全体の特徴量である対象特徴量OF1を抽出して、特徴量分布FD1によって規定される特徴領域FR1に対する対象特徴量OF1の外れ度合いに基づいて、対象画像OP1を取得したときの対基板作業の良否を判断する。
対象画像OP1は、基準画像BP1より後に取得される少なくとも一つの画像であって基準画像BP1と関連する画像をいう。対象画像OP1は、対基板作業機WMによって規定可能な取得条件が基準画像BP1を取得したときと一致するときに基準画像BP1と関連し、取得条件は、対象物の種類、撮像装置80の種類、および、撮像装置80の撮像条件の種類のうちの少なくとも対象物の種類を含むと好適である。
基準画像BP1と対象画像OP1を比較するためには、基準画像BP1を取得したときの対象物の種類(図4Bに示す例では、部品91の部品種)と、対象画像OP1を取得したときの対象物の種類(部品91の部品種)とが少なくとも一致している必要がある。また、撮像装置80(図4Bに示す例では、部品カメラ14)の種類および撮像条件のうちの少なくとも一方が異なると、同一の対象物を撮像しても取得した画像に差異が生じる可能性がある。そのため、撮像装置80の種類および撮像条件のうちの少なくとも一方が一致していると良い。
なお、基準画像BP1について既述したように、撮像条件には、例えば、光源の種類、光の照射方向、露光時間、絞り値などが含まれる。また、例えば、自然光などの影響によって撮像条件を完全に一致させることは困難であるので、撮像条件は、対基板作業機WMによって規定可能な取得条件であれば良い。
良否判断部42は、分布取得部41と同様にして、対象画像OP1の各画像について画像全体の特徴量である対象特徴量OF1を抽出することができる。そして、良否判断部42は、特徴量分布FD1によって規定される特徴領域FR1に対する対象特徴量OF1の外れ度合いに基づいて、対象画像OP1を取得したときの対基板作業の良否を判断する。
良否判断部42は、公知の種々の方法を用いて、対象画像OP1を取得したときの対基板作業の良否を判断することができる。良否判断部42は、例えば、ニューラルネットワーク、ディープラーニング、サポートベクターなどの手法を用いることができる。また、良否判断部42は、マハラノビス・タグチ法、部分空間法などの手法を用いることもできる。マハラノビス・タグチ法は、ニューラルネットワークなどの人工知能的な手法と比べて、学習データに相当する基準画像BP1の数が少なく済む。
そこで、良否判断部42は、特徴領域FR1からのマハラノビス距離MD1が所定の閾値TH1を超えるか否かに基づいて、対基板作業の良否を判断すると好適である。また、良否判断部42は、マハラノビス・タグチ法の一手法であるRT法によって、対基板作業の良否を判断すると好適である。RT法(Recognition Taguchi method)は、画像データを用いた良否判断に適しており、本実施形態に用いると好適である。
本実施形態の良否判断部42は、RT法によって、対象画像OP1を取得したときの対基板作業の良否を判断する。良否判断部42は、特徴領域FR1からのマハラノビス距離MD1が所定の閾値TH1を超えるか否かに基づいて、対基板作業の良否を判断する。具体的には、良否判断部42は、マハラノビス距離MD1が所定の閾値TH1以下のときに、対象画像OP1を取得したときの対基板作業の作業結果を良好と判断する。また、良否判断部42は、マハラノビス距離MD1が所定の閾値TH1より大きいときに、対象画像OP1を取得したときの対基板作業の作業結果を不良と判断する。
既述したように、例えば、図4Bに示す本体領域AR13は、対基板作業(この場合、部品91の保持作業)の作業結果が良好であれば(正規の吸着状態であれば)、白色である。大多数の画像において本体領域AR13の色が白色のときに、例えば、部品91の反転が生じて、本体領域AR13の色が黒色になると、図5に示すマハラノビス距離MD1は、著しく増加する。よって、良否判断部42は、対基板作業(部品91の保持作業)の作業結果を不良と判断することができる。上述したことは、他の特徴量についても同様に言える。
1−3−3.閾値設定部43
閾値設定部43は、マハラノビス距離MD1の閾値TH1を設定する。閾値設定部43は、スミルノフ・グラブス検定によって取得された外れ値情報を用いて、閾値TH1を設定すると好適である。スミルノフ・グラブス検定は、データが正規分布に従うときに、データに含まれる外れ値を検出する。本実施形態の閾値設定部43は、スミルノフ・グラブス検定によって外れ値を検出し、当該外れ値をマハラノビス距離MD1の閾値TH1として設定する。これにより、閾値設定部43は、マハラノビス距離MD1の閾値TH1を容易に設定することができる。
また、閾値設定部43は、良否判断部42によって対基板作業が良好と判断され且つ実際の対基板作業が不良のときに、当該対基板作業を良好と判断したときに用いた対象特徴量OF1のマハラノビス距離MD1より閾値TH1が小さくなるように、閾値TH1を修正することができる。
例えば、図5に示す対象特徴量OF1に基づいて、良否判断部42が対基板作業を良好と判断したとする。実際の対基板作業が不良のときに、閾値設定部43は、当該対象特徴量OF1のマハラノビス距離MD1より閾値TH1が小さくなるように、閾値TH1を修正する。これにより、閾値設定部43は、マハラノビス距離MD1の閾値TH1を適正化することができる。
閾値設定部43は、良否判断部42によって対基板作業が不良と判断され且つ実際の対基板作業が良好のときに、当該対基板作業を不良と判断したときに用いた対象特徴量OF1のマハラノビス距離MD1より閾値TH1が大きくなるように、閾値TH1を修正することもできる。この場合も、閾値設定部43は、マハラノビス距離MD1の閾値TH1を適正化することができる。
また、閾値設定部43は、良否判断部42によって対基板作業が不良と判断された回数が所定回数に達したときに、対基板作業を良好と判断したときに用いた対象特徴量OF1と、対基板作業を不良と判断したときに用いた対象特徴量OF1とを使用して判別分析法によって閾値TH1を修正することができる。これにより、閾値設定部43は、マハラノビス距離MD1の閾値TH1を適正化することができる。
図6は、対基板作業の作業結果とマハラノビス距離MD1との関係の一例を示すヒストグラムである。同図の横軸は、マハラノビス距離MD1を示し、縦軸は、対基板作業の作業結果の度数を示している。データD1〜データD13は、対基板作業の作業結果が良好のときのデータの度数である。データD14〜データD23は、対基板作業の作業結果が不良のときのデータの度数である。
対基板作業の作業結果は、実際の作業結果(良否)を示している。例えば、図4Aに示す部品91の保持作業が良好であったとする。このときに、保持部材30に保持されている部品91を部品カメラ14によって撮像した画像(図4Bに示す画像)に基づいて、マハラノビス距離MD1を算出する。これにより、マハラノビス距離MD1に対応する距離において、対基板作業の作業結果が良好のときのデータが一つ取得される。これを繰り返すことにより、同図に示すヒストグラムが得られる。
所定回数は、判別分析法において必要な対基板作業の作業結果が不良のときのデータ数であり、任意に設定することができる。良否判断部42によって対基板作業が不良と判断された回数が所定回数に達すると、対基板作業の作業結果が不良のときのデータが所定数、蓄積する。このとき、閾値設定部43は、対基板作業を良好と判断したとき(データD1〜データD13)に用いた対象特徴量OF1と、対基板作業を不良と判断したとき(データD14〜データD23)に用いた対象特徴量OF1とを使用して判別分析法によって閾値TH1を修正する。図6に示す閾値TH1は、判別分析法によって閾値TH1が修正されたことを示している。なお、マハラノビス・タグチ法、RT法、スミルノフ・グラブス検定、判別分析法などの手法自体は、公知であり、本明細書では、これらの詳細な説明が省略されている。
1−3−4.変更部44
部品91の部品種が同じであっても、ベンダ(製造メーカ)が異なると、部品91の外形形状、外形寸法、色などが若干異なる場合がある。そこで、良否判定装置40は、変更部44をさらに備えていると好適である。
変更部44は、部品装着機WM3に供給される部品91のベンダが切り替わるタイミングで、良否判断部42が使用する特徴量分布FD1を、ベンダ変更後の部品91に合致する特徴量分布FD1に切り替える。但し、部品装着機WM3に供給される部品91のベンダが変更され、且つ、ベンダ変更後の部品91に合致する特徴量分布FD1を良否判定装置40が保持しているものとする。これにより、良否判断部42は、部品91のベンダの変更に関わらず、適切な特徴量分布FD1を用いて、対基板作業の良否を判断することができる。
具体的には、変更部44は、部品91のベンダが切り替わるタイミングであるか否かを判断する(図7に示すステップS11)。変更部44は、例えば、フィーダ121の識別情報などから、部品91のベンダが切り替わるタイミングを知得することができる。ベンダの切り替わりタイミングのとき(ステップS11で「Yes」の場合)、変更部44は、良否判断部42が使用する特徴量分布FD1を、ベンダ変更後の部品91に合致する特徴量分布FD1に切り替える(ステップS12)。そして、制御は、一旦、終了する。ベンダの切り替わりタイミングでないとき(ステップS11で「No」の場合)、ステップS12に示す処理を実行しないで、制御は、一旦、終了する。
1−4.対基板作業機WMが画像関連情報50aを保持していない場合の良否判定装置40の構成例
ここで、基準画像BP1および特徴量分布FD1のうちの少なくとも一方を画像関連情報50aとする。既述したように、基準画像BP1は、基板90に所定の対基板作業を行う対基板作業機WMの撮像装置80が対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像をいう。
また、特徴量分布FD1は、基準画像BP1の各画像について画像全体の特徴量である基準特徴量BF1が抽出されたときの複数の基準特徴量BF1の分布をいう。画像全体の特徴量は、画像を構成する複数の画素の輝度および色、並びに、これらによって形成される形状および当該形状の面積のうちの少なくとも一つであると好適である。
対基板作業機WMが画像関連情報50aを保持していない場合、対基板作業機WMは、画像関連情報50aを用いて、画像を取得したときの対基板作業の良否を判断することが困難である。そこで、本実施形態の良否判定装置40は、画像関連情報50aを取得して、取得した画像関連情報50aを用いて対基板作業の良否を判断する。良否判定装置40は、制御ブロックとして捉えると、記憶部51と、取得部52と、良否判断部42とを備えている。
良否判定装置40は、提供部53、分布取得部41、閾値設定部43および変更部44のうちの少なくとも一つをさらに備えると好適である。図3に示すように、本実施形態の良否判定装置40は、記憶部51と、取得部52と、提供部53と、分布取得部41と、良否判断部42と、閾値設定部43と、変更部44とを備えている。
1−4−1.記憶部51
記憶部51は、画像関連情報50aと、検索情報50bとを関連付けて記憶装置50mに記憶させる。画像関連情報50aは、既述したように、基準画像BP1および特徴量分布FD1のうちの少なくとも一方である。検索情報50bは、画像関連情報50aを検索可能な情報であって、基準画像BP1が取得されたときの取得条件を含む。検索情報50bには、例えば、画像関連情報50aの管理番号、名称、作成日、データ容量、作成者などの情報が含まれる。既述したように、取得条件は、対基板作業機WMによって規定可能な条件であり、対象物に関する情報、撮像装置80に関する情報、および、撮像装置80の撮像条件に関する情報のうちの少なくとも対象物に関する情報を含むと好適である。
例えば、対象物が部品91の場合、対象物に関する情報には、例えば、部品91の部品種、型式、ベンダ(製造メーカ)、製造ロットなどに関する情報が含まれる。また、対象物に関する情報は、例えば、部品91の形状、部品91の取り扱い方法に関する情報などを含むこともできる。撮像装置80に関する情報には、例えば、撮像装置80の型式、ベンダ(製造メーカ)などに関する情報が含まれる。撮像装置80の撮像条件には、例えば、光源の種類、光の照射方向、露光時間、絞り値などが含まれる。
また、記憶部51は、基準画像BP1を取得したときの対基板作業の良否に関する作業結果情報50cを、画像関連情報50aおよび検索情報50bと関連付けて記憶させると好適である。これにより、記憶装置50mは、画像関連情報50a、検索情報50bおよび作業結果情報50cを関連付けて記憶することができる。作業結果情報50cには、対基板作業の作業結果(良好または不良)の他に、対基板作業の作業状況(例えば、作業時刻、作業場所、使用機器、作業条件など)などが含まれると良い。
記憶装置50mは、画像関連情報50a、検索情報50bおよび作業結果情報50cを関連付けて記憶することができれば良く、公知の記憶装置を用いることができる。記憶装置50mは、これらの情報を書き換え可能な不揮発性の記憶装置を用いることができる。また、記憶装置50mは、後述するように、ネットワークに接続されている対基板作業機WMからアクセス可能に設けられると良い。
1−4−2.取得部52
取得部52は、対基板作業機WMの撮像装置80が対基板作業において対象物を撮像した対象画像OP1の取得条件と一致する取得条件を含む検索情報50bに関連付けられている画像関連情報50aを、記憶装置50mから取得する。
図8は、記憶装置50mに記憶されている画像関連情報50a、検索情報50bおよび作業結果情報50cの一例を模式的に示している。No.1は、データ5A1で示される対象物を、データ5B1で示される撮像装置80によって、データ5C1で示される撮像条件で撮像したデータ5D1で示される基準画像BP1が、記憶装置50mに記憶されていることを示している。
また、No.1は、当該基準画像BP1から取得されるデータ5E1で示される特徴量分布FD1が、基準画像BP1と合わせて記憶装置50mに記憶されていることを示している。さらに、No.1は、当該基準画像BP1を取得したときの対基板作業の作業結果情報50cがデータ5F1で示されることを示している。No.1について上述したことは、No.2以降においても同様に言える。
但し、No.3は、データ5D3で示される基準画像BP1が記憶装置50mに記憶されているが、当該基準画像BP1から取得される特徴量分布FD1は、記憶装置50mに記憶されていないことを示している。逆に、No.4は、データ5E3で示される特徴量分布FD1が記憶装置50mに記憶されているが、当該特徴量分布FD1が取得されたときの基準画像BP1は、記憶装置50mに記憶されていないことを示している。
例えば、対基板作業機WMの撮像装置80が対象画像OP1を撮像したときの対象画像OP1の取得条件が、No.1の対象物、撮像装置および撮像条件と一致したとする。また、当該対基板作業機WMは、当該取得条件に対応する基準画像BP1または特徴量分布FD1を保持していないとする。このとき、取得部52は、データ5D1で示される基準画像BP1を記憶装置50mから取得することができる。
また、取得部52は、データ5E1で示される特徴量分布FD1を記憶装置50mから取得することもできる。さらに、取得部52は、データ5D1で示される基準画像BP1およびデータ5E1で示される特徴量分布FD1の両方を記憶装置50mから取得することもできる。また、取得部52は、いずれの場合も、データ5F1で示される作業結果情報50cを記憶装置50mから取得することができる。
上記の例において、例えば、対象画像OP1の取得条件のうち、撮像条件がデータ5C2で示される撮像条件と一致したとする。この場合、取得部52は、データ5D2で示される基準画像BP1を記憶装置50mから取得することができる。また、取得部52は、データ5E2で示される特徴量分布FD1を記憶装置50mから取得することもできる。
さらに、取得部52は、データ5D2で示される基準画像BP1およびデータ5E2で示される特徴量分布FD1の両方を記憶装置50mから取得することもできる。また、取得部52は、いずれの場合も、データ5F2で示される作業結果情報50cを記憶装置50mから取得することができる。
このように、取得部52は、対象画像OP1の取得条件と一致する取得条件を含む検索情報50bに関連付けられている画像関連情報50aを、記憶装置50mから取得することができる。なお、取得条件がすべて一致する画像関連情報50aが存在しない場合、取得部52は、少なくとも対象物の種類が一致する画像関連情報50aを記憶装置50mから取得することができる。
取得部52が、少なくとも画像関連情報50aである基準画像BP1を記憶装置50mから取得するとき、良否判定装置40は、既述した分布取得部41を備える。例えば、図8に示すNo.3の場合のように、取得部52が、基準画像BP1、または、基準画像BP1と作業結果情報50cを取得し、特徴量分布FD1を取得しない場合が想定される。
この場合、既述したように、分布取得部41は、取得部52によって取得された基準画像BP1を用いて、特徴量分布FD1を取得する。これにより、良否判断部42は、取得部52によって取得された画像関連情報50a(基準画像BP1から取得された特徴量分布FD1)を用いて、対象画像OP1を取得したときの対基板作業の良否を判断することができる。
取得部52が、少なくとも画像関連情報50aである特徴量分布FD1を記憶装置50mから取得するとき、良否判定装置40は、既述した分布取得部41が不要である。例えば、図8に示すNo.4の場合のように、取得部52が、特徴量分布FD1、または、特徴量分布FD1と作業結果情報50cを取得する場合が想定される。
この場合、良否判断部42は、取得部52によって取得された画像関連情報50a(特徴量分布FD1)を用いて、対象画像OP1を取得したときの対基板作業の良否を判断することができる。いずれの場合も、良否判断部42は、対象画像OP1の各画像について画像全体の特徴量である対象特徴量OF1を抽出して、特徴量分布FD1によって規定される特徴領域FR1に対する対象特徴量OF1の外れ度合いに基づいて、対象画像OP1を取得したときの対基板作業の良否を判断すると好適である。
また、既述したように、良否判断部42は、特徴領域FR1からのマハラノビス距離MD1が所定の閾値TH1を超えるか否かに基づいて、対基板作業の良否を判断すると好適である。さらに、良否判断部42は、マハラノビス・タグチ法の一手法であるRT法によって、対基板作業の良否を判断すると好適である。また、既述したように、良否判定装置40は、閾値設定部43を備えると好適である。
なお、対基板作業機WMが部品装着機WM3の場合、部品装着機WM3に供給される部品91のベンダが変更され、且つ、ベンダ変更後の部品91に合致する画像関連情報50aを保持しないときに、取得部52は、画像関連情報50aを記憶装置50mから取得すると好適である。これにより、良否判断部42は、部品91のベンダの変更に関わらず、適切な特徴量分布FD1を用いて、対基板作業の良否を判断することができる。
この場合、既述したように、良否判定装置40は、変更部44を備えると好適である。変更部44は、部品装着機WM3に供給される部品91のベンダが切り替わるタイミングで、良否判断部42が使用する特徴量分布FD1を、ベンダ変更後の部品91に合致する特徴量分布FD1に切り替える。
1−4−3.提供部53
提供部53は、対象画像OP1、および、対象画像OP1と基準画像BP1を用いて取得される特徴量分布FD1のうちの少なくとも一方を、記憶装置50mに記憶させる。なお、提供部53が特徴量分布FD1を記憶装置50mに記憶させる場合、分布取得部41は、対象画像OP1と基準画像BP1を用いて、特徴量分布FD1を取得する。
図8に示すNo.101は、提供部53が、対象画像OP1、および、対象画像OP1と基準画像BP1を用いて取得される特徴量分布FD1の両方を、記憶装置50mに記憶させた状態を示している。具体的には、データ5A1で示される対象物を、データ5B1で示される撮像装置80によって、データ5C3で示される撮像条件で撮像したデータ5Dxで示される対象画像OP1が、記憶装置50mに記憶されている。
また、データ5Exで示される特徴量分布FD1が、対象画像OP1と合わせて記憶装置50mに記憶されている。さらに、当該対象画像OP1を取得したときのデータ5Fxで示される作業結果情報50cが、記憶装置50mに記憶されている。なお、提供部53は、対象画像OP1の取得条件と一致する取得条件を含む検索情報50bに関連付けられている画像関連情報50aが、既に記憶装置50mに記憶されている場合、記憶されている画像関連情報50aに追加して、画像関連情報50aなどを記憶させると良い。これにより、学習データが増加し、良否判定装置40による判定精度が向上する。
1−4−4.良否判定装置40の配置例
図9に示すように、記憶部51および記憶装置50mは、対基板作業機WMと通信可能なデータサーバ70に設けられ、取得部52および良否判断部42は、対基板作業機WMに設けられると好適である。また、データサーバ70は、複数の対基板作業機WMの間で情報を共有可能な共有サーバであると好適である。なお、図3に示すように、提供部53、分布取得部41、閾値設定部43および変更部44は、適宜、対基板作業機WMに設けることができる。
同図に示すように、複数の対基板作業機WMおよびデータサーバ70は、通信部70Nによって通信可能に接続されている。通信部70Nは、有線によってこれらを接続することができ、無線によってこれらを接続することもできる。また、通信方法は、種々の方法をとり得る。本実施形態では、複数の対基板作業機WMおよびデータサーバ70によって、広域通信網(WAN:Wide Area Network)が構成されている。さらに、データサーバ70は、複数の対基板作業機WMの間で情報を共有可能な共有サーバである。
例えば、共有サーバが複数の企業からアクセス可能なクラウドサーバの場合、一の企業において構成される共有サーバと比べて、画像関連情報50aの記憶量が増加し易い。そのため、取得部52は、所望の画像関連情報50aを取得し易い。また、データの信頼性および安定性が向上する。しかしながら、取得条件(対象物、撮像装置、撮像条件など)、画像関連情報50a、作業結果情報50cなどが他の企業に公開されるデメリットがある。
逆に、一の企業において構成される共有サーバの場合、クラウドサーバと比べて、取得条件(対象物、撮像装置、撮像条件など)、画像関連情報50a、作業結果情報50cなどの情報の秘匿性が高い。しかしながら、画像関連情報50aの記憶量が少なくなり易いので、取得部52は、画像関連情報50aを取得し難くなるデメリットがある。
なお、提供部53が対象画像OP1を記憶装置50mに記憶させ、特徴量分布FD1を記憶装置50mに記憶させない場合、例えば、データサーバ70は、分布取得部41に相当する制御部を備えることもできる。当該制御部は、対象画像OP1と基準画像BP1を用いて、特徴量分布FD1を取得する。
2.良否判定方法
良否判定装置40について既述したことは、良否判定方法についても同様に言える。具体的には、良否判定方法は、記憶工程と、取得工程と、良否判断工程とを備える。記憶工程は、記憶部51が行う制御に相当する。取得工程は、取得部52が行う制御に相当する。良否判断工程は、良否判断部42が行う制御に相当する。また、良否判定方法は、提供工程、分布取得工程、閾値設定工程および変更工程のうちの少なくとも一つをさらに備えると好適である。提供工程は、提供部53が行う制御に相当する。分布取得工程は、分布取得部41が行う制御に相当する。閾値設定工程は、閾値設定部43が行う制御に相当する。変更工程は、変更部44が行う制御に相当する。
3.実施形態の効果の一例
良否判定装置40によれば、記憶部51、取得部52および良否判断部42を備えている。これにより、良否判定装置40は、画像関連情報50aを取得して、取得した画像関連情報50aを用いて対基板作業の良否を判断することができる。良否判定装置40について上述したことは、良否判定方法についても同様に言える。
40:良否判定装置、51:記憶部、52:取得部、53:提供部、
50a:画像関連情報、50b:検索情報、50c:作業結果情報、
50m:記憶装置、41:分布取得部、42:良否判断部、
70:データサーバ、80:撮像装置、90:基板、91:部品、
BP1:基準画像、BF1:基準特徴量、FD1:特徴量分布、
FR1:特徴領域、MD1:マハラノビス距離、TH1:閾値、
OP1:対象画像、OF1:対象特徴量、
WM:対基板作業機、WM3:部品装着機。

Claims (13)

  1. 基板に所定の対基板作業を行う対基板作業機の撮像装置が前記対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像を基準画像とし、前記基準画像の各画像について画像全体の特徴量である基準特徴量が抽出されたときの複数の前記基準特徴量の分布を特徴量分布とするとき、
    前記基準画像および前記特徴量分布のうちの少なくとも一方である画像関連情報と、
    前記画像関連情報を検索可能な情報であって前記基準画像が取得されたときの取得条件を含む検索情報と、
    を関連付けて記憶装置に記憶させる記憶部と、
    前記対基板作業機の前記撮像装置が前記対基板作業において前記対象物を撮像した対象画像の取得条件と一致する取得条件を含む前記検索情報に関連付けられている前記画像関連情報を、前記記憶装置から取得する取得部と、
    前記取得部によって取得された前記画像関連情報を用いて、前記対象画像を取得したときの前記対基板作業の良否を判断する良否判断部と、
    を備える良否判定装置。
  2. 前記画像全体の特徴量は、画像を構成する複数の画素の輝度および色、並びに、これらによって形成される形状および前記形状の面積のうちの少なくとも一つである請求項1に記載の良否判定装置。
  3. 前記取得条件は、前記対基板作業機によって規定可能な条件であり、前記対象物に関する情報、前記撮像装置に関する情報、および、前記撮像装置の撮像条件に関する情報のうちの少なくとも前記対象物に関する情報を含む請求項1または請求項2に記載の良否判定装置。
  4. 前記記憶部は、前記基準画像を取得したときの前記対基板作業の良否に関する作業結果情報を、前記画像関連情報および前記検索情報と関連付けて記憶させる請求項1〜請求項3のいずれか一項に記載の良否判定装置。
  5. 前記取得部は、少なくとも前記画像関連情報である前記基準画像を前記記憶装置から取得し、
    前記取得部によって取得された前記基準画像を用いて前記特徴量分布を取得する分布取得部をさらに備え、
    前記良否判断部は、前記対象画像の各画像について画像全体の特徴量である対象特徴量を抽出して、前記特徴量分布によって規定される特徴領域に対する前記対象特徴量の外れ度合いに基づいて、前記対象画像を取得したときの前記対基板作業の良否を判断する請求項1〜請求項4のいずれか一項に記載の良否判定装置。
  6. 前記取得部は、少なくとも前記画像関連情報である前記特徴量分布を前記記憶装置から取得し、
    前記良否判断部は、前記対象画像の各画像について画像全体の特徴量である対象特徴量を抽出して、前記特徴量分布によって規定される特徴領域に対する前記対象特徴量の外れ度合いに基づいて、前記対象画像を取得したときの前記対基板作業の良否を判断する請求項1〜請求項4のいずれか一項に記載の良否判定装置。
  7. 前記良否判断部は、前記特徴領域からのマハラノビス距離が所定の閾値を超えるか否かに基づいて、前記対基板作業の良否を判断する請求項5または請求項6に記載の良否判定装置。
  8. 前記良否判断部は、マハラノビス・タグチ法の一手法であるRT法によって、前記対基板作業の良否を判断する請求項7に記載の良否判定装置。
  9. 前記対象画像、および、前記対象画像と前記基準画像を用いて取得される前記特徴量分布のうちの少なくとも一方を、前記記憶装置に記憶させる提供部をさらに備える請求項1〜請求項8のいずれか一項に記載の良否判定装置。
  10. 前記対基板作業機は、基板に前記対象物である部品を装着する部品装着機であり、
    前記部品装着機に供給される前記部品のベンダが変更され且つベンダ変更後の前記部品に合致する前記画像関連情報を保持しないときに、
    前記取得部は、前記画像関連情報を前記記憶装置から取得する請求項1〜請求項9のいずれか一項に記載の良否判定装置。
  11. 前記記憶部および前記記憶装置は、前記対基板作業機と通信可能なデータサーバに設けられ、
    前記取得部および前記良否判断部は、前記対基板作業機に設けられる請求項1〜請求項10のいずれか一項に記載の良否判定装置。
  12. 前記データサーバは、複数の前記対基板作業機の間で情報を共有可能な共有サーバである請求項11に記載の良否判定装置。
  13. 基板に所定の対基板作業を行う対基板作業機の撮像装置が前記対基板作業において同種の対象物について同種の撮像条件で撮像した複数の画像を基準画像とし、前記基準画像の各画像について画像全体の特徴量である基準特徴量が抽出されたときの複数の前記基準特徴量の分布を特徴量分布とするとき、
    前記基準画像および前記特徴量分布のうちの少なくとも一方である画像関連情報と、
    前記画像関連情報を検索可能な情報であって前記基準画像が取得されたときの取得条件を含む検索情報と、
    を関連付けて記憶装置に記憶させる記憶工程と、
    前記対基板作業機の前記撮像装置が前記対基板作業において前記対象物を撮像した対象画像の取得条件と一致する取得条件を含む前記検索情報に関連付けられている前記画像関連情報を、前記記憶装置から取得する取得工程と、
    前記取得工程によって取得された前記画像関連情報を用いて、前記対象画像を取得したときの前記対基板作業の良否を判断する良否判断工程と、
    を備える良否判定方法。
JP2021505479A 2019-03-14 2019-03-14 良否判定装置および良否判定方法 Active JP7153127B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010711 WO2020183735A1 (ja) 2019-03-14 2019-03-14 良否判定装置および良否判定方法

Publications (2)

Publication Number Publication Date
JPWO2020183735A1 true JPWO2020183735A1 (ja) 2021-11-25
JP7153127B2 JP7153127B2 (ja) 2022-10-13

Family

ID=72427001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021505479A Active JP7153127B2 (ja) 2019-03-14 2019-03-14 良否判定装置および良否判定方法

Country Status (2)

Country Link
JP (1) JP7153127B2 (ja)
WO (1) WO2020183735A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08254501A (ja) * 1995-03-16 1996-10-01 Hitachi Denshi Ltd 外観検査方法及び装置
JP2006099758A (ja) * 2004-09-06 2006-04-13 Omron Corp 基板検査方法および基板検査装置
JP2006292725A (ja) * 2005-03-17 2006-10-26 Omron Corp 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置
JP2007139621A (ja) * 2005-11-18 2007-06-07 Omron Corp 判定装置、判定装置の制御プログラム、および判定装置の制御プログラムを記録した記録媒体
JP2009002743A (ja) * 2007-06-20 2009-01-08 Hitachi High-Technologies Corp 外観検査方法及びその装置および画像処理評価システム
JP2010211714A (ja) * 2009-03-12 2010-09-24 Toyota Motor Corp 物体検出装置
JP2013168538A (ja) * 2012-02-16 2013-08-29 Fuji Mach Mfg Co Ltd 基板外観検査機および基板外観検査方法
JP2014230146A (ja) * 2013-05-23 2014-12-08 富士ゼロックス株式会社 画像評価方法、画像評価装置及び画像評価プログラム
JP2017215239A (ja) * 2016-06-01 2017-12-07 ティー・エス・ビー株式会社 太陽電池検査システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3733094B2 (ja) * 2002-08-22 2006-01-11 トヨタ自動車株式会社 良否判定装置、良否判定プログラムおよび良否判定方法
JP5625935B2 (ja) * 2011-01-18 2014-11-19 オムロン株式会社 判定基準値の適否判定方法およびその適正値の特定方法ならびに適正値への変更方法、部品実装基板の検査システム、生産現場におけるシミュレーション方法およびシミュレーションシステム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08254501A (ja) * 1995-03-16 1996-10-01 Hitachi Denshi Ltd 外観検査方法及び装置
JP2006099758A (ja) * 2004-09-06 2006-04-13 Omron Corp 基板検査方法および基板検査装置
JP2006292725A (ja) * 2005-03-17 2006-10-26 Omron Corp 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置
JP2007139621A (ja) * 2005-11-18 2007-06-07 Omron Corp 判定装置、判定装置の制御プログラム、および判定装置の制御プログラムを記録した記録媒体
JP2009002743A (ja) * 2007-06-20 2009-01-08 Hitachi High-Technologies Corp 外観検査方法及びその装置および画像処理評価システム
JP2010211714A (ja) * 2009-03-12 2010-09-24 Toyota Motor Corp 物体検出装置
JP2013168538A (ja) * 2012-02-16 2013-08-29 Fuji Mach Mfg Co Ltd 基板外観検査機および基板外観検査方法
JP2014230146A (ja) * 2013-05-23 2014-12-08 富士ゼロックス株式会社 画像評価方法、画像評価装置及び画像評価プログラム
JP2017215239A (ja) * 2016-06-01 2017-12-07 ティー・エス・ビー株式会社 太陽電池検査システム

Also Published As

Publication number Publication date
WO2020183735A1 (ja) 2020-09-17
JP7153127B2 (ja) 2022-10-13

Similar Documents

Publication Publication Date Title
JP6310058B2 (ja) 画像処理装置および基板生産システム
KR101451690B1 (ko) 부품 실장 시스템, 부품 실장 장치 및 부품 검사 장치
JP2017152651A (ja) 部品検査装置及び部品実装装置
JP6648252B2 (ja) 画像処理システム及び画像処理方法
JPWO2020079753A1 (ja) データ管理装置およびデータ管理方法
JPWO2017081773A1 (ja) 基板用の画像処理装置および画像処理方法
WO2020183735A1 (ja) 良否判定装置および良否判定方法
US20220151120A1 (en) Correction amount calculating device and correction amount calculating method
US20160138787A1 (en) Light-emitting components containing body, manufacturing method of light-emitting components containing body, components mounting apparatus, components mounting method, and components mounting system
US11751373B2 (en) Tracing device
JP6904978B2 (ja) 部品装着機
JP7153126B2 (ja) 良否判定装置および良否判定方法
US11886701B2 (en) Data management device
JP4473012B2 (ja) 移載装置、表面実装機、icハンドラー、照明レベル決定方法及びしきい値決定方法
JPWO2017212566A1 (ja) 部品実装システム
JP6407433B2 (ja) モデルデータ作成装置、モデルデータの作成方法、搭載基準点決定装置、搭載基準点の決定方法
JP7063995B2 (ja) 部品認識装置および部品認識方法
JP7142169B2 (ja) 画像データ管理装置および画像データ管理方法
WO2023162142A1 (ja) 画像確認装置および画像確認方法
WO2022064585A1 (ja) 採取可否判定装置および採取可否判定方法
WO2024062597A1 (ja) 部品認識装置および部品認識方法
JP7094366B2 (ja) 検査設定装置および検査設定方法
JP6855597B2 (ja) 作業機、及び極性の判定方法
JPWO2020017027A1 (ja) 画像データ保存装置および画像データ保存方法
JP2023089746A (ja) 画像認識装置及び部品実装機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220930

R150 Certificate of patent or registration of utility model

Ref document number: 7153127

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150