JP7394852B2 - 部品実装システム - Google Patents

部品実装システム Download PDF

Info

Publication number
JP7394852B2
JP7394852B2 JP2021529657A JP2021529657A JP7394852B2 JP 7394852 B2 JP7394852 B2 JP 7394852B2 JP 2021529657 A JP2021529657 A JP 2021529657A JP 2021529657 A JP2021529657 A JP 2021529657A JP 7394852 B2 JP7394852 B2 JP 7394852B2
Authority
JP
Japan
Prior art keywords
component
board
inspection
learning
component mounting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021529657A
Other languages
English (en)
Other versions
JPWO2021001995A1 (ja
Inventor
光孝 稲垣
茂人 大山
春菜 成田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2021001995A1 publication Critical patent/JPWO2021001995A1/ja
Application granted granted Critical
Publication of JP7394852B2 publication Critical patent/JP7394852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0815Controlling of component placement on the substrate during or after manufacturing

Description

本明細書は、部品実装システムについて開示する。
従来より、1台又は複数台の部品実装機を含む部品実装ラインと、部品実装ラインの基板搬出側に設置され回路基板に実装した各部品の実装状態の良否を判定する外観検査装置と、部品実装ラインのネットワークに接続され学習処理に用いる教師データの収集及び学習を行なう学習用コンピュータと、を備える部品実装システムが提案されている(例えば、特許文献1参照)。各部品実装機の制御装置は、生産中に撮像対象を撮像した低解像度画像から高解像度画像を推定する再構成型超解像処理部と、生産中に学習用コンピュータの学習処理の学習結果に基づいて部品を撮像した低解像度画像から高解像度画像を推定する学習型超解像処理部とを有する。各部品実装機の制御装置は、学習用コンピュータの学習処理が完了するまでは再構成型超解像処理により高解像度画像を推定すると共に推定した高解像度画像を処理して部品を認識する。一方、各部品実装機の制御装置は、学習用コンピュータの学習処理が完了した後は、学習型超解像処理に切り替えて高解像度画像を推定すると共に推定した高解像度画像を処理して部品を認識する。また、各部品実装機の制御装置は、学習型超解像処理の実行期間中に、教師データの学習結果を更新する必要があると判断したときに、再構成型超解像処理に切り替えて高解像度画像を推定すると共に、学習結果の更新要求を学習用コンピュータへ送信する。そして、各部品実装機の制御装置は、更新要求を受信した学習用コンピュータが教師データを再収集すると共に再学習して教師データの学習結果を更新してその学習処理を完了すると、再構成型超解像処理から学習型超解像処理に切り替える。
特開2018-97731号公報
ところで、部品実装システムにおいて、実装動作を行なった後の部品実装後基板を撮像し、その撮像画像において部品を認識する画像処理を施すことで当該部品実装後基板の検査を行なう場合、生産効率を高めるため、例えば教師データが十分に揃っていない等、検査精度の劣る検査条件で検査を行なうことが考えられる。しかし、検査精度の劣る検査条件で検査が行なわれると、部品実装後基板の品質に問題が生じるおそれがあり、こうした場合でも部品実装後基板の品質を確保することが望まれる。
本開示は、教師データに基づいて機械学習により生成される学習データを用いて部品実装後基板の撮像画像に画像処理を施して当該部品実装後基板の検査を行なう場合に、検査精度の劣る検査条件で検査が行なわれるものとしても、部品実装後基板の品質を確保できるようにすることを主目的とする。
本開示は、上述の主目的を達成するために以下の手段を採った。
本開示の第1の部品実装システムは、
基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、
部品の実装動作を行なった後の部品実装後基板を撮像し、前記部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データに基づいて機械学習を行なって学習データを生成する学習装置と、
前記部品実装後基板を撮像し、第1検査条件または該第1検査条件よりも検査精度が劣る第2検査条件により前記学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行なう検査装置と、
前記第2検査条件により前記部品実装後基板の検査が行なわれた場合、前記第2検査条件で検査が行なわれた旨の検査情報と前記部品実装後基板を識別する識別情報とを関連付けて該部品実装後基板の撮像画像を記憶する記憶装置と、
を備えることを要旨とする。
この本開示の第1の部品実装システムは、学習装置と、検査装置と、記憶装置とを備える。学習装置は、部品実装後基板を撮像し、その撮像画像に基づく教師データを取得すると共に取得した教師データに基づいて機械学習を行なって学習データを生成する。検査装置は、 部品実装後基板を撮像し、第1検査条件または第1検査条件よりも検査精度が劣る第2検査条件により学習データを用いて部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで部品実装後基板の検査を行なう。そして、記憶装置は、第2検査条件により部品実装後基板の検査が行なわれた場合、第2検査条件で検査が行なわれた旨の検査情報と部品実装後基板を識別する識別情報とを関連付けて部品実装後基板の撮像画像を記憶する。これにより、検査精度の劣る第2検査条件で部品実装後基板の検査が行なわれた場合に、作業者は、後から部品実装後基板の撮像画像を確認して、検査装置による検査結果の妥当性を判断することが可能となる。この結果、部品実装後基板の品質を確保することができる。
本開示の第2の部品実装システムは、
基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備え、前記複数の部品実装機として、基板搬送方向における上流側に配置される上流側部品実装機と、前記上流側部品実装機よりも基板搬送方向における下流側に配置される下流側部品実装機と、前記上流側部品実装機と前記下流側部品実装機との間に配置される1台または複数台の中間部品実装機とを有し、前記上流側部品実装機が基板に下部品を実装し、前記下流側部品実装機が前記基板に実装された下部品の上に上部品を実装する部品実装システムであって、
前記上流側部品実装機または該上流側部品実装機よりも基板搬送方向における上流側に配置された部品実装機の撮像装置で前記下部品の実装動作が行なわれる前の下部品実装前基板を撮像し、前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品の実装動作が行なわれた後の下部品実装後基板を撮像し、前記下部品実装前基板の撮像画像に基づいて機械学習を行ない、前記下部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データと前記下部品実装後基板の撮像画像とに基づいて機械学習を行なって下部品検査用の学習データを生成する学習装置と、
前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品実装後基板を撮像し、前記下部品検査用の学習データを用いて前記下部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで該下部品実装後基板の検査を行なう検査装置と、
を備えることを要旨とする。
この本開示の第2の部品実装システムは、基板搬送方向に並ぶと共に撮像装置をそれぞれ有する複数の部品実装機を備える。複数の部品実装機として、上流側部品実装機と、下流側部品実装機と、上流側部品実装機と下流側部品実装機との間に配置される1台または複数台の中間部品実装機とを有し、上流側部品実装機が基板に下部品を実装し、下流側部品実装機が基板に実装された下部品の上に上部品を実装する。さらに、第2の部品実装システムは、学習装置と、検査装置とを備える。学習装置は、上流側部品実装機または上流側部品実装機よりも基板搬送方向における上流側に配置された部品実装機の撮像装置で下部品実装前基板を撮像し、上流側部品実装機または中間部品実装機のいずれかの撮像装置で下部品実装後基板を撮像する。そして、下部品実装前基板の撮像画像に基づいて機械学習を行ない、下部品実装後基板の撮像画像に基づく教師データを取得すると共に取得した教師データと下部品実装後基板の撮像画像とに基づいて機械学習を行なって下部品検査用の学習データを生成する。検査装置は、上流側部品実装機または中間部品実装機のいずれかの撮像装置で下部品実装後基板を撮像し、下部品検査用の学習データを用いて下部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで下部品実装後基板の検査を行なう。これにより、下流側部品実装機が下部品実装後基板を撮像し、その撮像画像に基づく教師データを取得するものに比して、下部品実装後基板の学習データを早期に生成することができ、学習データに基づく下部品実装後基板の検査を早期に行なうことができる。
本実施形態の部品実装システム1の構成の概略を示す構成図である。 部品実装機10の外観斜視図である。 部品実装機10の制御装置60と管理装置80との電気的な接続関係を示す説明図である。 生産ラインを構成する複数台の部品実装機10(M1~M5)と、複数の部品実装機10(M1~M5)がそれぞれ行なう処理とを説明する説明図である。 下部品実装処理の一例を示すフローチャートである。 上部品実装処理の一例を示すフローチャートである。 下部品検査用学習処理の一例を示すフローチャートである。 下部品検査処理の一例を示すフローチャートである。 上部品検査用学習処理の一例を示すフローチャートである。 上部品検査処理の一例を示すフローチャートである。 下部品実装後基板撮像処理の一例を示すフローチャートである。
次に、本開示の発明を実施するための形態について図面を参照しながら説明する。
図1は、本実施形態の部品実装システム1の構成の概略を示す構成図である。図2は、部品実装機10の外観斜視図である。図3は、部品実装機10の制御装置60と管理装置80との電気的な接続関係を示す説明図である。なお、図1,2中、左右方向をX軸方向とし、前後方向をY軸方向とし、上下方向をZ軸方向とする。
部品実装システム1は、図1に示すように、印刷機2と、印刷検査機3と、複数台(例えば5台)の部品実装機10(M1~M5)と、システム全体を管理する管理装置80と、を備える。印刷機2は、基板S上にはんだを印刷して回路パターンを形成する。印刷検査機3は、印刷機2で印刷されたはんだの状態を検査する。複数の部品実装機10は、部品を基板Sに実装する実装動作を行なうと共に基板Sに部品が実装されたか否かの実装検査を行なう。印刷機2と印刷検査機3と複数の部品実装機10とは、基板Sの搬送方向に並べて設置されて生産ラインを構成する。
部品実装機10は、図2に示すように、部品を供給する部品供給装置21と、基板Sを搬送する基板搬送装置22と、部品を吸着する吸着ノズルを有するヘッド40と、ヘッド40をX軸方向およびY軸方向に移動させるヘッド移動装置30と、実装機全体をコントロールする制御装置60(図3参照)と、を備える。また、部品実装機10は、これらの他に、吸着ノズルに吸着させた部品の吸着姿勢を撮像するためのパーツカメラ23や、交換用の吸着ノズルを収容するノズルステーション24、基板Sを撮像するためのマークカメラ43なども備えている。
部品供給装置21は、例えば、所定間隔で部品を収容したキャリアテープが巻回されたテープリールと、駆動モータの駆動によりテープリールからキャリアテープを引き出して部品供給位置まで送り出すテープ送り機構と、を備えるテープフィーダとして構成される。この部品供給装置21(テープフィーダ)は、部品実装機10が備える図示しないフィーダ台に着脱可能に取り付けられる。
基板搬送装置22は、Y軸方向に間隔を空けて配置される一対のコンベアレールを備えており、一対のコンベアレールを駆動することにより基板Sを図1の左から右(基板搬送方向)へと搬送する。
ヘッド移動装置30は、図2に示すように、一対のX軸ガイドレール31と、X軸スライダ32と、X軸アクチュエータ33(図3参照)と、一対のY軸ガイドレール35と、Y軸スライダ36と、Y軸アクチュエータ37(図3参照)と、を備える。一対のY軸ガイドレール35は、Y軸方向に互いに平行に延在するように筐体11の上段に設置される。Y軸スライダ36は、一対のY軸ガイドレール35に架け渡され、Y軸アクチュエータ37の駆動によりY軸ガイドレール35に沿ってY軸方向に移動する。一対のX軸ガイドレール31は、X軸方向に互いに平行に延在するようにY軸スライダ36の下面に設置される。X軸スライダ32は、一対のX軸ガイドレール31に架け渡され、X軸アクチュエータ33の駆動によりX軸ガイドレール31に沿ってX軸方向に移動する。X軸スライダ32にはヘッド40が取り付けられており、ヘッド移動装置30は、X軸スライダ32とY軸スライダ36とを移動させることで、ヘッド40をX軸方向とY軸方向とに移動させる。
ヘッド40は、吸着ノズルをZ軸(上下)方向に移動させるZ軸アクチュエータ41(図3参照)と、吸着ノズルをZ軸周りに回転させるθ軸アクチュエータ42(図3参照)とを備える。ヘッド40は、吸着ノズルの吸引口に負圧源を連通させることで、吸引口に負圧を作用させて部品を吸着することができる。また、ヘッド40は、吸着ノズルの吸引口に正圧源を連通させることで、吸引口に正圧を作用させて部品の吸着を解除することができる。
制御装置60は、図3に示すように、CPU61を中心としたマイクロプロセッサとして構成されており、CPU61の他に、ROM62と、HDD63と、RAM64と、入出力インタフェース65とを備える。これらは、バス66を介して電気的に接続されている。制御装置60には、X軸スライダ32の位置を検知するX軸位置センサ34からの位置信号や、Y軸スライダ36の位置を検知するY軸位置センサ38からの位置信号、マークカメラ43からの画像信号、パーツカメラ23からの画像信号などが入出力インタフェース65を介して入力されている。一方、制御装置60からは、部品供給装置21への制御信号や、基板搬送装置22への制御信号、X軸アクチュエータ33への駆動信号、Y軸アクチュエータ37への駆動信号、Z軸アクチュエータ41への駆動信号、θ軸アクチュエータ42への駆動信号、パーツカメラ23への制御信号、マークカメラ43への制御信号などが入出力インタフェース65を介して出力されている。また、制御装置60は、管理装置80と双方向通信可能に接続されており、互いにデータや制御信号のやり取りを行っている。
管理装置80は、例えば、汎用のコンピュータであり、図3に示すように、CPU81とROM82とHDD83(又はSSD)とRAM84と入出力インタフェース85などを備える。これらは、バス86を介して電気的に接続されている。この管理装置80には、マウスやキーボード等の入力デバイス87から入力信号が入出力インタフェース85を介して入力されている。また、管理装置80からは、ディスプレイ88への画像信号が入出力インタフェース85を介して出力されている。HDD83は、基板Sの生産ジョブを記憶している。ここで、基板Sの生産ジョブには、各部品実装機10においてどの部品をどの順番で基板Sへ実装するか、また、そのように部品を実装した基板Sを何枚作製するかなどの生産スケジュールが含まれる。管理装置80は、オペレータが入力デバイス87を介して入力したデータに基づいて生産ジョブを生成し、生成した生産ジョブを各部品実装機10へ送信することで、各部品実装機10に対して生産の開始を指示する。
次に、こうして構成された本実施形態の部品実装システム1における部品実装機10の動作について説明する。特に、基板Sに下部品を実装し、実装した下部品を上に上部品(フレーム部品)を実装する場合に行なわれる下部品および上部品の各実装検査について説明する。図4は、生産ラインを構成する複数の部品実装機10(M1~M5)と、複数台の部品実装機10(M1~M5)がそれぞれ行なう作業処理とを説明する説明図である。本実施形態では、図示するように、複数台の部品実装機M1~M5のうち基板搬送方向における最上流にある部品実装機M1が下部品を実装し、基板搬送方向における最下流にある部品実装機M5が上部品を実装する。また、最上流の部品実装機M1と最下流の部品実装機M5との間に配置される部品実装機(中間部品実装機)M2~M4は、上部品(フレーム部品)で覆われないその他の部品を実装する。
まず、部品実装機M1が行なう下部品の実装処理と部品実装機M5が行なう上部品の実装処理について説明する。
図5は、下部品実装処理の一例を示すフローチャートである。この処理は、最上流の部品実装機M1の制御装置60により実行される。下部品実装処理が実行されると、部品実装機M1の制御装置60のCPU61は、まず、基板Sが搬入されるよう基板搬送装置22を制御する(ステップS100)。続いて、CPU61は、後述する下部品の実装検査に用いる学習処理(下部品検査用学習処理)が実行中であるか否かを判定し(ステップS110)、下部品検査用学習処理が実行中であると判定すると、搬入した基板Sの上方にマークカメラ43が来るようヘッド移動装置30を制御すると共に当該基板Sを撮像するようマークカメラ43を制御して(ステップS120)、ステップS130に進む。これにより、下部品が実装される前の基板Sの画像(下部品実装前基板画像)が取得される。一方、CPU61は、下部品検査用学習処理が実行中でない(学習済み)と判定すると、ステップS120をスキップして、ステップS130に進む。
次に、CPU61は、部品供給装置21の部品供給位置の上方に吸着ノズルが来るようにヘッド移動装置30を制御し、吸着ノズルに下部品を吸着するようヘッド40を制御する吸着動作を行なう(ステップS130)。そして、CPU61は、吸着した下部品が基板Sの目標実装位置の上方へ来るようにヘッド移動装置30を制御すると共に(ステップS140)、下部品を基板Sの目標実装位置に実装するようヘッド40を制御する実装動作を行なう(ステップS150)。なお、ステップS140の処理は、吸着した下部品がパーツカメラ23の上方を通過して目標実装位置の上方へ至るように行なわれる。CPU61は、吸着した下部品がパーツカメラ23の上方を通過する際に当該下部品を撮像し、得られた撮像画像に基づいて下部品の吸着ずれ量を算出すると共に算出した吸着ずれ量に基づいて目標実装位置を補正する。CPU61は、こうして実装動作を行なうと、下部品を実装した基板Sを撮像するようマークカメラ43を制御する(ステップS160)。これにより、下部品が実装された後の基板Sの画像(下部品実装後基板画像)が取得される。そして、CPU61は、当該基板Sが搬出されるよう基板搬送装置22を制御して(ステップS170)、本処理を終了する。
図6は、上部品実装処理の一例を示すフローチャートである。この処理は、最下流の部品実装機M5の制御装置60により実行される。上部品実装処理が実行されると、部品実装機M5の制御装置60のCPU61は、まず、基板Sが搬入されるよう基板搬送装置22を制御する(ステップS200)。続いて、CPU61は、部品供給装置21の部品供給位置の上方に吸着ノズルが来るようにヘッド移動装置30を制御し、吸着ノズルに上部品を吸着するようヘッド40を制御する吸着動作を行なう(ステップS210)。そして、CPU61は、吸着した上部品が基板Sの目標実装位置の上方へ来るようにヘッド移動装置30を制御すると共に(ステップS220)、上部品を基板Sの目標実装位置に実装するようヘッド40を制御する実装動作を行なう(ステップS230)。なお、ステップS220の処理は、吸着した上部品がパーツカメラ23の上方を通過して目標実装位置の上方へ至るように行なわれる。CPU61は、吸着した上部品がパーツカメラ23の上方を通過する際に当該上部品を撮像し、得られた撮像画像に基づいて上部品の吸着ずれ量を算出すると共に算出した吸着ずれ量に基づいて目標実装位置を補正する。CPU61は、こうして実装動作を行なうと、上部品を実装した基板Sを撮像するようマークカメラ43を制御する(ステップS240)。これにより、上部品が実装された後の基板Sの画像(上部品実装後基板画像)が取得される。なお、上部品実装処理では、上部品を実装する前の基板Sの撮像は行なわないが、この理由については後述する。そして、CPU61は、当該基板Sが搬出されるよう基板搬送装置22を制御して(ステップS250)、本処理を終了する。
次に、下部品の実装検査に用いられる学習データを生成する下部品検査用学習処理について説明する。図7は、下部品検査用学習処理の一例を示すフローチャートである。この処理は、部品実装機M1によって上述した下部品実装処理が実行されている間、管理装置80のCPU81により所定時間毎に繰り返し実行される。下部品検査用学習処理が実行されると、管理装置80のCPU81は、まず、学習が未完了であるか否かを判定する(ステップS300)。CPU81は、学習が未完了であると判定すると、下部品実装前基板画像が取得されたか否かを判定する(ステップS310)。下部品実装前基板画像は、上述したように、下部品実装処理のステップS120において、基板Sに下部品を実装する前に当該基板Sをマークカメラ43で撮像することにより取得される。CPU81は、下部品実装前基板画像が取得されたと判定すると、部品無しを教師データとして下部品実装前基板画像に基づいて機械学習(例えばサポートベクタマシン等)により下部品検査用学習データを生成する(ステップS320)。ここで、下部品検査用学習データの生成は、入力である下部品実装前基板画像と出力である検査結果(部品無し)とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。
次に、CPU81は、下部品実装後基板画像が取得されたか否かを判定する(ステップS330)。下部品実装後基板画像は、上述したように、下部品実装処理のステップS160において、基板Sに下部品を実装した後に当該基板Sをマークカメラ43で撮像することにより取得される。CPU81は、下部品実装後基板画像が取得されたと判定すると、下部品実装後基板画像をディスプレイ88に表示し、部品有無の教師データの入力を受け付け(ステップS340)、教師データが入力されるのを待つ(ステップS350)。オペレータは、ディスプレイ88に表示されている下部品実装後基板画像中に検査対象となる下部品が写っているか否かを判断し、下部品が写っていると判断すれば、「部品有り」を入力し、下部品が写っていないと判断すれば、「部品無し」を入力する。CPU81は、部品有無の教師データを入力すると、入力した教師データと下部品実装後基板画像とに基づいて上述した機械学習により下部品検査用学習データを生成(更新)すると共に(ステップS360)、教師データの取得数Nを値1だけインクリメントする(ステップS370)。下部品検査用学習データの生成は、入力である下部品実装後基板画像と出力である検査結果の教師データ(オペレータが入力した部品有無)とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。
そして、CPU81は、教師データの取得数Nが所定数Nref以上であるか否かを判定する(ステップS380)。ここで、所定数Nrefは、下部品検査用学習データを用いた下部品の実装検査の精度を確保するために必要十分な数が定められる。CPU81は、教師データの取得数Nが所定数Nref未満であると判定すると、ステップS310に戻って、下部品実装前基板画像や下部品実装後基板画像に基づいて機械学習により下部品検査用学習データを生成(更新)する処理を繰り返す。CPU81は、繰り返し処理においてステップS380で教師データの取得数Nが所定数Nref以上となったと判定すると、学習が完了したと判定して(ステップS390)、本処理を終了する。
CPU81は、ステップS300において学習が完了していると判定すると、基板Sや下部品のロットの切り替わりが発生したか否かを判定する(ステップS400)。CPU81は、ロットの切り替わりが発生していないと判定すると、本処理を終了し、ロットの切り替わりが発生したと判定すると、ステップS320,S360の学習履歴をクリアすると共に(ステップS410)、教師データの取得数Nを値0に初期化して(ステップS420)、ステップS310に進む。これにより、教師データの取得数Nが所定数Nref以上となるまで、再度、下部品実装前基板画像と部品無しの教師データとに基づく学習(再学習)と、下部品実装後基板画像と当該下部品実装後基板を見たオペレータが入力した下部品有無の教師データとに基づく学習(再学習)が実行されて下部品検査用学習データが再生成されることになる。ここで、基板Sや下部品のロットの切り替わりが発生した場合に再学習するのは、その切り替わり前後で基板Sや下部品の写りが変化するおそれがあるからである。
ここで、CPU81は、基板Sを識別する基板IDと関連付けて当該基板Sのロット情報をHDD83に予め記憶しておき、部品実装機10に基板Sが搬入されると、当該基板Sの基板IDに対応するロット情報を読み出して基板Sのロットに切り替わりが発生したか否かを判定する。そして、CPU81は、基板Sのロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した下部品検査用学習データをその学習データを識別する識別情報(学習ID)および基板IDと関連付けてHDD83に記憶する。また、CPU81は、下部品を識別する下部品IDと関連付けて当該下部品のロット情報をHDD83に予め記憶しておき、部品実装機10に搬入された基板Sに部品が実装されると、当該下部品の部品IDに対応するロット情報を読み出して下部品のロットに切り替わりが発生したか否かを判定する。そして、CPU81は、下部品のロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した下部品検査用学習データをその学習IDおよび基板IDと関連付けてHDD83に記憶する。こうして記憶された下部品検査用学習データは、次の下部品検査処理に用いられる。
次に、下部品検査用学習データを用いた下部品の実装検査について説明する。図8は、管理装置80のCPU81により実行される下部品検査処理の一例を示すフローチャートである。この処理は、部品実装機M1によって上述した下部品実装処理が実行されている間、所定時間毎に繰り返し実行される。
下部品検査処理が実行されると、管理装置80のCPU81は、まず、下部品実装後基板画像が取得されたか否か(ステップS500)、下部品検査用学習データが存在するか否か(ステップS510)、をそれぞれ判定する。CPU81は、下部品実装後基板画像が取得されてないと判定したり、下部品検査用学習データが存在しないと判定すると、下部品検査を行なうことができないと判断し、本処理を終了する。一方、CPU81は、下部品実装後基板画像が取得され、且つ、下部品検査用学習データが存在すると判定すると、その下部品検査用学習データを用いて下部品実装後基板画像において下部品を認識する認識処理(画像処理)を行なうことで検査対象となった下部品が基板Sに実装されているか否かを判定する実装検査を行なう(ステップS520)。ここで、下部品の実装検査は、検査対象となった基板Sおよび下部品の識別情報(基板IDおよび下部品ID)に基づいて対応する下部品検査用学習データをHDD83から読み出し、読み出した学習データ(認識モデル)を用いて下部品実装後基板画像から下部品が認識できるかどうかによって行なわれる。CPU81は、認識処理により下部品の認識が成功したか否かを判定し(ステップS530)、下部品の認識が成功したと判定すると、下部品の実装が正常に行なわれたと判定し(ステップS540)、下部品の認識が失敗したと判定すると、実装エラーが発生したと判定する(ステップS550)。そして、CPU81は、教師データの取得数Nが所定数Nref未満であるか否か、すなわち上述した下部品検査用学習処理による学習が未完了であるか否かを判定する(ステップS560)。CPU81は、教師データの取得数Nが所定数Nref未満でなく所定数Nref以上であると判定すると、本処理を終了し、教師データの取得数Nが所定数Nref未満であると判定すると、基板IDとステップS540,S550の検査結果と教師データが不足している旨とを関連付けて下部品実装後基板画像をHDD83に記憶して(ステップS570)、本処理を終了する。
ここで、本実施形態では、下部品の実装検査の実行条件として、下部品実装後基板画像が取得されていることと、下部品検査用学習データが存在していることを条件としているから、当該下部品検査用学習データの生成に用いられた教師データの取得数Nが所定数Nrefに達していなくても、すなわち学習が完了していなくても、下部品の実装検査は行なわれる。これにより、下部品の実装検査を早期に行なうことができ、生産効率を高めることができる。但し、教師データの取得数Nが所定数Nref未満(第2検査条件)での実装検査は、教師データの取得数Nが所定数Nref以上(第1検査条件)での実装検査に比して、検査精度が劣る。このため、本実施形態では、教師データの取得数Nが所定数Nref未満で実装検査が行なわれたときには、その旨と実装検査に用いられた基板Sの基板IDと下部品実装後基板画像と検査結果とを互いに関連付けてHDD83に記憶する。これにより、後にオペレータが当該下部品実装後基板画像を参照して検査結果の妥当性を判断することができ、下部品実装後基板の品質を確保することができる。
次に、上部品の実装検査に用いられる学習データを生成する上部品検査用学習処理について説明する。図9は、上部品検査用学習処理の一例を示すフローチャートである。この処理は、部品実装機M5によって上述した上部品実装処理が実行されている間、管理装置80のCPU81により所定時間毎に繰り返し実行される。上部品検査用学習処理が実行されると、管理装置80のCPU81は、まず、学習が未完了であるか否かを判定する(ステップS600)。CPU81は、学習が未完了であると判定すると、下部品実装後基板画像が取得されたか否かを判定する(ステップS610)。下部品実装後基板画像は、本実施形態では、上述したように、下部品実装処理のステップS160において、基板Sに下部品を実装した後に当該基板Sをマークカメラ43で撮像することにより取得される下部品実装後基板画像であり、上部品を実装する前の基板Sの撮像画像である上部品実装前基板画像として用いられる。したがって、上述した上部品実装処理において、上部品を実装する前の基板Sをマークカメラ43で撮像する処理を省略することができる。勿論、上部品実装処理において、上部品を実装する前の基板Sを撮像することで、上部品実装前基板画像を取得するものとしてもよい。CPU81は、下部品実装後基板画像(上部品実装前基板画像)が取得されたと判定すると、部品無しを教師データとして下部品実装後基板画像(上部品実装前基板画像)に基づいて機械学習(例えばサポートベクタマシン等)により上部品検査用学習データを生成する(ステップS620)。ここで、上部品検査用学習データの生成は、入力である上部品実装前基板画像と出力である検査結果(部品無し)とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。
次に、CPU81は、上部品実装後基板画像が取得されたか否かを判定する(ステップS630)。上部品実装後基板画像は、上述したように、上部品実装処理のステップS240において、基板Sに上部品を実装した後に当該基板Sをマークカメラ43で撮像することにより取得される。CPU81は、上部品実装後基板画像が取得されたと判定すると、上部品実装後基板画像をディスプレイ88に表示し、部品有無の教師データの入力を受け付け(ステップS640)、教師データが入力されるのを待つ(ステップS650)。オペレータは、ディスプレイ88に表示されている上部品実装後基板画像中に検査対象となる上部品が写っているか否かを判断し、上部品が写っていると判断すれば、「部品有り」を入力し、上部品が写っていないと判断すれば、「部品無し」を入力する。CPU81は、部品有無の教師データを入力すると、入力した教師データと上部品実装後基板画像とに基づいて上述した機械学習により上部品検査用学習データを生成(更新)すると共に(ステップS660)、教師データの取得数Mを値1だけインクリメントする(ステップS670)。上部品検査用学習データの生成は、入力である上部品実装後基板画像と出力である検査結果の教師データ(オペレータが入力した部品有無)とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。
そして、CPU81は、教師データの取得数Mが所定数Mref以上であるか否かを判定する(ステップS680)。ここで、所定数Mrefは、上部品検査用学習データを用いた上部品の実装検査の精度を確保するために必要十分な数が定められる。CPU81は、教師データの取得数Mが所定数Mref未満であると判定すると、ステップS610に戻って、下部品実装後基板画像(上部品実装前基板画像)や上部品実装後基板画像に基づいて機械学習により上部品検査用学習データを生成(更新)する処理を繰り返す。CPU81は、繰り返し処理においてステップS680で教師データの取得数Mが所定数Mref以上となったと判定すると、学習が完了したと判定して(ステップS690)、本処理を終了する。
CPU81は、ステップS600において学習が完了していると判定すると、基板Sや上部品のロットの切り替わりが発生したか否かを判定する(ステップS700)。CPU81は、ロットの切り替わりが発生していないと判定すると、本処理を終了し、ロットの切り替わりが発生したと判定すると、ステップS620,S660の学習履歴をクリアすると共に(ステップS710)、教師データの取得数Mを値0に初期化して(ステップS720)、ステップS610に進む。これにより、教師データの取得数Mが所定数Mref以上となるまで、再度、上部品実装前基板画像と部品無しの教師データとに基づく学習(再学習)と、上部品実装後基板画像と当該上部品実装後基板画像を見たオペレータが入力した上部品有無の教師データとに基づく学習(再学習)が実行されて上部品検査用学習データが再生成されることになる。ここで、基板Sや上部品のロットの切り替わりが発生した場合に再学習するのは、その切り替わり前後で基板Sや上部品の写りが変化するおそれがあるからである。
ここで、CPU81は、基板Sを識別する基板IDと関連付けて当該基板Sのロット情報をHDD83に予め記憶しておき、部品実装機10に基板Sが搬入されると、当該基板Sの基板IDに対応するロット情報を読み出して基板Sのロットに切り替わりが発生したか否かを判定する。そして、CPU81は、基板Sのロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した上部品検査用学習データをその学習データを識別する識別情報(学習ID)および基板IDと関連付けてHDD83に記憶する。また、CPU81は、上部品を識別する上部品IDと関連付けて当該上部品のロット情報をHDD83に予め記憶しておき、部品実装機10に搬入された基板Sに部品が実装されると、当該上部品の部品IDに対応するロット情報を読み出して上部品のロットに切り替わりが発生したか否かを判定する。そして、CPU81は、上部品のロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した上部品検査用学習データをその学習IDおよび基板IDと関連付けてHDD83に記憶する。こうして記憶された上部品検査用学習データは、次の上部品検査処理に用いられる。
次に、上部品検査用学習データを用いた上部品の実装検査について説明する。図10は、管理装置80のCPU81により実行される上部品検査処理の一例を示すフローチャートである。この処理は、部品実装機M5によって上述した上部品実装処理が実行されている間、所定時間毎に繰り返し実行される。
上部品検査処理が実行されると、管理装置80のCPU81は、まず、上部品実装後基板画像が取得されたか否か(ステップS800)、上部品検査用学習データが存在するか否か(ステップS810)、をそれぞれ判定する。CPU81は、上部品実装後基板画像が取得されてないと判定したり、上部品検査用学習データが存在しないと判定すると、上部品検査を行なうことができないと判断し、本処理を終了する。一方、CPU81は、上部品実装後基板画像が取得され、且つ、上部品検査用学習データが存在すると判定すると、その上部品検査用学習データを用いて上部品実装後基板画像において上部品を認識する認識処理(画像処理)を行なうことで検査対象となった上部品が基板Sに実装されているか否かを判定する実装検査を行なう(ステップS820)。ここで、上部品の実装検査は、検査対象となった基板Sおよび上部品の識別情報(基板IDおよび上部品ID)に基づいて対応する上部品検査用学習データをHDD83から読み出し、読み出した学習データ(認識モデル)を用いて上部品実装後基板画像から上部品が認識できるかどうかによって行なわれる。CPU81は、認識処理により上部品の認識が成功したか否かを判定し(ステップS830)、上部品の認識が成功したと判定すると、上部品の実装が正常に行なわれたと判定し(ステップS840)、上部品の認識が失敗したと判定すると、実装エラーが発生したと判定する(ステップS850)。そして、CPU81は、教師データの取得数Mが所定数Mref未満であるか否か、すなわち上述した上部品検査用学習処理による学習が未完了であるか否かを判定する(ステップS860)。CPU81は、教師データの取得数Mが所定数Mref未満でなく所定数Mref以上であると判定すると、本処理を終了し、教師データの取得数Mが所定数Mref未満であると判定すると、基板IDとステップS840,S850の検査結果と教師データが不足している旨とを関連付けて上部品実装後基板画像をHDD83に記憶して(ステップS870)、本処理を終了する。
ここで、本実施形態では、上部品の実装検査の実行条件として、上部品実装後基板画像が取得されていることと、上部品検査用学習データが存在していることを条件としているから、当該上部品検査用学習データの生成に用いられた教師データの取得数Mが所定数Mrefに達していなくても、すなわち学習が完了していなくても、上部品の実装検査は行なわれる。これにより、上部品の実装検査を早期に行なうことができ、生産効率を高めることができる。但し、教師データの取得数Mが所定数Mref未満(第2検査条件)での実装検査は、教師データの取得数Mが所定数Mref以上(第1検査条件)での実装検査に比して、検査精度が劣る。このため、本実施形態では、教師データの取得数Mが所定数Mref未満で実装検査が行なわれたときには、その旨と実装検査に用いられた基板Sの基板IDと上部品実装後基板画像と検査結果とを互いに関連付けてHDD83に記憶する。これにより、後にオペレータが当該上部品実装後基板画像を参照して検査結果の妥当性を判断することができ、上部品実装後基板の品質を確保することができる。
ここで、実施形態の主要な要素と発明の開示の欄に記載した発明の主要な要素との対応関係について説明する。即ち、マークカメラ43が撮像装置に相当し、部品実装機10が部品実装機に相当し、部品実装システム1が部品実装システムに相当し、下部品検査用学習処理と上部品検査用学習処理とを実行する管理装置80のCPU81が学習装置に相当し、下部品検査処理と上部品検査処理とを実行する管理装置80のCPU81が検査装置に相当し、管理装置80のHDD83が記憶装置に相当する。また、部品実装機M1が上流側部品実装機に相当し、部品実装機M5が下流側部品実装機に相当し、部品実装機M2~M4が中間部品実装機に相当する。
なお、本発明は上述した実施形態に何ら限定されることはなく、本開示の発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
例えば、上述した実施形態では、下部品実装後基板の撮像は、部品実装機M1が下部品を実装した直後に当該部品実装機M1のマークカメラ43を用いて行なうものとした。しかし、上部品を実装する部品実装機M1と下部品を実装する部品実装機M5との間に1台または複数台の部品実装機M2~M4を備える部品実装システム1においては、部品実装機M5よりも基板搬送方向における上流側にある部品実装機M1~M4のうち少なくとも2台の部品実装機にそれぞれ下部品実装後基板が搬入されるのを待って、当該少なくとも2台の部品実装機のマークカメラ43を用いて同時期に複数の下部品実装後基板を撮像するものとしてもよい。図11は、管理装置80のCPU81により実行される下部品実装後基板撮像処理の一例を示すフローチャートである。下部品実装後基板撮像処理では、管理装置80のCPU81は、まず、下部品の実装検査のための学習が未完了であるか否か(ステップS900)、下部品実装後基板が発生したか否か、すなわち部品実装機M1が下部品を実装したか否か(ステップS910)、をそれぞれ判定する。CPU81は、学習が完了していると判定したり、下部品実装後基板が発生していないと判定すると、本処理を終了する。一方、CPU81は、学習が未完了であり、且つ、下部品実装後基板が発生したと判定すると、下部品実装後基板の発生数Lを値1だけインクリメントし(ステップS920)、下部品実装後基板の発生数Lが所定数Lref以上であるか否かを判定する(ステップS930)。ここで、所定数Lrefは、同時に撮像する下部品実装後基板の枚数であり、例えば、下部品を実装する部品実装機M1の他に、3台の部品実装機(中間部品実装機)M2~M4で下部品実装後基板を撮像する場合、値4となる。CPU81は、下部品実装後基板の発生数Lが所定数Lref未満であると判定すると、撮像タイミングにないと判断して本処理を終了し、下部品実装後基板の発生数Lが所定数Lref以上であると判定すると、下部品実装後基板が搬入されている各部品実装機M1~M4に対してそれぞれマークカメラ43で下部品実装後基板を撮像するよう指示し(ステップS940)、オペレータに対して下部品実装後基板の撮像が行なわれた旨のオペレータコールの通知を行なって(ステップS950)、本処理を終了する。これにより、オペレータは、複数の下部品実装後基板画像をまとめて確認することができるため、教師データを効率良く管理装置80へ入力することができる。この結果、オペレータの作業負担をより軽減することができる。
上述した実施形態では、CPU81は、下部品検査用学習処理において、下部品実装後基板画像と当該下部品実装後基板画像を見たオペレータが入力した部品有無の教師データとに基づく学習に加えて、下部品実装前基板画像と部品無しの教師データとに基づく学習も行なうものとしたが、下部品実装前基板画像と部品無しの教師データとに基づく学習は省略してもよい。
上述した実施形態では、CPU81は、上部品検査用学習処理において、上部品実装後基板画像と当該上部品実装後基板画像を見たオペレータが入力した部品有無の教師データとに基づく学習に加えて、上部品実装前基板画像(下部品実装後基板画像)と部品無しの教師データとに基づく学習も行なうものとしたが、上部品実装前基板画像(下部品実装後基板画像)と部品無しの教師データとに基づく学習は省略してもよい。
上述した実施形態では、CPU81は、下部品検査処理や上部品検査処理において、学習データを用いた検査として、実装動作を行なった後の基板Sに実際に部品が実装されたか否かの検査を行なうものとした。しかし、CPU81は、学習データを用いた検査として、部品が基板Sに対して実装ずれ(XY方向のずれや回転方向のずれ)が生じているか否かの検査を行なうものとしてもよい。
上述した実施形態では、部品実装システム1は、部品実装機M1が下部品を実装すると共に下部品実装前基板と下部品実装後基板とを撮像し、部品実装機M5が下部品の上に上部品を実装すると共に上部品実装後基板を撮像するものとした。しかし、部品実装機M1よりも基板搬送方向における上流側に部品実装機を備える部品実装システムにおいては、下部品実装前基板の撮像を、当該上流側の部品実装機が備えるマークカメラ(撮像装置)で行なってもよい。また、下部品実装後基板の撮像を、下部品を実装する部品実装機M1よりも基板搬送方向における下流側で且つ上部品を実装する部品実装機M5よりも基板搬送方向における上流側の部品実装機M2~M4が備えるマークカメラ(撮像装置)で行なってもよい。また、部品実装機M5よりも基板搬送方向における下流側に部品実装機を備える部品実装システムにおいては、上部品実装後基板の撮像を、当該下流側の部品実装機が備えるマークカメラ(撮像装置)で行なってもよい。
以上説明したように、本開示の第1の部品実装システムは、基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、部品の実装動作を行なった後の部品実装後基板を撮像し、前記部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データに基づいて機械学習を行なって学習データを生成する学習装置と、前記部品実装後基板を撮像し、第1検査条件または該第1検査条件よりも検査精度が劣る第2検査条件により前記学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行なう検査装置と、前記第2検査条件により前記部品実装後基板の検査が行なわれた場合、前記第2検査条件で検査が行なわれた旨の検査情報と前記部品実装後基板を識別する識別情報とを関連付けて該部品実装後基板の撮像画像を記憶する記憶装置と、を備えることを要旨とする。
この本開示の第1の部品実装システムは、学習装置と、検査装置と、記憶装置とを備える。学習装置は、部品実装後基板を撮像し、その撮像画像に基づく教師データを取得すると共に取得した教師データに基づいて機械学習を行なって学習データを生成する。検査装置は、 部品実装後基板を撮像し、第1検査条件または第1検査条件よりも検査精度が劣る第2検査条件により学習データを用いて部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで部品実装後基板の検査を行なう。そして、記憶装置は、第2検査条件により部品実装後基板の検査が行なわれた場合、第2検査条件で検査が行なわれた旨の検査情報と部品実装後基板を識別する識別情報とを関連付けて部品実装後基板の撮像画像を記憶する。これにより、検査精度の劣る第2検査条件で部品実装後基板の検査が行なわれた場合に、作業者は、後から部品実装後基板の撮像画像を確認して、検査装置による検査結果の妥当性を判断することが可能となる。この結果、部品実装後基板の品質を確保することができる。
こうした本開示の第1の部品実装システムにおいて、前記第1検査条件は、前記教師データが所定数取得された後に生成される学習データに基づいて前記部品実装後基板の検査を行なう条件であり、前記第2検査条件は、前記教師データが前記所定数取得される前に生成される学習データに基づいて前記部品実装後基板の検査を行なう条件であるものとしてもよい。こうすれば、教師データが不足している状態でも、部品の実装検査を行なうことができるため、生産効率をより向上させることができる。また、教師データが不足している状態で部品の実装検査を行なった際に、その旨を特定できる状態で部品実装後基板の撮像画像を記憶するため、後から作業者が部品実装後基板の撮像画像を確認することで、検査結果の妥当性を判断することが可能となる。
本開示の第2の部品実装システムは、基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備え、前記複数の部品実装機として、基板搬送方向における上流側に配置される上流側部品実装機と、前記上流側部品実装機よりも基板搬送方向における下流側に配置される下流側部品実装機と、前記上流側部品実装機と前記下流側部品実装機との間に配置される1台または複数台の中間部品実装機とを有し、前記上流側部品実装機が基板に下部品を実装し、前記下流側部品実装機が前記基板に実装された下部品の上に上部品を実装する部品実装システムであって、前記上流側部品実装機または該上流側部品実装機よりも基板搬送方向における上流側に配置された部品実装機の撮像装置で前記下部品の実装動作が行なわれる前の下部品実装前基板を撮像し、前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品の実装動作が行なわれた後の下部品実装後基板を撮像し、前記下部品実装前基板の撮像画像に基づいて機械学習を行ない、前記下部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データと前記下部品実装後基板の撮像画像とに基づいて機械学習を行なって下部品検査用の学習データを生成する学習装置と、前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品実装後基板を撮像し、前記下部品検査用の学習データを用いて前記下部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで該下部品実装後基板の検査を行なう検査装置と、を備えることを要旨とする。
この本開示の第2の部品実装システムは、基板搬送方向に並ぶと共に撮像装置をそれぞれ有する複数の部品実装機を備える。複数の部品実装機として、上流側部品実装機と、下流側部品実装機と、上流側部品実装機と下流側部品実装機との間に配置される1台または複数台の中間部品実装機とを有し、上流側部品実装機が基板に下部品を実装し、下流側部品実装機が基板に実装された下部品の上に上部品を実装する。さらに、第2の部品実装システムは、学習装置と、検査装置とを備える。学習装置は、上流側部品実装機または上流側部品実装機よりも基板搬送方向における上流側に配置された部品実装機の撮像装置で下部品実装前基板を撮像し、上流側部品実装機または中間部品実装機のいずれかの撮像装置で下部品実装後基板を撮像する。そして、下部品実装前基板の撮像画像に基づいて機械学習を行ない、下部品実装後基板の撮像画像に基づく教師データを取得すると共に取得した教師データと下部品実装後基板の撮像画像とに基づいて機械学習を行なって下部品検査用の学習データを生成する。検査装置は、上流側部品実装機または中間部品実装機のいずれかの撮像装置で下部品実装後基板を撮像し、下部品検査用の学習データを用いて下部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで下部品実装後基板の検査を行なう。これにより、下流側部品実装機が下部品実装後基板を撮像し、その撮像画像に基づく教師データを取得するものに比して、下部品実装後基板の学習データを早期に生成することができ、学習データに基づく下部品実装後基板の検査を早期に行なうことができる。
こうした本開示の第2の部品実装システムにおいて、前記上流側部品実装機および前記中間部品実装機のうち少なくとも2台の部品実装機のそれぞれに前記下部品実装後基板が配置されるのを待って、前記少なくとも2台の部品実装機の撮像装置でそれぞれ前記下部品実装後基板を撮像するものとしてもよい。こうすれば、作業者は、下部品実装後基板の撮像画像をまとめて確認することができるため、教師データを効率良く学習装置に入力することができる。この結果、作業者の作業負担をより軽減することができる。この場合、前記少なくとも2台の部品実装機の撮像装置でそれぞれ前記下部品実装後基板を撮像した後、その旨を作業者に報知するものとしてもよい。こうすれば、作業者は、複数の下部品実装後基板が撮像されたことを知ることができるため、直ちに複数の撮像画像を確認して学習装置にまとめて教師データを入力することで、学習装置に効率良く学習を行なわせることができる。
また、本開示の第2の部品実装システムにおいて、前記学習装置は、前記下部品実装後基板の撮像画像を前記上部品の実装動作が行なわれる前の上部品実装前基板の撮像画像として用いて機械学習を行ない、前記下流側部品実装機または該下流側部品実装機よりも基板搬送方向における下流側に配置された部品実装機の撮像装置で前記上部品の実装動作が行なわれた後の上部品実装後基板を撮像し、前記上部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データに基づいて機械学習を行なって上部品検査用の学習データを生成し、前記検査装置は、前記下流側部品実装機または該下流側部品実装機よりも基板搬送方向における下流側に配置された部品実装機の撮像装置で前記上部品実装後基板を撮像し、前記上部品検査用の学習データを用いて該上部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで該上部品実装後基板の検査を行なうものとしてもよい。これにより、下部品の検査に加えて上部品の検査も行なうことができる。また、下部品検査用の学習データを得るために用いられる下部品実装後基板の撮像画像を、上部品実装前基板の撮像画像として用いて上部品検査用の学習を行なうため、上部品実装前基板の撮像画像を得るために別途撮像を行なう必要がない。
さらに、本開示の第2の部品実装システムにおいて、前記学習装置は、基板または下部品のロットが切り替わる度に前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品実装後基板を撮像し、前記下部品実装後基板の撮像画像に基づく教師データを再取得すると共に該再取得した教師データに基づいて機械学習を行なって前記下部品検査用の学習データを再生成するものとしてもよい。こうすれば、基板や部品のロットが切り替わっても、部品の認識精度を良好に維持することができる。
本開示は、部品実装機や部品実装システムの製造産業などに利用可能である。
1 部品実装システム、2 印刷機、3 印刷検査機、10 部品実装機、11 筐体、21 部品供給装置、22 基板搬送装置、23 パーツカメラ、24 ノズルステーション、30 ヘッド移動装置、31 X軸ガイドレール、32 X軸スライダ、33 X軸アクチュエータ、34 X軸位置センサ、35 Y軸ガイドレール、36 Y軸スライダ、37 Y軸アクチュエータ、38 Y軸位置センサ、40 ヘッド、41 Z軸アクチュエータ、42 θ軸アクチュエータ、43 マークカメラ、60 制御装置、61 CPU、62 ROM、63 HDD、64 RAM、65 入出力インタフェース、66 バス、80 管理装置、81 CPU、82 ROM、83 HDD、84 RAM、85 入出力インタフェース、86 バス、S 基板。

Claims (1)

  1. 基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、
    部品の実装動作を行なった後の部品実装後基板を撮像し、前記部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データに基づいて機械学習を行なって学習データを生成する学習装置と、
    前記部品実装後基板を撮像し、前記教師データが所定数取得された後に生成される学習データに基づいて前記部品実装後基板の検査を行なう条件である第1検査条件により、または、前記教師データが前記所定数取得される前に生成される学習データに基づいて前記部品実装後基板の検査を行なう条件であって該第1検査条件よりも検査精度が劣る第2検査条件により前記学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行ない、前記教師データの取得数が前記所定数未満であるか否かを判定する検査装置と、
    前記検査装置により前記教師データの取得数が前記所定数未満であると判定された場合、前記第2検査条件で検査が行なわれた旨の検査情報と、前記部品実装後基板を識別する識別情報と、検査結果とを関連付けて該部品実装後基板の撮像画像を記憶する記憶装置と、
    を備える部品実装システム。
JP2021529657A 2019-07-04 2019-07-04 部品実装システム Active JP7394852B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/026654 WO2021001995A1 (ja) 2019-07-04 2019-07-04 部品実装システム

Publications (2)

Publication Number Publication Date
JPWO2021001995A1 JPWO2021001995A1 (ja) 2021-01-07
JP7394852B2 true JP7394852B2 (ja) 2023-12-08

Family

ID=74100773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021529657A Active JP7394852B2 (ja) 2019-07-04 2019-07-04 部品実装システム

Country Status (5)

Country Link
US (1) US20220408622A1 (ja)
EP (1) EP3996482A4 (ja)
JP (1) JP7394852B2 (ja)
CN (1) CN114073175B (ja)
WO (1) WO2021001995A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017033979A (ja) 2015-07-29 2017-02-09 ファナック株式会社 実装タクトおよび消費電力を低減する部品マウンタ及び機械学習器
JP2018025481A (ja) 2016-08-10 2018-02-15 オムロン株式会社 表面実装ラインの検査装置及び品質管理システム
JP2018097731A (ja) 2016-12-15 2018-06-21 株式会社Fuji 画像処理システム及び画像処理方法
WO2018216075A1 (ja) 2017-05-22 2018-11-29 株式会社Fuji 画像処理装置、多重通信システム及び画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2570239B2 (ja) * 1991-07-30 1997-01-08 オムロン株式会社 実装部品検査用データ生成方法およびその方法の実施に用いられる実装部品検査装置
JPH1041700A (ja) * 1996-07-25 1998-02-13 Sanyo Electric Co Ltd 電子部品装着装置の装着経路設定方法およびその装置
US6621566B1 (en) * 2000-10-02 2003-09-16 Teradyne, Inc. Optical inspection system having integrated component learning
JP4674220B2 (ja) * 2007-03-05 2011-04-20 ヤマハ発動機株式会社 部品移載装置、表面実装機、及び電子部品検査装置
JP5077322B2 (ja) * 2009-10-22 2012-11-21 パナソニック株式会社 部品実装システムおよび実装状態検査方法
JP6199987B2 (ja) * 2013-11-11 2017-09-20 富士機械製造株式会社 部品装着装置
JP6411028B2 (ja) * 2014-01-17 2018-10-24 株式会社Fuji 管理装置
JP6375512B2 (ja) * 2014-05-27 2018-08-22 パナソニックIpマネジメント株式会社 部品実装ライン及び基板検査方法
JP6218094B1 (ja) * 2016-04-15 2017-10-25 Jeインターナショナル株式会社 検査方法、検査装置、検査プログラム、および記録媒体
JP2017211259A (ja) * 2016-05-25 2017-11-30 株式会社シーイーシー 検査装置、検査方法、及びプログラム
KR101893831B1 (ko) * 2016-10-20 2018-08-31 주식회사 고영테크놀러지 기판 검사장치 및 이를 이용한 기판 검사방법
JP6723373B2 (ja) * 2016-11-14 2020-07-15 株式会社Fuji 保存画像の再分類システム及び再分類方法
JP7122524B2 (ja) * 2017-12-05 2022-08-22 パナソニックIpマネジメント株式会社 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム
KR20190084167A (ko) * 2017-12-21 2019-07-16 주식회사 고영테크놀러지 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
KR20220149627A (ko) * 2018-02-14 2022-11-08 가부시끼가이샤 이시다 검사 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017033979A (ja) 2015-07-29 2017-02-09 ファナック株式会社 実装タクトおよび消費電力を低減する部品マウンタ及び機械学習器
JP2018025481A (ja) 2016-08-10 2018-02-15 オムロン株式会社 表面実装ラインの検査装置及び品質管理システム
JP2018097731A (ja) 2016-12-15 2018-06-21 株式会社Fuji 画像処理システム及び画像処理方法
WO2018216075A1 (ja) 2017-05-22 2018-11-29 株式会社Fuji 画像処理装置、多重通信システム及び画像処理方法

Also Published As

Publication number Publication date
CN114073175A (zh) 2022-02-18
JPWO2021001995A1 (ja) 2021-01-07
US20220408622A1 (en) 2022-12-22
EP3996482A4 (en) 2022-12-07
EP3996482A1 (en) 2022-05-11
CN114073175B (zh) 2023-09-22
WO2021001995A1 (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
US11386546B2 (en) System for creating learned model for component image recognition, and method for creating learned model for component image recognition
JP2008218706A (ja) 部品移載装置、表面実装機、及び電子部品検査装置
JP4237158B2 (ja) 実装基板製造装置および製造方法
CN107006148B (zh) 元件安装装置及元件安装系统
JP7149723B2 (ja) 画像管理方法及び画像管理装置
JP2008198730A (ja) 表面実装機、スクリーン印刷装置及び実装ライン
JP7394852B2 (ja) 部品実装システム
JP6259565B2 (ja) 実装管理装置、検査管理装置、実装システム、実装管理方法及びそのプログラム、ならびに検査管理方法及びそのプログラム
JP4520324B2 (ja) 検査結果報知装置及び実装システム
JP2009123891A (ja) 基板検査装置および部品実装システム
JPH0448248A (ja) クリームはんだ印刷検査装置
JP7425091B2 (ja) 検査装置及び検査方法
CN115700028A (zh) 元件安装系统
JP7257514B2 (ja) 部品実装システムおよび学習装置
JP7197705B2 (ja) 実装装置、実装システム及び検査実装方法
JP7084416B2 (ja) 情報処理装置及び情報処理方法
JP2013097414A (ja) 検査装置、処理装置、情報処理装置、対象物製造装置及びその製造方法
JP5003610B2 (ja) 基板検査方法
WO2024069783A1 (ja) 制御装置、実装装置、管理装置及び情報処理方法
WO2022269679A1 (ja) 部品実装システムの制御方法及び部品実装システム
JP7249426B2 (ja) 部品実装機
CN111386028B (zh) 基板处理系统
WO2023195173A1 (ja) 部品実装システム及び画像分類方法
JP2024006597A (ja) 実装可否判定装置
JP6442593B2 (ja) 実装処理装置及び実装処理装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231128

R150 Certificate of patent or registration of utility model

Ref document number: 7394852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150