JP7142169B2 - 画像データ管理装置および画像データ管理方法 - Google Patents
画像データ管理装置および画像データ管理方法 Download PDFInfo
- Publication number
- JP7142169B2 JP7142169B2 JP2021534465A JP2021534465A JP7142169B2 JP 7142169 B2 JP7142169 B2 JP 7142169B2 JP 2021534465 A JP2021534465 A JP 2021534465A JP 2021534465 A JP2021534465 A JP 2021534465A JP 7142169 B2 JP7142169 B2 JP 7142169B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- information
- board
- class
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Operations Research (AREA)
- Supply And Installment Of Electrical Components (AREA)
Description
本明細書は、画像データ管理装置および画像データ管理方法に関する技術を開示する。
特許文献1に記載の保存画像の再分類システムは、吸着ノズルに吸着された部品を撮像した画像を正常画像と異常画像に分類して記憶装置に保存し、保存された画像を再分類する。具体的には、保存画像を再分類する演算装置は、記憶装置に保存されている複数の正常画像から部品の吸着姿勢(例えば、位置ずれなど)を計測して、計測値を部品種毎に統計処理して分布を評価する。計測値が所定のばらつき範囲から外れる正常画像は、部品装着機の画像認識システムによって正常画像と判定されていても誤認識の可能性があるので、上記演算装置は、正常の判定が疑わしいものとして当該正常画像を再分類する。
また、上記演算装置は、記憶装置に保存されている異常画像についても、異常画像から部品の吸着姿勢を計測する。計測値が当該部品と同じ部品種の正常画像の部品の吸着姿勢の所定のばらつき範囲内であれば、当該異常画像が正常画像のばらつき範囲内に収まっており誤認識の可能性があるので、上記演算装置は、異常の判定が疑わしいものとして当該異常画像を再分類する。
しかしながら、特許文献1に記載の保存画像の再分類システムは、撮像画像から得られる部品の吸着姿勢の計測値の分布に基づいて、記憶装置に保存されている画像を、判定が疑わしいものと疑わしくないものとに再分類するものであり、所定の抽出対象の画像データを選定するものではない。
このような事情に鑑みて、本明細書は、対基板作業機が同種の対象物を撮像した複数の画像データの中から所定の抽出対象の画像データを選定可能な画像データ管理装置および画像データ管理方法を開示する。
本明細書は、基板に所定の対基板作業を行う対基板作業機が同種の対象物を撮像した複数の画像データの中から少なくとも一つの抽出対象の前記画像データを選定する画像データ管理装置を開示する。前記画像データ管理装置は、取得部と選定部とを備える。前記取得部は、前記画像データを画像処理して取得される前記対象物の計測値を複数の階級に区分して複数の前記画像データについて各階級に属する前記画像データの度数を算出した度数関連情報を取得する。前記選定部は、前記取得部によって取得された前記度数関連情報に基づいて前記画像データの度数分布または相対度数分布における特徴部が含まれる少なくとも一つの階級である対象階級を選出して、前記対象階級に属する少なくとも一つの前記画像データを前記抽出対象の前記画像データに選定する。
また、本明細書は、基板に所定の対基板作業を行う対基板作業機が同種の対象物を撮像した複数の画像データの中から少なくとも一つの抽出対象の前記画像データを選定する画像データ管理方法を開示する。前記画像データ管理方法は、取得工程と選定工程とを備える。前記取得工程は、前記画像データを画像処理して取得される前記対象物の計測値を複数の階級に区分して複数の前記画像データについて各階級に属する前記画像データの度数を算出した度数関連情報を取得する。前記選定工程は、前記取得工程によって取得された前記度数関連情報に基づいて前記画像データの度数分布または相対度数分布における特徴部が含まれる少なくとも一つの階級である対象階級を選出して、前記対象階級に属する少なくとも一つの前記画像データを前記抽出対象の前記画像データに選定する。
上記の画像データ管理装置によれば、取得部および選定部を備える。これにより、画像データ管理装置は、画像データの度数分布または相対度数分布における特徴部が含まれる対象階級に属する画像データを抽出対象の画像データに選定することができる。画像データ管理装置について上述したことは、画像データ管理方法についても同様に言える。
1.実施形態
1-1.対基板作業ラインWMLの構成例
対基板作業ラインWMLでは、基板90に所定の対基板作業を行う。対基板作業ラインWMLを構成する対基板作業機WMの種類および数は、限定されない。図1に示すように、本実施形態の対基板作業ラインWMLは、印刷機WM1、印刷検査機WM2、部品装着機WM3、リフロー炉WM4および外観検査機WM5の複数(5つ)の対基板作業機WMを備えており、基板90は、基板搬送装置によって、この順に搬送される。
1-1.対基板作業ラインWMLの構成例
対基板作業ラインWMLでは、基板90に所定の対基板作業を行う。対基板作業ラインWMLを構成する対基板作業機WMの種類および数は、限定されない。図1に示すように、本実施形態の対基板作業ラインWMLは、印刷機WM1、印刷検査機WM2、部品装着機WM3、リフロー炉WM4および外観検査機WM5の複数(5つ)の対基板作業機WMを備えており、基板90は、基板搬送装置によって、この順に搬送される。
印刷機WM1は、基板90の複数の部品92の装着位置に、はんだ91を印刷する。印刷検査機WM2は、印刷機WM1によって印刷されたはんだ91の印刷状態を検査する。図2に示すように、部品装着機WM3は、印刷機WM1によってはんだ91が印刷された基板90に複数の部品92を装着する。部品装着機WM3は、一つであっても良く、複数であっても良い。部品装着機WM3が複数設けられる場合は、複数の部品装着機WM3が分担して、複数の部品92を装着することができる。
リフロー炉WM4は、部品装着機WM3によって複数の部品92が装着された基板90を加熱し、はんだ91を溶融させて、はんだ付けを行う。外観検査機WM5は、部品装着機WM3によって装着された複数の部品92の装着状態などを検査する。このように、対基板作業ラインWMLは、複数(5つ)の対基板作業機WMを用いて、基板90を順に搬送し、検査処理を含む生産処理を実行して基板製品900を生産することができる。なお、対基板作業ラインWMLは、例えば、機能検査機、バッファ装置、基板供給装置、基板反転装置、シールド装着装置、接着剤塗布装置、紫外線照射装置などの対基板作業機WMを必要に応じて備えることもできる。
対基板作業ラインWMLを構成する複数(5つ)の対基板作業機WMおよびライン管理装置WLCは、通信部LCによって電気的または電磁気的に接続されている。また、ライン管理装置WLCおよび管理装置WHCは、通信部LCによって電気的または電磁気的に接続されている。通信部LCは、有線または無線によって、これらを通信可能に接続する。また、通信方法は、種々の方法をとり得る。
本実施形態では、複数(5つ)の対基板作業機WM、ライン管理装置WLCおよび管理装置WHCによって、構内情報通信網(LAN:Local Area Network)が構成されている。よって、複数(5つ)の対基板作業機WMは、通信部LCを介して、互いに通信することができる。また、複数(5つ)の対基板作業機WMは、通信部LCを介して、ライン管理装置WLCと通信することができる。さらに、ライン管理装置WLCおよび管理装置WHCは、通信部LCを介して、互いに通信することができる。
ライン管理装置WLCは、対基板作業ラインWMLを構成する複数(5つ)の対基板作業機WMの制御を行い、対基板作業ラインWMLの動作状況を監視する。ライン管理装置WLCには、複数(5つ)の対基板作業機WMを制御する種々の制御データが記憶されている。ライン管理装置WLCは、複数(5つ)の対基板作業機WMの各々に制御データを送信する。また、複数(5つ)の対基板作業機WMの各々は、ライン管理装置WLCに動作状況および生産状況を送信する。
管理装置WHCは、少なくとも一つのライン管理装置WLCを管理する。例えば、ライン管理装置WLCによって取得された対基板作業機WMの動作状況および生産状況は、必要に応じて、管理装置WHCに送信される。管理装置WHCには、データサーバDSが設けられている。データサーバDSは、対基板作業機WMが取得した種々の取得データを保存することができる。例えば、対基板作業機WMによって撮像された種々の画像データは、取得データに含まれる。対基板作業機WMによって取得された稼働状況の記録(ログデータ)などは、取得データに含まれる。
また、データサーバDSは、基板90の生産に関する種々の生産情報を保存することができる。例えば、部品92の形状に関する情報、部品92を撮像した画像データの画像処理に関する情報、部品92の取り扱いに関する情報、部品92を撮像するときの撮像条件に関する情報、部品92の電気的特性に関する情報などの形状関連情報は、生産情報に含まれる。
さらに、部品92の供給方法に関する情報であるパッケージ情報は、生産情報に含まれる。また、印刷検査機WM2、外観検査機WM5などの検査機が対象物TG0を検査する際に使用する検査基準情報は、生産情報に含まれる。さらに、検査機による検査結果は、生産情報に含まれる。また、基板製品900の品質情報(トレーサビリティ情報)は、生産情報に含まれる。
1-2.部品装着機WM3の構成例
部品装着機WM3は、基板90に複数の部品92を装着する。図2に示すように、部品装着機WM3は、基板搬送装置11、部品供給装置12、部品移載装置13、部品カメラ14、基板カメラ15および制御装置16を備えている。
部品装着機WM3は、基板90に複数の部品92を装着する。図2に示すように、部品装着機WM3は、基板搬送装置11、部品供給装置12、部品移載装置13、部品カメラ14、基板カメラ15および制御装置16を備えている。
基板搬送装置11は、例えば、ベルトコンベアなどによって構成され、基板90を搬送方向(X軸方向)に搬送する。基板90は、回路基板であり、電子回路および電気回路のうちの少なくとも一方が形成される。基板搬送装置11は、部品装着機WM3の機内に基板90を搬入し、機内の所定位置に基板90を位置決めする。基板搬送装置11は、部品装着機WM3による複数の部品92の装着処理が終了した後に、基板90を部品装着機WM3の機外に搬出する。
部品供給装置12は、基板90に装着される複数の部品92を供給する。部品供給装置12は、基板90の搬送方向(X軸方向)に沿って設けられる複数のフィーダ121を備えている。複数のフィーダ121の各々は、複数の部品92が収納されるキャリアテープ(図示略)をピッチ送りさせて、フィーダ121の先端側に位置する供給位置において部品92を採取可能に供給する。また、部品供給装置12は、チップ部品などと比べて比較的大型の電子部品(例えば、リード部品など)を、トレイ上に配置した状態で供給することもできる。
部品移載装置13は、ヘッド駆動装置131および移動台132を備えている。ヘッド駆動装置131は、直動機構によって移動台132を、X軸方向およびY軸方向に移動可能に構成されている。移動台132には、クランプ部材(図示略)によって装着ヘッド20が着脱可能(交換可能)に設けられている。装着ヘッド20は、少なくとも一つの保持部材30を用いて、部品供給装置12によって供給される部品92を採取し保持して、基板搬送装置11によって位置決めされた基板90に部品92を装着する。保持部材30は、例えば、吸着ノズル、チャックなどを用いることができる。
部品カメラ14および基板カメラ15は、公知の撮像装置を用いることができる。部品カメラ14は、光軸が鉛直方向(Z軸方向)の上向きになるように、部品装着機WM3の基台に固定されている。部品カメラ14は、保持部材30に保持されている部品92を下方から撮像することができる。基板カメラ15は、光軸が鉛直方向(Z軸方向)の下向きになるように、部品移載装置13の移動台132に設けられている。基板カメラ15は、基板90を上方から撮像することができる。部品カメラ14および基板カメラ15は、制御装置16から送出される制御信号に基づいて撮像を行う。部品カメラ14および基板カメラ15によって撮像された撮像画像の画像データは、制御装置16に送信される。
制御装置16は、公知の演算装置および記憶装置を備えており、制御回路が構成されている(いずれも図示略)。制御装置16には、部品装着機WM3に設けられる各種センサから出力される情報、画像データなどが入力される。制御装置16は、制御プログラムおよび予め設定されている所定の装着条件などに基づいて、各装置に対して制御信号を送出する。
例えば、制御装置16は、基板搬送装置11によって位置決めされた基板90を基板カメラ15に撮像させる。制御装置16は、基板カメラ15によって撮像された撮像画像を画像処理して、基板90の位置決め状態を認識する。また、制御装置16は、部品供給装置12によって供給された部品92を保持部材30に採取させ保持させて、保持部材30に保持されている部品92を部品カメラ14に撮像させる。制御装置16は、部品カメラ14によって撮像された撮像画像を画像処理して、部品92の保持姿勢を認識する。
制御装置16は、制御プログラムなどによって予め設定される装着予定位置の上方に向かって、保持部材30を移動させる。また、制御装置16は、基板90の位置決め状態、部品92の保持姿勢などに基づいて、装着予定位置を補正して、実際に部品92を装着する装着位置を設定する。装着予定位置および装着位置は、位置(X軸座標およびY軸座標)の他に回転角度を含む。
制御装置16は、装着位置に合わせて、保持部材30の目標位置(X軸座標およびY軸座標)および回転角度を補正する。制御装置16は、補正された目標位置において補正された回転角度で保持部材30を下降させて、基板90に部品92を装着する。制御装置16は、上記のピックアンドプレースサイクルを繰り返すことによって、基板90に複数の部品92を装着する装着処理を実行する。
1-3.画像データ管理装置80の構成例
既述したように、対基板作業機WMによって取得された種々の画像データは、データサーバDSに保存される。例えば、部品装着機WM3では、部品カメラ14によって撮像された撮像画像の画像データは、データサーバDSに保存される。また、基板カメラ15によって撮像された撮像画像の画像データは、データサーバDSに保存される。
既述したように、対基板作業機WMによって取得された種々の画像データは、データサーバDSに保存される。例えば、部品装着機WM3では、部品カメラ14によって撮像された撮像画像の画像データは、データサーバDSに保存される。また、基板カメラ15によって撮像された撮像画像の画像データは、データサーバDSに保存される。
これにより、管理装置WHC、ライン管理装置WLCまたは対基板作業機WM(上記の例では、部品装着機WM3若しくは外観検査機WM5)は、対基板作業に不具合が生じたときに、データサーバDSに保存されている画像データに基づいて、不具合の原因を調査することができる。また、部品92の形状関連情報を管理する管理装置WHCは、必要に応じて、データサーバDSに保存されている形状関連情報を修正することができ、新たに形状関連情報を作成することができる。さらに、対象物TG0の検査基準情報を管理する管理装置WHCは、必要に応じて、データサーバDSに保存されている検査基準情報を修正することができ、新たに検査基準情報を作成することができる。
しかしながら、画像データは、例えば、テキストデータなどと比べて、データ容量が大きくなり易いので、画像データをデータサーバDSに送信する際に、図1に示す通信部LCの負荷が増大する可能性がある。また、対基板作業機WMの直近にデータサーバDSが設けられる場合であっても、画像データは、データサーバDSの保存領域を占有し易い。そこで、本実施形態では、対基板作業機WMが取得した複数の画像データの中から所定の画像データを抽出可能な画像データ管理装置80が設けられている。
画像データ管理装置80は、基板90に所定の対基板作業を行う対基板作業機WMが同種の対象物TG0を撮像した複数の画像データの中から少なくとも一つの抽出対象の画像データを選定する。例えば、対基板作業機WMが基板90に部品92を装着する部品装着機WM3の場合、基板90の位置決め作業、部品92の採取作業、部品92の装着作業などは、対基板作業に含まれる。
図2に示すように、例えば、対基板作業機WMが部品装着機WM3の場合、部品装着機WM3は、位置決めされた基板90の位置決め基準部90Mを撮像する基板カメラ15を備えている。この場合、対象物TG0は、位置決め基準部90Mであり、画像データには、基板カメラ15が位置決め基準部90Mを撮像した撮像画像の画像データが含まれる。また、部品装着機WM3は、保持部材30に保持されている部品92を撮像する部品カメラ14を備えている。この場合、対象物TG0は、部品92であり、画像データには、部品カメラ14が部品92を撮像した撮像画像の画像データが含まれる。
後記するように、対基板作業機WM、対基板作業、対象物TG0および画像データは、限定されない。本明細書では、部品装着機WM3が部品92の採取作業および装着作業において取得した画像データ(部品カメラ14が保持部材30に保持されている部品92を撮像した撮像画像の画像データ)を例に説明されている。
画像データ管理装置80は、制御ブロックとして捉えると、取得部81と、選定部82とを備えている。対基板作業機WMは、良否判断部83および付加部86のうちの少なくとも一方を備えることができる。画像データ管理装置80は、データ送信部84、管理部85および階級抽出部87のうちの少なくとも一つをさらに備えることができる。図3に示すように、本実施形態の画像データ管理装置80は、取得部81と、選定部82と、データ送信部84と、管理部85と、階級抽出部87とを備えている。対基板作業機WMである部品装着機WM3は、良否判断部83と、付加部86とを備えている。
また、本実施形態の画像データ管理装置80では、取得部81、選定部82、データ送信部84および階級抽出部87がライン管理装置WLCに設けられ、管理部85が管理装置WHCに設けられている。取得部81、選定部82、データ送信部84、管理部85および階級抽出部87は、種々の制御装置に設けることができる。また、取得部81、選定部82、データ送信部84、管理部85および階級抽出部87は、クラウド上に形成することもできる。
さらに、画像データ管理装置80および部品装着機WM3は、図4Aおよび図4Cに示すフローチャートに従って、制御を実行する。また、部品装着機WM3は、図4Bに示すフローチャートに従って、制御を実行する。取得部81は、ステップS11に示す処理を行う。選定部82は、ステップS12~ステップS14に示す処理および判断を行う。良否判断部83は、ステップS21~ステップS24に示す処理および判断を行う。データ送信部84は、ステップS15に示す処理を行う。管理部85は、ステップS16およびステップS17に示す処理を行う。付加部86は、ステップS31に示す処理を行う。階級抽出部87は、ステップS32に示す処理を行う。
1-3-1.取得部81
取得部81は、度数関連情報を取得する(図4Aに示すステップS11)。度数関連情報は、画像データを画像処理して取得される対象物TG0の計測値を複数の階級に区分して複数の画像データについて各階級に属する画像データの度数を算出したものをいう。
取得部81は、度数関連情報を取得する(図4Aに示すステップS11)。度数関連情報は、画像データを画像処理して取得される対象物TG0の計測値を複数の階級に区分して複数の画像データについて各階級に属する画像データの度数を算出したものをいう。
図5は、保持部材30に保持されている部品92を部品カメラ14によって撮像した撮像画像の一例を示している。部品装着機WM3の制御装置16は、画像データを画像処理して、対象物TG0である部品92(保持部材30に保持されている部品92)を取得する。
そして、制御装置16は、画像データから取得された部品92を計測して、保持部材30に保持されている部品92が採取すべき部品92であるか否かを評価する。制御装置16は、採取すべき部品92と比べて、以下に示す計測ポイントがすべて一致若しくは許容範囲に含まれるときに、対象物TG0である部品92が採取すべき部品92であると評価する。この場合、制御装置16は、当該部品92の装着を許容する。
逆に、制御装置16は、採取すべき部品92と比べて、以下に示す計測ポイントのうちの少なくとも一つが不一致若しくは許容範囲に含まれないときに、対象物TG0である部品92が採取すべき部品92でないと評価する。この場合、制御装置16は、当該部品92の装着を規制し、例えば、当該部品92を廃棄ボックス(図示略)に移動する。
例えば、部品92の幅寸法および奥行き寸法は、計測ポイントに含まれる。また、部品92がリード部品の場合、リードの本数、位置(座標)、向き、長さ寸法、幅寸法、ピッチなどは、計測ポイントに含まれる。さらに、部品92がBGA(Ball Grid Array)部品の場合、バンプの数、位置(座標)、直径、ピッチなどは、計測ポイントに含まれる。
また、部品92に方向チェックマークが設けられている場合、方向チェックマークの位置、輝度などは、計測ポイントに含まれる。方向チェックマークに基づいて、部品92の装着方向の正否が判別される。なお、部品装着機WM3は、保持部材30に保持されている部品92を側方から撮像する側方カメラ(図示略)を備えることができる。この場合、部品92の高さ寸法は、計測ポイントに含まれる。
図5の破線で示す部品92は、部品92の計測に関する基準値RP1(幅寸法LX0および奥行き寸法LY0)を示している。同図の実線で示す部品92は、保持部材30に保持されている部品92の実際の幅寸法LX1および奥行き寸法LY0の一例を示している。制御装置16は、計測ポイントである部品92の幅寸法LX1および奥行き寸法LY0がそれぞれの許容範囲に含まれるときに、対象物TG0である部品92が採取すべき部品92であると評価する。制御装置16は、計測ポイントである部品92の幅寸法LX1および奥行き寸法LY0のうちの少なくとも一方がそれぞれの許容範囲に含まれないときに、対象物TG0である部品92が採取すべき部品92でないと評価する。
取得部81は、対象物TG0(部品92)の計測値を複数の階級に区分して、対基板作業機WM(部品装着機WM3)が同種の対象物TG0(部品92)を撮像した複数の画像データについて、各階級に属する画像データの度数を算出した度数関連情報を取得する。制御装置16は、対象物TG0(部品92)の計測値に基づいて、度数関連情報を作成することができる。また、以下に示すように、取得部81は、制御装置16によって計測された対象物TG0(部品92)の計測値を取得して、度数関連情報を作成することもできる。
図6は、部品カメラ14によって撮像された撮像画像の画像データから取得される部品92の計測値(幅寸法)と、画像データの度数の関係の一例を示している。同図の横軸は、部品92の計測値(幅寸法)を示している。同図では、部品92の計測値(幅寸法)は、例えば、11の階級に区分されているが、階級の数は、限定されない。また、同図の縦軸は、画像データの度数を示している。図5の実線で示す部品92の幅寸法は、幅寸法LX1であり、基準値RP1の幅寸法LX0と比べて大きい。よって、図6に示すように、図5の撮像画像の画像データは、基準値RP1の幅寸法LX0が属する階級に対して、紙面右側の階級(大きい階級)に含まれる。
同様にして、取得部81は、部品装着機WM3が同種の部品92を撮像した複数の画像データ(部品カメラ14によって撮像された撮像画像の画像データ)について、各階級に属する画像データの度数を算出することができる。同種の部品92は、部品種が同じ部品92をいい、例えば、製造者が異なる部品92、製造ロットが異なる部品92なども含まれる。また、取得部81は、例えば、部品92の奥行き寸法などの他の計測ポイントについても、同様にして、各階級に属する画像データの度数を算出することができる。
度数関連情報は、対象物TG0である部品92の計測値の階級と画像データの度数が階級ごとに記録されている度数分布データであっても良く、度数分布データに基づいて作成される度数分布若しくは相対度数分布であっても良い。度数分布データは、対象物TG0である部品92の計測値の階級と、階級に属する画像データの度数の組み合わせを記録したものであり、例えば、表、配列などによって表すことができる。
図6に示すように、度数分布は、対象物TG0である部品92の計測値の階級ごとの画像データの度数をグラフ化したものであり、例えば、ヒストグラム、折れ線、曲線L11などによって表すことができる。曲線L11は、各階級の画像データの度数を滑らかな曲線で結んでグラフ化したものである。
また、相対度数分布は、各階級の画像データの度数を、画像データの総数で除してグラフ化したものであり、同様に、ヒストグラム、折れ線、曲線などによって表すことができる。このようなグラフ化により、画像データ管理装置80の使用者は、画像データの度数の傾向を容易に把握することができる。なお、図6に示す度数分布は、正規分布であるが、度数分布は、正規分布に限定されない。
1-3-2.選定部82および良否判断部83
既述したように、例えば、図1に示す通信部LCの負荷の軽減、データサーバDSの保存領域の有効活用の観点から、対基板作業機WMが取得した複数の画像データの中から所定の画像データを抽出する必要がある。そこで、選定部82は、取得部81によって取得された度数関連情報に基づいて画像データの度数分布または相対度数分布における特徴部FP1が含まれる少なくとも一つの階級である対象階級TC1を選出して、対象階級TC1に属する少なくとも一つの画像データを抽出対象の画像データに選定する。
既述したように、例えば、図1に示す通信部LCの負荷の軽減、データサーバDSの保存領域の有効活用の観点から、対基板作業機WMが取得した複数の画像データの中から所定の画像データを抽出する必要がある。そこで、選定部82は、取得部81によって取得された度数関連情報に基づいて画像データの度数分布または相対度数分布における特徴部FP1が含まれる少なくとも一つの階級である対象階級TC1を選出して、対象階級TC1に属する少なくとも一つの画像データを抽出対象の画像データに選定する。
特徴部FP1は、画像データの度数分布または相対度数分布の特徴を示している部分であれば良く、限定されない。例えば、図6に示す部品92の計測値の代表値FP11(例えば、中央値、最頻値または平均値。以下、同じ。)が得られる撮像画像には、当該部品92を撮像した一般的な撮像画像が多く含まれる。逆に、部品92の計測値の最大値FP12または最小値FP13が得られる撮像画像には、当該部品92を撮像した複数の撮像画像における特異な撮像画像が含まれる場合が多い。
管理者が対基板作業の不具合の原因を調査するときには、これらの撮像画像の画像データが保存されていれば十分な場合が多い。例えば、代表値FP11から最大値FP12までの間の計測値が得られる撮像画像は、計測値として代表値FP11または最大値FP12が得られる撮像画像に基づいて類推することができる場合が多い。このことは、後記されている対象物TG0の形状関連情報を修正または作成する場合、対象物TG0の検査基準情報を修正または作成する場合などについても同様に言える。そこで、特徴部FP1は、対象物TG0の計測値の代表値FP11、最大値FP12および最小値FP13のうちの少なくとも一つであると良い。
この場合、選定部82は、対象物TG0である部品92の計測値の代表値FP11が含まれる対象階級TC11に属する少なくとも一つの画像データを抽出対象の画像データに選定することができる。また、選定部82は、対象物TG0である部品92の計測値の最大値FP12が含まれる対象階級TC12に属する少なくとも一つの画像データを抽出対象の画像データに選定することができる。さらに、選定部82は、対象物TG0である部品92の計測値の最小値FP13が含まれる対象階級TC13に属する少なくとも一つの画像データを抽出対象の画像データに選定することができる。
同様の観点から、特徴部FP1は、度数分布または相対度数分布の統計値に基づいて算出される度数分布または相対度数分布の代表値FP21、最大値FP22および最小値FP23のうちの少なくとも一つであっても良い。例えば、選定部82は、度数分布または相対度数分布の中央値、最頻値または平均値を算出して、算出値を代表値FP21とすることができる。
また、例えば、選定部82は、度数分布または相対度数分布の標準偏差を算出して、代表値FP21に標準偏差の整数倍(例えば、三倍)を加算した加算値を最大値FP22とすることができる。選定部82は、度数分布または相対度数分布の標準偏差を算出して、代表値FP21から標準偏差の整数倍(例えば、三倍)を減算した減算値を最小値FP23とすることができる。図6では、代表値FP21は、代表値FP11と一致している。また、最大値FP22は、最大値FP12と一致し、最小値FP23は、最小値FP13と一致している。
この場合、選定部82は、度数分布または相対度数分布の代表値FP21が含まれる対象階級TC11に属する少なくとも一つの画像データを抽出対象の画像データに選定することができる。また、選定部82は、度数分布または相対度数分布の最大値FP22が含まれる対象階級TC12に属する少なくとも一つの画像データを抽出対象の画像データに選定することができる。さらに、選定部82は、度数分布または相対度数分布の最小値FP23が含まれる対象階級TC13に属する少なくとも一つの画像データを抽出対象の画像データに選定することができる。
このようにして、選定部82は、対象階級TC1を選出する(図4Aに示すステップS12)。そして、選定部82は、対基板作業機WM(部品装着機WM3)が同種の対象物TG0(部品92)を撮像した複数の画像データについて、対象階級TC1に属するか否かを判断する(ステップS13)。画像データが対象階級TC1に属する場合(ステップS13で「Yes」の場合)、選定部82は、当該画像データを抽出対象の画像データに選定する(ステップS14)。画像データが対象階級TC1に属さない場合(ステップS13で「No」の場合)、ステップS14に示す処理は行われず、当該画像データは、抽出対象の画像データに選定されない。
なお、対象階級TC1に属する画像データのうち、対象階級TC11に属する画像データは、対象階級TC12または対象階級TC13に属する画像データと比べて度数が高い。そのため、選定部82は、対象階級TC11に属する複数の画像データのうちの一部の画像データを抽出対象の画像データに選定すると良い。例えば、選定部82は、対象階級TC11に属する複数の画像データのうち、対象階級TC12または対象階級TC13に属する画像データの度数以下の数の画像データを抽出対象の画像データに選定することができる。
また、少なくとも一つの対象階級TC1の各々について、少なくとも一つの画像データが抽出対象の画像データに選定されていれば良い。さらに、抽出対象の画像データに選定されなかった画像データは、削除しても良く、圧縮処理して保存しても良い。当該画像データを圧縮処理して保存する場合、制御装置16は、当該画像データを可逆圧縮して保存することができる。また、制御装置16は、抽出対象の画像データと比べた重要度を考慮して、抽出対象の画像データに選定されなかった画像データを非可逆圧縮して保存することもできる。
良否判断部83は、画像データに基づいて対象物TG0の良否を判断する。例えば、対基板作業機WMが部品装着機WM3の場合、良否判断部83は、図2に示す部品カメラ14によって撮像された撮像画像の画像データに基づいて部品92を認識して、部品92の良否を判断することができる。この場合、部品92の良否判断は、既述した採取すべき部品92であるか否かの評価に含まれる。
また、対基板作業機WMが印刷検査機WM2の場合、良否判断部83は、印刷検査機WM2によって撮像された撮像画像の画像データに基づいてはんだ91の印刷状態を認識して、はんだ91の印刷状態の良否を判断することができる。さらに、対基板作業機WMが外観検査機WM5の場合、良否判断部83は、外観検査機WM5によって撮像された撮像画像の画像データに基づいて部品92を認識して、部品92の良否を判断することができる。
いずれの場合も、良否判断部83は、画像データから対象物TG0を認識する(図4Bに示すステップS21)。そして、良否判断部83は、認識結果が所定範囲内か否かを判断する(ステップS22)。上記所定範囲は、例えば、後記されている対象物TG0の計測に関する許容範囲RA1を用いることができる。認識結果が所定範囲内の場合(ステップS22で「Yes」の場合)、良否判断部83は、対象物TG0を良好と判断する(ステップS23)。認識結果が所定範囲に含まれない場合(ステップS22で「No」の場合)、良否判断部83は、対象物TG0を不良と判断する(ステップS24)。
選定部82は、対象階級TC1に属する画像データに加えて、良否判断部83が対象物TG0を不良と判断したときに用いられた画像データを抽出対象の画像データに選定することができる。例えば、図6に示す画像データEP1は、許容範囲RA1に含まれず、良否判断部83は、画像データEP1から取得される対象物TG0(部品92)を不良と判断する。この場合、選定部82は、対象階級TC1に属する画像データに加えて、画像データEP1を抽出対象の画像データに選定する。
これにより、対象階級TC1に属する画像データと、良否判断部83が対象物TG0(部品92)を不良と判断したときに用いられた画像データとの対比が容易になり、管理者は、これらの画像データを対比して、不具合の原因調査を行うことができる。このことは、後記されている対象物TG0の形状関連情報を修正または作成する場合、対象物TG0の検査基準情報を修正または作成する場合などについても同様に言える。
1-3-3.データ送信部84
データ送信部84は、対基板作業機WMによって取得された複数の画像データのうち、選定部82によって選定された抽出対象の画像データをデータサーバDSに送信する(図4Aに示すステップS15)。
データ送信部84は、対基板作業機WMによって取得された複数の画像データのうち、選定部82によって選定された抽出対象の画像データをデータサーバDSに送信する(図4Aに示すステップS15)。
データ送信部84は、選定部82によって抽出対象の画像データが選定される毎に、抽出対象の画像データをデータサーバDSに送信することができる。また、データ送信部84は、選定部82によって所定数の抽出対象の画像データが選定されたときに、所定数の抽出対象の画像データを一度に、または、複数回に分けて、データサーバDSに送信することもできる。さらに、データ送信部84は、制御プログラムが切り替わるときに、切り替わる前の制御プログラムを使用して生産した基板製品900について取得された所定数の抽出対象の画像データを一度に、または、複数回に分けて、データサーバDSに送信することもできる。いずれの場合も、送信された画像データは、データサーバDSに保存される。
本実施形態の画像データ管理装置80は、データ送信部84を備えるので、対基板作業機WMによって取得された複数の画像データをすべてデータサーバDSに送信する場合と比べて、図1に示す通信部LCの負荷を軽減することができる。また、画像データ管理装置80は、対基板作業機WMによって取得された複数の画像データをすべてデータサーバDSに保存する場合と比べて、データサーバDSの保存領域を確保することができ、データサーバDSの保存領域を有効活用することができる。
なお、データ送信部84は、選定部82によって選定された抽出対象の画像データと共に、度数関連情報をデータサーバDSに送信することもできる。度数関連情報は、度数分布データであっても良く、度数分布若しくは相対度数分布であっても良い。また、データサーバDSに送信する度数関連情報には、抽出対象の画像データに関する情報の他に、選定部82によって選定されなかった画像データに関する情報が含まれていると良い。これにより、後に画像データが取得された場合に、度数関連情報の更新が容易になる。
1-3-4.管理部85
管理部85は、対象物TG0の計測に関する基準値RP1および許容範囲RA1を含む対象物TG0の形状に関連する情報が少なくとも定義されている形状関連情報を管理する。形状関連情報は、図1および図3に示すデータサーバDSに保存されており、例えば、既述した良否判断部83が対象物TG0の良否を判断する際に使用される。
管理部85は、対象物TG0の計測に関する基準値RP1および許容範囲RA1を含む対象物TG0の形状に関連する情報が少なくとも定義されている形状関連情報を管理する。形状関連情報は、図1および図3に示すデータサーバDSに保存されており、例えば、既述した良否判断部83が対象物TG0の良否を判断する際に使用される。
基準値RP1は、例えば、対象物TG0の公称値(例えば、データシートに記載の公称値など)に合わせて設定することができる。許容範囲RA1は、例えば、対象物TG0のもつトレランス(例えば、データシートに記載の寸法公差など)に合わせて設定することができる。また、許容範囲RA1は、例えば、対象物TG0を撮像するときの撮像条件などの相違を考慮して、上記トレランスを増減させて設定することもできる。さらに、基準値RP1および許容範囲RA1は、予め試験的に度数関連情報を取得して、取得した度数関連情報を用いて設定しても良い。
管理部85は、対象物TG0の許容範囲RA1に相当する階級に対象物TG0の計測値が含まれず且つ対象物TG0が適当であるときに、当該計測値が許容範囲RA1に含まれるように形状関連情報に定義されている基準値RP1および許容範囲RA1のうちの少なくとも一方を修正する(図4Aに示すステップS16)。
例えば、図6に示す画像データEP1から取得される部品92の計測値は、部品92の許容範囲RA1に相当する階級に含まれない。このときに部品92が適当である場合、管理部85は、当該計測値が許容範囲RA1に含まれるように形状関連情報に定義されている基準値RP1および許容範囲RA1のうちの少なくとも一方を修正する。部品92が適当であるか否かは、管理者が判断することができる。また、部品92が適当であるか否かは、例えば、ニューラルネットワーク、ディープラーニングなどの人工知能的な手法によって、対基板作業機WMまたは管理部85が判断しても良い。
図6に示すように、管理部85は、形状関連情報に定義されている許容範囲RA1を、許容範囲RA1より広範囲の許容範囲RA2に修正することができる。上記修正により、図6に示す画像データEP1から取得される対象物TG0の計測値は、修正された許容範囲RA2に含まれるようになる。また、管理部85は、例えば、形状関連情報に定義されている基準値RP1を、基準値RP1が属する階級より一階級大きい階級の階級値に修正することもできる。許容範囲RA1が基準値RP1を中心に設定される場合、上記修正により、図6に示す画像データEP1から取得される対象物TG0の計測値は、許容範囲RA1に含まれるようになる。
但し、図6に示す例では、形状関連情報に定義されている基準値RP1のみを修正すると、対象階級TC13が許容範囲RA1に相当する階級に含まれなくなる。そのため、管理部85は、画像データEP1から取得される対象物TG0の計測値が許容範囲RA1に含まれるように形状関連情報に定義されている基準値RP1および許容範囲RA1の両方を修正すると良い。
また、管理部85は、対象物TG0の許容範囲RA1に相当する階級に対象物TG0の計測値が含まれず且つ対象物TG0が適当であるときに、当該計測値が許容範囲RA1に含まれる形状関連情報を作成することもできる。上述したいずれの場合も、管理部85は、形状関連情報を適正化することができる。
対基板作業機WMが対象物TG0を検査する検査機の場合、管理部85は、検査機が対象物TG0を検査する際に使用する情報であって対象物TG0の計測に関する基準値RP1および許容範囲RA1が定義されている検査基準情報を管理することもできる。本実施形態では、検査機は、印刷検査機WM2または外観検査機WM5である。
図1に示すように、対基板作業機WMが、基板90に印刷されたはんだ91の印刷状態を検査する印刷検査機WM2の場合、印刷機WM1によるはんだ91の印刷作業は、対基板作業に含まれる。また、印刷検査機WM2は、はんだ91を撮像する検査カメラCU1を備えている。この場合、対象物TG0は、はんだ91であり、画像データには、検査カメラCU1によって撮像された撮像画像の画像データが含まれる。なお、はんだ91の計測ポイントには、はんだ91の面積、高さおよび体積が含まれる。
図1に示すように、対基板作業機WMが、基板90に装着された部品92の装着状態を検査する外観検査機WM5の場合、部品装着機WM3による部品92の装着作業は、対基板作業に含まれる。また、外観検査機WM5は、部品92を撮像する検査カメラCU2を備えている。この場合、対象物TG0は、部品92であり、画像データには、検査カメラCU2によって撮像された撮像画像の画像データが含まれる。なお、部品92の計測ポイントは、既述した部品92の計測ポイントと同様である。
形状関連情報と同様に、検査基準情報は、図1および図3に示すデータサーバDSに保存されている。検査基準情報には、対象物TG0の計測に関する基準値RP1および許容範囲RA1が定義されている。基準値RP1および許容範囲RA1は、形状関連情報と同様にして設定することができる。
管理部85は、対象物TG0の許容範囲RA1に相当する階級に対象物TG0の計測値が含まれず且つ対象物TG0が適当であるときに、当該計測値が許容範囲RA1に含まれるように検査基準情報に定義されている基準値RP1および許容範囲RA1のうちの少なくとも一方を修正する(図4Aに示すステップS17)。また、管理部85は、対象物TG0の許容範囲RA1に相当する階級に対象物TG0の計測値が含まれず且つ対象物TG0が適当であるときに、当該計測値が許容範囲RA1に含まれる検査基準情報を作成することもできる。管理部85は、形状関連情報の場合と同様にして、検査基準情報を修正または作成することができる。これにより、管理部85は、検査基準情報を適正化することができる。
1-3-5.付加部86および階級抽出部87
図7は、部品カメラ14によって撮像された撮像画像の画像データから取得される部品92の計測値(幅寸法)と、画像データの度数の関係の他の一例を示している。曲線L20で示すように、図7に示す度数分布は、複数の分布(同図では、曲線L21および曲線L22で示される二つの正規分布)を含む点で、図6に示す度数分布と異なる。なお、部品92以外の対象物TG0および幅寸法以外の他の計測ポイントについても、同様の度数分布(度数関連情報)が得られる場合がある。
図7は、部品カメラ14によって撮像された撮像画像の画像データから取得される部品92の計測値(幅寸法)と、画像データの度数の関係の他の一例を示している。曲線L20で示すように、図7に示す度数分布は、複数の分布(同図では、曲線L21および曲線L22で示される二つの正規分布)を含む点で、図6に示す度数分布と異なる。なお、部品92以外の対象物TG0および幅寸法以外の他の計測ポイントについても、同様の度数分布(度数関連情報)が得られる場合がある。
複数の分布を含む度数分布または相対度数分布(度数関連情報)は、例えば、部品92の製造者、部品92の製造ロットなどの相違に起因して生じる可能性がある。例えば、一の製造者が製造した部品92の度数分布または相対度数分布(度数関連情報)が曲線L21の正規分布で示され、他の製造者が製造した部品92の度数分布または相対度数分布(度数関連情報)が曲線L22の正規分布で示される場合が想定される。また、部品92について上述したことは、部品92を用いた対基板作業についても生じる可能性がある。
例えば、図2に示す部品供給装置12において搭載位置が異なるフィーダ121から部品92が採取された場合に、キャリアテープの送り精度などの相違に起因して生じる可能性がある。また、同一のフィーダ121から部品92が採取される場合であっても、部品移載装置13の直動機構の熱膨張などに起因して生じる可能性もある。さらに、部品92を撮像する部品カメラ14の個体差、複数の部品装着機WM3が使用される場合の部品装着機WM3の個体差などに起因して生じる可能性もある。
そこで、本実施形態では、対基板作業機WMである部品装着機WM3は、付加部86を備えている。付加部86は、対象物TG0を用いた対基板作業に関する付加情報を画像データに付加する(図4Cに示すステップS31)。例えば、付加情報は、基板90に関する情報である基板情報、対基板作業において使用される使用機器に関する情報である機器情報、対基板作業の作業条件および作業結果に関する情報である作業情報、並びに、対象物TG0に関する情報である対象物情報のうちの少なくとも一つである。
例えば、基板90に付されている識別コードから読み取られる情報(基板90を特定する識別情報など)、基板90に設けられている位置決め基準部90Mの位置情報および形状情報、基板90の搬送速度などは、基板情報に含まれる。また、例えば、対基板作業機WMが部品装着機WM3の場合、部品装着機WM3を特定する情報、フィーダ121を特定する情報、フィーダ121の部品供給装置12における搭載位置(部品92の吸着位置)を特定する情報、装着ヘッド20および保持部材30を特定する情報などは、機器情報に含まれる。
また、例えば、制御装置16に記憶されている制御プログラムおよび予め設定されている装着条件などは、作業条件に関する作業情報に含まれる。例えば、制御プログラムのバージョン情報、部品92の装着順序、部品92が基板90に装着されるときの回路番号、部品92の吸着位置および許容値、部品92の装着位置、フィーダ121のキャリアテープの送り回数および送り補正量などは、作業条件に関する作業情報に含まれる。
また、部品移載装置13のヘッド駆動装置131は、例えば、ボールねじなどの直動機構により移動台132を、X軸方向およびY軸方向に移動させる。この場合、ボールねじの温度によって熱膨張の程度が異なるので、制御装置16は、ボールねじの温度に応じて移動量を補正する。移動台132の熱膨張に対する補正量は、作業条件に関する作業情報に含まれる。
さらに、例えば、基板カメラ15によって撮像された撮像画像を画像処理して、基板90の位置決め状態を認識した認識結果(良好または不良、エラーコードなど)は、作業結果に関する作業情報に含まれる。部品カメラ14によって撮像された撮像画像を画像処理して、部品92の保持姿勢を認識した認識結果(良好または不良、エラーコードなど)は、作業結果に関する作業情報に含まれる。
また、印刷検査機WM2によって撮像された撮像画像を画像処理して、はんだ91の印刷状態を検査した検査結果(良好または不良、エラーコードなど)は、作業結果に関する作業情報に含まれる。さらに、外観検査機WM5によって撮像された撮像画像を画像処理して、部品92の装着状態を検査した検査結果(良好または不良、エラーコードなど)は、作業結果に関する作業情報に含まれる。
また、例えば、部品装着機WM3によって基板90に装着される部品92に関する情報は、対象物情報に含まれる。例えば、部品92が基板90に装着されるときの回路番号、部品92の吸着位置、部品92の装着位置、部品92の部品種、部品92の製造者、部品92の製造ロット、部品92の形状関連情報およびパッケージ情報などは、対象物情報に含まれる。さらに、印刷機WM1によって基板90に印刷されるはんだ91に関する情報は、対象物情報に含まれる。
また、印刷検査機WM2、外観検査機WM5などの検査機が対象物TG0を検査する際に使用する検査基準情報は、対象物情報に含まれる。なお、付加情報は、基板情報、機器情報、作業情報および対象物情報の複数の情報に含まれる場合もある。例えば、部品92の吸着位置は、機器情報に含まれると共に、作業情報および対象物情報にも含まれる。
階級抽出部87は、度数関連情報に基づいて複数の分布を含む度数分布または相対度数分布が得られるときに、画像データに付加されている付加情報に基づいて、複数の分布の中から付加情報に対応する分布を選出して、当該分布が属する階級を抽出する(図4Cに示すステップS32)。この場合、取得部81は、階級抽出部87によって抽出された階級に属する画像データについて、度数関連情報を取得する。
例えば、既述した一の製造者が製造した部品92の度数分布または相対度数分布(度数関連情報)が図7に示す曲線L21の正規分布で示され、他の製造者が製造した部品92の度数分布または相対度数分布(度数関連情報)が曲線L22の正規分布で示される場合を想定する。この場合、階級抽出部87は、例えば、画像データに付加されている対象物情報に含まれる部品92の製造者の情報に基づいて、曲線L21および曲線L22で示される二つの正規分布のうち、当該製造者に対応する分布を選出する。
そして、階級抽出部87は、選出した分布が属する階級(図7に示す第一階級RK1または第二階級RK2)を抽出する。取得部81は、階級抽出部87によって抽出された階級(第一階級RK1または第二階級RK2)に属する画像データについて、度数関連情報を取得する。このように、度数関連情報に基づいて複数の分布を含む多峰性の度数分布または相対度数分布が得られる場合であっても、画像データ管理装置80は、既述した事項を適用することができる。
また、上述した例において、一の製造者が製造した部品92について、形状関連情報が作成されており、他の製造者が製造した部品92について、形状関連情報が作成されていない場合を想定する。この場合、一の製造者が製造した部品92について設定されている許容範囲RA1に相当する階級に部品92の計測値が含まれないが、他の製造者が製造した部品92について設定されるべき許容範囲RA1に相当する階級に部品92の計測値が含まれる場合がある。この場合、管理部85は、他の製造者が製造した部品92の計測値が許容範囲RA1に含まれる形状関連情報を作成すると良い。上述したことは、検査基準情報についても同様に言える。
2.その他
上記実施形態では、対基板作業機WMである部品装着機WM3の制御装置16が、画像データを画像処理して対象物TG0である部品92を計測している。しかしながら、画像データ管理装置80の取得部81が、画像データを画像処理して対象物TG0である部品92を計測して、対象物TG0である部品92の計測値を取得することもできる。上述したことは、他の対基板作業機WMおよび対象物TG0についても同様に言える。
上記実施形態では、対基板作業機WMである部品装着機WM3の制御装置16が、画像データを画像処理して対象物TG0である部品92を計測している。しかしながら、画像データ管理装置80の取得部81が、画像データを画像処理して対象物TG0である部品92を計測して、対象物TG0である部品92の計測値を取得することもできる。上述したことは、他の対基板作業機WMおよび対象物TG0についても同様に言える。
また、データサーバDSは、管理装置WHCに設けられているが、対基板作業機WMに設けることもできる。さらに、データサーバDSは、対基板作業機WMの製造者が対基板作業機WMの不具合に対応するときに用いる管理装置に設けることもできる。この場合、対基板作業機WMの製造者は、データサーバDSに保存されている画像データを使用して、対基板作業機WMの不具合に対応することができる。
3.画像データ管理方法
画像データ管理装置80について既述したことは、画像データ管理方法についても同様に言える。具体的には、画像データ管理方法は、取得工程と、選定工程とを備える。取得工程は、取得部81が行う制御に相当する。選定工程は、選定部82が行う制御に相当する。また、画像データ管理方法は、良否判断工程、データ送信工程、管理工程、付加工程、階級抽出工程のうちの少なくとも一つを備えることができる。良否判断工程は、良否判断部83が行う制御に相当する。データ送信工程は、データ送信部84が行う制御に相当する。管理工程は、管理部85が行う制御に相当する。付加工程は、付加部86が行う制御に相当する。階級抽出工程は、階級抽出部87が行う制御に相当する。
画像データ管理装置80について既述したことは、画像データ管理方法についても同様に言える。具体的には、画像データ管理方法は、取得工程と、選定工程とを備える。取得工程は、取得部81が行う制御に相当する。選定工程は、選定部82が行う制御に相当する。また、画像データ管理方法は、良否判断工程、データ送信工程、管理工程、付加工程、階級抽出工程のうちの少なくとも一つを備えることができる。良否判断工程は、良否判断部83が行う制御に相当する。データ送信工程は、データ送信部84が行う制御に相当する。管理工程は、管理部85が行う制御に相当する。付加工程は、付加部86が行う制御に相当する。階級抽出工程は、階級抽出部87が行う制御に相当する。
4.実施形態の効果の一例
画像データ管理装置80によれば、取得部81および選定部82を備える。これにより、画像データ管理装置80は、画像データの度数分布または相対度数分布における特徴部FP1が含まれる対象階級TC1に属する画像データを抽出対象の画像データに選定することができる。画像データ管理装置80について上述したことは、画像データ管理方法についても同様に言える。
画像データ管理装置80によれば、取得部81および選定部82を備える。これにより、画像データ管理装置80は、画像データの度数分布または相対度数分布における特徴部FP1が含まれる対象階級TC1に属する画像データを抽出対象の画像データに選定することができる。画像データ管理装置80について上述したことは、画像データ管理方法についても同様に言える。
80:画像データ管理装置、81:取得部、82:選定部、
83:良否判断部、84:データ送信部、85:管理部、86:付加部、
87:階級抽出部、90:基板、DS:データサーバ、FP1:特徴部、
FP11,FP21:代表値、FP12,FP22:最大値、
FP13,FP23:最小値、RP1:基準値、RA1:許容範囲、
TC1:対象階級、TG0:対象物、WM:対基板作業機。
83:良否判断部、84:データ送信部、85:管理部、86:付加部、
87:階級抽出部、90:基板、DS:データサーバ、FP1:特徴部、
FP11,FP21:代表値、FP12,FP22:最大値、
FP13,FP23:最小値、RP1:基準値、RA1:許容範囲、
TC1:対象階級、TG0:対象物、WM:対基板作業機。
Claims (11)
- 基板に所定の対基板作業を行う対基板作業機が同種の対象物を撮像した複数の画像データの中から少なくとも一つの抽出対象の前記画像データを選定する画像データ管理装置であって、
前記画像データを画像処理して取得される前記対象物の計測値を複数の階級に区分して複数の前記画像データについて各階級に属する前記画像データの度数を算出した度数関連情報を取得する取得部と、
前記取得部によって取得された前記度数関連情報に基づいて前記画像データの度数分布または相対度数分布における特徴部が含まれる少なくとも一つの階級である対象階級を選出して、前記対象階級に属する少なくとも一つの前記画像データを前記抽出対象の前記画像データに選定する選定部と、
を備える画像データ管理装置。 - 前記特徴部は、前記対象物の前記計測値の代表値、最大値および最小値のうちの少なくとも一つである請求項1に記載の画像データ管理装置。
- 前記特徴部は、前記度数分布または前記相対度数分布の統計値に基づいて算出される前記度数分布または前記相対度数分布の代表値、最大値および最小値のうちの少なくとも一つである請求項1に記載の画像データ管理装置。
- 前記度数関連情報は、前記対象物の前記計測値の階級と前記画像データの度数が階級ごとに記録されている度数分布データまたは前記度数分布データに基づいて作成される前記度数分布若しくは前記相対度数分布である請求項1~請求項3のいずれか一項に記載の画像データ管理装置。
- 前記対基板作業機は、前記画像データに基づいて前記対象物の良否を判断する良否判断部を備え、
前記選定部は、前記対象階級に属する前記画像データに加えて、前記良否判断部が前記対象物を不良と判断したときに用いられた前記画像データを前記抽出対象の前記画像データに選定する請求項1~請求項4のいずれか一項に記載の画像データ管理装置。 - 前記対基板作業機によって取得された複数の前記画像データのうち、前記選定部によって選定された前記抽出対象の前記画像データをデータサーバに送信するデータ送信部をさらに備える請求項1~請求項5のいずれか一項に記載の画像データ管理装置。
- 前記対象物の計測に関する基準値および許容範囲を含む前記対象物の形状に関連する情報が少なくとも定義されている形状関連情報を管理する管理部をさらに備え、
前記管理部は、前記対象物の前記許容範囲に相当する階級に前記対象物の前記計測値が含まれず且つ前記対象物が適当であるときに、当該計測値が前記許容範囲に含まれるように前記形状関連情報に定義されている前記基準値および前記許容範囲のうちの少なくとも一方を修正し、または、当該計測値が前記許容範囲に含まれる前記形状関連情報を作成する請求項1~請求項6のいずれか一項に記載の画像データ管理装置。 - 前記対基板作業機は、前記対象物を検査する検査機であり、
前記検査機が前記対象物を検査する際に使用する情報であって前記対象物の計測に関する基準値および許容範囲が定義されている検査基準情報を管理する管理部をさらに備え、
前記管理部は、前記対象物の前記許容範囲に相当する階級に前記対象物の前記計測値が含まれず且つ前記対象物が適当であるときに、当該計測値が前記許容範囲に含まれるように前記検査基準情報に定義されている前記基準値および前記許容範囲のうちの少なくとも一方を修正し、または、当該計測値が前記許容範囲に含まれる前記検査基準情報を作成する請求項1~請求項6のいずれか一項に記載の画像データ管理装置。 - 前記対基板作業機は、前記対象物を用いた前記対基板作業に関する付加情報を前記画像データに付加する付加部を備え、
前記度数関連情報に基づいて複数の分布を含む前記度数分布または前記相対度数分布が得られるときに、前記画像データに付加されている前記付加情報に基づいて、複数の前記分布の中から前記付加情報に対応する前記分布を選出して、当該分布が属する階級を抽出する階級抽出部をさらに備え、
前記取得部は、前記階級抽出部によって抽出された階級に属する前記画像データについて、前記度数関連情報を取得する請求項1~請求項8のいずれか一項に記載の画像データ管理装置。 - 前記付加情報は、前記基板に関する情報である基板情報、前記対基板作業において使用される使用機器に関する情報である機器情報、前記対基板作業の作業条件および作業結果に関する情報である作業情報、並びに、前記対象物に関する情報である対象物情報のうちの少なくとも一つである請求項9に記載の画像データ管理装置。
- 基板に所定の対基板作業を行う対基板作業機が同種の対象物を撮像した複数の画像データの中から少なくとも一つの抽出対象の前記画像データを選定する画像データ管理方法であって、
前記画像データを画像処理して取得される前記対象物の計測値を複数の階級に区分して複数の前記画像データについて各階級に属する前記画像データの度数を算出した度数関連情報を取得する取得工程と、
前記取得工程によって取得された前記度数関連情報に基づいて前記画像データの度数分布または相対度数分布における特徴部が含まれる少なくとも一つの階級である対象階級を選出して、前記対象階級に属する少なくとも一つの前記画像データを前記抽出対象の前記画像データに選定する選定工程と、
を備える画像データ管理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/028907 WO2021014589A1 (ja) | 2019-07-23 | 2019-07-23 | 画像データ管理装置および画像データ管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021014589A1 JPWO2021014589A1 (ja) | 2021-01-28 |
JP7142169B2 true JP7142169B2 (ja) | 2022-09-26 |
Family
ID=74192508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021534465A Active JP7142169B2 (ja) | 2019-07-23 | 2019-07-23 | 画像データ管理装置および画像データ管理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7142169B2 (ja) |
WO (1) | WO2021014589A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004172203A (ja) | 2002-11-18 | 2004-06-17 | Hitachi High-Tech Instruments Co Ltd | 電子部品装着装置 |
JP2009267099A (ja) | 2008-04-25 | 2009-11-12 | Omron Corp | 基板検査方法および自動外観検査の検査結果確認システム |
WO2018087932A1 (ja) | 2016-11-14 | 2018-05-17 | 株式会社Fuji | 保存画像の再分類システム及び再分類方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6424874B2 (ja) * | 2016-10-12 | 2018-11-21 | オムロン株式会社 | 動作状態監視装置、学習データ生成装置、方法およびプログラム |
-
2019
- 2019-07-23 WO PCT/JP2019/028907 patent/WO2021014589A1/ja active Application Filing
- 2019-07-23 JP JP2021534465A patent/JP7142169B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004172203A (ja) | 2002-11-18 | 2004-06-17 | Hitachi High-Tech Instruments Co Ltd | 電子部品装着装置 |
JP2009267099A (ja) | 2008-04-25 | 2009-11-12 | Omron Corp | 基板検査方法および自動外観検査の検査結果確認システム |
WO2018087932A1 (ja) | 2016-11-14 | 2018-05-17 | 株式会社Fuji | 保存画像の再分類システム及び再分類方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021014589A1 (ja) | 2021-01-28 |
WO2021014589A1 (ja) | 2021-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8527082B2 (en) | Component mounting method, component mounting apparatus, method for determining mounting conditions, and apparatus and program for determining mounting conditions | |
US20090046921A1 (en) | Pick and place machine with improved component pick up inspection | |
US20070130755A1 (en) | Electronics assembly machine with embedded solder paste inspection | |
US20120189188A1 (en) | Component mounting system and mounting state inspection method in the component mounting system | |
KR101451690B1 (ko) | 부품 실장 시스템, 부품 실장 장치 및 부품 검사 장치 | |
US10772250B2 (en) | Component mounting device and component mounting system | |
US20090229118A1 (en) | Electronics Assembly Machine with Wireless Communication Nozzle | |
JP7002671B2 (ja) | データ管理装置およびデータ管理方法 | |
US11665875B2 (en) | Substrate work machine | |
JP7142169B2 (ja) | 画像データ管理装置および画像データ管理方法 | |
JP7147067B2 (ja) | データ管理装置 | |
US20220151120A1 (en) | Correction amount calculating device and correction amount calculating method | |
CN113508652A (zh) | 部件搭载装置以及部件搭载方法、安装基板制造系统以及安装基板制造方法、和搭载完毕部件检查装置 | |
KR102510457B1 (ko) | 표면실장 장치 및 방법 | |
JP7153126B2 (ja) | 良否判定装置および良否判定方法 | |
JP7153127B2 (ja) | 良否判定装置および良否判定方法 | |
JP7473735B2 (ja) | 異物検出装置および異物検出方法 | |
JP2020113568A (ja) | 部品実装装置 | |
JP7094366B2 (ja) | 検査設定装置および検査設定方法 | |
JP5834205B2 (ja) | 部品実装システム及び部品実装システムにおける検査用画像の生成方法 | |
WO2024150351A1 (ja) | 検査装置および検査方法 | |
WO2024121970A1 (ja) | 良否判定装置および良否判定方法 | |
WO2024024008A1 (ja) | 表示システム | |
CN208979856U (zh) | 自动化置件机台 | |
KR100661844B1 (ko) | 솔더볼 마운트 장비에서 기준값을 조정하는 방법 및 이를위한 컴퓨터로 읽을 수 있는 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211103 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220912 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7142169 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |