JP6418739B2 - 評価装置、表面実装機、評価方法 - Google Patents

評価装置、表面実装機、評価方法 Download PDF

Info

Publication number
JP6418739B2
JP6418739B2 JP2014002427A JP2014002427A JP6418739B2 JP 6418739 B2 JP6418739 B2 JP 6418739B2 JP 2014002427 A JP2014002427 A JP 2014002427A JP 2014002427 A JP2014002427 A JP 2014002427A JP 6418739 B2 JP6418739 B2 JP 6418739B2
Authority
JP
Japan
Prior art keywords
recognition
evaluation
image
recognition algorithm
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014002427A
Other languages
English (en)
Other versions
JP2015133349A (ja
Inventor
誠司 仲村
誠司 仲村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to JP2014002427A priority Critical patent/JP6418739B2/ja
Publication of JP2015133349A publication Critical patent/JP2015133349A/ja
Application granted granted Critical
Publication of JP6418739B2 publication Critical patent/JP6418739B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

本発明は、認識アルゴリズムの適否を評価する技術に関する。
例えば、表面実装機や印刷機などでは、認識アルゴリズムを利用して、搭載する電子部品やプリント基板上のマークを認識している(下記特許文献1参照)。
特許第3993107号公報
認識アルゴリズムは、認識対象の種類に応じて用意されていることに加え、同じ種類の認識対象であっても認識方法の異なるものが用意されている場合もあり、実際に認識処理を行う場合には、用意された複数の認識アルゴリズムの中から、認識に最適なアルゴリズムを選択することが必要であるが、ユーザのスキルが十分でない場合には、どの認識アルゴリズムが最適か、選択することが難しかった。
本発明は上記のような事情に基づいて完成されたものであって、認識に最適な認識アルゴリズムの選択を容易、又は自動化することを目的とする。
本発明に係る、認識アルゴリズムの適否を評価する評価装置は、認識対象の画像に変化を与える画像処理を実行する画像処理部と、前記画像処理部にて変化を与えた画像を、各認識アルゴリズムを用いて、それぞれ認識させる認識部と、各認識アルゴリズムの認識結果から、認識対象に対する認識の適否を評価する評価部とを含む。この構成では、認識に最適な認識アルゴリズムの選択を容易、又は自動化できる。
本発明の実施態様として、以下の構成が好ましい。
・前記画像処理部は、認識対象の画像の明るさを変化させる処理を実行し、前記評価部は、認識アルゴリズムの明るさの変化に対するロバスト性を評価する。明るさの変化に対するロバスト性を評価することで、認識対象を撮影する際の照明光量の変動や、外乱光等の影響を受け難い認識データを作成可能な認識アルゴリズムが選択可能となる。尚、ロバストとは、変化(外乱)に対して頑強であることを意味する。
・前記画像処理部は、認識対象の画像のサイズを変化させる処理を実行し、前記評価部は、認識アルゴリズムのサイズの変化に対するロバスト性を評価する。サイズの変化に対するロバスト性を評価することで、認識対象の個体差によるサイズの変化の影響を受け難い認識データを作成可能な認識アルゴリズムが選択可能となる。
・前記画像処理部は、認識対象の画像の位置を変化させる処理を実行し、前記評価部は、認識アルゴリズムの位置変化に対する追従性を評価する。位置変化に対する追従性を評価することで、認識対象の位置変化(例えば、電子部品の吸着位置の変化)に正しく追従する、より高精度な認識データを作成可能な認識アルゴリズムが選択可能となる。
・前記画像処理部は、認識対象の画像の角度を変化させる処理を実行し、前記評価部は、認識アルゴリズムの角度変化に対する追従性を評価する。角度変化に対する追従性を評価することで、認識対象の角度変化(例えば、電子部品の吸着角度の変化)に正しく追従する、より高精度な認識データを作成可能な認識アルゴリズムが選択可能となる。
・前記画像処理部は、画像の明るさを変化させる処理と、画像のサイズを変化させる処理と、画像の位置を変化させる処理と、画像の角度を変化させる処理のうち、少なくとも2以上の処理を実行し、前記評価部は、各変化に対する各認識アルゴリズムの認識結果に基づいて、認識の適否を評価する。この構成では、明るさの変化、サイズ変化、位置変化等に対して、認識結果が総合的に高い認識アルゴリズムが選択可能となる。
・前記画像処理部は、各認識アルゴリズムが認識に要する時間を計測する計測部を含み、前記評価部は、変化に対する各認識アルゴリズムの認識結果と、各認識アルゴリズムの認識時間とに基づいて、認識の適否を評価する。認識時間を評価することで、タクトロスの少ない認識アルゴリズムが選択可能となる。
・前記評価結果に基づいて、認識に適した認識アルゴリズムを自動選択する選択部を含む。この構成では、認識に適した認識アルゴリズムを自動的に選択出来るので、ユーザの手間を省くことが出来る。
・前記画像処理部と、前記認識部と、前記評価部とを含む、制御部を有する。更に、前記制御部は、認識に適した認識アルゴリズムを自動選択する選択部を含む。画像処理専用のハード回路等を、別回路として持つ必要がなく、装置の構成を簡素化できるというメリットがある。
・表示部を備え、前記制御部は、前記評価結果を前記表示部に表示させる。表示された評価結果を参照することで、認識に適した認識アルゴリズムを、ユーザが選択し易くなる。
本発明に係る表面実装機は、電子部品をプリント基板上に実装する実装部と、前記電子部品又は前記プリント基板を撮影する撮影部と、本発明に係る評価装置と、を含み、前記認識対象は、前記電子部品又は、前記プリント基板上に設けられたマークを含む。この構成では、電子部品や、プリント基板上に設けられたマークの認識に、最適な認識アルゴリズムの選択を容易、又は自動化できる。
本発明に係る認識アルゴリズムの適否を評価する評価方法は、認識対象の画像に変化を与える画像処理ステップと、前記画像処理ステップにて変化を与えた画像を、各認識アルゴリズムを用いて、それぞれ認識させる認識ステップと、各認識アルゴリズムの認識結果から、認識対象に対する認識の適否を評価する評価ステップとを含む。この方法では、認識に最適な認識アルゴリズムの選択を容易、又は自動化できる。
本発明によれば、認識に最適な認識アルゴリズムの選択を容易、又は自動化できる。
実施形態1において、認識データを示す図 電子部品の種類を示す図 画像の変化パターンを示す図(サイズの変化を示す) 画像の変化パターンを示す図(位置の変化を示す) 画像の変化パターンを示す図(角度の変化を示す) 画像の変化パターンを示す図(明るさの変化を示す) 位置変化の追従性の評価結果を示す図 位置変化の追従性の評価結果を示す図 認識アルゴリズム自動選択装置の電気的構成を示すブロック図 評価シーケンスの処理の流れを示すフローチャート図 認識アルゴリズム候補選択処理の流れを示すフローチャート図 画像変化認識処理の流れを示すフローチャート図 最適アルゴリズム選択処理の流れを示すフローチャート図 入力画像を示す図 評価結果を示す図 実施形態2に係る認識アルゴリズム自動選択装置の電気的構成を示すブロック図 認識アルゴリズムの評価項目を示す図 実施形態3に係る表面実装機の平面図 表面実装機の電気的構成を示すブロック図 プリント基板に付された位置マークを示す図
<実施形態1>
本発明の実施形態1を図1ないし図15によって説明する。
1.概要説明
「認識アルゴリズム」とは、認識対象を画像認識するアルゴリズムであり、例えば、プリント基板に実装する電子部品の画像認識等に使用される。認識アルゴリズムによる認識内容は、認識対象の形状等であり、認識対象がリード付きの電子部品50の場合、図1にて示すように、電子部品50の画像からリード等を検出してリード幅d、リード間のピッチP、リード51の先端間距離L1、リード先端座標、リード本数、リード長L2、検出閾値等を画像認識する。また、これら認識結果から電子部品50の中心座標Oや傾きθを検出することが出来る。電子部品50の中心座標Oや傾きθは、得られた認識結果から演算できるほか、部品の基準データが存在する場合には、基準データと認識結果を照合して位置のズレを求めることでも検出できる。
図2に示すように、プリント基板に搭載される電子部品には、チップ部品や、ボール部品、IC部品や、コネクタ部品等の種類があり、更に、各種の部品は、より細かく種類が細分化されている。例えば、IC部品であれば、2端子部品、ミニトランジスタ、パワートランジスタ、SOP(Small Outline Package)、SOJ(Small Outline J-leaded)、QFP(Quad Flat Package)、PLCC(Plastic leaded chip carrier)等がある。
認識アルゴリズムは、電子部品の種類ごと、例えば、IC部品であれば、2端子部品、トランジスタ、SOP、SOJ、QFP、PLCCごとに設けられている。そして、同じ種類の電子部品でも、エッジ(明るさの変化点)の検出方法や、認識条件の違い等により、複数の認識アルゴリズムが設けられている。
本認識アルゴリズム自動選択装置10は、そうした複数の認識アルゴリズムについて、認識対象に対する適否を評価し、得られた評価結果から、認識対象に適した認識アルゴリズムを自動選択する装置である。尚、以下の説明において、「認識データ」を作成するとは、認識対象を画像認識した結果から認識対象の形状や位置等のデータ(電子部品50の場合であれば、リード幅d、リード間のピッチP、リード51の先端間距離L1、リード先端座標、リード本数、リード長L2、検出閾値等のデータ)を作成することを意味する。
2.認識アルゴリズムの適否を評価する評価方法
認識アルゴリズムの適否を評価する評価方法は、以下の(a)〜(c)の3ステップから構成されている。
(a)画像処理(図12:S32)
(b)認識処理(図12:S34)
(c)評価処理(図13:S41、S43)
画像処理は、認識対象の画像データに対して、変化を加える処理である。変化の種類には、認識対象の画像の「明るさ」の変化、認識対象の画像の「サイズ」の変化(図3参照)、認識対象の画像の「位置」の変化(図4参照)、認識対象の画像の「角度」の変化(図5参照)がある。
認識処理は、変化を加えた各画像を、各認識アルゴリズムを用いて、認識する処理である。そして、評価処理は、各認識アルゴリズムの認識結果から、認識対象に対する認識の適否を評価する処理である。
具体的に説明すると、画像の「明るさ」を変化させる場合、「明るさ」を変化させた画像データを認識アルゴリズムで認識し、認識アルゴリズムの「明るさ」の変化に対する耐性(ロバスト性)を評価する。そして、明るさの変化に対する耐性が高い程、認識対象の画像認識に適していると判断する。
例えば、図6の例では、画像の明るさを「20」%、「60」%、「100」%(明るさの基準)、「140」%、「180」%の4段階に変化させた画像を、認識アルゴリズムAと、認識アルゴリズムBの2種で認識している。
認識結果は、図6に示すように、認識アルゴリズムAでは「20」%、「60」%、「180」%の3つで認識エラーになるのに対して、認識アルゴリズムAでは「20」%だけが認識エラーになっている。また、図6に示す下段の欄の数値は、認識データから算出した中心座標の誤差率を示しており、明るさを同じ割合変化させた場合に、認識アルゴリズムBの方が、認識アルゴリズムAよりも中心座標の誤差率が小さい。この場合、認識アルゴリズムBの方が、「明るさ」の変化に対する耐性(ロバスト性)に優れていることから、認識アルゴリズムBの方が、認識対象の画像認識に適していると判断出来る。尚、「明るさ」の変化に対して耐性に違いが生じる理由は、認識アルゴリズムが用いているエッジの検出方法や、閾値の設定の違いにあると考えられる。
また、認識対象の画像の「サイズ」を変化させる場合は、「サイズ」を変化させた画像データを認識アルゴリズムで認識し、認識アルゴリズムの「サイズ」の変化に対する耐性(ロバスト性)を評価する。そして、サイズの変化に対する耐性が高い程、認識対象の画像認識に適していると判断する。
尚、「サイズ」の変化に対する耐性を評価するには、画像の「サイズ」を変化させた時の認識データから、認識対象の中心座標(認識値)や角度(認識値)を算出する。そして、算出した認識対象の中心座標(認識値)や角度(認識値)を、サイズ変化前の認識対象の画像の中心座標や角度と比較することにより評価できる。すなわち、「サイズ」の変化に対して「中心座標」や「角度」の変化が小さいほど、「サイズ」の変化に対する耐性が高いと評価できる。
また、認識対象の画像の「位置」を変化させる場合は、「位置」を変化させた画像データを認識アルゴリズムで認識し、認識アルゴリズムの「位置」の変化に対する追従性を評価する。そして、位置変化に対する追従性が高い程、認識対象の画像認識に適していると判断する。
尚、位置変化の追従性を評価するには、「位置」を変化させた画像データを認識アルゴリズムで認識し、得られる認識データから、認識対象の中心座標の移動量(認識値)を求める。そして、画像データの「位置」の変化量に対する移動量(認識値)の誤差を算出することで、位置変化に対する追従性を評価できる。
図7、図8は、画像の「位置」を、図4に示す斜め方向に直線的に変化させた場合の、認識値の変化の推移をグラフで示しており、図7に示すように認識値が階段状に変化する場合は、追従性は低く、図8に示すように認識値が概ね直線的に変化する場合は、追従性が高い。
また、認識対象の画像の「角度」を変化させる場合は、「角度」を変化させた画像データを認識アルゴリズムで認識し、認識アルゴリズムの角度変化に対する追従性を評価する。そして、角度変化に対する追従性が高い程、認識対象の画像認識に適していると判断する。
尚、角度変化の追従性を評価するには、「角度」を変化させた画像データを認識アルゴリズムで認識し、得られる認識データから、認識対象の角度の変化量(認識値)を求める。そして、画像データの「角度」の変化量に対する角度の変化量(認識値)の誤差を算出することで、角度変化に対する追従性を評価できる。
また、画像の「位置」や「角度」を変化させた時に、認識アルゴリズムの種類によって、追従性に違いが出来る理由の一つは、認識対象に適さない認識アルゴリズムは、認識対象の位置や角度によって、認識の仕方が変わってしまうからである。
例えば、図15の例は、「SOP」を、QFP認識用の認識アルゴリズム1で認識した場合と、SOP認識用の認識アルゴリズム2で認識した場合と、トランジスタ認識用の認識アルゴリズム3で認識した場合の認識結果を示しており、画像認識されたリードを「白抜きの枠K」にて示している。
認識アルゴリズム2は、「SOP」認識用であり、左右両側のリードを本数に関係なく画像認識することから、図中に示すように、左右7本のリードが正しく画像認識される。そのため、画像の「位置」や「角度」を変化させても、同じように、左右7本のリードが正しく認識される。認識アルゴリズムは、リードの位置を検出して、その電子部品の位置や傾きを算出することから、リードを正確に認識できる認識アルゴリズム2は、画像の「位置」や「角度」の変化に対して、画像認識される変化量もリニアに変化することになる。
一方、認識アルゴリズム3は、トランジスタ認識用であり、上下に配置された3本のリードだけを認識する。図15の例では、左右7本のリードのうち、枠K1と枠K2で示す上側の2本と、枠K3で示す下側の1本をリードとして認識している。そして、画像の「位置」や「角度」を変化させた場合には、例えば、枠K1で示す上側1本と、枠K3、枠K4で示す下側の2本のリードなど、当初とは異なる3本のリードを認識することがある。このように認識されるリードが、画像の「位置」や「角度」の変化によって変わるため、認識アルゴリズム3は、画像の「位置」や「角度」の変化に対して、画像認識される変化量がリニアに変化しない。
要するところ、種類が異なるなど、認識対象に不適な認識アルゴリズムで認識を行うと、その認識アルゴリズムは、プログラムされた認識対象の特徴に一致するように無理やり画像認識する。そのため、画像に変化を加えると、認識結果が極端に変化する場合があり、変化に対する追従性が低くなる。
そして、本実施形態では、図15に示すように、「明るさ」の変化に対する耐性と、「サイズ」の変化に対する耐性と、「位置」の変化に対する追従性と、「角度」の変化に対する追従性を数値化して評価点を算出し、それら4項目の評価点から総合評価点を算出して、認識アルゴリズムの適否を評価する。そして、評価点が最も高い認識アルゴリズムを、その認識対象に最適なアルゴリズムであるとして、自動選択する。
3.認識アルゴリズム自動選択装置の電気的構成
認識アルゴリズム自動選択装置10は、図9に示すように、CPU(本発明の「制御部」の一例)21、入力部23、RAM31、画像メモリ33、ROM35、表示部37などから構成されている。入力部23は、カメラ41、スキャナ43、メディア45等の外部機器から認識対象の画像データ(入力画像)を受け付ける機能を果たす。
ROM35は、複数の認識アルゴリズムや、評価シーケンスの実行プログラムを記憶している。RAM31は、CPU21のワークキングメモリである。そして、CPU21は、上記した画像処理(図12:S32)を実行する画像処理部21Aと、認識処理(図12:S34)を実行する認識部21Bと、評価処理(図13:S41、S43)を実行する評価部21Cと、認識対象に適した認識アルゴリズムを自動選択する選択処理を実行する選択部21Dを含む。
4.評価シーケンス
次に、CPU21により実行される認識アルゴリズムの評価シーケンスについて、図10〜図15を参照して説明を行う。認識アルゴリズムの評価シーケンスは、図10に示すように、S10〜S50の処理から構成されている。尚、以下の説明において、ROM35に対して、電子部品用の認識アルゴリズムとして、全N個が記憶されているものとして説明を行う。
認識アルゴリズムの評価シーケンスを実行する場合、まず、ユーザによる画像データの入力が行われる(S10)。画像データの入力とは、認識対象の画像(この例では、図14に示す「SOP」の画像A)を、入力部23に対して入力する処理である。入力された画像は、CPU21により画像メモリ33に記憶される。
画像データの入力が行われると、次に、認識アルゴリズム候補を選択する処理が、CPU21により実行される(S20)。具体的に説明すると、認識アルゴリズム候補を選択する処理は、図11に示すS21〜S29の処理から構成されている。まず、S21では、ROM35に記憶されているN個の認識アルゴリズムから一の認識アルゴリズムnを選択する処理(読み出す処理)が実行される。1回目の処理は、1番目の認識アルゴリズム1が選択されることになる。
続く、S23では、選択された認識アルゴリズムn(ここでは、1番目の認識アルゴリズム1)を用いて、認識対象の画像(この例では、図14に示す「SOP」の画像A)を、認識する処理がCPU21の認識部21Bにより実行される。
続く、S25では、認識に成功したか否かを判定する処理がCPU21により実行される。認識処理に成功していれば、S27に移行して、その認識アルゴリズムnを候補として登録する処理と、認識アルゴリズムnにより読み取った認識データを保存する処理が実行される。従って、ここでは、認識処理に成功していれば、1番目の認識アルゴリズム1を登録する処理と、1番目の認識アルゴリズム1により読み取った認識データを保存する処理が実行される。一方、認識処理に成功しない場合は、S27の処理はスキップされる。
その後、処理は、S29に移行し、全N個の認識アルゴリズムについて認識処理を終了したか、判定する処理が行われる。全N個の認識アルゴリズムについて認識処理が終了していない場合には、S21に戻り、次の認識アルゴリズムを選択する処理が行われることになる。そのため、2回目にS21の処理を行う場合には、2番目の認識アルゴリズム2が選択されることになる。その後、S23では、2番目の認識アルゴリズム2を用いて、認識対象の画像(ここでは、図14に示す「SOP」の画像A)を、認識する処理がCPU21の認識部21Bにより実行される。
そして、S25では、認識に成功したか否かを判定する処理がCPU21により実行される。認識処理に成功していれば、S27に移行して、その認識アルゴリズムnを登録する処理と、認識アルゴリズムnにより読み取った認識データを保存する処理が実行される。従って、認識処理に成功していれば、2番目の認識アルゴリズム2を候補として登録する処理と、2番目の認識アルゴリズム2により読み取った認識データを保存する処理が実行される。そして、全N個の認識アルゴリズムについて認識処理が終了すると、S29にてYES判定され、S20の処理は終了する。
このS20の処理を行うことで、ROM35に格納された全N個の認識アルゴリズムの中から、認識処理に失敗した認識アルゴリズムは候補から除外され、認識に成功した認識アルゴリズムnが候補として登録されることになる。尚、「候補」とは、認識対象(この例では、図14に示す「SOP」)の画像認識に適した認識アルゴリズムの候補という意味である。
そして、認識アルゴリズム候補が選択されると、次はS30に移行して画像変化認識処理がCPU21にて処理が実行されることになる。画像変化認識処理とは、先に説明したように、認識対象の画像データ(この例では、図14に示す「SOP」の画像A)に対して画像処理により変化を加え、変化させた画像を、S20にて候補として選択した各認識アルゴリズムnに認識させる処理である。
本例では、変化のパターンとして、画像の「明るさ」の変化、画像の「サイズ」の変化、画像の「位置」の変化、画像の「角度」の変化の4パターンを用意しており、画像変化認識処理1で、認識対象の画像データ(この例では、図14に示す「SOP」の画像A)に「明るさ」の変化を加え、その画像データを、S20にて候補として選択した認識アルゴリズムnに認識させる処理を行う。また、画像変化認識処理2で、認識対象の画像データ(この例では、図14に示す「SOP」の画像A)に「サイズ」の変化を加え、その画像データを、S20にて候補として選択した認識アルゴリズムnに認識させる処理を行う。
また、画像変化認識処理3で、認識対象の画像データ(この例では、図14に示す「SOP」の画像A)に「位置」の変化を加え、その画像データを、S20にて候補として選択した認識アルゴリズムnに認識させる処理を行う。また、画像変化認識処理4で、認識対象の画像データ(この例では、図14に示す「SOP」の画像A)に「角度」の変化を加え、その画像データを、S20にて候補として選択した各認識アルゴリズムnに認識させる処理を行う。
尚、S30の画像変化認識処理は、図12に示すS31〜S37の処理から構成されており、まず、S31では、画像変化条件を更新する処理がCPU21により実行される。例えば、画像の「明るさ」を、「20」%、「60」%、「140」%、「180」%の4段階で変化させる場合であれば、S31にて「明るさ」のレベルが「20」%、「60」%、「140」%、「180」%の順に更新されることになる。
そして、S32では変化画像を作成する処理、すなわち、S10で入力された画像データ(この例では、図14に示す「SOP」の画像A)を、S31で更新した条件に従って、変化させた画像データを作成する処理が、CPU21の画像処理部21Aにて、実行される。従って、1回目のS32の処理では、S10で入力された画像データ(この例では、図14に示す「SOP」の画像A)の明るさを、「100」%から「20」%に加工した画像データをソフト的に作成する処理が、CPU21の画像処理部21Aにて実行される。
その後、S33では、S20にて候補として選択された認識アルゴリズムnから認識アルゴリズムを1つ読み出す処理が実行される。そして、S34では、S32にて作成した変化画像(明るさを「20」%に下げた画像)を、S33で読み出した認識アルゴリズムを用いて認識する処理が、CPU21の認識部21Bにて実行される。
従って、S33で認識アルゴリズム1を読み出した場合、S34では、S32にて作成した変化画像を、認識アルゴリズム1で認識する処理が実行されることになる。その後、S35では、その認識データを保存する処理が実行される。
続く、S36では、全認識アルゴリズ候補nについて、変化画像を認識する処理が終了したか判定する処理がCPU21にて実行される。全認識アルゴリズ候補nについて処理が終了していない場合は、S33に戻り、次の認識アルゴリズム候補2が読み出される。そして、S34では、S32にて作成した変化画像を、認識アルゴリズム候補2で認識する処理が実行され、その後、S35にて、その認識データを保存する処理が実行される。
このような処理が、認識アルゴリズムを1つずつ読み出して繰り返し行われる。
そして、明るさを、「20」%に加工した変化画像を、S20にて候補として選択された全n個の認識アルゴリズムで認識する処理が終了すると、S36にてYES判定され、S37に移行する。S37では、全ての画像変化条件について変化画像を認識する処理が終了したか、判定する処理がCPU21にて実行される。終了していない場合、S37でNO判定されることから、S31に戻って、画像変化条件を更新する処理がCPU21により実行される。従って、2回目のS31の処理では「明るさ」のレベルが「40」%に更新される。
その後の処理は、先に説明した通りであり、2回目に行うS32の処理では、S10で入力された画像データ(この例では、図14に示す「SOP」の画像A)の明るさを、「40」%に加工した画像データをソフト的に作成する処理が、CPU21の画像処理部21Aにて実行される。
その後、S33〜S36では、S20にて候補として選択された全n個の認識アルゴリズムから認識アルゴリズムを1つずつ読み出して、S32にて作成した変化画像(明るさを「40」%に下げた画像)を認識する処理(S34)と、その認識データを保存する処理(S35)が実行される。
その後、「明るさ」のレベルを「140」%に加工した画像データ、「180」%に加工した画像データについて同様の処理が行われ、「20」%、「60」%、「140」%、「180」%の4パターンについて、明るさを変化させた画像を、全n個の認識アルゴリズムで認識する処理が終了すると、S37にてYES判定される。これにて、画像の「明るさ」を変化させるパターンについて、S30の画像変化認識処理が終了する。
先に説明したように、本例では、変化のパターンとして、「明るさ」の変化、「サイズ」の変化、「位置」の変化、「角度」の変化の4パターンが用意されているため、本例では、これら4つの変化パターンについて、S30に示す画像変化認識処理がそれぞれ実行されることになる。
そして、4つの変化パターンについて、S30に示す画像変化認識処理が実行されると、次に、認識対象(この例では、図14に示す「SOP」)の画像認識に最適な最適アルゴリズムを選択する処理がCPU21にて実行される(図10に示すS40)。
S40の最適アルゴリズムの選択処理は、図13に示すようにS41、S43、S45の3つの処理から構成されている。S41では、n個の認識アルゴリズムについて、各変化パターンごとに評価点を算出する処理がCPU21の評価部21Cにより実行される。評価点は、変化画像の認識結果より算出される。
例えば、画像の「明るさ」を変化させた場合であれば、明るさを同じ割合変化させた場合の認識データの誤差率や、認識データから算出される中心座標O、傾きθの誤差率、認識エラーの有無を数値化することで、「明るさの変動耐性(明るさの変化に対するロバスト性)」の「評価点」を求めることが出来る。
また、例えば、画像の「サイズ」を変化させた場合であれば、サイズを同じ割合変化させた場合の、認識データ、中心座標O、傾きθ等の誤差率等を数値化することで、「サイズの変動耐性(サイズの変化に対するロバスト性)」の「評価点」を求めることが出来る。
また、例えば、画像の「位置」を変化させた場合であれば、画像データの「位置」の変化量に対する移動量(認識値)の誤差率を数値化することで、位置追従性の評価点を求めることが出来る。
また、例えば、画像の「角度」を変化させた場合であれば、画像データの「角度」の変化量に対する移動量(認識値)の誤差率を数値化することで、回転追従性の評価点を求めることが出来る。
図15は、図14に示す「SOP」の画像データに変化を加え、その画像データを、3種類の認識アルゴリズム1〜3で画像認識した場合の評価点を示している。認識アルゴリズム(QFP認識用)1は、明るさの変動耐性に対する評価点は「70」点であり、サイズの変動耐性に対する評価点は「80」点、位置追従性に対する評価点は「80」点、回転追従性に対する評価点は「75」点である。
また、認識アルゴリズム(SOP認識用)2は、明るさの変動耐性に対する評価点は「70」点であり、サイズの変動耐性に対する評価点は「75」点、位置追従性に対する評価点は「95」点、回転追従性に対する評価点は「90」点である。
また、認識アルゴリズム(トランジスタ認識用)3は、明るさの変動耐性に対する評価点は「60」点であり、サイズの変動耐性に対する評価点は「50」点、位置追従性に対する評価点は「50」点、回転追従性に対する評価点は「25」点である。
そして、S43では、CPU21の評価部21Cにて、S41にて算出した各変化パターンの評価点より、n個の認識アルゴリズムについて、総合評価点が算出される。総合評価点は、各変化パターンの評価点の平均値である。図15の例(n=3)では、認識アルゴリズム1の総合評価点は「76」点であり、認識アルゴリズム2の総合評価点は「83」点であり、認識アルゴリズム3の総合評価点は「46」点である。
そして、S45では、CPU21の選択部21Dにて、最適な認識アルゴリズムが選択される。具体的には、S43にて算出した総合評価点が高い認識アルゴリズムが最適な認識アルゴリズムとして選択される。したがって、図15の例では、総合評価点の最も高い認識アルゴリズム2が、図14に示す「SOP」の認識に最適な認識アルゴリズムに選択される。
その後、S50では、評価結果を出力する処理がCPU21により実行される。この例では、表示部37に対して図15に示す評価結果(各評価点と、総合評価点)が表示され、最適な認識アルゴリズムとして、認識アルゴリズム2が選択された旨の表示が併せて行われる。
5.効果
ユーザのスキルが十分でない場合には、電子部品等を画像認識するにあたり、どの認識アルゴリズムが最適か選択することが難しかった。この点、本実施形態では、認識に最適な認識アルゴリズムを自動選択できるので、ユーザが認識アルゴリズムを誤って選択したり、選択に戸惑うことがない。
加えて、本実施形態では、認識アルゴリズムの評価を、明るさの変動耐性、サイズの変動耐性、位置追従性、回転追従性の4項目について行っているので、1項目だけで、評価を行う場合に比べて、信頼性の高い選択結果が得られる。
また、明るさの変動耐性を評価することで、電子部品を撮影する際の照明光量の変動や、外乱光等の影響を受け難い認識データを作成可能な認識アルゴリズムを自動的に選択可能となる。
また、サイズの変動耐性を評価することで、部品個体差によるサイズの変化の影響を受け難い認識データを作成可能な認識アルゴリズムを自動的に選択可能となる。
また、位置追従性や回転追従性を評価することで、電子部品の吸着位置の変化に正しく追従するより高精度な認識データを作成可能な認識アルゴリズムを自動的に選択可能となる。
また、本実施形態では、評価点や総合評価点を表示するので、評価点や総合評価点が各認識アルゴリズムで、どの程度異なるかを、知らせることが可能である。
また、本実施形態では、CPU21に対して画像処理部21A、認識部21B、評価部21C、選択部21Dを設けており、1つのCPU21で、画像処理、認識処理、評価処理、選択処理を全て行うことができる。そのため、画像処理専用のハード回路等を、別回路として持つ必要がなく、装置の構成を簡素化できるというメリットがある。
<実施形態2>
次に本発明の実施形態2を、図16、図17を参照して説明する。
実施形態1では、認識アルゴリズムの適否の評価項目として、「明るさの変動耐性」、「サイズ変動耐性」、「位置追従性」、「回転追従性」の4項目を挙げた。
実施形態2の認識アルゴリズム自動選択装置10Aでは、図16に示すように、CPU21に計測部21Eを設けている。計測部21Eは、認識アルゴリズムが、認識対象の認識に要する認識時間を計測する。
実施形態2では、図17に示すように、これら4項目に「認識時間」を加えて、認識アルゴリズムの適否を、「明るさの変動耐性」、「サイズ変動耐性」、「位置追従性」、「回転追従性」、「認識時間」の5項目によって評価する。
そして、実施形態2のように、認識時間を、評価項目に加えることで、タクトロスを抑えることが可能となる。
<実施形態3>
次に、本発明の実施形態3を図18〜図20を参照して説明する。
実施形態3は、実施形態1の認識アルゴリズム自動選択装置10を、表面実装機100の一部に組み込んでいる。
表面実装機100は基台110上にコンベア120や、部品搭載装置(本発明の「実装部」の一例)130、部品認識カメラ(本発明の「撮影部」の一例)180、基板認識カメラ(本発明の「撮影部」の一例)190等の各種装置を配置している。
表面実装機100は、図18に示す右側が入り口となっており、プリント基板Gは図18に示す右側よりコンベア120を通じて機内へと搬入される。搬入されたプリント基板Gは、コンベア20により基台中央の作業位置(図18中の二点鎖線で示す位置)まで運ばれ、そこで停止する。
一方、作業位置の周囲には部品供給部115が4箇所設けられている。これら各部品供給部115には、フィーダ170が横並び状に多数設置されている。
部品搭載装置130は、基台上を移動可能なヘッドユニット160を備えている。ヘッドユニット160には、実装動作を行う吸着ヘッド163が列状をなして複数個搭載されている。そして、フィーダ170を通じて供給される電子部品Wを、吸着ヘッド163がフィーダ150上の部品供給位置から取り出して、作業位置に停止したプリント基板G上に実装する構成となっている。その後、実装処理を終えたプリント基板Gはコンベア120を通じて図18における左方向に運ばれ、機外に搬出される。
部品認識カメラ180は、基台110の中央部にて、撮影面を上に向けた状態で固定されており、吸着ヘッド163により取り出された電子部品Wの画像を撮像する。本実装機100では、画像認識により、電子部品Wの向きや傾きが検出しており、傾きを補正して、プリント基板G上に電子部品Wを実装する。
また、基板認識カメラ190は、ヘッドユニット160に撮像面を下に向けた状態で固定されており、ヘッドユニット160と共に一体的に移動する構成とされている。基板認識カメラ190は、作業位置上にあるプリント基板G上の任意の位置の画像を撮像する。プリント基板Gには、図20に示すように位置マークMが付されており、位置マークMを画像認識することで、作業位置におけるプリント基板Pの位置や傾きを認識することが出来る。
次に、表面実装機100の電気的構成について説明する。表面実装機100は、図19に示すように、CPU21、RAM31、画像メモリ33、ROM35、表示部37、部品認識カメラ180、基板認識カメラ190、コンベア120、部品搭載装置130などから構成されている。
CPU21は、プリント基板GをX方向に搬送するコンベア120を制御する。また、プリント基板Gに電子部品Wを実装する部品搭載装置130の各モータ157、147、167、モータ169を制御する。
また、CPU21は、画像処理部21Aと、認識部21Bと、評価部21Cと、選択部21Dを含んでおり、ROM35に記憶された複数の認識アルゴリズムから、電子部品Wの認識に適した認識アルゴリズムを自動的に選択する。
すなわち、CPU21は、部品認識カメラ180で撮影した電子部品Wの画像を認識対象として、実施形態1で説明した認識アルゴリズムの評価シーケンス(図10〜図13)を実行することにより、電子部品Wの認識に適した認識アルゴリズムを自動選択する。
尚、電子部品Wの認識アルゴリズムを自動選択する処理は、例えば、生産するプリント基板Gの品種を切り換える場合や、電子部品Wの基準データ(いわゆる部品データ)を作成する際に行われる。
また、CPU21は、基板認識カメラ190で撮影した、プリント基板G上の位置マークMの画像を認識対象として、実施形態1で説明した認識アルゴリズムの評価シーケンス(図10〜図13)を実行することにより、位置マークMの認識に適した認識アルゴリズムを自動選択する。
尚、位置マークMの認識アルゴリズムを自動選択する処理は、例えば、生産するプリント基板Gの品種を切り換える場合や、プリント基板Gの基準データ(いわゆる基板データ)を作成する際に行われる。
<他の実施形態>
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。
(1)実施形態1では、認識アルゴリズムの認識対象として、「SOP」等の電子部品を例示したが、認識対象は、例えば、図17に示すように、プリント基板100上に付された位置検出用の位置マークMであってもよい。
(2)実施形態1では、最適な認識アルゴリズムを自動選択する例を示したが、例えば、図15に示す評価結果の一欄を表示して、認識アルゴリズムの選択はユーザに委ねるようにしてもよい。
(3)実施形態1では、総合評価点は、各評価項目の平均値としてが、評価項目に重みを付けて評価するようにしてもよい。
(4)実施形態1では、「明るさの変動耐性」、「サイズ変動耐性」、「位置追従性」、「回転追従性」の4項目に基づいて、認識アルゴリズムの適否を評価したが、必ずしも4項目の全てを評価する必要はなく、4項目の中から一部の項目を選択して、認識アルゴリズムの適否を評価するようにしてもよい。
(5)実施形態1では、CPU21の内部に、画像処理部21A、認識部21B、評価部21C、選択部21Dを設けた例を示したが、例えば、画像処理部21AをCPU21とは別の画像処理専用のハード回路で構成してもよい。また、画像処理部21A、認識部21B、評価部21C、選択部21Dは必ずしも、CPU内に設けられている必要はなく、独立した構成してもよい。
(6)認識アルゴリズム自動選択装置10は、実施形態3にて説明したようにプリント基板Gに電子部品Wを実装する表面実装機100の一部として組み込む構成以外に、表面実装機100とは独立した装置としてもよい。また、入力画像についても、表面実装機100に付属するカメラ41で撮影した画像データ(オンラインのデータ)の他、図9に示すように、ハンドスキャナ43等で撮影した画像データや画像ファイル45等、オフラインのデータであってもよい。
10...認識アルゴリズム自動選択装置(本発明の「評価装置」の一例)
21...CPU(本発明の「制御部」の一例)
21A...画像処理部
21B...認識部
21C...評価部
21D...選択部
21E...計測部
23...入力部
31...RAM
33...画像メモリ
35...ROM
37...表示部
100...表面実装機
130...部品搭載装置(本発明の「実装部」の一例)
180...部品認識カメラ(本発明の「撮影部」の一例)
190...基板認識カメラ(本発明の「撮影部」の一例)
W...電子部品
M...位置マーク(本発明の「マーク」の一例)

Claims (6)

  1. 認識アルゴリズムの適否を評価する評価装置であって、
    認識対象の画像に変化を与える画像処理を実行する画像処理部と、
    前記画像処理部にて変化を与えた画像を、複数の認識アルゴリズムを用いて、それぞれ認識する認識部と、
    各認識アルゴリズムの認識結果から、認識対象に対する認識の適否を評価する評価部と、
    前記評価部による評価結果に基づいて、認識に適した認識アルゴリズムを自動選択する選択部を含み、
    前記画像処理部は、画像の明るさを変化させる処理と、画像のサイズを変化させる処理と、画像の位置を変化させる処理と、画像の角度を変化させる処理のうち、少なくとも2以上の処理を実行し、
    前記評価部は、各変化に対する各認識アルゴリズムの評価点をそれぞれ算出し、
    前記選択部は、各変化に対する各認識アルゴリズムの評価点に基づいて、前記複数の認識アルゴリズムの中から、認識に適した認識アルゴリズムを自動選択する、評価装置。
  2. 各認識アルゴリズムが認識に要する時間を計測する計測部を含み、
    前記評価部は、変化に対する各認識アルゴリズムの認識結果と、各認識アルゴリズムの認識時間とに基づいて、認識の適否を評価する請求項1に記載の評価装置。
  3. 前記画像処理部と、前記認識部と、前記評価部と、前記選択部とを含む、制御部を有する請求項1又は請求項2に記載の評価装置。
  4. 表示部を備え、
    前記制御部は、前記評価結果を前記表示部に表示させる請求項3に記載の評価装置。
  5. 電子部品をプリント基板上に実装する実装部と、
    前記電子部品又は前記プリント基板を撮影する撮影部と、
    請求項1ないし請求項4のいずれか一項に記載の評価装置と、を含み、
    前記認識対象は、前記電子部品又は、前記プリント基板上に設けられたマークを含む、表面実装機。
  6. 認識アルゴリズムの適否を評価する評価方法であって、
    認識対象の画像に変化を与える画像処理ステップと、
    前記画像処理ステップにて変化を与えた画像を、複数の認識アルゴリズムを用いて、それぞれ認識させる認識ステップと、
    各認識アルゴリズムの認識結果から、認識対象に対する認識の適否を評価する評価ステップと、
    前記評価ステップでの評価結果に基づいて、認識に適した認識アルゴリズムを自動選択する選択ステップと、を含み、
    前記画像処理ステップでは、画像の明るさを変化させるステップと、画像のサイズを変化させるステップと、画像の位置を変化させるステップと、画像の角度を変化させるステップのうち、少なくとも2以上のステップを実行し、
    前記評価ステップでは、各変化に対する各認識アルゴリズムの評価点をそれぞれ算出し、
    前記選択ステップでは、各変化に対する各認識アルゴリズムの評価点に基づいて、前記複数の認識アルゴリズムの中から、認識に適した認識アルゴリズムを自動選択する、評価方法。
JP2014002427A 2014-01-09 2014-01-09 評価装置、表面実装機、評価方法 Active JP6418739B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014002427A JP6418739B2 (ja) 2014-01-09 2014-01-09 評価装置、表面実装機、評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014002427A JP6418739B2 (ja) 2014-01-09 2014-01-09 評価装置、表面実装機、評価方法

Publications (2)

Publication Number Publication Date
JP2015133349A JP2015133349A (ja) 2015-07-23
JP6418739B2 true JP6418739B2 (ja) 2018-11-07

Family

ID=53900371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014002427A Active JP6418739B2 (ja) 2014-01-09 2014-01-09 評価装置、表面実装機、評価方法

Country Status (1)

Country Link
JP (1) JP6418739B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6957646B2 (ja) * 2017-12-28 2021-11-02 株式会社Fuji 生産ライン

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285149A (ja) * 1999-03-30 2000-10-13 Sekisui Chem Co Ltd 遺伝的アルゴリズムを用いた住宅設計システム
JP2003044834A (ja) * 2001-08-01 2003-02-14 Juki Corp 部品認識方法
JP4190819B2 (ja) * 2002-07-17 2008-12-03 Juki株式会社 電子部品実装装置及び画像認識方法の選択方法
JP3993107B2 (ja) * 2003-01-08 2007-10-17 松下電器産業株式会社 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム
JP4815419B2 (ja) * 2007-10-23 2011-11-16 パナソニック株式会社 実装条件決定方法、実装条件決定装置、部品実装機及びプログラム
JP5759133B2 (ja) * 2010-09-24 2015-08-05 Juki株式会社 形状ベースマッチングパラメータの調整装置および部品実装装置
JP2012203612A (ja) * 2011-03-25 2012-10-22 Juki Corp 画像処理方法及び画像処理装置

Also Published As

Publication number Publication date
JP2015133349A (ja) 2015-07-23

Similar Documents

Publication Publication Date Title
JP6922168B2 (ja) 表面実装ラインの品質管理システム及びその制御方法
JP3877501B2 (ja) 部品認識データ作成方法及び作成装置並びに電子部品実装装置及び記録媒体
JP6727228B2 (ja) リード先端位置画像認識方法及びリード先端位置画像認識システム
JP2012234488A (ja) 基準マークモデルテンプレート作成方法
US11503753B2 (en) Substrate processing management system
US11382247B2 (en) Mounting device, detection device, and detection method
JP2017150927A (ja) 検査装置、実装装置、検査方法及びプログラム
JP6418739B2 (ja) 評価装置、表面実装機、評価方法
US11210764B2 (en) Apparatus for performing work on substrate
JP5755935B2 (ja) 部品ピッチ計測装置及び部品ピッチ計測方法
JPWO2017081773A1 (ja) 基板用の画像処理装置および画像処理方法
JP5960433B2 (ja) 画像処理装置及び画像処理方法
US20220151120A1 (en) Correction amount calculating device and correction amount calculating method
JP6904978B2 (ja) 部品装着機
JP2017034202A (ja) 検査装置、実装装置、検査方法及びプログラム
JP6706625B2 (ja) 基板位置検索装置、および部品実装機
JP2011043998A (ja) 画像解析方法及び画像解析装置
JP2005353750A (ja) 電子部品搭載装置の保守管理装置
JP6480575B2 (ja) 部品向き判定データ作成装置及び部品向き判定データ作成方法
US11304351B2 (en) Mounting device, information processing device, and mounting method
JP4744234B2 (ja) 部品の位置決め方法及び装置
JP4551651B2 (ja) 部品認識方法及び装置
JP2013011569A (ja) 変位量特定装置、変位量特定方法および変位量特定プログラム
JP4686329B2 (ja) 部品認識方法及び装置
JP5627530B2 (ja) 部品方向判定装置及び部品方向判定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181009

R150 Certificate of patent or registration of utility model

Ref document number: 6418739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250