JP3325120B2 - 部品認識方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、電子部品等の検査対象
物をその画像データを解析することにより部品の位置決
めを行う部品認識方法及び装置に関する。

【０００２】

【従来の技術】従来より、部品認識ソフトやパターンマ
ッチング法を用いた部品認識装置がある。ここでは、例
えば、基板に装着された電子部品の画像をカメラを通し
て取り込み、この画像データと予め記憶された画像パタ
ーンとを比較し、両者の相関度に応じて電子部品の位置
及び角度を認識・特定している。このような技術につい
ては、例えば、特開平５−２５０４７５号、特開平５−
２８８５２０号並びに特開平５−１１４０２７号等に開
示されている。

【０００３】

【発明が解決しようとする課題】従来は、各部品に１対
１に対応した認識ソフトを開発する必要があり、これに
は、以下の問題点があった。 新しい形状をした部品がでる度に、その認識ソフトも
新たに設計する必要がある。 特殊な（又は、認識しにくい）形状で、かつ、使用頻
度が低い部品専用の認識ソフトを開発することは非効率
的である。 スキャンを用いた認識では、ノイズ対策のため、特別
な処理が必要となる。

【０００４】上記問題点を改善する方法として、前記の
パターンマッチング法を採用することが考えられるが、
それにも以下の問題点がある。 パターンマッチングの処理に非常に時間がかかる。 従来のパターンマッチングでは、各画素（各ピクセ
ル）毎にマッチングの成否を判断しているが、それをサ
ブピクセル毎に行うことが困難である。また、サブピク
セル毎に認識を行うと、更に時間がかかってしまう。

【０００５】本発明は、上記事情に鑑みなされたもの
で、簡略化したテンプレートを用いることで高速なパタ
ーンマッチングを行い、以って、正確に部品を認識する
ことができる部品認識方法及び装置を提供することを目
的とする。

【０００６】

【課題を解決するための手段】請求項１に記載の部品認
識方法は、種々の部品データをもとに複数の点で構成さ
れるテンプレートであって、部品の一辺の端に存在する
リードに対して２つの点を設定することにより構成され
るテンプレートを作成し、このテンプレートと検査対象
である部品の画像とのパターンマッチングを行い、その
パターンマッチングの結果に基づいて部品の位置及び角
度を認識することを特徴としている。

【０００７】請求項２に記載の部品認識方法は、注目さ
れるべきリードが横長か否かを判定し、横長であると判
定された場合には、当該リードを幅方向に２つに分割
し、その分割された各リードについてテンプレート点を
設けることにより、種々の部品データをもとに複数の点
で構成されるテンプレートを作成し、このテンプレート
と検査対象である部品の画像とのパターンマッチングを
行い、そのパターンマッチングの結果に基づいて部品の
位置及び角度を認識することを特徴としている。

【０００８】請求項３に記載の部品認識装置は、各種の
部品データを記憶する部品データ記憶手段と、この部品
データに基づき複数の点より構成されるテンプレートで
あって、部品の一辺の端に存在するリードに対して２つ
の点を設定することにより構成されるテンプレートを作
成する手段と、撮像された検査対象である部品の画像と
前記テンプレートとの相関値を計算することにより、両
者のパターンマッチングを行う手段とを具備したことを
特徴としている。

【０００９】請求項４に記載の部品認識装置は、各種の
部品データを記憶する部品データ記憶手段と、注目され
るべきリードが横長か否かを判定し、横長であると判定
された場合には、当該リードを幅方向に２つに分割し、
その分割された各リードについてテンプレート点を設け
ることにより、種々の部品データに基づき複数の点より
構成されるテンプレートを作成する手段と、撮像された
検査対象である部品の画像と前記テンプレートとの相関
値を計算することにより、両者のパターンマッチングを
行う手段とを具備したことを特徴としている。

【００１０】請求項５に記載の部品認識装置は、請求項
３又は４において、前記パターンマッチングの結果に対
してさらにプロフィールを用いることにより部品認識精
度を向上させるようにしたことを特徴としている。

【００１１】

【作用】請求項１に記載される部品認識方法において
は、部品の一辺の端に存在するリードについて２つの点
を設けてなる簡略されたテンプレートと部品画像とのパ
ターンマッチングを行うことにより、高速な部品認識を
行うことができる。

【００１２】請求項２に記載の部品認識方法では、部品
のリードが横長か否かを自動的に判定し、横長と判定さ
れた場合には、それを画面上、２つに分割し、その分割
された各リードについてテンプレート点を設けるように
しているので、特に、検出角度の誤差を少なくして部品
の位置決め精度を向上させることができる。すなわち、
横長のリードの例えば中心にテンプレート点を設ける
と、テンプレート点の位置が左右互い違いの方向へずれ
たときに、そのずれが検出角度の大きな誤差となって現
れてしまう。また、テンプレートによるパターンマッチ
ングの後に、例えばプロフィールによる高精度認識を行
ったとしても、角度のずれを正確に補正することは困難
である。

【００１３】しかしながら、上記のようにリードを画面
上２つに分割することにより、まず、各テンプレート点
を小さな面積の中で設定することになるので位置精度が
向上するとともに、テンプレート点を４箇所で設定する
ので、位置ずれがあっても角度誤差に対する影響が少な
い。よって、テンプレートによるパターンマッチングの
時点で、検出角度の誤差を少なくすることができ、位置
決め精度を向上させることができる。

【００１４】また、請求項３に記載の部品認識装置にお
いては、部品の一辺の端に存在するリードについて２つ
の点を設けてなる簡略されたテンプレートと部品画像と
のパターンマッチングを行うことにより、高速な部品認
識を行うことができる。また、請求項４に記載の部品認
識装置では、部品のリードが横長か否かを自動的に判定
し、横長と判定された場合には、それを画面上、２つに
分割し、その分割された各リードについてテンプレート
点を設けるようにしているので、特に、検出角度の誤差
を少なくして部品の位置決め精度を向上させることがで
きる。さらに、請求項５に記載の部品認識装置において
は、プロフィールを用いることにより部品認識精度が向
上する。

【００１５】

【実施例】

（１）実施例の構成 図１は、本発明の実施例の部品認識装置の全体構成を示
すブロック図である。この装置は、主に、部品の画像を
取り込むカメラ１、各種の部品データの記憶部を含む上
位コントローラ２、パターンマッチングの状態等を監視
するモニター３並びに画像処理装置４より構成される。
画像処理装置４において、カメラ１で取り込まれた部品
の画像はＡ／Ｄ変換部５により画像データに変換された
後、パターンマッチング部７へ供給される。一方、前記
の部品データに基づき、テンプレート作成部８が自動的
にテンプレートを作成し、そのデータをパターンマッチ
ング部７へ供給する。本発明の特徴はこのテンプレート
を自動的に作成するようにしたことにあり、これについ
ては、後に詳細に説明する。

【００１６】パターンマッチング部７は、供給される画
像データとテンプレートとのパターンマッチングを行
う。もし、このパターンマッチングの処理においてエラ
ーが発生した際には、エラー検出部９により検出され、
再度、パターンマッチングが行われる。このテンプレー
トを用いたパターンマッチングにより概略の部品の位置
と傾きが求められる。このパターンマッチングの結果を
示すデータは精検出部１０へ送られ、ここで、プロフイ
ールを用いて部品の正確な位置決めが行われる。この処
理においてエラーが発生した場合には、エラー検出部１
１で検出される。このようにして求められた部品の位置
決めデータは、前記上位コントローラ２へ供給されると
ともに、Ｄ／Ａ変換部１２を介して画像信号に変換さ
れ、その画像等がモニター３に表示される。

【００１７】図２、図３及び図４は、各々、テンプレー
ト作成部８、パターンマッチング部７及び精検出部１０
の詳細構成を示すブロック図である。これらの構成及び
動作については、各々後述する。

【００１８】（２）実施例の動作 次に、テンプレート作成動作について詳細に説明する。
テンプレートとしては、実際の画像を用いることもでき
る。しかしながら、そのようにすると、部品の点数分の
画像を予め記憶しておく必要があり、このため、テンプ
レート用の記憶容量がかさんでしまうばかりでなく、パ
ターンマッチングに長時間を要する。そこで、本発明で
は、リードの長さや本数といった部品の特徴を表す部品
データを部品ライブラリに予め記憶させておき、この部
品ライブラリの部品データによって、その部品の特徴を
示す部分にテンプレート点を設定するようにしている。
これによって、より少ないテンプレート点でパターンマ
ッチングを行うことができるので、記憶容量が少なくて
済むとともに高速化を図ることができる。また、部品ラ
イブラリをスキャンなどのような他の分品認識の手法に
も用いることができるので、汎用性があり経済的であ
る。よって、この実施例では、テンプレートを図形のま
ま用いないで、４〜１６個の点の集合として作成するよ
うにした。

【００１９】図５は、部品本体から突出したリードの画
像の一例を示している。この画像は、部品に所定方向か
ら光を照射し、それを上記のカメラ１で撮像することに
より得られる。ここでは、リード１本に対して２個のテ
ンプレート点を想定する。ここで、つのテンプレート点
はリードの中心に設けられ、他のテンプレート点はリー
ド付近の背景、たとえば、リードの先端縁を挟んで上記
テンプレート点と線対称位置に設けられる。これら２つ
のテンプレート点で１本のリードについてのパターンマ
ッチングが行われる。

【００２０】上記のようなパターンマッチングをリード
が存在する全ての方向について行うわけであるが、１つ
の方向に複数のリードが存在している場合には、図６で
矢印で示すように、両端のリードについてパターンマッ
チングが行われる。すなわち、リードが３本のトランジ
スタについては、その各リードについてパターンマッチ
ングが行われ、一方、ＱＦＰ型のＩＣパッケージについ
ては、一辺の両端のリードについてのみパターンマッチ
ングが行われる。一方、リード長よりリード幅の方が大
きい場合については、図５で示す方法を用いると、その
リードを特定するようなテンプレート点をうまく選定す
ることができないため、図７に示すように、１本のリー
ドの幅方向に２個のテンプレート点を設ける。これらテ
ンプレート点の位置は、リードの側縁Ｓを一つの辺とす
る正方形を想定したときに、その正方形の中心とされ
る。

【００２１】次に、テンプレート作成部８の動作につい
て、図２並びに図８〜図１０に示すフローチャートを用
いて説明する。先ず、注目リード決定部２１は、検査対
象物である電子部品における注目リードを決定する。こ
こでは、ある注目方向が指示され、その注目方向にリー
ドが存在するか否かが判定される（ステップＳＴ１）。
リードが存在し、かつ、その数が「１」である場合に
は、そのリードを注目リードとして決定する（ステップ
ＳＴ２及びＳＴ３）。次に、リード長さ／幅比較部２２
は、注目リードのリード長とリード幅とを比較し（ステ
ップＳＴ４）、リード幅の方が大きい場合には、図９に
示す処理が行われる（ステップＳＴ５）。

【００２２】図９に示す処理はリード分割部２４の機
能に対応するものであり、注目リードが図７に示すよう
に横長と判断された場合に起動される。その最初のステ
ップＳＴ２１では、リード幅ＬＷがリード長ＬＬの２倍
以上であるか否かが判定される。リード幅ＬＷがリード
長ＬＬの２倍以上と判定された場合には、ステップＳＴ
２２に進み、横長リードの両端に２つのリードが存在す
るものとみなす。一方、上記と逆の場合には、ステップ
ＳＴ２３に進み、注目リードのリード幅の中心から２つ
に分割する。

【００２３】次に、上記のように２つに分けたリードの
両方に注目して（ステップＳＴ６）、図１０に示す処理
を行う（ステップＳＴ７）。この処理は、ステップ
ＳＴ４において注目リードが横長でないと判断された場
合にも行われる。処理は、テンプレート点決定部２３
の機能に対応している。即ち、その最初のステップＳＴ
３１において、各注目リードの中心位置の濃度を設定
し、これをテンプレート点を示すデータとしてメモリ
（図示せず）に記憶する。この濃度とは、注目リードの
画像の明暗に対応するものであり、反射光を用いて撮像
した場合には、リードが白、背景が黒となり、逆に、透
過光を用いて撮像した場合には、リードが黒、背景が白
となる。この「白」の画像濃度を「２５５」の値で表
し、一方、「黒」の画像濃度を「０」の値で表す。次
に、ステップＳＴ３２において、注目リード付近の背景
の任意の位置の濃度を設定し、それを他のテンプレート
点としてメモリに記憶する。このようにして、各リード
について２個のテンプレート点が設けられる。

【００２４】上記の処理の後、又は、ステップＳＴ１に
おいて、注目方向にリードが存在しないと判定された場
合には、ステップＳＴ８に進み、他の注目方向に変えら
れる。このようにして、ステップＳＴ１〜ＳＴ７の処理
が各注目方向について行われ、全ての注目方向について
それらの処理が終了した場合には、ステップＳＴ９を経
てこのテンプレート作成処理が終了する。

【００２５】次に、ステップＳＴ２において、注目方向
にリード数が複数あると判断された場合には、ステップ
ＳＴ１０へ進む。このステップにおいて、両端に位置す
るリードの内、一方が注目される。次のステップＳＴ１
１においては、当該注目リードについて、そのリード長
とリード幅が比較され、リード幅が大きいと判断された
場合には、ステップＳＴ１２に進み、上記処理が実行
される。この処理により横長リードが便宜上２つのリ
ードに分割され、次のステップＳＴ１３において、その
２つに分割されたリードの内の外側に位置するリードが
注目される。これにより、ある注目方向に位置する一端
のリードが特定される。このステップＳＴ１３の処理の
後、或いは、ステップＳＴ１１において注目リードが横
長ではないと判断された場合、ステップＳＴ１４に進
み、上記処理が実行される。この処理により、特定
された注目リードについて２つのテンプレート点が設け
られる。

【００２６】次に、ステップＳＴ１５において、上記両
端のリードの内、もう一方のリードが注目される。その
後、そのリードについて、ステップＳＴ１１〜ＳＴ１４
の処理と同様の処理がステップＳＴ１６〜ＳＴ１９にお
いて実行される。このようにして、注目方向に存在する
両端のリードの双方について、各々、テンプレート点が
設けられる。ステップＳＴ１９の処理の後、ステップＳ
Ｔ８へ進む。

【００２７】図１１は、本発明を具現化した部品認識ソ
フトの全体構成を示すフローチャートである。このフロ
ーチャートの最初のステップＳＰ１の詳細な処理内容が
上記の図８〜図１０に示した処理である。このようなテ
ンプレート作成処理の後、次のステップＳＰ２におい
て、パターンマッチングの処理が実行される。このパタ
ーンマッチング処理では、所定の範囲内でテンプレート
を平行及び回転移動させ、それぞれの位置・角度での部
品画像とテンプレートとの一致の度合い、即ち、相関度
（ここでは相関値）が計算される。先ず、図３に示す移
動量計算部３１がテンプレートの平行移動量及び回転移
動量を計算する。尚、本発明では、１回当たりの移動量
を比較的大きくとることにより、パターンマッチングの
判断の高速化を図っている。

【００２８】先ず、検査対象である部品の各リードの長
さと幅の中で最も短いものの大きさをｌ［mm］とする。
例えば、図１２に示す横長のリードを有するチップの場
合には、リードの長さがこの「ｌ」に相当し、トランジ
スタの場合には、各リードの幅がこの「ｌ」に相当す
る。一回当たりの実際の部品の移動量ｍ［mm］は、平行
移動量及び回転移動量共にｌ［mm］の８０％とした（即
ち、ｍ［mm］＝０．８・ｌ［mm］）。また、画面上にお
ける平行移動量α［mm］及び回転移動量ｂ［°］は、各
々以下の式で与えられる。

【００２９】

【数１】α［ｐｉｘ］＝ｍ［mm］×Ｒ ここで、Ｒは実寸［mm］を画面上の大きさ［ｐｉｘ］に
変換する係数を示す。

【００３０】

【数２】 ｂ［°］＝３６０［°］ｍ［ｍｍ］／πＬ［ｍｍ］ ここで、Ｌ［ｍｍ］は部品の外形寸法の縦長と横長の内
の長いほうの大きさを示す（図１２参照）。

【００３１】図３に示すテンプレート移動部は、上記の
ように計算された平行・回転移動量に応じてテンプレー
トを移動する。次に、相関値計算部３３は移動されたテ
ンプレートと部品画像との相関値を計算する。この相関
値の計算等については、種々の文献等に開示されてお
り、公知であるため、その説明を省略する。このような
相関値の計算が、テンプレートの移動毎のそれぞれの位
置・角度について行われる。全ての位置・角度について
相関値が計算された後、相関値ソート部３４がその相関
値の大きい順に並び替えを行う（図１１のステップＳＰ
３）。ここで、上位より一定数（例えば、１０個）の相
関値についてのテンプレートの位置・角度のデータが選
出され（ステップＳＰ４）、位置／角度記憶部３５がこ
れら１０組の位置・角度データを記憶する。

【００３２】次に、図４に示す精検出部１０がパターン
マッチング部７で求められた１０組の位置・傾きの候補
をもとにプロフィールを用いて各リードの先端を求め、
各辺の中心を計算し、以って、部品の正確な位置・傾き
を算出する。先ず、リード先端検出部４１が１０組の候
補の各々についてリード先端検出の検出を行う（ステッ
プＳＰ５、ＳＰ６）。

【００３３】先ず、パターンマッチングで求められたデ
ータを用いて、プロフィール位置テンプレートをアフィ
ン変換し、プロフィール直線（図１３のＬ１）を求め
る。このアフィン変換については、公知であるため、そ
の説明を省略する。このプロフィール直線Ｌ１に従っ
て、リードの先端の仮の座標Ａを求める。次に、このプ
ロフィール直線Ｌ１上で、部品の内側方向に部品ライブ
ラリで指定される所定のオフセット量だけずらした点Ｂ
を設定する。この点Ｂを通り、かつ、プロフィール直線
Ｌ１と直交する直線Ｌ２を求め、当該直線Ｌ２とリード
の両端との交点Ｅ１、Ｅ２を求める。これらの点Ｅ１、
Ｅ２の中心点Ｃをリードの幅方向の中心とする。

【００３４】次に、この中心点Ｃを通り、かつ、プロフ
ィール直線Ｌ１と平行の直線Ｌ３を設定し、この直線Ｌ
３とリードの先端との交点Ｐを求める。この点Ｐがリー
ドの先端を示す真の座標となる。このような手順を全て
のリードについて行い、以って、リード先端を検出す
る。なお、縮尺のずれによるプロフィール位置のずれを
低減するために、一つ前のリード先端の検出の際に求め
られた点Ｂ、Ｃ間の距離をもとにプロフィール位置の補
正が行われる。部品の同一辺上の全てのリードの検出に
成功すれば、その辺のリード先端の検出が終了する。リ
ード先端の検出に失敗した場合には、その辺に属する全
てのリードに対して次の候補を用いて上記と同様の手順
でリード先端検出が行われる（ステップＳＰ７、ＳＰ１
０参照）。以上の手順の繰り返しで、全てのリードにつ
いてその先端座標が求められる。

【００３５】次に、辺中心計算部４２が各辺に属するリ
ード先端座標の中点を計算し、それが各辺の中心となる
（ステップＳＰ８）。その後、重心位置／傾き検出部４
３が計算された各辺の中心の内、向かい合う辺の中心を
結ぶ線分を設定し、その線分の中点を部品の重心位置と
するとともに、その線分の傾きを部品の傾きとする（ス
テップＳＰ９）。４つの辺の全てにリードが存在する場
合に、向かい合う辺の組が２組できるので、それら２組
の平均を重心位置・傾きとする。

【００３６】ステップＳＰ５〜ＳＰ７、ＳＰ１０の繰り
返し処理において、１０番目以内の候補の全てについて
リード先端検出がうまくいかなかった場合には、ステッ
プＳＰ５からＳＰ１２へ進み、ステップＳＰ１１を介し
てステップＳＰ２に戻り、２回目のパターンマッチング
が行われる。その際、ステップＳＰ１１においては、パ
ターンマッチングでのテンプレートを回転させる初期位
置での角度が、この実施例では回転角度の１／２だけシ
フトさせられる。その後、上記と同様の処理が行われる
こととなるが、この２回目のパターンマッチングで得ら
れた１０組の候補の全てについてもリード先端検出が成
功しなかった場合には、ステップＳＰ１２からステップ
ＳＰ１３へ進み、部品認識が失敗した旨が表示され、こ
の部品認識処理が終了する。このようにして、各部品に
ついて２回パターンマッチングの処理が行われることと
なる。

【００３７】

【発明の効果】以上説明したように本発明は、予め記憶
された部品データをもとに自動的に複数の点より構成さ
れるテンプレートを作成し、当該テンプレートと検査対
象である部品画像とのパターンマッチングを行うことに
より、部品の位置及び角度を認識するようにしたので、
高速に部品認識を行うことができ、また、新たな部品に
対しても汎用性のある部品認識方法及び装置を提供でき
るという効果を奏する。

【図面の簡単な説明】

【図１】本発明の部品認識装置の全体構成を示すブロッ
ク図である。

【図２】図１中のテンプレート作成部の詳細構成を示す
ブロック図である。

【図３】図１中のパターンマッチング部の詳細構成を示
すブロック図である。

【図４】図１中の精検出部の詳細構成を示すブロック図
である。

【図５】テンプレート点の設定方法を説明するための図
である。

【図６】部品の種類に応じたリードの配置を示す図であ
る。

【図７】横長のリードを有する部品についてのテンプレ
ート点の設定方法を説明するための図である。

【図８】テンプレート作成処理の内容を示すフローチャ
ートである。

【図９】図８のフローチャート中の処理の内容を示す
フローチャートである。

【図１０】図８のフローチャート中の処理の内容を示
すフローチャートである。

【図１１】本発明の部品認識方法の全体的な処理内容を
示すフローチャートである。

【図１２】テンプレートの移動量計算に使用される各値
を説明するための図である。

【図１３】プロフィールを用いたリード先端検出処理を
説明するための図である。

【符号の説明】

６ 画像記憶部 ７ パターンマッチング部 ８ テンプレート作成部 ３２ テンプレート移動部

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 G01B 11/26

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 種々の部品データをもとに複数の点で構
   成されるテンプレートであって、部品の一辺の端に存在
   するリードに対して２つの点を設定することにより構成
   されるテンプレートを作成し、このテンプレートと検査
   対象である部品の画像とのパターンマッチングを行い、
   そのパターンマッチングの結果に基づいて部品の位置及
   び角度を認識することを特徴とする部品認識方法。
2. 【請求項２】 注目されるべきリードが横長か否かを判
   定し、横長であると判定された場合には、当該リードを
   幅方向に２つに分割し、その分割された各リードについ
   てテンプレート点を設けることにより、種々の部品デー
   タをもとに複数の点で構成されるテンプレートを作成
   し、このテンプレートと検査対象である部品の画像との
   パターンマッチングを行い、そのパターンマッチングの
   結果に基づいて部品の位置及び角度を認識することを特
   徴とする部品認識方法。
3. 【請求項３】 各種の部品データを記憶する部品データ
   記憶手段と、この部品データに基づき複数の点より構成
   されるテンプレートであって、部品の一辺の端に存在す
   るリードに対して２つの点を設定することにより構成さ
   れるテンプレートを作成する手段と、撮像された検査対
   象である部品の画像と前記テンプレートとの相関値を計
   算することにより、両者のパターンマッチングを行う手
   段とを具備したことを特徴とする部品認識装置。
4. 【請求項４】 各種の部品データを記憶する部品データ
   記憶手段と、注目されるべきリードが横長か否かを判定
   し、横長であると判定された場合には、当該リードを幅
   方向に２つに分割し、その分割された各リードについて
   テンプレート点を設けることにより、種々の部品データ
   に基づき複数の点より構成されるテンプレートを作成す
   る手段と、撮像された検査対象である部品の画像と前記
   テンプレートとの相関値を計算することにより、両者の
   パターンマッチングを行う手段とを具備したことを特徴
   とする部品認識装置。
5. 【請求項５】 前記パターンマッチングの結果に対して
   さらにプロフィールを用いることにより部品認識精度を
   向上させるようにしたことを特徴とする請求項３又は４
   記載の部品認識装置。