JPH06188596A - 部品位置認識方法及びその装置 - Google Patents

Abstract

(57)【要約】 【目的】 部品の撮像データから部品の位置を認識する
ものにあって、撮像データに外乱等が含まれる場合で
も、正確に部品の位置を認識する。 【構成】 テレビカメラにより四角形の部品を撮像する
（Ｓ１）。撮像データを画像処理装置に送り、テンプレ
ートマッチングにより部品の特定部位（４つの角部）の
候補位置を全て求める（Ｓ２〜Ｓ４）。全ての候補位置
のうち、予め記憶されている所定の位置関係に適合する
組合せの候補位置のみを選択する（Ｓ５）。選択された
候補位置の座標から、部品の中心位置及び回転角を演算
により求める（Ｓ６）。これにて、外乱等の要因により
誤った候補位置が混ざっていても、その誤った候補位置
は特定部位の相互の位置関係から逸脱するので除かれ、
特定部位に対応した候補位置のみから部品位置が求めら
れるようになる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、電子部品等の部品を撮
像装置により撮像し、その撮像データから部品の位置を
認識するようにした部品位置認識方法及びその装置に関
する。

【０００２】

【従来の技術】例えばＩＣ等の部品をプリント基板に自
動的に装着する部品実装装置は、図５に示すように、部
品供給部において装着ヘッドに設けられた吸着ノズル１
により部品２の中心部を吸着して取得し、その部品２を
基板３上の接着剤４が塗布された所定の装着ポイントま
で移送し、基板３上に装着するようになっている。

【０００３】この場合、吸着ノズル１による部品２の吸
着時において、図６に示すように、本来、（ａ）に示す
ように、吸着ノズル１の中心点Ｎが部品２の中心点Ｐと
一致し且つ部品２の主軸（横方向の中心線）の向きがＸ
軸方向に一致することが理想であるが、実際には、
（ｂ）に示すように、吸着ノズル１の中心点Ｎと部品２
の中心点Ｐとがずれたり、部品２の主軸がＸ軸に対して
角度Ｓ（回転角Ｓ）だけ傾いた状態となることがある。

【０００４】そこで、この種の部品実装装置にあって
は、実装精度を向上させるために、部品位置を検出する
ための部品位置認識装置を組込むことが行われている。
この部品位置認識装置は、例えば吸着ノズル１の所定位
置において、カメラによりその吸着ノズル１に吸着され
た部品２を下方から撮像し、その撮像データに基づいて
画像処理装置によりその部品２の中心位置及び回転角を
検出し、その結果に基づいて位置ずれが補正されるもの
である。

【０００５】ところで、上記のような画像データから部
品２の中心位置及び回転角を求める画像処理の方法とし
ては、主に次の３種類の方法があった。 （１）慣性モーメントを求めて算出する方法 （２）撮影画像の投影を求めて算出する方法 （３）部品に相当するテンプレート画像を、撮影画像に
重ね合わせて部品位置を算出する方法（一般的なテンプ
レートマッチング法）

【０００６】ところが、上記（１），（２）の方法で
は、撮影画像に外乱画像（例えば吸着ノズル１の一部が
部品２からはみ出している）が入っていると、その外乱
画像も含めたままで算出してしまうので、正確な位置検
出ができない不具合がある。また、（３）の一般的なテ
ンプレートマッチング法では、外乱画像の影響は受けに
くいものの、部品２の主軸が傾いている場合に、同じ回
転角で傾いているテンプレート画像を用いない限り、回
転角まで正確に算出できない欠点があった。

【０００７】

【発明が解決しようとする課題】そこで、本出願人は、
テンプレートマッチングを応用した新たな画像処理の方
法を開発した。この方法は、部品２のうち形状に特徴の
ある複数の特定部位に夫々対応した小さな複数個のテン
プレート画像を用い、テンプレートマッチングにより部
品２の各特定部位の位置を求め、そこから中心位置及び
回転角を算出するものである。

【０００８】具体例を上げると、図７に示すように、部
品２の４つの角部を特定部位とし、それら４つの角部に
対応した４個のテンプレート画像５，６，７，８が、部
品２の撮影画像９に重なり合う位置を探して部品２の４
つの角部の位置を求め、それらの位置から、部品２の中
心位置及び回転角を算出するものである。この場合、４
個のテンプレート画像５，６，７，８は、夫々小形の正
方形の中に四分の一円のパターン（図では便宜上斜線を
付して示す）を有して構成され、部品２に多少の傾きが
あってもマッチングが可能とされている。これによれ
ば、吸着ノズル１の外乱画像に影響されることなく、正
確に部品２の中心位置及び回転角を検出することができ
る。尚、図面中、１０はカメラの視野を示す。

【０００９】しかしながら、このような複数個のテンプ
レート画像５，６，７，８を用いて部品２の特定部位を
求める方法にあっても、図８に示すようなケースにあっ
ては、正確な位置検出ができない不具合があった。即
ち、図８（ａ），（ｃ）に示すように、吸着ノズル１の
外乱画像が部品２の角部に生じている場合には、その外
乱画像部分を角部として検出してしまうことになり、図
８（ｂ）に示すように、部品２そのものが４つの角部に
類似した形状を呈する凸部等を他に有しているような場
合にも、角部でない部分を角部として検出してしまうこ
とが起こる。共に、部品２の中心位置及び回転角を正確
に算出できなくなる。

【００１０】従って、本発明の目的は、撮像データに外
乱等が含まれる場合でも、正確に部品の位置を認識する
ことができる部品位置認識方法及びその装置を提供する
にある。

【００１１】

【課題を解決するための手段】本発明の部品位置認識方
法は、部品の複数個の特定部位の相互の位置関係を予め
記憶し、部品の撮像データからその部品の複数個の特定
部位の候補となる位置をテンプレートマッチングにより
求め、求められた特定部位の候補位置のうち、予め記憶
された位置関係に適合するものを選択し、選択された候
補位置から部品の位置を求めるようにしたところに特徴
を有するものである。

【００１２】また、本発明の部品位置認識装置は、部品
の撮像データからその部品の複数個の特定部位の候補と
なる位置をテンプレートマッチングにより求める画像処
理手段と、前記部品の複数個の特定部位の相互の位置関
係を記憶する記憶手段と、前記画像処理手段により求め
られた特定部位の候補位置のうち、前記記憶手段に記憶
された位置関係に適合するものを選択し、選択された候
補位置から前記部品の位置を求める位置検出手段とを具
備する構成に特徴を有するものである。

【００１３】

【作用】本発明の部品位置認識方法によれば、部品の複
数個の特定部位の候補となる位置がテンプレートマッチ
ングにより求められるのであるが、このとき、外乱画像
や部品自体の形状等の要因により、特定部位に対応して
いない誤った候補位置が混ざっている場合が生ずる。と
ころが、この誤った候補位置は特定部位の相互の位置関
係から逸脱するので、求められた複数の候補位置のなか
から、予め記憶された特定部位の相互の位置関係に適合
する候補位置が選択されることにより、上記の特定部位
に対応していない誤った候補位置は除かれるようにな
る。

【００１４】従って、選択された候補位置に基づいて部
品の位置を求めることにより、撮像データに外乱等が含
まれる場合でも、正確に部品の位置を認識することがで
きるようになる。

【００１５】また、本発明の部品位置認識装置によれ
ば、画像処理手段によって、部品の撮像データからその
部品の複数個の特定部位の候補となる位置がテンプレー
トマッチングにより求められるのであるが、このとき、
外乱画像や部品自体の形状等の要因により、特定部位に
対応していない誤った候補位置が混ざっている場合が生
ずる。ところが、この誤った候補位置は特定部位の相互
の位置関係から逸脱するので、求められた複数の候補位
置が、記憶手段に記憶された特定部位の相互の位置関係
に適合するかどうかを調べることにより、上記の特定部
位に対応していない誤った候補位置を除くことができ
る。

【００１６】従って、位置検出手段によって、候補位置
のうち、特定部位の位置関係に適合するものが選択さ
れ、選択された候補位置から部品の位置が求められるこ
とにより、撮像データに外乱等が含まれる場合でも、正
確に部品の位置が認識されるようになる。

【００１７】

【実施例】以下、本発明を、ＩＣ等の電子部品（チップ
部品）を基板に自動的に装着する部品実装装置に組込ま
れた部品位置認識装置に適用した一実施例について、図
面を参照して説明する。

【００１８】まず、部品実装装置の概略構成について簡
単に述べる。詳しく図示はしないが、部品実装装置は、
ベース上に、プリント基板３（図５参照）が位置決め状
態にセットされる部品装着部、電子部品（チップ部品）
２を供給する部品供給部、それら部品装着部と部品供給
部との間を自在に移動される装着ヘッド、各機構を制御
する制御装置などを備えて構成されている。

【００１９】そして、前記装着ヘッドは、図５に示すよ
うに、吸着ノズル１を有し、前記部品供給部において部
品２の中心部を吸着して取得し、その部品２を基板３上
の接着剤４が塗布された所定の装着ポイントまで移送
し、基板３上に装着するようになっている。

【００２０】この場合、吸着ノズル１による部品２の吸
着時において、図６に示すように、本来、（ａ）に示す
ように、吸着ノズル１の中心点Ｎが部品２の中心点Ｐと
一致し且つ部品２の主軸（横方向の中心線）の向きがＸ
軸方向に一致することが理想であるが、実際には、
（ｂ）に示すように、吸着ノズル１の中心点Ｎと部品２
の中心点Ｐとがずれたり、部品２の主軸（横方向の中心
線）がＸ軸に対して回転角Ｓだけ傾いた状態となること
がある。一般に、この部品２のずれや傾きは、吸着作業
の都度変わることになる。

【００２１】そこで、実装精度を向上させるために、本
実施例に係る部品位置認識装置が設けられる。この部品
位置認識装置により、前記部品２の中心位置及び回転角
Ｓが検出され、その結果に基づいて、吸着ノズル１（部
品２）側あるいは基板３側を移動させることにより、そ
の位置ずれが補正された状態とされ、精度の高い装着作
業が行われるようになっている。

【００２２】次に、本実施例に係る部品位置認識装置に
ついて述べる。図示はしないが、この部品位置認識装置
は、大きく分けて、部品２を撮像する撮像装置としての
例えばテレビカメラと、そのテレビカメラによって得ら
れた撮像データを処理する画像処理装置とから構成され
る。

【００２３】このうちテレビカメラは、前記部品供給部
と部品装着部との間の位置に固定的に設けられ、吸着ノ
ズル１が所定の部品認識位置に停止された状態で、前記
部品２を下方から撮像するようになっている。そして、
前記画像処理装置は、Ａ／Ｄ変換器やマイクロコンピュ
ータ等を備えて構成され、前記テレビカメラによって得
られた撮像データに基づいて、テンプレートマッチング
法を応用した方法により、部品２の中心点Ｐの位置（固
有のＸＹ座標系による位置座標）及び回転角Ｓを算出す
るようになっている。

【００２４】この場合、詳しくは後述するように、画像
処理装置は、部品２の複数個の特定部位の相互の位置関
係を予め記憶し、部品２の撮像データからその部品２の
複数個の特定部位の候補となる位置をテンプレートマッ
チングにより求め、求められた特定部位の候補位置のう
ち、予め記憶された位置関係に適合するものを選択し、
選択された候補位置から部品２の中心点Ｐの位置及び回
転角Ｓを求めるようになっている。従って、この画像処
理装置が、本発明にいう画像処理手段，記憶手段及び位
置検出手段の各手段として機能するようになっている。

【００２５】ここで、上記部品位置認識装置の実行する
部品認識の処理の方法について、図１乃至図４も参照し
て以下述べる。尚、ここでは、図４に示すような、四角
形の部品２を対象とし、その４つの角部（頂点Ａ，Ｂ，
Ｃ，Ｄ）を特定部位とした例を具体例として上げながら
説明する。

【００２６】この場合、図３などに示すように、後述す
るテンプレートマッチングには、前記部品２の４つの角
部に対応し、夫々小形の正方形の中に四分の一円のパタ
ーン（図では便宜上斜線を付して示す）を有してなる４
個のテンプレート画像５，６，７，８が用いられるよう
になっている。また、図４に示すように、部品２の４個
の頂点Ａ，Ｂ，Ｃ，Ｄの座標を、夫々（Ｘa ，Ｙa ），
（Ｘb ，Ｙb ），（Ｘc ，Ｙc ），（Ｘd ，Ｙd ）と
し、辺ＡＢの長さをＷ，辺ＢＣの長さをＬとすると、４
頂点Ａ，Ｂ，Ｃ，Ｄは、相互に所定の位置関係を存する
こととなり、その位置関係が予めメモリに記憶されてい
る。

【００２７】さて、処理の手順は、図１のフローチャー
トに示す通りである。即ち、まず、ステップＳ１では、
前記テレビカメラにより、部品２が撮像される。この撮
影画像９は、例えば図３（ａ）に示すようになり、吸着
ノズル１の中心点Ｎと部品２の中心点Ｐとがずれ、且
つ、部品２の主軸が回転角Ｓだけ傾いた状態となってい
る。また、ここでは、吸着ノズル１の一部が部品２の右
上の角部からはみ出し、部品２の右上の角部が外乱画像
に吸収された状態となっている。尚、図面中、１０はテ
レビカメラの視野を示す。

【００２８】次に、ステップＳ２〜Ｓ４では、テンプレ
ートマッチングにより特定部位（部品２の角部）の候補
位置が全て求められる。この処理は、図３（ｂ）に示す
ように、４個のテンプレート画像５，６，７，８が、部
品２の撮影画像９に重なり合う位置を探し（ステップＳ
３）、部品２の４頂点の候補となる点（テンプレート画
像５，６，７，８の各中心点）の座標を算出する（ステ
ップＳ４）ことにより行われる。

【００２９】図３の例では、（ｂ）に示すように、全部
で５点の候補位置が求められる。このとき、部品２の左
上，左下，右下については、夫々テンプレート画像５，
６，７により本来の特定部位に対応した候補位置を検出
することができる。ところが、部品２の右上の角部に相
当するテンプレート画像８が重なる位置は２か所現われ
るようになり、それら２個の候補位置は共に本来の特定
部位に対応していないことになる。尚、この場合、テン
プレート画像５，６，７，８により部品２に多少の傾き
があってもマッチングが可能とされている。また、図７
に示すように、吸着ノズル１による外乱画像が、角部に
現れないような場合には、４個の特定部位に対応した４
個の候補位置が求められる。

【００３０】全ての候補位置が求められると（ステップ
Ｓ２にてＹｅｓ）、ステップＳ５にて、候補位置のう
ち、予め記憶されている所定の位置関係に適合する候補
位置のみが選択，抽出される。この場合、２個の特定部
位がなす位置関係から、全ての特定部位がなす位置関係
まで、いくつかの位置関係がある。図４には、四角形の
部品２の４個の特定部位（頂点Ａ，Ｂ，Ｃ，Ｄ）におけ
る、いくつかの位置関係を例示しており、２個の頂点が
なす位置関係、３個の頂点がなす位置関係、４個の全て
の頂点がなす位置関係が夫々存在する。

【００３１】この場合、できるだけ多くの特定部位がな
す位置関係を満たすような候補位置の組合せを求めるこ
とが、位置検出の高い精度が得られることになる。そこ
で、部品２の例では、このステップＳ５の処理は、具体
的には図２のフローチャートに示す手順にて行われる。

【００３２】即ち、ステップＳ５１では、全て（５個）
の候補位置のうちの２個の候補位置の組合せが、所定の
位置関係に適合するかどうかが、全ての組合せについて
チェックされる。この適合するか否かの判定は、後のス
テップＳ５３のところで述べるように、ある程度の誤差
を考慮してなされる。適合する組合せがなければ（ステ
ップＳ５２にてＮｏ）、認識が不可能とされ終了する。
適合する組合せがあれば（ステップＳ５２にてＹｅ
ｓ）、ステップＳ５３に進む。

【００３３】ステップＳ５３では、上記適合する２個の
候補位置の組合せに、別の１個の候補位置を組合せた３
個の候補位置の組合せが、所定の位置関係に適合するか
どうかが、全ての組合せについてチェックされる。この
判断は、図４に示した位置関係を満たすかどうかで行わ
れるのであるが、次式を全て満足したときに、適合する
と判断される。

【００３４】

【数１】

【００３５】尚、上記のα，β，γ，δ，ε，ζは、部
品２の寸法の公差、画像処理による誤差等を考慮して、
判定にある程度の幅を持たせるためのものである。詳し
い説明は省略するが、上記ステップＳ５１や、後述のス
テップＳ５７における判断も、同様にある程度の幅をも
って行われる。

【００３６】このようにしてチェックが行われ、適合す
る組合せがなければ（ステップＳ５５にてＮｏ）、ステ
ップＳ５６にて、上記ステップＳ５１にて求められた２
個の候補位置の組合せのうち、最も信頼できる組合せの
２個の候補位置（上記のα，β，γ，δ，ε，ζ等の値
を一番小さくできるもの）が選択される。一方、適合す
る組合せがあれば（ステップＳ５５にてＹｅｓ）、ステ
ップＳ５７に進む。

【００３７】ステップＳ５７では、上記適合する３個の
候補位置の組合せに、別の１個の候補位置を組合せた４
個の候補位置の組合せが、所定の位置関係に適合するか
どうかが、全ての組合せについてチェックされる。やは
り、この判断は、図４に示した位置関係を満たすかどう
かで行われる。

【００３８】そして、適合する組合せがなければ（ステ
ップＳ５８にてＮｏ）、ステップＳ５９にて、上記ステ
ップＳ５４にて求められた３個の候補位置の組合せのう
ち、最も信頼できる組合せの３個の候補位置（上記の
α，β，γ，δ，ε，ζ等の値を一番小さくできるも
の）が選択される。一方、適合する組合せがあれば（ス
テップＳ５８にてＹｅｓ）、ステップＳ６０にて、同様
に最も信頼できる組合せの４個の候補位置が選択され
る。図３に示した例では、（ｃ）に示すように、ステッ
プＳ５９にて、左上，左下，右下の３個の候補位置の組
合せが、所定の位置関係に適合するものとして選択され
ることになる。

【００３９】以上のような候補位置の選択が行われる
と、図１のフローチャートに戻って、選択された候補位
置の座標から、部品２の中心位置Ｐ及び回転角Ｓが演算
により求められる（ステップＳ６）。中心位置Ｐ及び回
転角Ｓの演算は、選択された候補位置の個数に応じて図
４に示す演算式の通りに行われる。この場合、長方形の
部品２の場合、少なくとも２頂点の座標が得られたなら
ば、中心点Ｐ及び回転角Ｓが算出が可能である。この演
算式については、自明であり、また説明が煩雑となるこ
とを避けるため、詳しい説明を省略する。

【００４０】このように本実施例によれば、部品２のう
ち形状に特徴のある複数の特定部位（この場合角部）に
夫々対応した小さな複数個のテンプレート画像５，６，
７，８を用いて、テンプレートマッチングにより部品２
の各特定部位の候補位置を求めるようにしているので、
部品２に多少の傾きがあってもその中心位置Ｐ及び回転
角Ｓを検出することができる。

【００４１】そして、このとき、吸着ノズル１による外
乱画像等の要因により、特定部位に対応していない誤っ
た候補位置が混ざっている場合が生ずることがあって
も、その誤った候補位置は特定部位の相互の位置関係か
ら逸脱するので、求められた複数の候補位置のなかか
ら、予め記憶された特定部位の相互の位置関係に適合す
る候補位置が選択されることにより、誤った候補位置を
除くことができる。従って、選択された候補位置に基づ
いて部品２の位置を求めることにより、正確に部品２の
中心位置Ｐ及び回転角Ｓを算出することができるもので
ある。

【００４２】尚、上記実施例では、図８（ａ）に示すよ
うに、吸着ノズル１の外乱画像が部品２の１個の角部部
分に生じている場合を例として説明したが、図８（ｂ）
に示すように、部品２そのものが４つの角部に類似した
形状を呈する凸部等を他に有しているような場合や、図
８（ｃ）に示すように、２個の角部に渡って外乱画像が
生じているような場合でも、本実施例の方法を用いれ
ば、部品２の中心位置Ｐ及び回転角Ｓを正確に算出する
ことができるものである。

【００４３】また、上記実施例では、全ての候補位置に
対して位置関係の適合を判断する（ステップＳ５）よう
にしているが、候補位置が吸着ノズル１の外乱画像上に
あるかどうかを調べて予め候補位置から除いておくこと
もできる。この場合、予め吸着ノズル１の位置（円形の
範囲）を記憶し、候補位置がその範囲内にあるかどうか
により調べることができ、また、必ず外乱画像が含まれ
るような場合には、吸着ノズル１の画像に対応したテン
プレート画像を用いてマッチングさせることによって
も、候補位置が吸着ノズル１の外乱画像上にあるかどう
かを調べることができる。

【００４４】その他、本発明の部品位置認識方法は、長
方形の部品２に限らず様々な形状の部品に対して適用さ
せることが可能であり、また、本発明の部品位置認識装
置は、部品実装装置に限らず各種装置に組込むことが可
能であるなど、本発明は要旨を逸脱しない範囲内で、適
宜変更して実施することができる。

【００４５】

【発明の効果】以上の説明にて明らかなように、本発明
の部品位置認識方法によれば、部品の複数個の特定部位
の相互の位置関係を予め記憶し、部品の撮像データから
その部品の複数個の特定部位の候補となる位置をテンプ
レートマッチングにより求め、求められた特定部位の候
補位置のうち、予め記憶された位置関係に適合するもの
を選択し、選択された候補位置から部品の位置を求める
ようにしたので、撮像データに外乱等が含まれる場合で
も、正確に部品の位置を認識することができるという優
れた実用的効果を奏する。

【００４６】また、本発明の部品位置認識装置によれ
ば、部品の撮像データからその部品の複数個の特定部位
の候補となる位置をテンプレートマッチングにより求め
る画像処理手段と、前記部品の複数個の特定部位の相互
の位置関係を記憶する記憶手段と、前記画像処理手段に
より求められた特定部位の候補位置のうち、前記記憶手
段に記憶された位置関係に適合するものを選択し、選択
された候補位置から前記部品の位置を求める位置検出手
段とを具備するので、撮像データに外乱等が含まれる場
合でも、正確に部品の位置を認識することができるとい
う優れた実用的効果を奏するものである。

【図面の簡単な説明】

【図１】本発明の一実施例を示すもので、部品位置認識
の手順を示すフローチャート

【図２】候補位置の選択処理の手順を示すフローチャー
ト

【図３】画像処理の手順を説明するための画像を示す図

【図４】四角形の部品における特定部位の位置関係及び
位置の算出方法をまとめて示す図

【図５】部品実装装置の要部を示す側面図

【図６】吸着ノズルと部品との位置関係を示す底面図

【図７】外乱画像の悪影響がない場合の画像とテンプレ
ート画像との関係を示す図

【図８】外乱画像等の悪影響がある場合の画像とテンプ
レート画像との関係を示す図

【符号の説明】

図面中、１は吸着ノズル、２は部品、３は基板、４は接
着剤、５，６，７，８はテンプレート画像、９は撮影画
像を示す。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 電子部品等の部品を撮像装置により撮像
   し、その撮像データから前記部品の位置を認識する部品
   位置認識方法であって、 前記部品の複数個の特定部位の相互の位置関係を予め記
   憶し、 前記撮像データから前記部品の複数個の特定部位の候補
   となる位置をテンプレートマッチングにより求め、 求められた特定部位の候補位置のうち、予め記憶された
   位置関係に適合するものを選択し、選択された候補位置
   から前記部品の位置を求めるようにしたことを特徴とす
   る部品位置認識方法。
2. 【請求項２】 電子部品等の部品を撮像装置により撮像
   し、その撮像データから前記部品の位置を認識する部品
   位置認識装置であって、 前記撮像データから前記部品の複数個の特定部位の候補
   となる位置をテンプレートマッチングにより求める画像
   処理手段と、 前記部品の複数個の特定部位の相互の位置関係を記憶す
   る記憶手段と、 前記画像処理手段により求められた特定部位の候補位置
   のうち、前記記憶手段に記憶された位置関係に適合する
   ものを選択し、選択された候補位置から前記部品の位置
   を求める位置検出手段とを具備することを特徴とする部
   品位置認識装置。