JPH0689341A

JPH0689341A - 部品位置検出方法

Info

Publication number: JPH0689341A
Application number: JP4238598A
Authority: JP
Inventors: Shingo Sekiguchi; 眞吾関口; Takeshi Yasuda; 武司安田; Katsuya Sano; 勝也佐野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1992-09-07
Filing date: 1992-09-07
Publication date: 1994-03-29

Abstract

(57)【要約】【目的】任意の角度に回転している部品も含めて、高
速かつ高精度に部品の位置を検出し得る部品位置検出方
法を提供する。【構成】部品の各コーナーの図形にそれぞれ対応する
複数の方向性テンプレートを設け、部品の画像の外接長
方形を求め、この外接長方形を複数の領域に分割し、こ
の分割された各領域内の画像に対して距離変換を施し、
この距離変換によって得られた等距離エリアを中点とし
て前記テンプレートによるマッチングにより部品のコー
ナーの座標を求め、この得られたコーナーの座標から部
品の中心位置および主軸の回転角度を演算する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、部品を基板に自動的に
取り付けるために部品を保持した場合の部品の位置を検
出する部品位置検出方法に関し、更に詳しくは、例えば
部品実装装置の吸着ノズルによって部品を保持し、該部
品を基板に実装する場合において前記吸着ノズルが部品
を吸着した場合の吸着ノズルに対する部品の保持位置を
検出する部品位置検出方法に関する。

【０００２】

【従来の技術】部品の実装に用いるマウンタは、図２３
に示すように、例えば、板状で長方形をなす部品１の中
心部を吸着ノズル２で吸着し、予め接着剤３Ａが塗着さ
れた基板３の上に移動させ、ここで押圧する構成になっ
ている。

【０００３】この場合、部品１の外形々状が常に一定で
あれば、図２４（ａ）に示すように、吸着ノズル２の中
心Ｐと、部品１の中心Ｑとを一致させ、しかも、部品１
の主軸Ｘの回転角度を水平（図面上の水平）に保持する
ことは比較的容易である。

【０００４】しかしながら、このマウンタで１．０×
０．５mmのもの、５．０×５．０mmのもの、あるいは、
３５×３５mmのものというように幅広く不規則なものを
取扱う場合には、図２４（ｂ）に示すように、吸着ノズ
ル２の中心Ｐと部品１の中心Ｑとがずれ、かつ、主軸Ｘ
が回転することも多い。そこで、吸着ノズル２に吸着さ
れた部品１をビデオカメラで撮影し、得られた画像デー
タをメモリに記憶させた後、画像処理によって部品の中
心位置Ｑおよび主軸Ｘの回転角度を検出し、その検出結
果によって吸着ノズル２を適切に移動させて正常な位
置、状態で装着する方法が試みられている。

【０００５】ところで、この種の部品の中心位置および
主軸の回転角度を求める画像処理方法としては、主に、
次の３種類がある。

【０００６】（ａ）慣性モーメントを求め、それから、
対象画像の中心位置および主軸の回転角度を算出する慣
性モーメント法。

【０００７】（ｂ）撮影画像の投影（プロフィル）を求
め、その幅から算出するプロフィール法。

【０００８】（ｃ）検出対象部品のテンプレートを作
り、その画像と撮影画像との相関をとって決定するマッ
チング法。

【０００９】

【発明が解決しようとする課題】上述した慣性モーメン
ト法は、図２５（ａ）に示すように、部品１の外部に吸
着ノズル２が食み出したりすると、この部分が本画像１
１に対する外乱画像１２となり、算出すべき本来の中心
位置Ｑの代わりに誤差を含んだ中心位置Ｑ’が算出さ
れ、さらに、本来の主軸Ｘの回転角度の代わりに誤差を
含んだ主軸Ｘ’の回転角度が算出されるという問題があ
った。

【００１０】また、プロフィル法は、図２５（ｂ）に示
すように、本画像１１および外乱画像１２をＸ軸に投影
した像から算出するが、この場合もまた本来の中心位置
Ｑの代わりに誤差を含んだ中心位置Ｑ’が算出されると
いう問題があった。

【００１１】一方、マッチング法においては、上述した
外乱画像１２の影響を受け難いという特徴はあるが、例
えば、５．０×５．０mm以下の部品を撮影し、得られた
画像のサイズが５００×５００mm（ピクセルサイズ１０
μｍ）とすると演算処理回数が極めて大きくなり、１回
の処理時間を１００nsecと速くしても約１６０sec の時
間が必要になり、実用的ではなかった。

【００１２】因みに、マウンタにあっては、画像サイズ
の１／２００〜１／５００の位置精度を確保すること、
部品の撮影から演算結果を出力するまでの時間を１００
msec程度に短縮することが強く要求されていた。

【００１３】本発明は、上記に鑑みてさなれたもので、
その目的とするところは、任意の角度に回転している部
品も含めて、高速かつ高精度に部品の位置を検出し得る
部品位置検出方法を提供することにある。

【００１４】

【課題を解決するための手段】上記目的を達成するた
め、本発明の部品位置検出方法は、部品を撮影した画像
から部品の中心位置および部品の傾斜角度に相当する回
転角度を検出する部品位置検出方法であって、部品のコ
ーナーを検出するための部品の各コーナーの図形にそれ
ぞれ対応する複数の方向性テンプレートを設け、前記撮
像された部品の画像の外接長方形を求め、この外接長方
形を複数の領域に分割し、この分割された各領域内の画
像に対して距離変換を施し、この距離変換によって得ら
れた等距離エリアを中心として前記テンプレートによる
マッチングにより部品のコーナーの座標を求め、この得
られたコーナーの座標から部品の中心位置および主軸の
回転角度を演算することを要旨とする。

【００１５】

【作用】本発明の部品位置検出方法では、部品の各コー
ナーの図形にそれぞれ対応する複数の方向性テンプレー
トを設け、部品の画像の外接長方形を求め、この外接長
方形を複数の領域に分割し、この分割された各領域内の
画像に対して距離変換を施し、この距離変換によって得
られた等距離エリアを中心として前記テンプレートによ
るマッチングにより部品のコーナーの座標を求め、この
得られたコーナーの座標から部品の中心位置および主軸
の回転角度を演算する。

【００１６】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。

【００１７】図６は、本発明の部品位置検出方法を実施
する装置の構成を示す図である。同図において、図２３
と同じ構成要素には同じ符号が付されている。ここで、
拡散板４は中心部に透孔を有し、ここに吸着ノズル２を
通した状態で装着されている。吸着ノズル２の周囲には
複数の光源５が配設され、それぞれ拡散板４を照射して
いる。また、吸着ノズル２の端部延長上には部品１を撮
影するビデオカメラ６が設けられ、この映像信号が画像
処理装置７に入力されるようになっている。なお、前記
拡散板４は部品１の背景を明るくして鮮明な画像を得る
ためのものである。

【００１８】画像処理装置７はＡ−Ｄ変換器７１を備
え、ビデオカメラ６から出力された映像信号を画像デー
タに変換してスムージング手段７２に与える。スムージ
ング手段７２は論理フィルタリング等の局所処理によ
り、撮影画像に含まれる微小で不要な画像に対応する画
像データを除去し、距離変換手段７３を介して、画像メ
モリ７４に記憶させる。一方、スムージング手段７２で
局所処理された画像データはランレングス符号化手段７
５にも加えられ、ここで、画像のランレングスが求めら
れる。また、求められたランレングスに従って部品エリ
ア抽出手段７６が水平、垂直な辺でなる外接長方形をリ
アルタイムで演算するとともに、マッチングエリアをで
きるだけ小さくするように外接長方形を所定の重なりの
ある２つのエリアに分割して画像メモリ７４に記憶させ
る。距離変換手段７３はこの外接長方形の内部を注目エ
リアとして、画像メモリ７４に記憶されている画像に対
して距離変換を施し、再度、画像メモリ７４に記憶させ
る。また、テンプレート記憶手段７７には丸形のテンプ
レート画像が記憶されている。マッチング手段７８は距
離変換によって得られたデータから、外縁部に近い等距
離エリアを読み取り、この等距離エリアを中心としてテ
ンプレート記憶手段７７の丸形テンプレートでマッチン
グして、外乱画像に関係のないコーナー座標、すなわ
ち、等距離エリアを辿ったときに直角に曲ったコーナー
の座標を演算する。位置演算手段７９はこのコーナー座
標から検出対象部品のサイズ、中心位置、主軸の回転角
度を演算する。

【００１９】ところで、画像処理装置７はマイクロコン
ピュータを主体に構成され、その機能の殆どをソフトウ
ェアで処理している。図１はその処理手順の一例を、関
連説明図（ａ）〜（ｆ）と併せて示したもので以下、こ
の図１および詳しい処理内容を説明するための図２乃至
図５をも参照して、画像処理の詳細を説明する。

【００２０】図１においては、まず、部品１を撮影する
（ステップ１１０）。この場合、同ステップに対応して
示す関連説明図（ａ）に示すように、本画像１１と外乱
画像１２とを合わせた画像の周囲に微少な不要画像１３
が現れることが多いので、論理フィルタリング等の局所
処理により不要画像１３を除去するスムージング処理を
実行し、関連説明図（ｂ）に示す画像が得られる（ステ
ップ１２０）。それから、マッチングに必要な最小画像
エリアを抽出すべく、関連説明図（ｃ）に示すように、
画像１１、すなわち位置検出対象画像１１の外接長方形
１４を求める（ステップ１３０）。この場合、図２に示
すように、撮影画像１０のランレングスを求め、このラ
ンレングスの最小値（Ｘ_min，Ｙ_min）および最大値
（Ｘ_max，Ｙ_max）から外接長方形１４を求める。

【００２１】次に、ステップ１３０で求めた外接長方形
１４を重なりαを持った２つのエリア１０１，１０２に
関連説明図（ｄ）に示すように分割する（ステップ１３
５）。このように２つのエリアに分割することにより、
マッチングエリアをできるだけ小さくすることができ
る。

【００２２】それから、外接長方形の各分割されたエリ
ア毎に内部を注目エリアとして画像の距離変換を施し、
外周縁に近い１つの等距離エリアをマッチング画像の中
点に決定する（ステップ１４０）。因に、距離変換は例
えば黒地の任意の点をその背景の白地に関連づけるもの
であり、その関連付けは図３に示すように、その点から
白地を見て、白地への最小距離を求め、それをこの点の
値とする。

【００２３】次のステップ１５０では、関連説明図
（ｅ）に示すように、等距離エリア１５をマッチング画
像の中点として、図４に示すような８方向コーナー検出
テンプレートを用いてパターンマッチングを行う。それ
から、関連説明図（ｆ）に示すように、外乱画像１２に
影響されない３つのコーナーの座標（Ｘ１，Ｙ１），
（Ｘ２，Ｙ２），（Ｘ３，Ｙ３）を検出する（ステップ
１６０）。そして、このように検出したコーナーの座標
（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ３）を図
５に表として示す計算式に代入して、部品１のサイズ、
中心位置および回転角度を演算することができる（ステ
ップ１７０）。

【００２４】上述したように、本部品位置検出方法は、
マッチングエリアをできるだけ小さくするために、図１
の関連説明図（ｄ）に示したように外接長方形を重なり
αを持って２つのエリアに分割するとともに、テンプレ
ートとして図４に示すように各コーナーに対応する８方
向のコーナー検出用のテンプレートを設け、これにより
部品のコーナーのみをパターンマッチングによって検出
し、そのコーナーの座標を算出することにより、この座
標データから部品の中心位置および回転角度を検出する
ことができるものである。テンプレートに方向性がある
ので、コーナーのテンプレートマッチングがより確かな
ものとなるとともに、図４に示したような８方向性のテ
ンプレートにおいて±２５°まで確認精度を保証するこ
とができれば部品のあらゆる角度に対して高精度の認識
が可能である。

【００２５】なお、分割されるエリアの数は、２つに限
るものでなく、３つ、４つと増やすことができるもので
ある。また、コーナー検出用テンプレートも８方向に限
定されず、４，８，１６等と増やすことができ、具体的
には、４×２ⁿの方向を設定することができる。

【００２６】ここで、エリア分割について図７および図
８を参照して説明する。このエリア分割における基本条
件としては、部品の種類、形状、サイズ＝Ｌ×Ｍ、部品
の取付角θ、マウント時のばらつき±Δθが事前にわか
っているものとする。

【００２７】図７において、まず、部品が撮影され（ス
テップ２１０）、この撮影された部品の画像１１に対し
て外接長方形１４が図８に示すように求められる（ステ
ップ２２０）。図８に示すように、この部品のサイズが
Ｌ×Ｍであり、回転角度、すなわち取付角がθ±Δθと
する。

【００２８】まず、右上角のマッチングエリア（Ｘ_RU，
Ｙ_RU）を次式により算出する（ステップ２３０）。

【００２９】Ｘ_RU＝ｆ_XRU＋Ｔ_X＋α Ｙ_RU＝ｆ_YRU＋Ｔ_Y＋α ここで、ｆ_XRU，ｆ_YRUは次式の通りである。

【００３０】

【数１】また、Ｔはテンプレートサイズであり、一般には図９に
示すようにＴ_X＝Ｔ_Yである。αは余裕であり、２〜３
画素相当分である。

【００３１】このように右上角のマッチングエリアが算
出されると、以下同様にして、右下角、左下角、左上角
のマッチングエリアが算出される（ステップ２４０，２
５０，２６０）。なお、テンプレートの移動範囲は図１
０に示すようにマッチングエリア内とする。

【００３２】図１１に示すような形状を有するトランジ
スタのリード検出エリアマッチングについて図１２のフ
ローチャートおよび図１３に示す。

【００３３】図１４は、本発明の他の実施例に係わる部
品位置検出方法を実施する装置の構成図である。同図に
示す部品位置検出方法は、図６に示した実施例の構成に
おいて画像処理装置の構成のみが異なるものであり、そ
の他の構成は同じであるので、同じ構成要素には同じ符
号を付して説明を省略する。

【００３４】図１４に示す画像処理装置１８０は、ビデ
オカメラ６で撮像した画像を標本化および量子化して保
存する画像メモリ１８１、参照画像であるテンプレート
１８４、画像メモリ１８１に記憶された画像とテンプレ
ート１８４との相関演算を実施し、相関度から部品位置
を検出する相関器１８２、該相関器において相関演算を
行う際に、回転ずれによって生ずる画像各点の出現確率
に対応してテンプレートの各点に濃度階調を持たせる自
助生成機能部１８３から構成されている。

【００３５】すなわち、図１４に示す部品位置検出方法
は、部品が撮影毎に本来予想される傾きに対してある範
囲の角度内で回転を生じることを考慮し、参照画像であ
るテンプレートにその角部分を回転中心とした回転画像
を使用し、回転ずれによって生ずる画像各点の出現確率
に対応してテンプレートの各点に濃度階調を持たせるよ
うにしたものである。すなわち、図１〜図６の実施例に
おいて説明したように、部品のコーナー検出用テンプレ
ートを用いて、部品の画像とコーナーにおけるマッチン
グを施して、部品のコーナーの座標を検出し、この座標
から部品の中心位置および傾きである回転角度を検出し
ていたが、対象とする部品は一般に±２０°程度の範囲
で図１５（ａ）に示すように回転を生じるため、従来の
四角、丸形、円弧形等のテンプレートでは部品の画像と
誤差を生じ、コーナーおよび部品の中心位置の検出精度
が低下するという問題がある。

【００３６】そこで、本実施例では、このような検出精
度の低下を防止するために、テンプレートの形状に関し
て図１５（ｂ）に示すように部品が回転しても部品が存
在する領域を黒領域とし、部品が存在しない白領域まで
出現確率に対応して濃度階調をもたせ、これにより部品
の回転やサイズのばらつきに対してもマッチングの精度
を向上し、部品位置の検出精度を向上している。

【００３７】テンプレート画像には多値画像による濃淡
表現を使用するのが一般的であるが、構成が複雑となり
非経済的となるので、これを解決するために、テンプレ
ートは２値画像とし、画素パターンの疎密の差異によっ
て濃淡を表現し、これにより高精度を保ったまま高速処
理を実現している。

【００３８】テンプレート画像の自助生成機能として、
画像処理装置により原画像の傾き角度データを離散デー
タとして標本化し、そのデータを元に傾きを正規分布関
数ｕ（θ）で近似し、画像各点の濃淡度をその正規分布
関数ｕ（θ）に対応させたテンプレート画像を生成する
という機能を持たせることにより、原画像のデータが少
量の場合にも部品の回転に対して精度の良いテンプレー
ト画像を作成することができる。

【００３９】前記自助生成機能部１８３は、吸着ノズル
が部品を吸着する場合に、部品が図１５（ａ）に示すよ
うに回転を生ずるが、この回転、すなわち傾きθが図１
６に示すような正規分布で近似することができる出現確
率αで生じることを考慮し、これに対応した濃度階調で
テンプレート画像に重み付けを図１５（ｂ）に示すよう
に行っている。すなわち、撮影毎に画像処理装置によっ
て原画像の角度データを求め、離散データとして標本化
し、その度毎に傾きの出現確率を図１７（ｂ）に示すよ
うな正規分布関数ｕ（θ）で近似・補正するという学習
機能を自助生成機能として有する。また、図１７（ａ）
に示すように、テンプレート画像をＩ〜VII の領域に分
割し、角度θに対して次式に示す濃度関数ｆで表される
テンプレート画像を生成する。なお、濃度最大値ｋとす
る。

【００４０】

【数２】ここで、θ_aは例えば３σ等のその先の存在確率を無視
することができる程度の角度とする。

【００４１】図１８（ａ）は、上述した自助生成機能部
の構成を示す図であり、該自助生成機能部は正規分布関
数算出部と濃度関数算出部から構成されている。

【００４２】図１８（ｂ）は、自助生成機能部の別の構
成を示す図であり、同図に示す自助生成機能部は撮影毎
に原画像の位置合わせを行い、画像に対して加算、正規
化、切り出し処理を行い、テンプレート画像を作成する
という自助生成機能を達成している。このように構成す
ることにより簡便な自助生成機能を構築することができ
る。

【００４３】また、テンプレートは２値メモリで表現
し、例えば図１９（ａ）に示すように画像パターンの密
度を前記出現確率αと対応づけることにより画像メモリ
の節約および高速処理を実現することができる。

【００４４】更に、テンプレートに多値の濃度階調を持
たせる方法としては、図１９（ｂ）に示すように、２
段、３段等と多段的に持たせることもできる。

【００４５】部品のリード線部分のマッチングを行うに
は、例えば図２０に示すように、同心円的に濃度階調を
持たせたテンプレートを使用することにより、高精度に
マッチングを行うことができる。

【００４６】なお、図１に示した関連説明図（ｄ）で
は、外接長方形を横方向に２つのエリアに分割したが、
例えば部品が上下方向にリード線を有する場合には、図
２１に示すように、エリアを上下に分割し、リード部に
マッチングをかけるようにすることができる。この場
合、テンプレートとしては、図２２に示すように丸形ま
たは丸形と長方形とを重ねた図形のものを使用する。

【００４７】更に、処理時間に余裕がある場合には、距
離変換を行わず、画像抽出、エリア限定、テンプレート
に方向性を持たせてマッチングを行うことにより、更に
高精度なマッチングを行うことができる。

【００４８】

【発明の効果】以上説明したように、本発明によれば、
部品の各コーナーの図形にそれぞれ対応する複数の方向
性テンプレートを設け、部品の画像の外接長方形を求
め、この外接長方形を複数の領域に分割し、この分割さ
れた各領域内の画像に対して距離変換を施し、この距離
変換によって得られた等距離エリアを中点として前記テ
ンプレートによるマッチングにより部品のコーナーの座
標を求め、この得られたコーナーの座標から部品の中心
位置および主軸の回転角度を演算するので、画像処理の
高速化、高精度化および構成の縮小化を達成することが
できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる部品位置検出方法の
処理手順を示すフローチャートである。

【図２】図１に示す部品位置検出方法の詳細を説明する
ための説明図である。

【図３】図１に示す部品位置検出方法の詳細を説明する
ための説明図である。

【図４】図１に示す部品位置検出方法に使用される８方
向性コーナー検出用テンプレートを示す図である。

【図５】図１に示す部品位置検出方法の詳細を説明する
ための説明図である。

【図６】図１に示す部品位置検出方法を実施する装置の
構成図である。

【図７】図１に示す部品位置検出方法におけるエリア分
割処理を示すフローチャートである。

【図８】図７のエリア分割処理の説明に使用する説明図
である。

【図９】図７のエリア分割処理の説明に使用するテンプ
レートの説明図である。

【図１０】図７のエリア分割処理におけるテンプレート
の移動範囲を示す説明図である。

【図１１】特殊なリード線形状を有するトランジスタを
示す図である。

【図１２】図１１に示すトランジスタのリード検出エリ
アマッチングの処理を示すフローチャートである。

【図１３】図１２の処理を説明するための説明図であ
る。

【図１４】本発明の他の実施例に係わる部品位置検出方
法の構成図である。

【図１５】部品画像が±２０°程度の範囲で回転してい
ることを示すとともに、テンプレートの画像に黒領域か
ら白領域まで濃度階調を持たせることを示す説明図であ
る。

【図１６】部品の傾きの出現確率αを示す図である。

【図１７】濃度階調を有するテンプレートを示す図であ
る。

【図１８】図１４に示す装置に使用されている自助生成
機能部の構成図である。

【図１９】テンプレートの濃度画像を示す図である。

【図２０】同心円状に濃度階調を持たせた丸形テンプレ
ートを示す図である。

【図２１】上下方向に分割されたエリアを示す図であ
る。

【図２２】丸形または丸形と長方形とを重ねた図形のテ
ンプレートを示す図である。

【図２３】本発明を適用するマウンタの主要部の側面図
である。

【図２４】従来の部品位置検出方法の問題点を説明する
ための説明図である。

【図２５】従来の部品位置検出方法の問題点を説明する
ための説明図である。

【符号の説明】

１部品２吸着ノズル６ビデオカメラ７画像処理装置７２スムージング手段７３距離変換手段７４画像メモリ７５ランレングス符号化手段７６部品エリア抽出手段７７テンプレート記憶手段７８マッチング手段７９位置演算手段

フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０５Ｋ 13/04 Ｍ 8509−4Ｅ 13/08 Ａ 8315−4Ｅ

Claims

【特許請求の範囲】

【請求項１】部品を撮像した画像から部品の中心位置
および部品の傾斜角度に相当する回転角度を検出する部
品位置検出方法であって、部品のコーナーを検出するための部品の各コーナーの図
形にそれぞれ対応する複数の方向性テンプレートを設
け、前記撮像された部品の画像の外接長方形を求め、この外接長方形を互いに所定の重なりを有した複数の領
域に分割し、この分割された各領域内の画像に対して距離変換を施
し、この距離変換によって得られた等距離エリアを中点とし
て前記テンプレートによるマッチングにより部品のコー
ナーの座標を求め、この得られたコーナーの座標から部品の中心位置および
主軸の回転角度を演算することを特徴とする部品位置検
出方法。
【請求項２】前記各テンプレートは、対応するコーナ
ー部の角部分を回転中心とした回転ずれによって生ずる
テンプレートの各点の出現確率に対応した濃度階調を有
することを特徴とする請求項１記載の部品位置検出方
法。