JP4642648B2

JP4642648B2 - 実装装置に搭載される部品の画像処理方法及び装置

Info

Publication number: JP4642648B2
Application number: JP2005362259A
Authority: JP
Inventors: 公子藤江
Original assignee: Juki Corp
Current assignee: Juki Corp
Priority date: 2005-12-15
Filing date: 2005-12-15
Publication date: 2011-03-02
Anticipated expiration: 2025-12-15
Also published as: JP2007164619A

Description

本発明は、実装装置に搭載される部品の画像処理方法及び装置に係り、特に、電子部品の実装装置に用いるのに好適な、実装装置に搭載される部品の画像処理方法及び装置に関する。

電子部品の実装装置においては、フィーダから供給される電子部品を吸着ノズルで吸着し、該吸着ノズルを基板上の所定位置に移動させて電子部品を基板に搭載している。この際、実装直前において画像認識部においてＣＣＤカメラ等の撮像装置で部品の画像データを取得し、所定の画像処理を行なって吸着中心と部品中心のずれ、あるいは吸着傾きを検出して部品搭載の位置決めの精度を向上させている。

このような電子部品の実装装置における一般的な部品位置決め方法の一つとして、部品の外形特徴物（部品の辺やコーナー）を検出して部品の位置決めを行なうというものがある。この位置決め方法は、リードやボール等の電極が存在しない部品でも位置決めが可能という利点がある。

特に、特許文献１で提案されている外形認識手法と特許文献２で提案されている汎用的な部品特徴物のデータ管理手法とを組み合わせることにより、部品の任意の位置に存在する辺やコーナーを検出し、部品の位置決めを行なうことが可能である。又、上記特許文献１で開示されている手法によれば、部品形状に１箇所でも直線部（直線状の辺）が存在すれば、位置決めが可能である。

特開２００２−２８８６３４号公報特開２００１−２０９７９２号公報

しかしながら、従来の外形特徴物による部品位置決め手法では、検出可能な辺やコーナーの形状は部品０度姿勢に対して水平又は垂直な辺、及び水平辺と垂直辺からなる直角コーナーに限定されていた。そのため、例えば図８に示されるような部品の場合には、辺Ｓ０、Ｓ１、Ｓ２、Ｓ３を用いて部品２の位置決めを行なうことができても、辺Ｓ４を認識対象とすることができなかった。又、図８に示される部品２のような場合は、（０度姿勢に対して水平又は垂直な辺を有しているため）当該水平又は垂直な辺Ｓ０、Ｓ１、Ｓ２、Ｓ３を用いることで、部品の位置決めを行なうことが可能であったが、例えば図９（Ａ）（Ｂ）のような部品４、６のように、直線部は存在するが部品の０度姿勢に対して水平又は垂直な辺が存在しないような場合にあっては、位置決めを行なうことができないという問題があった。

一方、このような実装装置の位置決め機能に対する現実的な要望として、部品の各部位の中でもある特定の部位を特に精度良く位置決めして搭載したいという要望や、不良判定（不良部品をエラーにする）という要望、極性判定（搭載向きの誤り防止のための部品方向判別）を行ないたいという要望、異部品検査（類似形状の部品の誤搭載防止）を行いたいという要望などがある。

例えば、図８に示した部品２のうち、より精度良く搭載したい箇所が辺Ｓ４であれば、辺Ｓ０、Ｓ１、Ｓ２、Ｓ３で部品の位置決めを行なうよりも、辺Ｓ４を直接用いて部品の位置決めを行なった方がよい。又、不良判定をより正確に行なうためには、より多くの特徴物の検出が望まれる。例えば、部品の方向においても、辺Ｓ４の存在位置が判れば、より判定を正確に行なうことができるようになり、部品２と外形寸法の類似する矩形部品との違いも辺Ｓ４の存在の有無で正確に判定することが可能となる。

このように、従来の認識手法では、水平又は垂直方向の辺しか検出できなかったため、異形状部品に対しては位置決め以外の要望に対して応じられる機能が限定されてしまうという問題があった。

本発明は、このような従来の問題を解消するためになされたものであって、様々な角度を持つ辺で構成された多角形部品や異形部品の位置決めを可能とし、より自由な組合せで部品の位置決め・検査を行なうことができる実装装置に搭載される部品の画像処理方法及び装置を提供することをその課題としている。

本発明は、実装装置に搭載される部品上の任意位置に任意角度で存在する直線状の辺を、辺の両端点座標、辺の中点座標、これらの座標を結ぶベクトル方向、辺の長さ、部品０°姿勢に対する辺の傾き等の情報の一部または全部を組み合わせることで、当該辺の位置や角度を特定可能な部品データで指定し、該部品データで指定される任意角度の辺を検出する為に、９０°未満の所定角度単位に方向を選択・設定可能な探索ウィンドウの設定に当たって前記任意角度の辺の傾きと最も近い角度を有する探索ウィンドウを選択し、選択された探索ウィンドウの角度が、０°又は１８０°であれば垂直方向の走査だけ、９０°又は２７０°であれば水平方向の走査だけ、それ以外は水平方向と垂直方向両方の走査によってエッジ検出を行い、且つ、該エッジ検出するための前記水平走査、垂直走査のそれぞれのスキャン方向を、前記選択された探索ウィンドウの角度に応じてエッジ検出がより多くなる方向に設定・制御する構成とすることにより、上記課題を解決したものである。

本発明は、また、実装装置に搭載される部品上の任意位置に任意角度で存在する直線状の辺を、辺の両端点座標、辺の中点座標、これらの座標を結ぶベクトル方向、辺の長さ、部品０°姿勢に対する辺の傾き等の情報の一部または全部を組み合わせることで、当該辺の位置や角度を特定可能な部品データで指定する手段と、該部品データで指定される任意角度の辺を検出する為に、９０°未満の所定角度単位に方向を選択・設定可能な探索ウィンドウの中から、前記任意角度で存在する直線上の辺の傾きと最も近い角度を有するとして選択された探索ウィンドウと、選択された探索ウィンドウの角度が、０°又は１８０°であれば垂直方向の走査だけ、９０°又は２７０°であれば水平方向の走査だけ、それ以外は水平方向と垂直方向両方の走査によってエッジ検出を行うとともに、該エッジ検出するための前記水平走査、垂直走査のそれぞれのスキャン方向を、前記選択された探索ウィンドウの角度に応じてエッジ検出がより多くなる方向に設定・制御されたエッジ検出手段と、を備えた構成とすることにより、同じく上記課題を解決したものである。

本発明によれば、部品の正姿勢に対して水平又は垂直な辺が無くても認識が可能となるため、部品上に１箇所でも直線部（直線状の辺）が存在すれば、これを指標として任意の部品向きを正姿勢として認識することができる。

又、水平辺と垂直辺で構成されていなくても部品の認識ができるため、様々な角度を持つ辺で構成されたいわゆる多角形部品や異形部品等の位置決めなど、認識の対象となる部品の範囲を大幅に拡大することが可能となる。

更に、任意角度の直線部の認識を可能としたため、ユーザの意図する要望に合致した態様で（正確性が求められるときにはそのような態様で、効率が求められるときには別の態様で）部品の位置決め・検査を行なうことができる。

様々な形状の部品を目的に合致した態様で位置決め・検査することができる。

以下図面を参照して本発明の実施形態の一例を詳細に説明する。

図７に、本発明に係る画像処理を実施する際に用いる電子部品の位置検出装置の一例を示す。

図７において、１０は電子部品、２８は該電子部品１０を吸着するための吸着ノズル、３０は部品検出部、４０は画像処理装置、６０は入力画像や処理画像を表示するためのモニタである。前記部品検出部３０は、多数の照明ランプを備えた照明装置３２、レンズ３４、例えばＣＣＤカメラからなる撮像装置３６等を備えている。又、画像処理装置４０は、ＣＰＵ４２、Ａ／Ｄコンバータ４４、部品データ格納メモリ４６、及び画像メモリ４８、５０等を備えている。

以下、簡単にこの位置検出装置の動作を説明する。

実装装置の図示せぬメイン制御装置は、認識に先立って部品データを前記画像処理装置４０に送信する。部品データには、部品ＩＤ、形状やサイズ等の情報が含まれている。本実施形態のように、「辺」を用いて部品の位置決めや検査を行なう場合には、以下の方法で部品データを記述することができる。

例えば、特許文献２に記載されているように、属性を設定した電極（リード、ボール等）や位置決め可能な特徴がある部分（辺、コーナー、マーク等）を最小構成単位要素（以下エレメントと記述）として扱い、このエレメントとその配置情報などを属性としたエレメント構成要素（以下エレメントグループと記述）を設定し、又、このエレメントグループの集合とサイズ等の部品としての属性情報から１個の部品を設定する。

任意傾きの辺を指定する場合には、エレメントグループのエレメント配置情報で、例えば図１の（Ａ）〜（Ｄ）で示されるようないずれかの部品データを設定する。

（Ａ）辺の長さｄＬｅｎ、辺の角度θ、辺の中点座標（Ｘ，Ｙ）

（Ｂ）辺の端点０（Ｘ０，Ｙ０）、端点１（Ｘ１，Ｙ１）（この場合は、指定順番で背景と部品の位置関係も表現する：この場合は、端点０→端点１のベクトルの左側が背景となる。）

（Ｃ）辺の位置端点０（Ｘ０，Ｙ０）、辺の長さｄＬｅｎ、辺の角度θ

（Ｄ）辺の端点０（Ｘ０，Ｙ０）、辺の中点座標（Ｘ，Ｙ）、辺の長さｄＬｅｎ（この場合も、指定順番で背景と部品の位置関係を表現する：端点０→中点のベクトルの左側が背景。）

このように、特定の部品上の任意位置に任意角度で存在する直線状の辺を、当該辺を座標上において特定可能な情報を用いて表現することのできる部品データを記述することにより、この記述情報と実際に検出した画像上の辺の位置から部品の位置決めを行なうことができる。

図２は、認識手順の一例を示すフローチャートである。

実装装置のメイン制御装置から部品の認識要求が出されると、まず部品の撮像を行なう（ステップＳ１）。

続いて、該当する部品データを取得する（ステップＳ２）。認識時は実装装置のメイン制御装置から部品ＩＤを通知される。部品データは部品データ格納メモリ４６（図３参照）で部品ＩＤ毎に管理されているため、部品ＩＤを用いて該当する部品データを取得することができる。

ここで、指定辺の認識順序は、ユーザが定義したとおりに認識するモードと、指定された辺の情報から最適な認識順で内部で割り当てて認識するモードとがある。このモードは部品データで指定される。認識順を内部で割り当てて認識する場合は、認識に先立ち最適な認識順を取得する（ステップＳ３）。最適な認識順は辺毎に以下の項目について点数化し、この点数の総和で降順とする。なお、この処理は、部品データ受信後に設定しておき部品データで管理してもよい。

（ａ）辺の長さ（長いほど高得点）

（ｂ）密度（指定辺の周辺に他の指定辺が複数存在するほど高密度か否か→密度が低いほど高得点）

（ｃ）類似辺の有無（指定辺に近い角度の辺の存在の有無→類似辺がないほど高得点）

次いで、辺を検出するための２値化閾値を取得する（ステップＳ４）。２値化閾値は、部品データで外部指定されるが、指定されていなければ画像から自動で取得する。自動取得の方法は、一般的な閾値取得手法（ｂ−タイトル法や、微分ヒストグラム法、判別分析法）を部品形状や撮像条件により使い分ける。

その後、指定辺を順番に検出していく（ステップＳ５）。辺の検出処理の詳細については後に詳述する。

ここで全ての指定辺の検出が終了したか否かを確認し（ステップＳ６）、全ての指定辺の検出が終っていない場合には、全ての辺の検出が終るまでステップＳ５を繰り返す。やがて、全辺の検出が終ったと検出されると、ステップＳ７に進んで、辺の存在位置から部品の傾きと中心を算出する。辺の検出結果は直線（式）であり、部品データで指定された辺の中点位置や辺の両端点の位置が明確に検出できるわけではないため、中心・傾きの算出には指定辺同士の交点座標を用いる。交点が存在しない場合（指定辺数が１辺又は指定された辺が全て平行）の場合は、例えば特許文献１において開示されている部品検出方法と後述する辺検出手法を組み合わせることで位置決め可能である。ステップＳ７で部品の中心・傾きが検出されると、該部品中心と傾きを実装装置のメイン制御装置へ送信し位置決め完了となる。

図３は、辺検出処理の流れの一例を示すフローチャートである。まず、ステップＳ１１において辺の検出ウィンドウの設定を行なう。具体的には、図４に示されるように、指定辺の傾き、例えば２２．５°未満、２２．５°以上６７．５°未満、６７．５°以上１１２．５°未満、・・・３３７．５°以上の分類に合わせて、それぞれ０°、４５°、９０°、・・・３１５°のいずれかの方向を持つウィンドウを、指定辺の存在するであろう領域に設定する。

指定辺の存在範囲は、部品データで指定された辺の位置や大きさの情報と許容吸着ずれ量（経験から得た固定値）を用いて設定する。又、既に正常検出できた辺がある場合は、その結果から更に辺の存在領域を限定することができる。

次いで、ステップＳ１２において、設定した探索ウィンドウ内でスキャンを行ない、エッジ点を検出する。図５の（Ａ）（Ｂ）で比較して示すように、エッジを検出する際は、辺の傾きとスキャン方法の角度が合わないと、検出できるエッジ数が少なくなってしまう（図５（Ａ）の状態）。そこで、スキャン方向は、設定した探索範囲の角度によって決定するようにし、図５に示すような場合には、同図（Ｂ）で示すようなスキャン方向からスキャンするようにする。

この具体的な方向を表にまとめたのが図６である。

次に、ステップＳ１３においてエッジ点の統合が行なわれる。具体的には、例えば２方向からスキャンしエッジ点を取得した場合（探索ウィンドウ傾きが４５°、１３５°、２２５°、３１５°の場合）は、２方向のスキャンで得たエッジ点を統合する。

その後、ステップＳ１４で勾配ベクトルの取得を行ない、ステップＳ１５でハフ変換による直線式取得を行なう。この一例としては、例えば特許文献１に記載の手法が採用できる。

具体的には、例えば、求められたエッジ点列（各走査線が部品のエッジと交差する黒丸の点列）を取得し、この取得したエッジ点列についてハフ変換を用いて最も多くの点が乗る直線を求め、この直線に搭乗した点列を用いて最小二乗法で直線式を求め直す手法が採用できる。

なお、本発明において「当該辺を座標上において特定可能な情報」は、上述した図１（Ａ）〜（Ｄ）で示す４組の情報に限定されるものではなく、これらの個別のデータを適宜に組み合わせ直したものでもよい。

又、上記実施形態においては、検出しようとする辺の傾きに合わせて、４５°単位の方向を持つ探索ウィンドウを設定するようにしていたが、必ずしも４５°である必要はなく、例えば３０°単位、あるいは６０°単位の方向を持つ探索ウィンドウを設定するようにしてもよい。３０°とした場合には４５°の場合より精度よく、６０°とした場合には効率よく検出することができる。

任意の傾きの辺を指定する場合のエレメントグループのエレメント配置情報の設定例を示す線図辺の認識手順の一例を示す流れ図辺の検出処理の一例手順を示す流れ図指定辺の傾きと探索ウィンドウの傾きの関係の一例を示す線図スキャン方向と検出できるエッジ数との関係を示す線図探索ウィンドウの傾きとスキャン方向との関係を示す線図本発明を実施するための電子部品の位置検出装置の一例を示す一部斜視図を含むブロック図検出しようとする部品の形状の一例を示す平面図他の部品の例を示す平面図

符号の説明

１０…部品
３０…部品検出部
３２…照明装置
３６…撮像装置
４０…画像処理装置
４６…部品データ格納メモリ
４８、５０…画像メモリ
６０…モニタ

Claims

実装装置に搭載される部品上の任意位置に任意角度で存在する直線状の辺を、
辺の両端点座標、辺の中点座標、これらの座標を結ぶベクトル方向、辺の長さ、部品０°姿勢に対する辺の傾き等の情報の一部または全部を組み合わせることで、当該辺の位置や角度を特定可能な部品データで指定し、
該部品データで指定される任意角度の辺を検出する為に、
９０°未満の所定角度単位に方向を選択・設定可能な探索ウィンドウの設定に当たって前記任意角度の辺の傾きと最も近い角度を有する探索ウィンドウを選択し、
選択された探索ウィンドウの角度が、０°又は１８０°であれば垂直方向の走査だけ、９０°又は２７０°であれば水平方向の走査だけ、それ以外は水平方向と垂直方向両方の走査によってエッジ検出を行い、且つ、
該エッジ検出するための前記水平走査、垂直走査のそれぞれのスキャン方向を、前記選択された探索ウィンドウの角度に応じてエッジ検出がより多くなる方向に設定・制御する
ことを特徴とする実装装置に搭載される部品の画像処理方法。
実装装置に搭載される部品上の任意位置に任意角度で存在する直線状の辺を、
辺の両端点座標、辺の中点座標、これらの座標を結ぶベクトル方向、辺の長さ、部品０°姿勢に対する辺の傾き等の情報の一部または全部を組み合わせることで、当該辺の位置や角度を特定可能な部品データで指定する手段と、
該部品データで指定される任意角度の辺を検出する為に、
９０°未満の所定角度単位に方向を選択・設定可能な探索ウィンドウの中から、前記任意角度で存在する直線上の辺の傾きと最も近い角度を有するとして選択された探索ウィンドウと、
選択された探索ウィンドウの角度が、０°又は１８０°であれば垂直方向の走査だけ、９０°又は２７０°であれば水平方向の走査だけ、それ以外は水平方向と垂直方向両方の走査によってエッジ検出を行うとともに、該エッジ検出するための前記水平走査、垂直走査のそれぞれのスキャン方向を、前記選択された探索ウィンドウの角度に応じてエッジ検出がより多くなる方向に設定・制御されたエッジ検出手段と、を備えた
ことを特徴とする実装装置に搭載される部品の画像処理装置。