JP3586371B2 - Electronic component recognition device - Google Patents

Electronic component recognition device Download PDF

Info

Publication number
JP3586371B2
JP3586371B2 JP10359498A JP10359498A JP3586371B2 JP 3586371 B2 JP3586371 B2 JP 3586371B2 JP 10359498 A JP10359498 A JP 10359498A JP 10359498 A JP10359498 A JP 10359498A JP 3586371 B2 JP3586371 B2 JP 3586371B2
Authority
JP
Japan
Prior art keywords
component
recognition
electronic component
data
recognition camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10359498A
Other languages
Japanese (ja)
Other versions
JPH11289199A (en
Inventor
恒史 赤石
善紀 池田
俊明 和田
貴志 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Instruments Co Ltd
Original Assignee
Hitachi High Tech Instruments Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Tech Instruments Co Ltd filed Critical Hitachi High Tech Instruments Co Ltd
Priority to JP10359498A priority Critical patent/JP3586371B2/en
Publication of JPH11289199A publication Critical patent/JPH11289199A/en
Application granted granted Critical
Publication of JP3586371B2 publication Critical patent/JP3586371B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Supply And Installment Of Electrical Components (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えば電子部品装着装置などに用いられる電子部品認識装置に関するものである。
【0002】
【従来の技術】
例えば電子部品装着装置における従来の電子部品認識装置では、電子部品の装着に先立ち、基板に装着するために装着(吸着)ノズルで吸着した電子部品(認識対象部品)を、部品認識カメラの焦点が合う所定の撮像位置(焦点位置)まで下降させ、反射照明からの反射光または透過照明からの透過光によって、電子部品の像を部品認識カメラで撮像して部品認識を行う。
【0003】
この場合、電子部品認識装置では、画像認識により、その認識対象部品の吸着姿勢(吸着位置や吸着角度等)を、所定の位置データに基づく部品認識カメラの座標系において、X・Y方向および角度θの値として認識し、この電子部品認識装置を備えた電子部品装着装置では、その認識結果に基づいてその吸着姿勢の補正を行った後、その電子部品Sを基板に装着する。
【0004】
【発明が解決しようとする課題】
上述のような従来の電子部品認識装置では、部品認識カメラにおいて、認識対象部品を焦点位置で撮像したときに最良の画像を得られるように、反射または透過の照明の配置を決定するが、その認識対象部品の種類(部品種別)等によっては、その照明からの光の角度では、部品認識に適した画像が得られないものがある。
【0005】
かといって、部品種別毎に専用の照明や焦点位置の異なる部品認識カメラを設置するのでは、設備コストが膨大となるばかりでなく、その物的スペースが必要になって構造が複雑になると共に、それらの制御も煩雑なものとなってしまう。
【0006】
本発明は、既存の機構を利用しつつ、認識対象部品の種別等に応じて撮像位置を変更しても、その部品の吸着姿勢などを正確に認識できる電子部品認識装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明の電子部品認識装置は、電子部品を保持する装着ヘッドと、装着ヘッドに保持した電子部品を下側から撮像する部品認識カメラと、撮像に際し電子部品を照明する照明器具と、装着ヘッドを昇降させ、部品認識カメラの焦点深度内における前記電子部品の撮像位置を可変させるヘッド昇降機構と、装着ヘッドを水平面内においてXY方向に移動させるXY移動機構と、XY移動機構を制御し、電子部品の部品中心を部品認識カメラの視野中心に臨ませる制御手段と、前記撮像位置を前記焦点深度内の第1位置としたときの視野中心の位置データを記憶する第1記憶手段と、前記撮像位置を前記焦点深度内の第2位置としたときの視野中心の位置データを記憶する第2記憶手段とを備え、前記制御手段は、電子部品を前記第1位置で撮像する場合には、前記第1記憶手段の位置データに基づいて前記XY移動機構を制御し、前記第2位置で撮像する場合には、前記第2記憶手段の位置データに基づいて前記XY移動機構を制御することを特徴とする。
【0008】
一般に、視野中心の位置が定まれば、そのデータ(位置データ)に基づいて部品認識カメラの座標系を定めることができるので、視野中心の適切な位置データを記憶しておき、その視野中心に合うように、認識対象部品(を保持する装着ヘッド)の移動(位置)を制御すれば、その位置データに基づく座標系において、適切な撮像画像(のデータ)を得ることができ、その吸着姿勢を認識できる。
【0009】
しかし、部品種別等によりその認識対象部品の撮像位置が異なる場合に、部品認識カメラの座標系の基準とすべき位置データとして、一律に同じ位置データを用いたのでは、その部品の吸着姿勢などを正確に認識できない。この電子部品認識装置では、認識対象部品の撮像位置に応じた位置データを用いるので、その部品を移動させるXY移動機構を適切に制御でき、これにより、部品の吸着姿勢などを正確に認識できる。
【0010】
また、第1位置も第2位置も、部品認識カメラの焦点深度内にあるので、認識可能な明確さで、電子部品の画像を十分に認識でき、その部品認識カメラを部品種別毎に設置する必要もない。そして、他の構成要件、すなわち装着ヘッド、照明器具、ヘッド昇降機構、XY移動機構なども、例えば電子部品装着装置などにおける既存の機構なので、それらを利用でき、これにより、機構(構造)等が複雑になることはない。
【0011】
さらに、従来においても必要としていた基準の位置データを、撮像位置に応じたものとするだけなので、制御が煩雑になることもない。したがって、この電子部品認識装置では、既存の機構を利用しつつ、認識対象部品の種別等に応じて撮像位置を変更しても、その部品の吸着姿勢などを正確に認識できる。なお、一方の撮像位置、すなわち、第1位置または第2位置が、部品認識カメラの焦点位置であれば、それについては、既存の位置データを利用できるので、既存の装置からの流用性がさらに向上する。
【0012】
請求項1の電子部品認識装置において、前記位置データには、XY方向の偏位データが含まれ、この偏位データは、前記撮像位置を前記部品認識カメラの焦点位置としたときの視野中心の位置データに含まれる偏位データを、前記電子部品の昇降における軸線と前記部品認識カメラの光軸との間の角度の相違に基づく偏差で補正したものであることが好ましい。
【0013】
この電子部品認識装置では、位置データにXY方向の偏位データを含むので、この位置データに基づく部品認識カメラの座標系において、認識対象部品のXY方向の位置偏差(偏位)を認識することができる。また、この電子部品認識装置を適用した例えば電子部品装着装置では、その認識結果に基づいて、吸着された認識対象部品のXY方向のずれを検出して補正等をすることができる。
【0014】
また、撮像位置を部品認識カメラの焦点位置としたときの視野中心の位置データに含まれる偏位データ、すなわち、従来における基準の位置データに含まれる偏位データを、電子部品の昇降における軸線と部品認識カメラの光軸との間の角度の相違に基づく偏差で補正するだけで、第1位置や第2位置における位置データの偏位データを得ることができる。したがって、認識対象部品の種別等に応じて撮像位置を変更しても、既存の機構ばかりでなく、既存の位置データをも利用できるので、既存の装置からの流用性がさらに向上する。
【0015】
請求項1または2の電子部品認識装置において、前記位置データには、撮像における倍率データが含まれることが好ましい。
【0016】
この電子部品装着装置では、位置データに撮像における倍率データを含むので、部品種別等により認識対象部品の撮像位置が異なる場合、すなわち部品認識カメラと認識対象部品との距離が異なっても、その相違による偏差を認識できる。このため、この電子部品認識装置を適用した例えば電子部品装着装置では、その認識結果に基づいて、認識対象部品の例えばリード間、ピン間、ハンダボール間のピッチなどを正確に認識して補正等をすることができる。
【0017】
また、請求項1ないし3のいずれかの電子部品認識装置において、前記位置データには、水平面内における回転角度データが含まれることが好ましい。
【0018】
この電子部品装着装置では、位置データに水平面内における回転角度データを含むので、この位置データに基づく部品認識カメラの座標系において、認識対象部品の吸着角度の偏差を認識することができる。また、この電子部品認識装置を適用した例えば電子部品装着装置では、その認識結果に基づいて、吸着された認識対象部品の吸着角度のずれを検出して補正等をすることができる。
【0019】
【発明の実施の形態】
以下、添付図面を参照して、本発明の一実施形態に係る電子部品認識装置を適用した電子部品装着装置について説明する。
【0020】
図1は電子部品装着装置の平面図であり、この電子部品装着装置1は、いわゆる多機能チップマウンタであり、チップコンデンサやチップ抵抗などの回路素子部品Spや、QFP(Quad Flat Package )などの多リードパッケージ部品(多リード部品)Slなどの他、単数または複数のベアチップを搭載したPGA(Pin Grid Array)やBGA(Ball Grid Array )などのエリアアレイパッケージ部品(グリッド部品)Sgなど、各種の電子部品S(Sp、Sl、Sg)を実装できるように構成されている。
【0021】
同図に示すように、電子部品装着装置1は、機台2と、機台2の中央部に左右方向に延在するコンベア部3と、機台2の前部(図示の下側)に配設した第1部品供給部4aと、機台2の後部(図示の上側)に配設した第2部品供給部4bと、機台2の前部に移動自在に配設した第1XYステージ6aと、機台2の後部に移動自在に配設した第2XYステージ6bとを備えている。
【0022】
第1XYステージ6aには、電子部品Sを吸着および装置するための第1ヘッドユニット8aが、同様に第2XYステージ6bには、第2ヘッドユニット8bがそれぞれ搭載されている。各ヘッドユニット8(8a、8b)には、支持部材10に取り付けるようにして、1台の基板認識カメラ11と2台の装着ヘッド12,12とが搭載されている。
【0023】
また、機台2上には、コンベア部3を挟んで、各一対2組の部品認識ユニット60と、2台のノズルストッカ14とが、それぞれ配設されている。この場合、前部に位置する一対の部品認識ユニット60およびノズルストッカ14は第1ヘッドユニット8aに対応し、後部に位置する一対の部品認識ユニット60およびノズルストッカ14は第2ヘッドユニット8bに対応している。また、前部のノズルストッカ14の近傍には、後述するダミー部品40を収容する偏位認識ユニット15が配設されている。
【0024】
この電子部品装着装置1では、表面実装部品などの小さい電子部品Sは、第1部品供給部4aおよび第2部品供給部4bから供給され、多ピンIC部品など大きい電子部品Sは、図示しないトレイ形式の部品供給部から供給される。また、基板は、コンベア部3により左方から供給されて機台2中央に不動にセットされ、右方に排出される。なお、通常、第1XYステージ6aと第2XYステージ6bとは交互運転となる。
【0025】
例えば、第1XYステージ6aを用いる電子部品Sの実装では、第1XYステージ6aにより、第1ヘッドユニット8aを第1部品供給部(他の部品供給部でも可)4aに臨ませ、ヘッド昇降機構26により装着ヘッド12を下降させて所望の電子部品Sを吸着する。
【0026】
続いて装着ヘッド12を所定の位置まで上昇させてから、電子部品Sを部品認識ユニット60の部品認識カメラ13に臨ませ、同様にして装着ヘッド12を降昇させて電子部品Sの吸着姿勢を認識し、更に第1ヘッドユニット8aを基板の所定の位置まで移動させ、同様に、基板認識カメラ11で基板位置と基板上の装着位置を認識した後、電子部品Sを基板に装着する。
【0027】
その際、部品認識カメラ13の認識結果に基づいて、設計値(装着ヘッドのノズル位置)と吸着した電子部品Sの吸着姿勢(吸着位置や吸着角度等)との間の偏差の補正が行われ、基板認識カメラ11の認識結果に基づいて、設計値と基板位置および基板上の装着位置との間の偏差の補正が行われる。
【0028】
なお、この場合、画像認識により、その認識対象部品の吸着姿勢を、部品認識カメラ13の座標系におけるX・Y方向および角度θ(以下、角度θをZ方向として表現する)の値として認識し、その認識結果に基づいてその吸着姿勢の補正を行った後、その電子部品Sを基板に装着する。
【0029】
また、同様に、基板認識カメラ11による位置の認識においても、基板認識カメラの座標系におけるX・Y・Z方向の値として認識し、その認識結果に基づいて位置補正が行われる。
【0030】
コンベア部3は、中央のセットテーブル16と、左側の搬入搬送路17と、右側の搬出搬送路18とを有している。基板は、搬入搬送路17からセットテーブル16に供給され、セットテーブル16で電子部品Sの装着を受けるべく不動にかつ所定の高さにセットされる。そして、電子部品Sの装着が完了した基板は、セットテーブル16から搬出搬送路18を介して排出される。
【0031】
この場合、搬入搬送路17には供給待機状態の基板が有り、また搬出搬送路18には排出待機状態の基板が有り(図示では省略)、これらの基板は順送りで搬送される。なお、詳細は後述するが、セットテーブル16における基板の突当端が装置全体の絶対基準座標系の原点となる。
【0032】
第1部品供給部4aおよび第2部品供給部4bは、いずれも多数のテープカセット19を横並びに配設したものである。各テープカセット19には、キャリアテープ(図示では省略)に装填された状態で電子部品Sが収容され、電子部品Sはテープカセット19の先端から1つずつ供給される。
【0033】
通常の運転において、第1ヘッドユニット8aが装着動作している場合には、第2部品供給部4bでテープカセット19の交換作業が行われ、第2ヘッドユニット8bが装着動作している場合には、第1部品供給部4aでテープカセット19の交換作業が行われる。
【0034】
第1XYステージ6aおよび第2XYステージ6bは、機台2の左右両端部に配設した一対のY軸ガイドレール21に案内されて、前後方向(Y軸方向)に移動するY動ビーム22を、それぞれ有している。
【0035】
第1XYステージ6aのY動ビーム22は、左部の図外のボールねじおよびこれを回転させるY軸モータ(Yモータ:図2参照)により、Y軸方向(前後方向)に進退する。同様に、第2XYステージ6bのY動ビーム22は、右部の図外のボールねじおよびこれを回転させるY軸モータ(Yモータ)により、Y軸方向に進退する。
【0036】
一方、両Y動ビーム22、22は全く同一のものであり、それぞれX軸ガイドレール23を有し、上記の駆動系と同様に、図外のボールねじおよびX軸モータ(Yモータ:図2参照)の構成で、上記の各ヘッドユニット8a、8bをX軸方向(左右方向)に進退させる。このように、各ヘッドユニット8a、8bは、X軸方向およびY軸方向、すなわち水平面内において移動自在となっている。
【0037】
各ヘッドユニット8(8a、8b)は、Y動ビーム22によりX軸方向に移動する支持部材10と、支持部材10に取り付けられたヘッド昇降機構26と、ヘッド昇降機構26により必要に応じて昇降する2個の装着ヘッド12と、両装着ヘッド12、12間に配置した1個の基板認識カメラ11とを備えている。基板認識カメラ11は、各基板の基準マークを認識するものであり、基準マークが電子部品Sの装着位置の基準となる。
【0038】
次に、図2を参照して、この電子部品装着装置1の制御ユニット100について説明する。なお、この説明では第1XYステージ6a側についてのみ、また、部品認識ユニット60やヘッドユニット8については1台についてのみ、説明する。
【0039】
同図に示すように、制御ユニット100には、XYステージ6を介してヘッドユニット8をXY方向に移動させるXモータ101およびYモータ102と、装着ヘッド12に搭載したZモータ(回転)103とが接続されている。Xモータ101、Yモータ102およびZモータ103は、それぞれXモータドライバ104、Yモータドライバ105およびZモータドライバ106を介して、これらを統括制御するCPU107に接続されている。
【0040】
同様に、ヘッドユニット8はヘッドユニットドライバ108を介して、また、基板認識カメラ11および部品認識カメラ13は、それぞれ基板画像処理部111および部品画像処理部109を介して、CPU107に接続されている。また、同様に、後述の部品認識照明61および偏位認識照明34は、それぞれ部品認識照明ドライバ110および偏位認識照明ドライバ112を介して、CPU107に接続されている。
【0041】
また、CPU107にはメモリ120が接続されており、メモリ120は、後述の焦点位置で認識される電子部品Sのための第1データ領域121や、焦点位置以外で認識される電子部品Sのための第2データ領域122を有している。
【0042】
これらには、各認識対象部品を認識し、かつ、それらの認識結果を補正するための後述の位置データ、すなわち、それぞれ、第1偏位(オフセット)データ121dおよび第1倍率(ズーム)データ121z、並びに、第2オフセットデータ122dおよび第2ズームデータ122zが記憶されている。
【0043】
また、メモリ120には、これらの他、基板認識カメラ11の座標系の偏位を補正するためのオフセットデータや、上記の各モータ104、105、106や各認識カメラ11,13を制御するための設計値データなどが記憶されている。
【0044】
各オフセットデータは、後述する偏位の算出作業により更新され、CPU107は設計値データを各オフセットデータで補正して、各モータ104、105、106や各認識カメラ11、13を制御する。なお、各認識カメラ(CCDカメラ)11、13による撮像対象物の認識は、撮像結果を各画像処理部111、109で二値化等の処理を行った後、これをCPU107で演算処理することで、行われる。
【0045】
部品認識ユニット60は、部品認識カメラ13と部品認識照明61とを備えている。部品認識照明61は、図3ないし図5に示すように、回路素子部品Spや多リード部品Sl用の反射照明となるLED群61aおよび透過照明となるLED群61b、並びに、グリッド部品Sg用の照明となるLED群61gなどの、多数のLEDを有するLEDアレイなどにより内周面が構成されていて、認識対象となる電子部品Sの種類により各LEDを選択点灯する。
【0046】
一方、各装着ヘッド12は、ヘッド昇降機構26により所定の範囲を昇降するようにヘッドユニット8に搭載され(図2参照)、ヘッド透過照明12a、拡散板12b、拡散板12cを有する他、その下端部には、図外の真空吸引装置に接続された吸着ノズル25が着脱自在に取り付けられている。なお、各装着ヘッド12には、吸着ノズル25を介して電子部品Sを水平面内で回転させるモータ(図示省略)が組み込まれている。
【0047】
例えば、図3に示すように、反射照明のLED群61aを利用した部品認識では、回路素子部品Spや多リード部品Slなどの電子部品S(例えば図示のSa)を認識対象の電子部品(認識対象部品)として、周囲のリードピンPlなどを認識するために、反射光Laを電子部品Saに反射させる。
【0048】
この場合、基板に装着するために吸着ノズル25で吸着した電子部品(認識対象部品)Saを、部品認識カメラ13の焦点が合う所定の撮像位置、すなわち焦点面位置(焦点位置)Fpまで下降させ、反射照明61lからの反射光Laによって、電子部品Saの像を部品認識カメラ13で撮像して部品認識を行う。
【0049】
また、例えば、図4に示すように、ヘッド透過照明12aを利用した部品認識では、前述の図3と同様の電子部品S(例えば図示のSb)を認識対象部品として、その部品の陰影(シルエット)などを認識するために、電子部品Sbを焦点位置Fpまで下降させ、透過光Lbによって、電子部品Sbの像を部品認識カメラ13で撮像して部品認識を行う。
【0050】
また、透過照明のLED群61bを利用した部品認識では、透過光Lcを拡散板12cに反射させることによって、同様に、電子部品Scの部品認識を行う。
【0051】
これらの場合、前述の第1オフセットデータ121dに基づく部品認識カメラ13の座標系において、画像認識により、その電子部品(認識対象部品)Sの吸着姿勢(吸着位置や吸着角度等)を、X・Y・Z方向の値として認識し、その認識結果に基づいてその吸着姿勢の補正を行った後、その電子部品Sを基板に装着する。
【0052】
すなわち、一般に、視野中心の位置が定まれば、そのデータ(位置データ)に基づいて部品認識カメラの座標系を定めることができるので、上記の場合、視野中心の適切な位置データを第1オフセットデータ121dとして記憶しておき、部品認識カメラ13の視野中心に合うように、装着ヘッド12の移動(位置)を制御することにより、第1オフセットデータ121dに基づく座標系において、適切な撮像画像のデータを得ることができ、その吸着姿勢を認識できる。
【0053】
ところで、PGAやBGAなどのグリッド部品Sgでは、その部品Sgの下面(エリア)に、(PGAの)ピンや(BGAの)ハンダボール(以下「ハンダボール等」)Hbが網(グリッド)状に配設されている(図6参照)ので、透過光による部品認識では、その種別を認識することができない。また、多リード品Sl等のようにその周辺の形態、すなわちリードPlの形態(図7参照)によってその種別を認識することもできない。
【0054】
また、グリッド部品Sgは、その種類により、ハンダボール等Hbのピッチが異なる他、メタリック系のパッケージにおいては、反射光に対してハンダボール等Hbのコントラストが取りにくく、さらに、ハンダボール等Hbが欠けていても、その背景のパッケージによる反射(背面反射)によりそれを認識できない、などの問題があり、上述した多リード部品Sl等とは異なる角度の光を電子部品S(Sg)に照射する必要がある。
【0055】
そこで、この電子部品装着装置1では、認識対象部品がグリッド部品Sgのときには、図5に示すように、他のLED群61a、61bより上方に配設したLED群61gをグリッド部品Sg用の照明として利用し、背面反射の影響がより少ない照明光(反射光)Lg1によって、部品認識を行う。
【0056】
また、認識対象の電子部品Sが特にBGAなどの場合、その種類によっては、相対的にさらに上方の照明光の方が良いものもあり、この場合、同図に示すように、部品認識カメラ13の焦点深度Fd内の下端位置まで、その電子部品Sgを下降させ、照明光Lg2によって、部品認識を行う。
【0057】
しかし、上記の場合、すなわち部品種別等によりその認識対象の電子部品Sの撮像位置が異なる場合に、部品認識カメラ13の座標系の基準とすべき位置データとして、撮像位置が焦点位置Fpの場合と同じ位置データを用いたのでは、その部品の吸着姿勢(吸着位置や吸着角度等)などを正確に認識できない。
【0058】
例えば、上述のグリッド部品Sgなどでは、ハンダボール等Hbのピッチのみが異なる別種の部品が存在するので、各ピッチなどを正確に認識する必要がある。上記の場合、部品認識カメラ13と認識対象部品S(撮像位置)との距離が異なるため、各ハンダボール等Hb間のピッチを正確に認識して補正するためには、その撮像倍率をその補正に反映させる必要がある。
【0059】
また、ヘッド昇降機構26により装着ヘッド12を昇降させるときの、その昇降における軸線と部品認識カメラ13の光軸との間に、角度のズレが生じ得るので、その角度の相違に基づく偏差も補正に反映させる必要がある。
【0060】
このため、電子部品装着装置1では、図2で前述のように、メモリ120の第1データ領域121内に、撮像位置を焦点位置Fpとしたときの位置データとして、第1オフセットデータ121dの他、そのときの撮像倍率を示す第1ズームデータ121zを記憶している。
【0061】
また、同じくメモリ120の第2データ領域122内には、図5で上述したグリッド部品Sg(特にBGA)用の撮像位置の位置データ、すなわち撮像位置を上述の焦点深度Fd内の下端位置としたときの位置データとして、第2オフセットデータ122dおよびそのときの撮像倍率を示す第2ズームデータ121zを記憶している。
【0062】
なお、これらの位置データは、所定の基準となる仕様に基づいて作製されて常備された後述のダミー部品40(DSg:図6参照、DSl:図7参照)を用いて、各撮像位置において撮像した画像から予め算出して、上記のメモリ120内に格納されたものである。すなわち、実際に部品認識カメラ13により撮像した結果を、これらの位置データに基づいて適切に補正できる。
【0063】
したがって、この電子部品装着装置1では、認識対象の電子部品Sの撮像位置に応じた位置データを用いるので、その部品Sを移動させるXYステージ6、ヘッドユニット8、ヘッド昇降機構26などを適切に制御でき、これにより、部品の吸着姿勢などを正確に認識して、その(吸着姿勢の)偏差を補正できる。
【0064】
なお、上述の例では、多リード部品Sl用の撮像位置を部品認識カメラ13の焦点位置としたが、焦点深度Fd内であれば、他の位置、例えば焦点深度Fd内の上端位置などに定めても良い。
【0065】
すなわち、例えば多リード部品Slの撮像位置を焦点深度Fd内の第1位置、グリッド部品Sgの撮像位置を焦点深度Fd内の第2位置とした場合、この第1位置も第2位置も、部品認識カメラ13の焦点深度Fd内にあるので、認識可能な明確さで、電子部品Sの画像を十分に認識でき、その部品認識カメラ13を部品種別毎に設置する必要もない。
【0066】
また、上述のように、複数の撮像位置を設定しても、装置の構成として既存のものとかけ離れた機構等を要するわけではないので、すなわち上述の装着ヘッド12や部品認識カメラ13はもちろんのこと、XYステージ6、ヘッドユニット8、ヘッド昇降機構26、吸着ノズル25などの電子部品Sを移動させるための機構も既存のものを利用できるので、機構(構造)等が複雑になることはない。
【0067】
さらに、従来においても必要としていた基準の位置データを、撮像位置に応じたものとするだけなので、制御が煩雑になることもない。したがって、この電子部品認識装置1では、既存の機構を利用しつつ、認識対象部品Sの種別等に応じて撮像位置を変更しても、その部品Sの吸着姿勢などを正確に認識できる。
【0068】
なお、一方の撮像位置、すなわち、第1位置または第2位置(上述の例では第1位置)が、部品認識カメラ13の焦点位置Fpの場合、それについては、既存の位置データ(第1オフセットデータ121d、第1ズームデータ121z)を利用できるので、既存の装置からの流用性がさらに向上する。
【0069】
また、電子部品装着装置1では、前述のように、第1位置における位置データおよび第2位置における位置データに、それぞれ第1オフセットデータ121dおよび第2オフセットデータ122d、すなわちXY方向の偏位データを含むので、これらの位置データ(偏位データ)に基づく部品認識カメラ13の座標系において、認識対象部品SのXY方向の位置偏差(偏位)を認識することができ、その認識結果に基づいて、吸着された認識対象部品SのXY方向のずれを検出して補正等をすることができる。
【0070】
以下、より具体的に、位置データやそれによる各種偏差の補正方法について、説明する。
【0071】
まず、ヘッド昇降機構26により装着ヘッド12を昇降させるときの、その昇降における軸線と部品認識カメラ13の光軸との間の角度のズレによる偏差は、例えば前述の図5において、部品認識カメラ13によって、装着ヘッド12に装着した吸着ノズル25を下側から撮像することにより、焦点位置Fpにおける吸着ノズル25の像と、別の撮像位置(例えば図5で前述の焦点深度Fdの下端位置)における像とを比較することにより、得ることができる。
【0072】
このため、上記の第1オフセットデータ121dが定まれば、第2オフセットデータ122dは、第1オフセットデータ121dを、上記の吸着ノズル25の撮像により得た偏差(データ)によって補正することにより、簡単に得ることができる。
【0073】
また、前述と同様に、多リード部品Slの撮像位置を焦点深度Fd内の第1位置、グリッド部品Sgの撮像位置を焦点深度Fd内の第2位置とした場合であっても、撮像位置を部品認識カメラ13の焦点位置Fpとしたときの視野中心の位置データに含まれるオフセットデータ、すなわち、従来における基準の位置データに含まれるオフセットデータを、上記の吸着ノズル25の撮像により得た偏差(電子部品Sの昇降における軸線と部品認識カメラの光軸との間の角度の相違に基づく偏差)で補正するだけで、第1位置や第2位置における位置データの偏位データを得ることができる。
【0074】
したがって、この場合、認識対象部品Sの種別等に応じて撮像位置を変更しても、既存の機構ばかりでなく、既存の位置データをも利用できるので、既存の装置からの流用性がさらに向上する。なお、これらの場合の基準となるオフセットデータの求め方については後述する。
【0075】
また、焦点位置Fpにおけるオフセットデータでなくても、同じく焦点深度Fp内の撮像位置のオフセットデータの1つを求めることができれば、それを基準として上記の方法(吸着ノズル25の撮像)により、他の(第1や第2の)オフセットデータを求めることができる。そこで、以下では、これらを代表して単にオフセットデータという。
【0076】
次に、電子部品装着装置1では、前述のように、第1位置における位置データおよび第2位置における位置データに、それぞれ第1ズームデータ121zおよび第2ズームデータ122z、すなわち撮像における倍率データを含むが、これらは、下記のダミー部品40(DSg、DSl)を用いて、各撮像位置において撮像した画像から算出できる。
【0077】
ダミー部品40は、所定の基準仕様に基づいて作製されている。まず、グリッド部品Sg対応のダミー部品40(DSg)は、図6に示すように、方形のベース41(41g)と、ベース41(41g)の裏面に描いた被撮像パターン42(42g)とで構成されている。
【0078】
また、多リード部品Sl対応のダミー部品40(DSl)は、図7に示すように、隅部を面取りした方形のベース41(41l)と、ベース41(41l)の裏面に描いた被撮像パターン42(42l)とで構成されている。
【0079】
ベース41(41g,41l)は、剛性を考慮して1〜2mm厚程度のガラスで構成され、被撮像パターン42(42g、42l)は、このベース41に酸化クロムを蒸着して構成されている。
【0080】
被撮像パターン42gは、グリッド状に配設されたハンダボール等Hbに対応して、小さな丸(ボール)状のパターン要素46を、所定のピッチでグリッド状に等間隔で配設した構成となっている。
【0081】
一方、被撮像パターン42lは、中心を同一とする大パターン部43と、大パターン部43の中抜き部分に描いた小パターン部44とで構成されている。大小両パターン部43、44は、リード部品に似せた図柄となっており、外周部にリードに相当する方形の多数のパターン要素45を等間隔に並べ、全体として方形の輪郭を有している。
【0082】
そして、電子部品装着装置1では、予めこれらのダミー部品40(DSg、DSl)を用いて、各撮像位置においてその像を撮像することによって、その撮像した画像から、前述の第1ズームデータ121zおよび第2ズームデータ122zを算出している。
【0083】
すなわち、各ダミー部品40(DSg、DSl)のパターン要素46、45は所定の等間隔(ピッチ)で配設されているので、そのピッチと撮像画像上のピッチとの比から、その撮像倍率、すなわち、各ズームデータ121z、122zを求めることができる。
【0084】
なお、多リード部品DSl対応のダミー部品DSlは、その大きさ(リード数)により2通りの電子部品Sに対応できるように構成されている。すなわち、例えば、多ピンICなどの電子部品Sを扱う場合には、その解像度を高めるべく部品認識カメラ13の撮像倍率を大きくし、部品認識カメラ13の視野に被撮像パターン42(42l)が適切に納まるように小パターン部44を撮像対象とし、また逆の場合には、大パターン部43を撮像対象とする。これにより、各認識カメラ11、13の解像度に合わせたパターン認識が可能になる。
【0085】
また、各パターン部43,44を方形のパターン要素45を並べて構成することにより、各パターン要素45を用いて、単一のパターン部43、44に対し複数の認識が可能になる。このため、複数の認識結果を平均化することにより、より正確なパターン認識が可能になる。
【0086】
これらの各ダミー部品40(DSg、DSl)は、その被撮像パターン42(42g、42l)が下側になるようにして、下記の偏差認識ユニット15のダミーストッカ31にストックされると共に、この姿勢で吸着され且つ撮像される。
【0087】
なお、これらの各ダミー部品40(DSg、DSl)は、パターン要素の形態が異なるだけであり、また、それを用いて算出される各ズームデータ121z、122zも、以下の取扱いにおいては同様なので、オフセットデータと同様に、以下では、これらを代表して、それぞれ単にダミー部品40、ズームデータという。
【0088】
上述のように、電子部品装着装置1では、位置データに撮像におけるズーム(倍率)データを含むので、部品種別等により認識対象部品Sの撮像位置が異なる場合、すなわち部品認識カメラ13と認識対象部品Sとの距離が異なっても、その相違による偏差を認識でき、その認識結果に基づいて、認識対象部品Sの例えばリード間、ピン間、ハンダボール間のピッチなどを正確に認識して補正等をすることができる。
【0089】
また、前述のように、この電子部品装着装置1では、位置データに水平面内における回転角度データ(前述の角度「θ」すなわちZ方向として扱うデータ)を含むので、この位置データに基づく部品認識カメラ13の座標系において、認識対象部品Sの吸着角度θの偏差(Z方向偏差)を認識することができ、その認識結果に基づいて、吸着された認識対象部品Sの吸着角度θのずれを検出して補正等をすることができる。
【0090】
なお、この回転角度データ(Z方向のオフセットデータ)も、以下の取扱いにおいては前述のXY方向のオフセットデータと同様なので、以下では、単にオフセットデータの1要素として扱う。
【0091】
次に、各種のオフセットデータの求め方とそれによる偏位補正の方法について説明する。
【0092】
図1および図2に示すように、偏位認識ユニット15は、ダミー部品40をストックするダミーストッカ31と、ダミー部品40を撮像するためのバックライトプレート32とで構成されている。ダミーストッカ31の表面には、ダミー部品40が嵌り込む浅い溝が形成され、浅い溝にダミー部品40が載置されている。
【0093】
バックライトプレート32は、光を拡散透過可能な載置台33と、載置台33の下側に配設したLEDアレイなどから成る偏位認識照明34とで構成されている。詳細は後述するが、ダミー部品40を基板認識カメラ11で撮像する場合には、載置台33上に載置したダミー部品40を偏位認識照明34で照明し、これを上側から撮像する。
【0094】
この偏位認識ユニット15は、基板を位置認識する基板認識カメラ11の座標系と、電子部品Sを位置認識する部品認識カメラ13の座標系との相互間の偏差を補正するためのものであり、この補正は、装着ヘッド12で移送したダミー部品40を、それぞれ基板認識カメラ11および部品認識カメラ13で撮像し、これを認識することにより行われる。
【0095】
また、この補正に先立ち、ダミー基板50をセットテーブル16に導入し、ダミー基板50の所定の部位を基板認識カメラ11で認識して、機台2の絶対基準座標系に対する基板認識カメラ11の座標系の偏差を補正するようにしている。
【0096】
ダミー基板50は、図8に示すように方形に形成され、基板として平均的な大きさを有している。ダミー基板50の表面には、その中央に上記の小パターン部44と同様な認識パターン51が描かれ、また長手方向に離れて一対の認識マーク52が描かれている。
【0097】
一方、セットテーブル16に導入したダミー基板50の搬送方向の先端は、セットテーブル16のストッパ(図示省略)に突き当てられ、機台2の絶対基準座標系上でセットされている。
【0098】
したがって、基板認識カメラ11で上記の認識パターン51を認識することにより、絶対基準座標系に対する基板認識カメラ11の座標系の補正が可能になり、また左右方向に離間した一対の認識マーク52をそれぞれ認識することにより、各XYステージ6の移動角度ずれに基づく基板認識カメラ11の座標系の補正が可能になる。
【0099】
次に、基板認識カメラ11および部品認識カメラ13の位置偏差(偏位)補正方法について、説明する。この偏位補正方法では、まず、図8で前述のダミー基板50を用いて、絶対基準座標系に対する基板認識カメラ11の座標系の偏位の補正が行われると共に、絶対基準座標系に対するY動ビーム22の移動座標系の角度偏差の補正が行われる。その後、図6および図7で前述のダミー部品40を用いて、基板認識カメラ11の座標系に対する部品認識カメラ13の座標系の偏位の補正が行われる。
【0100】
絶対基準座標系に対する基板認識カメラ11の座標系の補正において、XYステージ6の移動に基づく偏位(角度ずれ)を考慮しない状態では、基板認識カメラ11で撮像したダミー基板50の認識パターン51をCPU107で認識すれば、この認識結果と設計値とのずれ量(オフセットデータ)を持って、簡単に補正が可能になる。したがって、ここでは、絶対基準座標系に対するXYステージ6の移動角度ずれ、すなわち絶対基準座標系に対するY動ビーム22の移動座標系に基づくもののみ説明する。
【0101】
図9は、移動角度ずれのあるXYステージ6と、セットテーブル16にセットされたダミー基板50とを示すイメージ図であり、ダミー基板50は、絶対基準座標系(基板位置決め座標系)上で正確に位置決めされている。
【0102】
この場合、基板位置決めXY座標(PL−XY:原点P0 )からみたY動ビーム22の駆動XY座標(BeamA−XY)の設計寸法に対する位置ずれおよび角度ずれを調整するためのオフセットデータを求め、このオフセットデータに基づいて、PL−XY 座標系を基準として補正を行う。
【0103】
なお、Y動ビーム(すなわちヘッドユニット8)22に搭載された基板認識カメラ11の走査座標センターが、Y動ビーム(すなわちヘッドユニット8)22の駆動XY座標の原点と一致する。
【0104】
具体的には、ダミー基板50を基板位置決めXY座標上に位置決めし、図10の動作フローで(基板認識カメラ11の座標系(走査座標センター)の)オフセットデータを求める。
【0105】
同図に示すように、まず、Y動ビーム(Yビーム)22に搭載された基板認識カメラ11を、そのセンター位置(視野中心)が一方(右側)の認識マーク52位置に合致するように、設計値に従って移動させる(S1)。
【0106】
ここで、基板認識カメラ11により認識マーク52を撮像して、その認識を行う(S2)。そして、この認識結果(基板認識カメラ11の走査座標でのカメラセンターからみたマークセンター位置座標)をメモリ120に 「dx1,dy1」として、一時保存する(S3)。
【0107】
次に、基板認識カメラ11を、そのセンター位置(視野中心)が他方(左側)の認識マーク52位置に合致するように、設計値に従って移動させる(S4)。ここで、基板認識カメラ11により認識マーク52の認識を行う(S5)と共に、この認識結果(基板認識カメラ11の走査座標でのカメラセンターからみたマークセンター位置座標)をメモリ120に 「dx2,dy2」として、一時保存する(S6)。
【0108】
ここで、以下の計算式により基板認識カメラ11の座標系のオフセットデータ(オフセット量)を求める(S7)。
▲1▼ YビームのX(横)、Y(縦)オフセットを下記計算式で求める。

Figure 0003586371
▲2▼ 認識マークの1点目と2点目とのX方向ピッチをPとして(Y方向はゼロ)、Yビームの角度オフセットを以下の計算式により求める。
dz= tan−1 { P * (dy1’−dy2’)/P * ( P + (dx1’−dx2’))}
このようにして求めた「▲1▼」および「▲2▼」のオフセット量をオフセットデータとしてメモリ120に記憶しておき、このオフセットデータに基づいて設計値が補正される。
【0109】
次に、基板認識カメラ11の座標系に対する部品認識カメラ13の座標系の補正について説明する。
【0110】
この場合には、ダミー部品40をダミーストッカ31から吸着した後、Yビーム22を上記のビームオフセット[X(横)、Y(縦)、角度]を考慮して、PL−XY 座標系でみた部品認識カメラ13の設計位置に移動させて認識を行う。そして、この認識結果を[Prec_1x, Prec_1y, Prec_1z]とする。
【0111】
次に、ダミー部品40の吸着姿勢をそのままの状態に保ち、Yビーム22をバックライトプレート32の設計位置(オフセットなし)に移動(ビームオフセット考慮)させ、ダミー部品40をバックライトプレート32に載置(装着)する。
【0112】
次に、Yビーム22により基板認識カメラ11をバックライトプレート32の設計位置に移動(ビームオフセット考慮)させ、ダミー部品40を認識する。そして、この認識結果を[Prec_2x, Prec_2y, Prec_2z]とする。すなわち、これにより、部品認識カメラ13の座標系と、基板認識カメラ11の座標系との間の編位が求められる。
【0113】
具体的には、図11の動作フローに従って部品認識カメラ13の座標系のオフセットデータを求める。なお、図11の動作フローの説明に用いるデータは次の通りである(これらは全て基板位置決めXY座標系上の値)。
・ Bmoff_x : ビームオフセットX、Bmoff_y : ビームオフセットY、Bmo ff_z : ビームオフセット角度
・ STK_X : ダミーストッカ設計位置X、 STK_Y : ダミーストッカ設計位置Y
・ CAM_X : 部品認識カメラ設計位置X、 CAM_Y : 部品認識カメラ設計位置Y
・ BLT_X : バックライトプレート設計位置X、 BLT_Y : バックライトプレート設計位置Y
・ BM_X : ビーム原点設計位置X、 BM_Y : ビーム原点設計位置Y
・ HD_X : ビームピボット点A0からのヘッド設計位置X、 HD_Y : ビームピボット点A0からのヘッド設計位置Y
【0114】
図11を参照して説明すると、まず、Yビーム22により装着ヘッド12をダミーストッカ31の位置まで移動させ(S11)、ダミー部品40をダミーストッカ31から吸着する(S12)。この場合のYビーム22の移動目的値(X、Y)は次のようになる。
Figure 0003586371
【0115】
次に、ダミー部品40をダミーストッカ31の位置から部品認識カメラ13の位置に移動させ(S13)、これを部品認識カメラ13で認識する(S14)。なお、ここでは、例えば図5等で前述の焦点位置Fpを撮像位置とする。
【0116】
この場合のYビーム22の移動目的値(X、Y)は次のようになる。
Figure 0003586371
【0117】
そして、この認識結果(部品認識カメラ13の走査座標でのカメラセンターからみた部品センター位置座標)を[Prec_1x, Prec_1y, Prec_1z]として、一時保存する(S15)。
【0118】
次に、ダミー部品40を吸着した装着ヘッド12をバックライトプレート32の位置に移動させ(S16)、ダミー部品40をバックライトプレート32に載置する(S17)。この場合のYビーム22の移動目的値(X、Y)は次のようになる。
Figure 0003586371
【0119】
次に、基板認識カメラ11をバックライトプレート32の位置に移動させ(S18)、基板認識カメラ11でダミー部品40を認識する(S19)。その際、偏位認識照明34を点灯しダミー部品40を照明する。この場合のYビーム22の移動目的値(X、Y)は次のようになる。
Figure 0003586371
そして、この認識結果(基板認識カメラ11の走査座標でのカメラセンターからみた部品センター位置座標)を[Prec_2x, Prec_2y, Prec_2z]として、一時保存する(S20)。
【0120】
次に、以下の計算式により部品認識カメラ13の座標系のオフセットデータ(オフセット量)を求める(S21)。
▲1▼ 部品認識カメラのX(横)、Y(縦)、角度を下記計算式で求める。
Θ’ = Prec_2z − Prec_1z + CAMA3 Z(角度) :基板認識カメラのオフセットとすると
Figure 0003586371
▲2▼ 求める部品認識カメラのオフセットX(横)、Y(縦)、角度は、
Figure 0003586371
【0121】
このようにして求めた、部品認識カメラ13の座標系のオフセット量をオフセットデータ(例えば第1オフセットデータ121d)としてメモリ120(の例えば第1データ領域121)に記憶しておき、(さらに、それに基づいて前述の方法で、例えば第2オフセットデータ122dを求めて、第2データ領域122に記憶しておき、)この(これらの)オフセットデータに基づいて設計値が補正される。
【0122】
オフセットデータを算出すると(S21)、次に、装着ヘッド12をバックライトプレート32の位置に移動させ(S22)、装着ヘッド12によりダミー部品40を吸着する(S23)。続いて、装着ヘッド12をバックライトプレート32からダミーストッカ31の位置に移動させ(S24)、ダミー部品40をダミーストッカ31に収容する(S25)。このようにして、ダミー部品40が元の位置に戻され、一連の補正作業が終了する。
【0123】
以上のように、本実施形態によれば、ダミー基板50を用いて、絶対基準座標系に対する基板認識カメラ11の座標系の偏位およびXYステージ6の角度偏位(基板認識カメラ11のカメラ中心の軌跡)の補正が行われ、その後ダミー部品40を用いて、基板認識カメラ11の座標系に対する部品認識カメラ13の座標系の偏位の補正が行われるため、基板認識カメラ11の座標系と部品認識カメラ13との間の偏位、およびこれら認識カメラ11,13の座標系と絶対基準座標系との間の偏位を、極めて正確に補正することができる。
【0124】
特に、基板認識カメラ11の座標系と部品認識カメラ13との間の偏位は、ダミー部品40をそれぞれの認識カメラ11,13で認識することで検出可能となるため、簡単かつ迅速に補正することができる。また、専用のダミー部品40を用い、且つこれを照明して撮像するようにしているので、ダミー部品40の認識も正確に行われ、全体として補正を精度良く行うことができる。したがって、電子部品Sを基板に高精度で且つ安定して実装することができる。
【0125】
【発明の効果】
上述のように、本発明の電子部品認識装置によれば、既存の機構を利用しつつ、認識対象部品の種別等に応じて撮像位置を変更しても、その部品の吸着姿勢などを正確に認識できる、などの効果がある。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る電子部品装着装置の平面図である。
【図2】電子部品装着装置の制御系を示すブロック図である。
【図3】電子部品の部品認識の一例を示す断面模式図である。
【図4】別の一例を示す、図3と同様の図である。
【図5】さらに別の一例として異なる撮像位置の一例を示す、図3と同様の図である。
【図6】位置データを求めるために用いるダミー部品の一例を示す平面図である。
【図7】別の一例を示す、図6と同様の図である。
【図8】実施形態の偏位補正に用いるダミー基板の平面図である。
【図9】移動角度ずれのあるXYステージと、セットテーブルにセットされたダミー基板とを示すイメージ図である。
【図10】XYステージの移動角度ずれに基づく、基板認識カメラの座標系の偏位を求める動作フローである。
【図11】絶対基準座標系とXYステージの移動角度ずれとを考慮した状態で、基板認識カメラの座標系および部品認識カメラの座標系の偏位を求める動作フローである。
【符号の説明】
1 電子部品装着装置
6a 第1XYステージ
6b 第2XYステージ
8a 第1ヘッドユニット
8b 第2ヘッドユニット
11 基板認識カメラ
12 装着ヘッド
13 部品認識カメラ
25 吸着ノズル
26 ヘッド昇降機構
32 バックライトプレート
34 偏位認識照明
40 ダミー部品
45 パターン要素
46 パターン要素
50 ダミー基板
61 部品認識照明
100 制御ユニット
120 メモリ
121 第1データ領域
122 第2データ領域
S 電子部品[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an electronic component recognition device used for an electronic component mounting device, for example.
[0002]
[Prior art]
For example, in a conventional electronic component recognition apparatus in an electronic component mounting apparatus, an electronic component (recognition target component) sucked by a mounting (suction) nozzle to be mounted on a substrate before the mounting of the electronic component is focused by a component recognition camera. It is lowered to a predetermined imaging position (focal position) that matches, and an image of the electronic component is captured by a component recognition camera using reflected light from reflected illumination or transmitted light from transmitted illumination to perform component recognition.
[0003]
In this case, the electronic component recognizing device uses the image recognition to determine the suction posture (suction position, suction angle, and the like) of the recognition target component in the X and Y directions and the angle in the coordinate system of the component recognition camera based on the predetermined position data. In the electronic component mounting apparatus including the electronic component recognition apparatus, the electronic component S is mounted on the board after correcting the suction attitude based on the recognition result.
[0004]
[Problems to be solved by the invention]
In the conventional electronic component recognition device as described above, in the component recognition camera, the arrangement of the reflected or transmitted illumination is determined so that the best image can be obtained when the recognition target component is captured at the focal position. Depending on the type of the recognition target component (component type) or the like, an image suitable for component recognition cannot be obtained at the angle of light from the illumination.
[0005]
On the other hand, installing a dedicated illumination and a component recognition camera with a different focal position for each component type not only increases the equipment cost, but also requires physical space and complicates the structure. However, these controls are complicated.
[0006]
An object of the present invention is to provide an electronic component recognizing device that can accurately recognize the suction position of a component to be recognized even if the imaging position is changed according to the type of the component to be recognized, while utilizing an existing mechanism. And
[0007]
[Means for Solving the Problems]
An electronic component recognition device of the present invention includes a mounting head that holds an electronic component, a component recognition camera that images the electronic component held by the mounting head from below, a lighting device that illuminates the electronic component during imaging, and a mounting head. A head raising / lowering mechanism for raising / lowering and changing the imaging position of the electronic component within the depth of focus of the component recognition camera; an XY moving mechanism for moving the mounting head in the XY directions in a horizontal plane; Control means for causing the center of the component to face the center of the field of view of the component recognition camera; first storage means for storing position data of the center of the field of view when the imaging position is set to a first position within the depth of focus; And a second storage unit for storing position data of the center of the field of view when the second position within the depth of focus is set as the second position, wherein the control unit captures an electronic component at the first position. When the XY moving mechanism is controlled based on the position data in the first storage means, and when imaging is performed at the second position, the XY moving mechanism is controlled based on the position data in the second storing means. Is controlled.
[0008]
Generally, when the position of the center of the field of view is determined, the coordinate system of the component recognition camera can be determined based on the data (position data). Therefore, appropriate position data of the center of the field of view is stored, and the center of the field of view is stored. If the movement (position) of the recognition target component (the mounting head holding the recognition target component) is controlled so as to match, an appropriate captured image (data) can be obtained in a coordinate system based on the position data, and the suction posture Can be recognized.
[0009]
However, when the imaging position of the recognition target component is different depending on the component type or the like, if the same position data is uniformly used as the position data to be used as a reference of the coordinate system of the component recognition camera, the suction posture of the component, etc. Cannot be recognized correctly. In this electronic component recognition device, since the position data corresponding to the imaging position of the recognition target component is used, the XY movement mechanism for moving the component can be appropriately controlled, and thereby, the suction posture of the component can be accurately recognized.
[0010]
In addition, since both the first position and the second position are within the depth of focus of the component recognition camera, the image of the electronic component can be sufficiently recognized with recognizable clarity, and the component recognition camera is installed for each component type. No need. The other components, that is, the mounting head, the lighting fixture, the head lifting / lowering mechanism, the XY moving mechanism, and the like are also existing mechanisms in, for example, an electronic component mounting apparatus, and can be used. It doesn't get complicated.
[0011]
Further, since the reference position data that has been required in the past is merely made to correspond to the imaging position, the control does not become complicated. Therefore, this electronic component recognition device can accurately recognize the suction posture of the component even if the imaging position is changed according to the type of the component to be recognized, etc., while using the existing mechanism. If one of the imaging positions, that is, the first position or the second position is the focus position of the component recognition camera, the existing position data can be used for that, so that the applicability from the existing device is further improved. improves.
[0012]
2. The electronic component recognition device according to claim 1, wherein the position data includes deviation data in the X and Y directions, and the deviation data indicates a center of a visual field when the imaging position is a focal position of the component recognition camera. 3. It is preferable that the deviation data included in the position data is corrected by a deviation based on a difference in an angle between an axis line for elevating and lowering the electronic component and an optical axis of the component recognition camera.
[0013]
In this electronic component recognition device, since the position data includes the XY direction deviation data, the XY direction position deviation (deviation) of the recognition target component is recognized in the coordinate system of the component recognition camera based on the position data. Can be. Also, for example, in an electronic component mounting device to which the electronic component recognition device is applied, it is possible to detect and correct a shift in the XY direction of the sucked recognition target component based on the recognition result.
[0014]
In addition, the deviation data included in the position data of the center of the field of view when the imaging position is set as the focal position of the component recognition camera, that is, the deviation data included in the conventional reference position data is referred to as the axis in the vertical movement of the electronic component. The deviation data of the position data at the first position or the second position can be obtained only by correcting the deviation based on the difference in the angle between the component recognition camera and the optical axis. Therefore, even if the imaging position is changed according to the type of the recognition target component or the like, not only the existing mechanism but also the existing position data can be used, so that the applicability from the existing device is further improved.
[0015]
In the electronic component recognition device according to claim 1 or 2, it is preferable that the position data include magnification data in imaging.
[0016]
In this electronic component mounting apparatus, since the position data includes the magnification data in imaging, when the imaging position of the recognition target component differs depending on the component type or the like, that is, even when the distance between the component recognition camera and the recognition target component differs, the difference is not changed. Can be recognized. Therefore, for example, in an electronic component mounting apparatus to which the electronic component recognition device is applied, based on the recognition result, for example, a pitch between leads, between pins, between solder balls, etc., is accurately recognized and corrected. Can be.
[0017]
Further, in the electronic component recognition device according to any one of claims 1 to 3, it is preferable that the position data include rotation angle data in a horizontal plane.
[0018]
In this electronic component mounting apparatus, since the position data includes the rotation angle data in the horizontal plane, the deviation of the suction angle of the recognition target component can be recognized in the coordinate system of the component recognition camera based on the position data. Further, for example, in an electronic component mounting device to which the electronic component recognition device is applied, it is possible to detect and correct the deviation of the suction angle of the suctioned recognition target component based on the recognition result.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an electronic component mounting device to which an electronic component recognition device according to an embodiment of the present invention is applied will be described with reference to the accompanying drawings.
[0020]
FIG. 1 is a plan view of an electronic component mounting device. The electronic component mounting device 1 is a so-called multifunctional chip mounter, such as a circuit element component Sp such as a chip capacitor or a chip resistor, or a QFP (Quad Flat Package). In addition to multi-lead package parts (multi-lead parts) Sl, various kinds of area array package parts (grid parts) Sg such as PGA (Pin Grid Array) and BGA (Ball Grid Array) on which one or more bare chips are mounted, etc. The electronic component S (Sp, Sl, Sg) is configured to be mounted.
[0021]
As shown in FIG. 1, the electronic component mounting apparatus 1 includes a machine base 2, a conveyor unit 3 extending in the left-right direction at the center of the machine base 2, and a front part (lower side in the figure) of the machine base 2. A first component supply unit 4a disposed, a second component supply unit 4b disposed at the rear (upper side in the drawing) of the machine base 2, and a first XY stage 6a movably disposed at the front of the machine base 2. And a second XY stage 6b movably disposed at the rear of the machine base 2.
[0022]
On the first XY stage 6a, a first head unit 8a for sucking and mounting the electronic component S is mounted, and similarly, on the second XY stage 6b, a second head unit 8b is mounted. On each head unit 8 (8a, 8b), one board recognition camera 11 and two mounting heads 12, 12 are mounted so as to be attached to the support member 10.
[0023]
Further, on the machine base 2, a pair of two sets of component recognition units 60 and two nozzle stockers 14 are respectively arranged with the conveyor section 3 interposed therebetween. In this case, the pair of component recognition units 60 and the nozzle stocker 14 located at the front correspond to the first head unit 8a, and the pair of component recognition units 60 and the nozzle stocker 14 located at the rear correspond to the second head unit 8b. are doing. Further, in the vicinity of the front nozzle stocker 14, a displacement recognition unit 15 for accommodating a dummy component 40 described later is provided.
[0024]
In the electronic component mounting apparatus 1, a small electronic component S such as a surface mount component is supplied from a first component supply unit 4a and a second component supply unit 4b, and a large electronic component S such as a multi-pin IC component is supplied to a tray (not shown). Supplied from the part supply unit. Further, the substrate is supplied from the left side by the conveyor unit 3, is immovably set at the center of the machine base 2, and is discharged to the right side. Normally, the first XY stage 6a and the second XY stage 6b are operated alternately.
[0025]
For example, in mounting the electronic component S using the first XY stage 6a, the first XY stage 6a causes the first head unit 8a to face the first component supply unit (other component supply unit is also possible) 4a, and the head lifting mechanism 26 , The mounting head 12 is moved down to suck a desired electronic component S.
[0026]
Subsequently, after the mounting head 12 is raised to a predetermined position, the electronic component S is made to face the component recognition camera 13 of the component recognition unit 60, and the mounting head 12 is similarly raised and lowered to change the suction posture of the electronic component S. After the recognition, the first head unit 8a is further moved to a predetermined position on the substrate. Similarly, after the substrate position and the mounting position on the substrate are recognized by the substrate recognition camera 11, the electronic component S is mounted on the substrate.
[0027]
At this time, based on the recognition result of the component recognition camera 13, the deviation between the design value (nozzle position of the mounting head) and the suction posture (suction position, suction angle, etc.) of the sucked electronic component S is corrected. Based on the recognition result of the board recognition camera 11, the deviation between the design value, the board position, and the mounting position on the board is corrected.
[0028]
In this case, the suction posture of the recognition target component is recognized as the values of the X and Y directions and the angle θ (hereinafter, the angle θ is expressed as the Z direction) in the coordinate system of the component recognition camera 13 by image recognition. After the suction posture is corrected based on the recognition result, the electronic component S is mounted on the board.
[0029]
Similarly, also in the position recognition by the board recognition camera 11, the position is recognized as values in the X, Y, and Z directions in the coordinate system of the board recognition camera, and position correction is performed based on the recognition result.
[0030]
The conveyor section 3 has a set table 16 at the center, a carry-in / transport path 17 on the left, and a carry-out / transport path 18 on the right. The substrate is supplied to the set table 16 from the carry-in path 17 and is set immovably and at a predetermined height on the set table 16 so that the electronic component S is mounted. Then, the board on which the electronic components S have been mounted is discharged from the set table 16 via the unloading conveyance path 18.
[0031]
In this case, there are substrates in a supply standby state in the carry-in transport path 17 and substrates in a discharge standby state in the carry-out transport path 18 (not shown), and these substrates are transported sequentially. As will be described in detail later, the abutting end of the substrate on the set table 16 becomes the origin of the absolute reference coordinate system of the entire apparatus.
[0032]
Each of the first component supply unit 4a and the second component supply unit 4b has a large number of tape cassettes 19 arranged side by side. Each of the tape cassettes 19 contains electronic components S in a state of being loaded on a carrier tape (not shown), and the electronic components S are supplied one by one from the leading end of the tape cassette 19.
[0033]
In the normal operation, when the first head unit 8a is performing the mounting operation, the replacement operation of the tape cassette 19 is performed in the second component supply unit 4b, and when the second head unit 8b is performing the mounting operation. The replacement operation of the tape cassette 19 is performed in the first component supply unit 4a.
[0034]
The first XY stage 6a and the second XY stage 6b guide the Y motion beam 22, which is guided by a pair of Y-axis guide rails 21 disposed on both right and left ends of the machine base 2 and moves in the front-rear direction (Y-axis direction). Each has.
[0035]
The Y motion beam 22 of the first XY stage 6a advances and retreats in the Y-axis direction (front-rear direction) by a left-side ball screw (not shown) and a Y-axis motor (see FIG. 2) for rotating the same. Similarly, the Y motion beam 22 of the second XY stage 6b advances and retreats in the Y axis direction by a ball screw (not shown) on the right and a Y axis motor (Y motor) for rotating the same.
[0036]
On the other hand, both Y motion beams 22, 22 are exactly the same, each have an X-axis guide rail 23, and similarly to the above-described drive system, a ball screw (not shown) and an X-axis motor (Y motor: FIG. ), The head units 8a and 8b are moved back and forth in the X-axis direction (left-right direction). Thus, each head unit 8a, 8b is movable in the X-axis direction and the Y-axis direction, that is, in the horizontal plane.
[0037]
Each of the head units 8 (8a, 8b) is supported by the Y moving beam 22 in the X-axis direction, a head elevating mechanism 26 attached to the supporting member 10, and a head elevating mechanism 26 as required. And two mounting heads 12 and one board recognition camera 11 disposed between the mounting heads 12 and 12. The board recognition camera 11 recognizes a reference mark on each board, and the reference mark serves as a reference for the mounting position of the electronic component S.
[0038]
Next, the control unit 100 of the electronic component mounting apparatus 1 will be described with reference to FIG. In this description, only the first XY stage 6a side and only one component recognition unit 60 and one head unit 8 will be described.
[0039]
As shown in the figure, the control unit 100 includes an X motor 101 and a Y motor 102 for moving the head unit 8 in the XY directions via the XY stage 6, and a Z motor (rotation) 103 mounted on the mounting head 12. Is connected. The X motor 101, the Y motor 102, and the Z motor 103 are connected to a CPU 107 that controls these components via an X motor driver 104, a Y motor driver 105, and a Z motor driver 106, respectively.
[0040]
Similarly, the head unit 8 is connected to the CPU 107 via the head unit driver 108, and the board recognition camera 11 and the component recognition camera 13 are connected to the CPU 107 via the board image processing unit 111 and the component image processing unit 109, respectively. . Similarly, a component recognition illumination 61 and a deviation recognition illumination 34 described later are connected to the CPU 107 via a component recognition illumination driver 110 and a deviation recognition illumination driver 112, respectively.
[0041]
A memory 120 is connected to the CPU 107. The memory 120 stores a first data area 121 for an electronic component S recognized at a focal position, which will be described later, and an electronic component S recognized at a position other than the focal position. Of the second data area 122.
[0042]
These include position data described later for recognizing each recognition target component and correcting the recognition result, that is, first deviation (offset) data 121d and first magnification (zoom) data 121z, respectively. , And second offset data 122d and second zoom data 122z are stored.
[0043]
In addition, the memory 120 stores offset data for correcting the deviation of the coordinate system of the board recognition camera 11 and the above-described motors 104, 105, 106, and the recognition cameras 11, 13. Is stored.
[0044]
Each offset data is updated by a deviation calculation operation described later, and the CPU 107 corrects the design value data with each offset data, and controls each of the motors 104, 105, 106 and each of the recognition cameras 11, 13. The recognition of the object to be imaged by each of the recognition cameras (CCD cameras) 11 and 13 is performed by performing a process such as binarization on the imaged result in each of the image processing units 111 and 109 and then performing an arithmetic process on the image by the CPU 107. In, it is done.
[0045]
The component recognition unit 60 includes the component recognition camera 13 and the component recognition illumination 61. As shown in FIGS. 3 to 5, the component recognition illumination 61 includes an LED group 61a serving as a reflection illumination and an LED group 61b serving as a transmission illumination for the circuit element component Sp and the multi-lead component Sl, and a grid component Sg. The inner peripheral surface is constituted by an LED array having a large number of LEDs, such as an LED group 61g to be illuminated.
[0046]
On the other hand, each mounting head 12 is mounted on the head unit 8 so as to be moved up and down a predetermined range by a head elevating mechanism 26 (see FIG. 2), and has a head transmitted illumination 12a, a diffusion plate 12b, and a diffusion plate 12c. A suction nozzle 25 connected to a vacuum suction device (not shown) is detachably attached to the lower end. Note that a motor (not shown) for rotating the electronic component S in a horizontal plane via the suction nozzle 25 is incorporated in each mounting head 12.
[0047]
For example, as shown in FIG. 3, in the component recognition using the LED group 61a of the reflected illumination, an electronic component S (for example, Sa in the drawing) such as a circuit element component Sp or a multi-lead component Sl is recognized as an electronic component (recognition target). The reflected light La is reflected by the electronic component Sa in order to recognize the surrounding lead pins P1 as the target component).
[0048]
In this case, the electronic component (recognition target component) Sa sucked by the suction nozzle 25 to be mounted on the substrate is lowered to a predetermined imaging position where the component recognition camera 13 is focused, that is, a focal plane position (focal position) Fp. The component recognition camera 13 captures an image of the electronic component Sa using the reflected light La from the reflected illumination 611 to perform component recognition.
[0049]
Also, for example, as shown in FIG. 4, in component recognition using the head transmitted illumination 12a, the same electronic component S (for example, Sb shown in FIG. 3) as in FIG. In order to recognize the electronic component Sb, the electronic component Sb is lowered to the focal position Fp, and an image of the electronic component Sb is captured by the component recognition camera 13 using the transmitted light Lb to perform component recognition.
[0050]
In component recognition using the LED group 61b of the transmitted illumination, the component recognition of the electronic component Sc is similarly performed by reflecting the transmitted light Lc to the diffusion plate 12c.
[0051]
In these cases, in the coordinate system of the component recognition camera 13 based on the above-described first offset data 121d, the suction posture (suction position, suction angle, and the like) of the electronic component (recognition target component) S is determined by X · After recognizing the values as the values in the Y and Z directions and correcting the suction posture based on the recognition result, the electronic component S is mounted on the board.
[0052]
That is, in general, when the position of the center of the field of view is determined, the coordinate system of the component recognition camera can be determined based on the data (position data). By controlling the movement (position) of the mounting head 12 so as to match the center of the field of view of the component recognition camera 13 in the coordinate system based on the first offset data 121d, an appropriate captured image is stored as data 121d. Data can be obtained, and the suction posture can be recognized.
[0053]
By the way, in a grid component Sg such as PGA or BGA, pins (of PGA) and solder balls (of BGA) (hereinafter referred to as “solder balls”) Hb are formed on the lower surface (area) of the component Sg in a net (grid) shape. Since they are provided (see FIG. 6), their types cannot be recognized by component recognition using transmitted light. Further, the type cannot be recognized by the peripheral form, such as the multi-lead product Sl, that is, the form of the lead P1 (see FIG. 7).
[0054]
In addition, the pitch of the solder balls Hb differs depending on the type of the grid component Sg, and in a metallic package, the contrast of the solder balls Hb with respect to the reflected light is difficult to be obtained. Even if it is missing, there is a problem that it cannot be recognized due to the reflection (backside reflection) of the background package, and the electronic component S (Sg) is irradiated with light at an angle different from that of the multi-lead component Sl described above. There is a need.
[0055]
Therefore, in this electronic component mounting apparatus 1, when the recognition target component is the grid component Sg, as shown in FIG. 5, the LED group 61g disposed above the other LED groups 61a and 61b is illuminated for the grid component Sg. And component recognition is performed using illumination light (reflected light) Lg1 that is less affected by back reflection.
[0056]
Further, when the electronic component S to be recognized is particularly a BGA or the like, depending on the type of the electronic component S, the illumination light relatively higher may be better. In this case, as shown in FIG. The electronic component Sg is lowered to the lower end position within the depth of focus Fd, and the component is recognized using the illumination light Lg2.
[0057]
However, in the above case, that is, when the imaging position of the electronic component S to be recognized is different depending on the component type or the like, when the imaging position is the focus position Fp as the position data to be used as the reference of the coordinate system of the component recognition camera 13 If the same position data is used, it is not possible to accurately recognize the suction posture (suction position, suction angle, etc.) of the component.
[0058]
For example, in the above-described grid component Sg and the like, since there are other types of components such as solder balls that differ only in the pitch of Hb, it is necessary to accurately recognize each pitch and the like. In the above case, since the distance between the component recognition camera 13 and the recognition target component S (imaging position) is different, in order to accurately recognize and correct the pitch between the solder balls Hb and the like, the imaging magnification must be corrected. Need to be reflected in
[0059]
In addition, when the mounting head 12 is raised and lowered by the head lifting mechanism 26, an angle deviation may occur between the axis of the lifting and lowering and the optical axis of the component recognition camera 13, so that the deviation based on the difference in the angles is also corrected. Need to be reflected in
[0060]
Therefore, in the electronic component mounting apparatus 1, as described above with reference to FIG. 2, in the first data area 121 of the memory 120, other than the first offset data 121d, as the position data when the imaging position is the focal position Fp. And first zoom data 121z indicating the imaging magnification at that time.
[0061]
Similarly, in the second data area 122 of the memory 120, the position data of the imaging position for the grid component Sg (especially BGA) described above with reference to FIG. 5, that is, the imaging position is set as the lower end position within the depth of focus Fd described above. As the position data at that time, the second offset data 122d and the second zoom data 121z indicating the imaging magnification at that time are stored.
[0062]
Note that these position data are captured at each image capturing position using a dummy component 40 (DSg: see FIG. 6, DS1: see FIG. 7), which will be described later, which is prepared based on a predetermined standard specification. This is calculated in advance from the obtained image and stored in the memory 120. That is, the result of actual imaging by the component recognition camera 13 can be appropriately corrected based on the position data.
[0063]
Therefore, in the electronic component mounting apparatus 1, since the position data corresponding to the imaging position of the electronic component S to be recognized is used, the XY stage 6, the head unit 8, the head elevating mechanism 26, and the like for moving the component S are appropriately mounted. This makes it possible to accurately recognize the suction attitude of the component and correct the deviation (of the suction attitude).
[0064]
In the above example, the imaging position for the multi-lead component Sl is set as the focal position of the component recognition camera 13. However, if the imaging position is within the focal depth Fd, another position, such as the upper end position within the focal depth Fd, is determined. May be.
[0065]
That is, for example, when the imaging position of the multi-lead component Sl is the first position within the depth of focus Fd and the imaging position of the grid component Sg is the second position within the depth of focus Fd, both the first position and the second position are components. Since it is within the focal depth Fd of the recognition camera 13, the image of the electronic component S can be sufficiently recognized with recognizable clarity, and there is no need to install the component recognition camera 13 for each component type.
[0066]
Further, as described above, even if a plurality of image pickup positions are set, a mechanism or the like that is far from the existing one is not required as a configuration of the apparatus, that is, the mounting head 12 and the component recognition camera 13 described above are of course required. In addition, existing mechanisms for moving the electronic components S, such as the XY stage 6, the head unit 8, the head elevating mechanism 26, and the suction nozzle 25, can be used, so that the mechanism (structure) does not become complicated. .
[0067]
Further, since the reference position data that has been required in the past is merely made to correspond to the imaging position, the control does not become complicated. Therefore, the electronic component recognition device 1 can accurately recognize the suction posture of the component S even if the imaging position is changed according to the type of the recognition target component S while utilizing the existing mechanism.
[0068]
When one of the imaging positions, that is, the first position or the second position (the first position in the above example) is the focal position Fp of the component recognition camera 13, the existing position data (the first offset) is used. Since the data 121d and the first zoom data 121z) can be used, the applicability from existing devices is further improved.
[0069]
In addition, in the electronic component mounting apparatus 1, as described above, the first offset data 121d and the second offset data 122d, that is, the XY direction deviation data are added to the position data at the first position and the position data at the second position, respectively. Therefore, in the coordinate system of the component recognition camera 13 based on the position data (deviation data), the position deviation (deviation) of the recognition target component S in the XY directions can be recognized, and based on the recognition result. In addition, it is possible to detect a shift in the XY directions of the sucked recognition target component S and perform correction or the like.
[0070]
Hereinafter, the position data and a method of correcting various deviations based on the position data will be described more specifically.
[0071]
First, when the mounting head 12 is moved up and down by the head elevating mechanism 26, a deviation due to a deviation of the angle between the axis and the optical axis of the component recognizing camera 13 in the elevating and lowering is, for example, shown in FIG. By imaging the suction nozzle 25 attached to the mounting head 12 from below, the image of the suction nozzle 25 at the focal position Fp and the image at another imaging position (for example, the lower end position of the focal depth Fd described above with reference to FIG. 5). It can be obtained by comparing with an image.
[0072]
Therefore, once the first offset data 121d is determined, the second offset data 122d can be easily corrected by correcting the first offset data 121d with a deviation (data) obtained by imaging the suction nozzle 25. Can be obtained.
[0073]
Further, as described above, even when the imaging position of the multi-lead component Sl is the first position in the depth of focus Fd and the imaging position of the grid component Sg is the second position in the depth of focus Fd, the imaging position is not changed. The offset data included in the position data of the center of the field of view when the focal position Fp of the component recognition camera 13 is set, that is, the offset data included in the conventional reference position data, is obtained by the deviation ( The deviation data of the position data at the first position and the second position can be obtained only by correcting the deviation based on the difference between the axis of the electronic component S and the optical axis of the component recognition camera. .
[0074]
Therefore, in this case, even if the imaging position is changed according to the type of the recognition target component S, not only the existing mechanism but also the existing position data can be used, so that the applicability from the existing device is further improved. I do. The method of obtaining the offset data serving as a reference in these cases will be described later.
[0075]
Even if it is not the offset data at the focal position Fp, if one of the offset data at the imaging position within the depth of focus Fp can also be obtained, the above method (imaging of the suction nozzle 25) is used as a reference based on that. (First and second) offset data can be obtained. Therefore, hereinafter, these are simply referred to as offset data.
[0076]
Next, in the electronic component mounting apparatus 1, as described above, the position data at the first position and the position data at the second position include the first zoom data 121z and the second zoom data 122z, that is, magnification data in imaging, respectively. However, these can be calculated from images captured at each imaging position using the following dummy components 40 (DSg, DSl).
[0077]
The dummy component 40 is manufactured based on a predetermined standard specification. First, as shown in FIG. 6, a dummy component 40 (DSg) corresponding to the grid component Sg includes a square base 41 (41g) and an image-receiving pattern 42 (42g) drawn on the back surface of the base 41 (41g). It is configured.
[0078]
As shown in FIG. 7, the dummy component 40 (DSl) corresponding to the multi-lead component Sl has a square base 41 (41l) with chamfered corners and an imaging pattern drawn on the back surface of the base 41 (41l). 42 (42l).
[0079]
The base 41 (41g, 41l) is made of glass having a thickness of about 1 to 2 mm in consideration of rigidity, and the pattern to be imaged 42 (42g, 42l) is formed by depositing chromium oxide on the base 41. .
[0080]
The pattern to be imaged 42g has a configuration in which small round (ball) -shaped pattern elements 46 are arranged at regular intervals in a grid pattern at a predetermined pitch, corresponding to solder balls or the like Hb arranged in a grid pattern. ing.
[0081]
On the other hand, the pattern to be imaged 421 comprises a large pattern portion 43 having the same center and a small pattern portion 44 drawn in a hollow portion of the large pattern portion 43. The large and small pattern portions 43 and 44 have a pattern resembling a lead component, and a large number of rectangular pattern elements 45 corresponding to leads are arranged at equal intervals on the outer peripheral portion, and have a rectangular outline as a whole. .
[0082]
Then, in the electronic component mounting apparatus 1, by using the dummy components 40 (DSg, DSl) in advance and capturing the image at each image capturing position, the first zoom data 121z and the above-described first zoom data 121z are obtained from the captured image. The second zoom data 122z is calculated.
[0083]
That is, since the pattern elements 46 and 45 of each dummy component 40 (DSg, DSl) are arranged at predetermined regular intervals (pitch), the imaging magnification, That is, the zoom data 121z and 122z can be obtained.
[0084]
The dummy component DSl corresponding to the multi-lead component DS1 is configured to be able to support two types of electronic components S depending on its size (number of leads). That is, for example, when handling an electronic component S such as a multi-pin IC, the imaging magnification of the component recognition camera 13 is increased in order to increase the resolution, and the imaging target pattern 42 (421) is appropriate in the field of view of the component recognition camera 13. Is set as the imaging target, and in the opposite case, the large pattern portion 43 is set as the imaging target. This enables pattern recognition in accordance with the resolution of each of the recognition cameras 11 and 13.
[0085]
Further, by arranging the pattern portions 43 and 44 by arranging the rectangular pattern elements 45, a plurality of recognitions can be performed on the single pattern portions 43 and 44 using the pattern elements 45. Therefore, by averaging a plurality of recognition results, more accurate pattern recognition becomes possible.
[0086]
Each of these dummy components 40 (DSg, DSl) is stocked in a dummy stocker 31 of the following deviation recognition unit 15 such that the pattern to be imaged 42 (42g, 42l) is on the lower side, and this posture is also set. And is imaged.
[0087]
These dummy parts 40 (DSg, DSl) differ only in the form of the pattern element, and the zoom data 121z, 122z calculated using the same are the same in the following handling. As in the case of the offset data, hereinafter, these are representatively referred to simply as the dummy component 40 and the zoom data, respectively.
[0088]
As described above, in the electronic component mounting apparatus 1, since the position data includes the zoom (magnification) data in the imaging, the imaging position of the recognition target component S differs depending on the component type or the like, that is, the component recognition camera 13 and the recognition target component. Even if the distance to S is different, the deviation due to the difference can be recognized, and based on the recognition result, for example, the pitch between leads, between pins, between solder balls, etc., is accurately recognized and corrected. Can be.
[0089]
Further, as described above, in the electronic component mounting apparatus 1, since the position data includes the rotation angle data in the horizontal plane (the above-described angle “θ”, that is, data handled as the Z direction), the component recognition camera based on the position data In the coordinate system 13, the deviation of the suction angle θ of the recognition target component S (Z direction deviation) can be recognized, and based on the recognition result, the deviation of the suction angle θ of the suctioned recognition target component S is detected. To make corrections.
[0090]
The rotation angle data (the offset data in the Z direction) is the same as the above-described offset data in the XY directions in the following handling, and hence is hereinafter simply handled as one element of the offset data.
[0091]
Next, a description will be given of a method of obtaining various types of offset data and a method of correcting deviation using the data.
[0092]
As shown in FIGS. 1 and 2, the displacement recognition unit 15 includes a dummy stocker 31 for stocking a dummy component 40 and a backlight plate 32 for imaging the dummy component 40. A shallow groove into which the dummy component 40 fits is formed on the surface of the dummy stocker 31, and the dummy component 40 is placed in the shallow groove.
[0093]
The backlight plate 32 includes a mounting table 33 capable of diffusing and transmitting light, and a deflection recognition illumination 34 including an LED array and the like disposed below the mounting table 33. As will be described later in detail, when the dummy component 40 is imaged by the board recognition camera 11, the dummy component 40 mounted on the mounting table 33 is illuminated by the deflection recognition illumination 34, and is imaged from above.
[0094]
The deviation recognition unit 15 corrects a deviation between the coordinate system of the board recognition camera 11 that recognizes the position of the board and the coordinate system of the component recognition camera 13 that recognizes the position of the electronic component S. This correction is performed by imaging the dummy component 40 transported by the mounting head 12 with the board recognition camera 11 and the component recognition camera 13, respectively, and recognizing the image.
[0095]
Prior to this correction, the dummy board 50 is introduced into the set table 16, a predetermined portion of the dummy board 50 is recognized by the board recognition camera 11, and the coordinates of the board recognition camera 11 with respect to the absolute reference coordinate system of the machine base 2. The system deviation is corrected.
[0096]
The dummy substrate 50 is formed in a rectangular shape as shown in FIG. 8, and has an average size as a substrate. On the surface of the dummy substrate 50, a recognition pattern 51 similar to the above-described small pattern portion 44 is drawn at the center thereof, and a pair of recognition marks 52 are drawn apart in the longitudinal direction.
[0097]
On the other hand, the leading end of the dummy substrate 50 introduced into the set table 16 in the transport direction abuts against a stopper (not shown) of the set table 16 and is set on the absolute reference coordinate system of the machine base 2.
[0098]
Therefore, by recognizing the recognition pattern 51 with the board recognition camera 11, it becomes possible to correct the coordinate system of the board recognition camera 11 with respect to the absolute reference coordinate system. By recognizing, the coordinate system of the board recognition camera 11 can be corrected based on the displacement angle of each XY stage 6.
[0099]
Next, a method of correcting a positional deviation (deviation) between the board recognition camera 11 and the component recognition camera 13 will be described. In this deviation correction method, first, the deviation of the coordinate system of the board recognition camera 11 with respect to the absolute reference coordinate system is corrected using the dummy substrate 50 described above with reference to FIG. The angle deviation of the moving coordinate system of the beam 22 is corrected. Then, the deviation of the coordinate system of the component recognition camera 13 with respect to the coordinate system of the board recognition camera 11 is corrected using the dummy component 40 described above with reference to FIGS.
[0100]
In the correction of the coordinate system of the board recognition camera 11 with respect to the absolute reference coordinate system, when the deviation (angle shift) based on the movement of the XY stage 6 is not taken into consideration, the recognition pattern 51 of the dummy board 50 imaged by the board recognition camera 11 is used. If the recognition is performed by the CPU 107, correction can be easily performed based on the deviation amount (offset data) between the recognition result and the design value. Therefore, here, only the movement angle deviation of the XY stage 6 with respect to the absolute reference coordinate system, that is, those based on the movement coordinate system of the Y motion beam 22 with respect to the absolute reference coordinate system will be described.
[0101]
FIG. 9 is an image diagram showing the XY stage 6 having a displacement of the moving angle and the dummy substrate 50 set on the set table 16. The dummy substrate 50 is accurately positioned on the absolute reference coordinate system (substrate positioning coordinate system). Positioned.
[0102]
In this case, offset data for adjusting the positional deviation and the angular deviation of the driving XY coordinate (BeamA-XY) of the Y moving beam 22 with respect to the design dimension as viewed from the substrate positioning XY coordinate (PL-XY: origin P0) is obtained. Based on the offset data, the correction is performed based on the PL-XY coordinate system.
[0103]
The scanning coordinate center of the board recognition camera 11 mounted on the Y motion beam (that is, the head unit 8) 22 matches the origin of the driving XY coordinates of the Y motion beam (that is, the head unit 8) 22.
[0104]
Specifically, the dummy substrate 50 is positioned on the substrate positioning XY coordinates, and offset data (in the coordinate system (scanning coordinate center) of the substrate recognition camera 11) is obtained by the operation flow of FIG.
[0105]
As shown in the figure, first, the board recognition camera 11 mounted on the Y motion beam (Y beam) 22 is moved so that its center position (the center of the visual field) coincides with the position of the recognition mark 52 on one side (right side). It is moved according to the design value (S1).
[0106]
Here, the recognition mark 52 is imaged by the board recognition camera 11, and the recognition is performed (S2). Then, the recognition result (the mark center position coordinates viewed from the camera center at the scanning coordinates of the board recognition camera 11) is temporarily stored in the memory 120 as "dx1, dy1" (S3).
[0107]
Next, the board recognition camera 11 is moved according to the design value so that the center position (the center of the visual field) matches the position of the other (left) recognition mark 52 (S4). Here, the recognition mark 52 is recognized by the board recognition camera 11 (S5), and this recognition result (the mark center position coordinates of the scanning coordinates of the board recognition camera 11 as viewed from the camera center) is stored in the memory 120 as “dx2, dy2”. ”(S6).
[0108]
Here, the offset data (offset amount) of the coordinate system of the board recognition camera 11 is obtained by the following formula (S7).
{Circle around (1)} The X (horizontal) and Y (vertical) offsets of the Y beam are obtained by the following formula.
Figure 0003586371
{Circle around (2)} The pitch in the X direction between the first point and the second point of the recognition mark is P (the direction in the Y direction is zero), and the angular offset of the Y beam is obtained by the following formula.
dz = tan -1 {P * (dy1'-dy2 ') / P * (P + (dx1'-dx2'))}
The offset amounts of “1” and “2” obtained in this way are stored in the memory 120 as offset data, and the design value is corrected based on the offset data.
[0109]
Next, correction of the coordinate system of the component recognition camera 13 with respect to the coordinate system of the board recognition camera 11 will be described.
[0110]
In this case, after the dummy component 40 is sucked from the dummy stocker 31, the Y beam 22 is viewed in the PL-XY coordinate system in consideration of the beam offset [X (horizontal), Y (vertical), angle]. The recognition is performed by moving the component recognition camera 13 to the design position. Then, this recognition result is set as [Prec_1x, Prec_1y, Prec_1z].
[0111]
Next, while maintaining the suction position of the dummy component 40 as it is, the Y beam 22 is moved to the design position of the backlight plate 32 (without offset) (considering beam offset), and the dummy component 40 is placed on the backlight plate 32. Place (wear).
[0112]
Next, the substrate recognition camera 11 is moved to the design position of the backlight plate 32 by the Y beam 22 (considering the beam offset), and the dummy component 40 is recognized. Then, this recognition result is set as [Prec_2x, Prec_2y, Prec_2z]. That is, thereby, the stitch between the coordinate system of the component recognition camera 13 and the coordinate system of the board recognition camera 11 is obtained.
[0113]
Specifically, offset data of the coordinate system of the component recognition camera 13 is obtained according to the operation flow of FIG. The data used to describe the operation flow of FIG. 11 is as follows (all of these are values on the substrate positioning XY coordinate system).
Bmoff_x: beam offset X, Bmoff_y: beam offset Y, Bmoff_z: beam offset angle
STK_X: dummy stocker design position X, STK_Y: dummy stocker design position Y
CAM_X: Design position of component recognition camera X, CAM_Y: Design position of component recognition camera Y
BLT_X: Backlight plate design position X, BLT_Y: Backlight plate design position Y
BM_X: Beam origin design position X, BM_Y: Beam origin design position Y
HD_X: head design position X from beam pivot point A0, HD_Y: head design position Y from beam pivot point A0
[0114]
Referring to FIG. 11, first, the mounting head 12 is moved to the position of the dummy stocker 31 by the Y beam 22 (S11), and the dummy component 40 is sucked from the dummy stocker 31 (S12). The movement target value (X, Y) of the Y beam 22 in this case is as follows.
Figure 0003586371
[0115]
Next, the dummy component 40 is moved from the position of the dummy stocker 31 to the position of the component recognition camera 13 (S13), and this is recognized by the component recognition camera 13 (S14). Here, for example, the above-described focal position Fp in FIG.
[0116]
The movement target value (X, Y) of the Y beam 22 in this case is as follows.
Figure 0003586371
[0117]
Then, the recognition result (the coordinates of the component center position viewed from the camera center in the scanning coordinates of the component recognition camera 13) is temporarily stored as [Prec_1x, Prec_1y, Prec_1z] (S15).
[0118]
Next, the mounting head 12 sucking the dummy component 40 is moved to the position of the backlight plate 32 (S16), and the dummy component 40 is placed on the backlight plate 32 (S17). The movement target value (X, Y) of the Y beam 22 in this case is as follows.
Figure 0003586371
[0119]
Next, the board recognition camera 11 is moved to the position of the backlight plate 32 (S18), and the board recognition camera 11 recognizes the dummy component 40 (S19). At that time, the deflection recognition illumination 34 is turned on to illuminate the dummy component 40. The movement target value (X, Y) of the Y beam 22 in this case is as follows.
Figure 0003586371
Then, the recognition result (the component center position coordinates viewed from the camera center at the scanning coordinates of the board recognition camera 11) is temporarily stored as [Prec_2x, Prec_2y, Prec_2z] (S20).
[0120]
Next, offset data (offset amount) of the coordinate system of the component recognition camera 13 is obtained by the following formula (S21).
{Circle around (1)} The X (horizontal), Y (vertical) and angle of the component recognition camera are obtained by the following formulas.
Θ '= Prec_2z-Prec_1z + CAMA3 Z (angle): Assuming the offset of the board recognition camera
Figure 0003586371
(2) The X (horizontal), Y (vertical), and angle of the required component recognition camera
Figure 0003586371
[0121]
The offset amount of the coordinate system of the component recognition camera 13 obtained in this manner is stored in the memory 120 (for example, the first data area 121) as offset data (for example, first offset data 121d). Based on the above-mentioned method, for example, the second offset data 122d is obtained and stored in the second data area 122, and the design value is corrected based on the (these) offset data.
[0122]
After calculating the offset data (S21), the mounting head 12 is moved to the position of the backlight plate 32 (S22), and the dummy head 40 is sucked by the mounting head 12 (S23). Subsequently, the mounting head 12 is moved from the backlight plate 32 to the position of the dummy stocker 31 (S24), and the dummy component 40 is stored in the dummy stocker 31 (S25). In this way, the dummy component 40 is returned to the original position, and a series of correction work ends.
[0123]
As described above, according to the present embodiment, the deviation of the coordinate system of the substrate recognition camera 11 with respect to the absolute reference coordinate system and the angular deviation of the XY stage 6 (the camera center of the substrate recognition camera 11 Is corrected, and then the deviation of the coordinate system of the component recognition camera 13 with respect to the coordinate system of the board recognition camera 11 is corrected using the dummy component 40. The deviation between the component recognition camera 13 and the deviation between the coordinate system of the recognition cameras 11 and 13 and the absolute reference coordinate system can be corrected very accurately.
[0124]
In particular, since the deviation between the coordinate system of the board recognition camera 11 and the component recognition camera 13 can be detected by recognizing the dummy component 40 with the respective recognition cameras 11 and 13, the correction can be made easily and quickly. be able to. In addition, since the dedicated dummy component 40 is used and illuminated to perform imaging, the dummy component 40 is also accurately recognized, and correction can be accurately performed as a whole. Therefore, the electronic component S can be mounted on the substrate with high accuracy and stability.
[0125]
【The invention's effect】
As described above, according to the electronic component recognition device of the present invention, even if the imaging position is changed according to the type of the recognition target component while using the existing mechanism, the suction posture of the component can be accurately determined. There are effects such as recognition.
[Brief description of the drawings]
FIG. 1 is a plan view of an electronic component mounting apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a control system of the electronic component mounting apparatus.
FIG. 3 is a schematic cross-sectional view illustrating an example of component recognition of an electronic component.
FIG. 4 is a view similar to FIG. 3, showing another example.
FIG. 5 is a view similar to FIG. 3, showing an example of a different imaging position as yet another example.
FIG. 6 is a plan view showing an example of a dummy component used for obtaining position data.
FIG. 7 is a view similar to FIG. 6, showing another example.
FIG. 8 is a plan view of a dummy substrate used for deviation correction of the embodiment.
FIG. 9 is an image diagram showing an XY stage having a displacement of a moving angle and a dummy substrate set on a set table.
FIG. 10 is an operation flow for obtaining a deviation of the coordinate system of the board recognition camera based on the displacement angle of the XY stage.
FIG. 11 is an operation flow for obtaining deviations of the coordinate system of the board recognizing camera and the coordinate system of the component recognizing camera in consideration of the absolute reference coordinate system and the displacement angle of the XY stage.
[Explanation of symbols]
1 Electronic component mounting device
6a First XY stage
6b 2nd XY stage
8a First head unit
8b Second head unit
11 Board recognition camera
12 Mounting head
13 Parts recognition camera
25 Suction nozzle
26 Head lifting mechanism
32 backlight plate
34 Deflection recognition lighting
40 dummy parts
45 pattern elements
46 pattern elements
50 dummy substrate
61 Parts recognition lighting
100 control unit
120 memory
121 first data area
122 Second data area
S electronic components

Claims (4)

電子部品を保持する装着ヘッドと、
装着ヘッドに保持した電子部品を下側から撮像する部品認識カメラと、
撮像に際し電子部品を照明する照明器具と、
装着ヘッドを昇降させ、部品認識カメラの焦点深度内における前記電子部品の撮像位置を可変させるヘッド昇降機構と、
装着ヘッドを水平面内においてXY方向に移動させるXY移動機構と、
XY移動機構を制御し、電子部品の部品中心を部品認識カメラの視野中心に臨ませる制御手段と、
前記撮像位置を前記焦点深度内の第1位置としたときの視野中心の位置データを記憶する第1記憶手段と、
前記撮像位置を前記焦点深度内の第2位置としたときの視野中心の位置データを記憶する第2記憶手段とを備え、
前記制御手段は、電子部品を前記第1位置で撮像する場合には、前記第1記憶手段の位置データに基づいて前記XY移動機構を制御し、前記第2位置で撮像する場合には、前記第2記憶手段の位置データに基づいて前記XY移動機構を制御することを特徴とする電子部品認識装置。
A mounting head for holding electronic components,
A component recognition camera that images the electronic components held by the mounting head from below,
A lighting fixture for illuminating electronic components during imaging;
A head lifting mechanism that raises and lowers the mounting head and changes the imaging position of the electronic component within the depth of focus of the component recognition camera,
An XY moving mechanism for moving the mounting head in the XY directions in a horizontal plane,
Control means for controlling the XY moving mechanism so that the component center of the electronic component faces the center of the field of view of the component recognition camera;
First storage means for storing position data of the center of the field of view when the imaging position is a first position within the depth of focus;
Second storage means for storing position data of the center of the field of view when the imaging position is a second position within the depth of focus,
The control means controls the XY movement mechanism based on the position data of the first storage means when the electronic component is imaged at the first position, and when the electronic part is imaged at the second position, An electronic component recognition device for controlling the XY movement mechanism based on position data in a second storage means.
前記位置データには、XY方向の偏位データが含まれ、この偏位データは、前記撮像位置を前記部品認識カメラの焦点位置としたときの視野中心の位置データに含まれる偏位データを、前記電子部品の昇降における軸線と前記部品認識カメラの光軸との間の角度の相違に基づく偏差で補正したものであることを特徴とする、請求項1に記載の電子部品認識装置。The position data includes deviation data in the X and Y directions, and the deviation data includes deviation data included in the position data of the center of the field of view when the imaging position is the focal position of the component recognition camera. 2. The electronic component recognition apparatus according to claim 1, wherein the electronic component recognition device is corrected by a deviation based on a difference between an axis of the electronic component when moving up and down and an optical axis of the component recognition camera. 前記位置データには、撮像における倍率データが含まれることを特徴とする、請求項1または2に記載の電子部品認識装置。The electronic component recognition device according to claim 1, wherein the position data includes magnification data in imaging. 前記位置データには、水平面内における回転角度データが含まれることを特徴とする、請求項1ないし3のいずれかに記載の電子部品認識装置。4. The electronic component recognition device according to claim 1, wherein the position data includes rotation angle data in a horizontal plane.
JP10359498A 1998-03-31 1998-03-31 Electronic component recognition device Expired - Fee Related JP3586371B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10359498A JP3586371B2 (en) 1998-03-31 1998-03-31 Electronic component recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10359498A JP3586371B2 (en) 1998-03-31 1998-03-31 Electronic component recognition device

Publications (2)

Publication Number Publication Date
JPH11289199A JPH11289199A (en) 1999-10-19
JP3586371B2 true JP3586371B2 (en) 2004-11-10

Family

ID=14358103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10359498A Expired - Fee Related JP3586371B2 (en) 1998-03-31 1998-03-31 Electronic component recognition device

Country Status (1)

Country Link
JP (1) JP3586371B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005127836A (en) * 2003-10-23 2005-05-19 Yamaha Motor Co Ltd Part recognition method, part recognizing device, surface mounting machine, part testing device, and substrate inspecting device
JP5010975B2 (en) * 2007-05-16 2012-08-29 富士機械製造株式会社 Coplanarity inspection apparatus inspection method and apparatus
JP2009206354A (en) * 2008-02-28 2009-09-10 Fuji Mach Mfg Co Ltd Image recognition apparatus and image recognition method of electronic component mounting machine
JP5241530B2 (en) * 2009-01-16 2013-07-17 Juki株式会社 Electronic component mounting apparatus and mounting method
JP5534919B2 (en) * 2010-04-22 2014-07-02 富士機械製造株式会社 Electronic component imaging determination method and component mounter
JP5923824B2 (en) * 2012-02-21 2016-05-25 株式会社ミツトヨ Image processing device
CN106134309B (en) * 2014-03-28 2019-01-08 株式会社富士 Element fixing apparatus
CN106471878B (en) * 2014-06-30 2019-09-03 株式会社富士 Detection device
KR20170085171A (en) * 2016-01-13 2017-07-24 최병찬 Apparatus for inspecting and replacing article of consumption and solder ball applying apparatus including same
CN109870454B (en) * 2017-12-01 2021-06-29 胜丽国际股份有限公司 Detection method and detection equipment of sensor packaging structure and focusing type extractor thereof

Also Published As

Publication number Publication date
JPH11289199A (en) 1999-10-19

Similar Documents

Publication Publication Date Title
JP4484288B2 (en) Image processing method and image processing system
JP4145489B2 (en) Component mounting method and component mounting apparatus
US7181089B2 (en) Method and apparatus for searching for fiducial marks, and method of detecting positions of the fiducial marks
JP3523480B2 (en) Camera position correction device
JP3586371B2 (en) Electronic component recognition device
JP4428794B2 (en) Electrical component position detection method and electrical circuit assembly method
JP4999502B2 (en) Component transfer device and surface mounter
JP2000294992A (en) Electronic component-mounting method
JP4343710B2 (en) Surface mount machine
KR100447310B1 (en) Mounting device and component-mounting method thereof
JP4122170B2 (en) Component mounting method and component mounting apparatus
JP5600705B2 (en) Component mounting equipment
JP2005347412A (en) Sucked state inspection apparatus, surface mounter, and part testing apparatus
JP2003234598A (en) Component-mounting method and component-mounting equipment
JP4704218B2 (en) Component recognition method, apparatus and surface mounter
US6315185B2 (en) Ball mount apparatus
JP3499316B2 (en) Calibration data detection method for mounting machine and mounting machine
JP2005353750A (en) Maintenance and management apparatus for electronic component mounting apparatus
KR100284665B1 (en) Electronic component mounting method and device
JP4562275B2 (en) Electrical component mounting system and accuracy inspection method thereof
JP2002094297A (en) Method and apparatus for mounting electric component
JP3498074B2 (en) Electrical component mounting system
JP2003243899A (en) Mounting device and mounting method
JP2002076696A (en) Substrate recognizing apparatus for mounting apparatus
JP7329727B2 (en) Component mounting device, three-dimensional shape measuring device, and three-dimensional shape measuring method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040806

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080813

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090813

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090813

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100813

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110813

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120813

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees