JP3986194B2 - Component recognition apparatus and component recognition method - Google Patents

Component recognition apparatus and component recognition method Download PDF

Info

Publication number
JP3986194B2
JP3986194B2 JP00386899A JP386899A JP3986194B2 JP 3986194 B2 JP3986194 B2 JP 3986194B2 JP 00386899 A JP00386899 A JP 00386899A JP 386899 A JP386899 A JP 386899A JP 3986194 B2 JP3986194 B2 JP 3986194B2
Authority
JP
Japan
Prior art keywords
component
imaging
held
recognition
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00386899A
Other languages
Japanese (ja)
Other versions
JP2000208998A (en
Inventor
保孝 坪井
圭三 泉田
和幸 中野
Original Assignee
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 松下電器産業株式会社 filed Critical 松下電器産業株式会社
Priority to JP00386899A priority Critical patent/JP3986194B2/en
Publication of JP2000208998A publication Critical patent/JP2000208998A/en
Application granted granted Critical
Publication of JP3986194B2 publication Critical patent/JP3986194B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、例えば電子部品等の対象物を認識するために使用される部品認識装置、及び該部品認識装置にて実行される部品認識方法、並びに上記部品認識装置を備えた部品装着装置に関する。
【0002】
【従来の技術】
例えば電子部品を回路基板上に実装する電子部品実装機では、電子部品供給装置から吸着ノズルを用いて吸着した電子部品を回路基板上に実装する前に、CCDカメラと画像処理装置とを備える部品認識装置を用いて上記吸着ノズルに吸着されている上記電子部品を撮像し、その映像情報を画像処理することで上記吸着ノズルに吸着されている上記電子部品の位置や角度を検出する。そして、この検出結果に基づいて、当該電子部品の上記回路基板上への実装時における位置補正を行う。近年、上記検出の対象物である電子部品の形状は、様々に変化しており、それらに適した部品認識装置の改良が実施されている。以下に、電子部品に対する従来の部品認識装置について図を参照して説明する。
【0003】
チップ型部品やリード付き部品を認識する場合には、その電極やリードに反射した光をCCDカメラで撮像するため、部品の斜め下方に設置された照明装置から照明光を部品に当てる。図21はこれを図示したもので、照明装置25から照射された光はリード付き部品21のリード22に当たって反射し、該反射光23はCCDカメラ24によって撮像され、それを画像処理装置26で画像処理することによって上記部品21の位置検出を行っている。
【0004】
一方、図22に示すように、BGA(Ball Grid Array)部品やCSP(Chip Size Package)部品31の場合には、上述のチップ型部品やリード付き電子部品21の場合と異なり、部品の底面に形成されている半球状電極32を検出しなくてはならないため、部品31の厚み方向に直交する水平方向から照明光を部品31へ当てなければならない。図示のように、上記水平方向から光を当てるための照明装置33から照射された光は、半球状電極32で反射し、CCDカメラ24によって撮像される。
尚、図21及び図22に示す照明装置25,33において、ハッチングを施したものは消灯状態を、ハッチングを施していないものは点灯状態を示している。
【0005】
図23〜図28は、部品認識時に上記水平方向からの光の照射が必要となる上記BGA部品や上記CSP部品31用の従来の部品認識装置、及び認識手順を示している。尚、図23及び図24、図25及び図26、並びに、図27及び図28の各対の図は、それぞれ一つの状態を異なる図示法で示したもので、図23、図25、及び図27は斜視図、図24、図26、及び図28は断面図である。
図23及び図24に示すように、上記BGA部品やCSP部品31は、部品装着装置に備わる吸着ノズル27に吸着された状態でCCDカメラ24の上方位置まで水平に移動してくる。
【0006】
図25及び図26に示すように、上記部品31がCCDカメラ24の真上までくると、吸着ノズル27は停止する。次に吸着ノズル27は、当該部品31の厚み方向へ下降し、部品31の半円状電極32に対して上記水平方向から照明装置33の光が当たる位置で停止する。次に部品31に対して上記照明装置33が点灯し、半円状電極32に反射した光34はCCDカメラ24に達し、半円状電極32を含めて部品31が撮像される。撮像された画像は、画像処理装置26に取り込まれ、吸着ノズル27に対する部品31の吸着位置や角度を検出するための処理に利用される。その後、吸着ノズル27は、水平方向に移動したときに照明装置33と部品31とが干渉しない位置まで上記厚み方向に沿って上昇し、図27及び図28に示すように、部品31を吸着した吸着ノズル27は、回路基板への装着等の次工程を行うために当該部品認識装置部分から移動していく。
【0007】
図29には、上記吸着ノズル27を備え電子部品供給装置54から保持した電子部品53を回路基板52上へ実装する電子部品保持装置として、いわゆるロータリーヘッド式の部品保持装置を例にとり、該部品保持装置を有する電子部品実装機の一例を示している。上記ロータリーヘッド式の部品保持装置56は、X,Y方向には移動不可であるが軸回り方向としての矢印58方向に回転する円筒体56aと、該円筒体56aに設けられ該円筒体56aと共に回転する複数の保持ヘッド27a〜27eとが設けられている。各保持ヘッド27a〜27eには、上記厚み方向に沿って昇降可能であるとともにその軸周り方向へ回転可能な上記吸着ノズル27が設けられている。図29において、符号55にて示されるものは、上記回路基板52を載置する回路基板載置テーブル55であり、X,Y方向に移動しない部品保持装置56に対して、吸着ノズル27にて保持されている電子部品53を回路基板52上の所定の装着位置へ位置決めするために、回路基板52をX、Y方向に移動させる。又、符号57にて示されるものは制御装置であり、当該電子部品実装機の動作制御を行う。又、符号60にて示すものは、図23〜図28を参照して説明したような部品認識装置である。
【0008】
このような電子部品実装機では、制御装置57の制御動作により以下のように動作する。即ち、上記円筒体56aは間欠的に矢印58方向へ回転する。該間欠回転により保持ヘッド27aが図示されている部品保持位置に配置された吸着ノズル27によって、部品供給装置54から電子部品53を吸着し保持する。上記間欠回転により、該電子部品53を保持した吸着ノズル27は、保持ヘッド27cが図示されている部品認識位置に配置されたとき、上述したように、CCDカメラ24及び画像処理装置26による撮像、画像処理動作が行われる。さらに上記間欠回転により保持ヘッド27eが図示されている部品離脱位置に配置された吸着ノズル27に保持されている電子部品53は、上記回路基板載置テーブル55にて位置決めされた部品装着位置へ装着される。尚、この部品装着動作のとき、上記画像処理動作にて検出された装着位置の補正情報に基づき位置補正がなされる。
【0009】
【発明が解決しようとする課題】
上述した従来の電子部品実装機で上記BGA部品やCSP部品31などを回路基板52へ装着する場合、部品認識装置60に対して、保持ヘッド27cから吸着ノズル27を下降させて照明装置25、33の内側部分に電子部品31を挿入する機構が各保持ヘッド27a〜27eには必要であり、その構造や制御方法が複雑化したり、さらには、吸着ノズル27を照明装置25、33へ挿入するための吸着ノズル27の上記下降距離が長くなると、吸着ノズル27のブレ等が影響して鮮明な画像が得られず、装着時における上記位置補正の精度低下を来す可能性がある。又、電子部品31の実装速度を向上させる場合には、照明装置25、33への吸着ノズル27の下降速度を高速化する必要があるため、上記保持ヘッド27a〜27eの振動により、鮮明な画像が得られない可能性がある。
【0010】
本発明は、このような問題点を解決するためになされたもので、BGA部品やCSP部品等の部品の撮像動作においても鮮明な画像が得られその結果部品装着時における位置補正の精度の低下を来さない、部品認識装置、及び該部品認識装置を備えた部品装着装置を提供することを目的とする。
【0011】
【課題を解決するための手段】
上記問題点を解決するために本発明は以下のように構成される。
即ち、本発明の第1態様である部品認識装置によれば、部品保持部材に保持された部品を被装着体の装着位置に装着するときの上記装着位置の補正量を得るために上記部品の撮像を行う部品認識装置において、
上記部品保持部材に保持された上記部品は、該部品の厚み方向には移動せず上記厚み方向に直交する直交方向の内の一方向である搬送方向に沿って搬送され、
上記搬送されてきた上記部品に対して、上記直交方向に沿った上記部品の被撮像面の撮像を行う撮像装置と、
上記撮像装置による撮像動作のため上記保持されている部品の上記被撮像面の照明を行う光源を有し、かつ該光源を、上記保持されている部品の上記被撮像面の照明を行う動作位置と当該部品認識装置への上記部品の搬送に干渉しない待機位置との間で移動させる可動照明装置と、
上記撮像装置及び上記可動照明装置の動作制御を行う制御装置と、を備え、
上記制御装置は、上記部品保持部材に保持された部品が上記被撮像面に半球状電極を有するか否かに応じて上記可動照明装置を動作制御して上記光源の位置を決定し、さらに上記被撮像面に半球状電極を有する場合には、上記被撮像面に半球状電極以外のものが存在するときと、存在しないときとで、搬送高さを異ならせて保持された部品を搬送し、かつ上記可動照明装置を動作制御して上記光源の位置を決定する、ことを特徴とする。
【0012】
上記第1態様の部品認識装置において、上記可動照明装置における上記動作位置と上記待機位置との間の上記光源の移動は、上記直交方向であって上記搬送方向に直交する方向に沿った移動であってもよく、この場合、上記可動照明装置の上記光源は、上記厚み方向に沿って複数段に配置され、上記制御装置は、上記制御動作に加えてさらに、撮像する部品の厚み寸法に応じて上記被撮像面の照明を行う光源の点灯及び消灯の制御を行うように構成することもできる。
【0013】
さらに又、上記第1態様の部品認識装置において、上記可動照明装置における上記動作位置と上記待機位置との間の上記光源の移動は上記厚み方向に沿った移動であってもよく、この場合、上記制御装置は、上記制御動作に加えてさらに、撮像されている部品の厚み寸法に応じて上記光源の上記厚み方向における配置位置制御を行うように構成することもできる。
【0014】
又、本発明の第2態様である部品認識方法によれば、部品保持部材に保持された部品を被装着体の装着位置に装着するときの上記装着位置の補正量を得るために上記部品の撮像を行う部品認識方法において、
上記部品の搬送に干渉しない待機位置に光源が位置する状態において、上記部品保持部材に保持された上記部品を、該部品の厚み方向には移動させず上記厚み方向に直交する直交方向に沿って搬送し、
上記直交方向に沿った上記部品の被撮像面の照明を行う動作位置へ上記光源を上記待機位置から移動し、上記光源から上記被撮像面の照明を行い、
上記照明されている上記被撮像面を含む上記部品の撮像を行い、
上記撮像後、上記光源を上記動作位置から上記待機位置へ移動させて、上記部品を搬送し、
上記部品保持部材に保持された部品が上記被撮像面に半球状電極を有するか否かに応じて上記光源の位置が決定され、さらに上記被撮像面に上記半球状電極を有する場合には、上記被撮像面に上記半球状電極以外のものが存在するときと、存在しないときとで、搬送高さを異ならせて保持された部品を搬送し、上記可動照明装置を動作制御して上記光源の位置が決定される、ことを特徴とする。
【0015】
又、本発明の第3態様である部品装着装置によれば、上記第1態様の部品認識装置を備え、又は上記第2態様の部品認識方法を実行することを特徴とする。
【0016】
【発明の実施の形態】
本発明の実施形態である部品認識装置、該部品認識装置にて実行される部品認識方法、及び部品装着装置について、図を参照しながら以下に説明する。尚、各図において同じ構成部分については同じ符号を付している。又、上記部品装着装置は、上記部品認識装置を備えた、又は上記部品認識方法を実行する装置である。
【0017】
又、上述の「課題を解決するための手段」欄に記載した「部品」の一例として本実施形態では電子部品を例に採るが、これに限定されるものではなく、例えば半導体ウエハより切り出したチップ等も含まれる。又、上記欄に記載した「被装着体」の一例として本実施形態では上記電子部品を装着する回路基板を例に採るが、上記「部品」の実施例との関係で上記回路基板に限定されるものではない。又、上記欄に記載した「部品保持部材」の機能を果たす一例として本実施形態では吸着ノズルを例に採るが、これに限定されるものではなく、例えばチャック機構等の機械的構造により部品を保持する部材等も含まれる。
【0018】
本実施形態の部品認識装置は、図16に示すような部品装着装置501に備わる。まず、部品装着装置501について説明する。
該部品装着装置501には、上記部品認識装置の他に、図29を参照して説明したようなロータリーヘッド式の部品保持装置502と、上述の回路基板載置テーブル55に対応する装置であり回路基板52を載置し互いに直交するX,Y方向に自在に移動可能な回路基板載置テーブル503と、上述の部品供給装置54に対応する装置である部品供給装置504と、当該部品装着装置501に備わる構成部分の動作制御を行う制御装置505とが備わる。
【0019】
円筒状の上記部品保持装置502には、上述の保持ヘッド27a〜27eに対応する複数の保持ヘッド511が設けられ、各保持ヘッド511には吸着動作にて電子部品を保持する吸着ノズル512が備わる。該吸着ノズル512は、保持する電子部品の厚み方向に沿って移動可能である。このような部品保持装置502は、矢印513方向に間欠回転しながら、部品保持位置514にて電子部品を吸着ノズル512にて保持し、部品認識位置515にて保持している電子部品が撮像され、部品離脱位置516にて保持している電子部品を回路基板52上に装着する。回路基板52への電子部品の装着後、上記間欠回転により吸着ノズル512は再び部品保持位置514に戻ってくる。
【0020】
上記部品供給装置504は、本実施形態では、電子部品を収納したテープを巻回したリールから上記テープを供給することで上記部品保持装置502へ電子部品の供給を行うリール式のパーツカセット506を、複数台、上記X方向に並設した構成を有する。又、部品供給装置504は、上記X方向に延在するレール507に沿ってX方向に自由に移動可能であり、回路基板52上に装着したい電子部品を有する上記パーツカセット506を上記部品保持位置514に配置する。回路基板載置テーブル503は、上記部品離脱位置516に配置されている吸着ノズル512に保持されている電子部品を回路基板25上の所望位置に装着するために、X,Y方向に移動する。
【0021】
このような部品装着装置501は以下のように動作する。
部品保持装置502は、部品保持位置514にて、保持する電子部品の厚み方向に沿って吸着ノズル512を降下させてパーツカセット506から電子部品を吸着ノズル512にて吸着し、その後、吸着ノズル512を搬送高さまで上昇させる。ここで、上記搬送高さは、吸着ノズル512の先端、つまり図1に示すように吸着ノズル512が電子部品に接触する部分における高さ位置とし、搬送高さ512aと符番する。尚、以下の説明では、上記搬送高さ512aにある吸着ノズル512に吸着されている電子部品についても、「搬送高さにある電子部品」のような表現をする場合もある。
吸着ノズル512に保持された電子部品は、上記搬送高さ512aに維持されたまま、保持ヘッド511の矢印513方向への回転動作にて部品認識位置515に配置され、部品認識装置101にて撮像されて、回路基板上の部品装着位置に、保持している電子部品を装着するときの補正量が求められる。その後さらに上記搬送高さ512aに維持されたまま上記回転動作により搬送されて、部品離脱位置516に配置された電子部品は、上記厚み方向に沿って吸着ノズル512が下降し回路基板52上の所定の部品装着位置に装着される。
【0022】
次に、上記部品認識装置101の第1実施形態について、図1〜図6を参照して説明する。尚、図1及び図2、図3及び図4、図5及び図6の各対の図がそれぞれ同じ状態を示しており、図1,3,5は斜視図にて、図2、4,6は一部断面を含む側面図にて示している。又、上述したように、部品保持装置502の吸着ノズル512にて保持されて部品認識装置101へ搬送されてくる電子部品は、従来のように撮像動作のため吸着ノズルが下降することはなく、電子部品は上記搬送高さ512aに維持された状態で撮像される。又、上記電子部品として、上述したように従来の撮像装置では問題が生じた、上記半円状電極32が形成された上記BGAや上記CSPのような電子部品31を例に採る。
【0023】
部品認識装置101は、大別して、撮像装置111と、可動側照明装置121と、固定側照明装置131と、制御装置505とを備える。
撮像装置111は、当該部品認識装置101に搬送されてきた上記電子部品31に対して、該電子部品31の厚み方向に直交する直交方向171に沿い、上記半円状電極32が形成されている被撮像面172を少なくとも撮像する装置であり、具体的にはCCDカメラを備えている。このような撮像装置111は制御装置505に接続され、撮像動作が制御される。
【0024】
上記可動側照明装置121は、撮像装置111による撮像動作のため、上述のように搬送高さ512aに位置する吸着ノズル512に吸着されている上記被撮像面172の照明を行う装置であり、例えばLED素子を有する光源であって上記直交方向171に沿って延在する光軸を有する光源122を備える。光源122は、電子部品31が搬送されてくる上記搬送高さ512a付近の高さ位置に配置される枠体123、124の内面に一列状に配列されており、制御装置505に接続された電源125にて点灯、消灯される。
それぞれの上記枠体123、124は、本実施形態ではそれぞれがコ字形状をなし、図1,2、及び図5,6に示す待機位置126と、図3、4に示す動作位置127との間を、枠体123、124にそれぞれ接続された駆動装置128にて上記直交方向171であって電子部品の搬送方向173に直交する方向に沿って移動する。尚、本例ではこのように枠体123、124は、搬送方向173に直交する方向に沿って移動するが、これに限定されるものではなく、以下に示すように上記直交方向171であって上記搬送方向173に沿って搬送される電子部品に干渉しないような方向に沿って移動すればよい。
【0025】
即ち、上述のように枠体123、124は搬送高さ512a付近の高さ位置に配置されているので、搬送高さ512aにて電子部品31が当該部品認識装置101に搬送されてくるとすると、電子部品31は枠体123、124に干渉してしまう。そこで、電子部品31が当該部品認識装置101に搬送されてくるときには、枠体123、124は、電子部品31との干渉が生じない上記待機位置126に、駆動装置128にて上記直交方向171に移動してそれぞれ配置され、当該部品認識装置101への電子部品31の搬入のため開き、当該部品認識装置101に電子部品31が搬入後においては、電子部品31の周囲を取り囲み、電子部品31の上記被撮像面172の照明を行う上記動作位置127に、駆動装置128にて上記直交方向171に移動しそれぞれ配置される。
【0026】
尚、図1〜図6では、待機位置126と動作位置127との間で枠体123、124を移動するための、各枠体123、124の支持部材等の図示は省略している。
又、枠体123、124は、本実施形態では上述のようにそれぞれコ字形状であるが、これに限定されるものではなく、例えばL字形状や半円形状のもの等でもよく、つまり、両者を閉じた動作位置127に配置したときに電子部品31を取り囲み、該電子部品31に対して均一に光を照射する形状であればよい。
又、光源124についても、光量が安定しており電子部品31の検出に適したものであればよく、上記LEDに限定されず、電球でもよく、光の色や波長についても制限はない。又、光源124は、制御装置505の制御により枠体123、124が動作位置127に配置されたときにのみ点灯するようにコントロールされていても、常時点灯していても、適した明るさに自動的に調整できる様になっていてもよい。
又、認識対象の電子部品は、上記直交方向171に平行又はほぼ平行な方向から光の照射が有効とされる電子部品であれば、上記CSP,BGAの電子部品31に限定されるものではない。
【0027】
上述したように、光源122は電子部品31が搬送されてくる上記搬送高さ512a付近の高さ位置に配置される枠体123、124の内面に配列されていると説明したが、具体的に光源122の配置位置は以下のように設定されている。この第1実施形態では、上述のように光源122はその光軸を直交方向171に平行にして枠体123、124の内面に配列している。よって図17に示すように、上記直交方向171に平行な被撮像面172と上記光軸とが一致するように光源122を配置したときには、電子部品31の周縁部分より内側に存在する、図17にて斜線を施した範囲に存在する半球状電極32は上記周縁部分に存在する半球状電極32の影になり光源122からの光が十分に当たらない場合が生じる。よって、上記周縁部分より内側に存在する半球状電極32にも十分に光が当たるように、光源122の光軸を上記被撮像面172の配置レベルよりも撮像装置111側に配置する。具体的には図18に示すように、上記被撮像面172に平行な光源122の光軸177に対して照射角度174の範囲内の指向性を有する光が、上記被撮像面172に形成されている半球状電極32に照射されるような高さレベルに光源122、つまり枠体123、124は配置されている。ここで上記照射角度174は、約5〜15度である。
【0028】
又、当然ながら、光源122に近い位置にある半球状電極32は、遠い位置つまり電子部品31の上記被撮像面172における中央部分にある半球状電極32に比べて明るく照らされるが、全ての半球状電極32が、撮像に必要な明るさで、かつできるだけ同じ明るさにて照らされる必要がある。よって、図18に示す、光源122の先端と電子部品31の側面との間の距離178も適切な値が存在する。本第1実施形態では、上記距離178は、約30〜40mmとしている。又、上記距離178は、光源122の指向性の強さにも左右される。よって、上記距離178に基づいて光源122の指向性の強さを選定してもよい。基本的に、被撮像面172に形成されているすべての半球状電極32に均等な輝度にて光が当たるような指向性を有する光源122が選定される。
【0029】
上記照射角度174について詳しく説明する。図19に示すように、電子部品31の上記被撮像面172に上記半球状電極32以外のもの、例えばパターン175や表記文字部分176等が存在するとき、上記照射角度174を、例えば上記15度近辺の比較的大きな値に設定し、そのような照射角度174になるように上記厚み方向における光源122の配置位置を決定すると、上記パターン174や表記文字部分175等に起因する乱反射光が撮像装置111に入り半球状電極32とのコントラストが得られ難くなる。したがって、被撮像体である電子部品の形態にもよるが、被撮像面172に半球状電極32の他に上記パターン174等が存在しないときには、上記照射角度174を例えば上記15度程度の比較的大きな値に設定した方が半球状電極32部分が明るくなり全ての半球状電極32の認識が容易になる。一方、被撮像面172に半球状電極32の他に上記パターン174等が存在するときには、上記照射角度174を例えば上記5度程度の比較的小さな値に設定した方が上記パターン174等の乱反射光が撮像装置111に入りにくくなり、半球状電極32の認識が容易になる。又、半球状電極32の欠落を検査するためには、上記照射角度174を例えば上記5度程度のように比較的小さく設定するのが好ましい。
【0030】
上記固定側照明装置131は、部品認識の際に上記直交方向171からの光を必要としない上述のCSPやBGAの電子部品31以外の電子部品、例えばリード付き部品等に対して従来と同様に斜め下方から光を照射するための照明装置であり、複数の光源132と、該光源用の電源133とを備える。電源133は制御装置505に接続されており、光源132の点灯、消灯、又は光量が制御される。尚、図3及び図5では、図示簡略化のため、固定側照明装置131の図示は省略している。
【0031】
又、本実施形態の部品認識装置101では、撮像装置111の出力側には補正量決定装置161を備える。補正量決定装置161は、上記撮像装置111の撮像動作により得られる電子部品31の画像情報に基づいて、回路基板52上の部品装着位置に電子部品31を装着するときの上記部品装着位置の補正量を求める。又、補正量決定装置161は、制御装置505に接続され動作制御がなされる。
尚、このように本実施形態では補正量決定装置161を別個に設けているが、制御装置にて上記補正量決定動作を行わせるようにすることもできる。
【0032】
又、制御装置505は、上述した部品装着装置501に備わる制御装置であり、本実施形態では部品装着装置501と部品認識装置101との両動作の制御を行う。しかしながら、該構成に限定されず部品認識装置101用の制御装置を設けることもできる。
【0033】
このように構成される部品認識装置101の動作について、さらに図15も参照して以下に説明する。尚、制御装置505には、部品装着動作に必要な装着用プログラムが入力されており、制御装置505は、回路基板52上の各部品装着位置に、どの種類の電子部品を、どのような順番で装着するか、どのパーツカセット506にどの種類の電子部品が備わっているか等の情報を予め認識している。
図15に示すステップ(図内では「S」にて示す)1にて、上述のように部品保持位置514にて電子部品31を吸着保持し、ステップ2では、吸着保持され上記搬送高さ512aに位置する電子部品31がそのままの高さ位置を維持しながら部品認識装置101の撮像装置111の真上まで、上記直交方向171の内の一方向である搬送方向173に沿って搬送される。このとき、可動側照明装置121における枠体123、124は、駆動装置128によりそれぞれ上記待機位置126に配置されており、搬送されてくる電子部品31が枠体123、124に干渉することはない。
又、撮像装置111は、上記搬送方向173に沿って搬送されてくる電子部品31の経路の真下に位置し、撮像動作時において、電子部品31は撮像動作に要する時間停止する。
【0034】
ステップ3では、吸着ノズル512に保持されている電子部品が上記BGAやCSPの電子部品31であるか否かが上記装着用プログラムに基づき判断され、上記BGAやCSPの電子部品31であるときにはステップ4へ、その他の、例えばリード付きの電子部品等であるときにはステップ9へ移行する。
【0035】
ステップ4では、電子部品31が撮像装置111の真上まで搬送されてきたとき、駆動装置128にて枠体123、124を待機位置126から図3、4に示すように動作位置127へ上記直交方向171に沿って移動させる。枠体123、124が動作位置127に配置されることで、枠体123、124は、電子部品31の周囲を取り囲む。
次のステップ5では、枠体123、124に備わる全ての光源122に電源125より電力が供給され、光源122は点灯し、電子部品31の上記被撮像面172を照明する。該照明動作により、被撮像面172に形成されている半球状電極32で反射した光が撮像装置111に入光し、ステップ6にて少なくとも被撮像面172が撮像装置111にて撮像される。該撮像動作により、少なくとも被撮像面172の画像情報が撮像装置111から補正量決定装置161に供給される。補正量決定装置161は、ステップ12にて、上記画像情報に基づいて、吸着ノズル512に電子部品31を吸着保持した際の電子部品31のずれ量を決定する。尚、該ずれ量の求め方は、演算、その他公知の方法を用いることができる。
【0036】
ステップ7では、電源125にて枠体123、124の光源122が消灯され、次のステップ8では、図5、6に示すように、枠体123、124が駆動装置128にて動作位置127から再び待機位置126に移動される。待機位置126に枠体123、124が配置した後、ステップ13では、吸着ノズル512に吸着保持されている電子部品31が上記搬送高さ512aにて部品認識装置101から上記部品離脱位置516へ搬送されて行く。部品離脱位置516において、吸着ノズル512は、上記厚み方向に沿って下降し電子部品31を回路基板52上の装着位置へ装着する。このとき、所定の上記装着位置に電子部品31が装着されるように、上記ずれ量を考慮して、制御装置505は、回路基板載置テーブル503のX,Y方向への移動量を制御したり、吸着ノズル512をその軸回り方向に回転させたりする。
【0037】
一方、ステップ3にて吸着ノズル512に保持されている部品がBGA、CSPではないと判断されたときには、ステップ9にて、固定側照明装置131の電源133から全ての光源132に電力が供給され光源132を点灯する。そして次のステップ10にて、撮像装置111は上記部品の撮像を行う。該撮像動作終了後、ステップ11では、電源133にて光源132を消灯する。以後、上述したステップ12へ移行する。
【0038】
このように部品認識装置101では、撮像動作のために電子部品を保持している吸着ノズル512を下降させる必要はないことから、認識対象の電子部品がBGAやCSP等の電子部品31である場合でも、吸着ノズル512を備える保持ヘッド511の構造や制御方法が複雑化することはなく、又、上記下降による電子部品のブレ等の発生もないので、得られる画像は鮮明でありよって上記補正量の精度が低下することもない。さらに、吸着ノズル512を下降させる必要はないことから、電子部品の実装速度を向上させることができる。
【0039】
第2実施形態;
次に、上記部品認識装置の第2実施形態について、図7及び図8を参照して説明する。
上述した部品認識装置101では、可動側照明装置121における枠体123、124は、上述したように上記直交方向171に沿って移動するものであり、上記厚み方向には一定高さ位置に設けられ該厚み方向には移動できない。又、上述のように、撮像動作のために吸着ノズル512も厚み方向には移動しない。よって、認識対象物である部品において、その厚み方向の寸法が大きい、つまり厚みの厚い電子部品に対しては、正確に上記照射角度174内の照明光を当てることができない可能性も考えられる。この第2実施形態は、この点を考慮したものである。
【0040】
即ち、図7及び図8に示す部品認識装置201では、上記枠体123、124に代えて光源203を有する枠体204、205を設ける。該枠体204、205のそれぞれは、上記枠体123、124と同様に、四角形状や、円形状等であり、さらに本例では図7に示すように電子部品31の被撮像面172に対向する対向面220を覆う蓋板221、222を有する。尚、枠体204、205は可動側照明装置207に備わっており、上記枠体123、124の場合と同様に上記直交方向171に沿って待機位置126と動作位置127との間を移動する。枠体204、205では、例えばLED等から構成される光源203を、吸着ノズル512に保持されている電子部品31の上記厚み方向に沿って複数段、つまり本例では光源203a,203b,203cの3段に配列している。又、各光源203a,203b,203cは、それぞれの光軸が上記直交方向171に平行になるようにして枠体204、205に取り付けられている。尚、光源203を形成する段数は、これに限定されるものでなく、2段以上の任意の段数であり、認識対象である部品の最大厚み寸法に適合した段数にすればよい。
【0041】
又、電子部品31の厚み寸法に応じて、上記第1実施形態にて説明した照射角度174となるように、上記3段の光源203a,203b,203cの内から、詳細後述するように、得られる画像情報や装着用プログラムに基づいた方法により適切な段の光源を発光させる。
【0042】
又、本例では、上記補正量決定装置161に代えて補正量決定装置206を設けている。該補正量決定装置206は、上記補正量決定装置161と同様に上記補正量を求め制御装置210に送出する他に、撮像装置111が送出する画像情報を制御装置210へ送出する。上記制御装置210は、上記制御装置505と同じ機能を実行する他に、供給される上記画像情報に基づき、例えば画像の明、暗に基づいて、上記光源203の点灯、消灯を各段毎に行う制御をも行う。
尚、当該部品認識装置201においても、上記固定側照明装置131は設けられているが、図7,8では図示の簡略化のため記載を省略している。その他の構成は、上述した部品認識装置101に同じである。
【0043】
このように構成される部品認識装置201の動作について以下に説明する。尚、以下に説明する動作以外の動作については上述の部品認識装置101の場合に同じであり、ここでの説明は省略する。
上記搬送高さ512aにて当該部品認識装置201へ電子部品31が搬入され、枠体204、205が上記動作位置127に配置されることで、制御装置210の制御により任意の段の光源203が点灯し、その他の段の光源203は消灯する。そして、制御装置210は、この状態において補正量決定装置206から供給される画像情報に基づき、上記被撮像面172について最も上記補正量を求めやすい画像情報が得られるように、点灯、消灯させる光源203を上記段単位で自動的に切り替える。
【0044】
具体的に説明する。図7は、厚みの薄い部品31aを検出する場合を示したものであり、制御装置210は、部品31aの厚みに合わせて光源203aの段のみを点灯させ、その他の段の光源203b,203cは消灯している。図8は、上記部品31aに比して厚みの厚い部品31bを検出する場合を示したものであり、制御装置210は、部品31bの厚みに合わせて光源203cの段のみを点灯させ、その他の段の光源203a,203bは消灯している。
【0045】
尚、この例では、制御装置210は、上記画像情報に基づき上記光源203の点灯、消灯を各段毎に行う制御するが、例えば、上述した装着用プログラムに基づき現在保持している電子部品の厚み寸法を求めて該厚み寸法に基づき点灯、消灯する光源203を決定するように構成してもよい。
【0046】
このように部品認識装置201によれば、認識対象物である部品の厚み方向の寸法に応じて正確に上記照射角度174内の照明光を当てることができる。よって、部品認識装置201は、上述した部品認識装置101が奏する効果に加えて、さらに、認識対象物である部品の厚み寸法に拘わらず鮮明な画像を得ることができ、上記補正量の精度が低下することもないという効果を奏する。
【0047】
第3実施形態;
次に、上記部品認識装置の第3実施形態について、図9〜図14を参照して説明する。この第3実施形態における部品認識装置も上述の第2実施形態の部品認識装置201と同様に認識対象の部品の厚み寸法に応じて上記照射角度174内の照明光を当てることができるように構成したもので、この第3実施形態における部品認識装置は、光源を備えた枠体自体を上記厚み方向に沿って可動とした構成を有する。以下に詳しく説明する。
【0048】
図9〜図14に示す部品認識装置301では、上述の部品認識装置101に備わる可動側照明装置121に代えて可動側照明装置307を備える。該可動側照明装置307には、光源303を有する枠体302と、該枠体302を上記厚み方向に沿って待機位置308、動作位置309の間で移動させる駆動装置305と、当該部品認識装置301の動作制御を行う制御装置306とを備える。尚、その他の構成部分は、上述の部品認識装置101の構成部分に同じであり、ここでの説明は省略する。
尚、図9〜図14では、図示の簡略化のため、固定側照明装置131については図示を省略している。
【0049】
上記枠体302は、上記電子部品31の周囲を取り囲むことができる程度の大きさにてなる四角形状であり、その内面には上記周囲に沿うように一列の光源303が配列されている。尚、光源303は、その光軸が上記直交方向171に平行に延在するようにして上記枠体302に取り付けられている。又、枠体302には、上記厚み方向に沿って延在するラックギア308を設けている。
上記駆動装置305は、本例では、ピニオンギア304と該ピニオンギア304を駆動するモータ309とを備え、ピニオンギア304は上記ラックギア308に係合している。よって、制御装置306による動作制御によりモータ309によってピニオンギア304が回転することで、ラックギア308を介して枠体302、つまり光源303が上記待機位置308と動作位置309との間で移動する。
【0050】
尚、上記枠体302の形状は、上述の四角形状に限定されるものではなく、例えば円形、楕円形等であってもよい。又、駆動装置305の構成は、上述のピニオンギア304、モータ309に限定されず、例えばエアーシリンダ等を用いて直接に枠体302を駆動する構成等、公知の構成を採用することができる。但し、シリンダを用いる場合には、後述のように電子部品31の厚み寸法に応じた動作位置309に光源303の位置を微調整することが困難となるため、上述の部品認識装置201の構成をさらに加えて複数段に光源を配置して光源の切り替え機能を用いて厚みに対応するようにしてもよい。
又、図9〜図14では、図示の簡略化のため、上記待機位置308と動作位置309との間で枠体302が移動するための、支持部材等の図示を省略している。
【0051】
このように構成される部品認識装置301の動作について説明する。尚、以下に説明する動作以外の動作については上述の部品認識装置101の場合に同じであり、ここでの説明は省略する。
上記吸着ノズル512によって吸着された電子部品31が上記搬送高さ512aのレベルのまま撮像装置111におけるCCDカメラの真上に移動してくるまで、可動側照明装置307の枠体302は、駆動装置305にて、吸着ノズル512及び電子部品31と干渉しない上記待機位置308まで下がっている。
【0052】
電子部品31が上記CCD力メラの真上まで搬送されたとき、上記モータ309が動作しピニオンギア304が回転し、可動側照明装置307の枠体302、つまり光源303が上記待機位置308から上記動作位置309に配置される。ここで、該動作位置309は、上記第1実施形態にて説明したように光源303からの光軸に対して照射角度174の範囲内の指向性を有する光が、上記被撮像面172に形成されている半球状電極32に照射されるようなレベルに光源303が配置される位置であり、電子部品31の厚み寸法に応じてそのレベルは制御装置306の制御により可変である。該制御方法としては、上記装着用プログラムに基づいて、制御装置306は、現在吸着ノズル512に保持している電子部品31の種類、つまり該電子部品31の厚み寸法を認識しているので、該厚み寸法に基づき上記レベルを制御することもできるし、又、上述した部品認識装置201のように、補正量決定装置から上記被撮像面172の画像情報を制御装置306に供給し、上記画像情報に基づき上記レベルを制御することもできるし、又は、簡易的に一定のレベル位置で停止するようにしてもよい。
このようにして光源303が電子部品31の厚み寸法に応じて適切なレベルに位置決めされた後、電源125にて光源303は点灯する。
【0053】
光源303からの光が電子部品31の半球状電極32で反射し、該反射光が上記CCDカメラに入光する。このようにして撮像された少なくとも被撮像面172の画像情報が補正量決定装置161に取りこまれ、電子部品の位置や角度が求められる。
その後、ピニオンギア304が逆回転し、可動側照明装置307は、上記動作位置309から上記待機位置308まで移動する。そして、電子部品31を吸着した吸着ノズル512は、次の工程を行うために当該部品認識装置301から移動していく。
【0054】
以上のように第1〜第3実施形態を示したが、要するに、可動側照明装置は、吸着ノズルによって吸着された認識対象物の部品がCCDカメラの真上に移動してくるまではそれと干渉しない位置にあり、上記部品が上記CCDカメラの真上に静止したときに上記部品に対して上記直交方向から照明光を当てられるように可動側照明装置が移動してくるような構造を有すればよい。又、このような構成を有することで上述した実施形態が奏する効果と同様の効果を奏することができる。
【0055】
又、上述した各実施形態の部品認識装置101、201、301を備えた部品装着装置では、部品保持装置についてロータリーヘッド式のものを例に採ったが、これに限定されるものではなく、例えばX,Y方向に可動なロボットに取り付けられるタイプ等であってもよい。
【0056】
又、上述の各実施形態では、光源122、203、303は、各光軸が上記直交方向171に平行な上記被撮像面172に平行となるように配列されていた。しかしながらこれに限定されるものではない。即ち、光源122の場合を例に採り説明するが、図20に示すように、光源122の光軸177と、直交方向171に平行な被撮像面172とのなす照射角度179が上記照射角度174に相当するように光源122自体を傾斜させて設置してもよい。上記照射角度179は、上記照射角度174と同様に約5〜15度である。又、約5〜15度での照射角度179の設定は、上記第1実施形態にて説明したように、例えば上記パターン175等が被撮像面172に存在するか否かに基づいて設定される。
さらに、図20に示すように、上記照射角度179にて傾斜して取り付けられた光源122は、その光軸177が電子部品31の中心179にて交差するような、上記厚み方向におけるレベルに配置され、又は上記第2実施形態及び第3実施形態の場合ではそのようなレベルに光源203、303が位置するように、何段目の光源203を点灯させるかが制御されたり、上記枠体302における動作位置309が制御される。尚、これらの制御は、例えば、撮像される電子部品の寸法等に基づいて予め点灯する段や動作位置309を設定しておくことで、実際に撮像されている電子部品に対応して実行可能である。
【0057】
【発明の効果】
本発明の第1態様の部品認識装置、及び第2態様の部品認識方法によれば、
撮像動作のために、部品を保持している部品保持部材を上記部品の厚み方向に沿って移動させる必要はないことから、認識対象の上記部品が例えばBGAやCSP等の電子部品である場合でも、上記部品保持部材を備える機構の構造や制御方法が複雑化することはない。又、上記厚み方向に沿って上記部品保持部材は移動しないことから、該移動に起因する部品のブレ等の発生もない。よって、撮像により得られる被撮像面の画像は鮮明であり、よって上記補正量の精度が低下することもない。さらに、上記厚み方向に沿って上記部品保持部材を移動させないことから、被装着体への上記部品の装着速度を向上させることができる。
【図面の簡単な説明】
【図1】 本発明の第1実施形態における部品認識装置の構成を示す斜視図であり枠体が待機位置にあるときの図である。
【図2】 図1に示す部品認識装置の側面図である。
【図3】 図1に示す部品認識装置の斜視図であり枠体が動作位置にあるときの図である。
【図4】 図3に示す部品認識装置の側面図である。
【図5】 図1に示す部品認識装置の斜視図であり枠体が待機位置にあるときの図である。
【図6】 図5に示す部品認識装置の側面図である。
【図7】 本発明の第2実施形態における部品認識装置の構成を示す側面図であり、認識対象物が厚みの薄い部品である場合を示す図である。
【図8】 図7に示す部品認識装置の構成を示す側面図であり、認識対象物が厚みの厚い部品である場合を示す図である。
【図9】 本発明の第3実施形態における部品認識装置の構成を示す斜視図であり枠体が待機位置にあるときの図である。
【図10】 図9に示す部品認識装置の側面図である。
【図11】 図9に示す部品認識装置の斜視図であり枠体が動作位置にあるときの図である。
【図12】 図11に示す部品認識装置の側面図である。
【図13】 図9に示す部品認識装置の斜視図であり枠体が待機位置にあるときの図である。
【図14】 図13に示す部品認識装置の側面図である。
【図15】 本発明の実施形態の部品認識装置の動作を示すフローチャートである。
【図16】 本発明の実施形態の部品認識装置を備えた部品装着装置を示す平面図である。
【図17】 本発明の各実施形態において電子部品と光源との位置関係を説明するための側面図である。
【図18】 本発明の各実施形態において電子部品と光源との位置関係を説明するための側面図である。
【図19】 本発明の各実施形態において電子部品と光源との位置関係を説明するための平面図である。
【図20】 本発明の各実施形態において光源の配置方法の他の例を示す図である。
【図21】 従来の部品認識装置を示す側面図でありリード付きの部品を認識する場合の図である。
【図22】 従来の部品認識装置を示す側面図でありBGAやCSP部品を認識する場合の図である。
【図23】 図21に示す部品認識装置を示す斜視図であり待機状態にあるときの図である。
【図24】 図23に示す部品認識装置の側面図である。
【図25】 図21に示す部品認識装置の斜視図であり動作状態にあるときの図である。
【図26】 図25に示す部品認識装置の側面図である。
【図27】 図21に示す部品認識装置の斜視図であり待機状態にあるときの図である。
【図28】 図27に示す部品認識装置の側面図である。
【図29】 図21に示す部品認識装置を備えた従来の部品装着装置の構成を示す斜視図である。
【符号の説明】
31…電子部品、52…回路基板、
101…部品認識装置、111…撮像装置、121…可動側照明装置、
122…光源、126…待機位置、127…動作位置、
172…被撮像面、
201…部品認識装置、203…光源、207…可動側照明装置、
210…制御装置、
301…部品認識装置、303…光源、306…制御装置、
307…可動側照明装置、308…待機位置、309…動作位置、
505…制御装置、512…吸着ノズル。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a component recognition device used for recognizing an object such as an electronic component, a component recognition method executed by the component recognition device, and a component mounting device including the component recognition device.
[0002]
[Prior art]
For example, in an electronic component mounting machine that mounts an electronic component on a circuit board, a component that includes a CCD camera and an image processing device before mounting the electronic component sucked from the electronic component supply device using a suction nozzle on the circuit board. The electronic component picked up by the suction nozzle is imaged using a recognition device, and the video information is image-processed to detect the position and angle of the electronic component sucked by the suction nozzle. Based on the detection result, position correction is performed when the electronic component is mounted on the circuit board. In recent years, the shape of an electronic component that is the object of detection has changed in various ways, and improvements of a component recognition apparatus suitable for them have been implemented. Hereinafter, a conventional component recognition apparatus for electronic components will be described with reference to the drawings.
[0003]
When recognizing a chip-type component or a component with a lead, the illumination light is applied to the component from an illumination device installed obliquely below the component in order to capture the light reflected on the electrode and the lead with a CCD camera. FIG. 21 illustrates this. Light emitted from the illumination device 25 strikes and reflects the leads 22 of the lead-equipped component 21, and the reflected light 23 is imaged by the CCD camera 24, and is imaged by the image processing device 26. The position of the component 21 is detected by processing.
[0004]
On the other hand, as shown in FIG. 22, in the case of a BGA (Ball Grid Array) component or a CSP (Chip Size Package) component 31, unlike the case of the chip-type component or the electronic component 21 with lead described above, Since the formed hemispherical electrode 32 must be detected, illumination light must be applied to the component 31 from the horizontal direction perpendicular to the thickness direction of the component 31. As shown in the figure, the light emitted from the illumination device 33 for applying light from the horizontal direction is reflected by the hemispherical electrode 32 and is imaged by the CCD camera 24.
In addition, in the illuminating devices 25 and 33 shown in FIG.21 and FIG.22, the thing which gave the hatching has shown the light extinction state, and the thing which has not given the hatching has shown the lighting state.
[0005]
23 to 28 show a conventional component recognition apparatus and a recognition procedure for the BGA component and the CSP component 31 that require light irradiation from the horizontal direction at the time of component recognition. 23, FIG. 24, FIG. 25 and FIG. 26, and FIG. 27 and FIG. 28, each showing one state in a different way of illustration, FIG. 23, FIG. 25, and FIG. 27 is a perspective view, and FIGS. 24, 26, and 28 are cross-sectional views.
As shown in FIGS. 23 and 24, the BGA component and the CSP component 31 move horizontally to the upper position of the CCD camera 24 while being sucked by the suction nozzle 27 provided in the component mounting device.
[0006]
As shown in FIG. 25 and FIG. 26, when the component 31 reaches just above the CCD camera 24, the suction nozzle 27 stops. Next, the suction nozzle 27 descends in the thickness direction of the component 31 and stops at a position where the light of the illumination device 33 strikes the semicircular electrode 32 of the component 31 from the horizontal direction. Next, the illumination device 33 is turned on for the component 31, and the light 34 reflected by the semicircular electrode 32 reaches the CCD camera 24, and the component 31 including the semicircular electrode 32 is imaged. The captured image is taken into the image processing device 26 and used for processing for detecting the suction position and angle of the component 31 with respect to the suction nozzle 27. Thereafter, the suction nozzle 27 rises along the thickness direction to a position where the illumination device 33 and the component 31 do not interfere when moved in the horizontal direction, and sucks the component 31 as shown in FIGS. The suction nozzle 27 moves from the component recognition device portion in order to perform the next process such as mounting on the circuit board.
[0007]
FIG. 29 shows an example of a so-called rotary head type component holding device as an electronic component holding device that mounts the electronic component 53 provided with the suction nozzle 27 and held from the electronic component supply device 54 on the circuit board 52. An example of the electronic component mounting machine which has a holding | maintenance apparatus is shown. The rotary head type component holding device 56 includes a cylindrical body 56a that cannot move in the X and Y directions but rotates in the direction of the arrow 58 as a direction around the axis, and the cylindrical body 56a and the cylindrical body 56a. A plurality of rotating holding heads 27a to 27e are provided. Each of the holding heads 27a to 27e is provided with the suction nozzle 27 that can move up and down along the thickness direction and can rotate around the axis. In FIG. 29, what is indicated by reference numeral 55 is a circuit board mounting table 55 on which the circuit board 52 is mounted, and the suction nozzle 27 is used for the component holding device 56 that does not move in the X and Y directions. In order to position the held electronic component 53 to a predetermined mounting position on the circuit board 52, the circuit board 52 is moved in the X and Y directions. Reference numeral 57 denotes a control device that controls the operation of the electronic component mounting machine. Also, what is denoted by reference numeral 60 is a component recognition apparatus as described with reference to FIGS.
[0008]
Such an electronic component mounting machine operates as follows by the control operation of the control device 57. That is, the cylindrical body 56a rotates intermittently in the direction of the arrow 58. Due to the intermittent rotation, the holding head 27a sucks and holds the electronic component 53 from the component supply device 54 by the suction nozzle 27 arranged at the illustrated component holding position. As described above, the suction nozzle 27 that holds the electronic component 53 by the intermittent rotation, when the holding head 27c is disposed at the component recognition position shown in the drawing, is imaged by the CCD camera 24 and the image processing device 26. An image processing operation is performed. Furthermore, the electronic component 53 held by the suction nozzle 27 in which the holding head 27e is disposed at the component removal position shown in the drawing by the intermittent rotation is mounted at the component mounting position positioned by the circuit board mounting table 55. Is done. In this component mounting operation, position correction is performed based on mounting position correction information detected in the image processing operation.
[0009]
[Problems to be solved by the invention]
When the BGA component, the CSP component 31 or the like is mounted on the circuit board 52 with the above-described conventional electronic component mounting machine, the illumination nozzles 25 and 33 are moved down from the holding head 27c to the component recognition device 60. A mechanism for inserting the electronic component 31 into the inner portion of each of the holding heads 27a to 27e is required for the holding heads 27a to 27e, and the structure and the control method thereof are complicated. If the lowering distance of the suction nozzle 27 becomes longer, a clear image cannot be obtained due to the blurring of the suction nozzle 27, and the accuracy of the position correction at the time of mounting may be lowered. Further, in order to improve the mounting speed of the electronic component 31, it is necessary to increase the lowering speed of the suction nozzle 27 to the illumination devices 25 and 33. Therefore, a clear image is generated by the vibration of the holding heads 27a to 27e. May not be obtained.
[0010]
The present invention has been made to solve such a problem, and a clear image can be obtained even in the imaging operation of parts such as BGA parts and CSP parts. As a result, the accuracy of position correction when the parts are mounted is lowered. An object of the present invention is to provide a component recognition device and a component mounting device including the component recognition device.
[0011]
[Means for Solving the Problems]
  In order to solve the above problems, the present invention is configured as follows.
  That is, according to the component recognition apparatus of the first aspect of the present invention, in order to obtain the correction amount of the mounting position when the component held by the component holding member is mounted at the mounting position of the mounted body, In the component recognition device that performs imaging,
  The component held by the component holding member is transported along a transport direction which is one of orthogonal directions orthogonal to the thickness direction without moving in the thickness direction of the component,
  An imaging device that captures an image of the imaging surface of the component along the orthogonal direction with respect to the conveyed component;
  An operating position for illuminating the surface to be imaged of the component being held and having the light source that illuminates the surface to be imaged of the held component for the imaging operation by the imaging device; And a movable illumination device that moves between the standby position that does not interfere with the conveyance of the component to the component recognition device,
  A control device for controlling the operation of the imaging device and the movable illumination device,
  The control device determines the position of the light source by controlling the operation of the movable illumination device according to whether or not a component held by the component holding member has a hemispherical electrode on the imaging surface.In addition, when the image pickup surface has a hemispherical electrode, it is held with different conveyance heights when there is something other than the hemispherical electrode on the image pickup surface and when it does not exist. Conveying parts and controlling the operation of the movable illumination device to determine the position of the light source;It is characterized by that.
[0012]
In the component recognition device according to the first aspect, the movement of the light source between the operation position and the standby position in the movable illumination device is a movement along the direction orthogonal to the conveyance direction. In this case, the light sources of the movable illumination device may be arranged in a plurality of stages along the thickness direction, and the control device may further correspond to the thickness dimension of the component to be imaged in addition to the control operation. The light source for illuminating the surface to be imaged can be controlled to be turned on and off.
[0013]
Furthermore, in the component recognition device according to the first aspect, the movement of the light source between the operation position and the standby position in the movable illumination device may be a movement along the thickness direction. In addition to the control operation, the control device can be configured to further control the arrangement position of the light source in the thickness direction according to the thickness dimension of the component being imaged.
[0014]
  Further, according to the component recognition method of the second aspect of the present invention, in order to obtain the correction amount of the mounting position when the component held by the component holding member is mounted at the mounting position of the mounted body, In the component recognition method for imaging,
  In a state where the light source is located at a standby position that does not interfere with the conveyance of the component, the component held by the component holding member is not moved in the thickness direction of the component, but along an orthogonal direction orthogonal to the thickness direction. Transport,
  Moving the light source from the standby position to an operating position for illuminating the imaging surface of the component along the orthogonal direction, illuminating the imaging surface from the light source,
  Imaging the part including the illuminated surface to be illuminated,
  After the imaging, the light source is moved from the operating position to the standby position to transport the parts.And
  The position of the light source is determined according to whether or not the component held by the component holding member has a hemispherical electrode on the imaging surface,Further, in the case where the imaging surface has the hemispherical electrode, it is held at different conveyance heights when there is something other than the hemispherical electrode on the imaging surface and when it does not exist. The parts are conveyed, and the position of the light source is determined by controlling the operation of the movable lighting device.It is characterized by that.
[0015]
According to the component mounting apparatus of the third aspect of the present invention, the component recognition apparatus of the first aspect is provided, or the component recognition method of the second aspect is executed.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
A component recognition device, a component recognition method executed by the component recognition device, and a component mounting device according to an embodiment of the present invention will be described below with reference to the drawings. In addition, the same code | symbol is attached | subjected about the same component in each figure. Further, the component mounting device is a device that includes the component recognition device or executes the component recognition method.
[0017]
Further, in the present embodiment, an electronic component is taken as an example of the “component” described in the “Means for Solving the Problems” section above, but the present invention is not limited to this. For example, the electronic component is cut out from a semiconductor wafer. Chips and the like are also included. In addition, in this embodiment, a circuit board on which the electronic component is mounted is taken as an example of the “attachment” described in the above column. However, the circuit board is limited to the circuit board in relation to the example of the “component”. It is not something. In addition, as an example of fulfilling the function of the “component holding member” described in the above column, the suction nozzle is taken as an example in the present embodiment, but the present invention is not limited to this. For example, the component is mounted by a mechanical structure such as a chuck mechanism. The member etc. to hold | maintain are also contained.
[0018]
The component recognition apparatus of this embodiment is provided in a component mounting apparatus 501 as shown in FIG. First, the component mounting apparatus 501 will be described.
In addition to the component recognition device, the component mounting device 501 is a device corresponding to the rotary head type component holding device 502 and the circuit board mounting table 55 described above with reference to FIG. A circuit board mounting table 503 on which the circuit board 52 is mounted and movable freely in X and Y directions orthogonal to each other, a component supply apparatus 504 that is an apparatus corresponding to the above-described component supply apparatus 54, and the component mounting apparatus And a control device 505 that controls the operation of the components included in the unit 501.
[0019]
The cylindrical component holding device 502 is provided with a plurality of holding heads 511 corresponding to the above-described holding heads 27a to 27e, and each holding head 511 is provided with a suction nozzle 512 for holding an electronic component by suction operation. . The suction nozzle 512 is movable along the thickness direction of the electronic component to be held. Such a component holding device 502 holds the electronic component by the suction nozzle 512 at the component holding position 514 while intermittently rotating in the direction of the arrow 513, and the electronic component held at the component recognition position 515 is imaged. Then, the electronic component held at the component removal position 516 is mounted on the circuit board 52. After the electronic component is mounted on the circuit board 52, the suction nozzle 512 returns to the component holding position 514 again by the intermittent rotation.
[0020]
In the present embodiment, the component supply device 504 includes a reel-type parts cassette 506 that supplies electronic components to the component holding device 502 by supplying the tape from a reel wound with a tape containing electronic components. A plurality of units are arranged side by side in the X direction. The component supply device 504 is freely movable in the X direction along the rail 507 extending in the X direction, and the component cassette 506 having the electronic component to be mounted on the circuit board 52 is placed in the component holding position. 514. The circuit board mounting table 503 moves in the X and Y directions in order to mount the electronic component held by the suction nozzle 512 disposed at the component removal position 516 at a desired position on the circuit board 25.
[0021]
Such a component mounting apparatus 501 operates as follows.
The component holding device 502 lowers the suction nozzle 512 along the thickness direction of the electronic component to be held at the component holding position 514 and sucks the electronic component from the parts cassette 506 with the suction nozzle 512, and then the suction nozzle 512. Is raised to the transport height. Here, the transport height is the height position at the tip of the suction nozzle 512, that is, the portion where the suction nozzle 512 contacts the electronic component as shown in FIG. 1, and is denoted by the transport height 512a. In the following description, the electronic component sucked by the suction nozzle 512 at the transport height 512a may also be expressed as “electronic component at the transport height”.
The electronic component held by the suction nozzle 512 is arranged at the component recognition position 515 by rotating the holding head 511 in the direction of the arrow 513 while being maintained at the conveyance height 512a, and is imaged by the component recognition apparatus 101. Thus, the correction amount when the held electronic component is mounted at the component mounting position on the circuit board is obtained. After that, the electronic component which is conveyed by the rotation operation while being maintained at the conveyance height 512a and is arranged at the component separation position 516 is lowered along the thickness direction by the suction nozzle 512 being lowered on the circuit board 52. It is mounted at the component mounting position.
[0022]
Next, a first embodiment of the component recognition apparatus 101 will be described with reference to FIGS. 1 and FIG. 2, FIG. 3 and FIG. 4, FIG. 5 and FIG. 6 show the same state, respectively, FIG. 1, 3 and 5 are perspective views, FIG. 6 shows a side view including a partial cross section. In addition, as described above, the electronic nozzle held by the suction nozzle 512 of the component holding device 502 and conveyed to the component recognition device 101 does not lower the suction nozzle because of an imaging operation as in the past. The electronic component is imaged while being maintained at the conveyance height 512a. Further, as the electronic component, as described above, the electronic component 31 such as the BGA or the CSP in which the semicircular electrode 32 is formed, which has a problem in the conventional imaging device, is taken as an example.
[0023]
The component recognizing device 101 roughly includes an imaging device 111, a movable side lighting device 121, a fixed side lighting device 131, and a control device 505.
In the imaging device 111, the semicircular electrode 32 is formed along the orthogonal direction 171 orthogonal to the thickness direction of the electronic component 31 with respect to the electronic component 31 conveyed to the component recognition device 101. This is an apparatus for imaging at least the imaging surface 172, and specifically includes a CCD camera. Such an imaging device 111 is connected to the control device 505, and the imaging operation is controlled.
[0024]
The movable side illumination device 121 is a device that illuminates the imaging surface 172 that is adsorbed by the adsorption nozzle 512 positioned at the conveyance height 512a as described above for the imaging operation by the imaging device 111. A light source having an LED element and having an optical axis extending along the orthogonal direction 171 is provided. The light sources 122 are arranged in a line on the inner surfaces of the frame bodies 123 and 124 arranged at a height position near the transport height 512 a to which the electronic component 31 is transported, and are connected to the control device 505. At 125, the light is turned on and off.
In the present embodiment, each of the frames 123 and 124 has a U-shape, and includes a standby position 126 shown in FIGS. 1, 2, and 5 and 6 and an operation position 127 shown in FIGS. 3 and 4. The drive device 128 connected to each of the frames 123 and 124 moves in the direction along the orthogonal direction 171 and the direction orthogonal to the electronic component transport direction 173. In this example, the frame bodies 123 and 124 move in the direction orthogonal to the conveyance direction 173 as described above, but the present invention is not limited to this, and the orthogonal direction 171 is as follows. What is necessary is just to move along the direction which does not interfere with the electronic component conveyed along the said conveyance direction 173. FIG.
[0025]
That is, as described above, since the frame bodies 123 and 124 are disposed at a height position near the conveyance height 512a, the electronic component 31 is conveyed to the component recognition apparatus 101 at the conveyance height 512a. The electronic component 31 interferes with the frame bodies 123 and 124. Therefore, when the electronic component 31 is conveyed to the component recognition apparatus 101, the frames 123 and 124 are moved to the standby position 126 where no interference with the electronic component 31 occurs, and the driving device 128 is moved to the orthogonal direction 171. The electronic component 31 is moved and arranged to open for carrying the electronic component 31 into the component recognition apparatus 101. After the electronic component 31 is loaded into the component recognition apparatus 101, the electronic component 31 is surrounded by the electronic component 31. The driving device 128 moves in the orthogonal direction 171 and is arranged at the operating position 127 where the imaging surface 172 is illuminated.
[0026]
1 to 6, illustrations of support members and the like of the frame bodies 123 and 124 for moving the frame bodies 123 and 124 between the standby position 126 and the operation position 127 are omitted.
Further, in the present embodiment, the frame bodies 123 and 124 are each U-shaped as described above. However, the frame bodies 123 and 124 are not limited to this, and may be, for example, L-shaped or semicircular. Any shape that surrounds the electronic component 31 and uniformly irradiates the electronic component 31 with light when both are disposed at the closed operation position 127 may be used.
The light source 124 may be any light source that is stable in light quantity and suitable for detection of the electronic component 31, and is not limited to the LED, but may be a light bulb, and there is no limitation on the color or wavelength of light. Further, the light source 124 is controlled so as to be lit only when the frame bodies 123 and 124 are disposed at the operation position 127 under the control of the control device 505, or whether the light source 124 is always lit, has a suitable brightness. You may be able to adjust automatically.
In addition, the electronic component to be recognized is not limited to the electronic component 31 of the CSP or BGA as long as light irradiation is effective from a direction parallel or substantially parallel to the orthogonal direction 171. .
[0027]
As described above, the light source 122 has been described as being arranged on the inner surfaces of the frame bodies 123 and 124 arranged at a height position near the conveyance height 512a to which the electronic component 31 is conveyed. The arrangement position of the light source 122 is set as follows. In the first embodiment, as described above, the light sources 122 are arranged on the inner surfaces of the frames 123 and 124 with their optical axes parallel to the orthogonal direction 171. Therefore, as shown in FIG. 17, when the light source 122 is arranged so that the imaged surface 172 parallel to the orthogonal direction 171 and the optical axis coincide with each other, the light source 122 exists inside the peripheral portion of the electronic component 31. The hemispherical electrode 32 existing in the shaded area in FIG. 5 becomes a shadow of the hemispherical electrode 32 existing in the peripheral portion, and the light from the light source 122 may not be sufficiently irradiated. Therefore, the optical axis of the light source 122 is arranged closer to the imaging device 111 than the arrangement level of the imaging surface 172 so that light is sufficiently applied to the hemispherical electrode 32 existing inside the peripheral portion. Specifically, as shown in FIG. 18, light having directivity within the range of an irradiation angle 174 with respect to the optical axis 177 of the light source 122 parallel to the imaging surface 172 is formed on the imaging surface 172. The light source 122, that is, the frame bodies 123 and 124 are arranged at a height level such that the hemispherical electrode 32 is irradiated. Here, the irradiation angle 174 is about 5 to 15 degrees.
[0028]
Naturally, the hemispherical electrode 32 located close to the light source 122 is illuminated more brightly than the hemispherical electrode 32 located far away, that is, in the central portion of the imaging surface 172 of the electronic component 31, but all hemispheres. The electrode 32 needs to be illuminated with the brightness necessary for imaging and with the same brightness as possible. Accordingly, there is an appropriate value for the distance 178 between the tip of the light source 122 and the side surface of the electronic component 31 shown in FIG. In the first embodiment, the distance 178 is about 30 to 40 mm. The distance 178 also depends on the directivity of the light source 122. Therefore, the directivity intensity of the light source 122 may be selected based on the distance 178. Basically, a light source 122 having directivity is selected such that all the hemispherical electrodes 32 formed on the imaging surface 172 are irradiated with light with equal luminance.
[0029]
The irradiation angle 174 will be described in detail. As shown in FIG. 19, when an object other than the hemispherical electrode 32 such as a pattern 175 or a written character portion 176 exists on the imaging surface 172 of the electronic component 31, the irradiation angle 174 is set to, for example, 15 degrees. When the arrangement position of the light source 122 in the thickness direction is determined so that the irradiation angle 174 is set to a relatively large value in the vicinity, irregularly reflected light caused by the pattern 174, the written character portion 175, and the like is captured by the imaging apparatus. The contrast with the hemispherical electrode 32 becomes difficult to obtain. Therefore, although depending on the form of the electronic component that is the object to be imaged, when the pattern 174 or the like other than the hemispherical electrode 32 does not exist on the imaged surface 172, the irradiation angle 174 is set to a relatively large value of about 15 degrees, for example. When the value is set to a larger value, the hemispherical electrode 32 portion becomes brighter and the recognition of all the hemispherical electrodes 32 becomes easier. On the other hand, when the pattern 174 or the like is present in addition to the hemispherical electrode 32 on the imaged surface 172, the diffusely reflected light of the pattern 174 or the like is set when the irradiation angle 174 is set to a relatively small value, for example, about 5 degrees. Becomes difficult to enter the imaging device 111 and the hemispherical electrode 32 is easily recognized. In order to inspect the lack of the hemispherical electrode 32, it is preferable to set the irradiation angle 174 relatively small, for example, about 5 degrees.
[0030]
The fixed-side lighting device 131 does not require light from the orthogonal direction 171 at the time of component recognition, as in the conventional case for electronic components other than the above-described CSP and BGA electronic components 31, such as leaded components. It is an illuminating device for irradiating light obliquely from below, and includes a plurality of light sources 132 and a power source 133 for the light sources. The power supply 133 is connected to the control device 505, and the light source 132 is turned on, turned off, or the amount of light is controlled. 3 and 5, the illustration of the fixed-side lighting device 131 is omitted for the sake of simplicity.
[0031]
Further, the component recognition apparatus 101 according to the present embodiment includes a correction amount determination apparatus 161 on the output side of the imaging apparatus 111. The correction amount determination device 161 corrects the component mounting position when the electronic component 31 is mounted at the component mounting position on the circuit board 52 based on the image information of the electronic component 31 obtained by the imaging operation of the imaging device 111. Find the amount. Further, the correction amount determination device 161 is connected to the control device 505 to perform operation control.
As described above, in the present embodiment, the correction amount determination device 161 is provided separately, but the correction amount determination operation may be performed by the control device.
[0032]
The control device 505 is a control device provided in the component mounting device 501 described above, and controls both operations of the component mounting device 501 and the component recognition device 101 in this embodiment. However, the present invention is not limited to this configuration, and a control device for the component recognition device 101 can be provided.
[0033]
The operation of the component recognition apparatus 101 configured as described above will be described below with reference to FIG. Note that a mounting program necessary for the component mounting operation is input to the control device 505, and the control device 505 assigns what kind of electronic components to each component mounting position on the circuit board 52 in any order. The information such as whether the parts cassette 506 is mounted and which kind of electronic component is provided in the parts cassette 506 is recognized in advance.
In the step (indicated by “S” in FIG. 15) 1 shown in FIG. 15, the electronic component 31 is sucked and held at the component holding position 514 as described above, and in step 2, it is sucked and held and the transport height 512a. The electronic component 31 positioned at the position is transported along the transport direction 173 which is one of the orthogonal directions 171 to the position just above the imaging device 111 of the component recognition apparatus 101 while maintaining the height position as it is. At this time, the frame bodies 123 and 124 in the movable side illumination device 121 are respectively arranged at the standby position 126 by the driving device 128, and the electronic component 31 being conveyed does not interfere with the frame bodies 123 and 124. .
The imaging device 111 is located immediately below the path of the electronic component 31 conveyed along the conveyance direction 173, and during the imaging operation, the electronic component 31 stops for the time required for the imaging operation.
[0034]
In step 3, it is determined based on the mounting program whether the electronic component held by the suction nozzle 512 is the BGA or CSP electronic component 31, and if the electronic component 31 is the BGA or CSP, the step is performed. 4, and when it is another electronic component with a lead, for example, the process proceeds to step 9.
[0035]
In step 4, when the electronic component 31 has been conveyed right above the imaging device 111, the drive device 128 moves the frame bodies 123 and 124 from the standby position 126 to the operation position 127 as shown in FIGS. Move along direction 171. By arranging the frame bodies 123 and 124 at the operation position 127, the frame bodies 123 and 124 surround the periphery of the electronic component 31.
In the next step 5, power is supplied from the power source 125 to all the light sources 122 provided in the frames 123 and 124, the light source 122 is turned on, and the imaged surface 172 of the electronic component 31 is illuminated. By the illumination operation, the light reflected by the hemispherical electrode 32 formed on the imaging surface 172 enters the imaging device 111, and at least the imaging surface 172 is imaged by the imaging device 111 in step 6. Through the imaging operation, at least image information of the imaging target surface 172 is supplied from the imaging device 111 to the correction amount determination device 161. In step 12, the correction amount determination device 161 determines the shift amount of the electronic component 31 when the electronic component 31 is sucked and held by the suction nozzle 512 based on the image information. It should be noted that calculation and other known methods can be used for obtaining the deviation amount.
[0036]
In step 7, the light source 122 of the frames 123 and 124 is turned off by the power source 125, and in the next step 8, the frames 123 and 124 are moved from the operation position 127 by the driving device 128 as shown in FIGS. It is moved to the standby position 126 again. After the frames 123 and 124 are arranged at the standby position 126, in step 13, the electronic component 31 sucked and held by the suction nozzle 512 is transported from the component recognition device 101 to the component separation position 516 at the transport height 512a. Going to be. At the component removal position 516, the suction nozzle 512 descends along the thickness direction to mount the electronic component 31 to the mounting position on the circuit board 52. At this time, the control device 505 controls the amount of movement of the circuit board mounting table 503 in the X and Y directions in consideration of the shift amount so that the electronic component 31 is mounted at the predetermined mounting position. Or the suction nozzle 512 is rotated around its axis.
[0037]
On the other hand, when it is determined in step 3 that the component held by the suction nozzle 512 is not BGA or CSP, power is supplied to all the light sources 132 from the power supply 133 of the fixed-side lighting device 131 in step 9. The light source 132 is turned on. In the next step 10, the imaging device 111 performs imaging of the component. After completion of the imaging operation, in step 11, the light source 132 is turned off by the power supply 133. Thereafter, the process proceeds to step 12 described above.
[0038]
As described above, in the component recognition apparatus 101, it is not necessary to lower the suction nozzle 512 that holds the electronic component for the imaging operation. Therefore, when the electronic component to be recognized is the electronic component 31 such as BGA or CSP. However, the structure and control method of the holding head 511 provided with the suction nozzle 512 are not complicated, and there is no occurrence of blurring of electronic components due to the lowering, so that the obtained image is clear and the correction amount described above is obtained. The accuracy of is not reduced. Further, since it is not necessary to lower the suction nozzle 512, the mounting speed of the electronic component can be improved.
[0039]
A second embodiment;
Next, a second embodiment of the component recognition apparatus will be described with reference to FIGS.
In the component recognition device 101 described above, the frame bodies 123 and 124 in the movable-side lighting device 121 move along the orthogonal direction 171 as described above, and are provided at fixed height positions in the thickness direction. It cannot move in the thickness direction. Further, as described above, the suction nozzle 512 does not move in the thickness direction for the imaging operation. Therefore, there is a possibility that the illumination light within the irradiation angle 174 cannot be accurately applied to an electronic component having a large dimension in the thickness direction, that is, a thick electronic component. The second embodiment takes this point into consideration.
[0040]
That is, in the component recognition apparatus 201 shown in FIGS. 7 and 8, frame bodies 204 and 205 having a light source 203 are provided in place of the frame bodies 123 and 124. Each of the frames 204 and 205 has a quadrangular shape, a circular shape, or the like, similar to the frame bodies 123 and 124, and further, in this example, faces the imaging surface 172 of the electronic component 31 as shown in FIG. Cover plates 221 and 222 that cover the facing surface 220. The frames 204 and 205 are provided in the movable side lighting device 207, and move between the standby position 126 and the operation position 127 along the orthogonal direction 171 as in the case of the frames 123 and 124. In the frames 204 and 205, for example, the light source 203 composed of LEDs or the like is arranged in a plurality of stages along the thickness direction of the electronic component 31 held by the suction nozzle 512, that is, in this example, the light sources 203a, 203b, and 203c. Arranged in three stages. The light sources 203a, 203b, 203c are attached to the frames 204, 205 so that their optical axes are parallel to the orthogonal direction 171. Note that the number of steps for forming the light source 203 is not limited to this, and is an arbitrary number of steps of two or more, and may be set to a number that matches the maximum thickness dimension of the component to be recognized.
[0041]
Further, according to the thickness dimension of the electronic component 31, the three-stage light sources 203 a, 203 b, and 203 c are obtained as described later in detail so that the irradiation angle 174 described in the first embodiment is obtained. The light source at an appropriate stage is caused to emit light by a method based on the image information and the mounting program.
[0042]
In this example, a correction amount determination device 206 is provided instead of the correction amount determination device 161. Similar to the correction amount determination device 161, the correction amount determination device 206 obtains the correction amount and sends it to the control device 210, and sends image information sent by the imaging device 111 to the control device 210. In addition to executing the same function as the control device 505, the control device 210 turns on and off the light source 203 for each stage based on the supplied image information, for example, based on the brightness and darkness of the image. Also performs the control to be performed.
In addition, although the said fixed side illuminating device 131 is provided also in the said component recognition apparatus 201, description is abbreviate | omitted for the simplification of illustration in FIG. Other configurations are the same as those of the component recognition apparatus 101 described above.
[0043]
The operation of the component recognition apparatus 201 configured as described above will be described below. The operations other than those described below are the same as those in the above-described component recognition apparatus 101, and description thereof is omitted here.
The electronic component 31 is carried into the component recognition apparatus 201 at the conveyance height 512a, and the frames 204 and 205 are arranged at the operation position 127, whereby the light source 203 at an arbitrary stage is controlled by the control apparatus 210. The light source 203 is turned on and the light sources 203 at the other stages are turned off. In this state, the control device 210 turns on and off the light source so that the image information for which the correction amount is most easily obtained can be obtained for the imaging surface 172 based on the image information supplied from the correction amount determination device 206. 203 is automatically switched in units of steps.
[0044]
This will be specifically described. FIG. 7 shows a case where a thin part 31a is detected. The control device 210 turns on only the stage of the light source 203a according to the thickness of the part 31a, and the light sources 203b and 203c of the other stages are turned on. Off. FIG. 8 shows a case in which a component 31b having a thickness larger than that of the component 31a is detected. The control device 210 turns on only the stage of the light source 203c in accordance with the thickness of the component 31b. The stage light sources 203a and 203b are turned off.
[0045]
In this example, the control device 210 controls the light source 203 to be turned on and off for each stage based on the image information. For example, the control device 210 controls the electronic components currently held based on the mounting program described above. You may comprise so that the light source 203 which calculates | requires a thickness dimension and turns on and off based on this thickness dimension may be determined.
[0046]
Thus, according to the component recognition apparatus 201, the illumination light within the irradiation angle 174 can be accurately applied according to the dimension in the thickness direction of the component that is the recognition target. Therefore, in addition to the effect produced by the component recognition device 101 described above, the component recognition device 201 can obtain a clear image regardless of the thickness dimension of the component that is the recognition target, and the accuracy of the correction amount can be increased. There is an effect that it does not decrease.
[0047]
A third embodiment;
Next, a third embodiment of the component recognition apparatus will be described with reference to FIGS. Similarly to the component recognition device 201 of the second embodiment described above, the component recognition device in the third embodiment is configured so that illumination light within the irradiation angle 174 can be applied according to the thickness dimension of the component to be recognized. Therefore, the component recognition apparatus according to the third embodiment has a configuration in which the frame itself provided with the light source is movable along the thickness direction. This will be described in detail below.
[0048]
9 to 14 includes a movable illumination device 307 instead of the movable illumination device 121 included in the component recognition device 101 described above. The movable side illumination device 307 includes a frame 302 having a light source 303, a drive device 305 that moves the frame 302 between the standby position 308 and the operation position 309 along the thickness direction, and the component recognition device. And a control device 306 that performs operation control 301. The other components are the same as the components of the component recognition apparatus 101 described above, and a description thereof is omitted here.
9 to 14, the illustration of the fixed side lighting device 131 is omitted for simplification of illustration.
[0049]
The frame 302 has a quadrangular shape with a size that can surround the electronic component 31, and a row of light sources 303 are arranged on the inner surface along the periphery. The light source 303 is attached to the frame 302 so that its optical axis extends parallel to the orthogonal direction 171. The frame 302 is provided with a rack gear 308 extending along the thickness direction.
In this example, the driving device 305 includes a pinion gear 304 and a motor 309 that drives the pinion gear 304, and the pinion gear 304 is engaged with the rack gear 308. Therefore, when the pinion gear 304 is rotated by the motor 309 by the operation control by the control device 306, the frame body 302, that is, the light source 303 is moved between the standby position 308 and the operation position 309 via the rack gear 308.
[0050]
Note that the shape of the frame 302 is not limited to the above-described square shape, and may be, for example, a circle or an ellipse. The configuration of the driving device 305 is not limited to the above-described pinion gear 304 and motor 309, and a known configuration such as a configuration in which the frame 302 is directly driven using an air cylinder or the like can be employed. However, when the cylinder is used, it is difficult to finely adjust the position of the light source 303 to the operation position 309 corresponding to the thickness dimension of the electronic component 31 as described later. In addition, light sources may be arranged in a plurality of stages, and the light source switching function may be used to correspond to the thickness.
9 to 14, for the sake of simplification, illustration of a support member and the like for moving the frame 302 between the standby position 308 and the operation position 309 is omitted.
[0051]
The operation of the component recognition apparatus 301 configured as described above will be described. The operations other than those described below are the same as those in the above-described component recognition apparatus 101, and description thereof is omitted here.
The frame 302 of the movable side illumination device 307 is a driving device until the electronic component 31 sucked by the suction nozzle 512 moves right above the CCD camera in the imaging device 111 while maintaining the level of the conveyance height 512a. At 305, the position is lowered to the standby position 308 that does not interfere with the suction nozzle 512 and the electronic component 31.
[0052]
When the electronic component 31 is conveyed to just above the CCD force mela, the motor 309 operates and the pinion gear 304 rotates, and the frame 302 of the movable side illumination device 307, that is, the light source 303 is moved from the standby position 308 to the above. Arranged at the operating position 309. Here, as described in the first embodiment, the operation position 309 is formed on the imaging surface 172 by light having directivity within the range of the irradiation angle 174 with respect to the optical axis from the light source 303. The light source 303 is disposed at such a level as to irradiate the hemispherical electrode 32, and the level is variable by the control of the control device 306 according to the thickness dimension of the electronic component 31. As the control method, the control device 306 recognizes the type of the electronic component 31 currently held in the suction nozzle 512, that is, the thickness dimension of the electronic component 31 based on the mounting program. The level can be controlled based on the thickness dimension, and the image information of the imaging surface 172 is supplied from the correction amount determination device to the control device 306 as in the component recognition device 201 described above, and the image information The level can be controlled based on the above, or it can be simply stopped at a certain level position.
Thus, after the light source 303 is positioned at an appropriate level according to the thickness dimension of the electronic component 31, the light source 303 is turned on by the power source 125.
[0053]
Light from the light source 303 is reflected by the hemispherical electrode 32 of the electronic component 31, and the reflected light enters the CCD camera. Image information of at least the imaged surface 172 imaged in this way is taken into the correction amount determination device 161, and the position and angle of the electronic component are obtained.
Thereafter, the pinion gear 304 rotates in the reverse direction, and the movable side illumination device 307 moves from the operating position 309 to the standby position 308. Then, the suction nozzle 512 that has sucked the electronic component 31 moves from the component recognition device 301 in order to perform the next step.
[0054]
As described above, the first to third embodiments have been described. In short, the movable side illumination device does not interfere with the part of the recognition target object sucked by the suction nozzle until it moves right above the CCD camera. If the movable illumination device moves in such a way that illumination light can be applied to the component from the orthogonal direction when the component is at a position directly above the CCD camera. Good. Further, by having such a configuration, it is possible to achieve the same effect as the effect of the embodiment described above.
[0055]
Moreover, in the component mounting apparatus provided with the component recognition apparatuses 101, 201, and 301 of the above-described embodiments, the component holding apparatus is a rotary head type as an example, but is not limited to this. A type attached to a robot movable in the X and Y directions may be used.
[0056]
In each of the above-described embodiments, the light sources 122, 203, and 303 are arranged so that each optical axis is parallel to the imaging surface 172 that is parallel to the orthogonal direction 171. However, the present invention is not limited to this. That is, the case of the light source 122 will be described as an example. As shown in FIG. 20, the irradiation angle 179 formed by the optical axis 177 of the light source 122 and the imaging surface 172 parallel to the orthogonal direction 171 is the irradiation angle 174. The light source 122 itself may be tilted so as to correspond to the above. The irradiation angle 179 is about 5 to 15 degrees similarly to the irradiation angle 174. Further, the setting of the irradiation angle 179 at about 5 to 15 degrees is set based on whether or not the pattern 175 or the like exists on the imaging surface 172 as described in the first embodiment. .
Furthermore, as shown in FIG. 20, the light source 122 mounted with an inclination at the irradiation angle 179 is arranged at a level in the thickness direction such that the optical axis 177 intersects at the center 179 of the electronic component 31. In the case of the second and third embodiments, the number of light sources 203 to be turned on is controlled so that the light sources 203 and 303 are positioned at such a level, or the frame 302 The operation position 309 is controlled. These controls can be executed in correspondence with the electronic components that are actually imaged, for example, by setting the lighting stage and the operation position 309 in advance based on the dimensions of the electronic components to be imaged. It is.
[0057]
【The invention's effect】
According to the component recognition apparatus of the first aspect of the present invention and the component recognition method of the second aspect,
Since it is not necessary to move the component holding member holding the component along the thickness direction of the component for the imaging operation, even when the component to be recognized is an electronic component such as BGA or CSP, for example. The structure of the mechanism including the component holding member and the control method are not complicated. Further, since the component holding member does not move along the thickness direction, there is no occurrence of component blur due to the movement. Therefore, the image of the surface to be captured obtained by imaging is clear, and thus the accuracy of the correction amount is not reduced. Furthermore, since the component holding member is not moved along the thickness direction, the mounting speed of the component on the mounted body can be improved.
[Brief description of the drawings]
FIG. 1 is a perspective view showing a configuration of a component recognition apparatus according to a first embodiment of the present invention, and is a view when a frame is in a standby position.
FIG. 2 is a side view of the component recognition apparatus shown in FIG.
FIG. 3 is a perspective view of the component recognition apparatus shown in FIG. 1, and is a view when a frame body is in an operating position.
4 is a side view of the component recognition apparatus shown in FIG. 3;
FIG. 5 is a perspective view of the component recognition apparatus shown in FIG. 1, and is a view when a frame body is in a standby position.
6 is a side view of the component recognition apparatus shown in FIG.
FIG. 7 is a side view illustrating a configuration of a component recognition apparatus according to a second embodiment of the present invention, and is a diagram illustrating a case where a recognition target is a thin component.
FIG. 8 is a side view showing the configuration of the component recognition apparatus shown in FIG. 7, and is a diagram showing a case where the recognition target is a thick component.
FIG. 9 is a perspective view showing a configuration of a component recognition apparatus according to a third embodiment of the present invention, and is a view when a frame body is at a standby position.
10 is a side view of the component recognition apparatus shown in FIG. 9. FIG.
11 is a perspective view of the component recognition apparatus shown in FIG. 9, and is a view when a frame body is in an operating position. FIG.
12 is a side view of the component recognition apparatus shown in FIG.
13 is a perspective view of the component recognition apparatus shown in FIG. 9, and is a view when the frame is in a standby position. FIG.
14 is a side view of the component recognition apparatus shown in FIG.
FIG. 15 is a flowchart showing the operation of the component recognition apparatus according to the embodiment of the present invention.
FIG. 16 is a plan view showing a component mounting apparatus including the component recognition apparatus according to the embodiment of the present invention.
FIG. 17 is a side view for explaining the positional relationship between an electronic component and a light source in each embodiment of the present invention.
FIG. 18 is a side view for explaining the positional relationship between an electronic component and a light source in each embodiment of the present invention.
FIG. 19 is a plan view for explaining the positional relationship between an electronic component and a light source in each embodiment of the present invention.
FIG. 20 is a diagram showing another example of a light source arrangement method in each embodiment of the present invention.
FIG. 21 is a side view showing a conventional component recognition apparatus, in which a component with leads is recognized.
FIG. 22 is a side view showing a conventional component recognition apparatus, and is a diagram for recognizing a BGA or CSP component.
FIG. 23 is a perspective view showing the component recognition apparatus shown in FIG. 21, and is a view in a standby state.
24 is a side view of the component recognition apparatus shown in FIG. 23. FIG.
FIG. 25 is a perspective view of the component recognition apparatus shown in FIG. 21 and is in a state of operation.
26 is a side view of the component recognition apparatus shown in FIG. 25. FIG.
FIG. 27 is a perspective view of the component recognition apparatus shown in FIG. 21, and is a diagram when in a standby state.
28 is a side view of the component recognition apparatus shown in FIG. 27. FIG.
29 is a perspective view showing the configuration of a conventional component mounting apparatus including the component recognition apparatus shown in FIG. 21. FIG.
[Explanation of symbols]
31 ... electronic component, 52 ... circuit board,
101 ... Component recognition device, 111 ... Imaging device, 121 ... Movable side illumination device,
122 ... Light source, 126 ... Standby position, 127 ... Operating position,
172 ... the surface to be imaged,
201 ... part recognition device, 203 ... light source, 207 ... movable side illumination device,
210 ... control device,
301 ... Component recognition device 303 ... Light source 306 ... Control device
307: Movable illumination device, 308: standby position, 309: operating position,
505 ... Control device, 512 ... Suction nozzle.

Claims (4)

部品保持部材(512)に保持された部品(31)を被装着体(52)の装着位置に装着するときの上記装着位置の補正量を得るために上記部品の撮像を行う部品認識装置において、
上記部品保持部材に保持された上記部品は、該部品の厚み方向には移動せず上記厚み方向に直交する直交方向(171)の内の一方向である搬送方向(173)に沿って搬送され、
上記搬送されてきた上記部品に対して、上記直交方向に沿った上記部品の被撮像面(172)の撮像を行う撮像装置(111)と、
上記撮像装置による撮像動作のため上記保持されている部品の上記被撮像面の照明を行い上記厚み方向に沿って複数段に配置される光源(122、203、303)を有し、かつ該光源を、上記直交方向であって上記搬送方向に直交する方向に沿って、上記保持されている部品の上記被撮像面の照明を行う動作位置(127、309)と当該部品認識装置への上記部品の搬送に干渉しない待機位置(126、308)との間で移動させる可動照明装置(121、207、307)と、
上記撮像装置及び上記可動照明装置の動作制御を行い、撮像する部品の厚み寸法に応じて上記被撮像面の照明を行う光源の点灯及び消灯の制御を行う制御装置(505、210、306)と、
を備えたことを特徴とする部品認識装置。
In the component recognition apparatus that performs imaging of the component in order to obtain a correction amount of the mounting position when the component (31) held by the component holding member (512) is mounted at the mounting position of the mounted body (52).
The component held by the component holding member does not move in the thickness direction of the component, but is conveyed along a conveyance direction (173) which is one of the orthogonal directions (171) orthogonal to the thickness direction. ,
An imaging device (111) that captures an image of the imaging surface (172) of the component along the orthogonal direction with respect to the component that has been conveyed;
A light source (122, 203, 303) for illuminating the surface to be imaged of the held component for imaging operation by the imaging device and arranged in a plurality of stages along the thickness direction; , Along the direction orthogonal to the transport direction, the operation position (127, 309) for illuminating the imaged surface of the held component and the component to the component recognition device Movable illumination devices (121, 207, 307) that move between the standby positions (126, 308) that do not interfere with the transport of
A control device (505, 210, 306) that controls the operation of the imaging device and the movable illumination device, and controls the turning on and off of the light source that illuminates the surface to be imaged according to the thickness dimension of the imaged component ,
A component recognition apparatus comprising:
部品保持部材(512)に保持された部品(31)を被装着体(52)の装着位置に装着するときの上記装着位置の補正量を得るために上記部品の撮像を行う部品認識装置において、
上記部品保持部材に保持された上記部品は、該部品の厚み方向には移動せず上記厚み方向に直交する直交方向(171)の内の一方向である搬送方向(173)に沿って搬送され、
上記搬送されてきた上記部品に対して、上記直交方向に沿った上記部品の被撮像面(172)の撮像を行う撮像装置(111)と、
上記撮像装置による撮像動作のため上記保持されている部品の上記被撮像面の照明を行う光源(122、203、303)を有し、かつ該光源を、上記保持されている部品の上記被撮像面の照明を行う動作位置(127、309)と当該部品認識装置への上記部品の搬送に干渉しない待機位置(126、308)との間で移動させる可動照明装置(121、207、307)と、
上記撮像装置及び上記可動照明装置の動作制御を行う制御装置(505、210、306)と、を備え、
上記制御装置は、上記部品保持部材に保持された部品が上記被撮像面に半球状電極(32)を有するか否かに応じて上記可動照明装置を動作制御して上記光源の位置を決定し、さらに上記被撮像面に半球状電極を有する場合には、上記被撮像面に半球状電極以外のものが存在するときと、存在しないときとで、搬送高さ(512a)を異ならせて保持された部品を搬送し、かつ上記可動照明装置を動作制御して上記光源の位置を決定する、ことを特徴とする部品認識装置。
In the component recognition apparatus that performs imaging of the component in order to obtain a correction amount of the mounting position when the component (31) held by the component holding member (512) is mounted at the mounting position of the mounted body (52).
The component held by the component holding member does not move in the thickness direction of the component, but is conveyed along a conveyance direction (173) which is one of the orthogonal directions (171) orthogonal to the thickness direction. ,
An imaging device (111) that captures an image of the imaging surface (172) of the component along the orthogonal direction with respect to the component that has been conveyed;
The light source (122, 203, 303) that illuminates the surface to be imaged of the held component for the imaging operation by the imaging device, and the light source is the imaged of the held component A movable illumination device (121, 207, 307) that is moved between an operation position (127, 309) for illuminating the surface and a standby position (126, 308) that does not interfere with the conveyance of the component to the component recognition device; ,
A control device (505, 210, 306) for controlling the operation of the imaging device and the movable illumination device;
The control device, the component held by the holding member part operates controlling the movable illumination device determines the position of the light source depending on whether having a semi-spherical electrodes (32) to the imaged surface In addition, when the imaging surface has a hemispherical electrode, the conveyance height (512a) is held differently when there is something other than the hemispherical electrode on the imaging surface and when it does not exist. A component recognition apparatus characterized in that the component is conveyed and the position of the light source is determined by controlling the operation of the movable illumination device.
部品保持部材(512)に保持された部品(31)を被装着体(52)の装着位置に装着するときの上記装着位置の補正量を得るために上記部品の撮像を行う部品認識方法において、
上記部品の搬送に干渉しない待機位置(126、308)に光源(122、203、303)が位置する状態において、上記部品保持部材に保持された上記部品を、該部品の厚み方向には移動させず上記厚み方向に直交する直交方向の内の一方向である搬送方向に沿って搬送し、
上記直交方向に沿った上記部品の被撮像面(172)の照明を行う動作位置(127、309)へ上記光源を、上記直交方向であって上記搬送方向に直交する方向に沿って上記待機位置から移動し、
上記光源は上記厚み方向に沿って複数段に配置されており、撮像する部品の厚み寸法に応じて上記被撮像面の照明を行う光源の点灯及び消灯が制御されて、上記光源から上記被撮像面の照明を行い、
上記照明されている上記被撮像面を含む上記部品の撮像を行い、
上記撮像後、上記光源を上記動作位置から上記待機位置へ移動させて、上記部品を搬送する、
ことを特徴とする部品認識方法。
In the component recognition method for imaging the component in order to obtain a correction amount of the mounting position when the component (31) held by the component holding member (512) is mounted at the mounting position of the mounted body (52).
In a state where the light source (122, 203, 303) is positioned at the standby position (126, 308) that does not interfere with the conveyance of the component, the component held by the component holding member is moved in the thickness direction of the component. It is transported along the transport direction, which is one of the orthogonal directions orthogonal to the thickness direction,
The light source is moved to the operation position (127, 309) for illuminating the imaging surface (172) of the part along the orthogonal direction, and the standby position along the direction orthogonal to the conveyance direction. Move from
The light sources are arranged in a plurality of stages along the thickness direction, and the lighting of the light source for illuminating the imaging surface is controlled according to the thickness dimension of the component to be imaged, and the imaging of the light source from the light source Lighting the surface,
Imaging the part including the illuminated surface to be illuminated,
After the imaging, the light source is moved from the operating position to the standby position, and the parts are conveyed.
A component recognition method characterized by the above.
部品保持部材(512)に保持された部品(31)を被装着体(52)の装着位置に装着するときの上記装着位置の補正量を得るために上記部品の撮像を行う部品認識方法において、
上記部品の搬送に干渉しない待機位置(126、308)に光源(122、203、303)が位置する状態において、上記部品保持部材に保持された上記部品を、該部品の厚み方向には移動させず上記厚み方向に直交する直交方向に沿って搬送し、
上記直交方向に沿った上記部品の被撮像面(172)の照明を行う動作位置(127、309)へ上記光源を上記待機位置から移動し、上記光源から上記被撮像面の照明を行い、
上記照明されている上記被撮像面を含む上記部品の撮像を行い、
上記撮像後、上記光源を上記動作位置から上記待機位置へ移動させて、上記部品を搬送し、
上記部品保持部材に保持された部品が上記被撮像面に半球状電極(32)を有するか否かに応じて上記光源の位置が決定され、さらに上記被撮像面に上記半球状電極を有する場合には、上記被撮像面に上記半球状電極以外のものが存在するときと、存在しないときとで、搬送高さ(512a)を異ならせて保持された部品を搬送し、上記可動照明装置を動作制御して上記光源の位置が決定される、
ことを特徴とする部品認識方法。
In the component recognition method for imaging the component in order to obtain a correction amount of the mounting position when the component (31) held by the component holding member (512) is mounted at the mounting position of the mounted body (52).
In a state where the light source (122, 203, 303) is positioned at the standby position (126, 308) that does not interfere with the conveyance of the component, the component held by the component holding member is moved in the thickness direction of the component. Without conveying along the orthogonal direction orthogonal to the thickness direction,
Moving the light source from the standby position to an operation position (127, 309) for illuminating the imaging surface (172) of the component along the orthogonal direction, illuminating the imaging surface from the light source;
Imaging the part including the illuminated surface to be illuminated,
After the imaging, the light source is moved from the operating position to the standby position, and the parts are conveyed ,
When the position of the light source is determined according to whether or not the component held by the component holding member has the hemispherical electrode (32) on the imaging target surface , and further the hemispherical electrode is provided on the imaging target surface In this case, when the object other than the hemispherical electrode is present on the surface to be imaged and when it is not present, the parts held with different conveying heights (512a) are conveyed, and the movable illumination device is The position of the light source is determined by controlling the operation.
A component recognition method characterized by the above.
JP00386899A 1999-01-11 1999-01-11 Component recognition apparatus and component recognition method Expired - Fee Related JP3986194B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00386899A JP3986194B2 (en) 1999-01-11 1999-01-11 Component recognition apparatus and component recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00386899A JP3986194B2 (en) 1999-01-11 1999-01-11 Component recognition apparatus and component recognition method

Publications (2)

Publication Number Publication Date
JP2000208998A JP2000208998A (en) 2000-07-28
JP3986194B2 true JP3986194B2 (en) 2007-10-03

Family

ID=11569181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00386899A Expired - Fee Related JP3986194B2 (en) 1999-01-11 1999-01-11 Component recognition apparatus and component recognition method

Country Status (1)

Country Link
JP (1) JP3986194B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4536293B2 (en) * 2001-06-25 2010-09-01 ヤマハ発動機株式会社 Component inspection device and surface mounter equipped with the same

Also Published As

Publication number Publication date
JP2000208998A (en) 2000-07-28

Similar Documents

Publication Publication Date Title
JP4558112B2 (en) LIGHTING DEVICE FOR COMPONENT MOUNTING DEVICE AND COMPONENT MOUNTING DEVICE HAVING THE LIGHTING DEVICE
JP4308588B2 (en) Surface mount machine
JPH08213800A (en) Parts condition detecting apparatus of mounting machine
JP2002298132A (en) Image pick-up system, image pick-up system control program, and electric component fitting system
JP3955206B2 (en) Component mounting method and component mounting apparatus
JP5041878B2 (en) Component recognition device, surface mounter, and component testing device
JP3986194B2 (en) Component recognition apparatus and component recognition method
JP4298459B2 (en) Component recognition device, surface mounter and component testing device
JP4386419B2 (en) Component recognition device, surface mounter equipped with the device, and component test device
JP2000022393A (en) Illuminator for recognition
JP6721716B2 (en) Imaging device and surface mounter using the same
JPH09321494A (en) Illumination device for surface mounting machine
JP2003008300A (en) Equipment for inspecting component and surface mounting apparatus mounting the same
JP2010157539A (en) Component inspection device and component transfer apparatus
JP3443278B2 (en) Component recognition device for mounting machine
JP2006059981A (en) Component transfer apparatus, surface mounting machine, and component testing device
JP6863762B2 (en) Lighting device, component recognition device and component mounting device
JP4094751B2 (en) Component mounting apparatus and method
JP6591307B2 (en) Component mounting equipment
JP3623982B2 (en) Electronic component automatic placement equipment
JP2005260268A (en) Electronic component mounting method
JP2005338030A (en) Component recognition device
JP2020010003A (en) Component mounting apparatus
JP4312563B2 (en) Component inspection device and component moving device equipped with the same
JP2001077594A (en) Component recognition device and component mounting machine

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070710

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100720

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110720

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110720

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120720

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120720

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130720

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees