JP4213292B2 - 表面実装機の部品認識装置 - Google Patents
表面実装機の部品認識装置 Download PDFInfo
- Publication number
- JP4213292B2 JP4213292B2 JP12003799A JP12003799A JP4213292B2 JP 4213292 B2 JP4213292 B2 JP 4213292B2 JP 12003799 A JP12003799 A JP 12003799A JP 12003799 A JP12003799 A JP 12003799A JP 4213292 B2 JP4213292 B2 JP 4213292B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- image
- camera
- head unit
- line sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Supply And Installment Of Electrical Components (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ヘッドユニットにより電子部品を吸着してプリント基板上の所定位置に装着するように構成された表面実装機において、特に、装着に先立って吸着部品を認識する部品認識装置に関するものである。
【０００２】
【従来の技術】
従来、部品装着用のヘッドを有するヘッドユニットにより、ＩＣ等の部品を部品供給部から吸着して、位置決めされているプリント基板上に移送し、プリント基板の所定の位置に装着するようにした表面実装機（以下、実装機と略す）が一般に知られている。
【０００３】
このような実装機においては、ヘッドで部品を吸着したときの部品の位置にはある程度のバラツキがあり、部品の吸着位置ズレに応じて装着位置を補正することが要求される。そのため、吸着された部品を認識してヘッドに対する吸着位置ズレを検知したり、また部品の異常、例えばＱＦＰ等、多数のリードを有する部品であれば、このリードの折れ等を検知するようにしている。
【０００４】
このような部品認識を行う装置として、従来は、吸着部品の一面（主に下面）の画像を取込み、その画像に基づいて部品を認識する装置が主流であったが、近年では、リードの折れ等をより正確に検知すべく、エリアセンサからなる２つのカメラにより吸着部品を異なる角度から撮像し、これらの画像を画像処理装置により合成することによって３次元画像を形成して部品を認識する装置が提案されている（特開平７−１５１５２２号公報）。
【０００５】
この装置では、所定の撮像位置の下方に両カメラが配設され、撮像位置にセットされた部品の同一箇所を異なる角度から撮像するように両カメラが一点に指向するように傾いた状態で配設されている。そして、各カメラと撮像位置との間に、撮像に必要な光を照射する共通の照明装置が介設された構成となっている。
【０００６】
【発明が解決しようとする課題】
しかし、上記従来の装置では、吸着部品を上記撮像位置において一旦静止させてから部品を撮像するためタクトタイムの短縮化が妨げられるという問題がある。特に、ヘッドユニットに複数のヘッドを備えた装置では、ヘッドユニットを断続的に移動させることとなり極めて効率が悪い。
【０００７】
また、２つのカメラを共通の一点に指向させる構成であるため、カメラ配置の自由度が制約されて、例えば、３次元画像のうちでも特に部品下面の画像が重視されるような場合には、次のような問題がある。すなわち、部品下面の画像を精度良く得ようとすれば必然的に両カメラのなす角度を小さくする（つまり、両カメラの光軸のなす角度を小さくする）ことが要求されるが、このようにすると、カメラの構造によっては、カメラ同士の物理的な干渉により現実の配置が困難となる場合があり、これを回避すべく撮像位置と両カメラとの距離を広げると、装置が大型化するばかりでなく、画像の鮮明度が損なわれて部品認識精度が低下するという問題がある。
【０００８】
本発明は、上記の課題を解決するためになされたものであって、タクトタイムの短縮に貢献でき、しかも部品下面の画像が重視されるような場合でも、装置の大型化や部品認識精度の低下を伴うことなくカメラ同士の干渉を良好に回避することができる表面実装機の部品認識装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明は、部品吸着用のヘッドユニットに吸着された部品を２つの撮像手段により異なる角度から撮像し、各画像から吸着部品の３次元画像を形成してこの部品画像に基づいて吸着部品を認識するように構成された表面実装機の部品認識装置において、上記２つの撮像手段としてそれぞれ素子がライン状に配列されたラインセンサカメラを用いるとともにその各ラインセンサカメラが素子列を互いに平行とするように配設され、上記ヘッドユニットが上記各ラインセンサカメラに対して相対的に、かつ上記各ラインセンサカメラの素子列に対して直交する移動方向に移動する間に上記吸着部品を撮像するように構成するとともに、上記ヘッドユニットの上記移動方向における異なる位置で部品画像をそれぞれ取り込むように上記各ラインセンサカメラを配置したものである（請求項１）。
【００１０】
この装置によると、部品吸着後、ヘッドユニットが各カメラに対して相対的に移動する間に部品の画像が各カメラによりそれぞれ取り込まれる。そのため、効率的に部品画像を取り込むことができる。一方、構造上は、異なる角度の画像をそれぞれ撮像するために各センサが傾いた状態で配設されるが、ヘッドユニットの移動方向における異なる位置の部品画像をそれぞれ取り込むように各カメラが配設されているため、カメラの配置の自由度が高く、例えば部品下面の画像を精度良く得るべく両カメラのなす角度を小さくする（両カメラの光軸のなす角度を小さくする）ことが要求される場合でもカメラ同士の干渉を容易に回避することができる。
【００１１】
また、上記課題を解決するために、本発明は、部品吸着用のヘッドユニットに吸着された部品を撮像手段により異なる２方向の角度から撮像し、各画像から吸着部品の３次元画像を形成してこの部品画像に基づいて吸着部品を認識するように構成された表面実装機の部品認識装置において、上記撮像手段として素子列が互いに平行に配設される２つのラインセンサを備えるとともに、これらのラインセンサに対して共通のレンズを備えたカメラを用い、上記ヘッドユニットが上記カメラに対して相対的に、かつ各ラインセンサの素子列に対して直交する移動方向に移動する間に上記吸着部品を撮像するように構成するとともに、上記レンズを介して上記ヘッドユニットの上記移動方向における異なる位置で部品画像をそれぞれ取り込むように、上記レンズの光軸に対して各ラインセンサを対称に配置したものである（請求項２）。
【００１２】
この装置の場合も、ヘッドユニットがカメラに対して相対的に移動する間に各ラインセンサにより部品の画像が取り込まれるため、効率的に部品の画像を取り込むことができる。また、各ラインセンサによる画像の取込み位置は各ラインセンサの配置調整により行うため、従来のようなカメラ同士の物理的な干渉が問題となることがない。
【００１３】
【発明の実施の形態】
本発明の実施の形態について図面に基づいて説明する。
【００１４】
図１及び図２は、本発明に係る部品認識装置が搭載された実装機の構造を示している。同図に示すように、実装機の基台１上には、プリント基板搬送用のコンベア２が配置され、プリント基板３がこのコンベア２上を搬送されて所定の装着作業位置で停止されるようになっている。上記コンベア２の側方には、部品供給部４が配置されている。この部品供給部４は部品供給用のフィーダーを備え、例えば多数列のテープフィーダー４ａを備えている。
【００１５】
また、上記基台１の上方には、部品装着用のヘッドユニット５が装備されている。このヘッドユニット５は、部品供給部４とプリント基板３が位置する部品装着部とにわたって移動可能とされ、当実施形態ではＸ軸方向（コンベア２の方向）およびＹ軸方向（水平面上でＸ軸と直交する方向）に移動することができるようになっている。
【００１６】
すなわち、上記基台１上には、Ｙ軸方向の固定レール７と、Ｙ軸サーボモータ９により回転駆動されるボールねじ軸８とが配設され、上記固定レール７上にヘッドユニット支持部材１１が配置されて、この支持部材１１に設けられたナット部分１２が上記ボールねじ軸８に螺合している。また、上記支持部材１１には、Ｘ軸方向のガイド部材１３と、Ｘ軸サーボモータ１５により駆動されるボールねじ軸１４とが配設され、上記ガイド部材１３にヘッドユニット５が移動可能に保持され、このヘッドユニット５に設けられたナット部分（図示せず）が上記ボールねじ軸１４に螺合している。そして、Ｙ軸サーボモータ９の作動により上記支持部材１１がＹ軸方向に移動するとともに、Ｘ軸サーボモータ１５の作動によりヘッドユニット５が支持部材１１に対してＸ軸方向に移動するようになっている。
【００１７】
また、上記Ｙ軸サーボモータ９及びＸ軸サーボモータ１５には、それぞれロータリエンコーダからなる位置検出手段１０，１６が設けられており、これによって上記ヘッドユニット５の移動位置検出がなされるようになっている。
【００１８】
上記ヘッドユニット５には、チップ部品吸着用のノズル２０ａを先端に備えたヘッド２０が設けられ、図２に示すように当実施形態ではＸ軸方向に８つのヘッド２０が並べて設けられている。各ヘッド２０は、それぞれ、ヘッドユニット５のフレームに対して昇降及びノズル中心軸回りの回転が可能とされ、図外の昇降駆動機構及び回転駆動機構により作動されるようになっている。なお、上記昇降駆動機構は、例えば、各ヘッド２０を同時に上下動させる全体昇降用サーボモータと、各ヘッド２０を個別に一定ストロークだけ昇降させる所定数（８個）のエアシリンダとを備え、それらを併用することにより、各ヘッド２０を所定の上昇位置と下降位置とにわたって昇降させるように構成されている。また、回転駆動手段は、１個の回転用サーボモータと、このサーボモータの回転を各ヘッドに伝える伝動機構とからなっている。
【００１９】
また、上記部品供給部４の側方には、上記ヘッドユニット５の各ヘッド２０に吸着された部品を認識するための２つの撮像用ユニット２１，２２が配設されている。
【００２０】
上記撮像用ユニット２１，２２は、同図に示すようにＸ軸方向に所定距離を隔て配設されており、それぞれヘッド２０に吸着された部品（吸着部品）を下方から撮像するカメラ２３（撮像手段）を備えるとともに、このカメラ２３の上方に、撮像時に部品に光を照射する照明部２４を備えている。
【００２１】
各カメラ２３は、ＣＣＤ固体撮像素子が上記ヘッド２０の配列方向と直交する方向（Ｙ軸方向）に並設されたラインセンサカメラで、各カメラ２３の各ＣＣＤ固体撮像素子が互いにＸ軸方向に対応するように配設されている。そして、実装時には、ヘッドユニット５の各ヘッド２０によって部品が吸着された後、各ラインセンサの素子の配列方向（主走査方向；Ｙ軸方向）と直交する方向（副走査方向；Ｘ軸方向）にヘッドユニット５が移動させられることによって、各カメラ２３により、各ヘッド２０に吸着された部品の主走査方向の画像が、副走査方向に順次取込まれて所定の画像信号が得られるようになっている。
【００２２】
また、各カメラ２３は、図３に示すように、光軸が互いに交わるように鉛直方向に対して同角度θだけ傾斜した状態で配設されるとともに、Ｘ軸方向の異なる位置で部品を撮像し得るようにそれぞれ配設されており、撮像時には、ヘッドユニット５の移動に伴い部品の同一箇所を各カメラ２３により異なる角度から、かつ両カメラ２３の撮像位置の間隔とヘッドユニット移動速度とに応じた時間だけずれたタイミングで取り込むようになっている。
【００２３】
上記照明部２４は、光源としてＬＥＤランプを備えており、詳しく図示していないが、像入射用の空間を有した筒形のフレーム内に、多数のＬＥＤランプ等を備えた構成となっている。
【００２４】
以上のように構成された実装機は、図２に示すように、マイクロコンピュータを構成要素とする制御装置３０を備えており、上記Ｙ軸及びＸ軸サーボモータ９，１５、ヘッドユニット５のヘッド２０に対する昇降駆動機構及び回転駆動機構、撮像用ユニット２１，２２のカメラ２３及び照明部２４等はすべてこの制御装置３０に電気的に接続され、この制御装置３０に含まれる主制御部３１により統括制御されるようになっている。
【００２５】
制御装置３０には、各撮像用ユニット２１，２２のカメラ２３による画像の取込みを制御する画像取込制御部３２と、取り込まれた画像を処理する画像処理部３３とが含まれており、部品撮像時には、画像取込制御部３２により画像を取り込みながら画像処理部３３において各カメラ２３により取り込まれた画像を合成して部品の３次元画像を形成し、この３次元画像に基づき主制御部３１において吸着部品の認識を行うようになっている。
【００２６】
なお、上記画像処理部３３での３次元画像の形成は、例えば以下のように行われる。
【００２７】
すなわち、図３に示すように、
各カメラ２３の鉛直軸に対する傾き；θ
吸着部品の厚み；ｔとすると、
各カメラ２３の傾きによる画像位置のずれΔＸ（すなわちノズル先端が通る基準面上での撮像位置をＰ1，Ｐ2、基準面よりｔだけ下方の面上の画像位置をＰ1′，Ｐ2′とした場合のずれＰ1Ｐ1′又はＰ2Ｐ2′）は、
ΔＸ＝ｔ・ tanθ
となる。従って、
各カメラ２３の撮像位置Ｐ1，Ｐ2のＸ軸方向の間隔；Ｘ0
各カメラ２３の素子２３ａからノズル先端までの鉛直距離；Ｌ
とすると、画像上での部品の任意の一点から求めたＸ0の値；Ｘ0′（すなわち各カメラ２３により取り込んだ各画像上での部品の任意の一点の位置から求められるＸ0の値）は、
Ｘ0′＝Ｘ0＋２・ΔＸ＝Ｘ0＋２・ｔ・tanθ
とすることができ、よって、この式から部品の上記任意の一点における厚みｔを求めると、
ｔ＝（Ｘ0′―Ｘ0）/（２・ tanθ）
となる。
【００２８】
従って、各カメラ２３により取り込まれた各画像に基づいて、部品の複数箇所（特徴点）の厚みを上記同様にして求めることにより部品全体の３次元画像を得ることができる。
【００２９】
上記主制御部３１は、上述のようにして画像処理部３３において求められた３次元画像に基づいてヘッド２０に対する部品の吸着ずれ量を求めるとともに、例えばＱＦＰ等のリードを有する部品であればリード折れ等を検知して部品の良否を判断するように構成されている。
【００３０】
次に、以上のように構成された部品認識装置の動作を、図４のフローチャートに基づき実装機の実装動作とともに説明する。なお、以下の説明では、説明の便宜上、撮像用ユニット２１のカメラ２３を第１カメラ２３と呼び、撮像用ユニット２２のカメラ２３を第２カメラ２３と呼ぶことにする。
【００３１】
上記実装機において実装動作が開始されると、上記ヘッドユニット５が部品供給部４に移動させられ、各ヘッド２０による部品の吸着が行われる。部品の吸着が完了すると、ヘッドユニット５が撮像用ユニット２１、２２上に移動し、部品認識のための各カメラ２３に対するヘッドユニット５の移動が行われる。具体的には、ヘッドユニット５が撮像用ユニット２１、２２に対する移動経路の一方から他方に向かってＸ軸方向に（図１〜図３では右側から左側に向かって）移動させられる。
【００３２】
部品認識のための移動が開始されると、図４のフローチャートに示すように、まず、ヘッドユニット５が例えば撮像用ユニット２１の直前に達するタイミングで主制御部３１から画像取込制御部３２に画像取込み開始信号が出力され、第１カメラ２３から画像処理部３３への画像の取込みが開始される（ステップＳ１，Ｓ２）。
【００３３】
そして、さらにヘッドユニット５が移動すると、ヘッドユニット５が撮像用ユニット２２の直前に達するタイミングで主制御部３１から画像取込制御部３２に画像取込み開始信号が出力され、第２カメラ２３から画像取込制御部３２への画像の取込みが開始される（ステップＳ３，Ｓ４）。
【００３４】
こうしてヘッドユニット５が上記経路に沿って撮像用ユニット２１，２２上を移動することにより、各カメラ２３によりそれぞれ吸着部品の主走査方向の画像が副走査方向に順次取込まれることとなる。
【００３５】
そして、ヘッドユニット５が撮像用ユニット２１、２２の上方を通過し終わると、第１カメラ２３により得られた部品画像上の特徴点の抽出と、第２カメラ２３により得られた部品画像上における上記特徴点に対応する点の抽出が行われ、相対応する特徴点の位置から上述したようにして各特徴点の部品の厚みｔが調べられ、各特徴点のX―Y平面上での位置及びその位置での厚みｔに基づいて部品の３次元画像データが作成される（ステップＳ５〜Ｓ７）。
【００３６】
部品の３次元画像データが作成されると、主制御部３１においてこの画像に基づく部品の認識が行われ、部品の吸着位置ずれの演算及び不良部品の検出が行われる。そして、以後の部品装着動作においては、求められた吸着位置ずれ及び部品の良否を加味して上記ヘッドユニット５等が制御されることとなる。
【００３７】
以上のように構成された部品認識装置の構成によれば、各カメラ２３に対して吸着部品を移動させながら部品を撮像するため部品の撮像を効率良く行うことができ、これによりタクトタイムの短縮化に貢献することができる。
【００３８】
しかも、異なる角度で部品を撮像すべく光軸が互いに交わるように各カメラ２３を配設しながらも、X軸方向における異なる位置Ｐ1，Ｐ2においてそれぞれ画像を取り込むようにしているため、例えば、部品下面の画像を精度良く得るべく両カメラのなす角度を小さくする（つまり、両カメラの光軸のなす角度を小さくする）ことが要求される場合でも撮像位置Ｐ1，Ｐ2の間隔を調整することで両カメラ２３の干渉を容易に回避することができる。この場合には、各カメラ２３の間隔をヘッドユニット５の移動範囲内で調整するため、実装機の大型化を伴うことがなく、またカメラ２３から吸着部品までの距離が変化して部品認識精度を低下させるようなこともない。
【００３９】
従って、従来のこの種の部品認識装置のようにタクトタイムの短縮化が妨げられたり、部品下面の画像を精度良く取り込み得るように各カメラを配置しようとすると実装機の大型化や部品認識精度の低下を伴うということが一切ない。
【００４０】
ところで、上記部品認識装置においては、上記撮像用ユニット２１，２２に代えて図５に示すような撮像用ユニット４０を設けるようにしてもよい。
【００４１】
この図に示す撮像用ユニット４０も基本的には上記撮像用ユニット２１，２２と同様にカメラ４１と照明部４２とを備えているが、カメラ４１が以下のように構成されている点で構成が相違している。
【００４２】
すなわち、カメラ４１には、Ｙ軸方向にＣＣＤ固体撮像素子が並設されてなる２つのラインセンサ４３ａ，４３ｂが内蔵されており、各ラインセンサ４３ａ，４３ｂは、それぞれ素子同士がＸ軸方向に対応するように配設されているとともに、カメラ４１のレンズ４１ａを共有し、このレンズ４１ａの光軸Ｏを中心として対称に配置されている。そして、各ラインセンサ４３ａ，４３ｂにより取り込まれる画像データを上記画像取込制御部３２を介して画像処理部３３に出力するように構成されている。
【００４３】
このような撮像用ユニット４０によると、各ラインセンサ４３ａ，４３ｂがカメラ４１の光軸Ｏを中心として対称に配置されていることにより、吸着部品で反射した光がそれぞれレンズ４１ａの中心で交差して各ラインセンサ４３ａ，４３ｂに入射することとなる。従って、部品吸着後にヘッドユニット５を撮像用ユニット４０の上方においてＸ軸方向に移動させると、Ｘ軸方向の異なる位置、異なる角度の部品画像がラインセンサ４３ａ，４３ｂによりそれぞれ取り込まれることとなり、２つの撮像用ユニット２１，２２を備えた場合と同様に部品の画像を得ることができる。
【００４４】
このように、２つのラインセンサ４３ａ，４３ｂに対してレンズ４１ａや照明部４２を共通化した構成の撮像用ユニット４０を用いるようにすれば、２つの撮像用ユニット２１，２２を備える場合に比べて撮像用ユニットの占有スペースが少なくなりスペース効率が向上するという利点がある。
【００４５】
なお、以上説明した部品認識装置は、本発明に係る部品認識装置の例であって、その具体的な構成や、部品認識装置を搭載する実装機の構成等は、本発明の要旨を逸脱しない範囲で適宜変更可能である。特に、３次元画像の形成方法は、上述した方法に限られるものではなく、各カメラ２３により取り込んだ画像により部品の３次元画像を形成できれば他の方法に基づくものであっても構わない。
【００４６】
【発明の効果】
以上説明したように、本発明は、２つの撮像手段により撮像した吸着部品の画像から３次元画像を形成して部品を認識するようにした表面実装機の部品認識装置において、撮像手段としてラインセンサからなるカメラを設け、各ラインセンサの素子列が互いに平行になるように各カメラを配設し、ヘッドユニットを各カメラに対して相対的に移動する間に吸着部品を撮像するように構成するとともに、ヘッドユニットの移動方向における異なる位置で部品画像をそれぞれ取り込むように各カメラを配置したので、ヘッドユニットを静止させることなく効率的に部品の画像を取り込むことができ、これによりタクトタイムの短縮化に貢献することがでる。また、構造上は、ヘッドユニットの移動方向における異なる位置の部品画像をそれぞれ取り込むように各カメラが配設されているため、部品下面の画像を精度良く得るべく両カメラのなす角度を小さくすることが要求される場合でも、装置の大型化や部品認識精度の低下を伴うことなく、両カメラの干渉を回避した構成とすることができる。
【図面の簡単な説明】
【図１】本発明に係る部品認識装置を備えた表面実装機の一例を示す平面図である。
【図２】上記表面実装機を示す正面図である。
【図３】撮像用ユニット及び部品撮像時の部品との位置関係を示す模式図である。
【図４】部品認識装置の動作を説明するフローチャートである。
【図５】撮像用ユニットの他の構成を示す図３に対応した模式図である。
【符号の説明】
５ ヘッドユニット
２０ ヘッド
２０ａ ノズル
２１，２２ 撮像用ユニット
２３ カメラ
２４ 照明部
３０ 制御装置
３１ 主制御部
３２ 画像取込制御部
３３ 画像処理部
【発明の属する技術分野】
本発明は、ヘッドユニットにより電子部品を吸着してプリント基板上の所定位置に装着するように構成された表面実装機において、特に、装着に先立って吸着部品を認識する部品認識装置に関するものである。
【０００２】
【従来の技術】
従来、部品装着用のヘッドを有するヘッドユニットにより、ＩＣ等の部品を部品供給部から吸着して、位置決めされているプリント基板上に移送し、プリント基板の所定の位置に装着するようにした表面実装機（以下、実装機と略す）が一般に知られている。
【０００３】
このような実装機においては、ヘッドで部品を吸着したときの部品の位置にはある程度のバラツキがあり、部品の吸着位置ズレに応じて装着位置を補正することが要求される。そのため、吸着された部品を認識してヘッドに対する吸着位置ズレを検知したり、また部品の異常、例えばＱＦＰ等、多数のリードを有する部品であれば、このリードの折れ等を検知するようにしている。
【０００４】
このような部品認識を行う装置として、従来は、吸着部品の一面（主に下面）の画像を取込み、その画像に基づいて部品を認識する装置が主流であったが、近年では、リードの折れ等をより正確に検知すべく、エリアセンサからなる２つのカメラにより吸着部品を異なる角度から撮像し、これらの画像を画像処理装置により合成することによって３次元画像を形成して部品を認識する装置が提案されている（特開平７−１５１５２２号公報）。
【０００５】
この装置では、所定の撮像位置の下方に両カメラが配設され、撮像位置にセットされた部品の同一箇所を異なる角度から撮像するように両カメラが一点に指向するように傾いた状態で配設されている。そして、各カメラと撮像位置との間に、撮像に必要な光を照射する共通の照明装置が介設された構成となっている。
【０００６】
【発明が解決しようとする課題】
しかし、上記従来の装置では、吸着部品を上記撮像位置において一旦静止させてから部品を撮像するためタクトタイムの短縮化が妨げられるという問題がある。特に、ヘッドユニットに複数のヘッドを備えた装置では、ヘッドユニットを断続的に移動させることとなり極めて効率が悪い。
【０００７】
また、２つのカメラを共通の一点に指向させる構成であるため、カメラ配置の自由度が制約されて、例えば、３次元画像のうちでも特に部品下面の画像が重視されるような場合には、次のような問題がある。すなわち、部品下面の画像を精度良く得ようとすれば必然的に両カメラのなす角度を小さくする（つまり、両カメラの光軸のなす角度を小さくする）ことが要求されるが、このようにすると、カメラの構造によっては、カメラ同士の物理的な干渉により現実の配置が困難となる場合があり、これを回避すべく撮像位置と両カメラとの距離を広げると、装置が大型化するばかりでなく、画像の鮮明度が損なわれて部品認識精度が低下するという問題がある。
【０００８】
本発明は、上記の課題を解決するためになされたものであって、タクトタイムの短縮に貢献でき、しかも部品下面の画像が重視されるような場合でも、装置の大型化や部品認識精度の低下を伴うことなくカメラ同士の干渉を良好に回避することができる表面実装機の部品認識装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明は、部品吸着用のヘッドユニットに吸着された部品を２つの撮像手段により異なる角度から撮像し、各画像から吸着部品の３次元画像を形成してこの部品画像に基づいて吸着部品を認識するように構成された表面実装機の部品認識装置において、上記２つの撮像手段としてそれぞれ素子がライン状に配列されたラインセンサカメラを用いるとともにその各ラインセンサカメラが素子列を互いに平行とするように配設され、上記ヘッドユニットが上記各ラインセンサカメラに対して相対的に、かつ上記各ラインセンサカメラの素子列に対して直交する移動方向に移動する間に上記吸着部品を撮像するように構成するとともに、上記ヘッドユニットの上記移動方向における異なる位置で部品画像をそれぞれ取り込むように上記各ラインセンサカメラを配置したものである（請求項１）。
【００１０】
この装置によると、部品吸着後、ヘッドユニットが各カメラに対して相対的に移動する間に部品の画像が各カメラによりそれぞれ取り込まれる。そのため、効率的に部品画像を取り込むことができる。一方、構造上は、異なる角度の画像をそれぞれ撮像するために各センサが傾いた状態で配設されるが、ヘッドユニットの移動方向における異なる位置の部品画像をそれぞれ取り込むように各カメラが配設されているため、カメラの配置の自由度が高く、例えば部品下面の画像を精度良く得るべく両カメラのなす角度を小さくする（両カメラの光軸のなす角度を小さくする）ことが要求される場合でもカメラ同士の干渉を容易に回避することができる。
【００１１】
また、上記課題を解決するために、本発明は、部品吸着用のヘッドユニットに吸着された部品を撮像手段により異なる２方向の角度から撮像し、各画像から吸着部品の３次元画像を形成してこの部品画像に基づいて吸着部品を認識するように構成された表面実装機の部品認識装置において、上記撮像手段として素子列が互いに平行に配設される２つのラインセンサを備えるとともに、これらのラインセンサに対して共通のレンズを備えたカメラを用い、上記ヘッドユニットが上記カメラに対して相対的に、かつ各ラインセンサの素子列に対して直交する移動方向に移動する間に上記吸着部品を撮像するように構成するとともに、上記レンズを介して上記ヘッドユニットの上記移動方向における異なる位置で部品画像をそれぞれ取り込むように、上記レンズの光軸に対して各ラインセンサを対称に配置したものである（請求項２）。
【００１２】
この装置の場合も、ヘッドユニットがカメラに対して相対的に移動する間に各ラインセンサにより部品の画像が取り込まれるため、効率的に部品の画像を取り込むことができる。また、各ラインセンサによる画像の取込み位置は各ラインセンサの配置調整により行うため、従来のようなカメラ同士の物理的な干渉が問題となることがない。
【００１３】
【発明の実施の形態】
本発明の実施の形態について図面に基づいて説明する。
【００１４】
図１及び図２は、本発明に係る部品認識装置が搭載された実装機の構造を示している。同図に示すように、実装機の基台１上には、プリント基板搬送用のコンベア２が配置され、プリント基板３がこのコンベア２上を搬送されて所定の装着作業位置で停止されるようになっている。上記コンベア２の側方には、部品供給部４が配置されている。この部品供給部４は部品供給用のフィーダーを備え、例えば多数列のテープフィーダー４ａを備えている。
【００１５】
また、上記基台１の上方には、部品装着用のヘッドユニット５が装備されている。このヘッドユニット５は、部品供給部４とプリント基板３が位置する部品装着部とにわたって移動可能とされ、当実施形態ではＸ軸方向（コンベア２の方向）およびＹ軸方向（水平面上でＸ軸と直交する方向）に移動することができるようになっている。
【００１６】
すなわち、上記基台１上には、Ｙ軸方向の固定レール７と、Ｙ軸サーボモータ９により回転駆動されるボールねじ軸８とが配設され、上記固定レール７上にヘッドユニット支持部材１１が配置されて、この支持部材１１に設けられたナット部分１２が上記ボールねじ軸８に螺合している。また、上記支持部材１１には、Ｘ軸方向のガイド部材１３と、Ｘ軸サーボモータ１５により駆動されるボールねじ軸１４とが配設され、上記ガイド部材１３にヘッドユニット５が移動可能に保持され、このヘッドユニット５に設けられたナット部分（図示せず）が上記ボールねじ軸１４に螺合している。そして、Ｙ軸サーボモータ９の作動により上記支持部材１１がＹ軸方向に移動するとともに、Ｘ軸サーボモータ１５の作動によりヘッドユニット５が支持部材１１に対してＸ軸方向に移動するようになっている。
【００１７】
また、上記Ｙ軸サーボモータ９及びＸ軸サーボモータ１５には、それぞれロータリエンコーダからなる位置検出手段１０，１６が設けられており、これによって上記ヘッドユニット５の移動位置検出がなされるようになっている。
【００１８】
上記ヘッドユニット５には、チップ部品吸着用のノズル２０ａを先端に備えたヘッド２０が設けられ、図２に示すように当実施形態ではＸ軸方向に８つのヘッド２０が並べて設けられている。各ヘッド２０は、それぞれ、ヘッドユニット５のフレームに対して昇降及びノズル中心軸回りの回転が可能とされ、図外の昇降駆動機構及び回転駆動機構により作動されるようになっている。なお、上記昇降駆動機構は、例えば、各ヘッド２０を同時に上下動させる全体昇降用サーボモータと、各ヘッド２０を個別に一定ストロークだけ昇降させる所定数（８個）のエアシリンダとを備え、それらを併用することにより、各ヘッド２０を所定の上昇位置と下降位置とにわたって昇降させるように構成されている。また、回転駆動手段は、１個の回転用サーボモータと、このサーボモータの回転を各ヘッドに伝える伝動機構とからなっている。
【００１９】
また、上記部品供給部４の側方には、上記ヘッドユニット５の各ヘッド２０に吸着された部品を認識するための２つの撮像用ユニット２１，２２が配設されている。
【００２０】
上記撮像用ユニット２１，２２は、同図に示すようにＸ軸方向に所定距離を隔て配設されており、それぞれヘッド２０に吸着された部品（吸着部品）を下方から撮像するカメラ２３（撮像手段）を備えるとともに、このカメラ２３の上方に、撮像時に部品に光を照射する照明部２４を備えている。
【００２１】
各カメラ２３は、ＣＣＤ固体撮像素子が上記ヘッド２０の配列方向と直交する方向（Ｙ軸方向）に並設されたラインセンサカメラで、各カメラ２３の各ＣＣＤ固体撮像素子が互いにＸ軸方向に対応するように配設されている。そして、実装時には、ヘッドユニット５の各ヘッド２０によって部品が吸着された後、各ラインセンサの素子の配列方向（主走査方向；Ｙ軸方向）と直交する方向（副走査方向；Ｘ軸方向）にヘッドユニット５が移動させられることによって、各カメラ２３により、各ヘッド２０に吸着された部品の主走査方向の画像が、副走査方向に順次取込まれて所定の画像信号が得られるようになっている。
【００２２】
また、各カメラ２３は、図３に示すように、光軸が互いに交わるように鉛直方向に対して同角度θだけ傾斜した状態で配設されるとともに、Ｘ軸方向の異なる位置で部品を撮像し得るようにそれぞれ配設されており、撮像時には、ヘッドユニット５の移動に伴い部品の同一箇所を各カメラ２３により異なる角度から、かつ両カメラ２３の撮像位置の間隔とヘッドユニット移動速度とに応じた時間だけずれたタイミングで取り込むようになっている。
【００２３】
上記照明部２４は、光源としてＬＥＤランプを備えており、詳しく図示していないが、像入射用の空間を有した筒形のフレーム内に、多数のＬＥＤランプ等を備えた構成となっている。
【００２４】
以上のように構成された実装機は、図２に示すように、マイクロコンピュータを構成要素とする制御装置３０を備えており、上記Ｙ軸及びＸ軸サーボモータ９，１５、ヘッドユニット５のヘッド２０に対する昇降駆動機構及び回転駆動機構、撮像用ユニット２１，２２のカメラ２３及び照明部２４等はすべてこの制御装置３０に電気的に接続され、この制御装置３０に含まれる主制御部３１により統括制御されるようになっている。
【００２５】
制御装置３０には、各撮像用ユニット２１，２２のカメラ２３による画像の取込みを制御する画像取込制御部３２と、取り込まれた画像を処理する画像処理部３３とが含まれており、部品撮像時には、画像取込制御部３２により画像を取り込みながら画像処理部３３において各カメラ２３により取り込まれた画像を合成して部品の３次元画像を形成し、この３次元画像に基づき主制御部３１において吸着部品の認識を行うようになっている。
【００２６】
なお、上記画像処理部３３での３次元画像の形成は、例えば以下のように行われる。
【００２７】
すなわち、図３に示すように、
各カメラ２３の鉛直軸に対する傾き；θ
吸着部品の厚み；ｔとすると、
各カメラ２３の傾きによる画像位置のずれΔＸ（すなわちノズル先端が通る基準面上での撮像位置をＰ1，Ｐ2、基準面よりｔだけ下方の面上の画像位置をＰ1′，Ｐ2′とした場合のずれＰ1Ｐ1′又はＰ2Ｐ2′）は、
ΔＸ＝ｔ・ tanθ
となる。従って、
各カメラ２３の撮像位置Ｐ1，Ｐ2のＸ軸方向の間隔；Ｘ0
各カメラ２３の素子２３ａからノズル先端までの鉛直距離；Ｌ
とすると、画像上での部品の任意の一点から求めたＸ0の値；Ｘ0′（すなわち各カメラ２３により取り込んだ各画像上での部品の任意の一点の位置から求められるＸ0の値）は、
Ｘ0′＝Ｘ0＋２・ΔＸ＝Ｘ0＋２・ｔ・tanθ
とすることができ、よって、この式から部品の上記任意の一点における厚みｔを求めると、
ｔ＝（Ｘ0′―Ｘ0）/（２・ tanθ）
となる。
【００２８】
従って、各カメラ２３により取り込まれた各画像に基づいて、部品の複数箇所（特徴点）の厚みを上記同様にして求めることにより部品全体の３次元画像を得ることができる。
【００２９】
上記主制御部３１は、上述のようにして画像処理部３３において求められた３次元画像に基づいてヘッド２０に対する部品の吸着ずれ量を求めるとともに、例えばＱＦＰ等のリードを有する部品であればリード折れ等を検知して部品の良否を判断するように構成されている。
【００３０】
次に、以上のように構成された部品認識装置の動作を、図４のフローチャートに基づき実装機の実装動作とともに説明する。なお、以下の説明では、説明の便宜上、撮像用ユニット２１のカメラ２３を第１カメラ２３と呼び、撮像用ユニット２２のカメラ２３を第２カメラ２３と呼ぶことにする。
【００３１】
上記実装機において実装動作が開始されると、上記ヘッドユニット５が部品供給部４に移動させられ、各ヘッド２０による部品の吸着が行われる。部品の吸着が完了すると、ヘッドユニット５が撮像用ユニット２１、２２上に移動し、部品認識のための各カメラ２３に対するヘッドユニット５の移動が行われる。具体的には、ヘッドユニット５が撮像用ユニット２１、２２に対する移動経路の一方から他方に向かってＸ軸方向に（図１〜図３では右側から左側に向かって）移動させられる。
【００３２】
部品認識のための移動が開始されると、図４のフローチャートに示すように、まず、ヘッドユニット５が例えば撮像用ユニット２１の直前に達するタイミングで主制御部３１から画像取込制御部３２に画像取込み開始信号が出力され、第１カメラ２３から画像処理部３３への画像の取込みが開始される（ステップＳ１，Ｓ２）。
【００３３】
そして、さらにヘッドユニット５が移動すると、ヘッドユニット５が撮像用ユニット２２の直前に達するタイミングで主制御部３１から画像取込制御部３２に画像取込み開始信号が出力され、第２カメラ２３から画像取込制御部３２への画像の取込みが開始される（ステップＳ３，Ｓ４）。
【００３４】
こうしてヘッドユニット５が上記経路に沿って撮像用ユニット２１，２２上を移動することにより、各カメラ２３によりそれぞれ吸着部品の主走査方向の画像が副走査方向に順次取込まれることとなる。
【００３５】
そして、ヘッドユニット５が撮像用ユニット２１、２２の上方を通過し終わると、第１カメラ２３により得られた部品画像上の特徴点の抽出と、第２カメラ２３により得られた部品画像上における上記特徴点に対応する点の抽出が行われ、相対応する特徴点の位置から上述したようにして各特徴点の部品の厚みｔが調べられ、各特徴点のX―Y平面上での位置及びその位置での厚みｔに基づいて部品の３次元画像データが作成される（ステップＳ５〜Ｓ７）。
【００３６】
部品の３次元画像データが作成されると、主制御部３１においてこの画像に基づく部品の認識が行われ、部品の吸着位置ずれの演算及び不良部品の検出が行われる。そして、以後の部品装着動作においては、求められた吸着位置ずれ及び部品の良否を加味して上記ヘッドユニット５等が制御されることとなる。
【００３７】
以上のように構成された部品認識装置の構成によれば、各カメラ２３に対して吸着部品を移動させながら部品を撮像するため部品の撮像を効率良く行うことができ、これによりタクトタイムの短縮化に貢献することができる。
【００３８】
しかも、異なる角度で部品を撮像すべく光軸が互いに交わるように各カメラ２３を配設しながらも、X軸方向における異なる位置Ｐ1，Ｐ2においてそれぞれ画像を取り込むようにしているため、例えば、部品下面の画像を精度良く得るべく両カメラのなす角度を小さくする（つまり、両カメラの光軸のなす角度を小さくする）ことが要求される場合でも撮像位置Ｐ1，Ｐ2の間隔を調整することで両カメラ２３の干渉を容易に回避することができる。この場合には、各カメラ２３の間隔をヘッドユニット５の移動範囲内で調整するため、実装機の大型化を伴うことがなく、またカメラ２３から吸着部品までの距離が変化して部品認識精度を低下させるようなこともない。
【００３９】
従って、従来のこの種の部品認識装置のようにタクトタイムの短縮化が妨げられたり、部品下面の画像を精度良く取り込み得るように各カメラを配置しようとすると実装機の大型化や部品認識精度の低下を伴うということが一切ない。
【００４０】
ところで、上記部品認識装置においては、上記撮像用ユニット２１，２２に代えて図５に示すような撮像用ユニット４０を設けるようにしてもよい。
【００４１】
この図に示す撮像用ユニット４０も基本的には上記撮像用ユニット２１，２２と同様にカメラ４１と照明部４２とを備えているが、カメラ４１が以下のように構成されている点で構成が相違している。
【００４２】
すなわち、カメラ４１には、Ｙ軸方向にＣＣＤ固体撮像素子が並設されてなる２つのラインセンサ４３ａ，４３ｂが内蔵されており、各ラインセンサ４３ａ，４３ｂは、それぞれ素子同士がＸ軸方向に対応するように配設されているとともに、カメラ４１のレンズ４１ａを共有し、このレンズ４１ａの光軸Ｏを中心として対称に配置されている。そして、各ラインセンサ４３ａ，４３ｂにより取り込まれる画像データを上記画像取込制御部３２を介して画像処理部３３に出力するように構成されている。
【００４３】
このような撮像用ユニット４０によると、各ラインセンサ４３ａ，４３ｂがカメラ４１の光軸Ｏを中心として対称に配置されていることにより、吸着部品で反射した光がそれぞれレンズ４１ａの中心で交差して各ラインセンサ４３ａ，４３ｂに入射することとなる。従って、部品吸着後にヘッドユニット５を撮像用ユニット４０の上方においてＸ軸方向に移動させると、Ｘ軸方向の異なる位置、異なる角度の部品画像がラインセンサ４３ａ，４３ｂによりそれぞれ取り込まれることとなり、２つの撮像用ユニット２１，２２を備えた場合と同様に部品の画像を得ることができる。
【００４４】
このように、２つのラインセンサ４３ａ，４３ｂに対してレンズ４１ａや照明部４２を共通化した構成の撮像用ユニット４０を用いるようにすれば、２つの撮像用ユニット２１，２２を備える場合に比べて撮像用ユニットの占有スペースが少なくなりスペース効率が向上するという利点がある。
【００４５】
なお、以上説明した部品認識装置は、本発明に係る部品認識装置の例であって、その具体的な構成や、部品認識装置を搭載する実装機の構成等は、本発明の要旨を逸脱しない範囲で適宜変更可能である。特に、３次元画像の形成方法は、上述した方法に限られるものではなく、各カメラ２３により取り込んだ画像により部品の３次元画像を形成できれば他の方法に基づくものであっても構わない。
【００４６】
【発明の効果】
以上説明したように、本発明は、２つの撮像手段により撮像した吸着部品の画像から３次元画像を形成して部品を認識するようにした表面実装機の部品認識装置において、撮像手段としてラインセンサからなるカメラを設け、各ラインセンサの素子列が互いに平行になるように各カメラを配設し、ヘッドユニットを各カメラに対して相対的に移動する間に吸着部品を撮像するように構成するとともに、ヘッドユニットの移動方向における異なる位置で部品画像をそれぞれ取り込むように各カメラを配置したので、ヘッドユニットを静止させることなく効率的に部品の画像を取り込むことができ、これによりタクトタイムの短縮化に貢献することがでる。また、構造上は、ヘッドユニットの移動方向における異なる位置の部品画像をそれぞれ取り込むように各カメラが配設されているため、部品下面の画像を精度良く得るべく両カメラのなす角度を小さくすることが要求される場合でも、装置の大型化や部品認識精度の低下を伴うことなく、両カメラの干渉を回避した構成とすることができる。
【図面の簡単な説明】
【図１】本発明に係る部品認識装置を備えた表面実装機の一例を示す平面図である。
【図２】上記表面実装機を示す正面図である。
【図３】撮像用ユニット及び部品撮像時の部品との位置関係を示す模式図である。
【図４】部品認識装置の動作を説明するフローチャートである。
【図５】撮像用ユニットの他の構成を示す図３に対応した模式図である。
【符号の説明】
５ ヘッドユニット
２０ ヘッド
２０ａ ノズル
２１，２２ 撮像用ユニット
２３ カメラ
２４ 照明部
３０ 制御装置
３１ 主制御部
３２ 画像取込制御部
３３ 画像処理部
Claims (2)
- 部品吸着用のヘッドユニットに吸着された部品を２つの撮像手段により異なる角度から撮像し、各画像から吸着部品の３次元画像を形成してこの部品画像に基づいて吸着部品を認識するように構成された表面実装機の部品認識装置において、上記２つの撮像手段としてそれぞれ素子がライン状に配列されたラインセンサカメラを用いるとともにその各ラインセンサカメラが素子列を互いに平行とするように配設され、上記ヘッドユニットが上記各ラインセンサカメラに対して相対的に、かつ上記各ラインセンサカメラの素子列に対して直交する移動方向に移動する間に上記吸着部品を撮像するように構成するとともに、上記ヘッドユニットの上記移動方向における異なる位置で部品画像をそれぞれ取り込むように上記各ラインセンサカメラを配置したことを特徴とする表面実装機の部品認識装置。
- 部品吸着用のヘッドユニットに吸着された部品を撮像手段により異なる２方向の角度から撮像し、各画像から吸着部品の３次元画像を形成してこの部品画像に基づいて吸着部品を認識するように構成された表面実装機の部品認識装置において、上記撮像手段として素子列が互いに平行に配設される２つのラインセンサを備えるとともに、これらのラインセンサに対して共通のレンズを備えたカメラを用い、上記ヘッドユニットが上記カメラに対して相対的に、かつ各ラインセンサの素子列に対して直交する移動方向に移動する間に上記吸着部品を撮像するように構成するとともに、上記レンズを介して上記ヘッドユニットの上記移動方向における異なる位置で部品画像をそれぞれ取り込むように、上記レンズの光軸に対して各ラインセンサを対称に配置したことを特徴とする表面実装機の部品認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12003799A JP4213292B2 (ja) | 1999-04-27 | 1999-04-27 | 表面実装機の部品認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12003799A JP4213292B2 (ja) | 1999-04-27 | 1999-04-27 | 表面実装機の部品認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000312100A JP2000312100A (ja) | 2000-11-07 |
| JP4213292B2 true JP4213292B2 (ja) | 2009-01-21 |
Family
ID=14776352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12003799A Expired - Lifetime JP4213292B2 (ja) | 1999-04-27 | 1999-04-27 | 表面実装機の部品認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4213292B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2347741A (en) | 1998-11-05 | 2000-09-13 | Cyberoptics Corp | Electronics assembly apparatus with improved imaging system |
| US6538244B1 (en) | 1999-11-03 | 2003-03-25 | Cyberoptics Corporation | Pick and place machine with improved vision system including a linescan sensor |
| US6535291B1 (en) | 2000-06-07 | 2003-03-18 | Cyberoptics Corporation | Calibration methods for placement machines incorporating on-head linescan sensing |
| JP4733001B2 (ja) * | 2006-11-20 | 2011-07-27 | パナソニック株式会社 | 部品実装装置、部品実装方法及びプログラム |
| KR101575286B1 (ko) | 2009-04-17 | 2015-12-22 | 한화테크윈 주식회사 | 부품 실장기용 헤드 어셈블리 |
-
1999
- 1999-04-27 JP JP12003799A patent/JP4213292B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000312100A (ja) | 2000-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4387745B2 (ja) | 電子部品装着装置 | |
| WO2012026101A1 (ja) | 部品実装装置及び部品実装方法 | |
| JPH08213800A (ja) | 実装機の部品状態検出装置 | |
| JP4260545B2 (ja) | 表面実装機 | |
| JP4308588B2 (ja) | 表面実装機 | |
| JP4213292B2 (ja) | 表面実装機の部品認識装置 | |
| JP2005197564A (ja) | 表面実装機 | |
| JP4091950B2 (ja) | 部品の実装位置補正方法および表面実装機 | |
| JP5149147B2 (ja) | 部品検査装置および部品移載装置 | |
| JP4704218B2 (ja) | 部品認識方法、同装置および表面実装機 | |
| JPH09321498A (ja) | 実装機の部品検査方法及び同装置 | |
| JP2005277132A (ja) | 表面実装機 | |
| JP4361312B2 (ja) | 表面実装機の部品認識方法および同装置 | |
| JP4401792B2 (ja) | 部品認識方法、同装置および表面実装機 | |
| JP4216114B2 (ja) | 表面実装機の部品認識装置 | |
| JP4358015B2 (ja) | 表面実装機 | |
| JP4298462B2 (ja) | 部品認識装置、部品認識方法、表面実装機および部品試験装置 | |
| JP4368709B2 (ja) | 表面実装機 | |
| JP2703192B2 (ja) | 実装機の部品認識装置 | |
| JP4386425B2 (ja) | 表面実装機 | |
| JP2007103436A (ja) | 部品実装方法及び部品実装機 | |
| JP7212467B2 (ja) | 部品実装装置 | |
| JP4353602B2 (ja) | 部品実装装置 | |
| JP3313099B2 (ja) | 実装機の部品認識装置 | |
| JP3041209B2 (ja) | 実装機の部品認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081028 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081030 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |