JP3964687B2 - 物体形状認識方法及び装置 - Google Patents
物体形状認識方法及び装置 Download PDFInfo
- Publication number
- JP3964687B2 JP3964687B2 JP2002015829A JP2002015829A JP3964687B2 JP 3964687 B2 JP3964687 B2 JP 3964687B2 JP 2002015829 A JP2002015829 A JP 2002015829A JP 2002015829 A JP2002015829 A JP 2002015829A JP 3964687 B2 JP3964687 B2 JP 3964687B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- slit light
- measurement reference
- reference plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Supply And Installment Of Electrical Components (AREA)
Description
【発明の属する技術分野】
本発明は、物体の3次元形状を認識するとともに2次元形状を認識する方法及び装置に関するものである。
【0002】
【従来の技術】
従来、装着部品を供給位置で移送装置の吸着スピンドルの先端に吸着し、装着位置に移送して基板上に装着する装着装置において、供給位置と装着位置との間に設けた撮像位置でスピンドル先端に吸着された装着部品の2次元形状を下方から照明光を当ててカメラで撮像し、装着部品の平面2軸方向の位置ズレ及び回転方向の位置ズレを検出し、平面2軸方向の位置ズレに基づいて前記移送装置の位置補正を行ない、回転方向の位置ズレに基づいてスピンドルを補正回転して装着部品を所定の姿勢で基板上の装着位置に位置決めして装着している。
【0003】
ところが、最近では部品を基板上に装着したとき、その全ての電極が基板に設けられた配線パターンに接点するか否かをチェックするために、電極端面の同一平面度、即ちコプラナリティを検査し、コプラナリティが悪い装着部品を実装する前に取り除くことが行なわれている。現在このコプラナリティの検査は、レーザ光の反射を利用したレーザ変位計により電極端面の高さを測定する方法、装着部品を横方向からカメラで撮像して電極の高さを測定して行なう方法、又はある角度をなすレーザビームに対しリードをくぐらせ、各リードがレーザビームを遮光するタイミングを検出してリードの相対上下量を認識する方法等により行なわれている。
【0004】
【発明が解決しようとする課題】
しかし、上記従来のコプラナリティの検査は、装着部品の平面2軸方向の位置ズレ及び回転方向の位置ズレの検出とは別に、装着部品の電極の高さを測定して行なわれているので、高さ測定に時間が必要となり部品装着のサイクルタイムが長くなる不具合があった。また、電極の高さを測定する測定装置が別途必要になり、コストが高くなる問題があった。
【0005】
【課題を解決するための手段】
上記の課題を解決するため、請求項1に記載の発明の構成上の特徴は、形状認識される物体を測定基準面上に位置し、該物体を撮像するカメラを前記測定基準面に対向して配置し、前記物体と前記カメラとを前記測定基準面に沿って走行方向に相対的に移動し、前記カメラの光軸と所定角度をなすスリット光を発して前記物体を前記走行方向と交叉する方向に横切って照射するスリット光源を前記カメラに対して一定位置関係で設け、前記物体と前記カメラとの相対位置に連動して前記スリット光が前記物体上につくるスリット光反射像を前記カメラで撮像して各相対位置における画像を記憶し、各画像における前記スリット光反射像の位置と前記スリット光が前記測定基準面上につくるスリット光反射基準像との関係から前記物体の高さを算出して前記物体の高さ寸法を認識する3次元画像処理を行なうとともに、各画像における前記スリット光反射基準像の中央部分を撮像した画素列の撮像内容を合成して前記物体の2次元画像を作成し、該2次元画像の濃淡を識別して前記物体の2次元形状及びその位置を認識する2次元画像処理を行なうことである。
【0006】
請求項2に係る発明の構成上の特徴は、形状認識される物体を測定基準面上に位置し、該物体を撮像するカメラを前記測定基準面に対向して配置し、前記物体と前記カメラとを前記測定基準面に沿って走行方向に相対的に移動し、前記カメラの光軸と所定角度をなすスリット光を発して前記物体を前記走行方向と交叉する方向に横切って照射するスリット光源と、幅のあるエリア光を発して前記物体を前記スリット光と重ならない位置で前記走行方向と交叉する方向に横切って照明するエリア光源とを前記カメラに対して一定位置関係で設け、前記物体と前記カメラとの相対位置に連動して前記スリット光及び前記エリア光が前記物体上につくるスリット光反射像及びエリア光照明部を前記カメラで撮像して各相対位置における画像を記憶し、各画像における前記スリット光反射像と前記スリット光が前記測定基準面上につくるスリット光反射基準像との関係から前記物体の高さを算出して前記物体の高さ寸法を認識する3次元画像処理を行ない、各画像における前記エリア光照明部の中央部分を撮像した画素列の撮像内容を合成して前記物体の2次元画像を作成し、該2次元画像を処理して前記物体の2次元形状を認識する2次元画像処理を行なうことである。
【0007】
請求項3に係る発明の構成上の特徴は、形状認識される物体を測定基準面上に位置し、該物体を撮像するカメラを前記測定基準面に対向して配置し、前記物体と前記カメラとを前記測定基準面に沿って走行方向に相対的に移動し、前記カメラの光軸と所定角度をなすスリット光を発して前記物体を前記走行方向と交叉する方向に横切って照射するスリット光源と、前記スリット光と波長が異なる幅のあるエリア光を発して前記物体を前記スリット光と重ならない位置で前記走行方向と交叉する方向に横切って照明するエリア光源とを前記カメラに対して一定位置関係で設け、前記物体と前記カメラとの相対位置に連動して前記スリット光が前記物体上につくるスリット光反射像及び前記エリア光が前記物体上につくるエリア光照明部をスリット光反射像部分にはスリット光の周波数のみを通過するフィルタをかけて前記カメラで撮像して前記各相対位置における画像を記憶し、各画像における前記スリット光反射像と前記スリット光が前記測定基準面上につくるスリット光反射基準像との関係から前記物体の高さを算出して前記物体の高さ寸法を認識する3次元画像処理を行ない、各画像における前記エリア光照明部の中央部分を撮像した画素列の撮像内容を合成して前記物体の2次元画像を作成し、該2次元画像を処理して前記物体の2次元形状を認識する2次元画像処理を行なうことである。
【0008】
請求項4に係る発明の構成上の特徴は、請求項1乃至3のいずれかに記載の物体形状認識方法において、前記カメラの光軸を前記測定基準面に対して垂直にし、前記スリット光を前記走行方向と直角な方向に延在したことである。
【0009】
請求項5に係る発明の構成上の特徴は、請求項1乃至4のいずれかに記載の物体形状認識方法において、前記物体を、供給位置で吸着スピンドルの先端に吸着され、装着位置に移送されて基板に装着される装着部品とし、該装着部品の基準面が前記測定規準面に位置するように前記吸着スピンドルを装着部品の厚さに応じて進退し、前記供給位置と前記装着位置との間の撮像位置で前記吸着スピンドルと前記カメラとを前記測定基準面に沿って前記走行方向に相対的に移動し、前記吸着スピンドルと前記カメラとの相対位置に連動して前記カメラで前記装着部品を撮像することである。
【0010】
請求項6に係る発明の構成上の特徴は、請求項1乃至5のいずれかに記載の物体形状認識方法において、前記3次元画像処理によって算出された前記物体の各箇所における高さをメモリの対応するエリアに書き込んでハイトマップを作成し、該ハイトマップより前記物体のX、Y位置および高さを認識することである。
【0011】
請求項7に係る発明の構成上の特徴は、物体支持装置とカメラ支持体とを測定基準面と平行に走行方向に相対的に移動可能に設け、形状認識される物体を前記測定基準面上に保持する装置を前記物体支持装置に設け、該物体を撮像するカメラを前記測定基準面に対向して前記カメラ支持体に固定し、前記カメラの光軸と所定角度をなすスリット光を発して前記物体を前記走行方向と交叉する方向に横切って照射するスリット光源を前記カメラに対して一定位置関係で前記カメラ支持体に固定し、前記物体と前記カメラとの相対位置に連動して前記スリット光が前記物体上につくるスリット光反射像を前記カメラで撮像して前記各相対位置における画像を記憶する画像取込み装置を設け、各画像における前記スリット光反射像と前記スリット光が前記測定基準面上につくるスリット光反射基準像との関係から前記物体の高さを算出して前記物体の高さ寸法を認識する3次元画像処理を行なうとともに、各画像における前記スリット光反射基準像の中央部分を撮像した画素列の撮像内容を合成して前記物体の2次元画像を作成し、該2次元画像の濃淡を識別して前記物体の2次元形状及びその位置を認識する2次元画像処理を行なう画像処理装置を設けたことである。
【0012】
請求項8に係る発明の構成上の特徴は、物体支持装置とカメラ支持体とを測定基準面と平行に走行方向に相対的に移動可能に設け、形状認識される物体を前記測定基準面上に保持する装置を前記物体支持装置に設け、該物体を撮像するカメラを前記測定基準面に対向して前記カメラ支持体に固定し、前記カメラの光軸と所定角度をなすスリット光を発して前記物体を前記走行方向と交叉する方向に横切って照射するスリット光源と、幅のあるエリア光を発して前記物体を前記スリット光と重ならない位置で前記走行方向と交叉する方向に横切って照明するエリア光源とを前記カメラに対して一定位置関係で前記カメラ支持体に固定し、前記物体と前記カメラとの相対位置に連動して前記スリット光及び前記エリア光が前記物体上につくるスリット光反射像及びエリア光照明部を前記カメラで撮像して前記各相対位置の画像を記憶する画像取込み装置を設け、各画像における前記スリット光反射像と前記スリット光が前記測定基準面上につくるスリット光反射基準像との関係から前記物体の高さを算出して前記物体の高さ寸法を認識する3次元画像処理を行ない、各画像における前記エリア光照明部の中央部分を撮像した画素列の撮像内容を合成して前記物体の2次元画像を作成し、該2次元画像を処理して前記物体の2次元形状を認識する2次元画像処理を行なう画像処理装置を設けたことである。
【0013】
請求項9に係る発明の構成上の特徴は、請求項7又は8のいずれかに記載の物体形状認識装置において、前記物体である装着部品を吸着して供給位置から装着位置に移送して基板上に装着する吸着スピンドルと、前記装着部品の基準面が前記測定規準面に位置するように前記吸着スピンドルを装着部品の厚さに応じて進退するスピンドル進退装置とで前記物体支持装置を構成し、該物体支持装置を前記供給位置と前記装着位置との間の撮像位置で前記カメラ支持体に対して前記測定基準面に沿って前記走行方向に相対的に移動させる装置を設けたことである。
【0014】
【発明の作用・効果】
上記のように構成した請求項1に係る発明においては、形状認識される物体が位置される測定基準面に対向して物体を撮像するカメラを設け、物体を走行方向と交叉する方向に横切ってカメラの光軸と所定角度をもって照射するスリット光を発するスリット光源をカメラと一定位置関係で設ける。物体とカメラとを測定基準面に沿って走行方向に相対的に移動し、物体と前記カメラとの相対位置に連動してスリット光が物体上につくるスリット光反射像をカメラで撮像して前記各相対位置における画像を記憶する。各画像におけるスリット光反射像とスリット光が測定基準面につくるスリット光反射基準像との関係から物体の高さを算出して物体の高さ寸法を認識する3次元画像処理を行なう。各画像におけるスリット光反射基準像の中央部分を撮像した画素列の撮像内容を合成して物体の2次元画像を作成し、該2次元画像を処理して物体の2次元形状を認識する2次元画像処理を行なう。これにより、物体の2次元形状と3次元形状とを一つの装置で同時に認識することができ、コスト低減して物体の形状認識のサイクルタイムを短縮することができる。
【0015】
上記のように構成した請求項2に係る発明においては、形状認識される物体が位置される測定基準面に対向して物体を撮像するカメラを設け、カメラの光軸と所定角度をなすスリット光を発して物体を走行方向と交叉する方向に横切って照射するスリット光源と、幅のあるエリア光を発して物体を前記スリット光と重ならない位置で走行方向と交叉する方向に横切って照明するエリア光源とをカメラに対して一定位置関係で設ける。物体とカメラとを測定基準面に沿って走行方向に相対的に移動し、物体とカメラとの相対位置に連動してスリット光及びエリア光が物体上につくるスリット光反射像及びエリア光照明部をカメラで撮像して各相対位置における画像を記憶する。各画像におけるスリット光反射像とスリット光が測定基準面上でつくるスリット光反射基準像との関係から物体の高さを算出して物体の高さ寸法を認識する3次元画像処理を行なう。各画像におけるエリア光照明部の中央部分を撮像した画素列の撮像内容を合成して物体の2次元画像を作成し、該2次元画像を処理して物体の2次元形状を認識する2次元画像処理を行なう。これにより、請求項1に記載の発明の効果に加え、物体を幅のあるエリア光で照明して物体の2次元形状を認識するようにしたので、物体上面が高さ方向でばらついていたり、傾斜していても、エリア光が物体上面から外れることがなく、物体の2次元形状を正確に認識することができる。
【0016】
上記のように構成した請求項3に係る発明においては、形状認識される物体が位置される測定基準面に対向して物体を撮像するカメラを設け、カメラの光軸と所定角度をなすスリット光を発して物体を走行方向と交叉する方向に横切って照射するスリット光源と、スリット光と波長が異なる幅のあるエリア光を発して物体をスリット光と重ならない位置で走行方向と交叉する方向に横切って照明するエリア光源とをカメラに対して一定位置関係で設ける。物体とカメラとを測定基準面に沿って走行方向に相対的に移動し、物体とカメラとの相対位置に連動してスリット光が物体上につくるスリット光反射像及びエリア光が物体上につくるエリア光照明部をスリット光反射像部分にはスリット光の周波数のみを通過するフィルタをかけてカメラで撮像して各相対位置における画像を記憶する。各画像におけるスリット光反射像とスリット光が測定基準面上につくるスリット光反射基準像との関係から物体の高さを算出して物体の高さ寸法を認識する3次元画像処理を行なう。各画像におけるエリア光照明部の中央部分を撮像した画素列の撮像内容を合成して物体の2次元画像を作成し、該2次元画像を処理して物体の2次元形状を認識する2次元画像処理を行なう。これにより、請求項1及び2に記載の発明の効果に加え、スリット光とエリア光とが干渉することなく、物体の2次元及び3次元形状を正確に認識することができる。
【0017】
上記のように構成した請求項4に係る発明においては、カメラの光軸を形状認識される物体が位置される測定基準面に対して垂直にし、スリット光を物体とカメラとが相対移動する走行方向と直角な方向に延在したので、物体の測定基準面からの高さを容易に算出することができる。
【0018】
上記のように構成した請求項5に係る発明においては、請求項1乃至4のいずれかに記載の物体形状認識方法において、物体を、供給位置で吸着スピンドルの先端に吸着され、装着位置に移送されて基板に装着される装着部品とし、該装着部品の基準面が測定規準面に位置するように吸着スピンドルを装着部品の厚さに応じて進退し、供給位置と装着位置との間の撮像位置で吸着スピンドルとカメラとを測定基準面に沿って走行方向に相対的に移動し、吸着スピンドルとカメラとの相対位置に連動してカメラで装着部品を撮像するようにしたので、装着部品を供給位置から装着位置に移送する途中の一個所の撮像位置でカメラにより撮像するだけで、装着部品の2次元形状と3次元形状とを同時に認識し、装着部品の平面上での位置ズレを補正することができるとともに、コプラナリティを検査することができる。
【0019】
上記のように構成した請求項6に係る発明においては、請求項1乃至5のいずれかに記載の物体形状認識方法において、3次元画像処理によって算出した物体の各箇所における高さをメモリの対応するエリアに書き込んでハイトマップを作成し、該ハイトマップより物体のX、Y位置および高さを認識するので、簡単な構成で、物体のX、Y位置とともに、高さ方向の凹凸を認識することができる。
【0020】
上記のように構成した請求項7に係る発明においては、形状認識される物体が位置される測定基準面に対向して物体を撮像するカメラが設けられ、カメラの光軸と所定角度をなすスリット光を発して物体を走行方向と交叉する方向に横切って照射するスリット光源がカメラに対して一定位置関係で設けられている。物体とカメラとが測定基準面に沿って走行方向に相対的に移動され、物体とカメラとの相対位置に連動してスリット光が物体上につくるスリット光反射像がカメラで撮像されて各相対位置において画像が記憶される。画像におけるスリット光反射像とスリット光が測定基準面上につくるスリット光反射基準像との関係から物体の高さが算出され、物体の高さ寸法を認識する3次元画像処理が行なわれる。各画像におけるスリット光反射基準像の中央部分を撮像した画素列の撮像内容を合成して物体の2次元画像が作成され、該2次元画像を処理して物体の2次元形状を認識する2次元画像処理が行なわれる。これにより、物体の2次元形状と3次元形状とを同時に認識することができ、物体の形状認識のサイクルタイムを短縮することができる低コストの物体形状認識装置を提供することができる。
【0021】
上記のように構成した請求項8に係る発明においては、形状認識される物体が位置される測定基準面に対向して物体を撮像するカメラが設けられ、カメラの光軸と所定角度をなすスリット光を発して物体を前記走行方向と交叉する方向に横切って照射するスリット光源と、幅のあるエリア光を発して物体をスリット光と重ならない位置で走行方向と交叉する方向に横切って照明するエリア光源とをカメラに対して一定位置関係で設けられている。物体とカメラとが測定基準面に沿って走行方向に相対的に移動され、物体とカメラとの相対位置に連動してスリット光及びエリア光が物体上につくるスリット光反射像及びエリア光照明部がカメラで撮像されて各相対位置における画像が記憶される。各画像におけるスリット光反射像とスリット光が測定基準面上につくるスリット光反射基準像との関係から物体の高さが算出され、物体の高さ寸法を認識する3次元画像処理が行なわれる。各画像におけるエリア光照明部の中央部分を撮像した画素列の撮像内容を合成して物体の2次元画像が作成され、該2次元画像を処理して物体の2次元形状を認識する2次元画像処理が行なわれる。これによって、請求項6に記載の発明の効果に加え、物体は幅のあるエリア光で照明されて物体の2次元形状が認識されるので、物体上面が高さ方向でばらついていたり、傾斜していても、エリア光が物体上面から外れることがなく、物体の2次元形状を正確に認識することができる。
【0022】
上記のように構成した請求項9に係る発明においては、請求項7又は8のいずれかに記載の物体形状認識装置において、物体を、供給位置で吸着スピンドルの先端に吸着され、装着位置に移送されて基板に装着される装着部品とし、該装着部品の基準面が測定規準面に位置するように吸着スピンドルが装着部品の厚さに応じて進退され、供給位置と装着位置との間の撮像位置で吸着スピンドルとカメラとが測定基準面に沿って走行方向に相対的に移動され、吸着スピンドルとカメラとの相対位置に連動して装着部品がカメラで撮像されるので、装着部品が一個所の撮像位置で撮像されるだけで、装着部品の2次元形状と3次元形状とが同時に認識され、装着部品の平面上での位置ズレを補正でき、且つコプラナリティを検査することができる。
【0023】
【実施の形態】
以下本発明に係る物体形状認識方法及び装置の第1の実施形態を図面に基づいて説明する。図1,2において、1はガントリタイプの装着装置で、装着部品Pを供給位置Sで吸着スピンドル2の先端に吸着し、装着位置Kまで移送して基板B上に装着する。ベッド3上にはスライド4が摺動可能に載置され、サーボモータ5によりボールネジ機構6を介してY軸方向に移動される。スライド4にはテーブル7が摺動可能に載置され、サーボモータ8によりボールネジ機構を介してX軸方向に移動される。テーブル7の先端には吸着スピンドル2が上下方向に摺動可能に装架され、サーボモータ9によりボールネジ機構を介してZ軸方向に進退移動される。吸着スピンドル2にはディストリビュータ10を介してバキューム装置が連結され、吸着スピンドル2の先端に装着部品Pを着脱可能に吸着する。吸着スピンドル2はサーボモータ11により軸線回りに回転駆動され、吸着した装着部品Pの回転角度位置を補正する。供給位置Sと装着位置Kとの間に設けられた撮像位置Dには、吸着スピンドル2に吸着されて移送された装着部品Pの基準面Psが、吸着スピンドル2の上下方向の移動によって位置される測定基準面Fが設定されている。テーブル7、吸着スピンドル2、ディストリビュータ10、サーボモータ9、ボールネジ機構等によって形状認識される物体である装着部品Pを支持する物体支持装置13が構成されている。この物体支持装置13には、サーボモータ9及びボールネジ機構等により構成されたスピンドル進退装置14が、装着部品Pを測定基準面F上に保持する装置として設けられている。スピンドル進退装置14は、装着部品Pの基準面Psが測定規準面Fに位置するように吸着スピンドル2を装着部品Pの厚さに応じて進退する。
【0024】
カメラ15は装着部品Pを撮像するCCD又はCMOS等のイメージセンサを備え、測定基準面Fに光軸16を垂直にして対向し、カメラ支持体17に固定されている。スリット光源18はカメラ支持体17に固定され、スリット光19としてレーザライン光を発する。スリット光19はカメラ15の光軸16に対して所定角度θをなし、X軸方向と直角なY軸方向に延在して装着部品Pを走行方向と交叉する方向に横切って照射する。これにより、吸着スピンドル2の先端に吸着された装着部品Pは、撮像位置Dにおいて下方からスリット光源18によってスリット光19を照射され、撮像位置Dでのスピンドル2の走行方向であるX軸方向の移動に関連してカメラ15によって撮像される。物体支持装置13を装架したテーブル7、サーボモータ9及びボールネジ機構等により、物体支持装置13とカメラ支持体17とを撮像位置Dで測定基準面Fに沿って走行方向に相対的に移動させる装置が構成されている。スリット光19は、レーザライン光に限られるものではなく、LED光、ハロゲンランプ光等をスリットを通過させて作成たものでもよい。
【0025】
図2,3に示すように、測定基準面Fに対して垂直なカメラ15の光軸16に対して所定角度θをもってスリット光19が装着部品Pを照射するとき、スリット光19は、測定基準面Fと一致する基準面Ps上にY軸方向に延在するスリット光反射基準像20をつくり、基準面Psからdhの高さを有するリードL等の上面にスリット光反射基準像20から距離dx=dh×tanθだけX軸方向に離れたスリット光反射像21をつくる。カメラ15はスピンドル2のX軸方向の位置に連動してスリット光反射基準像20及びスリット光反射像21を撮像し、各相対位置における画像Gをコンピュータ22に入力し、コンピュータ22は各画像Gをメモリに記憶して画像処理する。コンピュータ22は、サーボモータ5,8,9,11等を数値制御して、吸着スピンドル2を所望経路に沿って移動させる数値制御装置23からテーブル7のX軸方向の位置情報を受信し、スリット光19が装着部品PのリードL等の各個所につくるスリット光反射像21と、測定基準面Fと一致された装着部品Pの基準面Ps上につくるスリット光反射基準像21とを吸着スピンドル2とカメラ15との相対位置に連動してカメラ15で撮像し、各相対位置における画像を記憶する画像取込み装置として機能する。
【0026】
カメラ15のX軸方向の1画素分の長さに相当する距離だけ吸着スピンドル2がX軸方向に移動した各位置で、カメラ15はスリット光反射基準像20及びスリット光反射像21を撮像してN列、M行の画素からなる画像Gをつくるので、スピンドル2の各位置で撮像された画像Gの一つの画素列の撮像内容を合成することにより装着部品Pの全画像を得ることができる。スリット光反射像21とスリット光反射基準像20との距離dxを測定すると、光切断法により、dh=dx/tanθから測定部品Pのスリット光反射基準像20上に位置する各箇所の測定基準面Fからの高さdhを算出することができる。
【0027】
図3に示すように、スリット光19が測定基準面F上につくるスリット光反射基準像20の中央部分を撮像する画像Gの特定画素列24の位置が、スリット光反射基準像20の画像GでのX軸方向位置となる。画像処理装置であるコンピュータ22は、画像Gの画素行におけるスリット光反射像21の中央部分の位置を求め、このスリット光反射像21の中央部分の位置とスリット光反射基準像20の中央部分を撮像する特定画素列24との間の距離dxgを全ての画素行について求める。そして、画像寸法の実物寸法に対する倍率で各画素行おける距離dxgを除して距離dxを求め、dh=dx/tanθから測定部品Pのスリット光反射基準像20上に位置する各箇所の測定基準面Fからの高さdhを算出する。コンピュータ22は、この高さdhの算出を全ての画像Gについて行い、これを撮像順序i,i+1,i+2,…に従って合成し、装着部品Pの各箇所における測定基準面Fからの高さdhをメモリの対応するエリアに書き込んでハイトマップ25を作成し、装着部品Pの高さ寸法を認識する3次元画像処理を行なう。ハイトマップ25において、高さdhの高さ情報は、測定レンジを例えば8ビットに分解した分解能に換算される。測定レンジをAとすると、高さ情報分解能Rは、R=A/28となり、i枚目の画像Gにおける特定画素列24のj番目の画素(i,j)に対応する装着部品Pの箇所の高さdhijに対してハイトマップの対応するメモリエリア(i,j)に書き込まれる数値Bは、B=dhij/Rである。4方向リードICを装着部品Pとして前述のように作成したハイトマップをグレースケール画像処理して作成したハイトマップグレースケール画像を図6に示す。
【0028】
コンピュータ22は、更にスリット光反射基準像20の中央部分を撮像する画像Gの特定画素列24の撮像内容を撮像順序i,i+1,i+2,…に従って合成して装着部品Pの2次元画像を作成し、この2次元画像の濃淡を識別して装着部品の2次元形状及びその位置を認識する2次元画像処理を行なう。なお、装着部品Pに基準面Psが無く、物体支持装置の基準面に吸着されて移送される場合は、撮像位置Dで物体支持装置の基準面が測定基準面Fに一致され、スリット光19は物体支持装置の基準面上にスリット光反射基準像20をつくる。
【0029】
次に、上記第1の実施形態の作動について説明する。装着装置1は数値制御装置23の指令に基づいて供給位置Sで指定されて装着部品Pを吸着スピンドル2の先端に吸着し、撮像位置Dに移送する。吸着スピンドル2は、装着部品Pの基準面Psが撮像位置Dの測定基準面Fと一致するように装着部品Pの厚さに応じてZ軸方向に移動され、撮像位置Dの撮像開始位置に移動される。吸着スピンドル2は撮像開始位置からカメラ15のX軸方向の1画素分の長さに相当する距離づつX軸方向に移動され、カメラ15は吸着スピンドル2の移動位置に連動してスリット光反射基準像20及びスリット光反射像21の画像G撮像し、装着部品PのX軸方向の全長分の複数枚の画像Gをコンピュータ22に転送する。
【0030】
コンピュータ22は、転送された装着部品PのX軸方向全長分の複数枚の画像Gを取り込み、装着部品Pの高さ寸法を認識する3次元画像処理を行なう。即ち、各画像Gについて、スリット光反射像21とスリット光反射基準像22との間の距離dxgを全ての画素行について求め、画像寸法の実物寸法に対する倍率で各画素行おける距離dxgを除して距離dxを求め、測定部品Pのスリット光反射基準像20上に位置する各箇所の測定基準面Fからの高さdhを算出する。この高さdhの算出を全ての画像Gについて行い、撮像順序i,i+1,i+2,…に従って合成し、装着部品Pの全箇所における測定基準面Fからの高さdhをメモリの対応するエリアに書き込んでハイトマップ25を作成する。
【0031】
コンピュータ22は、更に取り込んだ複数枚の画像Gから装着部品Pの2次元形状を認識する2次元画像処理を行なう。各画像Gにおけるスリット光反射基準像20の中央部分を撮像する特定画素列24の撮像内容を撮像順序i,i+1,i+2,…に従って合成して装着部品Pの2次元画像を作成し、この2次元画像を処理して装着部品の2次元形状及びその位置を認識する。
【0032】
そして、ハイトマップ25を参照して装着部品PのリードL等の端面のコプラナリティを検査し、コプラナリティが良い場合、2次元画像処理により求めた装着部品の2次元形状の位置情報に基づいて、吸着スピンドルのX,Y軸方向位置及び及び回転角度位置を補正し、装着部品Pを装着位置Kに移送して基板B上に装着する。コプラナリティが不良の場合、吸着スピンドル2は装着部品Pを不良品回収位置Wに移送して廃却する。
【0033】
次に、物体形状認識方法及び装置の第2の実施形態を図面に基づいて説明する。第1の実施形態では、光切断法に用いたスリット光を2次元画像の作成に利用することで光源を共有することができた。しかし、光切断法に用いるスリット光は、高さの差異によって光りの帯がずれることを意図した局所照明である。従って、装着部品Pの凹凸が大きい場合、2次元画像として合成される画像は、光が当たっていない箇所の画像が合成されることが多く、装着部品の正確な2次元形状を得ることができない場合がある。この問題を解消するために、第2の実施形態では、高さ情報を得るために装着部品Pにスリット光を照射し、クリアな2次元画像を取り出すためにエリア光で装着部品を照明している。
【0034】
図4に示すように、第1の実施形態と同様に、撮像位置Dに測定基準面Fが設定され、カメラ15がその光軸16を測定基準面Fに垂直にして対向して設けられている。カメラ15の光軸16と所定角度θをなすスリット光19を発して装着部品PをX軸方向と直角に交叉するY軸方向に横切って照射するスリット光源18がカメラ15に対して一定位置関係でカメラ支持体17に固定されている。幅のあるエリア光27を発して装着部品Pをスリット光19と重ならない位置でY軸方向に横切って照明するエリア光源26がカメラ15に対して一定位置関係でカメラ支持体17に固定されている。
【0035】
図5に示すように、スリット光19は、第1の実施形態と同様に、光切断法に用いられ、コンピュータ22は、装着部品Pのスリット光反射基準像20上に位置する各箇所の測定基準面Fからの高さdhの算出を全ての画像Gについて行い、これを撮像順序i,i+1,i+2,…に従って合成し、装着部品Pの各箇所における測定基準面Fからの高さdhをメモリの対応するエリアに書き込んでハイトマップ25を作成する。
【0036】
コンピュータ22は、更に取り込んだ複数枚の画像Gから装着部品Pの2次元形状を認識する2次元画像処理を行なう。各画像Gにおけるエリア光27で照明された装着部品Pのエリア光照明部28の中央部分を撮像する特定画素列29の撮像内容を撮像順序i,i+1,i+2,…に従って合成して装着部品Pの2次元画像を作成し、この2次元画像を処理して装着部品の2次元形状及びその位置を認識する。
【0037】
第2の実施形態において、スリット光19とエリア光27との干渉を防止するために、スリット光19とエリア光27とで波長を異ならせ、スリット光19が装着部品P上につくるスリット光反射像21をスリット光の周波数のみを通過させるフィルタを通してカメラ15の画素に撮像するようにしてもよい。
【0038】
上記実施形態では、カメラ15の単一の特定画素列vの情報を合成して2次元画像を作成しているので、露光時間が不足してコントラストが不十分になる場合がある。この露光不足を解消するために、装着部品Pの同じ箇所が撮像されている例えば3枚の画像の情報、即ちi枚目に撮像した画像Gの特定画素列v、i+1枚目の画像の画素列v+1、i+2枚目の画像の画素列v+2の情報を加算してi枚目の画像の特定画素列vの撮像内容としてもよい。
【0039】
上記実施形態では、カメラの光軸16を測定基準面Fに垂直にしているが、傾斜させてもよい。また、スリット光19は装着部品Pの走行方向と直角に延在する必要はなく、装着部品Pを走行方向と直角以外の角度で交叉して横切るようにしてもよい。この場合、高さdhを算出する計算式をカメラの光軸の傾斜角度、スリット光が走行方向となす角度を公知の方法で勘案したものにする必要がある。
【0040】
上記実施形態では、ガントリタイプの装着装置における装着部品Pの高さの測定に、本発明に係る物体形状認識方法を使用した場合について説明したが、ロータリタイプの装着装置に本発明に係る物体形状認識方法を使用し、撮像位置で停止している吸着スピンドルに対してカメラ及び光源を取り付けたカメラ支持体を走行方向に移動するようにしてもよい。また、装着部品Pの厚さに応じてカメラ支持体をZ軸方向に移動してもよい。
【0041】
さらに、印刷機、接着剤塗布機、SMT実装検査機等においても本発明に係る物体形状認識方法を利用することができる。印刷機に利用すると印刷精度と印刷体積の正確な計測を行なうことができ、接着剤塗布機に利用すると塗布精度及び塗布体積の正確な計測を行なうことができる。SMT実装検査機に利用すると、装着精度、ハンダフィレット形状等を2次元で視覚的に認識して検査し、体積や高さ等を3次元で認識して検査することができる。
【図面の簡単な説明】
【図1】 本発明に係る物体形状認識装置を装備した装着装置の概略を示す図。
【図2】 スリット光源と物体とカメラとの関係を示す図。
【図3】 各画像からハイトマップと2次元画像を作成することを示す図。
【図4】 第2の実施形態を示す図。
【図5】 スリット光反射像とエリア光照明部を撮像した画像を示す図。
【図6】 ハイマップグレースケール画像の一例を示す図。
【符号の説明】
1…装着装置、2…吸着スピンドル、13…物体支持装置、14…スピンドル進退装置、15…カメラ、16…光軸、17…カメラ支持体、18…スリット光源、19…スリット光、20…スリット光反射基準像、21…スリット光反射像、22…コンピュータ(画像処理装置)、24,29…特定画素列、25…ハイトマップ、26…エリア光源、27…エリア光、28…エリア光照明部、P…装着部品(物体)、B…基板、S…供給位置、D…撮像位置、K…装着位置、F…測定基準面。
Claims (9)
- 形状認識される物体を測定基準面上に位置し、該物体を撮像するカメラを前記測定基準面に対向して配置し、前記物体と前記カメラとを前記測定基準面に沿って走行方向に相対的に移動し、前記カメラの光軸と所定角度をなすスリット光を発して前記物体を前記走行方向と交叉する方向に横切って照射するスリット光源を前記カメラに対して一定位置関係で設け、前記物体と前記カメラとの相対位置に連動して前記スリット光が前記物体上につくるスリット光反射像を前記カメラで撮像して各相対位置における画像を記憶し、各画像における前記スリット光反射像の位置と前記スリット光が前記測定基準面上につくるスリット光反射基準像との関係から前記物体の高さを算出して前記物体の高さ寸法を認識する3次元画像処理を行なうとともに、各画像における前記スリット光反射基準像の中央部分を撮像した画素列の撮像内容を合成して前記物体の2次元画像を作成し、該2次元画像の濃淡を識別して前記物体の2次元形状及びその位置を認識する2次元画像処理を行なうことを特徴とする物体形状認識方法。
- 形状認識される物体を測定基準面上に位置し、該物体を撮像するカメラを前記測定基準面に対向して配置し、前記物体と前記カメラとを前記測定基準面に沿って走行方向に相対的に移動し、前記カメラの光軸と所定角度をなすスリット光を発して前記物体を前記走行方向と交叉する方向に横切って照射するスリット光源と、幅のあるエリア光を発して前記物体を前記スリット光と重ならない位置で前記走行方向と交叉する方向に横切って照明するエリア光源とを前記カメラに対して一定位置関係で設け、前記物体と前記カメラとの相対位置に連動して前記スリット光及び前記エリア光が前記物体上につくるスリット光反射像及びエリア光照明部を前記カメラで撮像して各相対位置における画像を記憶し、各画像における前記スリット光反射像と前記スリット光が前記測定基準面上につくるスリット光反射基準像との関係から前記物体の高さを算出して前記物体の高さ寸法を認識する3次元画像処理を行ない、各画像における前記エリア光照明部の中央部分を撮像した画素列の撮像内容を合成して前記物体の2次元画像を作成し、該2次元画像を処理して前記物体の2次元形状を認識する2次元画像処理を行なうことを特徴とする物体形状認識方法。
- 形状認識される物体を測定基準面上に位置し、該物体を撮像するカメラを前記測定基準面に対向して配置し、前記物体と前記カメラとを前記測定基準面に沿って走行方向に相対的に移動し、前記カメラの光軸と所定角度をなすスリット光を発して前記物体を前記走行方向と交叉する方向に横切って照射するスリット光源と、前記スリット光と波長が異なる幅のあるエリア光を発して前記物体を前記スリット光と重ならない位置で前記走行方向と交叉する方向に横切って照明するエリア光源とを前記カメラに対して一定位置関係で設け、前記物体と前記カメラとの相対位置に連動して前記スリット光が前記物体上につくるスリット光反射像及び前記エリア光が前記物体上につくるエリア光照明部をスリット光反射像部分にはスリット光の周波数のみを通過するフィルタをかけて前記カメラで撮像して前記各相対位置における画像を記憶し、各画像における前記スリット光反射像と前記スリット光が前記測定基準面上につくるスリット光反射基準像との関係から前記物体の高さを算出して前記物体の高さ寸法を認識する3次元画像処理を行ない、各画像における前記エリア光照明部の中央部分を撮像した画素列の撮像内容を合成して前記物体の2次元画像を作成し、該2次元画像を処理して前記物体の2次元形状を認識する2次元画像処理を行なうことを特徴とする物体形状認識方法。
- 前記カメラの光軸を前記測定基準面に対して垂直にし、前記スリット光を前記走行方向と直角な方向に延在したことを特徴とする請求項1乃至3のいずれかに記載の物体形状認識方法。
- 前記物体を、供給位置で吸着スピンドルの先端に吸着され、装着位置に移送されて基板に装着される装着部品とし、該装着部品の基準面が前記測定規準面に位置するように前記吸着スピンドルを装着部品の厚さに応じて進退し、前記供給位置と前記装着位置との間の撮像位置で前記吸着スピンドルと前記カメラとを前記測定基準面に沿って前記走行方向に相対的に移動し、前記吸着スピンドルと前記カメラとの相対位置に連動して前記カメラで前記装着部品を撮像することを特徴とする請求項1乃至4のいずれかに記載の物体形状認識方法。
- 前記3次元画像処理によって算出された前記物体の各箇所における高さをメモリの対応するエリアに書き込んでハイトマップを作成し、該ハイトマップより前記物体のX、Y位置および高さを認識することを特徴とする請求項1乃至5のいずれかに記載の物体形状認識方法。
- 物体支持装置とカメラ支持体とを測定基準面と平行に走行方向に相対的に移動可能に設け、形状認識される物体を前記測定基準面上に保持する装置を前記物体支持装置に設け、該物体を撮像するカメラを前記測定基準面に対向して前記カメラ支持体に固定し、前記カメラの光軸と所定角度をなすスリット光を発して前記物体を前記走行方向と交叉する方向に横切って照射するスリット光源を前記カメラに対して一定位置関係で前記カメラ支持体に固定し、前記物体と前記カメラとの相対位置に連動して前記スリット光が前記物体上につくるスリット光反射像を前記カメラで撮像して前記各相対位置における画像を記憶する画像取込み装置を設け、各画像における前記スリット光反射像と前記スリット光が前記測定基準面上につくるスリット光反射基準像との関係から前記物体の高さを算出して前記物体の高さ寸法を認識する3次元画像処理を行なうとともに、各画像における前記スリット光反射基準像の中央部分を撮像した画素列の撮像内容を合成して前記物体の2次元画像を作成し、該2次元画像の濃淡を識別して前記物体の2次元形状及びその位置を認識する2次元画像処理を行なう画像処理装置を設けたことを特徴とする物体形状認識装置。
- 物体支持装置とカメラ支持体とを測定基準面と平行に走行方向に相対的に移動可能に設け、形状認識される物体を前記測定基準面上に保持する装置を前記物体支持装置に設け、該物体を撮像するカメラを前記測定基準面に対向して前記カメラ支持体に固定し、前記カメラの光軸と所定角度をなすスリット光を発して前記物体を前記走行方向と交叉する方向に横切って照射するスリット光源と、幅のあるエリア光を発して前記物体を前記スリット光と重ならない位置で前記走行方向と交叉する方向に横切って照明するエリア光源とを前記カメラに対して一定位置関係で前記カメラ支持体に固定し、前記物体と前記カメラとの相対位置に連動して前記スリット光及び前記エリア光が前記物体上につくるスリット光反射像及びエリア光照明部を前記カメラで撮像して前記各相対位置の画像を記憶する画像取込み装置を設け、各画像における前記スリット光反射像と前記スリット光が前記測定基準面上につくるスリット光反射基準像との関係から前記物体の高さを算出して前記物体の高さ寸法を認識する3次元画像処理を行ない、各画像における前記エリア光照明部の中央部分を撮像した画素列の撮像内容を合成して前記物体の2次元画像を作成し、該2次元画像を処理して前記物体の2次元形状を認識する2次元画像処理を行なう画像処理装置を設けたことを特徴とする物体形状認識装置。
- 前記物体である装着部品を吸着して供給位置から装着位置に移送して基板上に装着する吸着スピンドルと、前記装着部品の基準面が前記測定規準面に位置するように前記吸着スピンドルを装着部品の厚さに応じて進退するスピンドル進退装置とで前記物体支持装置を構成し、該物体支持装置を前記供給位置と前記装着位置との間の撮像位置で前記カメラ支持体に対して前記測定基準面に沿って前記走行方向に相対的に移動させる装置を設けたことを特徴とする請求項7又は8のいずれかに記載の物体形状認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002015829A JP3964687B2 (ja) | 2002-01-24 | 2002-01-24 | 物体形状認識方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002015829A JP3964687B2 (ja) | 2002-01-24 | 2002-01-24 | 物体形状認識方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003214824A JP2003214824A (ja) | 2003-07-30 |
JP3964687B2 true JP3964687B2 (ja) | 2007-08-22 |
Family
ID=27652082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002015829A Expired - Fee Related JP3964687B2 (ja) | 2002-01-24 | 2002-01-24 | 物体形状認識方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3964687B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011220683A (ja) * | 2010-04-02 | 2011-11-04 | Bridgestone Corp | 長尺物品の製造方法、及び、外観検査装置 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100591693B1 (ko) * | 2004-04-13 | 2006-06-22 | 주식회사 탑 엔지니어링 | 페이스트 도포기 및 그 제어 방법 |
JP4737112B2 (ja) * | 2007-02-23 | 2011-07-27 | パナソニック株式会社 | 印刷検査装置および印刷検査方法 |
JP2010175283A (ja) * | 2009-01-27 | 2010-08-12 | Kokusai Gijutsu Kaihatsu Co Ltd | 面画像生成装置 |
JP5212724B2 (ja) * | 2009-01-27 | 2013-06-19 | 国際技術開発株式会社 | 高さ測定装置 |
JP2011066041A (ja) * | 2009-09-15 | 2011-03-31 | Juki Corp | 電子部品実装装置 |
JP5373657B2 (ja) * | 2010-02-09 | 2013-12-18 | ヤマハ発動機株式会社 | 部品実装装置および部品実装方法 |
JP5161905B2 (ja) * | 2010-02-26 | 2013-03-13 | Ckd株式会社 | 錠剤検査装置及びptp包装機 |
JP6029394B2 (ja) | 2012-09-11 | 2016-11-24 | 株式会社キーエンス | 形状測定装置 |
EP2975921B1 (en) * | 2013-03-12 | 2019-12-18 | FUJI Corporation | Component recognition system for component mounting machine |
BR112018011036B1 (pt) * | 2015-12-16 | 2022-09-20 | Pirelli Tyre S.P.A. | Dispositivo para análise de pneus, estação, e, método para analisar pneus |
CN105865346A (zh) * | 2016-03-02 | 2016-08-17 | 上海理鑫光学科技有限公司 | 一种smt贴片零件测高仪 |
JP6785674B2 (ja) * | 2017-01-25 | 2020-11-18 | オリンパス株式会社 | 光計測装置 |
JP6759450B2 (ja) * | 2017-04-05 | 2020-09-23 | ヤマハ発動機株式会社 | 部品実装機、部品認識方法、外観検査機、外観検査方法 |
US11440119B2 (en) | 2018-10-12 | 2022-09-13 | Teradyne, Inc. | System and method for weld path generation |
BR112021017036A2 (pt) * | 2019-03-20 | 2021-11-09 | Bobst Mex Sa | Sistema de geração de imagens de câmeras múltiplas usando uma linha de laser |
CN114383517A (zh) * | 2021-12-29 | 2022-04-22 | 南京大学 | 一种基于光学成像的电池膨胀实时检测方法及装置 |
JP2024021405A (ja) * | 2022-08-03 | 2024-02-16 | 株式会社ヴィーネックス | 検査装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61159102A (ja) * | 1984-12-29 | 1986-07-18 | Hitachi Zosen Corp | 二次元測定方法 |
JPH0629709B2 (ja) * | 1988-03-31 | 1994-04-20 | 日本鋼管株式会社 | 3次元曲面形状の測定方法及び装置 |
JPH07152860A (ja) * | 1993-11-29 | 1995-06-16 | Toyo Tire & Rubber Co Ltd | 凹凸文字の読取り装置 |
JPH09229632A (ja) * | 1996-02-27 | 1997-09-05 | Toray Ind Inc | 画像情報出力装置および方法、形状測定装置および方法 |
JP4212168B2 (ja) * | 1998-12-25 | 2009-01-21 | Juki株式会社 | 被測定物の測定方法及びその装置 |
JP4532694B2 (ja) * | 1999-08-10 | 2010-08-25 | 富士機械製造株式会社 | 3次元データ取得方法,装置、およびマスク印刷方法、装置 |
-
2002
- 2002-01-24 JP JP2002015829A patent/JP3964687B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011220683A (ja) * | 2010-04-02 | 2011-11-04 | Bridgestone Corp | 長尺物品の製造方法、及び、外観検査装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2003214824A (ja) | 2003-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3964687B2 (ja) | 物体形状認識方法及び装置 | |
US6608320B1 (en) | Electronics assembly apparatus with height sensing sensor | |
TWI610762B (zh) | 加工裝置 | |
US10816322B2 (en) | Bonding apparatus and method for detecting height of bonding target | |
US6141040A (en) | Measurement and inspection of leads on integrated circuit packages | |
KR100420272B1 (ko) | 오프셋 측정방법, 툴위치 검출방법 및 본딩장치 | |
US9702688B2 (en) | Shape measuring apparatus | |
US11982522B2 (en) | Three-dimensional measuring device | |
JP5438475B2 (ja) | 隙間段差計測装置、隙間段差計測方法、及びそのプログラム | |
JP6097389B2 (ja) | 検査装置および検査方法 | |
CN106465580A (zh) | 元件数据生成装置、表面安装机及元件数据生成方法 | |
JP2000074644A (ja) | 棒状切削工具の測定装置並びに該測定装置を使用したドリルの測定方法 | |
JP4212168B2 (ja) | 被測定物の測定方法及びその装置 | |
JP5620807B2 (ja) | 三次元形状計測装置、部品移載装置および三次元形状計測方法 | |
JP2015068779A (ja) | 3次元測定装置、3次元測定方法および基板の製造方法 | |
JP2009094295A (ja) | 電子部品の高さ測定装置 | |
JP2005347412A (ja) | 吸着状態検査装置、表面実装機、及び、部品試験装置 | |
JP2013140082A (ja) | 高さ測定装置及び高さ測定方法 | |
JP2008151687A (ja) | 電子部品の端子高さ計測方法 | |
JP3266524B2 (ja) | チップ部品の位置検出方法及び同装置 | |
JP2001217599A (ja) | 表面実装部品装着機および表面実装部品装着機における電子部品検出方法 | |
JP4454714B2 (ja) | 被測定物の測定方法及びその装置 | |
JP2016148595A (ja) | 形状測定装置および構造物の測定方法 | |
WO2023148902A1 (ja) | 部品搭載装置 | |
JPH0347737B2 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3964687 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |