JPH07208924A - 視覚認識装置の認識用光学系のキャリブレーション方法 - Google Patents
視覚認識装置の認識用光学系のキャリブレーション方法Info
- Publication number
- JPH07208924A JPH07208924A JP6001077A JP107794A JPH07208924A JP H07208924 A JPH07208924 A JP H07208924A JP 6001077 A JP6001077 A JP 6001077A JP 107794 A JP107794 A JP 107794A JP H07208924 A JPH07208924 A JP H07208924A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- optical system
- target
- recognition target
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【目的】 電子部品実装装置等のビジョンコントローラ
内座標空間の最小分解単位を実際の距離に変換するため
の変換定数であるキャリブレーション値を安定して求め
ることのできる視覚認識装置の認識光学系のキャリブレ
ーション方法を提供することにある。 【構成】 基板１上に設けられた認識マーク２上方にＣ
ＣＤカメラ４が移動し、認識マーク２の画像をビジョン
コントローラ５に取り込み、認識マーク２の重心を検出
する。その後、ＣＣＤカメラ４の視野内から認識マーク
２がはみでない程度に、ＣＣＤカメラ４をＸまたはＹ方
向へＸ−Ｙロボット８により一定距離移動させ、再度認
識マーク２の重心検出を行う。その結果、得られた２つ
の重心間のビジョンコントローラ５のメモリ空間内での
距離と、実際のＸ−Ｙロボット８の移動距離から、キャ
リブレーション値を計算する。
内座標空間の最小分解単位を実際の距離に変換するため
の変換定数であるキャリブレーション値を安定して求め
ることのできる視覚認識装置の認識光学系のキャリブレ
ーション方法を提供することにある。 【構成】 基板１上に設けられた認識マーク２上方にＣ
ＣＤカメラ４が移動し、認識マーク２の画像をビジョン
コントローラ５に取り込み、認識マーク２の重心を検出
する。その後、ＣＣＤカメラ４の視野内から認識マーク
２がはみでない程度に、ＣＣＤカメラ４をＸまたはＹ方
向へＸ−Ｙロボット８により一定距離移動させ、再度認
識マーク２の重心検出を行う。その結果、得られた２つ
の重心間のビジョンコントローラ５のメモリ空間内での
距離と、実際のＸ−Ｙロボット８の移動距離から、キャ
リブレーション値を計算する。
Description
【０００１】
【産業上の利用分野】本発明は基板に電子部品を実装す
る電子部品実装装置または基板にクリーム半田を印刷す
るクリーム半田印刷装置の視覚認識技術に係り、特に視
覚認識装置の認識用光学系のキャリブレーション方法に
関するものである。
る電子部品実装装置または基板にクリーム半田を印刷す
るクリーム半田印刷装置の視覚認識技術に係り、特に視
覚認識装置の認識用光学系のキャリブレーション方法に
関するものである。
【０００２】
【従来の技術】近年電子機器の小型化・高機能化に伴
い、使用される電子部品も多ピン化・狭ピン化が著しく
進んでいる。従って、それらの電子部品を実装する電子
部品装置に対して、より高精度での実装能力が要求さ
れ、そのため基板・電子部品の位置決め技術は従来の機
械的な位置決めから、視覚認識により位置補正を行って
電子部品を基板に実装することが一般的になっている。
い、使用される電子部品も多ピン化・狭ピン化が著しく
進んでいる。従って、それらの電子部品を実装する電子
部品装置に対して、より高精度での実装能力が要求さ
れ、そのため基板・電子部品の位置決め技術は従来の機
械的な位置決めから、視覚認識により位置補正を行って
電子部品を基板に実装することが一般的になっている。
【０００３】従来の電子部品実装装置は、基板上に設け
られた認識マークおよび実装される電子部品の画像をＣ
ＣＤカメラ等のビジョンセンサによりビジョンコントロ
ーラに取り込み、その画像中の認識マーク及び電子部品
のずれを検出し、検出したずれ分に応じて基板・電子部
品を位置補正し、基板上の正確な位置に電子部品を実装
している。
られた認識マークおよび実装される電子部品の画像をＣ
ＣＤカメラ等のビジョンセンサによりビジョンコントロ
ーラに取り込み、その画像中の認識マーク及び電子部品
のずれを検出し、検出したずれ分に応じて基板・電子部
品を位置補正し、基板上の正確な位置に電子部品を実装
している。
【０００４】基板に電子部品を実装する際の認識マーク
及び電子部品の認識は、ビジョンコントローラのメモリ
上に設けられた座標空間の中で行われるため、画像のず
れ量の検出もその座標空間での最小分解単位によって行
われる。しかしながらその最小分解単位が現実にどの程
度の大きさをもつのかは、認識用光学系の構成・調整に
よって様々なため、認識用光学系のキャリブレーション
を行わないと位置補正を行うことはできなかった。
及び電子部品の認識は、ビジョンコントローラのメモリ
上に設けられた座標空間の中で行われるため、画像のず
れ量の検出もその座標空間での最小分解単位によって行
われる。しかしながらその最小分解単位が現実にどの程
度の大きさをもつのかは、認識用光学系の構成・調整に
よって様々なため、認識用光学系のキャリブレーション
を行わないと位置補正を行うことはできなかった。
【０００５】従って、視覚認識により位置補正を行う電
子部品実装装置においては、装置のビジョンコントロー
ラ内の座標空間における最小分解単位を実際の距離に変
換するための変換定数を持っており、視覚認識により検
出された座標空間内の値をこの定数により実際の距離に
変換して位置補正を行っている。一般にその変換定数を
を求めることをキャリブレーションと言い、その変換定
数をキャリブレーション値という。
子部品実装装置においては、装置のビジョンコントロー
ラ内の座標空間における最小分解単位を実際の距離に変
換するための変換定数を持っており、視覚認識により検
出された座標空間内の値をこの定数により実際の距離に
変換して位置補正を行っている。一般にその変換定数を
を求めることをキャリブレーションと言い、その変換定
数をキャリブレーション値という。
【０００６】視覚認識により位置補正を行う電子部品実
装装置においては、キャリブレーション値が不適切であ
れば、いくら正確な視覚確認を行っても得られる補正値
が正確でないため、いかに正確なキャリブレーションを
行うかが重要なポイントであった。
装装置においては、キャリブレーション値が不適切であ
れば、いくら正確な視覚確認を行っても得られる補正値
が正確でないため、いかに正確なキャリブレーションを
行うかが重要なポイントであった。
【０００７】従来のキャリブレーション方法は、予め寸
法の分かっている基板マークや治具等を用い、そのマー
クや治具を認識してキャリブレーション値を求めてい
た。以下に従来の認識用光学系のキャリブレーション方
法を説明する。
法の分かっている基板マークや治具等を用い、そのマー
クや治具を認識してキャリブレーション値を求めてい
た。以下に従来の認識用光学系のキャリブレーション方
法を説明する。
【０００８】図８に示すように基板１上に直径Ａの大き
さの円形の認識マーク２があり、この認識マーク２を使
用してキャリブレーションを行う場合、その画像をビジ
ョンコントローラ内の画像メモリ空間内の座標系に取り
込んだときの画像が図９に示すものであるとする。その
ときの画像メモリ空間内の座標系において、認識マーク
２の直径をＢとすればキャリブレーション値Ｃは、以下
の式により求めることができる。
さの円形の認識マーク２があり、この認識マーク２を使
用してキャリブレーションを行う場合、その画像をビジ
ョンコントローラ内の画像メモリ空間内の座標系に取り
込んだときの画像が図９に示すものであるとする。その
ときの画像メモリ空間内の座標系において、認識マーク
２の直径をＢとすればキャリブレーション値Ｃは、以下
の式により求めることができる。
【０００９】ここでＢの値を求める方法は、取り込んだ
画像の最小分解単位７ごとにその明るさを量子化し、そ
の量子化されたレベルの数値により画像の明暗を判断し
て大きさを求めている。
画像の最小分解単位７ごとにその明るさを量子化し、そ
の量子化されたレベルの数値により画像の明暗を判断し
て大きさを求めている。
【００１０】一般的に図９に示す認識マーク２の直径部
分の画像を量子化し、その分布を見ると図１０のような
グラフとなる。ここで明暗の境界レベルをレベルＤと
し、レベルＤの線とグラフとの交点の座標をＸ１，Ｘ２
とすると、マークの直径Ｂは、以下の式により求めるこ
とができる。 Ｂ＝（Ｘ２−Ｘ１） … （２式）
分の画像を量子化し、その分布を見ると図１０のような
グラフとなる。ここで明暗の境界レベルをレベルＤと
し、レベルＤの線とグラフとの交点の座標をＸ１，Ｘ２
とすると、マークの直径Ｂは、以下の式により求めるこ
とができる。 Ｂ＝（Ｘ２−Ｘ１） … （２式）
【００１１】
【発明が解決しようとする課題】図１０において、境界
レベルをＤからＤ１またはＤ２にするとマークの直径Ｂ
もＢ１またはＢ２となり、どのレベルを境界とするかが
キャリブレーションの精度を左右することになるが、最
適な境界レベルの判定基準というものがなく、作業者の
感覚的なものに頼っていたため、最適な境界レベルの設
定は非常に困難であった。
レベルをＤからＤ１またはＤ２にするとマークの直径Ｂ
もＢ１またはＢ２となり、どのレベルを境界とするかが
キャリブレーションの精度を左右することになるが、最
適な境界レベルの判定基準というものがなく、作業者の
感覚的なものに頼っていたため、最適な境界レベルの設
定は非常に困難であった。
【００１２】またキャリブレーション値Ｃの精度を上げ
るには、１式でマークの直径Ｂの精度を上げるだけでな
く、実際の円形マークの直径Ａの値の精度も上げる必要
があるため、認識マーク自体の寸法にも精度が要求され
ることになる。
るには、１式でマークの直径Ｂの精度を上げるだけでな
く、実際の円形マークの直径Ａの値の精度も上げる必要
があるため、認識マーク自体の寸法にも精度が要求され
ることになる。
【００１３】その他の認識用光学系のキャリブレーショ
ン方法として、治具上の予め寸法の分かっている２点間
上でビジョンセンサを手動で移動させ、ビジョンセンサ
の実際の移動距離と、ビジョンコントローラ内のメモリ
空間内での移動距離とからキャリブレーション値を求め
る方法がある。
ン方法として、治具上の予め寸法の分かっている２点間
上でビジョンセンサを手動で移動させ、ビジョンセンサ
の実際の移動距離と、ビジョンコントローラ内のメモリ
空間内での移動距離とからキャリブレーション値を求め
る方法がある。
【００１４】この方法でも治具の寸法精度が要求される
ことと、ビジョンセンサの移動を手動にて行うため、ビ
ジョンセンサの移動距離に誤差が含まれやすく、正確な
キャリブレーションを行うことが困難であった。
ことと、ビジョンセンサの移動を手動にて行うため、ビ
ジョンセンサの移動距離に誤差が含まれやすく、正確な
キャリブレーションを行うことが困難であった。
【００１５】以上のことから、視覚認識により基板およ
び電子部品の位置補正を行う際の精度を左右するキャリ
ブレーション時において、より正確な補正値を求めよう
としても、上記のような様々な制約があり正確な値を求
めることが困難であるという問題点があった。
び電子部品の位置補正を行う際の精度を左右するキャリ
ブレーション時において、より正確な補正値を求めよう
としても、上記のような様々な制約があり正確な値を求
めることが困難であるという問題点があった。
【００１６】また、クリーム半田印刷装置においては、
基板上の認識マーク及びスクリーンマスクの認識マーク
をＣＣＤカメラ等のビジョンセンサによりビジョンコン
トローラに取り込み、その画像中の認識マークのずれを
検出し、検出したずれ分に応じて基板・スクリーンマス
クを位置補正し、基板上の正確な位置にクリーム半田を
印刷している。
基板上の認識マーク及びスクリーンマスクの認識マーク
をＣＣＤカメラ等のビジョンセンサによりビジョンコン
トローラに取り込み、その画像中の認識マークのずれを
検出し、検出したずれ分に応じて基板・スクリーンマス
クを位置補正し、基板上の正確な位置にクリーム半田を
印刷している。
【００１７】このクリーム半田印刷装置のＣＣＤカメラ
等で構成される視覚認識系においても、認識用光学系の
キャリブレーションを行う必要があり、そのため先に述
べたような問題点が発生する。
等で構成される視覚認識系においても、認識用光学系の
キャリブレーションを行う必要があり、そのため先に述
べたような問題点が発生する。
【００１８】本発明は以上の問題点を解決するためにな
されたものであり、認識用光学系のキャリブレーション
を行う際に問題となった、認識マークや治具の外形寸法
精度および作業者の感覚的な調整に頼らず、高精度なキ
ャリブレーション値を求めることの出来る視覚認識装置
の認識用光学系のキャリブレーション方法の提供を目的
とする。
されたものであり、認識用光学系のキャリブレーション
を行う際に問題となった、認識マークや治具の外形寸法
精度および作業者の感覚的な調整に頼らず、高精度なキ
ャリブレーション値を求めることの出来る視覚認識装置
の認識用光学系のキャリブレーション方法の提供を目的
とする。
【００１９】
【課題を解決するための手段】請求項１記載の発明にお
いては、認識用光学系により認識対象物の位置を検出
し、検出した認識対象物の位置に基づき認識対象物の位
置補正を行う視覚認識装置の認識用光学系のキャリブレ
ーション方法において、認識対象物と認識用光学系を相
対的に移動させる移動手段により、認識対象物または認
識用光学系をある一方向に移動させ、認識用光学系の視
野中で認識対象物が移動した距離と実際の認識対象物と
認識用光学系の相対的な移動距離とからある一方向に対
する認識用光学系のキャリブレーション値を算出し、移
動手段により、認識対象物または認識用光学系を他の一
方向に移動させ、認識用光学系の視野中で認識対象物が
移動した距離と実際の認識対象物と認識用光学系の相対
的な移動距離とから他の一方向に対する認識用光学系の
キャリブレーション値を算出することを特徴とするもの
である。
いては、認識用光学系により認識対象物の位置を検出
し、検出した認識対象物の位置に基づき認識対象物の位
置補正を行う視覚認識装置の認識用光学系のキャリブレ
ーション方法において、認識対象物と認識用光学系を相
対的に移動させる移動手段により、認識対象物または認
識用光学系をある一方向に移動させ、認識用光学系の視
野中で認識対象物が移動した距離と実際の認識対象物と
認識用光学系の相対的な移動距離とからある一方向に対
する認識用光学系のキャリブレーション値を算出し、移
動手段により、認識対象物または認識用光学系を他の一
方向に移動させ、認識用光学系の視野中で認識対象物が
移動した距離と実際の認識対象物と認識用光学系の相対
的な移動距離とから他の一方向に対する認識用光学系の
キャリブレーション値を算出することを特徴とするもの
である。
【００２０】さらに、請求項２記載の発明においては、
認識用光学系により認識対象物の位置を検出し、検出し
た認識対象物の位置に基づき認識対象物の位置補正を行
う視覚認識装置の認識用光学系のキャリブレーション方
法において、認識対象物と認識用光学系を相対的に移動
させる移動手段により、認識対象物または認識用光学系
をある方向に移動させ、認識用光学系の視野中で認識対
象物が移動した距離と、実際の認識対象物と認識用光学
系の相対的な移動距離と、からある方向のＸ，Ｙ成分方
向に対する認識用光学系のキャリブレーション値を算出
することを特徴とするものである。
認識用光学系により認識対象物の位置を検出し、検出し
た認識対象物の位置に基づき認識対象物の位置補正を行
う視覚認識装置の認識用光学系のキャリブレーション方
法において、認識対象物と認識用光学系を相対的に移動
させる移動手段により、認識対象物または認識用光学系
をある方向に移動させ、認識用光学系の視野中で認識対
象物が移動した距離と、実際の認識対象物と認識用光学
系の相対的な移動距離と、からある方向のＸ，Ｙ成分方
向に対する認識用光学系のキャリブレーション値を算出
することを特徴とするものである。
【００２１】また、請求項３記載の発明においては、認
識用光学系により認識対象物の位置を検出し、検出した
認識対象物の位置に基づき認識対象物の位置補正を行う
視覚認識装置の認識用光学系のキャリブレーション方法
において、予め形状寸法の分かっている認識対象物を認
識用光学系により認識し、その認識結果により得られた
認識対象物の形状寸法と実際の認識対象物の形状寸法と
から認識用光学系のキャリブレーション値を算出するこ
とを特徴とするものである。
識用光学系により認識対象物の位置を検出し、検出した
認識対象物の位置に基づき認識対象物の位置補正を行う
視覚認識装置の認識用光学系のキャリブレーション方法
において、予め形状寸法の分かっている認識対象物を認
識用光学系により認識し、その認識結果により得られた
認識対象物の形状寸法と実際の認識対象物の形状寸法と
から認識用光学系のキャリブレーション値を算出するこ
とを特徴とするものである。
【００２２】
【作用】請求項１または２記載の発明によれば、認識用
光学系により、まず最初の位置で認識対象物の位置を検
出し、その後認識対象物または認識用光学系を一定距離
移動させた後に再度認識対象物の位置を検出すること
で、実際の認識対象物と認識用光学系の相対的な移動距
離と認識光学系の視野内での移動量からキャリブレーシ
ョン値を算出する。
光学系により、まず最初の位置で認識対象物の位置を検
出し、その後認識対象物または認識用光学系を一定距離
移動させた後に再度認識対象物の位置を検出すること
で、実際の認識対象物と認識用光学系の相対的な移動距
離と認識光学系の視野内での移動量からキャリブレーシ
ョン値を算出する。
【００２３】また、請求項３記載の発明によれば、予め
形状寸法の分かっている認識対象物を認識用光学系によ
り認識し、その認識結果により得られた認識対象物の形
状寸法と実際の認識対象物の形状寸法とから認識用光学
系のキャリブレーション値を算出する。
形状寸法の分かっている認識対象物を認識用光学系によ
り認識し、その認識結果により得られた認識対象物の形
状寸法と実際の認識対象物の形状寸法とから認識用光学
系のキャリブレーション値を算出する。
【００２４】
【実施例】以下に本発明の実施例を図面を参照して説明
する。図１は第１の実施例である電子部品実装装置の構
成を示す図であり、図において、４はＣＣＤカメラであ
り、基板１上に印刷された認識マーク２や基板１に実装
される電子部品の画像を取り込み、その認識マークや電
子部品の重心位置を検出するためのビジョンセンサであ
る。５はビジョンコントローラであり、ＣＣＤカメラ４
が取り込んだ認識マークや電子部品の画像データを処理
し、認識マーク２や電子部品の重心位置を計算すること
のできる画像処理装置である。６は制御装置であり、ビ
ジョンコントローラ５を総括して制御している。８はＸ
−Ｙロボットであり、制御装置６の指令によりＣＣＤカ
メラ４をＸ，Ｙ方向に移動させる認識用光学系駆動機構
である。１０はＸ−Ｙロボットであり、制御装置６の指
令により基板１をセットする基板セット治具９をＸ，Ｙ
方向に移動させることができる基板セット治具駆動機構
である。なお、制御装置６は、Ｘ−Ｙロボット８，１０
とビジョンコントローラ５を総括して制御している。
する。図１は第１の実施例である電子部品実装装置の構
成を示す図であり、図において、４はＣＣＤカメラであ
り、基板１上に印刷された認識マーク２や基板１に実装
される電子部品の画像を取り込み、その認識マークや電
子部品の重心位置を検出するためのビジョンセンサであ
る。５はビジョンコントローラであり、ＣＣＤカメラ４
が取り込んだ認識マークや電子部品の画像データを処理
し、認識マーク２や電子部品の重心位置を計算すること
のできる画像処理装置である。６は制御装置であり、ビ
ジョンコントローラ５を総括して制御している。８はＸ
−Ｙロボットであり、制御装置６の指令によりＣＣＤカ
メラ４をＸ，Ｙ方向に移動させる認識用光学系駆動機構
である。１０はＸ−Ｙロボットであり、制御装置６の指
令により基板１をセットする基板セット治具９をＸ，Ｙ
方向に移動させることができる基板セット治具駆動機構
である。なお、制御装置６は、Ｘ−Ｙロボット８，１０
とビジョンコントローラ５を総括して制御している。
【００２５】本実施例の作用について、図２を用いて説
明する。制御装置６には予め基板１上に設けられた認識
マークの位置が教示されて入るので、制御装置６の指令
により基板１上に設けられた認識マーク２の上方にＣＣ
Ｄカメラ４が移動し、認識マーク２の画像をビジョンコ
ントローラ５に取り込み、認識マーク２の重心を検出す
る。その後、ＣＣＤカメラ４の視野内から認識マーク２
がはみでない程度に、ＣＣＤカメラ４をＸまたはＹ方向
にＸ−Ｙロボット８により一定距離移動させ、再度認識
マーク２の重心検出を行う。
明する。制御装置６には予め基板１上に設けられた認識
マークの位置が教示されて入るので、制御装置６の指令
により基板１上に設けられた認識マーク２の上方にＣＣ
Ｄカメラ４が移動し、認識マーク２の画像をビジョンコ
ントローラ５に取り込み、認識マーク２の重心を検出す
る。その後、ＣＣＤカメラ４の視野内から認識マーク２
がはみでない程度に、ＣＣＤカメラ４をＸまたはＹ方向
にＸ−Ｙロボット８により一定距離移動させ、再度認識
マーク２の重心検出を行う。
【００２６】その結果、得られた認識マーク２の２つの
重心間のビジョンコントローラ５の画像メモリ空間内で
の距離と、実際のＸ−Ｙロボット８の移動距離から、キ
ャリブレーション値を計算することができる。
重心間のビジョンコントローラ５の画像メモリ空間内で
の距離と、実際のＸ−Ｙロボット８の移動距離から、キ
ャリブレーション値を計算することができる。
【００２７】具体的には図２（ｂ）のように、ＣＣＤカ
メラ４がＸ方向にｄＸ，Ｙ方向にｄＹだけ移動した場合
のビジョンコントローラ５のメモリ空間内での認識マー
ク２の重心の移動距離をそれぞれＡ，Ｂとすると、Ｘ方
向，Ｙ方向のキャリブレーション値は次の式で求めるこ
とができる。
メラ４がＸ方向にｄＸ，Ｙ方向にｄＹだけ移動した場合
のビジョンコントローラ５のメモリ空間内での認識マー
ク２の重心の移動距離をそれぞれＡ，Ｂとすると、Ｘ方
向，Ｙ方向のキャリブレーション値は次の式で求めるこ
とができる。
【００２８】本実施例によれば、基板１上の認識マーク
２や治具の外形寸法精度および認識時の明暗の境界レベ
ルの設定幅に余裕ができ、さらに人間系の感覚的な調整
要素がなくなるため、従来よりも容易にしかも精度よく
安定したキャリブレーション値を求めることができると
いう優れた効果を得ることができる。
２や治具の外形寸法精度および認識時の明暗の境界レベ
ルの設定幅に余裕ができ、さらに人間系の感覚的な調整
要素がなくなるため、従来よりも容易にしかも精度よく
安定したキャリブレーション値を求めることができると
いう優れた効果を得ることができる。
【００２９】なお、本実施例においては、ＣＣＤカメラ
４の視野中で認識マーク２を移動させるためにＣＣＤカ
メラ４をＸ−Ｙロボット８により移動させていたが、図
３の（ａ）に示した構成のように、基板側のＸ−Ｙロボ
ット１０により、Ｘ，Ｙ方向に基板セット治具９上の基
板１を移動させて、ＣＣＤカメラ４の視野中で認識マー
ク２を移動させることで、同様の効果を得ることができ
る。
４の視野中で認識マーク２を移動させるためにＣＣＤカ
メラ４をＸ−Ｙロボット８により移動させていたが、図
３の（ａ）に示した構成のように、基板側のＸ−Ｙロボ
ット１０により、Ｘ，Ｙ方向に基板セット治具９上の基
板１を移動させて、ＣＣＤカメラ４の視野中で認識マー
ク２を移動させることで、同様の効果を得ることができ
る。
【００３０】具体的には図３の（ｂ）のように、基板１
がＸ方向にｄＸ１，Ｙ方向にｄＹ１だけ移動した場合の
ビジョンコントローラのメモリ空間内でのマークの重心
の移動距離をそれぞれＣ，Ｄとすると、Ｘ方向，Ｙ方向
のキャリブレーション値は次の式で求めることができ
る。
がＸ方向にｄＸ１，Ｙ方向にｄＹ１だけ移動した場合の
ビジョンコントローラのメモリ空間内でのマークの重心
の移動距離をそれぞれＣ，Ｄとすると、Ｘ方向，Ｙ方向
のキャリブレーション値は次の式で求めることができ
る。
【００３１】また、Ｘ−Ｙロボット８，１０にてＣＣＤ
カメラ４または基板１を移動させる場合の両方におい
て、それぞれＸ，Ｙの一方向ずつ単独に移動させて、そ
れぞれキャリブレーション値を求める方法と、Ｘ，Ｙ両
方向同時に移動させて、一度に二方向のキャリブレーシ
ョン値を求める方法とが考えられるが、いずれの場合に
おいても上記効果が得られることはいうまでもない。
カメラ４または基板１を移動させる場合の両方におい
て、それぞれＸ，Ｙの一方向ずつ単独に移動させて、そ
れぞれキャリブレーション値を求める方法と、Ｘ，Ｙ両
方向同時に移動させて、一度に二方向のキャリブレーシ
ョン値を求める方法とが考えられるが、いずれの場合に
おいても上記効果が得られることはいうまでもない。
【００３２】次に本発明の第２の実施例を図４により説
明する。図４の（ａ）において、３はＱＦＰ（Ｑｕａｄ
Ｆｌａｔ Ｐａｃｋａｇｅ）ＩＣである。ＱＦＰＩＣ
３のリードは治具等と同様の精度で作られているため、
その隣接する２本のリードの重心検出を行い、ビジョン
コントローラ５の画像メモリ空間内において、検出した
重心間の距離（リードピッチ）を求め、そのリードピッ
チの値と予め教示されている実際のＱＦＰＩＣ３のリー
ドピッチの値からキャリブレーション値を求める。これ
により、認識時の明暗の境界レベルの設定幅に余裕がで
き、さらに人間系の感覚的な調整要素がなくなるため、
従来よりも容易にしかも精度よく安定したキャリブレー
ション値を求めることができるという優れた効果を得る
ことができる。
明する。図４の（ａ）において、３はＱＦＰ（Ｑｕａｄ
Ｆｌａｔ Ｐａｃｋａｇｅ）ＩＣである。ＱＦＰＩＣ
３のリードは治具等と同様の精度で作られているため、
その隣接する２本のリードの重心検出を行い、ビジョン
コントローラ５の画像メモリ空間内において、検出した
重心間の距離（リードピッチ）を求め、そのリードピッ
チの値と予め教示されている実際のＱＦＰＩＣ３のリー
ドピッチの値からキャリブレーション値を求める。これ
により、認識時の明暗の境界レベルの設定幅に余裕がで
き、さらに人間系の感覚的な調整要素がなくなるため、
従来よりも容易にしかも精度よく安定したキャリブレー
ション値を求めることができるという優れた効果を得る
ことができる。
【００３３】具体的には図４の（ｂ）ように、ＣＣＤカ
メラ４によりリードピッチＰのＱＦＰＩＣ３の画像を取
り込み、この取り込んだＱＦＰＩＣ３の画像をビジョン
コントローラ５のメモリ空間内に格納する。そして、ビ
ジョンコントローラ５の画像メモリ空間内でのＸ，Ｙ方
向のＱＦＰＩＣ３のリードピッチＥ，Ｆを算出し、この
リードピッチＥ，Ｆに基づき、Ｘ方向，Ｙ方向のキャリ
ブレーション値を次の式により求めることができる。
メラ４によりリードピッチＰのＱＦＰＩＣ３の画像を取
り込み、この取り込んだＱＦＰＩＣ３の画像をビジョン
コントローラ５のメモリ空間内に格納する。そして、ビ
ジョンコントローラ５の画像メモリ空間内でのＸ，Ｙ方
向のＱＦＰＩＣ３のリードピッチＥ，Ｆを算出し、この
リードピッチＥ，Ｆに基づき、Ｘ方向，Ｙ方向のキャリ
ブレーション値を次の式により求めることができる。
【００３４】なお、本実施例では、ＱＦＰＩＣ３の２本
のリードの重心検出を行い、ビジョンコントローラ５の
画像メモリ空間内でのリードピッチとしたが、ＱＦＰＩ
Ｃ３の複数本のリードの重心検出を行い、各重心間距離
の平均をビジョンコントローラ５の画像メモリ空間内で
のリードピッチとしても良い。
のリードの重心検出を行い、ビジョンコントローラ５の
画像メモリ空間内でのリードピッチとしたが、ＱＦＰＩ
Ｃ３の複数本のリードの重心検出を行い、各重心間距離
の平均をビジョンコントローラ５の画像メモリ空間内で
のリードピッチとしても良い。
【００３５】次に本発明による第３の実施例であるクリ
ーム半田印刷装置の構成を図５に示す。スクリーンマス
ク２３とその認識マーク２４や基板１１に印刷されるク
リーム半田１３の画像を取り込むためのＣＣＤカメラ１
４、取り込んだ画像データを処理するためのビジョンコ
ントローラ１５、ＣＣＤカメラ１４をＸ，Ｙ方向に移動
させるためのＸ−Ｙロボット１８、およびＸ−Ｙロボッ
ト１８とビジョンコントローラ１５を制御する制御装置
１６から構成されている。
ーム半田印刷装置の構成を図５に示す。スクリーンマス
ク２３とその認識マーク２４や基板１１に印刷されるク
リーム半田１３の画像を取り込むためのＣＣＤカメラ１
４、取り込んだ画像データを処理するためのビジョンコ
ントローラ１５、ＣＣＤカメラ１４をＸ，Ｙ方向に移動
させるためのＸ−Ｙロボット１８、およびＸ−Ｙロボッ
ト１８とビジョンコントローラ１５を制御する制御装置
１６から構成されている。
【００３６】本実施例の作用について図６を用いて説明
する。まず予め教示された認識マーク２４上にＣＣＤカ
メラ１４が移動し、認識マーク２４の画像をビジョンコ
ントローラ１５に取り込み、認識マーク２４の重心を検
出する。その後ＣＣＤカメラ１４の視野内から認識マー
ク２４がはみでない程度に、ＣＣＤカメラ１４をＸまた
はＹ方向に一定距離移動させ、再度認識マーク２４の重
心検出を行う。
する。まず予め教示された認識マーク２４上にＣＣＤカ
メラ１４が移動し、認識マーク２４の画像をビジョンコ
ントローラ１５に取り込み、認識マーク２４の重心を検
出する。その後ＣＣＤカメラ１４の視野内から認識マー
ク２４がはみでない程度に、ＣＣＤカメラ１４をＸまた
はＹ方向に一定距離移動させ、再度認識マーク２４の重
心検出を行う。
【００３７】その結果得られた２つの重心間のビジョン
コントローラ１５のメモリ空間内での距離と、実際のＸ
−Ｙロボット１８の移動距離から、キャリブレーション
値を計算することができる。
コントローラ１５のメモリ空間内での距離と、実際のＸ
−Ｙロボット１８の移動距離から、キャリブレーション
値を計算することができる。
【００３８】具体的には図６のように、ＣＣＤカメラ１
４がＸ方向にｄＸ，Ｙ方向にｄＹだけ移動した場合のビ
ジョンコントローラ１５のメモリ空間内での認識マーク
２４の重心の移動距離を夫々Ａ，Ｂとすると、Ｘ，Ｙ方
向のキャリブレーション値は、式３及び式４で求めるこ
とができる。
４がＸ方向にｄＸ，Ｙ方向にｄＹだけ移動した場合のビ
ジョンコントローラ１５のメモリ空間内での認識マーク
２４の重心の移動距離を夫々Ａ，Ｂとすると、Ｘ，Ｙ方
向のキャリブレーション値は、式３及び式４で求めるこ
とができる。
【００３９】本実施例によれば、スクリーンマスク２３
の認識マーク２４や治具の外形寸法精度および認識時の
明暗の境界レベルの設定幅に余裕ができ、さらに人間系
の感覚的な調整要素がなくなるため、従来よりも容易に
しかも精度よく安定したキャリブレーション値を求める
ことができるという優れた効果がある。そのため、高精
度な印刷が可能とすることができるという優れた効果を
得ることができる。
の認識マーク２４や治具の外形寸法精度および認識時の
明暗の境界レベルの設定幅に余裕ができ、さらに人間系
の感覚的な調整要素がなくなるため、従来よりも容易に
しかも精度よく安定したキャリブレーション値を求める
ことができるという優れた効果がある。そのため、高精
度な印刷が可能とすることができるという優れた効果を
得ることができる。
【００４０】以上の第３の実施例においては、ＣＣＤカ
メラ１４の視野中で認識マーク２４を移動させるために
Ｘ−Ｙロボット１８よりＣＣＤカメラ１４を移動させて
いたが、図７に示した構成のように、Ｘ−Ｙロボット２
５によりスクリーンマスク２３側をＸ−Ｙ方向へ移動さ
せることにより、認識マーク２４を移動させるようにし
ても同様の効果を得ることができる。
メラ１４の視野中で認識マーク２４を移動させるために
Ｘ−Ｙロボット１８よりＣＣＤカメラ１４を移動させて
いたが、図７に示した構成のように、Ｘ−Ｙロボット２
５によりスクリーンマスク２３側をＸ−Ｙ方向へ移動さ
せることにより、認識マーク２４を移動させるようにし
ても同様の効果を得ることができる。
【００４１】具体的には図７のように、スクリーンマス
ク２３がＸ方向にｄＸ１，Ｙ方向にｄＹ１だけ移動した
場合のビジョンコントローラ１５のメモリ空間内での認
識マーク２４の重心の移動距離をそれぞれＣ，Ｄとする
と、式５及び式６で求めることができる。
ク２３がＸ方向にｄＸ１，Ｙ方向にｄＹ１だけ移動した
場合のビジョンコントローラ１５のメモリ空間内での認
識マーク２４の重心の移動距離をそれぞれＣ，Ｄとする
と、式５及び式６で求めることができる。
【００４２】また、Ｘ−Ｙロボット１８，２５により、
ＣＣＤカメラ１４またはスクリーンマスク２３を移動さ
せるいずれの場合においても、それぞれＸ，Ｙの一方向
ずつ単独に移動させてそれぞれキャリブレーション値を
求める方法と、Ｘ，Ｙ両方向同時に移動させ一度に二方
向のキャリブレーション値を求める方法が考えられる
が、いずれの場合においても上記効果が得られることは
いうまでもない。
ＣＣＤカメラ１４またはスクリーンマスク２３を移動さ
せるいずれの場合においても、それぞれＸ，Ｙの一方向
ずつ単独に移動させてそれぞれキャリブレーション値を
求める方法と、Ｘ，Ｙ両方向同時に移動させ一度に二方
向のキャリブレーション値を求める方法が考えられる
が、いずれの場合においても上記効果が得られることは
いうまでもない。
【００４３】
【発明の効果】請求項１または２記載の発明によれば、
まず最初の位置で認識対象物の位置を検出し、その後認
識対象物または認識用光学系を一定距離移動させた後に
再度認識対象物の位置を検出することで、実際の認識対
象物と認識用光学系の相対的な移動距離と認識光学系の
視野内での移動量からキャリブレーション値を算出する
ため、画像処理の際に明暗の明暗の境界レベルをそれほ
ど厳密に設定しなくてもよくなるとともに、認識対象物
の外形寸法精度も要求されなくなりかつ常に安定したキ
ャリブレーションを行うことができる。
まず最初の位置で認識対象物の位置を検出し、その後認
識対象物または認識用光学系を一定距離移動させた後に
再度認識対象物の位置を検出することで、実際の認識対
象物と認識用光学系の相対的な移動距離と認識光学系の
視野内での移動量からキャリブレーション値を算出する
ため、画像処理の際に明暗の明暗の境界レベルをそれほ
ど厳密に設定しなくてもよくなるとともに、認識対象物
の外形寸法精度も要求されなくなりかつ常に安定したキ
ャリブレーションを行うことができる。
【００４４】また、請求項３記載の発明によれば、予め
形状寸法の分かっている認識対象物を認識用光学系によ
り認識し、その認識結果により得られた認識対象物の形
状寸法と実際の認識対象物の形状寸法とから認識用光学
系のキャリブレーション値を算出する場合には、実際の
認識対象物の形状寸法と認識光学系の視野内での認識対
象物の形状寸法からキャリブレーション値を算出するた
め、画像処理の際に明暗の境界レベルをそれほど厳密に
設定しなくてもよくなり、常に安定したキャリブレーシ
ョンを行うことができる。
形状寸法の分かっている認識対象物を認識用光学系によ
り認識し、その認識結果により得られた認識対象物の形
状寸法と実際の認識対象物の形状寸法とから認識用光学
系のキャリブレーション値を算出する場合には、実際の
認識対象物の形状寸法と認識光学系の視野内での認識対
象物の形状寸法からキャリブレーション値を算出するた
め、画像処理の際に明暗の境界レベルをそれほど厳密に
設定しなくてもよくなり、常に安定したキャリブレーシ
ョンを行うことができる。
【図１】本発明による第１の実施例である電子部品実装
装置の構成図である。
装置の構成図である。
【図２】本発明による第１の実施例である電子部品実装
装置の作用説明図である。
装置の作用説明図である。
【図３】本発明による第１の実施例である電子部品実装
装置の作用説明図である。
装置の作用説明図である。
【図４】本発明による第２の実施例である電子部品実装
装置の作用説明図である。
装置の作用説明図である。
【図５】本発明による第３の実施例であるクリーム半田
印刷装置の構成図である。
印刷装置の構成図である。
【図６】本発明による第３の実施例であるクリーム半田
印刷装置の作用説明図である。
印刷装置の作用説明図である。
【図７】本発明による第３の実施例であるクリーム半田
印刷装置の作用説明図である。
印刷装置の作用説明図である。
【図８】基板の円形マークを示す図である。
【図９】円形マークの画像をビジョンコントローラ内に
取り込んだときの画像メモリ空間内の座標系を示す図で
ある。
取り込んだときの画像メモリ空間内の座標系を示す図で
ある。
【図１０】円形マークの直径部分を量子化したときの量
子化レベルと画像メモリ空間内座標との関係を示す図で
ある。
子化レベルと画像メモリ空間内座標との関係を示す図で
ある。
１…基板， ２…認識マーク，
３…ＱＦＰＩＣ，４…ＣＣＤカメラ， ５…ビジョ
ンコントローラ，６…制御装置，７…取り込んだ画像の
最小分解単位，８…Ｘ−Ｙロボット， ９…基板セッ
ト治具， １０…Ｘ−Ｙロボット。 １１…基板，
１２…認識マーク， １３…クリーム半
田，１４…ＣＣＤカメラ ， １５…ビジョンコントロ
ーラ，１６…制御装置，１８…Ｘ−Ｙロボット， １９
…基板セット治具， ２０…Ｘ−Ｙロボット ２３…スクリーンマスク，２４…認識マーク， ２
５…Ｘ−Ｙロボット。
３…ＱＦＰＩＣ，４…ＣＣＤカメラ， ５…ビジョ
ンコントローラ，６…制御装置，７…取り込んだ画像の
最小分解単位，８…Ｘ−Ｙロボット， ９…基板セッ
ト治具， １０…Ｘ−Ｙロボット。 １１…基板，
１２…認識マーク， １３…クリーム半
田，１４…ＣＣＤカメラ ， １５…ビジョンコントロ
ーラ，１６…制御装置，１８…Ｘ−Ｙロボット， １９
…基板セット治具， ２０…Ｘ−Ｙロボット ２３…スクリーンマスク，２４…認識マーク， ２
５…Ｘ−Ｙロボット。
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/64 ３２０ Ｈ (72)発明者 黒田 寿仁 三重県三重郡朝日町大字繩生2121番地 株 式会社東芝三重工場内 (72)発明者 中川 浩一 東京都府中市晴見町２丁目24番地の１ 東 芝エフエーシステムエンジニアリング株式 会社内
Claims (3)
- 【請求項１】 認識用光学系により認識対象物の位置を
検出し、検出した認識対象物の位置に基づき認識対象物
の位置補正を行う視覚認識装置の認識用光学系のキャリ
ブレーション方法において、 認識対象物と認識用光学系を相対的に移動させる移動手
段により、認識対象物または認識用光学系をある一方向
に移動させ、認識用光学系の視野中で認識対象物が移動
した距離と実際の認識対象物と認識用光学系の相対的な
移動距離とからある一方向に対する認識用光学系のキャ
リブレーション値を算出し、 移動手段により、認識対象物または認識用光学系を他の
一方向に移動させ、認識用光学系の視野中で認識対象物
が移動した距離と実際の認識対象物と認識用光学系の相
対的な移動距離とから他の一方向に対する認識用光学系
のキャリブレーション値を算出することを特徴とした視
覚認識装置の認識用光学系のキャリブレーション方法。 - 【請求項２】 認識用光学系により認識対象物の位置を
検出し、検出した認識対象物の位置に基づき認識対象物
の位置補正を行う視覚認識装置の認識用光学系のキャリ
ブレーション方法において、 認識対象物と認識用光学系を相対的に移動させる移動手
段により、認識対象物または認識用光学系をある方向に
移動させ、認識用光学系の視野中で認識対象物が移動し
た距離と実際の認識対象物と認識用光学系の相対的な移
動距離とからある方向のＸ，Ｙ成分方向に対する認識用
光学系のキャリブレーション値を算出することを特徴と
した視覚認識装置の認識用光学系のキャリブレーション
方法。 - 【請求項３】 認識用光学系により認識対象物の位置を
検出し、検出した認識対象物の位置に基づき認識対象物
の位置補正を行う視覚認識装置の認識用光学系のキャリ
ブレーション方法において、 予め形状寸法の分かっている認識対象物を認識用光学系
により認識し、その認識結果により得られた認識対象物
の形状寸法と、実際の認識対象物の形状寸法と、から認
識用光学系のキャリブレーション値を算出することを特
徴とした視覚認識装置の認識用光学系のキャリブレーシ
ョン方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00107794A JP3419870B2 (ja) | 1994-01-11 | 1994-01-11 | 視覚認識装置の認識用光学系のキャリブレーション方法及びその方法を用いた視覚認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00107794A JP3419870B2 (ja) | 1994-01-11 | 1994-01-11 | 視覚認識装置の認識用光学系のキャリブレーション方法及びその方法を用いた視覚認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07208924A true JPH07208924A (ja) | 1995-08-11 |
| JP3419870B2 JP3419870B2 (ja) | 2003-06-23 |
Family
ID=11491446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00107794A Expired - Fee Related JP3419870B2 (ja) | 1994-01-11 | 1994-01-11 | 視覚認識装置の認識用光学系のキャリブレーション方法及びその方法を用いた視覚認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3419870B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0989527A (ja) * | 1995-09-27 | 1997-04-04 | Ntn Corp | 計測装置の演算パラメータ計測方法、および計測装置 |
| JP2007064698A (ja) * | 2005-08-30 | 2007-03-15 | Yaskawa Electric Corp | 画像処理装置および画像処理装置のキャリブレーション方法 |
| JP2009085806A (ja) * | 2007-10-01 | 2009-04-23 | Shimadzu Corp | ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107422501B (zh) * | 2017-08-31 | 2020-11-24 | 深圳市华星光电半导体显示技术有限公司 | 液晶母板显示影像获取方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01219501A (ja) * | 1988-02-29 | 1989-09-01 | Ya Man Ltd | Ｃｃｄカメラによる測長方法 |
| JPH0415883A (ja) * | 1990-05-09 | 1992-01-21 | Omron Corp | 画像処理装置 |
| JPH06249615A (ja) * | 1993-02-25 | 1994-09-09 | Sony Corp | 位置検出方法 |
-
1994
- 1994-01-11 JP JP00107794A patent/JP3419870B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01219501A (ja) * | 1988-02-29 | 1989-09-01 | Ya Man Ltd | Ｃｃｄカメラによる測長方法 |
| JPH0415883A (ja) * | 1990-05-09 | 1992-01-21 | Omron Corp | 画像処理装置 |
| JPH06249615A (ja) * | 1993-02-25 | 1994-09-09 | Sony Corp | 位置検出方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0989527A (ja) * | 1995-09-27 | 1997-04-04 | Ntn Corp | 計測装置の演算パラメータ計測方法、および計測装置 |
| JP2007064698A (ja) * | 2005-08-30 | 2007-03-15 | Yaskawa Electric Corp | 画像処理装置および画像処理装置のキャリブレーション方法 |
| JP2009085806A (ja) * | 2007-10-01 | 2009-04-23 | Shimadzu Corp | ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3419870B2 (ja) | 2003-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100787704B1 (ko) | 반송용 로봇 티칭 장치 및 반송용 로봇의 티칭 방법 | |
| KR20020021174A (ko) | 온헤드 라인스캔 센싱법을 이용한 픽 앤 플레이스 머신교정 방법 | |
| JPH041505A (ja) | ワークの３次元位置計測方法とワークの捕捉方法 | |
| US7058216B2 (en) | Apparatus for detecting lead coplanarity, apparatus for detecting condition of electronic component, and system for mounting electronic component | |
| KR102506283B1 (ko) | 다이 본딩 장치 및 반도체 장치의 제조 방법 | |
| JP5457665B2 (ja) | 電子部品装着装置 | |
| JP3644846B2 (ja) | 描画装置の移動誤差検出装置及びその方法 | |
| JP3419870B2 (ja) | 視覚認識装置の認識用光学系のキャリブレーション方法及びその方法を用いた視覚認識装置 | |
| US7614031B2 (en) | Drawing apparatus with drawing data correction function | |
| JP2007048921A (ja) | 電子部品の画像取得方法及び装置 | |
| JP2707548B2 (ja) | 視覚認識装置の座標補正方法 | |
| JP3286105B2 (ja) | 実装機の装着位置補正方法 | |
| US5751917A (en) | Method and apparatus for controlling movements of a chip mounting robot | |
| US20220105641A1 (en) | Belt Conveyor Calibration Method, Robot Control Method, and Robot System | |
| JP3891825B2 (ja) | 電子部品実装装置 | |
| JPH08181493A (ja) | 部品搭載方法および装置 | |
| JP2007090789A (ja) | スクリーン印刷装置 | |
| JP2007064698A (ja) | 画像処理装置および画像処理装置のキャリブレーション方法 | |
| JP2917117B2 (ja) | プリント基板における作業位置座標算出方法およびその装置 | |
| WO2014188564A1 (ja) | 部品実装装置 | |
| JP3499316B2 (ja) | 実装機の校正データ検出方法及び実装機 | |
| JP2000258121A (ja) | 複数カメラ校正用のマスター基板及び画像認識カメラの校正方法 | |
| JP5113657B2 (ja) | 表面実装方法及び装置 | |
| JPH05309482A (ja) | レーザ刻印装置 | |
| WO1997030572A1 (en) | Process for forming on an opto-electronic transducer a shadow image of at least a part of an electronic component |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090418 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090418 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100418 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120418 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |