JP4096415B2 - 位置データ較正装置 - Google Patents
位置データ較正装置 Download PDFInfo
- Publication number
- JP4096415B2 JP4096415B2 JP24484298A JP24484298A JP4096415B2 JP 4096415 B2 JP4096415 B2 JP 4096415B2 JP 24484298 A JP24484298 A JP 24484298A JP 24484298 A JP24484298 A JP 24484298A JP 4096415 B2 JP4096415 B2 JP 4096415B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- data
- vision system
- calibration
- coordinate transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、いわゆるロボットシステムにおける位置データ較正装置に関する。特に、ビンピッキングシステムにあって、必要な各装置の位置関係及び部品検出に必要な位置データを較正する手段を提供するものである。
【０００２】
【従来の技術】
ビンピッキングシステムは箱の中に投入された対象部品の位置姿勢を画像計測装置で検出し、その情報を元にロボットアームで対象部品をハンドリングするシステムである。この場合、対象部品の位置検出方法としてモデルベーストマッチング法があり、部品のモデル作製方法としても種々の提案がある。
また、ハンドリングの際必要な、ロボットアーム装置と画像計測装置との相対関係を求める方法としても従来より様々な提案がある。
【０００３】
【発明が解決しようとする課題】
ビンピッキングシステムを正しく動作させるためには、対象部品の位置検出やハンドリングデータを計算するために必要な各装置の位置関係が既知であり、またその位置関係が正しく保たれていなければならない。
【０００４】
しかしながら、カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合は、カメラの位置やそれに伴う画像計測装置の座標系が変わるため、今までのデータを全て新しく作り直す必要がある。
またカメラ取付部の経年変化によりカメラの位置姿勢にズレが生じた場合、対象部品の検出位置姿勢が実体の位置姿勢と異なるため、システムの動作に不具合が生じる。
【０００５】
本発明は、上述の問題を解決し座標系が変っても、データの作り直しの手間が要らず、またシステムの作動に不具合とならない位置データ較正装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
上述の目的を達成する位置デ−タ較正装置は、カメラ等の画像計測装置の視野内に存在する位置が変化しない背景物体を基に、又は、前記画像計測装置の視野内に固定した識別の容易なマーク物体を基に、又は、前記画像計測装置の視野内に用意しておいたジグによって位置精度良く取付けたマーク物体を基に、又は、ロボットアームに取り付けられたマーク物体を基に、又は、作業者側で適切に設置した基準部品を基に基準物体系（Σ S ）を設定する基準座標系設定部と、前記画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ V ）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ V' ）として設定するビジョン系設定部と、前記ビジョン系設定部により設定された前記新ビジョン系（Σ V' ）から前記基準座標系設定部により設定された前記基準物体系（Σ S ）への座標変換（Ｔ V'S ）を計算する座標変換データ計算部と、前記座標変換データ計算部により求められた前記座標変換（Ｔ V'S ）の逆変換（Ｔ V'S -1 ）と前記旧ビジョン系（Σ V ）から前記基準物体系（Σ S ）への座標変換（Ｔ VS ）とに基づいて、前記旧ビジョン系（Σ V ）から前記新ビジョン系（Σ V' ）への座標変換（Ｔ VV' ）を計算する較正座標変換データ計算部と、前記較正座標変換データ計算部により求められた前記座標変換（Ｔ VV' ）、その逆変換（Ｔ VV' -1 ）、ロボットアーム装置の座標系であるロボット系（Σ R ）から前記旧ビジョン系（Σ V ）への座標変換（Ｔ RV ）及び前記旧ビジョン系（Σ V ）からハンドの対象である物体の座標系であるハンド系（Σ H ）への座標変換（Ｔ VH ）に基づいて、前記ロボット系（Σ R ）から前記新ビジョン系（Σ V' ）への座標変換（Ｔ RV' ）及び前記新ビジョン系（Σ V' ）から前記ハンド系（Σ H ）への座標変換（Ｔ V'H ）をそれぞれ求める装置位置関係データ較正部と、前記較正座標変換データ計算部により求められた前記座標変換（Ｔ VV' ）の逆変換（Ｔ VV' -1 ）に基づき、前記旧ビジョン系（Σ V ）を基準にした部品モデルデータの点（ｐ V ）を前記新ビジョン系（Σ V' ）を基準にした部品モデルデータの点（ｐ V' ）へ変換する部品モデルデータ較正部と、を備えることを特徴とする。したがって、カメラ等の画像計測装置の視野内に存在する位置が変化しない背景物体、画像計測装置の視野内に固定した識別の容易なマーク物体、画像計測装置の視野内に用意しておいたジグによって位置精度良く取付けたマーク物体、ロボットアームに取り付けられたマーク物体、作業者側で適切に設置した基準部品（以下、これらの背景物体、マーク物体及び基準部品を総称して基準物体と言う）を基に基準物体系を設定するため、基準物体系を設定するための特別な装置を用意する必要がなく、簡素なシステムを構成でき、装置のコストを小さくすることができるメリットがある。
【００１１】
〔作用〕
本発明は、カメラ等の画像計測装置の交換やその取付部の経年変化によりその位置姿勢が変化した場合でも、例えばビンピッキング作業前にデータ較正を行うことにより、ビンピッキングシステムの動作に必要な位置関係データや部品データを全て新しく作り直すことなく、ビンピッキング装置を正常に動作させることができる。
【００１２】
【発明の実施の形態】
（１）基本的な考え方
本発明の目的は例えばビンピッキングシステムに必要な各装置の位置関係及び部品検出に必要な位置データを較正することである。
カメラの位置姿勢が変化した場合、それに伴い画像計測装置の新しい座標系を設定する必要がある。
【００１３】
この時画像計測装置の今までの座標系と新しく設定した座標系の位置関係が検出できれば、その位置関係データを用いて各装置の位置関係データや部品検出に必要な部品データを新しく設定した画像計測装置の座標系を基にしたデータへ変換することができる。
そこで、本発明では画像計測装置の画面内に入る位置の動かない基準物体における座標系を考え、その基準物体の座標系を介することで、画像計測装置の今までの座標系と新しく設定した座標系の位置関係を求める。
【００１４】
（２）各装置の座標系と相対関係
図１の様に各座標系を設定する。
ここで各座標系は次のものである。
ΣV ：旧ビジョン系（画像計測装置の今までの座標系）
ΣV'：新ビジョン系（画像計測装置の新しく設定した座標系）
ΣR ：ロボット系（ロボットアーム装置の座標系）
ΣH ：ハンド系（ハンドの対象物体ハンドリング時の座標系）
ΣS ：基準物体系（基準物体の座標系）
【００１５】
各装置間の位置関係はその装置の座標系から別の装置の座標系への座標変換データとして求められる。
ＴRV：ロボット系ΣR から旧ビジョン系ΣV への座標変換
ＴVH：旧ビジョン系ΣV からハンド系ΣH への座標変換
ＴVS：旧ビジョン系ΣV から基準物体系ΣS への座標変換
ＴRV' ：ロボット系ΣR から新ビジョン系ΣV'への座標変換
ＴV'H ：新ビジョン系ΣV'からハンド系ΣH への座標変換
ＴV'S ：新ビジョン系ΣV'から基準物体系ΣS への座標変換
ＴVV' ：旧ビジョン系ΣV から新ビジョン系ΣV'への座標変換
【００１６】
（３）較正座標変換データの計算
データ較正に必要な、変換データは旧ビジョン系ΣV から新ビジョン系ΣV'への座標変換データＴVV' である。これは旧ビジョン系ΣV から基準物体系への座標変換及び新ビジョン系ΣV'から基準物体系への座標変換により次の式１のように計算できる。
ＴVV' ＝ＴVSＴV'S -1 ・・・（１）
【００１７】
（４）装置位置関係の較正
ロボット系ΣR と新ビジョン系ΣV'の位置関係は較正座標変換データと今までの位置関係より次式２のように計算できる。
ＴRV' ＝ＴRVＴVV' ・・・（２）
新ビジョン系ΣV'とハンド系ΣH の位置関係は較正座標変換データと今までの位置関係より次式３のように計算できる。
ＴV'H ＝ＴVV' -1ＴVH ・・・（３）
【００１８】
（５）部品モデルデータの較正
部品の三次元形状モデルは三次元的な直線特徴や曲線特徴で構成され、それらの三次元データはビジョン系を基にした特徴上の点の三次元位置データである。
そこで部品の三次元形状モデルの較正は、モデルを構成する点位置データの旧ビジョン系ΣV から新ビジョン系ΣV'への座標変換で行うことができる。
旧ビジョン系ΣV を基準にした点ｐV は新ビジョン系ΣV'を基準にした点ｐV'へ次式４のように変換される。
【００１９】
ｐV'＝ＴVV' -1ｐV ・・・（４）
こうして変換した三次元形状モデルの点を再構成することで、部品の三次元形状モデルの較正を行うことができる。
新ビジョン系ΣV'を基にした三次元形状モデルが計算されれば、カメラの新しい位置姿勢においての見え方モデルであるイメージ上の二次元形状モデルは、三次元形状モデルのカメラのイメージ平面への透視変換によって較正することができる。
【００２０】
（６）基準物体系の設定
(6.1) 背景物体による基準物体系の設定
カメラの視野内にベルトコンベアや作業台といった位置が変化しない物体が存在する場合は図２のように背景物体を基準物体とし、基準物体系を設定することができる。
【００２１】
(6.2) 固定マーク物体による基準物体系の設定
カメラ視野内に位置が変化しない固定マーク物体を設置できる場合は、図３のように固定マーク物体を基準物体とし、基準物体系を設定することができる。
【００２２】
(6.3) 取付マーク物体による基準物体系の設定
装置に常時取り付けてはいないが、較正作業の際何らかのジグによって取付マークを設置できる場合は、図４のように取付マーク物体を基準物体とし、基準物体系を設定することができる。
【００２３】
(6.4) ロボットアームに取り付けたマーク物体による基準物体系の設定
ロボットアームにマーク物体を取り付けることができる場合は、図５のようにそのマーク物体を基準物体とし、基準物体系を設定することができる。
【００２４】
(6.5) 基準部品による基準物体系の設定
較正作業用に基準部品として選んだ部品を、ロボットアーム等を用いて同一の位置に設置できる場合は、図６のようにその基準部品を基準物体とし、基準物体系を設定することができる。
【００２５】
（７）位置データの較正方法
(7.1) 背景物体による位置データ較正方法
カメラの位置姿勢が変化した場合、図７に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼ 画像計測装置の新ビジョン系の設定を行う。
▲２▼ 背景物体を基に基準物体系を設定する。
▲３▼ 新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼ 前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼ 較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼ 較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２６】
(7.2) 固定マーク物体による基準物体系の設定
カメラの位置姿勢が変化した場合、図８に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼ 画像計測装置の新ビジョン系の設定を行う。
▲２▼ 固定マーク物体を基に基準物体系を設定する。
▲３▼ 新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼ 前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼ 較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼ 較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２７】
(7.3) 取付マーク物体による基準物体系の設定
カメラの位置姿勢が変化した場合、図９に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼ 画像計測装置の新ビジョン系の設定を行う。
▲２▼ 取付マーク物体を基に基準物体系を設定する。
▲３▼ 新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼ 前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼ 較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼ 較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２８】
(7.4) ロボットアームに取り付けたマーク物体による位置データ較正方法
カメラの位置姿勢が変化した場合、図１０に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼ 画像計測装置の新ビジョン系の設定を行う。
▲２▼ ロボットアームに取り付けたマーク物体を基に基準物体系を設定する。
▲３▼ 新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼ 前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼ 較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼ 較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２９】
(7.5) 基準部品による位置データ較正方法
カメラの位置姿勢が変化した場合、図１１に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼ 画像計測装置の新ビジョン系の設定を行う。
▲２▼ 基準部品を基に基準物体系を設定する。
▲３▼ 新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼ 前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼ 較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼ 較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００３０】
【実施例】
＜実施例１＞
本発明による第１の実施例に係る背景物体による位置データ較正装置の例を図１２に示す。
この装置は、画像計測装置の新ビジョン系ΣV'の設定を行い、背景物体を基に基準物体系ΣS を設定し、新ビジョン系から基準物体系への座標変換データＴV'S を計算し、前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと新たに計算した新ビジョン系から基準物体系への座標変換データを用いて較正座標変換データＴVV' を計算し、較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正し、較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正することで、ビンピッキングシステムに必要な位置データを較正する。
【００３１】
＜実施例２＞
本発明による第２の実施例に係る固定マーク物体による位置データ較正装置の例を図１３に示す。
この装置は、上記第１の実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりに固定マーク物体を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。
【００３２】
＜実施例３＞
本発明による第３の実施例に係る取付マーク物体による位置データ較正装置の例を図１４に示す。
この装置は、上記第１の実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりに取付マーク物体を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。
【００３３】
＜実施例４＞
本発明による第４の実施例に係るロボットアームに取り付けたマーク物体による位置データ較正装置の例を図１５に示す。
この装置は、上記第１の実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりにロボットアームに取り付けたマーク物体を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。
【００３４】
＜実施例５＞
本発明による第５の実施例に係る基準部品による位置データ較正装置の例を図１６に示す。
この装置は、上記第１実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりに基準部品を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。なお、上記各較正処理についてはそのソフトウェアを記憶したフロッピィーディスク、ＣＤ−ＲＯＭ等の媒体により行なわれる。
【００３５】
【発明の効果】
以上説明したように本発明によれば、次の効果を有する。
（１）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、ビンピッキングシステムに必要な位置データを較正できるため、今までのデータを全て新しく作り直す必要がない。
（２）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換に伴う作業による作業時間を大幅に短縮できる。
（３）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、大量の部品モデルデータを扱い易く、多品種を扱う工程に容易に対応できる。
（４）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、過去に作った大量の部品モデルデータのデータベースを効率よく扱うことができる。
（５）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換に伴う作業コストを小さくすることができる。
（６）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換に伴う作業者の負担を軽減できる。
（７）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換作業を容易に行うことができる。
（８）定期的に位置データ較正を行うことにより、カメラ取付部の経年変化によってカメラの位置姿勢に多少のズレが生じた場合でも、システムを正常に動作させ続けることができる。
（９）定期的に位置データ較正を行うことによって、システムの信頼性が向上する。
【図面の簡単な説明】
【図１】位置データ較正に用いる座標系を示す図。
【図２】背景物体による基準物体系を示す説明図。
【図３】固定マーク物体による基準物体系を示す説明図。
【図４】取付マーク物体による基準物体系を示す説明図。
【図５】ロボットアームに取り付けたマーク物体による基準物体系を説明する図。
【図６】基準部品による基準物体系を示す説明図。
【図７】背景物体による位置データ較正方法を示すフローチャート。
【図８】固定マーク物体による位置データ較正方法を示すフローチャート。
【図９】取付マーク物体による位置データ較正方法を示すフローチャート。
【図１０】ロボットアームに取り付けたマーク物体による位置データ較正方法を示すフローチャート。
【図１１】基準部品による位置データ較正方法を示すフローチャート。
【図１２】背景物体による位置データ較正装置の構成図。
【図１３】固定マーク物体による位置データ較正装置の構成図。
【図１４】取付マーク物体による位置データ較正装置の構成図。
【図１５】ロボットアームに取り付けたマーク物体による位置データ較正装置の構成図。
【図１６】基準部品による位置データ較正装置の構成図。
【符号の説明】
ΣR ，ΣH ，ΣV ，ΣV'，ΣS 座標系
ＴRV ,ＴVH ,ＴVS ,ＴRV' ，ＴV'H ，ＴV'S ，ＴVV' 座標変換データ
【発明の属する技術分野】
本発明は、いわゆるロボットシステムにおける位置データ較正装置に関する。特に、ビンピッキングシステムにあって、必要な各装置の位置関係及び部品検出に必要な位置データを較正する手段を提供するものである。
【０００２】
【従来の技術】
ビンピッキングシステムは箱の中に投入された対象部品の位置姿勢を画像計測装置で検出し、その情報を元にロボットアームで対象部品をハンドリングするシステムである。この場合、対象部品の位置検出方法としてモデルベーストマッチング法があり、部品のモデル作製方法としても種々の提案がある。
また、ハンドリングの際必要な、ロボットアーム装置と画像計測装置との相対関係を求める方法としても従来より様々な提案がある。
【０００３】
【発明が解決しようとする課題】
ビンピッキングシステムを正しく動作させるためには、対象部品の位置検出やハンドリングデータを計算するために必要な各装置の位置関係が既知であり、またその位置関係が正しく保たれていなければならない。
【０００４】
しかしながら、カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合は、カメラの位置やそれに伴う画像計測装置の座標系が変わるため、今までのデータを全て新しく作り直す必要がある。
またカメラ取付部の経年変化によりカメラの位置姿勢にズレが生じた場合、対象部品の検出位置姿勢が実体の位置姿勢と異なるため、システムの動作に不具合が生じる。
【０００５】
本発明は、上述の問題を解決し座標系が変っても、データの作り直しの手間が要らず、またシステムの作動に不具合とならない位置データ較正装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
上述の目的を達成する位置デ−タ較正装置は、カメラ等の画像計測装置の視野内に存在する位置が変化しない背景物体を基に、又は、前記画像計測装置の視野内に固定した識別の容易なマーク物体を基に、又は、前記画像計測装置の視野内に用意しておいたジグによって位置精度良く取付けたマーク物体を基に、又は、ロボットアームに取り付けられたマーク物体を基に、又は、作業者側で適切に設置した基準部品を基に基準物体系（Σ S ）を設定する基準座標系設定部と、前記画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ V ）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ V' ）として設定するビジョン系設定部と、前記ビジョン系設定部により設定された前記新ビジョン系（Σ V' ）から前記基準座標系設定部により設定された前記基準物体系（Σ S ）への座標変換（Ｔ V'S ）を計算する座標変換データ計算部と、前記座標変換データ計算部により求められた前記座標変換（Ｔ V'S ）の逆変換（Ｔ V'S -1 ）と前記旧ビジョン系（Σ V ）から前記基準物体系（Σ S ）への座標変換（Ｔ VS ）とに基づいて、前記旧ビジョン系（Σ V ）から前記新ビジョン系（Σ V' ）への座標変換（Ｔ VV' ）を計算する較正座標変換データ計算部と、前記較正座標変換データ計算部により求められた前記座標変換（Ｔ VV' ）、その逆変換（Ｔ VV' -1 ）、ロボットアーム装置の座標系であるロボット系（Σ R ）から前記旧ビジョン系（Σ V ）への座標変換（Ｔ RV ）及び前記旧ビジョン系（Σ V ）からハンドの対象である物体の座標系であるハンド系（Σ H ）への座標変換（Ｔ VH ）に基づいて、前記ロボット系（Σ R ）から前記新ビジョン系（Σ V' ）への座標変換（Ｔ RV' ）及び前記新ビジョン系（Σ V' ）から前記ハンド系（Σ H ）への座標変換（Ｔ V'H ）をそれぞれ求める装置位置関係データ較正部と、前記較正座標変換データ計算部により求められた前記座標変換（Ｔ VV' ）の逆変換（Ｔ VV' -1 ）に基づき、前記旧ビジョン系（Σ V ）を基準にした部品モデルデータの点（ｐ V ）を前記新ビジョン系（Σ V' ）を基準にした部品モデルデータの点（ｐ V' ）へ変換する部品モデルデータ較正部と、を備えることを特徴とする。したがって、カメラ等の画像計測装置の視野内に存在する位置が変化しない背景物体、画像計測装置の視野内に固定した識別の容易なマーク物体、画像計測装置の視野内に用意しておいたジグによって位置精度良く取付けたマーク物体、ロボットアームに取り付けられたマーク物体、作業者側で適切に設置した基準部品（以下、これらの背景物体、マーク物体及び基準部品を総称して基準物体と言う）を基に基準物体系を設定するため、基準物体系を設定するための特別な装置を用意する必要がなく、簡素なシステムを構成でき、装置のコストを小さくすることができるメリットがある。
【００１１】
〔作用〕
本発明は、カメラ等の画像計測装置の交換やその取付部の経年変化によりその位置姿勢が変化した場合でも、例えばビンピッキング作業前にデータ較正を行うことにより、ビンピッキングシステムの動作に必要な位置関係データや部品データを全て新しく作り直すことなく、ビンピッキング装置を正常に動作させることができる。
【００１２】
【発明の実施の形態】
（１）基本的な考え方
本発明の目的は例えばビンピッキングシステムに必要な各装置の位置関係及び部品検出に必要な位置データを較正することである。
カメラの位置姿勢が変化した場合、それに伴い画像計測装置の新しい座標系を設定する必要がある。
【００１３】
この時画像計測装置の今までの座標系と新しく設定した座標系の位置関係が検出できれば、その位置関係データを用いて各装置の位置関係データや部品検出に必要な部品データを新しく設定した画像計測装置の座標系を基にしたデータへ変換することができる。
そこで、本発明では画像計測装置の画面内に入る位置の動かない基準物体における座標系を考え、その基準物体の座標系を介することで、画像計測装置の今までの座標系と新しく設定した座標系の位置関係を求める。
【００１４】
（２）各装置の座標系と相対関係
図１の様に各座標系を設定する。
ここで各座標系は次のものである。
ΣV ：旧ビジョン系（画像計測装置の今までの座標系）
ΣV'：新ビジョン系（画像計測装置の新しく設定した座標系）
ΣR ：ロボット系（ロボットアーム装置の座標系）
ΣH ：ハンド系（ハンドの対象物体ハンドリング時の座標系）
ΣS ：基準物体系（基準物体の座標系）
【００１５】
各装置間の位置関係はその装置の座標系から別の装置の座標系への座標変換データとして求められる。
ＴRV：ロボット系ΣR から旧ビジョン系ΣV への座標変換
ＴVH：旧ビジョン系ΣV からハンド系ΣH への座標変換
ＴVS：旧ビジョン系ΣV から基準物体系ΣS への座標変換
ＴRV' ：ロボット系ΣR から新ビジョン系ΣV'への座標変換
ＴV'H ：新ビジョン系ΣV'からハンド系ΣH への座標変換
ＴV'S ：新ビジョン系ΣV'から基準物体系ΣS への座標変換
ＴVV' ：旧ビジョン系ΣV から新ビジョン系ΣV'への座標変換
【００１６】
（３）較正座標変換データの計算
データ較正に必要な、変換データは旧ビジョン系ΣV から新ビジョン系ΣV'への座標変換データＴVV' である。これは旧ビジョン系ΣV から基準物体系への座標変換及び新ビジョン系ΣV'から基準物体系への座標変換により次の式１のように計算できる。
ＴVV' ＝ＴVSＴV'S -1 ・・・（１）
【００１７】
（４）装置位置関係の較正
ロボット系ΣR と新ビジョン系ΣV'の位置関係は較正座標変換データと今までの位置関係より次式２のように計算できる。
ＴRV' ＝ＴRVＴVV' ・・・（２）
新ビジョン系ΣV'とハンド系ΣH の位置関係は較正座標変換データと今までの位置関係より次式３のように計算できる。
ＴV'H ＝ＴVV' -1ＴVH ・・・（３）
【００１８】
（５）部品モデルデータの較正
部品の三次元形状モデルは三次元的な直線特徴や曲線特徴で構成され、それらの三次元データはビジョン系を基にした特徴上の点の三次元位置データである。
そこで部品の三次元形状モデルの較正は、モデルを構成する点位置データの旧ビジョン系ΣV から新ビジョン系ΣV'への座標変換で行うことができる。
旧ビジョン系ΣV を基準にした点ｐV は新ビジョン系ΣV'を基準にした点ｐV'へ次式４のように変換される。
【００１９】
ｐV'＝ＴVV' -1ｐV ・・・（４）
こうして変換した三次元形状モデルの点を再構成することで、部品の三次元形状モデルの較正を行うことができる。
新ビジョン系ΣV'を基にした三次元形状モデルが計算されれば、カメラの新しい位置姿勢においての見え方モデルであるイメージ上の二次元形状モデルは、三次元形状モデルのカメラのイメージ平面への透視変換によって較正することができる。
【００２０】
（６）基準物体系の設定
(6.1) 背景物体による基準物体系の設定
カメラの視野内にベルトコンベアや作業台といった位置が変化しない物体が存在する場合は図２のように背景物体を基準物体とし、基準物体系を設定することができる。
【００２１】
(6.2) 固定マーク物体による基準物体系の設定
カメラ視野内に位置が変化しない固定マーク物体を設置できる場合は、図３のように固定マーク物体を基準物体とし、基準物体系を設定することができる。
【００２２】
(6.3) 取付マーク物体による基準物体系の設定
装置に常時取り付けてはいないが、較正作業の際何らかのジグによって取付マークを設置できる場合は、図４のように取付マーク物体を基準物体とし、基準物体系を設定することができる。
【００２３】
(6.4) ロボットアームに取り付けたマーク物体による基準物体系の設定
ロボットアームにマーク物体を取り付けることができる場合は、図５のようにそのマーク物体を基準物体とし、基準物体系を設定することができる。
【００２４】
(6.5) 基準部品による基準物体系の設定
較正作業用に基準部品として選んだ部品を、ロボットアーム等を用いて同一の位置に設置できる場合は、図６のようにその基準部品を基準物体とし、基準物体系を設定することができる。
【００２５】
（７）位置データの較正方法
(7.1) 背景物体による位置データ較正方法
カメラの位置姿勢が変化した場合、図７に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼ 画像計測装置の新ビジョン系の設定を行う。
▲２▼ 背景物体を基に基準物体系を設定する。
▲３▼ 新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼ 前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼ 較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼ 較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２６】
(7.2) 固定マーク物体による基準物体系の設定
カメラの位置姿勢が変化した場合、図８に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼ 画像計測装置の新ビジョン系の設定を行う。
▲２▼ 固定マーク物体を基に基準物体系を設定する。
▲３▼ 新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼ 前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼ 較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼ 較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２７】
(7.3) 取付マーク物体による基準物体系の設定
カメラの位置姿勢が変化した場合、図９に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼ 画像計測装置の新ビジョン系の設定を行う。
▲２▼ 取付マーク物体を基に基準物体系を設定する。
▲３▼ 新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼ 前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼ 較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼ 較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２８】
(7.4) ロボットアームに取り付けたマーク物体による位置データ較正方法
カメラの位置姿勢が変化した場合、図１０に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼ 画像計測装置の新ビジョン系の設定を行う。
▲２▼ ロボットアームに取り付けたマーク物体を基に基準物体系を設定する。
▲３▼ 新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼ 前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼ 較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼ 較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２９】
(7.5) 基準部品による位置データ較正方法
カメラの位置姿勢が変化した場合、図１１に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼ 画像計測装置の新ビジョン系の設定を行う。
▲２▼ 基準部品を基に基準物体系を設定する。
▲３▼ 新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼ 前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼ 較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼ 較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００３０】
【実施例】
＜実施例１＞
本発明による第１の実施例に係る背景物体による位置データ較正装置の例を図１２に示す。
この装置は、画像計測装置の新ビジョン系ΣV'の設定を行い、背景物体を基に基準物体系ΣS を設定し、新ビジョン系から基準物体系への座標変換データＴV'S を計算し、前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと新たに計算した新ビジョン系から基準物体系への座標変換データを用いて較正座標変換データＴVV' を計算し、較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正し、較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正することで、ビンピッキングシステムに必要な位置データを較正する。
【００３１】
＜実施例２＞
本発明による第２の実施例に係る固定マーク物体による位置データ較正装置の例を図１３に示す。
この装置は、上記第１の実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりに固定マーク物体を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。
【００３２】
＜実施例３＞
本発明による第３の実施例に係る取付マーク物体による位置データ較正装置の例を図１４に示す。
この装置は、上記第１の実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりに取付マーク物体を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。
【００３３】
＜実施例４＞
本発明による第４の実施例に係るロボットアームに取り付けたマーク物体による位置データ較正装置の例を図１５に示す。
この装置は、上記第１の実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりにロボットアームに取り付けたマーク物体を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。
【００３４】
＜実施例５＞
本発明による第５の実施例に係る基準部品による位置データ較正装置の例を図１６に示す。
この装置は、上記第１実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりに基準部品を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。なお、上記各較正処理についてはそのソフトウェアを記憶したフロッピィーディスク、ＣＤ−ＲＯＭ等の媒体により行なわれる。
【００３５】
【発明の効果】
以上説明したように本発明によれば、次の効果を有する。
（１）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、ビンピッキングシステムに必要な位置データを較正できるため、今までのデータを全て新しく作り直す必要がない。
（２）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換に伴う作業による作業時間を大幅に短縮できる。
（３）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、大量の部品モデルデータを扱い易く、多品種を扱う工程に容易に対応できる。
（４）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、過去に作った大量の部品モデルデータのデータベースを効率よく扱うことができる。
（５）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換に伴う作業コストを小さくすることができる。
（６）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換に伴う作業者の負担を軽減できる。
（７）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換作業を容易に行うことができる。
（８）定期的に位置データ較正を行うことにより、カメラ取付部の経年変化によってカメラの位置姿勢に多少のズレが生じた場合でも、システムを正常に動作させ続けることができる。
（９）定期的に位置データ較正を行うことによって、システムの信頼性が向上する。
【図面の簡単な説明】
【図１】位置データ較正に用いる座標系を示す図。
【図２】背景物体による基準物体系を示す説明図。
【図３】固定マーク物体による基準物体系を示す説明図。
【図４】取付マーク物体による基準物体系を示す説明図。
【図５】ロボットアームに取り付けたマーク物体による基準物体系を説明する図。
【図６】基準部品による基準物体系を示す説明図。
【図７】背景物体による位置データ較正方法を示すフローチャート。
【図８】固定マーク物体による位置データ較正方法を示すフローチャート。
【図９】取付マーク物体による位置データ較正方法を示すフローチャート。
【図１０】ロボットアームに取り付けたマーク物体による位置データ較正方法を示すフローチャート。
【図１１】基準部品による位置データ較正方法を示すフローチャート。
【図１２】背景物体による位置データ較正装置の構成図。
【図１３】固定マーク物体による位置データ較正装置の構成図。
【図１４】取付マーク物体による位置データ較正装置の構成図。
【図１５】ロボットアームに取り付けたマーク物体による位置データ較正装置の構成図。
【図１６】基準部品による位置データ較正装置の構成図。
【符号の説明】
ΣR ，ΣH ，ΣV ，ΣV'，ΣS 座標系
ＴRV ,ＴVH ,ＴVS ,ＴRV' ，ＴV'H ，ＴV'S ，ＴVV' 座標変換データ
Claims (1)
- カメラ等の画像計測装置の視野内に存在する位置が変化しない背景物体を基に、又は、前記画像計測装置の視野内に固定した識別の容易なマーク物体を基に、又は、前記画像計測装置の視野内に用意しておいたジグによって位置精度良く取付けたマーク物体を基に、又は、ロボットアームに取り付けられたマーク物体を基に、又は、作業者側で適切に設置した基準部品を基に基準物体系（Σ S ）を設定する基準座標系設定部と、
前記画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ V ）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ V' ）として設定するビジョン系設定部と、
前記ビジョン系設定部により設定された前記新ビジョン系（Σ V' ）から前記基準座標系設定部により設定された前記基準物体系（Σ S ）への座標変換（Ｔ V'S ）を計算する座標変換データ計算部と、
前記座標変換データ計算部により求められた前記座標変換（Ｔ V'S ）の逆変換（Ｔ V'S -1 ）と前記旧ビジョン系（Σ V ）から前記基準物体系（Σ S ）への座標変換（Ｔ VS ）とに基づいて、前記旧ビジョン系（Σ V ）から前記新ビジョン系（Σ V' ）への座標変換（Ｔ VV' ）を計算する較正座標変換データ計算部と、
前記較正座標変換データ計算部により求められた前記座標変換（Ｔ VV' ）、その逆変換（Ｔ VV' -1 ）、ロボットアーム装置の座標系であるロボット系（Σ R ）から前記旧ビジョン系（Σ V ）への座標変換（Ｔ RV ）及び前記旧ビジョン系（Σ V ）からハンドの対象である物体の座標系であるハンド系（Σ H ）への座標変換（Ｔ VH ）に基づいて、前記ロボット系（Σ R ）から前記新ビジョン系（Σ V' ）への座標変換（Ｔ RV' ）及び前記新ビジョン系（Σ V' ）から前記ハンド系（Σ H ）への座標変換（Ｔ V'H ）をそれぞれ求める装置位置関係データ較正部と、
前記較正座標変換データ計算部により求められた前記座標変換（Ｔ VV' ）の逆変換（Ｔ VV' -1 ）に基づき、前記旧ビジョン系（Σ V ）を基準にした部品モデルデータの点（ｐ V ）を前記新ビジョン系（Σ V' ）を基準にした部品モデルデータの点（ｐ V' ）へ変換する部品モデルデータ較正部と、
を備えることを特徴とする位置データ較正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24484298A JP4096415B2 (ja) | 1998-08-31 | 1998-08-31 | 位置データ較正装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24484298A JP4096415B2 (ja) | 1998-08-31 | 1998-08-31 | 位置データ較正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000076441A JP2000076441A (ja) | 2000-03-14 |
| JP4096415B2 true JP4096415B2 (ja) | 2008-06-04 |
Family
ID=17124791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24484298A Expired - Fee Related JP4096415B2 (ja) | 1998-08-31 | 1998-08-31 | 位置データ較正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4096415B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08301426A (ja) * | 1995-05-09 | 1996-11-19 | Murata Mach Ltd | 物品搬送コンベア |
| JPH08301425A (ja) * | 1995-05-09 | 1996-11-19 | Murata Mach Ltd | 物品搬送コンベア |
| CN105513074A (zh) * | 2015-06-17 | 2016-04-20 | 电子科技大学 | 一种羽毛球机器人相机标定方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5256330B2 (ja) * | 2011-07-20 | 2013-08-07 | 独立行政法人日本原子力研究開発機構 | 現場作業支援システムにおけるマーカ配置方法 |
-
1998
- 1998-08-31 JP JP24484298A patent/JP4096415B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08301426A (ja) * | 1995-05-09 | 1996-11-19 | Murata Mach Ltd | 物品搬送コンベア |
| JPH08301425A (ja) * | 1995-05-09 | 1996-11-19 | Murata Mach Ltd | 物品搬送コンベア |
| CN105513074A (zh) * | 2015-06-17 | 2016-04-20 | 电子科技大学 | 一种羽毛球机器人相机标定方法 |
| CN105513074B (zh) * | 2015-06-17 | 2018-12-11 | 电子科技大学 | 一种羽毛球机器人相机以及车身到世界坐标系的标定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000076441A (ja) | 2000-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10357879B2 (en) | Robot zero-point calibration device and method | |
| JP3733364B2 (ja) | 教示位置修正方法 | |
| JP4021413B2 (ja) | 計測装置 | |
| US10618166B2 (en) | Teaching position correction device and teaching position correction method | |
| JP5321532B2 (ja) | ロボットキャリブレーション装置及びキャリブレーション方法 | |
| EP0493612B1 (en) | Method of calibrating visual sensor | |
| US20050273199A1 (en) | Robot system | |
| CN107042527B (zh) | 一种基于三维力传感器的工业机器人标定装置及标定方法 | |
| JP6661028B2 (ja) | 作業位置補正方法 | |
| JP6466661B2 (ja) | ロボットの教示点変換方法、装置、及びロボットセル | |
| JP2001515236A (ja) | ロボット検査システムを較正するための方法 | |
| JP2013515959A (ja) | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 | |
| JP2017071033A (ja) | 作業用基準物体、作業用基準物体の製造方法、ロボットアームの調整方法、ビジョンシステム、ロボット装置、及び指標用部材 | |
| WO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| JP4387476B2 (ja) | ビンピッキング位置データ較正装置 | |
| CN111716346B (zh) | 机械手臂工具校正方法及其校正装置 | |
| JP3402021B2 (ja) | ロボット装置の相対位置姿勢検出方法 | |
| JPH1063317A (ja) | ロボット−視覚センサシステムにおける座標系結合方法 | |
| CN113070876A (zh) | 一种基于3d视觉的机械手点胶路径引导纠偏方法 | |
| JP4096415B2 (ja) | 位置データ較正装置 | |
| JP2682763B2 (ja) | ロボット機体の作動誤差の自動測定方法 | |
| JP2007533963A (ja) | 物体の３ｄ位置の非接触式光学的測定方法及び測定装置 | |
| KR20130075712A (ko) | 레이저비전 센서 및 그 보정방법 | |
| US11433551B2 (en) | Measurement system and method for positioning accuracy of a robotic arm | |
| JP4413291B2 (ja) | 位置データ較正機能付きビンピッキング装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040823 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080303 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140321 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |