JP2882910B2 - 画像立体認識方法 - Google Patents
画像立体認識方法Info
- Publication number
- JP2882910B2 JP2882910B2 JP3156347A JP15634791A JP2882910B2 JP 2882910 B2 JP2882910 B2 JP 2882910B2 JP 3156347 A JP3156347 A JP 3156347A JP 15634791 A JP15634791 A JP 15634791A JP 2882910 B2 JP2882910 B2 JP 2882910B2
- Authority
- JP
- Japan
- Prior art keywords
- cameras
- line
- contour
- screen
- reference point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Control Of Position Or Direction (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Numerical Control (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】本発明は複数のカメラを用いて物
体を撮影しその特徴を捉える画像立体認識方法に関し、
特に物体の輪郭線を抽出して画面上に表示しその特徴を
捉える画像立体認識方法に関する。
体を撮影しその特徴を捉える画像立体認識方法に関し、
特に物体の輪郭線を抽出して画面上に表示しその特徴を
捉える画像立体認識方法に関する。
【０００２】このような画像立体認識方法は、工場や各
種施設で動作するロボット等に用いられる。例えば、工
場では、ワークをハンドリングしたり製品を検査したり
するために、ロボットとワークの距離等の情報を知る必
要がある。そのためには、カメラとワークとの距離を正
確に検出しなければならない。
種施設で動作するロボット等に用いられる。例えば、工
場では、ワークをハンドリングしたり製品を検査したり
するために、ロボットとワークの距離等の情報を知る必
要がある。そのためには、カメラとワークとの距離を正
確に検出しなければならない。
【０００３】
【従来の技術】従来の画像立体認識方法は、例えば図６
に示すように、２台のカメラ６１，６２で物体６３を撮
影する場合、２台のカメラの投影中心６１ａ，６２ａを
結ぶ直線７１を作成し、その直線を含む一つの平面６４
を形成する。平面６４は、一般にはエピポーラ面と呼ば
れている面である。図７は各カメラ６１，６２のそれぞ
れの映像画面６１ｂ，６２ｂを示す図である。各画面上
の線６５，６６は、物体６３の情報を得るための基準線
である。ここでは、映像画面６１ｂ，６２ｂに図６の平
面６４を，投影したものが基準線６５，６６になる。
に示すように、２台のカメラ６１，６２で物体６３を撮
影する場合、２台のカメラの投影中心６１ａ，６２ａを
結ぶ直線７１を作成し、その直線を含む一つの平面６４
を形成する。平面６４は、一般にはエピポーラ面と呼ば
れている面である。図７は各カメラ６１，６２のそれぞ
れの映像画面６１ｂ，６２ｂを示す図である。各画面上
の線６５，６６は、物体６３の情報を得るための基準線
である。ここでは、映像画面６１ｂ，６２ｂに図６の平
面６４を，投影したものが基準線６５，６６になる。
【０００４】物体６３の特徴を検出するためには、先ず
この基準線６５，６６が各映像画面６１ｂ，６２ｂ上で
の物体６３の輪郭線と交わる交点を求め、この交点を基
準点とする。図では、この基準点として点６７と６８が
該当するが、通常は何れか一方を選択する。ここでは点
６７を選択する。
この基準線６５，６６が各映像画面６１ｂ，６２ｂ上で
の物体６３の輪郭線と交わる交点を求め、この交点を基
準点とする。図では、この基準点として点６７と６８が
該当するが、通常は何れか一方を選択する。ここでは点
６７を選択する。
【０００５】基準点６７が定まると、この基準点６７の
映像画面６１ｂ，６２ｂ上の位置と、カメラ６１，６２
間の距離等から、基準点６７の位置が特定できる。これ
により、ロボットとワークの距離を三角測量によって求
めることができる。
映像画面６１ｂ，６２ｂ上の位置と、カメラ６１，６２
間の距離等から、基準点６７の位置が特定できる。これ
により、ロボットとワークの距離を三角測量によって求
めることができる。
【０００６】
【発明が解決しようとする課題】ところで、より正確な
位置を得るため、基準線６５，６６の他に基準線６９，
７０を図のように引いたとする（あるいは最初に引いた
基準線が偶然この位置に重なったとする）。このような
場合、基準線６９，７０は物体６３の輪郭線と重なって
しまうため、画面６１ｂ，６２ｂで抽出される基準点
は、それぞれ異なった位置になることが多い。特に、光
の加減等によりそれぞれの画面上で輪郭線の濃淡が異な
る場合には、正確な基準点を抽出することができない。
位置を得るため、基準線６５，６６の他に基準線６９，
７０を図のように引いたとする（あるいは最初に引いた
基準線が偶然この位置に重なったとする）。このような
場合、基準線６９，７０は物体６３の輪郭線と重なって
しまうため、画面６１ｂ，６２ｂで抽出される基準点
は、それぞれ異なった位置になることが多い。特に、光
の加減等によりそれぞれの画面上で輪郭線の濃淡が異な
る場合には、正確な基準点を抽出することができない。
【０００７】本発明はこのような点に鑑みてなされたも
のであり、任意の基準線上であっても正確な基準点を抽
出し、物体の位置を正確に求めることのできる画像立体
認識方法を提供することを目的とする。
のであり、任意の基準線上であっても正確な基準点を抽
出し、物体の位置を正確に求めることのできる画像立体
認識方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】図１は上記目的を達成す
る本発明の画像立体認識方法の原理図である。複数のカ
メラの画面上に物体が写るように複数のカメラを設置し
（ステップＳ１）、複数のカメラのうち代表される２つ
のカメラの投影中心を結ぶ直線を含む平面を前記画面上
に投影してできる第２の直線に対して物体の垂直成分に
近い輪郭線を抽出するためのオペレータを選択し（ステ
ップＳ２）、オペレータにより前記物体の輪郭線を抽出
して記憶し前記画面上に表示し（ステップＳ３）、各画
面上に前記第２の直線に平行な基準線を引き（ステップ
Ｓ４）、基準線と輪郭線との交点である基準点を求め
（ステップＳ５）、各画面上での基準点の位置とカメラ
間の相対位置とにより物体の基準点に対応する部分の位
置を求める（ステップＳ６）。
る本発明の画像立体認識方法の原理図である。複数のカ
メラの画面上に物体が写るように複数のカメラを設置し
（ステップＳ１）、複数のカメラのうち代表される２つ
のカメラの投影中心を結ぶ直線を含む平面を前記画面上
に投影してできる第２の直線に対して物体の垂直成分に
近い輪郭線を抽出するためのオペレータを選択し（ステ
ップＳ２）、オペレータにより前記物体の輪郭線を抽出
して記憶し前記画面上に表示し（ステップＳ３）、各画
面上に前記第２の直線に平行な基準線を引き（ステップ
Ｓ４）、基準線と輪郭線との交点である基準点を求め
（ステップＳ５）、各画面上での基準点の位置とカメラ
間の相対位置とにより物体の基準点に対応する部分の位
置を求める（ステップＳ６）。
【０００９】
【作用】物体の輪郭を抽出するに当たって、基準線に対
して物体のほぼ垂直成分の輪郭線を抽出するので、基準
線と輪郭線との交点である基準点を正確に求めることが
できる。
して物体のほぼ垂直成分の輪郭線を抽出するので、基準
線と輪郭線との交点である基準点を正確に求めることが
できる。
【００１０】
【実施例】以下、本発明の一実施例を図面に基づいて説
明する。図２は本発明の画像立体認識方法を実施する画
像認識装置の構成を示す図である。本実施例では、物体
２０の撮影に２つのカメラ２１，２２を使用する。カメ
ラ２１，２２は、それぞれの投影中心２１ａ，２２ａを
結ぶ直線２６がエピポーラ面２３に含まれるように設置
されている。カメラ２１，２２は、アクチュエータによ
って位置や撮影角度が制御される。また、一定の位置に
固定されるようにしてもよい。なお、ここでは、説明を
簡単にするため、光軸２１ｃと２２ｃは互いに平行であ
るとする。さらに各カメラ２１，２２の画面の水平成分
がエピポーラ面と平行となるよう設置されているとす
る。
明する。図２は本発明の画像立体認識方法を実施する画
像認識装置の構成を示す図である。本実施例では、物体
２０の撮影に２つのカメラ２１，２２を使用する。カメ
ラ２１，２２は、それぞれの投影中心２１ａ，２２ａを
結ぶ直線２６がエピポーラ面２３に含まれるように設置
されている。カメラ２１，２２は、アクチュエータによ
って位置や撮影角度が制御される。また、一定の位置に
固定されるようにしてもよい。なお、ここでは、説明を
簡単にするため、光軸２１ｃと２２ｃは互いに平行であ
るとする。さらに各カメラ２１，２２の画面の水平成分
がエピポーラ面と平行となるよう設置されているとす
る。
【００１１】カメラ２１，２２が撮影した画像は、制御
装置２４に送られる。制御装置２４に送られた画像は、
表示装置２５の表示画面に表示され、制御装置２４内の
メモリに記憶される。制御装置２４は、送られた画像を
処理して物体２０の情報を求め、ロボット等を制御す
る。
装置２４に送られる。制御装置２４に送られた画像は、
表示装置２５の表示画面に表示され、制御装置２４内の
メモリに記憶される。制御装置２４は、送られた画像を
処理して物体２０の情報を求め、ロボット等を制御す
る。
【００１２】図３は、表示装置２５の表示画面２１ｂ，
２２ｂの状態を示す図である。表示画面２１ｂはカメラ
２１が撮影した映像の輪郭を、一方表示画面２２ｂはカ
メラ２２が撮影し、以下に述べる画像処理をした輪郭を
表示する。図からも分かるように、物体２０の輪郭は画
面の基準線に対して垂直な成分のみが表示されている。
２２ｂの状態を示す図である。表示画面２１ｂはカメラ
２１が撮影した映像の輪郭を、一方表示画面２２ｂはカ
メラ２２が撮影し、以下に述べる画像処理をした輪郭を
表示する。図からも分かるように、物体２０の輪郭は画
面の基準線に対して垂直な成分のみが表示されている。
【００１３】図４はこの輪郭線を抽出するために用いら
れるオペレータの例を示す図である。本実施例では、図
４（ａ）のオペレータを使用して画像処理を行い、画面
の水平面に対して垂直な成分の輪郭線を強調して抽出す
る。ただし、基準線が傾いている場合、つまりカメラの
相対位置がななめにある場合必ずしもこれに限られず、
例えば図４（ｂ）のように、垂直線から３０°傾いた輪
郭線を強調するようなオペレータを使用してもよい。ま
た、図４では３×３のオペレータの例を示したが、５×
５や７×７等の多数行列のオペレータであれば、さらに
正確な輪郭線を抽出することができる。
れるオペレータの例を示す図である。本実施例では、図
４（ａ）のオペレータを使用して画像処理を行い、画面
の水平面に対して垂直な成分の輪郭線を強調して抽出す
る。ただし、基準線が傾いている場合、つまりカメラの
相対位置がななめにある場合必ずしもこれに限られず、
例えば図４（ｂ）のように、垂直線から３０°傾いた輪
郭線を強調するようなオペレータを使用してもよい。ま
た、図４では３×３のオペレータの例を示したが、５×
５や７×７等の多数行列のオペレータであれば、さらに
正確な輪郭線を抽出することができる。
【００１４】図３に戻り、画面２１ｂ，２２ｂでは、物
体２０の位置等の情報を得るための基準点を求めるため
に、それぞれ基準線３１、３２を引く。これは前述のエ
ピポーラ面２３を画面２１ｂ，２２ｂに投影したいわゆ
るエピポーラ線であってもよいし、このエピポーラ線に
平行な直線でもよい。基準点には、各画面上で物体２０
の輪郭線と基準線とが交わった点が選ばれる。ただし、
この点が複数個ある場合には、本実施例では、最も左側
にある点を基準点とする。したがって、図３において
は、それぞれ点３３，３４が基準点に決定される。これ
らの基準点３３，３４は、ともに図２における点Ｐに対
応する。
体２０の位置等の情報を得るための基準点を求めるため
に、それぞれ基準線３１、３２を引く。これは前述のエ
ピポーラ面２３を画面２１ｂ，２２ｂに投影したいわゆ
るエピポーラ線であってもよいし、このエピポーラ線に
平行な直線でもよい。基準点には、各画面上で物体２０
の輪郭線と基準線とが交わった点が選ばれる。ただし、
この点が複数個ある場合には、本実施例では、最も左側
にある点を基準点とする。したがって、図３において
は、それぞれ点３３，３４が基準点に決定される。これ
らの基準点３３，３４は、ともに図２における点Ｐに対
応する。
【００１５】このように、画面２１ｂ，２２ｂ上では、
垂直方向の輪郭線だけが表示されるので、基準線３１，
３２と重なることがない。したがって、基準線をどの場
所に引いても正確な基準点を求めることができる。
垂直方向の輪郭線だけが表示されるので、基準線３１，
３２と重なることがない。したがって、基準線をどの場
所に引いても正確な基準点を求めることができる。
【００１６】基準点３３，３４が求められると、制御装
置２４は、点Ｐの位置を特定する演算を行う。これによ
り、物体２０の位置を特定する。図５はこの物体２０の
位置を特定する方法を示す図である。カメラ２１の投影
中心２１ａと基準点３３とを結ぶ線を４１、カメラ２２
の投影中心２２ａと基準点３４とを結ぶ線を４２とす、
線４１と線４２とが交わる点に物体２０の点Ｐがあると
考えられる。
置２４は、点Ｐの位置を特定する演算を行う。これによ
り、物体２０の位置を特定する。図５はこの物体２０の
位置を特定する方法を示す図である。カメラ２１の投影
中心２１ａと基準点３３とを結ぶ線を４１、カメラ２２
の投影中心２２ａと基準点３４とを結ぶ線を４２とす、
線４１と線４２とが交わる点に物体２０の点Ｐがあると
考えられる。
【００１７】線４１と光軸２１ａとの間の角度をα、線
４２と光軸２２ａとの間の角度をβとすると、これらの
角度は各画面２１ｂ，２２ｂの中心点２１ｄ，２２ｄか
らの投影中心２１ａ，２２ａの距離、および各基準点３
３，３４の画面上の位置等から容易に求めることができ
る。さらに、これらの角度α、βや、予め分かっている
カメラ間の距離Ｌ等から、線４１および線４２の長さが
三角測量の原理により計算できる。これにより、カメラ
と物体との距離を正確に求めることができる。
４２と光軸２２ａとの間の角度をβとすると、これらの
角度は各画面２１ｂ，２２ｂの中心点２１ｄ，２２ｄか
らの投影中心２１ａ，２２ａの距離、および各基準点３
３，３４の画面上の位置等から容易に求めることができ
る。さらに、これらの角度α、βや、予め分かっている
カメラ間の距離Ｌ等から、線４１および線４２の長さが
三角測量の原理により計算できる。これにより、カメラ
と物体との距離を正確に求めることができる。
【００１８】なお、上記実施例では説明を簡単にするた
めに、カメラの光軸２１ｃ，２２ｃを互いに平行とし、
さらに各カメラ２１，２２の画面の水平成分がエピポー
ラ面２３と平行となるように設置したが、必ずしもこれ
に従うものではなく、画面２１ｂ，２２ｂ上に物体２０
が確実に写るようにカメラ２１，２２を設置すれば、上
述同様にカメラと物体間の距離を求めることができる。
すなわち、光軸２１ｃ，２２ｃがずれ、かつ画面２１
ｂ，２２ｂの水平成分がエピポーラ面２３と平行でなく
ても、斜めに引かれた基準線３１，３２と垂直な輪郭線
を抽出することにより、正確な基準点３３，３４を求め
ることができる。したがって、上記実施例同様、カメラ
と物体間の距離を正確に求めることができる。
めに、カメラの光軸２１ｃ，２２ｃを互いに平行とし、
さらに各カメラ２１，２２の画面の水平成分がエピポー
ラ面２３と平行となるように設置したが、必ずしもこれ
に従うものではなく、画面２１ｂ，２２ｂ上に物体２０
が確実に写るようにカメラ２１，２２を設置すれば、上
述同様にカメラと物体間の距離を求めることができる。
すなわち、光軸２１ｃ，２２ｃがずれ、かつ画面２１
ｂ，２２ｂの水平成分がエピポーラ面２３と平行でなく
ても、斜めに引かれた基準線３１，３２と垂直な輪郭線
を抽出することにより、正確な基準点３３，３４を求め
ることができる。したがって、上記実施例同様、カメラ
と物体間の距離を正確に求めることができる。
【００１９】
【発明の効果】以上説明したように本発明では、物体の
輪郭を抽出するに当たって、基準線に対して物体のほぼ
垂直成分の輪郭線を抽出するので、基準線と輪郭線との
交点である基準点を正確に求めることができる。したが
って、物体の位置を正確に求めることができる。
輪郭を抽出するに当たって、基準線に対して物体のほぼ
垂直成分の輪郭線を抽出するので、基準線と輪郭線との
交点である基準点を正確に求めることができる。したが
って、物体の位置を正確に求めることができる。
【図１】本発明の画像立体処理方法の原理図である。
【図２】画像認識装置の構成を示す図である。
【図３】表示画面の状態を示す図である。
【図４】オペレータの例を示す図である。
【図５】物体の位置を特定する方法を示す図である。
【図６】従来の画像処理装置の構成図である。
【図７】従来の画像立体認識方法の画面の状態を示す図
である。
である。
２０ 物体 ２１，２２ カメラ ２４ 制御装置 ２５ 表示装置
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) G01B 11/00 - 11/30 102 G06T 7/00
Claims (2)
- 【請求項１】 複数のカメラを用いて物体を撮影しその
特徴を捉える画像立体認識方法において、前記複数のカ
メラの画面上に物体が写るように前記複数のカメラを設
置し（ステップＳ１）、前記複数のカメラのうち２つの
カメラの投影中心を結ぶ第１の直線を含む平面を前記画
面上に投影してできる第２の直線に対して前記物体の垂
直成分に近い輪郭線を抽出するためのオペレータを選択
し（ステップＳ２）、前記オペレータにより前記物体の
輪郭線を抽出して記憶し前記画面上に表示し（ステップ
Ｓ３）、前記各画面上に前記第２の直線に平行な基準線
を引き（ステップＳ４）、前記基準線と前記輪郭線との
交点である基準点を求め（ステップＳ５）、前記各画面
上での前記基準点の位置と前記カメラ間の相対位置とに
より前記物体の前記基準点に対応する部分の位置を求め
る（ステップＳ６）ことを特徴とする画像立体認識方
法。 - 【請求項２】 前記基準線は、エピポーラ線であること
を特徴とする請求項１記載の画像立体認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3156347A JP2882910B2 (ja) | 1991-06-27 | 1991-06-27 | 画像立体認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3156347A JP2882910B2 (ja) | 1991-06-27 | 1991-06-27 | 画像立体認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH055609A JPH055609A (ja) | 1993-01-14 |
| JP2882910B2 true JP2882910B2 (ja) | 1999-04-19 |
Family
ID=15625776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3156347A Expired - Fee Related JP2882910B2 (ja) | 1991-06-27 | 1991-06-27 | 画像立体認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2882910B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103999125A (zh) * | 2011-12-22 | 2014-08-20 | 佳能株式会社 | 三维测量方法、三维测量程序和机器人设备 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101723635B1 (ko) * | 2010-09-28 | 2017-04-05 | 서울대학교 산학협력단 | 전도성 바이오-나노 융합 사슬 및 이의 제조방법 |
| JP5861273B2 (ja) * | 2011-05-20 | 2016-02-16 | スズキ株式会社 | 車両用バンパ |
| JP5875272B2 (ja) * | 2011-07-22 | 2016-03-02 | キヤノン株式会社 | ３次元計測方法 |
| JP5600220B2 (ja) * | 2011-10-28 | 2014-10-01 | 富士フイルム株式会社 | ３次元測定装置 |
| CN111462244B (zh) * | 2019-01-22 | 2024-02-06 | 上海欧菲智能车联科技有限公司 | 车载环视系统在线标定方法、系统及装置 |
-
1991
- 1991-06-27 JP JP3156347A patent/JP2882910B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103999125A (zh) * | 2011-12-22 | 2014-08-20 | 佳能株式会社 | 三维测量方法、三维测量程序和机器人设备 |
| US9292932B2 (en) | 2011-12-22 | 2016-03-22 | Canon Kabushiki Kaisha | Three dimension measurement method, three dimension measurement program and robot device |
| CN103999125B (zh) * | 2011-12-22 | 2016-09-07 | 佳能株式会社 | 三维测量方法和机器人设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH055609A (ja) | 1993-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0782100B1 (en) | Three-dimensional shape extraction apparatus and method | |
| JP2006148745A (ja) | カメラの校正方法及びカメラの校正装置 | |
| JPH07294215A (ja) | 画像処理方法及び装置 | |
| JPH08331610A (ja) | 自動画像調整装置 | |
| KR20160047846A (ko) | 영상 정합 방법 | |
| KR102129206B1 (ko) | 사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치 | |
| JP3138080B2 (ja) | 視覚センサの自動キャリブレーション装置 | |
| KR102414362B1 (ko) | 디지털 이미지 정렬 | |
| JPH0719832A (ja) | 複数画像の対応点抽出方法 | |
| KR950001578B1 (ko) | 3차원 스테레오 비젼 방법 및 장치 | |
| JP2882910B2 (ja) | 画像立体認識方法 | |
| JPS62206684A (ja) | パタ−ン投影による位置形状計測方法 | |
| JP2559939B2 (ja) | ３次元情報入力装置 | |
| JP3696336B2 (ja) | カメラのキャリブレーション方法 | |
| JPH10122819A (ja) | キャリブレーション方法およびその装置 | |
| JP3696335B2 (ja) | 複数枚の画像の各計測点の対応づけ方法 | |
| JP2006017632A (ja) | ３次元画像処理装置、光軸調整方法、光軸調整支援方法 | |
| JP3399655B2 (ja) | 両眼立体視装置 | |
| JPS6256814A (ja) | ３次元位置計測カメラ較正方式 | |
| JP3912638B2 (ja) | ３次元画像処理装置 | |
| JPH01320431A (ja) | 三次元位置計測装置 | |
| JP2017040488A (ja) | 三次元温度分布表示装置 | |
| JP3125374B2 (ja) | 検査装置の座標表示方法 | |
| JP3340599B2 (ja) | 平面推定方法 | |
| JPS6361108A (ja) | 三次元物体認識方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990119 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080205 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090205 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090205 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100205 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |