JPH0894324A - レーザ距離計測装置 - Google Patents
レーザ距離計測装置Info
- Publication number
- JPH0894324A JPH0894324A JP22852094A JP22852094A JPH0894324A JP H0894324 A JPH0894324 A JP H0894324A JP 22852094 A JP22852094 A JP 22852094A JP 22852094 A JP22852094 A JP 22852094A JP H0894324 A JPH0894324 A JP H0894324A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- laser
- laser light
- light source
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
(57)【要約】
【目的】 ロボットの、対象物への自動アプローチ作業
を向上するため、屋外での対象物の位置検出を可能とす
るレーザ距離計測装置を提供する。 【構成】 レーザ光を発射するレーザ光源１と、このレ
ーザ光源１のレーザ光軸と同軸上に視野を有する照準用
の第１のカメラ２と、この第１のカメラ２と一体に支持
され、当該第１のカメラ１の視野を異なる位置から斜め
方向に観察する第２のカメラ３とを備え、前記レーザ光
源１、第１及び第２のカメラ２，３を取り付ける架台４
の位置及び角度を操作する操作装置５と、前記レーザ光
源１を照射したときと照射しないときの前記第２のカメ
ラ３で撮像された画像の差信号に基づいて対象物６と第
１のカメラとの距離を演算する演算装置とを備えたレー
ザ距離計測装置。
を向上するため、屋外での対象物の位置検出を可能とす
るレーザ距離計測装置を提供する。 【構成】 レーザ光を発射するレーザ光源１と、このレ
ーザ光源１のレーザ光軸と同軸上に視野を有する照準用
の第１のカメラ２と、この第１のカメラ２と一体に支持
され、当該第１のカメラ１の視野を異なる位置から斜め
方向に観察する第２のカメラ３とを備え、前記レーザ光
源１、第１及び第２のカメラ２，３を取り付ける架台４
の位置及び角度を操作する操作装置５と、前記レーザ光
源１を照射したときと照射しないときの前記第２のカメ
ラ３で撮像された画像の差信号に基づいて対象物６と第
１のカメラとの距離を演算する演算装置とを備えたレー
ザ距離計測装置。
Description
【０００１】
【産業上の利用分野】本発明は、配電作業ロボット等、
人間が直接作業できなかったり危険な作業を自動化する
に際し、対象物までの距離を測定するための装置に関す
る。
人間が直接作業できなかったり危険な作業を自動化する
に際し、対象物までの距離を測定するための装置に関す
る。
【０００２】
【従来の技術】例えば配電作業ロボットを例にとると、
従来の配電作業ロボットによる配電作業は、作業者がバ
ケットに乗り作業対象物を目で見てロボットを操作して
行っていた。このような従来の配電作業ロボットはバケ
ット搭乗形であるため、作業対象物までの距離は作業者
の目によって確認をしていた。ところが、近年において
は、高所での作業や感電事故から作業員を解放するた
め、バケットに作業者が乗る代わりにテレビカメラを移
動架台に搭載し、オペレータは操縦席でモニターを見な
がらロボットの操作を行う装置が開発されている。例え
ば特開昭６１−４５９１０号公報においては、異なる位
置に２台のテレビカメラを搭載する２つの２軸架台およ
び画像追尾装置を設けた３次元位置計測装置が開示され
ている。具体的には、各テレビカメラが出力する、目標
を含むビデオ信号を画像追尾装置に入力し、デジタル画
像処理計測を行って、テレビカメラの映像の中心に目標
が位置するようにテレビカメラの姿勢を自動制御し、誤
差が収斂したところで、２台のテレビカメラの俯仰角，
旋回角により移動物体の３次元的位置を計測するもので
ある。
従来の配電作業ロボットによる配電作業は、作業者がバ
ケットに乗り作業対象物を目で見てロボットを操作して
行っていた。このような従来の配電作業ロボットはバケ
ット搭乗形であるため、作業対象物までの距離は作業者
の目によって確認をしていた。ところが、近年において
は、高所での作業や感電事故から作業員を解放するた
め、バケットに作業者が乗る代わりにテレビカメラを移
動架台に搭載し、オペレータは操縦席でモニターを見な
がらロボットの操作を行う装置が開発されている。例え
ば特開昭６１−４５９１０号公報においては、異なる位
置に２台のテレビカメラを搭載する２つの２軸架台およ
び画像追尾装置を設けた３次元位置計測装置が開示され
ている。具体的には、各テレビカメラが出力する、目標
を含むビデオ信号を画像追尾装置に入力し、デジタル画
像処理計測を行って、テレビカメラの映像の中心に目標
が位置するようにテレビカメラの姿勢を自動制御し、誤
差が収斂したところで、２台のテレビカメラの俯仰角，
旋回角により移動物体の３次元的位置を計測するもので
ある。
【０００３】
【発明が解決しようとする課題】ところが、この特開昭
６１−４５９１０号公報に記載された方法は、テレビカ
メラの映像の中心に目標がくるようにテレビカメラの姿
勢を自動制御するものであるため、制御回路が複雑化す
るとともに、テレビカメラの姿勢制御のための３次元駆
動機構が２台分必要になるなど、コストアップの要因が
大きいという問題があった。特に、対象物の距離を測定
した後に、オペレータがロボットで作業を行う場合にお
いては、対象物の距離の測定を完全自動化することにコ
ストを多く費やすことは、バランス的に問題となる。本
発明が解決すべき課題は、ロボットの、対象物への自動
アプローチ作業を向上するため、屋外での対象物の位置
検出を可能とするレーザ距離計測装置を提供することに
ある。
６１−４５９１０号公報に記載された方法は、テレビカ
メラの映像の中心に目標がくるようにテレビカメラの姿
勢を自動制御するものであるため、制御回路が複雑化す
るとともに、テレビカメラの姿勢制御のための３次元駆
動機構が２台分必要になるなど、コストアップの要因が
大きいという問題があった。特に、対象物の距離を測定
した後に、オペレータがロボットで作業を行う場合にお
いては、対象物の距離の測定を完全自動化することにコ
ストを多く費やすことは、バランス的に問題となる。本
発明が解決すべき課題は、ロボットの、対象物への自動
アプローチ作業を向上するため、屋外での対象物の位置
検出を可能とするレーザ距離計測装置を提供することに
ある。
【０００４】
【課題を解決するための手段】前記課題を解決するた
め、本発明のレーザ距離計測装置は、レーザ光を発射す
るレーザ光源と、このレーザ光源のレーザ光軸と同軸上
に視野を有する照準用の第１のカメラと、この第１のカ
メラと一体に支持され、当該第１のカメラの視野を異な
る位置から斜め方向に観察する第２のカメラとを備え、
前記レーザ光源、第１及び第２のカメラを取り付ける架
台の位置及び角度を操作する操作装置と、前記レーザ光
源を照射したときと照射しないときの前記第２のカメラ
で撮像された画像の差信号に基づいて対象物と第１のカ
メラとの距離を演算する演算装置とを備えたものであ
る。
め、本発明のレーザ距離計測装置は、レーザ光を発射す
るレーザ光源と、このレーザ光源のレーザ光軸と同軸上
に視野を有する照準用の第１のカメラと、この第１のカ
メラと一体に支持され、当該第１のカメラの視野を異な
る位置から斜め方向に観察する第２のカメラとを備え、
前記レーザ光源、第１及び第２のカメラを取り付ける架
台の位置及び角度を操作する操作装置と、前記レーザ光
源を照射したときと照射しないときの前記第２のカメラ
で撮像された画像の差信号に基づいて対象物と第１のカ
メラとの距離を演算する演算装置とを備えたものであ
る。
【０００５】
【作用】第１のカメラのモニタ画面を見ながら、レーザ
光が当たっている対象物が画面の中央に来るように架台
を操作する。画像処理により、レーザ照射時に第２のカ
メラで撮像した画像とレーザ照射を停止した時に第２の
カメラで撮像した画像の差分をとり、レーザが当たって
いる部分の抽出を行う。この画面上の位置から、対象物
までの距離を求める。
光が当たっている対象物が画面の中央に来るように架台
を操作する。画像処理により、レーザ照射時に第２のカ
メラで撮像した画像とレーザ照射を停止した時に第２の
カメラで撮像した画像の差分をとり、レーザが当たって
いる部分の抽出を行う。この画面上の位置から、対象物
までの距離を求める。
【０００６】
【実施例】以下、本発明を実施例を参照しながら具体的
に説明する。図１は本発明の実施例の概略図を示すもの
で、（ａ）は平面図、（ｂ）は正面図である。図中、１
はレーザ投光器、２は第１のカメラ、３は第２のカメ
ラ、４は架台、５は架台４の位置及び角度を操作するた
めのマニピュレータ（ロボット）、６は対象物である。
レーザ投光器１からはスリット光を発射する。測定距離
を長くするには、減衰量の少ないスポット光が適する
が、スポット光は点であるため対象を捉えることが困難
である。またスポット光に比べ、スリット光を拡散さ
せ、安全性を高めた。また、レーザの波長としては、赤
外光等の不可視光が用いられることが多いが、可視レー
ザ光は照射部分が見えるため光軸合わせなどが容易にで
きる利点がある。カメラのレンズとしては、レーザ光源
〜カメラ間の距離を２５０ｍｍとしたとき、測定範囲
（９２０−２４７０ｍｍ：図３参照）を測定可能なレン
ズを選定する。レンズ中心付近に比べ、レンズの端にな
ればなるほど歪が大きくなる。そのため画面の中央付近
に測定点が撮像されることが望ましい。したがって図３
のようにレーザとカメラの光軸が１３５０ｍｍの位置で
交差するように配置した。マニピュレータの動作範囲を
測定範囲とするには、図３のようにカメラの焦点距離が
３５ｍｍ以下でなければならない。しかし精度は焦点距
離が大きくなるほど良くなるため、３５ｍｍのレンズを
選択した。精度の向上を考えると、ズームアップできる
レンズが望ましい。しかし可変焦点レンズは、正確な焦
点距離がわからない。ズームにより光軸がずれる。焦点
距離が大きくなるとレンズの歪が顕著に出てくる。など
の理由から、固定焦点レンズを選定した。
に説明する。図１は本発明の実施例の概略図を示すもの
で、（ａ）は平面図、（ｂ）は正面図である。図中、１
はレーザ投光器、２は第１のカメラ、３は第２のカメ
ラ、４は架台、５は架台４の位置及び角度を操作するた
めのマニピュレータ（ロボット）、６は対象物である。
レーザ投光器１からはスリット光を発射する。測定距離
を長くするには、減衰量の少ないスポット光が適する
が、スポット光は点であるため対象を捉えることが困難
である。またスポット光に比べ、スリット光を拡散さ
せ、安全性を高めた。また、レーザの波長としては、赤
外光等の不可視光が用いられることが多いが、可視レー
ザ光は照射部分が見えるため光軸合わせなどが容易にで
きる利点がある。カメラのレンズとしては、レーザ光源
〜カメラ間の距離を２５０ｍｍとしたとき、測定範囲
（９２０−２４７０ｍｍ：図３参照）を測定可能なレン
ズを選定する。レンズ中心付近に比べ、レンズの端にな
ればなるほど歪が大きくなる。そのため画面の中央付近
に測定点が撮像されることが望ましい。したがって図３
のようにレーザとカメラの光軸が１３５０ｍｍの位置で
交差するように配置した。マニピュレータの動作範囲を
測定範囲とするには、図３のようにカメラの焦点距離が
３５ｍｍ以下でなければならない。しかし精度は焦点距
離が大きくなるほど良くなるため、３５ｍｍのレンズを
選択した。精度の向上を考えると、ズームアップできる
レンズが望ましい。しかし可変焦点レンズは、正確な焦
点距離がわからない。ズームにより光軸がずれる。焦点
距離が大きくなるとレンズの歪が顕著に出てくる。など
の理由から、固定焦点レンズを選定した。
【０００７】この実施例による計測手順を説明する。 １ 対象物をねらう 対象物が第１のカメラ２のモニタ画面のセンター（レー
ザスリット光が当たるところ）に来るようにジョイステ
ィック等でカメラ架台４を動かす（図２（ａ））。 ２ レーザを発射し、画像を取り込む。 （１）レーザスリット光を発射し、それを第２のカメラ
３で画像１を取り込む（図２（ｂ））。 （２）レーザスリット光をオフし、それを第２のカメラ
３で画像２を取り込む（図２（ｃ））。 （３）さらに（１），（２）を繰り返し、画像３，４を
取り込む。 ３ 計測対象を選ぶ。 （１）これらの画像に対し、下記の画像処理を行う。 処理画像←（‘画像１’−‘画像２’）ＡＮＤ（‘画像
３’−‘画像４’） （２）求められた差画像から計測対象を探す。 （３）ノイズ等の影響で候補が複数あるとき、人の判断
により選択する。 （４）この計測対象の画像上の位置（横方向が距離（奥
行）になっている）から距離を求める。
ザスリット光が当たるところ）に来るようにジョイステ
ィック等でカメラ架台４を動かす（図２（ａ））。 ２ レーザを発射し、画像を取り込む。 （１）レーザスリット光を発射し、それを第２のカメラ
３で画像１を取り込む（図２（ｂ））。 （２）レーザスリット光をオフし、それを第２のカメラ
３で画像２を取り込む（図２（ｃ））。 （３）さらに（１），（２）を繰り返し、画像３，４を
取り込む。 ３ 計測対象を選ぶ。 （１）これらの画像に対し、下記の画像処理を行う。 処理画像←（‘画像１’−‘画像２’）ＡＮＤ（‘画像
３’−‘画像４’） （２）求められた差画像から計測対象を探す。 （３）ノイズ等の影響で候補が複数あるとき、人の判断
により選択する。 （４）この計測対象の画像上の位置（横方向が距離（奥
行）になっている）から距離を求める。
【０００８】以下に、３次元距離検出の処理フローを示
す。 センサ部のレーザ受光カメラによって受光された画
像は画像処理装置に取り込まれる。 後述するレーザ検出原理に基づきレーザ部分のみを
検出する。 画像処理（２値化、重心検出など）を行い、検出対
象となる位置の画素を求める。 ３次元距離を求める。 図４に処理ブロック図を示す。
す。 センサ部のレーザ受光カメラによって受光された画
像は画像処理装置に取り込まれる。 後述するレーザ検出原理に基づきレーザ部分のみを
検出する。 画像処理（２値化、重心検出など）を行い、検出対
象となる位置の画素を求める。 ３次元距離を求める。 図４に処理ブロック図を示す。
【０００９】次に、レーザ検出原理について図５を参照
しながら説明する。屋内においてレーザを受光する場
合、受光カメラにフィルタを装着し、絞りを適切に設定
することによって、レーザが照射されている部分のみの
画像を容易に得ることができる。しかし、屋外では照明
条件の変化等の原因によって、レーザが照射されている
部分のみの画像を得ることができない場合がある。本実
施例のレーザ距離センサでは、レーザオン画像とレーザ
オフ画像の画像を取り込み、これらの画像間の差分をと
る処理を行っている。このためレーザオン画像とレーザ
オフ画像の背景部分に変化がなければ、レーザが照射さ
れている部分のみを検出することが可能となる。本実施
例のレーザ距離センサの精度試験の結果、センサから測
定対象までの距離が２ｍのとき、約±４ｍｍの精度が得
られ、当初の目標を達成することができた。また、屋外
におけるレーザ照射部分の検出方法として、レーザオン
・オフ画像の差分演算方法を用いた。
しながら説明する。屋内においてレーザを受光する場
合、受光カメラにフィルタを装着し、絞りを適切に設定
することによって、レーザが照射されている部分のみの
画像を容易に得ることができる。しかし、屋外では照明
条件の変化等の原因によって、レーザが照射されている
部分のみの画像を得ることができない場合がある。本実
施例のレーザ距離センサでは、レーザオン画像とレーザ
オフ画像の画像を取り込み、これらの画像間の差分をと
る処理を行っている。このためレーザオン画像とレーザ
オフ画像の背景部分に変化がなければ、レーザが照射さ
れている部分のみを検出することが可能となる。本実施
例のレーザ距離センサの精度試験の結果、センサから測
定対象までの距離が２ｍのとき、約±４ｍｍの精度が得
られ、当初の目標を達成することができた。また、屋外
におけるレーザ照射部分の検出方法として、レーザオン
・オフ画像の差分演算方法を用いた。
【００１０】
【発明の効果】上述したように、本発明のレーザ距離計
測装置によれば下記の効果を奏する。 （１）レーザ光軸と同軸上に視野を設けた照準用カメラ
を設け、操作者がこのカメラモニタを見ながらジョイス
ティックを用いてカメラ架台を動かし、距離計測対象位
置を決めることができる。 （２）ノイズ光を除去できない場合、複数の計測候補の
中から人の判断により選択できる。 （３）１回の照準で計測できる。
測装置によれば下記の効果を奏する。 （１）レーザ光軸と同軸上に視野を設けた照準用カメラ
を設け、操作者がこのカメラモニタを見ながらジョイス
ティックを用いてカメラ架台を動かし、距離計測対象位
置を決めることができる。 （２）ノイズ光を除去できない場合、複数の計測候補の
中から人の判断により選択できる。 （３）１回の照準で計測できる。
【図１】 本発明の実施例を示す概略図であり、（ａ）
は平面図、（ｂ）は正面図である。
は平面図、（ｂ）は正面図である。
【図２】 カメラで撮像した画面の例を示す。
【図３】 第２のカメラによる測定範囲を示す説明図で
ある。
ある。
【図４】 本発明の３次元距離検出の処理ブロック図で
ある。
ある。
【図５】 レーザ検出原理の説明図である。
１ レーザ投光器、２ 第１のカメラ、３ 第２のカメ
ラ、４ 架台、５ マニピュレータ（ロボット）、６
対象物
ラ、４ 架台、５ マニピュレータ（ロボット）、６
対象物
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中島 盛之 福岡県福岡市中央区渡辺通２丁目１番82号 九州電力株式会社内 (72)発明者 丸山 佳長 福岡県福岡市中央区渡辺通２丁目１番82号 九州電力株式会社内
Claims (2)
- 【請求項１】 レーザ光を発射するレーザ光源と、この
レーザ光源のレーザ光軸と同軸上に視野を有する照準用
の第１のカメラと、この第１のカメラと一体に支持さ
れ、当該第１のカメラの視野を異なる位置から斜め方向
に観察する第２のカメラとを備え、前記レーザ光源、第
１及び第２のカメラを取り付ける架台の位置及び角度を
操作する操作装置と、前記レーザ光源を照射したときと
照射しないときの前記第２のカメラで撮像された画像の
差信号に基づいて対象物と第１のカメラとの距離を演算
する演算装置とを備えたことを特徴とするレーザ距離計
測装置。 - 【請求項２】 レーザ光は可視光である請求項１記載の
レーザ距離計測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22852094A JP3590104B2 (ja) | 1994-09-22 | 1994-09-22 | レーザ距離計測装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22852094A JP3590104B2 (ja) | 1994-09-22 | 1994-09-22 | レーザ距離計測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0894324A true JPH0894324A (ja) | 1996-04-12 |
| JP3590104B2 JP3590104B2 (ja) | 2004-11-17 |
Family
ID=16877714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22852094A Expired - Fee Related JP3590104B2 (ja) | 1994-09-22 | 1994-09-22 | レーザ距離計測装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3590104B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107817473A (zh) * | 2017-10-25 | 2018-03-20 | 天津大学 | 一种提高可见光定位精度的方法 |
| CN111076701A (zh) * | 2019-12-05 | 2020-04-28 | 河北汉光重工有限责任公司 | 一种调节可见光和激光统一观测目标的方法 |
-
1994
- 1994-09-22 JP JP22852094A patent/JP3590104B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107817473A (zh) * | 2017-10-25 | 2018-03-20 | 天津大学 | 一种提高可见光定位精度的方法 |
| CN107817473B (zh) * | 2017-10-25 | 2021-04-06 | 天津大学 | 一种提高可见光定位精度的方法 |
| CN111076701A (zh) * | 2019-12-05 | 2020-04-28 | 河北汉光重工有限责任公司 | 一种调节可见光和激光统一观测目标的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3590104B2 (ja) | 2004-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4439755A (en) | Head-up infinity display and pilot's sight | |
| WO2018226390A1 (en) | Lidar optics alignment systems and methods | |
| US5208417A (en) | Method and system for aiming a small caliber weapon | |
| SE458395B (sv) | Anordning foer att bestaemma riktningen av en siktlinje | |
| CA2502012A1 (en) | Electronic display and control device for a measuring device | |
| US4349337A (en) | Marksmanship training system | |
| US5289220A (en) | Detachable close-up lens assembly for an adjustable focus lens camera incorporating a photoranging system | |
| JPH09304055A (ja) | 距離計測装置 | |
| JP3236076B2 (ja) | 溶接パラメータ測定のための溶接ヘッド、およびこの溶接ヘッドを使用した自動溶接装置 | |
| JPH0894324A (ja) | レーザ距離計測装置 | |
| US5786889A (en) | Method of monitoring coalignment of a sighting or surveillance sensor suite | |
| GB2163868A (en) | Device for harmonising the optical axes of an optical sight | |
| JP3427619B2 (ja) | 架空線撮影装置及び方法 | |
| US7812932B2 (en) | Universal laser range evaluation and verification system | |
| KR101447857B1 (ko) | 렌즈 모듈 이물 검사 시스템 | |
| US4391514A (en) | Sidelooking laser altimeter for a flight simulator | |
| CN213956130U (zh) | 无人车激光反狙击系统 | |
| JPS60233610A (ja) | 測距装置 | |
| JP4227844B2 (ja) | 指示器付きカメラ | |
| CA1173284A (en) | Auto focus system | |
| KR102166636B1 (ko) | 광축정렬장치 및 방법 | |
| CN112393643A (zh) | 无人车激光反狙击系统及其反狙击控制方法 | |
| US8125642B2 (en) | Process to optically align a photoreceiver with a laser transmitter source in a laser rangefinder system | |
| JP2017026700A (ja) | 架空線撮影装置および架空線撮影方法 | |
| RU40103U1 (ru) | Устройство для определения углового рассогласования пучков лазерного излучения |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Effective date: 20040802 Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040819 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 4 Free format text: PAYMENT UNTIL: 20080827 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 5 Free format text: PAYMENT UNTIL: 20090827 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 6 Free format text: PAYMENT UNTIL: 20100827 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 7 Free format text: PAYMENT UNTIL: 20110827 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |