JP2993995B2 - 移動車の画像処理装置 - Google Patents
移動車の画像処理装置Info
- Publication number
- JP2993995B2 JP2993995B2 JP2071843A JP7184390A JP2993995B2 JP 2993995 B2 JP2993995 B2 JP 2993995B2 JP 2071843 A JP2071843 A JP 2071843A JP 7184390 A JP7184390 A JP 7184390A JP 2993995 B2 JP2993995 B2 JP 2993995B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- recognition
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は、自律走行制御を行なう移動車のための画像
処理装置に関し、特に、複眼と単眼とを有する画像入力
系を具備して、例えば障害物等を認識する移動車の画像
処理装置に関する。
処理装置に関し、特に、複眼と単眼とを有する画像入力
系を具備して、例えば障害物等を認識する移動車の画像
処理装置に関する。
（従来の技術） 従来の自律走行車の走行制御における障害物認識で
は、超音波センサレーザ等の距離センサが使用されてい
る。それらのセンサは一般に、ある特定の方向の距離は
計測できても、広い範囲に亙って計測することはできな
いという欠点を有している。かかる距離センサを補完す
るために、ステレオ視カメラを搭載して画像を入力して
環境認識を行なう障害物認識装置が、例えば、特開昭64
−26913号に提案されている。この特開昭では、２つのT
Vカメラを使って三角測量の原理で広い視野の距離を計
測するものである。
は、超音波センサレーザ等の距離センサが使用されてい
る。それらのセンサは一般に、ある特定の方向の距離は
計測できても、広い範囲に亙って計測することはできな
いという欠点を有している。かかる距離センサを補完す
るために、ステレオ視カメラを搭載して画像を入力して
環境認識を行なう障害物認識装置が、例えば、特開昭64
−26913号に提案されている。この特開昭では、２つのT
Vカメラを使って三角測量の原理で広い視野の距離を計
測するものである。
（発明が解決しようとする課題） しかしながら、ステレオ視による画像処理では、左右
画像のマッチングをとるために膨大な処理が必要とな
り、リアルタイムで環境認識を行なう場合には実用化の
障害となっていた。
画像のマッチングをとるために膨大な処理が必要とな
り、リアルタイムで環境認識を行なう場合には実用化の
障害となっていた。
そこで、本発明は上述従来例の欠点を除去するために
提案されたものでその目的は、複眼視により入力画像と
単眼視による入力画像とのいずれか一方を、夫々の長所
を発揮するように、選択的に切換えて画像処理を行なう
移動車の画像処理装置の提案するところにある。
提案されたものでその目的は、複眼視により入力画像と
単眼視による入力画像とのいずれか一方を、夫々の長所
を発揮するように、選択的に切換えて画像処理を行なう
移動車の画像処理装置の提案するところにある。
（課題を達成するための手段及び作用） 上記課題を達成するための本発明の移動車の画像処理
装置は、 ステレオ視可能に配置された第１のカメラと第２のカ
メラからの外界画像を入力して外界認識のための画像処
理を行う移動車の画像処理装置であって、 前記第１のカメラと第２のカメラの出力を複眼画像と
して出力する複眼視部と、 前記第１のカメラと第２のカメラの出力のいずれかの
出力を単眼画像として出力する単眼視部と、 前記第１のカメラと第２のカメラが入力した画像に基
づいて外界認識を行なう認識手段とを具備し、 前記認識手段は、路端検出のために前記単眼視部から
の画像を入力する第１の認識部と、移動体検出のために
前記複眼視部からの画像を入力する第２の認識部を更に
具備することを特徴とする。
装置は、 ステレオ視可能に配置された第１のカメラと第２のカ
メラからの外界画像を入力して外界認識のための画像処
理を行う移動車の画像処理装置であって、 前記第１のカメラと第２のカメラの出力を複眼画像と
して出力する複眼視部と、 前記第１のカメラと第２のカメラの出力のいずれかの
出力を単眼画像として出力する単眼視部と、 前記第１のカメラと第２のカメラが入力した画像に基
づいて外界認識を行なう認識手段とを具備し、 前記認識手段は、路端検出のために前記単眼視部から
の画像を入力する第１の認識部と、移動体検出のために
前記複眼視部からの画像を入力する第２の認識部を更に
具備することを特徴とする。
即ち、第１のカメラと第２のカメラが入力した複眼画
像を精度が要求される移動体検出に用い、第１のカメラ
と第２のカメラのいずれか一方の単眼画像を高速性が要
求される路端認識に用いる。
像を精度が要求される移動体検出に用い、第１のカメラ
と第２のカメラのいずれか一方の単眼画像を高速性が要
求される路端認識に用いる。
（実施例） 以下添付図面を参照して、本発明の画像処理装置を移
動車の自律走行に適用した一実施例を説明する。
動車の自律走行に適用した一実施例を説明する。
第１図はこの実施例の構成を示すブロツク図である。
この実施例装置は、左右２つのカメラ1L,1Rと、ステレ
オ視による障害物の認識を行なうステレオ視部３と、右
カメラ1Rからの画像を入力して走行路を認識すると共
に、ステレオ視部３が認識した障害物の情報に基づい
て、自車の走行計画を立てる単眼視部４と、ステアリン
グやブレーキを制御する車両制御コントローラ５とから
なる。
この実施例装置は、左右２つのカメラ1L,1Rと、ステレ
オ視による障害物の認識を行なうステレオ視部３と、右
カメラ1Rからの画像を入力して走行路を認識すると共
に、ステレオ視部３が認識した障害物の情報に基づい
て、自車の走行計画を立てる単眼視部４と、ステアリン
グやブレーキを制御する車両制御コントローラ５とから
なる。
ステレオ視部３は画像メモリ3aとプロセツサ3bとから
なる。カメラ1L,1Rから入力された２枚の画像は画像メ
モリ3aに入力される。プロセツサ3bは、この２つの画像
に対してステレオ視の技法を用いて解析し、移動体の進
行方向の距離画像を生成する。更に、この距離画像から
道路面に対して高さを持つ領域を推測して、その領域の
位置，特徴量（例えば、色、大きさ）を演算する。これ
らの位置，特徴量は移動体を表わす。プロセツサ3bは、
これらの位置，特徴量を、移動体の情報として、単眼視
部のプロセツサ4bに送る。
なる。カメラ1L,1Rから入力された２枚の画像は画像メ
モリ3aに入力される。プロセツサ3bは、この２つの画像
に対してステレオ視の技法を用いて解析し、移動体の進
行方向の距離画像を生成する。更に、この距離画像から
道路面に対して高さを持つ領域を推測して、その領域の
位置，特徴量（例えば、色、大きさ）を演算する。これ
らの位置，特徴量は移動体を表わす。プロセツサ3bは、
これらの位置，特徴量を、移動体の情報として、単眼視
部のプロセツサ4bに送る。
一方、単眼視部４は画像メモリ4aとプロセツサ4bとか
らなる。右側カメラ1Rからの画像は画像メモリ4aに入力
され、プロセツサ4bにより処理される。即ち、プロセツ
サ4bは、ステレオ視部３のプロセツサ3bとは独立に、画
像メモリ4aの画像に対して、周知の、二値化処理やラベ
リング処理等を施して路端を検出して走行路を認識す
る。即ち、路端と路面領域とにおいて明るさのコントラ
ストが大きいことを利用した二値化処理を行い、二値化
された画像に対してラベリングを行って路端部分に対応
する画像を切り出す。
らなる。右側カメラ1Rからの画像は画像メモリ4aに入力
され、プロセツサ4bにより処理される。即ち、プロセツ
サ4bは、ステレオ視部３のプロセツサ3bとは独立に、画
像メモリ4aの画像に対して、周知の、二値化処理やラベ
リング処理等を施して路端を検出して走行路を認識す
る。即ち、路端と路面領域とにおいて明るさのコントラ
ストが大きいことを利用した二値化処理を行い、二値化
された画像に対してラベリングを行って路端部分に対応
する画像を切り出す。
単眼視部４のプロセツサ4bに対してステレオ視部３の
プロセツサ3bが移動体に関する上記情報を送ってきた
ら、プロセツサ4bは、自身が認識した走行路内に、プロ
セツサ3bが認識した移動体があれば、それは障害物だと
判断する。そして、その障害物を回避する走行プランを
策定し、そのプランに従って、コントローラ５を制御す
る。
プロセツサ3bが移動体に関する上記情報を送ってきた
ら、プロセツサ4bは、自身が認識した走行路内に、プロ
セツサ3bが認識した移動体があれば、それは障害物だと
判断する。そして、その障害物を回避する走行プランを
策定し、そのプランに従って、コントローラ５を制御す
る。
プロセツサ3bの制御サイクルはt1時間間隔毎である。
即ち、移動体の認識はt1間隔毎に行なわれる。一方、プ
ロセツサ4bの制御サイクルはt2時間間隔毎である。即
ち、走行プランの策定はt2間隔で行なわれる。ここで、 t1＞t2 と設定されている。換言すれば、移動体の認識のための
画像処理は長い時間サイクルで行なわれ、走行制御のた
めの画像処理は短時間サイクルで行なわれる。このよう
にしたのは以下の理由による。即ち、障害物であるとの
認識は、即ち、ある領域が３次元空間上で縦方向の成分
を持っているかどうかの認識は、時事刻々入力されてく
る全て画像に対して行なう必要はなく、ある長いサンプ
リング間隔で行なってもよい。何故なら、突然、障害物
が消失するということは少ないからである。そして、そ
の障害物に対してある程度の粗さで追跡を行なっていけ
ば、視界から、突然、障害物が消失するということは少
ないからである。換言すれば、この障害物の追跡処理
は、障害物の認識に要したほどの精度、頻度で行なう必
要はなく、低レベルの画像処理で十分であるということ
を意味する。即ち、高度の画像処理により、一旦、障害
物の位置が認識されれば、その後は低レベルの画像処理
により、その障害物を追跡し、その障害物に対する回避
動作を行なうように走行制御を行なえばよい。
即ち、移動体の認識はt1間隔毎に行なわれる。一方、プ
ロセツサ4bの制御サイクルはt2時間間隔毎である。即
ち、走行プランの策定はt2間隔で行なわれる。ここで、 t1＞t2 と設定されている。換言すれば、移動体の認識のための
画像処理は長い時間サイクルで行なわれ、走行制御のた
めの画像処理は短時間サイクルで行なわれる。このよう
にしたのは以下の理由による。即ち、障害物であるとの
認識は、即ち、ある領域が３次元空間上で縦方向の成分
を持っているかどうかの認識は、時事刻々入力されてく
る全て画像に対して行なう必要はなく、ある長いサンプ
リング間隔で行なってもよい。何故なら、突然、障害物
が消失するということは少ないからである。そして、そ
の障害物に対してある程度の粗さで追跡を行なっていけ
ば、視界から、突然、障害物が消失するということは少
ないからである。換言すれば、この障害物の追跡処理
は、障害物の認識に要したほどの精度、頻度で行なう必
要はなく、低レベルの画像処理で十分であるということ
を意味する。即ち、高度の画像処理により、一旦、障害
物の位置が認識されれば、その後は低レベルの画像処理
により、その障害物を追跡し、その障害物に対する回避
動作を行なうように走行制御を行なえばよい。
第2A図，第2B図は、夫々、プロセツサ3b,4bの制御手
順である。第2A図に示されたプロセツサ3bの制御手順
は、時間間隔t1毎に実行される。即ち、ステツプS2で、
メモリ3aにカメラ1R,1Lの画像を入力し、ステツプS4で
すれ処理を行なって、障害物に関する情報を抽出する。
この動作をt1時間毎に繰返す。
順である。第2A図に示されたプロセツサ3bの制御手順
は、時間間隔t1毎に実行される。即ち、ステツプS2で、
メモリ3aにカメラ1R,1Lの画像を入力し、ステツプS4で
すれ処理を行なって、障害物に関する情報を抽出する。
この動作をt1時間毎に繰返す。
第2B図に示されたプロセツサ4bの制御手順は、ステツ
プS10で、t2（＜t1）である時間の経過を調べる。この
時間が経過していなければ、ステツプS12で、プロセツ
サ3bから移動体に関する情報の入力があったかを調べ
る。なけらば、ステツプS10に戻って、t2の経過を待
つ。
プS10で、t2（＜t1）である時間の経過を調べる。この
時間が経過していなければ、ステツプS12で、プロセツ
サ3bから移動体に関する情報の入力があったかを調べ
る。なけらば、ステツプS10に戻って、t2の経過を待
つ。
ステツプS12で、プロセツサ3bから移動体に関する情
報の入力があったと判断されれば、プロセツサ4bの不図
示のメモリに記憶してある移動体情報を、新たに送られ
てきた情報に更新して、ステツプS16で、右カメラ1Rか
らの画像を画像メモリ4aに入力する。一方、ステツプS1
0でt2時間の経過が判断されたなら、ステツプS16で、右
カメラ1Rからの画像を画像メモリ4aに入力する。即ち、
右カメラ1Rからの画像が画像メモリ4aに入力されるの
は、t2時間の経過か、プロセツサ3bからの移動体が新た
に認識され直されたかのいずれかである。
報の入力があったと判断されれば、プロセツサ4bの不図
示のメモリに記憶してある移動体情報を、新たに送られ
てきた情報に更新して、ステツプS16で、右カメラ1Rか
らの画像を画像メモリ4aに入力する。一方、ステツプS1
0でt2時間の経過が判断されたなら、ステツプS16で、右
カメラ1Rからの画像を画像メモリ4aに入力する。即ち、
右カメラ1Rからの画像が画像メモリ4aに入力されるの
は、t2時間の経過か、プロセツサ3bからの移動体が新た
に認識され直されたかのいずれかである。
ステツプS18では、画像メモリ4aの内容に従って低レ
ベルの画像処理を行ない、走行路の認識を行なう。ステ
ツプS20では障害物を回避するパスプランを立て、ステ
ツプS22で車両の走行制御を行なう。
ベルの画像処理を行ない、走行路の認識を行なう。ステ
ツプS20では障害物を回避するパスプランを立て、ステ
ツプS22で車両の走行制御を行なう。
以上説明した実施例の画像処理装置によれば、自律走
行制御を行なうに際し、入力された全てのステレオ画像
に対してステレオ視処理の必要性がなくなり、システム
全体としては、高速に障害物のある走行路を認識し続け
ることができる。
行制御を行なうに際し、入力された全てのステレオ画像
に対してステレオ視処理の必要性がなくなり、システム
全体としては、高速に障害物のある走行路を認識し続け
ることができる。
本発明はその主旨を逸脱しない範囲で種々変形が可能
である。
である。
上記実施例では、ステレオ視部が障害物のある領域を
単眼視部に伝えるという構成となっていたが、次のよう
な変形例を提案する。即ち、単眼視部の認識結果から、
障害物のありそうな領域を推定して（例えば、白線以外
の所に見付けたエッジ画像）、それをステレオ視部に伝
えることにより、ステレオ視部では、障害物のある確率
の高い所を絞り込むことができ、障害物の認識をより高
速化することができる。
単眼視部に伝えるという構成となっていたが、次のよう
な変形例を提案する。即ち、単眼視部の認識結果から、
障害物のありそうな領域を推定して（例えば、白線以外
の所に見付けたエッジ画像）、それをステレオ視部に伝
えることにより、ステレオ視部では、障害物のある確率
の高い所を絞り込むことができ、障害物の認識をより高
速化することができる。
また、上記実施例では、障害物の認識に重点を置いて
説明したが、本発明はそれに限定されることはなく、例
えば、先行車を追従走行するときの、その先行車の追尾
に本発明を適用することも可能である。
説明したが、本発明はそれに限定されることはなく、例
えば、先行車を追従走行するときの、その先行車の追尾
に本発明を適用することも可能である。
また、上記実施例では、２つのプロセツサによる並列
制御を行なっていたが、１つの画像処理プロセツサによ
る処理に置き換えることも可能である。
制御を行なっていたが、１つの画像処理プロセツサによ
る処理に置き換えることも可能である。
（発明の効果） 以上説明したように本発明の、ステレオ視可能に配置
された第１のカメラと第２のカメラからの外界画像を入
力して外界認識のための画像処理を行う移動車の画像処
理装置は、前記第１のカメラと第２のカメラの出力を複
眼画像として出力する複眼視部と、前記第１のカメラと
第２のカメラの出力のいずれかの出力を単眼画像として
出力する単眼視部と、前記第１のカメラと第２のカメラ
が入力した画像に基づいて外界認識を行なう認識手段と
を具備し、前記認識手段は、路端検出のために前記単眼
視部からの画像を入力する第１の認識部と、移動体検出
のために前記複眼視部からの画像を入力する第２の認識
部を更に具備することを特徴とする。
された第１のカメラと第２のカメラからの外界画像を入
力して外界認識のための画像処理を行う移動車の画像処
理装置は、前記第１のカメラと第２のカメラの出力を複
眼画像として出力する複眼視部と、前記第１のカメラと
第２のカメラの出力のいずれかの出力を単眼画像として
出力する単眼視部と、前記第１のカメラと第２のカメラ
が入力した画像に基づいて外界認識を行なう認識手段と
を具備し、前記認識手段は、路端検出のために前記単眼
視部からの画像を入力する第１の認識部と、移動体検出
のために前記複眼視部からの画像を入力する第２の認識
部を更に具備することを特徴とする。
即ち、第１のカメラと第２のカメラが入力した複眼画
像を、立体的な認識を必要とする移動体検出に用い、第
１のカメラと第２のカメラのいずれか一方の単眼画像
を、それほどの精度の必要のないが高速性が要求される
路端認識に用いる。このために、全体としては、単眼視
による画像処理の高速化により、システムのスループッ
トが上がる。
像を、立体的な認識を必要とする移動体検出に用い、第
１のカメラと第２のカメラのいずれか一方の単眼画像
を、それほどの精度の必要のないが高速性が要求される
路端認識に用いる。このために、全体としては、単眼視
による画像処理の高速化により、システムのスループッ
トが上がる。
第１図は本発明を適用した好適な実施例の構成を示すブ
ロツク図、 第2A図，第2B図は本実施例の制御手順を示すフローチヤ
ートである。 図中、 1L,1R……カメラ、３……ステレオ視部、3a……画像メ
モリ、3b……プロセツサ、４……単眼視部、4a……画像
メモリ、4b……プロセツサ、５……車両制御コントロー
ラである。
ロツク図、 第2A図，第2B図は本実施例の制御手順を示すフローチヤ
ートである。 図中、 1L,1R……カメラ、３……ステレオ視部、3a……画像メ
モリ、3b……プロセツサ、４……単眼視部、4a……画像
メモリ、4b……プロセツサ、５……車両制御コントロー
ラである。
Claims (3)
- 【請求項１】ステレオ視可能に配置された第１のカメラ
と第２のカメラからの外界画像を入力して外界認識のた
めの画像処理を行う移動車の画像処理装置において、 前記第１のカメラと第２のカメラの出力を複眼画像とし
て出力する複眼視部と、 前記第１のカメラと第２のカメラの出力のいずれかの出
力を単眼画像として出力する単眼視部と、 前記第１のカメラと第２のカメラが入力した画像に基づ
いて外界認識を行なう認識手段とを具備し、 前記認識手段は、路端検出のために前記単眼視部からの
画像を入力する第１の認識部と、移動体検出のために前
記複眼視部からの画像を入力する第２の認識部を更に具
備することを特徴とする移動車の画像処理装置。 - 【請求項２】前記認識手段は、前記第１の認識部が認識
した路端により規定される走行路内に、前記第２の認識
部が認識した移動体が位置していると判断すると、前記
移動体を障害物として認識することを特徴とする請求項
１に記載の移動車の画像処理装置。 - 【請求項３】前記第１の認識部による路端検出の制御サ
イクルは、前記第２の認識部による移動体検出の制御サ
イクルよりも短く設定されたことを特徴とする請求項１
に記載の移動車の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2071843A JP2993995B2 (ja) | 1990-03-23 | 1990-03-23 | 移動車の画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2071843A JP2993995B2 (ja) | 1990-03-23 | 1990-03-23 | 移動車の画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03273315A JPH03273315A (ja) | 1991-12-04 |
| JP2993995B2 true JP2993995B2 (ja) | 1999-12-27 |
Family
ID=13472226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2071843A Expired - Fee Related JP2993995B2 (ja) | 1990-03-23 | 1990-03-23 | 移動車の画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2993995B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11328365A (ja) * | 1998-05-14 | 1999-11-30 | Toshiba Corp | 画像監視装置及びその方法 |
| JP4940706B2 (ja) * | 2006-03-01 | 2012-05-30 | トヨタ自動車株式会社 | 物体検出装置 |
| JP4814669B2 (ja) * | 2006-03-28 | 2011-11-16 | 株式会社デンソーアイティーラボラトリ | ３次元座標取得装置 |
| JP2007263657A (ja) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | ３次元座標取得装置 |
| JP4961234B2 (ja) * | 2007-03-23 | 2012-06-27 | 株式会社日立製作所 | 物体追跡装置 |
| JP5011049B2 (ja) * | 2007-09-28 | 2012-08-29 | 日立オートモティブシステムズ株式会社 | 画像処理システム |
-
1990
- 1990-03-23 JP JP2071843A patent/JP2993995B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03273315A (ja) | 1991-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110254421B (zh) | 驾驶辅助系统 | |
| US9863775B2 (en) | Vehicle localization system | |
| US9809223B2 (en) | Driving assistant for vehicles | |
| US10131349B2 (en) | Steering assistant | |
| JP3123303B2 (ja) | 車両用画像処理装置 | |
| US10000210B2 (en) | Lane recognition apparatus | |
| US20030091228A1 (en) | Image recognition apparatus | |
| US20220176960A1 (en) | Vehicular control system with vehicle control based on stored target object position and heading information | |
| JPH1139596A (ja) | 車外監視装置 | |
| US20240383479A1 (en) | Vehicular sensing system with lateral threat assessment | |
| CN112822348B (zh) | 交通工具机载成像系统 | |
| JP3961584B2 (ja) | 区画線検出装置 | |
| CN115705780A (zh) | 关联被感知和映射的车道边缘以进行定位 | |
| US11845429B2 (en) | Localizing and updating a map using interpolated lane edge data | |
| JP2993995B2 (ja) | 移動車の画像処理装置 | |
| US7057502B2 (en) | Vehicle drive assist apparatus | |
| US12151684B2 (en) | Controller, method, and computer program for vehicle control | |
| JP2006004188A (ja) | 障害物認識方法及び障害物認識装置 | |
| KR20060021922A (ko) | 두 개의 카메라를 이용한 장애물 감지 기술 및 장치 | |
| JPH02190978A (ja) | 車両用視覚認識装置 | |
| US20150294465A1 (en) | Vehicle position estimation system | |
| JP4394476B2 (ja) | 車両用運転支援装置 | |
| JP7631062B2 (ja) | 車両並びにその制御装置及び制御方法 | |
| JPH1011585A (ja) | 物体検出装置 | |
| JP2007087203A (ja) | 衝突判定システム、衝突判定方法及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |