JP3035768B2 - 車両用対照物検知装置 - Google Patents

車両用対照物検知装置

Info

Publication number
JP3035768B2
JP3035768B2 JP7122041A JP12204195A JP3035768B2 JP 3035768 B2 JP3035768 B2 JP 3035768B2 JP 7122041 A JP7122041 A JP 7122041A JP 12204195 A JP12204195 A JP 12204195A JP 3035768 B2 JP3035768 B2 JP 3035768B2
Authority
JP
Japan
Prior art keywords
vehicle
cell
distance sensor
coordinate
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7122041A
Other languages
English (en)
Other versions
JPH08313625A (ja
Inventor
博 間下
眞人 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP7122041A priority Critical patent/JP3035768B2/ja
Priority to US08/648,860 priority patent/US6125191A/en
Priority to DE19620628A priority patent/DE19620628C2/de
Publication of JPH08313625A publication Critical patent/JPH08313625A/ja
Application granted granted Critical
Publication of JP3035768B2 publication Critical patent/JP3035768B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、自車の前方に位置する
対照物に向けての信号の送信ならびに前記対照物からの
反射信号の受信に基づいて自車の前後方向および横方向
に沿う自車および前記対照物間の距離を検出可能として
車両に搭載される距離センサを備え、該距離センサの出
力データに基づいて対照物を検知する車両用対照物検知
装置に関する。
【０００２】
【従来の技術】従来、かかる装置は、たとえば特開平５
−１８０９３３号公報等により既に知られている。
【０００３】
【発明が解決しようとする課題】ところが、上記従来の
ものでは、距離センサからの出力データを相互に比較し
て近接データ同士に同一ラベルを付すようにし、それら
のラベルにより対照物を識別するようにしており、距離
センサから出力される多数のデータについて近接した位
置にあるか否かを判別する必要があり、判別処理時間が
短いとは言い難いものであった。
【０００４】本発明は、かかる事情に鑑みてなされたも
のであり、対照物を検知するにあたっての処理時間を短
縮可能とした車両用対照物検知装置を提供することを目
的とする。
【０００５】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、自車の前方に位置する対照物に向けての
信号の送信ならびに前記対照物からの反射信号の受信に
基づいて自車の前後方向および横方向に沿う自車および
前記対照物間の距離を検出可能として車両に搭載される
距離センサを備え、該距離センサの出力データに基づい
て対照物を検知する車両用対照物検知装置において、自
車を基準とする前後方向をＹ軸とするとともに横方向を
Ｘ軸としたＸＹ座標上に距離センサの出力データを展開
する座標展開手段と、前記ＸＹ座標をＸ軸およびＹ軸方
向にそれぞれ所定の間隔で区画して得た複数のセル内に
位置する距離センサの出力データの数をカウントすると
ともに各セル毎のＸＹ座標およびデータ数をセル情報と
して出力するセル化手段と、セル化手段から出力される
セル情報に基づいて相互に近接したセル同士に同一のラ
ベルを付すとともに各ラベル毎の重心座標を求める対照
物識別手段とを備えることを特徴とする。
【０００６】
【作用】上記構成によれば、距離センサから出力される
データがＸＹ座標上に区画された複数のセル毎に纏めら
れ、それらのセル相互の比較により近接判別が行われ、
相互に近接したセルが同一ラベルを付されて対照物と識
別される。
【０００７】
【実施例】以下、図面により本発明の一実施例について
説明する。
【０００８】図１ないし図５は本発明の一実施例を示す
ものであり、図１は車両用対照物検知装置の構成を示す
ブロック図、図２は座標展開手段での座標展開の一例を
示す図、図３はセル化手段によるセル化の一例を示す
図、図４は対照物識別手段による識別の一例を示す図、
図５は運動判定手段による対照物の運動判定の一例を示
す図である。
【０００９】先ず図１において、図示しない車両の前部
には、自車の前方に位置する対照物に向けての信号の送
信ならびに前記対照物からの反射信号の受信に基づいて
自車の前後方向および横方向に沿う自車および前記対照
物間の距離を検出可能な距離センサ１が搭載される。而
して該距離センサ１は、たとえばレーザ光のスキャン方
式あるいはマルチビーム方式による送信および受信によ
り自車および対照物間の距離を検出可能なものである。
【００１０】距離センサ１の出力データは座標展開手段
２に入力される。この座標展開手段２は、自車を基準と
する前後方向をＹ軸とするとともに横方向をＸ軸とした
ＸＹ座標上に距離センサ１の出力データを展開するもの
であり、図２で示すように、たとえばＤ1 〜Ｄ6 の６個
のデータが距離センサ１から入力されたときに、それら
のデータＤ1 〜Ｄ6 がＸＹ座標上に展開されることにな
る。
【００１１】座標展開手段２の出力信号はセル化手段３
に入力される。このセル化手段３では、図３で示すよう
に、Ｘ軸およびＹ軸方向にそれぞれ所定の間隔で区画し
て複数のセルＣ0-0 〜Ｃn-n が設定されており、座標展
開手段２でＸＹ座標上に展開された各データＤ1 〜Ｄ6
のセル情報がセル化手段３で設定される。たとえば距離
センサ１の出力データが図２で示したようにＸＹ座標上
に展開されたときには、セルＣ1-6 にデータＤ1 が、セ
ルＣ1-1 にデータＤ2 ，Ｄ3 が、またセルＣ2- 1 にデー
タＤ4 ，Ｄ5 ，Ｄ6 がそれぞれ位置することになり、セ
ル化手段３は、各セルＣ1-6 ，Ｃ1-1 ，Ｃ2-1 内に位置
する距離センサ１の出力データの数をカウントするとと
もに各セルＣ1-6 ，Ｃ1-1 ，Ｃ2-1 毎のＸＹ座標および
データ数をセル情報として出力する。すなわち各セル毎
のセル情報を（Ｘ座標、Ｙ座標、データ数）として表す
と、セルＣ1-6 のセル情報は（１、６、１）、セルＣ
1-1のセル情報は（１、１、２）、またセルＣ2-1 のセ
ル情報は（２、１、３）となる。
【００１２】セル化手段３からのセル情報は対照物識別
手段４に入力される。この対照物識別手段４では、セル
化手段３からのセル情報に基づいて相互に近接したセル
同士に同一のラベルが付される。すなわち図３で示すセ
ル情報が入力されたときに、対照物識別手段４では、図
４で示すように、データを有するセルが近傍に存在しな
いセルＣ1-6 には独立したラベルＬ1 が付されるが、デ
ータをそれぞれ有して相互に近接したセルＣ1-1 ，Ｃ
2-1 には同一のラベルＬ2 が付されることになる。しか
も対照物識別手段４では各ラベル毎の重心座標およびＸ
軸方向幅が求められるものであり、その識別情報を（重
心位置Ｘ座標、重心位置Ｙ座標、Ｘ軸方向幅）として表
すと、ラベルＬ1 の識別情報は（Ｘ1 、Ｙ1 、ＷX1）で
あり、またラベルＬ2 の識別情報は（Ｘ2 、Ｙ2 、
ＷX2）である。而してセル情報が（１、６、１）である
セルＣ1-6 と同一であるラベルＬ1 については、Ｘ1 ＝
１、Ｙ1＝６であり、またセル情報が（１、１、２）で
あるセルＣ1-1 と、セル情報が（２、１、３）であるセ
ルＣ2-1 とを纏めたラベルＬ2 にあっては、各データの
Ｘ座標およびＹ座標の総和をデータ数で除すことにより
重心位置の座標が次のように定められる。
【００１３】Ｘ2 ＝（１×２＋２×３）／５＝１．６ Ｙ2 ＝（１×２＋１×３）／５＝１ 対照物識別手段４からの識別情報は運動判定手段５に入
力される。この運動判定手段５では、対照物識別手段４
で識別された各ラベル毎の時系列比較によりラベルが付
された対照物の自車に対する相対速度が判定される。す
なわち図５で示すように、各ラベルたとえばＬ1 ，Ｌ2
において、前回得られた重心位置座標（Ｘ1 ′，
Ｙ1 ′）、（Ｘ2 ′，Ｙ2 ′）から矢印で示す相対速度
ベクトルの先に予測範囲（鎖線で示す範囲）が定められ
ており、その予測範囲内に今回得られた重心位置座標
（Ｘ1 ，Ｙ1 ）、（Ｘ2 ，Ｙ2 ）が存在したときに同一
対照物であると判断され、前回および今回の重心位置座
標の比較により自車に対するＸ軸方向およびＹ軸方向の
対照物の相対速度が得られることになる。
【００１４】このようにして、対照物識別手段４で得ら
れる各ラベル毎の（重心位置Ｘ座標、重心位置Ｙ座標、
Ｘ軸方向幅）、ならびに運動判定手段５で得られる各ラ
ベル毎の相対速度を、自車の前方に在る対照物の情報と
して得ることができ、その情報を基にして衝突判断等が
なされることになる。
【００１５】次にこの実施例の作用について説明する
と、距離センサ１から出力されるデータが、セル化手段
３においてＸＹ座標上に区画された複数のセル毎に纏め
られ、それらのセル相互の比較による近接判別処理を行
ってラベル付けが行われる。したがって距離センサ１か
らの出力データ同士で近接判別を行うようにしていた従
来のものと比べると、距離センサ１の出力データ数に対
してセル化手段３で設定されるセル数が格段に小さいこ
とから、近接判別処理に要する時間が短縮されることに
なる。しかもセル化手段３は各セルに存在するデータ数
をもセル情報として出力するものであり、その対照物識
別手段４での重心位置座標の確定にデータ数を活かすこ
とができるので、処理時間の短縮にもかかわらず対照物
の座標精度が低下することはない。
【００１６】以上、本発明の実施例を説明したが、本発
明は上記実施例に限定されるものではなく、特許請求の
範囲に記載された本発明を逸脱することなく種々の設計
変更を行うことが可能である。
【００１７】
【発明の効果】以上のように本発明に従う装置は、自車
を基準とする前後方向をＹ軸とするとともに横方向をＸ
軸としたＸＹ座標上に距離センサの出力データを展開す
る座標展開手段と、前記ＸＹ座標をＸ軸およびＹ軸方向
にそれぞれ所定の間隔で区画して得た複数のセル内に位
置する距離センサの出力データの数をカウントするとと
もに各セル毎のＸＹ座標およびデータ数をセル情報とし
て出力するセル化手段と、セル化手段から出力されるセ
ル情報に基づいて相互に近接したセル同士に同一のラベ
ルを付すとともに各ラベル毎の重心座標を求める対照物
識別手段とを備えるので、対照物の座標精度が低下する
ことを回避しつつ近接判別処理に要する時間を短縮する
ことができる。
【図面の簡単な説明】
【図１】車両用対照物検知装置の構成を示すブロック図
である。
【図２】座標展開手段での座標展開の一例を示す図であ
る。
【図３】セル化手段によるセル化の一例を示す図であ
る。
【図４】対照物識別手段による識別の一例を示す図であ
る。
【図５】運動判定手段による対照物の運動判定の一例を
示す図である。
【符号の説明】
１ 距離センサ ２ 座標展開手段 ３ セル化手段 ４ 対照物識別手段
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G01S 7/298 G01S 13/52 - 13/64 G01S 13/91 - 13/93

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項１】 自車の前方に位置する対照物に向けての
    信号の送信ならびに前記対照物からの反射信号の受信に
    基づいて自車の前後方向および横方向に沿う自車および
    前記対照物間の距離を検出可能として車両に搭載される
    距離センサ（１）を備え、該距離センサ（１）の出力デ
    ータに基づいて対照物を検知する車両用対照物検知装置
    において、自車を基準とする前後方向をＹ軸とするとと
    もに横方向をＸ軸としたＸＹ座標上に距離センサ（１）
    の出力データを展開する座標展開手段（２）と、前記Ｘ
    Ｙ座標をＸ軸およびＹ軸方向にそれぞれ所定の間隔で区
    画して得た複数のセル内に位置する距離センサ（１）の
    出力データの数をカウントするとともに各セル毎のＸＹ
    座標およびデータ数をセル情報として出力するセル化手
    段（３）と、セル化手段（３）から出力されるセル情報
    に基づいて相互に近接したセル同士に同一のラベルを付
    すとともに各ラベル毎の重心座標を求める対照物識別手
    段（４）とを備えることを特徴とする車両用対照物検知
    装置。
JP7122041A 1995-05-22 1995-05-22 車両用対照物検知装置 Expired - Fee Related JP3035768B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP7122041A JP3035768B2 (ja) 1995-05-22 1995-05-22 車両用対照物検知装置
US08/648,860 US6125191A (en) 1995-05-22 1996-05-16 Object detecting system for vehicle
DE19620628A DE19620628C2 (de) 1995-05-22 1996-05-22 Objekterfassungssystem für ein Fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7122041A JP3035768B2 (ja) 1995-05-22 1995-05-22 車両用対照物検知装置

Publications (2)

Publication Number Publication Date
JPH08313625A JPH08313625A (ja) 1996-11-29
JP3035768B2 true JP3035768B2 (ja) 2000-04-24

Family

ID=14826145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7122041A Expired - Fee Related JP3035768B2 (ja) 1995-05-22 1995-05-22 車両用対照物検知装置

Country Status (3)

Country Link
US (1) US6125191A (ja)
JP (1) JP3035768B2 (ja)
DE (1) DE19620628C2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19641261C1 (de) * 1996-10-07 1998-02-12 Siemens Ag Verfahren zur Bewertung der Meßqualität eines Entfernungsmeßsensors an einem autonomen mobilen System
JP3356058B2 (ja) * 1998-05-27 2002-12-09 三菱自動車工業株式会社 車両用後方モニタシステム
JP3986671B2 (ja) * 1998-07-15 2007-10-03 本田技研工業株式会社 物体検知装置
JP3986678B2 (ja) * 1998-08-07 2007-10-03 本田技研工業株式会社 物体検知装置
JP4391624B2 (ja) * 1999-06-16 2009-12-24 本田技研工業株式会社 物体認識装置
JP4414054B2 (ja) * 2000-03-27 2010-02-10 本田技研工業株式会社 物体認識装置
JP2002374441A (ja) * 2001-06-13 2002-12-26 Mitsubishi Electric Corp 車窓内センサ
DE50206591D1 (de) * 2001-08-22 2006-06-01 Ibeo Automobile Sensor Gmbh Verfahren zur erkennung und verfolgung von objekten
EP1291674A3 (de) * 2001-09-03 2004-02-04 IBEO Automobile Sensor GmbH Verfahren zur Erkennung und Verfolgung von Objekten
DE10148064A1 (de) * 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
DE10148071A1 (de) * 2001-09-28 2003-04-17 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
DE10148060A1 (de) * 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
JP3739693B2 (ja) * 2001-11-09 2006-01-25 本田技研工業株式会社 画像認識装置
US6842692B2 (en) 2002-07-02 2005-01-11 The United States Of America As Represented By The Department Of Veterans Affairs Computer-controlled power wheelchair navigation system
US20080300777A1 (en) * 2002-07-02 2008-12-04 Linda Fehr Computer-controlled power wheelchair navigation system
JP5499424B2 (ja) * 2007-04-16 2014-05-21 トヨタ自動車株式会社 物体検出装置
JP5380788B2 (ja) * 2007-05-30 2014-01-08 トヨタ自動車株式会社 物体検出装置、及び車両用制御装置
US20150120035A1 (en) * 2013-10-25 2015-04-30 Infineon Technologies Ag Systems and Methods for Linking Trace Information with Sensor Data
JP6571545B2 (ja) * 2016-01-19 2019-09-04 パナソニック株式会社 物体検出装置および物体検出方法
CN115371347B (zh) * 2021-05-18 2024-03-12 青岛海尔电冰箱有限公司 冰箱储物间室使用状态的检测方法、检测系统和冰箱

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5006988A (en) * 1989-04-28 1991-04-09 University Of Michigan Obstacle-avoiding navigation system
US5111401A (en) * 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5321407A (en) * 1991-12-27 1994-06-14 Honda Giken Kogyo Kabushiki Kaisha Method for estimating relative speed between vehicle and objective obstacle
JP3016047B2 (ja) * 1991-12-27 2000-03-06 本田技研工業株式会社 車両における対照障害物の位置推定方法

Also Published As

Publication number Publication date
JPH08313625A (ja) 1996-11-29
DE19620628A1 (de) 1996-12-05
DE19620628C2 (de) 2001-05-31
US6125191A (en) 2000-09-26

Similar Documents

Publication Publication Date Title
JP3035768B2 (ja) 車両用対照物検知装置
JP3044524B2 (ja) 車両における対照物検知方法
JP3427809B2 (ja) 車両用道路形状認識方法及び装置、記録媒体
US20210387616A1 (en) In-vehicle sensor system
JP3941765B2 (ja) 物体検出装置
JP3044522B2 (ja) 車両における対照物認識方法
JPH06293236A (ja) 走行環境監視装置
JP2001099930A (ja) 周辺監視センサ
JP3336825B2 (ja) 障害物認識装置
JP2002168953A (ja) 車両周辺監視装置
JP2009086787A (ja) 車両検出装置
JPH05242391A (ja) 車両用障害物検出装置
EP3299841B1 (en) Method and apparatus for analyzing reflection signals, driver assistance system, and vehicle
JP4664141B2 (ja) 周辺他車通知装置
JP3356058B2 (ja) 車両用後方モニタシステム
JP4850531B2 (ja) 車載レーダ装置
WO2021172535A1 (ja) 物体検知装置
US7119666B2 (en) Method for controlling and evaluating a sensor device shared by a plurality of applications
US6947841B2 (en) Method for identifying obstacles for a motor vehicle, using at least three distance sensors for identifying the lateral extension of an object
JP3954053B2 (ja) 車両周辺監視装置
US20240194077A1 (en) Method for operating a driver assistance system, computer program product, driver assistance system, and vehicle
JP3069999B2 (ja) 車両用対照物検知装置における対照物との距離検知方法
US11475775B2 (en) Vehicle and method of recognizing surrounding vehicle
JP2007292643A (ja) 周辺物体識別装置
JP2002341025A (ja) 目標追尾装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080225

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090225

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110225

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees