JP3723065B2 - 車両用警報装置 - Google Patents

車両用警報装置 Download PDF

Info

Publication number
JP3723065B2
JP3723065B2 JP2000283754A JP2000283754A JP3723065B2 JP 3723065 B2 JP3723065 B2 JP 3723065B2 JP 2000283754 A JP2000283754 A JP 2000283754A JP 2000283754 A JP2000283754 A JP 2000283754A JP 3723065 B2 JP3723065 B2 JP 3723065B2
Authority
JP
Japan
Prior art keywords
alarm
vehicle
section
road
false
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000283754A
Other languages
English (en)
Other versions
JP2002092794A (ja
Inventor
誠 西田
俊明 柿並
芳樹 二宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Motor Corp
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Motor Corp, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2000283754A priority Critical patent/JP3723065B2/ja
Publication of JP2002092794A publication Critical patent/JP2002092794A/ja
Application granted granted Critical
Publication of JP3723065B2 publication Critical patent/JP3723065B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Description

【0001】
【発明の属する技術分野】
本発明は、道路情報と車両挙動情報に基づいて所定の条件の場合に運転者に警報を発する車両用警報装置に関する。
【0002】
【従来の技術】
従来から車両の安全な走行を確保するため、道路情報と車両挙動情報を基にして運転状態を判定し、所定の危険な状態に達していると判定した場合に、運転者に対して警報を発する車両用警報装置が提案されている。
【0003】
特開平11−25397号公報に開示されている技術はその一例であって、ナビゲーション装置から得た道路情報と外乱等の走行環境に基づいて、警報発生閾値を変更したり警報発生を禁止する技術が開示されている。これにより、ターンや車線変更時の誤警報を防止し、レーンが複数ある道路を走行している場合にも的確な警報を発生することが可能であると記載されている。
【0004】
【発明が解決しようとする課題】
しかしながら、上記技術においても白線のかすれや影の発生などにより、レーン情報自体を誤認識する可能性のある場合や、工事区間などの道路情報に盛り込まれていない不測要因については誤警報を防止することは困難である。
【0005】
そこで本発明は、このような道路情報の誤認識や不測要因に対する誤警報を低減した車両用警報装置を提供することを課題とする。
【0006】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る車両用警報装置は、道路情報と車両挙動に基づいて所定の条件を満たす場合に運転者に対して警報を発する警報手段を備える車両用警報装置において、道路情報を取得する手段と、取得した道路情報から車両が所定の道路区間を走行している場合は、この所定の条件を他の場合に比べて警報が発生し難い条件に変更する変更手段と、警報手段が発した警報が誤警報であるか否かを判定する誤警報判定手段と、誤警報と判定された場合は、当該誤警報が発生した道路区間を所定の道路区間に設定する区間設定手段と、をさらに備えることを特徴とする。
【0007】
本発明によれば、道路情報を基にして誤警報が発生する可能性の高い道路区間に対しては警報発生条件を変更して警報を発生し難くするので、そのような道路区間を走行している間に発生する誤警報を低減することが可能である。
【0008】
さらに誤警報が検出された道路区間を警報が発生し難い道路区間に設定することで警報の信頼度が向上する。
【0009】
ここで、誤警報判定手段は、警報発生頻度が所定の閾値以上の場合に誤警報と判定することが好ましい。運転者は警報が発生すると通常はより慎重な運転を行おうとすることから、警報が頻繁に発生する道路区間は誤警報の発生しやすい道路区間であるとの推定が可能である。したがって、警報発生頻度が高い場合は誤警報と判定し、この区間を誤警報の発生しやすい区間であるとして警報が発生し難い道路区間に設定することで以後の誤警報を抑制できる。
【0010】
区間設定手段が設定した道路区間を蓄積記憶する記憶手段をさらに備えていてもよい。設定した警報が発生し難い道路区間を記憶することで、以後、同じ場所を走行する際には予め誤警報の発生を抑制することができる。
【0011】
道路の走行レーンを認識するレーン認識手段と、車両挙動を判定する判定手段と、をさらに備えており、上記の所定の条件には車両のレーン逸脱が予測される場合を含むことが好ましい。このようにすると、運転者に対して誤警報の少ないレーン逸脱警報を発することができる。
【0012】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【0013】
図1は本発明に係る車両用警報装置の全体構成を示すブロック図である。本装置は、車線認識系統2とナビゲーション系統3のそれぞれの認識結果を利用して道路状況、走行状況に応じた車線(レーン)逸脱警報を発生する装置である。
【0014】
車線認識系統2は、車両が走行している車線を左右の区画線(白線)を含めて撮影するカメラ21と、このカメラ21の出力映像信号を基にして画像処理により白線を認識する白線認識ECU20と、カメラ21の制御を行うカメラコントローラ22を有し、カメラコントローラ22を介して表示系23へと接続されている。白線認識ECU20はさらに後述する警報制御ECU10へと認識結果を出力する。
【0015】
一方、ナビゲーション系統3は、車両が走行している道路の位置情報、道路情報を取得するナビゲーションECU(以下ナビECUと称する)30を有しており、このナビECU30には、全国の地図データが記録されたCD−ROMをセットしてデータの読み込みを行うCD−ROM装置31と、複数のGPS(グローバル・ポジショニング・システム)衛星から送信される航法情報を受信するGPSアンテナ32と、車両の進行方向角を検出するためのジャイロ装置33とが接続されている。ナビECU30には、さらに、車速センサ41の出力信号が入力され、カメラコントローラ22と後述する警報制御ECU10へと走行している道路の位置情報、道路情報を出力する。
【0016】
警報制御ECU10には、警報制御をなり難く設定する所定の区間情報を蓄積記憶する記憶装置11と、車両状態量を取得する各センサ群(車速センサ41、ブレーキスイッチ42、ヨーレートセンサ43、ウィンカー44)が接続され、その出力は表示系23と警報器12へと送られる。
【0017】
次に、この車両用警報装置の動作について具体的に説明する。図2は車両が走行している道路区間の一例を表す図であり、図3は動作を表すフローチャートである。この動作は、各ECU10、20、30によりイグニッションキーがオンにされてからオフにされるまでの間、所定のタイミングで繰り返し実行される。
【0018】
まず、ステップS1では、警報制御ECU10は、白線認識ECU20からレーン情報を、ナビECU20から道路情報を、各センサ群41〜42から車両挙動情報を、記憶装置11から後述する設定所定区間情報をそれぞれ取得する。
【0019】
ここで、白線認識ECU20は、カメラ21から取得したフレーム画像中から特徴量抽出等の画像認識処理により白線を認識してその位置情報を取得する。一方、ナビECU30は、GPSアンテナ32で受信した航法情報から自車位置を、ジャイロ装置33からの信号で自車の進行方向をそれぞれ検出し、車速センサ41の出力から走行距離を算出して、CD−ROM装置31によりセットされたCD−ROMから読み出した地図データと比較することで車両が道路上にあるよう補正を行い、道路情報とともに車両の位置情報を出力している。この道路情報とは例えば車線の数、カーブ、交差点、分岐点の状態等からなる。また、記憶装置11に記憶されている設定所定区間情報とは、過去に誤警報が発生したと判定された道路区間を表している。
【0020】
次のステップS2においては、車両挙動を基にして将来の車両軌跡を演算する。ヨーレート変化や車速変化については現在の変化傾向がそのまま継続するものとして演算を行う。そしてステップS3では、TLC(車線逸脱時間:Time to Line Crossing)を演算する。このTLCは図4に示されるように白線60R、60Lにより区画された車線6内を車両5が走行しており、その将来軌跡が図中参照番号61で示されるとき、白線60R(軌跡によっては白線60Lの場合もある)と軌跡61とが交わる位置Xに車両の前方中心位置Wが到達するまでの時間で表される。
【0021】
続くステップS4では、現在車線逸脱警報が警報中であるか否かを判定する。警報中であった場合にはステップS5へと移行して警報の継続時間が閾値Txを超えているか否かを判定する。ここで警報継続時間が閾値Txを超えていない場合には警報を継続した状態のままその後の処理をスキップして処理を終了する。一方、警報継続時間が閾値Txを超えていた場合にはステップS6へと移行して警報を停止させた後にその後の処理をスキップして処理を終了する。これにより警報が長時間連続して発生するのを防ぐことができる。
【0022】
ステップS4において警報中でないと判定された場合にはステップS7へと移行してステップS3で演算したTLCと閾値Tthとを比較する。ここでTLCが閾値Tth以上であった場合には、車線逸脱可能性が低いと判定してその後の警報発生処理を行わずに処理を終了する。TLCが閾値Tthを下回った場合にはステップS8へと移行する。
【0023】
ステップS8では、運転操作が行われたか否かを判定する。具体的には、ヨーレート(あるいはハンドル操作角)が所定の閾値以上であるか、ウィンカー、ブレーキ、アクセル等の操作がなされたかを判定する。これらの操作がなされたときは、運転者が車線変更等により意識的に車線を逸脱しようとしているものと判定して警報処理を行わずに処理を終了する。一方、これらの運転操作が行われていない場合には、運転者が車線逸脱を認識していないおそれがあるため、引き続き警報処理を行うためステップS9へと移行する。
【0024】
ステップS9では、現在走行している区間が所定区間に該当するか否かを判定する。この所定区間とは、過去に誤警報が発生した区間として記憶装置11に記憶されている設定所定区間のほか、ナビECU30から送られてくる道路データに基づいて誤警報発生が予想される区間、例えば、急カーブ、交差点、分岐点などを含んでいる。例えば図2に示される交差点DE間が該当する。この所定区間に該当している場合は、誤警報発生が予想されるので警報処理を行わずにそのまま処理を終了する。
【0025】
一方、所定区間に該当しなかった場合はステップS10へと移行する。ここでは警報発生頻度が所定の閾値fth以上であるか否かを判定する。警報発生頻度が閾値fth以上である場合は、車線逸脱警報が頻繁に発生していることを示す。逸脱警報が発生した場合には運転者は車線を逸脱しないよう慎重な運転を行うのが通常であり、警報が頻繁に発生する場合は誤警報である可能性が高い。例えば図2に示される道路で領域Aが工事区間であり、BC間で対向車線を通行するような場合には、B部分で誤警報が発生しやすい。そこで、このような場合にはステップS11で誤警報が発生した区間情報(ここでは、B〜Cまでの区間)を設定所定区間として記憶装置11に記憶させる。そして、警報処理を行わずに処理を終了する。
【0026】
こうした誤警報発生区間としては、白線自体が実際の走行車線と異なっている場合のほか、車線認識に失敗した場合、例えば、白線のかすれや影の状態、等が考えられる。
【0027】
一方、警報発生頻度が低い場合にはステップS12へと移行して警報発生を許可して警報器12や表示系23により運転者に対して注意を促す。
【0028】
記憶装置11に誤警報の発生した区間を記憶させて記憶させた情報を参照することで同じ区間を走行するたびに誤警報が発生するという現象を回避することができ、誤警報の発生を抑制して、警報の信頼性を高めることができる。
【0029】
記憶装置11に誤警報の発生した区間として記憶された区間情報は、運転者が任意の情報を削除できるようにしてもよい。例えば、工事区間のように一時的に誤警報が予想される区間である場合には、工事終了後は誤警報が予想される区間に該当しなくなるからである。また、誤警報の発生した区間であってもその後に同じ区間を走行した際に、車線逸脱可能性がなかった場合には、設定区間から自動的に削除するようにしてもよい。あるいは区間設定の際に、設定するか否か運転者に確認を求める構成としてもよい。
【0030】
ここでは、道路情報取得にGPSシステムと地図データを用いるナビゲーション系統を用いる例を説明したが、道路データを通信手段等によりセンター等から直接取得してもよい。また、車線情報については画像認識による方法を説明したが、センサやレーダー等を用いてレーンを検出するシステムを用いることも可能である。
【0031】
以上の説明では、所定区間と判定された場合には警報発生を禁止したが、一律に禁止するのではなく、警報発生条件を厳しくして警報をなり難く設定してもよい。この場合には、所定区間であっても車線逸脱可能性が極端に高い場合には警報を発することが可能となる。
【0032】
また、記憶装置11は必須の要件ではなく、道路情報のみから誤警報発生区間を予想する構成であってもよい。工事区間等の情報を道路データとして通信手段により取得できる場合には、この道路データを活用することで誤警報発生区間を予め推定することが容易である。
【0033】
以上の説明では、警報装置としてレーン逸脱警報装置を例に説明してきたが、警報装置はこれに限られるものではなく、道路上の障害物を探知してその有無や自車との距離に応じて警告を発する障害物警報装置や、運転者の運転状態を検出して適正な運転状態でないと判定した場合に警報を発する走行状態判定型の警報装置等にも本発明は同様に適用可能である。
【0034】
【発明の効果】
以上説明したように本発明によれば、誤警報発生が予想される所定区間においては、警報を発する条件を他の場合に比べて警報が発生し難い条件に変更することで、誤警報の発生を抑制することができ、警報の信頼性が向上する。
【0035】
さらに、誤警報が発生した区間を上記所定区間として記憶することで、誤警報区間の学習が可能となり、より一層警報の信頼性が向上する。
【図面の簡単な説明】
【図1】本発明に係る車両用警報装置の全体構成を示すブロック図である。
【図2】走行道路区間の一例を示す図である。
【図3】図1の装置の動作を示すフローチャートである。
【図4】TLCを説明する図である。
【符号の説明】
2…車線認識系統、3…ナビゲーション系統、10…警報制御ECU、11…記憶装置、12…警報器、20…白線認識ECU、21…カメラ、30…ナビゲーションECU、32…GPSアンテナ、41〜44…センサ群。

Claims (4)

  1. 道路情報と車両挙動に基づいて所定の条件を満たす場合に運転者に対して警報を発する警報手段を備える車両用警報装置において、
    道路情報を取得する手段と、
    取得した道路情報から車両が所定の道路区間を走行している場合は、前記所定の条件を他の場合に比べて警報が発生し難い条件に変更する変更手段と、
    警報手段が発した警報が誤警報であるか否かを判定する誤警報判定手段と、
    誤警報と判定された場合は、該誤警報が発生した道路区間を前記所定の道路区間に設定する区間設定手段と、
    をさらに備えている車両用警報装置。
  2. 前記誤警報判定手段は、警報発生頻度が所定の閾値以上の場合に誤警報と判定する請求項記載の車両用警報装置。
  3. 前記区間設定手段が設定した道路区間を蓄積記憶する記憶手段をさらに備えている請求項またはのいずれか一項に記載の車両用警報装置。
  4. 道路の走行レーンを認識するレーン認識手段と、車両挙動を判定する判定手段と、をさらに備えており、前記所定の条件には車両のレーン逸脱が予測される場合を含むことを特徴とする請求項1〜のいずれか一項に記載の車両用警報装置。
JP2000283754A 2000-09-19 2000-09-19 車両用警報装置 Expired - Fee Related JP3723065B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000283754A JP3723065B2 (ja) 2000-09-19 2000-09-19 車両用警報装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000283754A JP3723065B2 (ja) 2000-09-19 2000-09-19 車両用警報装置

Publications (2)

Publication Number Publication Date
JP2002092794A JP2002092794A (ja) 2002-03-29
JP3723065B2 true JP3723065B2 (ja) 2005-12-07

Family

ID=18768074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000283754A Expired - Fee Related JP3723065B2 (ja) 2000-09-19 2000-09-19 車両用警報装置

Country Status (1)

Country Link
JP (1) JP3723065B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10226481A1 (de) * 2002-06-14 2004-01-15 Bayerische Motoren Werke Ag System zur Erkennung eines Spurwechsels
JP2005018211A (ja) * 2003-06-24 2005-01-20 Nissan Motor Co Ltd 車線逸脱防止装置
DE10342528A1 (de) 2003-09-12 2005-04-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerunterstützung
JP4392389B2 (ja) 2005-06-27 2009-12-24 本田技研工業株式会社 車両及び車線認識装置
JP4998385B2 (ja) * 2008-06-23 2012-08-15 トヨタ自動車株式会社 運転支援装置
JP2012069053A (ja) * 2010-09-27 2012-04-05 Ud Trucks Corp 車線逸脱警報装置
JP5454542B2 (ja) 2011-10-05 2014-03-26 株式会社デンソー 電子制御装置
CN103292818B (zh) * 2012-02-22 2016-01-20 北京四维图新科技股份有限公司 一种导航提示方法和装置
CN103292814B (zh) * 2012-02-29 2016-01-13 北京四维图新科技股份有限公司 一种导航提示方法和装置
JP2014229197A (ja) * 2013-05-24 2014-12-08 株式会社デンソー 車両用報知装置
US9260059B2 (en) * 2014-04-25 2016-02-16 Robert Bosch Gmbh False warning reduction using location data
JP6421547B2 (ja) * 2014-10-22 2018-11-14 いすゞ自動車株式会社 警報装置
JP6667127B2 (ja) * 2015-06-08 2020-03-18 いすゞ自動車株式会社 車線逸脱態様判定装置
JP6776738B2 (ja) * 2016-09-01 2020-10-28 トヨタ自動車株式会社 情報提供装置および情報提供方法
JP7087274B2 (ja) * 2017-04-18 2022-06-21 スズキ株式会社 車両用警報システムと報知制限方法
US11249184B2 (en) 2019-05-07 2022-02-15 The Charles Stark Draper Laboratory, Inc. Autonomous collision avoidance through physical layer tracking
CN112991790B (zh) * 2019-12-02 2022-06-07 宇龙计算机通信科技(深圳)有限公司 提示用户的方法、装置、电子设备及介质

Also Published As

Publication number Publication date
JP2002092794A (ja) 2002-03-29

Similar Documents

Publication Publication Date Title
JP3723065B2 (ja) 車両用警報装置
JP6438516B2 (ja) 車両の走行制御装置
US10583839B2 (en) Method of lane change decision-making and path planning
EP1857991B1 (en) Vehicle lane departure detecting device
US9399400B2 (en) Vehicular acceleration suppression device and vehicular acceleration suppression method
US6748302B2 (en) Lane tracking control system for vehicle
US9457806B2 (en) Vehicular acceleration suppression device and vehicular acceleration suppression method
CN107128366A (zh) 用于对拖曳车辆通过弯道提供校正的车道跟随路径的系统和方法
US20130049988A1 (en) Device and method for traffic sign recognition
EP3243686B1 (en) Target route generation device and drive control device
US20140032072A1 (en) Driving support system
JP2007326548A (ja) 車両制御装置
WO2007132860A1 (ja) 対象物認識装置
CN110998685B (zh) 行进障碍检测装置和车辆导航系统
JP4862510B2 (ja) 一時停止位検出装置、一時停止位置検出装置付き車両、一時停止位置検出方法
JP2007003287A (ja) Gpsロストの予測方法、gpsロストの予測装置及び車両用走行制御装置
US20060149462A1 (en) Vehicular control object determination system and vehicular travel locus estimation system
JP6941178B2 (ja) 自動運転制御装置及び方法
JP4225190B2 (ja) 車両運転支援装置
JP4466360B2 (ja) 車線逸脱防止制御装置
JPH0939650A (ja) 車両のウインカ制御装置
JP2001273588A (ja) 隊列走行制御装置
US20220256082A1 (en) Traveling environment recognition apparatus
WO2020045426A1 (ja) 車載機
US9988059B2 (en) Vehicle behavior detection device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050914

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees